Λύσεις Λογισμικού Ανοικτού Κώδικα για Παράλληλο Προγραμματισμό

Transcript

1 Λύσεις Λογισμικού Ανοικτού Κώδικα για άλληλο Προγραμματισμό επισκόπηση περιβαλλόντων παράλληλης επεξεργασίας K. Τ. Δελησταύρου Κ. Γ. Μαργαρίτης Εργαστήριο άλληλης & Κατανεμημένης Επεξεργασίας Τμήμα Εφαρμοσμένης Πληροφορικής, Πανεπιστήμιο Μακεδονίας Συνέδριο ΕΛΛΑΚ 200 Αίθουσα Συνεδρίων Πανεπιστημίου Μακεδονίας Θεσσαλονίκη Κυριακή 6 Μαΐου 200

2 Η ερευνητική μας προσπάθεια Έρευνα και ανάπτυξη, περιβάλλοντος υποστήριξης της διδασκαλίας και εκμάθησης παράλληλου προγραμματισμού, χρησιμοποιώντας πραγματικά συστήματα-στόχους, παραγωγικού προσανατολισμού. Το περιβάλλον θα βασίζεται σε ανοιχτού κώδικα πλατφόρμα ανάπτυξης, η οποία πρόκειται να εμπλουτιστεί με επιπρόσθετες εφαρμογές και βοηθήματα. Η ερευνητική προσπάθεια ξεκίνησε με εκτενή επισκόπηση εργαλείων παράλληλης επεξεργασίας, τόσο ΛΑΚ, όσο και εμπορικών.

3 Κατηγορίες εργαλείων επισκόπησης

4 Κατηγορία Εργαλείο Λογισμικού BACI CODE 2.0 ConcurrentMentor DAJ Eclipse PTP Haskell HPCToolkit jbaci Jumpshot-4 KOJAK Lydian MARMOT Mozart Programming System MPI Development Plugin for NetBeans MPI PERUSE MPI Toolbox for Octave (MPITB) MPICH2 mpijava MPJ Express ompp Open MPI Open SpeedShop OpenMP OTF OverView P-GRADE (toolset) PAPI Paradyn 2.0 PDT PerfSuite PVM SCALASCA SLOG-2 TAU VampirTrace Προγραμματισμός Γλώσσα Κειμένου Γραφική Πλαίσιο Προδιαγραφή Υλοποίηση Γραφικό περιβ. εργ. Αποσφαλμάτωση Πηγαίου κώδικα Κατά την εκτέλεση Ρύθμιση απόδοσης Μέτρηση Πρόβλεψη Βελτιστοποίηση Βιβλιοθήκη Οπτικοποίηση Αλγορίθμου Δεδομ. απόδοσης Προσομ.. συνδρομικότ. Κατηγοριοποίηση εργαλείων (απόσπασμα, ΛΑΚ) Ιστότοπος

5 Στοιχεία ταυτότητας (απόσπασμα, ΛΑΚ) CODE ΛΑΚ MPI, PVM Γλώσσα Προσα Είδος συστή προγραμμα νατο ματος τισμού λισμός CODE Εκπ ConcurrentMentor 2007 ΛΑΚ Mth systems C++ Eclipse PTP HPCToolkit 2009 ΛΑΚ 2009 ΛΑΚ (BSD) MPI, OpenMP MPI, Open MPI C, C++, Fortran C, C++, Fortran, Σειρ jbaci 2004 ΛΑΚ BACI (PCode, Java) Pascal, C, C--, Καταν Εκπ Jumpshot-4 MARMOT 2007 ΛΑΚ 2009 ΛΑΚ (GPL) MPI MPI C, C++, Java C, Fortran Mozart Programming System 2008 ΛΑΚ (X) Multithreading, Multicore Oz Καταν, Εκπ MPI Toolbox for Octavε 2009 ΛΑΚ LAM/MPI, Open MPI Octave, Εκπ MPJ Express 2008 ΛΑΚ Java, MPI Java Open MPI 2009 ΛΑΚ (New BSD) MPI C, C++, Fortran Open SpeedShop 2009 ΛΑΚ (GPL) MPI, Mth C, C++, Python, Καταν OpenMP 2009 OpenMP C, C++, Fortran BCEL, Processing Java Καταν, Καταν, C, C++, Fortran Grid Όλα C, Fortran C, C++, Java, Πολυν, Tcl/Tk, XSL, JavaScript Ναι Java., Εκπ Ναι Linux, Solaris. Ναι Linux. C, C++, Fortran Ναι C, C++, Java Μικρομεσαίες πλατφόρμες HPC. Ναι Συμβατά με MPE. Ναι Διάφορα. Λογισμικό Έτος Άδεια χρήσης Πλατφόρμα OverView Εκάστοτε μεταγλωττιστή 2007 ΛΑΚ P-GRADE 2005 ΛΑΚ PVM, MPI PAPI 2009 ΛΑΚ (New BSD) ΛΑΚ 2008 (πανεπιστήμιο Illinois /NCSA) Διάφορα PerfSuite MPI, POSIX threads Καταν GUI Σύστημα στόχος Ναι Solaris, Linux. Εκπ Ναι Linux, Solaris, Windows. Ναι Eclipse συμβατά. Ναι Linux. Προσομοίωση Ναι συνδρομικότητας (Linux, Windows). Ναι Συμβατά με MPE. Ναι Linux, Windows Server. Προσομοίωση Ναι συνδρομικότητας (Unix, Windows). Ναι Linux, Octave (ή MATLAB) Java (δοκιμασμένο σε Linux, Windows XP, Cygwin). Διάφορα. Ναι Linux. Διάφορα (Unix, Windows). SCALASCA 2009 ΛΑΚ (New BSD) SLOG ΛΑΚ MPI, OpenMP, hybrid OpenMP MPI TAU 2009 ΛΑΚ MPI Fortran, C, C++, Java, Python VampirTrace 2009 ΛΑΚ (BSD) MPI C, C++, Fortran, Java AIX, Linux, Solaris. Linux, Solaris, IBM AIX, SGI IRIX, Mac OS X.

6 Κριτήρια επιλογής καταλληλότερων περιβαλλόντων παράλληλης επεξεργασίας Στοιχείο ταυτότητας Κριτήριο Έτος τελευταίας ενημέρωσης Εργαλεία που έχουν ενημερωθεί μετά το 2008 Άδεια χρήσης Λογισμικά Ανοιχτού Κώδικα Πλατφόρμα Εργαλεία δημοφιλών προτύπων παράλληλου προγραμματισμού Γλώσσα προγραμματισμού Εργαλεία σχετικά με διαδεδομένες γλώσσες ανάπτυξης παράλληλων εφαρμογών, C & C++ Είδος συστήματος Εργαλεία παράλληλων συστημάτων Προσανατολισμός Να έχουν παραγωγικό προσανατολισμό. Ως εργαλεία έμπνευσης όσα έχουν εκπαιδευτικό αλλά και παραγωγικό προσανατολισμό Γραφική διεπαφή χρήστη Να διαθέτουν γραφικό περιβάλλον εργασίας Σύστημα-στόχος Να μπορούν να εκτελεστούν σε πραγματικά συστήματα-στόχους, Linux, μη-εξειδικευμένο υλικό

7 Επιλεγμένα περιβάλλοντα Εργαλεία βάσης Eclipse PTP Allinea DDT Εργαλεία έμπνευσης MPWin 2 Allinea OPT ompp BACI OverView HPCToolkit CODE 2.0 PAPI ConcurrentMentor Paradyn 2.0 MARMOT DAJ Paraver Dimemas PDT Open SpeedShop HMPP Workbench Performance PROPHET (ASKALON) Intel Parallel Studio P-GRADE PerfSuite Intel VTune Performance Analyzer P-GRADE DIWIDE jbaci P-GRADE GRAPNEL SCALASCA Jumpshot-4 P-GRADE PROVE KOJAK Sun Studio Performance Analyzer Jumpshot-4 Lydian TotalView Mozart Programming System Vampir TAU MPI Development Plugin for NetBeans

8 Eclipse Parallel Tools Platform Σκοπός του έργου η δημιουργία ισχυρής, αυτοδύναμης, παραγωγικού επιπέδου πλατφόρμας έχει εξειδικευμένο, μεταφέρσιμο ολοκληρωμένο περιβάλλον ανάπτυξης παράλληλων εφαρμογών Υποστηρίζει μεγάλο εύρος παράλληλων αρχιτεκτονικών και συστημάτων-στόχων (εκτέλεσης) Διαθέτει κλιμακώσιμο παράλληλο αποσφαλματωτή. Υποστήριξη ολοκλήρωσης ποικίλων παράλληλων εργαλείων Απλοποιεί την αλληλεπίδραση χρήστη-παράλληλου συστήματος

9 Eclipse Parallel Tools Platform

10 HPC Toolkit Συλλογή εργαλείων με σκοπό τη μέτρηση της απόδοσης εκτελέσιμων που παράγονται από δημοφιλείς μεταγλωττιστές. Για κάθε κόμβο αλλά και για το σύνολο ενός παράλληλου συστήματος, παρέχει δυνατότητες Ενοργάνωσης Ανάλυσης κόστους εκτέλεσης και κατανάλωσης πόρων Συσχέτισης μετρήσεων απόδοσης με τη δομή του κώδικα Ανάλυσης εντοπισμού συμφορήσεων Ανάλυσης κλιμακωσιμότητας εφαρμογών Βελτιστοποίησης παράλληλων εφαρμογών

11 HPC Toolkit

12 MARMOT Εργαλείο ανάλυσης και ελέγχου προγραμμάτων MPI Επιτηρεί τις κλήσεις MPI κατά τη διάρκεια της εκτέλεσης ενός παράλληλου προγράμματος και ελέγχει αυτόματα τη σωστή χρήση των κλήσεων αυτών και των παραμέτρων τους Οι παρατηρήσεις του αποθηκεύονται σε μορφή κειμένου για εκ-των-υστέρων ανάλυση

13 MARMOT

14 Open Speedshop Λογισμικό ανάλυσης απόδοσης πολλαπλών πλατφορμών σε περιβάλλον Linux. Η βασική του λειτουργικότητα περιλαμβάνει Δειγματοληψία πειραμάτων Υποστήριξη ανάλυσης σωρού κλήσεων Μετρητές απόδοσης υλικού Ανίχνευση γεγονότων και ανάλυση απόδοσης εφαρμογών MPI εισόδου/εξόδου Ανάλυση εξαιρέσεων εντολών κινητής υποδιαστολής Έχει σχεδιαστεί ώστε να είναι αρθρωτό και επεκτάσιμο.

15 Open Speedshop

16 PerfSuite Συλλογή εργαλείων, βοηθημάτων & βιβλιοθηκών ανάλυσης απόδοσης Εργαλείο για μια πρώτη γνωριμία με την ανάλυση απόδοσης πριν ο προγραμματιστής εξοικειωθεί και επιλέξει πιο σύνθετα εργαλεία Αποδίδει με απλότητα πληροφορίες που χρειάζονται για να εστιάσουμε στη βελτιστοποίηση απόδοσης δίχως εκτεταμένες αλλαγές στον πηγαίο κώδικα της εφαρμογής ούτε πολύπλοκες μεταγλωττίσεις και διασυνδέσεις των εργαλείων ή των βιβλιοθηκών ανάλυσης απόδοσης

17 PerfSuite

18 SCALASCA Εργαλείο ανάλυσης απόδοσης, απόγονος του KOJAK, για βελτιστοποίηση παράλληλων εφαρμογών σε μεγάλης κλίμακας συστήματα Ορισμένες από τις δυνατότητές του Αυτόματη διάγνωση μη αποδοτικής συμπεριφοράς προγραμμάτων και να επισημάνει λύσεις βελτιστοποίησης Αυτόματη αναζήτηση ιχνών γεγονότων σε παράλληλες εφαρμογές Σύσταση προτύπων εκτέλεσης, ανάδειξης της ανεπαρκής συμπεριφοράς Αποτελεσμάτων μέσω γραφικού περιβάλλοντος Διερεύνηση σε διάφορα επίπεδα κόκκωσης Mεγάλος βαθμός κλιμακωσιμότητας

19 SCALASCA

20 JumpShot-4 Λογισμικό οπτικοποίησης αρχείων ιχνών γεγονότων που διανέμεται μαζί με το MPI Parallel Environment έχει στους προγραμματιστές εφαρμογών MPI εργαλεία ανάλυσης απόδοσης βασισμένα στην προσέγγιση της εκ-των-υστέρων ανάλυσης Στο ίδιο πακέτο περιλαμβάνεται και το πρότυπο μορφών αρχείων ιχνών (καταγραφής γεγονότων) SLOG-2

21 JumpShot-4

22 Tuning and Analysis Utilities Συλλογή μεταφέρσιμων εργαλείων ανάλυσης απόδοσης παράλληλων προγραμμάτων Υποστηρίζει Συλλογή δεδομένων απόδοσης μέσω ενοργάνωσης Ενοργάνωση Μέσω του Program Database Toolkit στον πηγαίο κώδικα Δυναμικά μέσω του DyninstAPI Κατά την εκτέλεση στην εικονική μηχανή Java Χειροκίνητα χρησιμοποιώντας προγραμματιστική διεπαφή Οπτικοποιήσεις μέσω του PerfExplorer 2 αγωγή αρχείων ιχνών γεγονότων Έκδοση ως επιπρόσθετο για το Eclipse

23 Tuning and Analysis Utilities

24 PerfSuite P-GRADE SCALASCA TAU (core profiling and tracing toolkit) TAU (Perf Explorer 2) Jumpshot-4 PAPI Mozart Programming System MARMOT jbaci /BACI HPCToolkit Eclipse PTP ConcurrentMentor OverView Ανάλυση απόδοσης Ανάπτυξη παράλληλου κώδικα Βελτιστοποίηση απόδοσης Βοηθήματα αποσφαλμάτωσης Διαχείριση ιστορικού, αποτελεσμάτων και ιχνών γεγονότων Διεπαφές χρήστη Εξελιγμένα βοηθήματα εκμάθησης Ιδιαίτερα χαρακτηριστικά Λειτουργίες εφαρμογής Οπτικοποιήσεις αλληλισμός σειριακού κώδικα Περιβάλλον εκτέλεσης εφαρμογών Περιβάλλον προσομοίωσης συστημάτων Υποστήριξη γλωσσών και τεχνολογιών Open SpeedShop Κατηγορία χαρακτηριστικών CODE 2.0 Αριθμός κατηγορίας Ανάλυση λειτουργικών χαρακτηριστικών ου (απόσπασμα ομαδοποίησης 2 επιπέδου)

25 Πλαίσιο έρευνας και ανάπτυξης Επιλεκτική υλοποίηση χαρακτηριστικών για συμβολή στην εκπαιδευτική προοπτική του Eclipse PTP Αποθήκευση ιστορικού ενεργειών μεταγλώττισης και εκτέλεσης Αναφορές με βάση το ιστορικό μεταγλώττισης & εκτέλεσης χωρίς επανεκτέλεση του κώδικα Εξελληνισμός της διεπαφής χρήστη & προσαρμογή στις γνώσεις του σπουδαστή Ανίχνευση και επεξήγηση καθυστερήσεων, αδιεξόδων κ.α. Δυσλειτουργιών. (Υλοποιήθηκε στην έκδοση του Eclipse PTP που κυκλοφόρησε στις 4/2/2009 ως In-situ Partial Order (ISP) Analysis ) Βοηθοί καθοδήγησης βήμα προς βήμα Δημιουργία διαλογικών ασκήσεων και διαδραστικής παρουσίασης της θεωρίας Αναπαράσταση και αποσαφήνιση εκτέλεσης κώδικα με χρήση πολλαπλών μέσων Σύστημα αναλυτικής βοήθειας Βιβλιοθήκη δειγμάτων παράλληλου κώδικα Ανάπτυξη παράλληλου κώδικα με οπτικό προγραμματισμό Σύστημα προσομοίωσης Δυνατότητα διαχείρισης πειραμάτων

26 Επόμενα βήματα Υλοποίηση διδακτικού περιβάλλοντος Σύμφωνα με το πλαίσιο έρευνας και ανάπτυξης Συνεργασίες Με την ομάδα του Καθηγητή Ganesh Gopalakrishnan Πανεπιστήμιο της Utah Ανέπτυξε το In-situ Partial Order (ISP) Analysis για το Eclipse PTP Με την ομάδα ανάπτυξης του Eclipse PTP