Οδηγι ες Χρη σης του MPICH στα Νέα LinuxXX.di.uoa.gr

Transcript

1 Οδηγι ες Χρη σης του MPICH στα Νέα LinuxXX.di.uoa.gr Ακολουθη στε τις οδηγι ες με την σειρά. Επιβεβαιώστε ότι κάθε βη μα έχει ολοκληρωθει σωστά. Α. Δοκιμη του Περιβάλλοντος Εργασι ας Προσθέστε στο τέλος του αρχει ου ~/.cshrc setenv MPICH_HOME /usr/local/mpich3 set path=($mpich_home/bin $path) Δοκιμάστε αν το περιβάλλον έχει δημιουργηθει source.cshrc which mpicc (επιστρε φει: /usr/local/mpich3/bin/mpicc) which mpiexec (επιστρε φει: /usr/local/mpich3/bin/mpiexec) which mpptest (επιστρε φει: /usr/local/mpich3/bin/mpptest) which gcc (επιστρε φει: /usr/bin/gcc) Την επόμενη φορά που θα κάνετε login θα πάρει αυτές τις ρυθμι σεις αυτόματα. Β. Το MPICH και η επικοινωνι α μέσω RSA Για να εκτελεστει ένα παράλληλο πρόγραμμα απαιτει ται επικοινωνι α μεταξυ των μηχανών στις οποι ες πρόκειται να εκτελεστου ν οι MPI διεργασι ες. Η επικοινωνι α κρυπτογραφει ται με τοv κρυπταλγόριθμο ασυ μμετρου κλειδιου RSA και για να πραγματοποιηθει απαιτου νται οι παρακάτω ενέργειες: α. Δημιουργη στε ένα ζευ γος κλειδιών RSA με ssh-keygen -t rsa Ζητάει όνομα αρχει ου. Πατη στε enter. Ζητάει να ορι σετε ένα passphrase, πατη στε enter (η ένα string, αλλά όχι τον κωδικό σας) και στην ερώτηση επιβεβαι ωσης πάλι enter (η το string που δώσατε πριν). Στον φάκελο ~/.ssh θα έχουν δημιουργηθει τα αρχει α id_rsa, id_rsa.pub και (ι σως) known_hosts. β. Πλοηγηθει τε στο φάκελο ~/.ssh (cd ~/.ssh) και αντιγράψτε το αρχει ο id_rsa.pub στο authorized_keys

2 cp id_rsa.pub authorized_keys Tα permissions για τα αρχει α πρέπει να ει ναι (εμφανι ζονται με την εντολη ls -l): -rw-r--r-- authorized_keys -rw id_rsa -rw-r--r-- id_rsa.pub -rw-r--r-- known_hosts Σε περι πτωση που δεν ει ναι αυτά τα permissions, οι αντι στοιχες εντολές για να αλλάξουν ει ναι: chmod 644 authorized_keys chmod 600 id_rsa chmod 644 id_rsa.pub chmod 644 known_hosts γ. Τρέξτε το script askdate.csh στον φάκελο Configuration και δώστε 'yes' σε όλα τα ερωτη ματα για προσθη κη των μηχανών linux01-linux30. Το αρχει ο περιέχει εντολές της μορφη ς ssh linuxχχ.di.uoa.gr date (όπου ΧΧ από 01 έως 30) Σε περι πτωση που δεν επιτρέπει να τρέξει αλλάξτε τα permissions: chmod 744 askdate.csh δ. Η διαδικασι α έχει ολοκληρωθει. Για έλεγχο ξανατρέξτε το script. Κανονικά δεν πρέπει να σας ζητηθει επιβεβαι ωση, απλά να δι νει την ημερομηνι α από κάθε μηχανη. Αν υπάρχουν μηχανές που δεν επέστρεψαν την ημερομηνι α σημαι νει ότι δεν λειτουργου ν και δεν πρέπει να τις χρησιμοποιη σετε στα επόμενα βη ματα. Τα βη ματα α-γ.της ενότητας Β χρειάζονται να γι νουν μόνο μι α φορά. Το δ προτει νεται να το εκτελει τε πριν από κάθε χρη ση του MPI, ώστε να διαπιστώνετε ποιες μηχανές ει ναι διαθέσιμες και ποιες όχι (σημειώστε τις για να μην τις χρησιμοποιη σετε σε επόμενο στάδιο). Γ. Μεταγλώττιση Η μεταγλώττιση ενός ΜΡΙ προγράμματος γραμμένο σε γλώσσα C, γι νεται με την εντολη mpicc. Η εντολη αυτη δέχεται τις εξη ς παραμέτρους: -help Δι νει μια συ ντομη βοηθητικη περιγραφη της εντολη ς mpicc -echo Δει χνει τι ακριβώς κάνει το πρόγραμμα -o Συνδέει το εξαγόμενο από την μεταγλώττιση αρχει ο με τις βιβλιοθη κες και δημιουργει το εκτελέσιμο. Μεταγλωττι στε ένα πρόγραμμα mpiprog.c (όπου για mpiprog.c δοκιμάστε το ring.c) mpicc -ο ring ring.c

3 Δ. Εκτέλεση ΜΡΙ Προγραμμάτων σε μια μηχανη Τρέξτε το πρώτο παράλληλο πρόγραμμα που δημιουργει 4 διεργασι ες στη μηχανη που έχετε συνδεθει mpiexec n 4 ring E. Εκτέλεση ΜΡΙ Προγραμμάτων σε Πολλές Μηχανές 1. Χρειάζεται ένα αρχει ο κειμένου machines που περιέχει τα ονόματα των μηχανών (π.χ. linux01). Σας δι δεται το αρχει ο machines (στον φάκελο Execution) με όλες της μηχανές που έχει γι νει εγκατάσταση του mpich, όπου το όνομα της μηχανη ς ακολουθει ται από «:4» που δηλώνει ότι θα ξεκινάνε 4 διεργασι ες σε κάθε μηχανη. Αν κάποιες μηχανές δεν δουλευ ουν, συ μφωνα με τα αποτελέσματα από το βη μα Β.δ. Τις διαγράφετε. 2.Δημιουργη στε <n> διεργασι ες στις μηχανές του αρχει ου machines (οι διεργασι ες μοιράζονται κυκλικά στις μηχανές που ορι ζονται): mpiexec f machines n <n> ring ΣΤ. Εκτι μηση Απόδοσης Αρχιτεκτονικη ς με το mpptest Μέτρηση και αξιολόγηση της απόδοσης της επικοινωνι ας latency (ts) και bandwidth (tw) με το mpptest.το mpptest ει ναι ένα εκτελέσιμο MPI πρόγραμμα το οποι ο εξετάζει στοιχει α απόδοσης της επικοινωνι ας στο MPI. Παι ρνει αρκετές παραμέτρους mpptest -help Δει τε και πειραματιστει τε. Για μικρη επι δειξη 1.Εκτελέστε το αρχει ο mpptest με την mpiexec: mpiexec n 2 mpptest //μπορει τε να προσθέσετε παραμέτρους Θα σας δώσει κάτι σαν set default set font variable set curve window y set order d d d x y d title left 'time (us)', bottom 'Size (bytes)', top 'Comm Perf for MPI (linux24)', 'type = blocking' #p0 p1 dist len ave time (us) rate //από εδώ προκυ πτει το latency e+6

4 e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e+6 //και από εδώ το bandwidth plot square join wait new page Αν το τρέξετε με παραμέτρους για γραφικη απεικόνιση mpiexec n 2 mpptest gnuplot > out.gpl θα δημιουργηθου ν δυ ο αρχει α. Το out.gpl, το οποι ο περιέχει τις απαραι τητες gnuplot εντολές και το αρχει ο κειμένου mppout.gpl, το οποι ο περιέχει τα δεδομένα του γραφη ματος. 2.Χρησιμοποιη στε το πρόγραμμα gnuplot, για να δει τε το γράφημα: gnuplot out.gpl από το οποίο μπορείτε να δείτε και οπτικά το latency και bandwidth. Αν έχετε συνδεθεί με ssh client (π.χ. putty) δεν θα μπορείτε να δείτε την γραφική απεικόνιση (χρειάζεται να ορίσετε DISPLAY και xhost)

5 Ζ. Επισκόπηση και Εκτι μηση Απόδοσης Προγραμμάτων με το mpip Συνδέουμε το πρόγραμμα προς αξιολόγηση με το mpip ( mpicc -o ring ring.c -L/usr/local/mpip-3.4.1/lib -lmpip -lm -lbfd liberty και εκτελούμε, όπως στο βήμα Ε2. mpiexec f machines n 8 ring -verbose Εκτός από την έξοδο που δίνει το πρόγραμμα θα δημιουργηθεί ένα αρχείο στον τρέχοντα κατάλογο με όνομα Name.P.C.A.mpiP Name Name of executable (στο παράδειγμα ring) P - number of processes (στο παράδειγμα 8) C - εσωτερικός αριθμός (Collector PID) A - αύξων αριθμός (δίνει πάντα 1;) mpip: Storing mpip output in [./ring mpip]. Τυπικό Command :./ring Version : MPIP Build date : Jan , Start time : Stop time : Timer Used : MPIP env var : Collector Rank : Collector PID : Final Output Dir Report generation : Single collector MPI Task Assignment : 0 MPI Task Assignment : 1 MPI Task Assignment : 2 MPI Task Assignment : 3 MPI Task Assignment : 4 MPI Task Assignment : 5 MPI Task Assignment : 6 MPI Task Assignment : 7 MPI Time (seconds) Task AppTime MPITime MPI%

6 * Callsites: ID Lev File/Address Line Parent_Funct MPI_Call 1 0 0x404ec1 [unknown] Recv 2 0 0x404eef [unknown] Wait 3 0 0x404e8d [unknown] Aggregate Time (top twenty, descending, milliseconds) Call Site Time App% MPI% COV Recv Wait Isend Aggregate Sent Message Size (top twenty, descending, bytes) Call Site Count Total Avrg Sent% Isend Callsite Time statistics (all, milliseconds): Name Site Rank Count Max Mean Min App% MPI% Isend Isend Isend Isend Isend Isend Isend Isend Isend 3 * Recv Recv Recv Recv Recv Recv Recv Recv Recv 1 * Wait Wait Wait Wait Wait Wait Wait Wait Wait 2 * Callsite Message Sent statistics (all, sent bytes) Name Site Rank Count Max Mean Min Sum

7 Isend Isend Isend Isend Isend Isend Isend Isend Isend 3 * End of Report