ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΕΦΑΡΜΟΓΕΣ ΠΑΡΑΛΛΗΛΗΣ ΕΠΕΞΕΡΓΑΣΙΑΣ ΣΕ ΠΛΕΓΜΑ ΥΠΟΛΟΓΙΣΤΩΝ

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΗΛΕΚΤΡΟΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΘΕΜΑ ΕΦΑΡΜΟΓΕΣ ΠΑΡΑΛΛΗΛΗΣ ΕΠΕΞΕΡΓΑΣΙΑΣ ΣΕ ΠΛΕΓΜΑ ΥΠΟΛΟΓΙΣΤΩΝ Κοντοθανάσης Επαμεινώνδας ΑΕΜ : 4445 ekontoth@auth.gr Επιβλέπων Καθηγητής : Κος Χασάπης Γεώργιος ΘΕΣΣΑΛΟΝΙΚΗ 2006

2 ΠΕΡΙΕΧΟΜΕΝΑ ΕΙΣΑΓΩΓΗ ΕΙΣΑΓΩΓΗ ΣΤΙΣ ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΤΗΣ ΤΕΧΝΟΛΟΓΙΑΣ ΠΛΕΓΜΑΤΟΣ ΥΠΟΛΟΓΙΣΤΩΝ [1] ΕΙΣΑΓΩΓΗ ΔΥΝΑΤΟΤΗΤΕΣ ΤΗΣ ΤΕΧΝΟΛΟΓΙΑΣ ΠΛΕΓΜΑΤΟΣ ΕΙΚΟΝΙΚΟΙ ΟΡΓΑΝΙΣΜΟΙ ΑΞΙΟΠΙΣΤΙΑ ΠΡΟΑΠΑΙΤΟΥΜΕΝΑ ΕΦΑΡΜΟΓΩΝ ΠΛΕΓΜΑΤΟΣ ΕΠΙΠΛΕΟΝ ΠΟΡΟΙ ΠΛΕΓΜΑΤΟΣ ΥΠΟΛΟΓΙΣΤΩΝ ΚΑΤΑΣΚΕΥΗ ΕΝΟΣ ΠΛΕΓΜΑΤΟΣ ΥΠΟΛΟΓΙΣΤΩΝ ΤΜΗΜΑΤΑ ΤΟΥ ΛΟΓΙΣΜΙΚΟΥ ΕΝΟΣ ΠΛΕΓΜΑΤΟΣ ΠΕΡΙΛΗΨΗ ΠΕΡΙΓΡΑΦΗ ΔΙΑΔΙΚΑΣΙΑΣ ΕΓΓΡΑΦΗΣ ΣΤΟ ΠΛΕΓΜΑ ΜΕΣΩ ΤΟΥ Α.Π.Θ ΠΡΟΑΠΑΙΤΟΥΜΕΝΑ ΕΓΓΡΑΦΗΣ ΚΑΙ ΑΙΤΗΣΗ ΓΙΑ ΠΙΣΤΟΠΟΙΗΤΙΚΟ ΕΡΓΑΣΙΑ ΜΕ ΕΤΕΡΟΓΕΝΗ ΣΥΣΤΗΜΑΤΑ ΑΠΟΔΟΧΗ ΠΙΣΤΟΠΟΙΗΤΙΚΟΥ ΚΑΙ ΕΓΓΡΑΦΗ ΥΠΟΒΟΛΗ ΕΡΓΑΣΙΩΝ ΣΤΟ ΣΥΣΤΗΜΑ ΠΛΕΓΜΑΤΟΣ LCG-2 [2] [3] ΣΤΑΔΙΑ ΕΚΤΕΛΕΣΗΣ ΜΙΑΣ ΕΡΓΑΣΙΑΣ ΠΑΡΑΔΕΙΓΜΑ ΥΠΟΒΟΛΗΣ ΕΡΓΑΣΙΑΣ ΓΛΩΣΣΑ ΠΕΡΙΓΡΑΦΗΣ ΕΡΓΑΣΙΩΝ ΚΑΙ ΕΝΤΟΛΕΣ ΣΥΣΤΗΜΑΤΟΣ ΠΕΡΙΓΡΑΦΗ ΕΦΑΡΜΟΓΗΣ [4] ΣΥΝΟΨΗ ΕΦΑΡΜΟΓΗΣ Ο ΠΥΡΗΝΑΣ ΤΩΝ MPC ΥΠΟΛΟΓΙΣΜΩΝ ΤΟ ΔΙΚΤΥΩΤΟ ΜΟΝΤΕΛΟ ΥΠΟΛΟΓΙΣΜΟΥ ΥΛΟΠΟΙΗΣΗ ΑΛΓΟΡΙΘΜΟΥ-ΑΠΟΤΕΛΕΣΜΑΤΑ [3] [4] [5] [6] ΥΛΟΠΟΙΗΣΗ ΑΛΓΟΡΙΘΜΟΥ ΠΕΙΡΑΜΑΤΙΚΑ ΑΠΟΤΕΛΕΣΜΑΤΑ ΑΡΧΙΤΕΚΤΟΝΙΚΗ ΠΛΕΓΜΑΤΟΣ-ΣΥΜΠΕΡΑΣΜΑΤΑ ΑΡΧΙΤΕΚΤΟΝΙΚΗ ΠΛΕΓΜΑΤΟΣ ΤΜΗΜΑΤΟΣ ΦΥΣΙΚΗΣ Α.Π.Θ. [9] ΣΥΜΠΕΡΑΣΜΑΤΑ...73 ΠΑΡΑΡΤΗΜΑ...75 ΥΛΟΠΟΙΗΣΗ ΑΛΓΟΡΙΘΜΟΥ MESH ΣΕ ΓΛΩΣΣΑ C...75 ΑΝΑΦΟΡΕΣ...79 Η φωτογραφία στο εξώφυλλο είναι από την παρουσίαση : Grid developments and middleware components Mike Mineter EGEE Training team mjm@nesc.ac.uk 2

3 ΕΙΣΑΓΩΓΗ Οι υπολογιστές αποτελούν ένα σημαντικό κομμάτι του σύγχρονου πολιτισμού. Χωρίς αυτούς πολλά από τα σημερινά επιτεύγματα στο χώρο της τεχνολογίας θα ήταν πρακτικά αδύνατα. Η ιστορία δείχνει ότι ο άνθρωπος στο πέρασμα των αιώνων πάντα προσπαθούσε να βελτιώσει την ποιότητα της ζωής του με νέες εφευρέσεις και δημιουργίες. Θα μπορούσαμε να πούμε πάρα πολλά για την εξέλιξη των ηλεκτρονικών υπολογιστών πέρα από αυτή τη σύντομη εισαγωγή, όμως αυτό θα ξέφευγε από τους σκοπούς αυτής της διπλωματικής αντικείμενο της οποίας είναι η παρουσίαση μιας από τις τελευταίες τεχνολογίες στην επιστήμη των υπολογιστών. Η τεχνολογία αυτή ονομάζεται Τεχνολογία Πλέγματος Υπολογιστών (Grid Computing). Στα πλαίσια αυτής της διπλωματικής θα εξετάσουμε τι είναι ένα Πλέγμα (Grid), τι δυνατότητες έχει και πως μπορούμε να το δημιουργήσουμε και να το χρησιμοποιήσουμε. Στο πρακτικό μέρος της διπλωματικής θα συνδεθούμε σε ένα Πλέγμα (Hellas Grid) από έναν υπολογιστή του εργαστηρίου αρχιτεκτονικής υπολογιστικών συστημάτων του ΤΗΜΜΥ (Μπορούμε να συνδεθούμε και από προσωπικό υπολογιστή με απλή σύνδεση διαδικτύου) και θα υποβάλλουμε ένα δοκιμαστικό πρόγραμμα προς εκτέλεση. Η σύνδεση θα γίνει μέσω μιας διεπαφής χρήστη που βρίσκεται σε έναν υπολογιστή του τμήματος Φυσικής του Α.Π.Θ. ο οποίος είναι συνδεδεμένος μόνιμα με το Πλέγμα. Ακόμα θα γίνει μια σύντομη παρουσίαση της αρχιτεκτονικής Πλέγματος στο τμήμα Φυσικής. 3

4 Συνοπτικά, στο πρώτο κεφάλαιο θα πάρουμε μία πρώτη γεύση σχετικά με τα Πλέγματα Υπολογιστών, ποιος είναι ο στόχος τους, πως υλοποιούνται θεωρητικά και ποια είναι τα κύρια μέρη της αρχιτεκτονικής τους. Στη συνέχεια, στο δεύτερο κεφάλαιο περιγράφουμε τα βήματα που ακολουθήθηκαν για να γίνει η εγγραφή μας στο Πλέγμα ώστε να είμαστε σε θέση να υποβάλουμε τις εφαρμογές μας σε αυτό. Στο τρίτο κεφάλαιο δίνουμε ένα παράδειγμα υποβολής μίας εργασίας στο Πλέγμα που έχουμε εγγραφεί και αναφέρουμε τις κυριότερες εντολές και δηλώσεις που πρέπει να κάνει κάποιος για να υποβάλει μια εφαρμογή στο σύστημα. Στο τέταρτο κεφάλαιο περιγράφεται η εφαρμογή την οποία θα εκτελέσουμε στο Πλέγμα για να δοκιμάσουμε τις επιδόσεις του. Στο πέμπτο κεφάλαιο δίνεται αναλυτικά η υλοποίηση της εφαρμογής αυτής σε γλώσσα C μαζί με τα συγκριτικά αποτελέσματα. Τέλος στο έκτο κεφάλαιο δίνουμε μια συνοπτική περιγραφή της αρχιτεκτονικής που ακολουθείται στο τμήμα Φυσικής του Α.Π.Θ. και γράφουμε τα τελικά συμπεράσματά μας από τη χρήση του Πλέγματος. Σε αυτό το σημείο θέλω να ευχαριστήσω για την υποστήριξή τους στην εκπόνηση της παρούσης διπλωματικής τον επιβλέποντα καθηγητή κ. Γεώργιο Χασάπη, την υποψήφια διδάκτορα κ. Μαρία Κουρκούλη, το προσωπικό του εργαστηρίου αρχιτεκτονικής υπολογιστικών συστημάτων, την αρμόδια ομάδα του τμήματος Φυσικής και το συγγενικό και φιλικό περιβάλλον. 4

5 1 ΕΙΣΑΓΩΓΗ ΣΤΙΣ ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΤΗΣ ΤΕΧΝΟΛΟΓΙΑΣ ΠΛΕΓΜΑΤΟΣ ΥΠΟΛΟΓΙΣΤΩΝ [1] 1.1 Εισαγωγή Με τον όρο Πλέγμα Υπολογιστών εννοούμε ένα σύνολο από ομογενή ή ετερογενή υπολογιστικά συστήματα τα οποία συνεργάζονται για κάποιο σκοπό. Η βασική ιδέα ήταν η όσο το δυνατόν μεγαλύτερη εκμετάλλευση των πόρων των υπολογιστικών συστημάτων που είναι διαθέσιμα σε μία εταιρεία ή σε ένα ερευνητικό ινστιτούτο έτσι ώστε να έχουμε τη μεγαλύτερη δυνατή απόδοση στην εκτέλεση πολύπλοκων εφαρμογών. Η τεχνολογία Πλέγματος βρίσκει εφαρμογές κυρίως στις περιοχές της βιοϊατρικής και της διαστημικής των οποίων οι αλγόριθμοι είναι εξαιρετικά δαπανηροί σε υπολογιστικούς πόρους και επιδέχονται υψηλό βαθμό παραλληλισμού. Η εξέλιξη της τεχνολογίας αυτής ακολουθεί σχεδόν πιστά τα βήματα της εξέλιξης του διαδικτύου (Internet) στις αρχές της δεκαετίας του 90 και οι πιο αισιόδοξες προβλέψεις υποστηρίζουν ότι σε μερικά χρόνια οι υπηρεσίες Πλέγματος θα είναι διαθέσιμες στον καθένα. Για να καταλάβουμε καλύτερα τι είναι και πως λειτουργεί ένα Πλέγμα Υπολογιστών πρέπει να πούμε ποια είναι τα βασικά στοιχεία που το αποτελούν και τι είδους υπηρεσίες μπορεί να προσφέρει. Σε αυτό το σημείο μπορούμε να πούμε ότι ένα Πλέγμα είναι ένα σύνολο υπολογιστών τα οποία στο χρήστη φαίνονται σαν ένας εικονικός υπολογιστής τεραστίων δυνατοτήτων ανά πάσα στιγμή και στον οποίο μπορεί ο καθένας να τρέξει κάποια εφαρμογή ή να κάνει χρήση κάποιας υπηρεσίας (Service) χωρίς να τον ενδιαφέρει που ακριβώς εκτελείται το αντίστοιχο πρόγραμμα, που βρίσκεται η απαιτούμενη μνήμη και από που αντλούνται τα απαραίτητα δεδομένα. 5

6 1.2 Δυνατότητες της Τεχνολογίας Πλέγματος Όπως αναφέραμε και προηγουμένως η βασική ιδέα της τεχνολογίας Πλέγματος Υπολογιστών, της οποίας ο όρος στη διεθνή βιβλιογραφία αποδίδεται ως Grid Computing, είναι να εκμεταλλευτεί όσο το δυνατόν καλύτερα μία ομάδα απομακρυσμένων ή όχι υπολογιστών για να ικανοποιήσει τις ανάγκες της εκάστοτε εφαρμογής ανάλογα με τις απαιτήσεις της. Ας πάρουμε ένα παράδειγμα για να καταλάβουμε ποια ανάγκη οδήγησε στην προσπάθεια υλοποίησης μιας τέτοιας αρχιτεκτονικής δικτύων υπολογιστών. Ας υποθέσουμε ότι μία μεγάλη εταιρεία η οποία στεγάζεται σε ένα κτίριο διαθέτει εκατό υπολογιστές από τους οποίους οι ογδόντα είναι κλασικοί προσωπικοί υπολογιστές γραφείου και χρησιμοποιούνται από τους υπαλλήλους. Οι υπόλοιποι είκοσι συνιστούν μια συστοιχία (Cluster) και βρίσκουν εφαρμογή σε πειράματα και στις διαδικτυακές ανάγκες της εταιρείας όπως διαδικτυακές πύλες (Gateways) με λογισμικό ασφάλειας (Firewall- Antivirus) και εξουσιοδοτημένοι εξυπηρετητές (Proxy Servers). Είναι σαφές ότι οι ογδόντα υπολογιστές των υπαλλήλων χρησιμοποιούνται μόνο για πλοήγηση στο διαδίκτυο, για συγγραφή κειμένων και ίσως για εκτέλεση κάποιων απλών εφαρμογών. Αυτό που έχει σημασία είναι ότι αυτοί οι υπολογιστές μένουν ανενεργοί για ένα σημαντικό χρονικό διάστημα στη διάρκεια της ημέρας ενώ το βράδυ συνήθως είναι τελείως κλειστοί. Σε αντίθεση με αυτούς τους υπολογιστές, οι υπόλοιποι είκοσι λειτουργούν όλο το εικοσιτετράωρο κυρίως σαν εξυπηρετητές διαδικτύου αλλά και τρέχοντας πειραματικά παράλληλα προγράμματα σαν συστοιχία. Αν μπορούσαμε να χρησιμοποιήσουμε τους προσωπικούς υπολογιστές των υπαλλήλων κατά τη διάρκεια που αυτοί είναι ανενεργοί (Idle) τότε οι υπόλοιποι υπολογιστές θα αποδεσμεύονταν από ένα πολύ μεγάλο κομμάτι εργασίας και οι εφαρμογές θα εκτελούνταν σε λιγότερο 6

7 χρόνο. Αυτό μπορεί να γίνει με την εγκατάσταση σε κάθε υπολογιστή μερικών συστατικών ενός λογισμικού (Middleware) το οποίο βρίσκεται ένα επίπεδο πάνω από το λειτουργικό σύστημα και σκοπό έχει να βρίσκει τους υπολογιστές οι οποίοι χρησιμοποιούνται λιγότερο και να δρομολογεί σε αυτούς κάποιες εργασίες. Αν για παράδειγμα σε έναν εξυπηρετητή παράγεται μια διεργασία η οποία απαιτεί υψηλό χρόνο χρήσης της κεντρικής μονάδας επεξεργασίας (C.P.U.) και μνήμη πολλαπλάσια από αυτή που είναι διαθέσιμη, τότε η διεργασία αυτή μπορεί να δρομολογηθεί σε έναν υπολογιστή ενός υπαλλήλου ο οποίος εκείνη τη στιγμή κάνει διάλλειμα από την εργασία του. Το παραπάνω παράδειγμα δεν αποτελεί φυσικά τη μοναδική εφαρμογή ενός Πλέγματος Υπολογιστών αλλά μπορεί να μας εισάγει στο νόημα της χρήσης του. Σαν επέκταση του παραπάνω παραδείγματος μπορούμε να θεωρήσουμε ότι ένα εκπαιδευτικό ίδρυμα με άλλους εκατό υπολογιστές βρίσκεται σχετικά κοντά στην εταιρεία που αναφέραμε προηγουμένως. Το ίδρυμα αυτό ας υποθέσουμε ότι έχει μια μεγάλη βάση δεδομένων από βιβλία σε ηλεκτρονική μορφή και χρησιμοποιεί τους υπολογιστές του για έρευνα πάνω σε προβλήματα γενετικών αλγορίθμων. Τα προβλήματα αυτά για να επιλυθούν χρειάζεται η υλοποίηση πολύπλοκων και απαιτητικών σε μνήμη αλγορίθμων. Οι υπάλληλοι της εταιρείας έχουν ανάγκη για πρόσβαση σε μία μεγάλη τράπεζα πληροφοριών όπως η βάση δεδομένων του ιδρύματος ενώ το ίδρυμα χρειάζεται την υπολογιστική ισχύ και τη μνήμη των υπολογιστών της εταιρείας. Μια συμφωνία ανάμεσα στα δύο αυτά μέρη θα μπορούσε να είναι να επιτρέπεται η προσπέλαση στα ηλεκτρονικά βιβλία στους υπαλλήλους τις πρωινές ώρες που αυτοί εργάζονται και σαν αντάλλαγμα η εταιρεία να παραχωρεί δικαιώματα εκτέλεσης διαφόρων προγραμμάτων στους υπολογιστές της, όταν αυτοί είναι ανενεργοί, από τους επιστήμονες του ιδρύματος. Με 7

8 αυτό τον τρόπο μπαίνουμε στη λογική του διαμοιρασμού πόρων (Resource Sharing) που είναι πολύ σημαντικός στην τεχνολογία Πλέγματος. Γενικά μπορούμε να πούμε ότι ένα Πλέγμα Υπολογιστών είναι μία επέκταση του σημερινού διαδικτύου μόνο που αντί να παρέχονται μόνο δεδομένα και υπηρεσίες κατά απαίτηση, μας παρέχεται η απαιτούμενη υπολογιστική ισχύς, η μνήμη και τα δεδομένα που χρειάζεται το πρόγραμμα ακόμα και το ίδιο το πρόγραμμα ίσως. Με αυτό τον τρόπο από ένα απλό τερματικό ή έναν πεπαλαιωμένο υπολογιστή μπορούμε να κάνουμε τα πάντα σαν να είχαμε έναν υπερυπολογιστή συνδεδεμένο σε μία μεγάλη βάση δεδομένων δίνοντας μόνο τις κατάλληλες εντολές στο πρόγραμμα του Πλέγματος. 1.3 Εικονικοί Οργανισμοί Οι εικονικοί οργανισμοί (Virtual Organisations) είναι ομάδες και οργανισμοί όπως ερευνητικά κέντρα, μεγάλες εταιρείες και εκπαιδευτικά ιδρύματα, οι οποίες διαθέτουν ένα μεγάλο αριθμό από υπολογιστές που χρησιμοποιούνται συνήθως συνέχεια. Ο όρος εικονικός οργανισμός χρησιμοποιείται ευρύτατα στη βιβλιογραφία και δηλώνει ομάδες σαν αυτές που αναφέραμε παραπάνω οι οποίες έχουν κάνει μια συμφωνία για διαμοιρασμό των πόρων των υπολογιστικών τους συστημάτων. Με άλλα λόγια θα μπορούσαμε να πούμε ότι οι ομάδες αυτές είναι κατά κάποιο τρόπο μέλη ενός Πλέγματος Υπολογιστών. Για να μπορεί κάποιος να κάνει χρήση των υπηρεσιών που μπορεί να παρέχει ένα Πλέγμα Υπολογιστών πρέπει να ανήκει σε μία τέτοια ομάδα η οποία θα επιβεβαιώνει την ταυτότητά του. Τα υπόλοιπα έχουν να κάνουν με την πολιτική που ακολουθεί κάθε τέτοια ομάδα και τα δικαιώματα που δίνονται σε κάθε χρήστη. 8

9 1.4 Αξιοπιστία Ένας σημείο το οποίο πρέπει να αναφερθεί είναι η αξιοπιστία που παρέχει ένα Πλέγμα Υπολογιστών. Ας υποθέσουμε ότι ένα μέλος ενός εικονικού οργανισμού επιχειρεί να τρέξει ένα απλό παράλληλο πρόγραμμα γραμμένο σε γλώσσα C++ σε έναν υπολογιστή στο εργαστήριο του πανεπιστημίου του αλλά ένας από τους υπολογιστές της συστοιχίας έχει βγει εκτός λειτουργίας. Εφόσον το πανεπιστήμιο ανήκει σε έναν εικονικό οργανισμό τότε το πρόγραμμα μπορεί να τρέξει σε κάποιους άλλους υπολογιστές του Πλέγματος οι οποίοι είναι διαθέσιμοι εκείνη τη στιγμή. Όπως παρατηρούμε με την ύπαρξη εναλλακτικών λύσεων αυξάνεται η αξιοπιστία του συνολικού συστήματος ανά πάσα στιγμή. Αν κάτι γενικά δεν πάει καλά τότε το σύστημα διαχείρισης των υπολογιστών του Πλέγματος ψάχνει και βρίσκει την αιτία δρομολογώντας το πρόγραμμα αλλού. Κάτι παρόμοιο συμβαίνει και στο διαδίκτυο όταν μοιραζόμαστε διάφορα αρχεία (File Sharing). Αν ο εξυπηρετητής από τον οποίο κατεβάζουμε ένα αρχείο τεθεί εκτός λειτουργίας, τότε το πρόγραμμα που χρησιμοποιούμε ψάχνει αυτόματα για κάποιον άλλο με το ίδιο αρχείο για να συνεχίσει από εκεί τη μεταφορά του. Σε γενικές γραμμές η ύπαρξη πολλών υπολογιστών σε ένα δίκτυο όπως το Πλέγμα Υπολογιστών μειώνει την πιθανότητα να ζητηθεί κάτι από το χρήστη και να μην είναι διαθέσιμο εκείνη τη στιγμή. Τέλος πρέπει να αναφέρουμε ότι ένα καλό πρόγραμμα διαχείρισης θα πρέπει να δίνει στο χρήστη τη βέλτιστη, από άποψη χρόνου εξυπηρέτησης, λύση. 1.5 Προαπαιτούμενα Εφαρμογών Πλέγματος Για να πούμε ότι μια εφαρμογή είναι κατάλληλη για εκτέλεση σε ένα Πλέγμα Υπολογιστών, πρέπει να ικανοποιεί μερικές βασικές απαιτήσεις. 9

10 Αν θέλουμε να εκτελέσουμε ένα πρόγραμμα το οποίο χρειάζεται ένα μικρό αριθμό δεδομένων και παράγει έναν επίσης μικρό αριθμό αποτελεσμάτων μετά από πολύ μεγάλη επεξεργασία, τότε αυτό το πρόγραμμα είναι κατάλληλο να τρέξει σε ένα Πλέγμα. Γενικά αυτό που θέλουμε είναι το πρόγραμμα να μην έχει μεγάλες απαιτήσεις σε επικοινωνία με άλλους υπολογιστές για παράδειγμα για άντληση δεδομένων. Ένα τέτοιο πρόγραμμα μπορούμε να το τρέξουμε σε έναν απομακρυσμένο υπολογιστή με μικρότερο φόρτο εργασίας από το δικό μας και να πάρουμε τα αποτελέσματα γρηγορότερα. Σε αντίθεση με αυτό το πρόγραμμα, αν δοκιμάσουμε να τρέξουμε έναν επεξεργαστή κειμένου σε κάποιον απομακρυσμένο υπολογιστή, τότε θα διαπιστώσουμε ότι το πρόγραμμα καθυστερεί περισσότερο από ότι αν έτρεχε στο δικό μας υπολογιστή. Αυτό συμβαίνει γιατί η ανάγκη αυτού του προγράμματος σε επικοινωνία για δεδομένα είναι πολύ μεγάλη σε σχέση με την υπολογιστική ισχύ που χρειάζεται. Ένας άλλος πολύ σημαντικός παράγοντας για τις εφαρμογές σε ένα Πλέγμα Υπολογιστών είναι να επιδέχονται παραλληλισμό. Αν κάποιος αλγόριθμος για να προχωρήσει σε κάποιον υπολογισμό χρειάζεται προηγούμενα αποτελέσματα υπολογισμών τότε αυτός ο αλγόριθμος δεν είναι εύκολα παραλληλοποιήσιμος. Αν όμως ο αλγόριθμος επεξεργάζεται διαφορετικές ομάδες δεδομένων και στο τέλος κάνει πράξεις στα αποτελέσματα που προκύπτουν από κάθε επιμέρους επεξεργασία, τότε το πρόγραμμα μπορεί να διασπαστεί σε μικρότερα παράλληλα προγράμματα. Σκοπός είναι τα μικρά αυτά προγράμματα, τα οποία θα εκτελούνται ταυτόχρονα στον εικονικό υπολογιστή του Πλέγματος, να επικοινωνούν όσο το δυνατόν λιγότερο μεταξύ τους. Στην ιδανική περίπτωση που τα υποπρογράμματα δεν επικοινωνούν καθόλου, οπότε δε χάνεται χρόνος σε επικοινωνία και σε αναμονή από κάποια διεργασία για 10

11 το πέρας κάποιας άλλης για να συνεχίσει, τότε ο χρόνος εκτέλεσης όλης της εφαρμογής είναι αντιστρόφως ανάλογος της υπολογιστικής ισχύος. Έτσι αν έχουμε δέκα όμοιους υπολογιστές, τότε στην ιδανική περίπτωση το παράλληλο πρόγραμμα θα τρέξει στο ένα δέκατο του χρόνου που χρειάζεται το σειριακό πρόγραμμα σε έναν υπολογιστή. Για να καταλάβουμε καλύτερα πως δουλεύει ένας τέτοιος αλγόριθμος θα δώσουμε ένα παράδειγμα του πως υπολογίζεται η τροχιά ενός σώματος στο διάστημα γνωρίζοντας μόνο την ταχύτητά του και τη θέση του. Γνωρίζουμε ότι αν έχουμε τρία ή περισσότερα σώματα στον ελεύθερο χώρο και θέλουμε να υπολογίζουμε τις τροχιές τους με την επίδραση της βαρυτικής δύναμης, δεν υπάρχουν αναλυτικές εξισώσεις. Για να δούμε πως θα κινηθούν τα σώματα πρέπει να κάνουμε μία προσομοίωση, δηλαδή να πάρουμε στοιχειώδεις μετατοπίσεις και χρόνους και να δούμε πως θα κινούνται τα σώματα στιγμή προς στιγμή υπολογίζοντας τη συνισταμένη δύναμη σε κάθε σώμα κάθε φορά. Πρέπει να προσέξουμε να πάρουμε τα στοιχειώδη μεγέθη όσο το δυνατό πιο μικρά για να μην επηρεάσει πολύ το αποτέλεσμα το συσσωρευτικό σφάλμα. Ο παραπάνω αλγόριθμος δεν μπορεί να χωρισθεί σε μικρότερα κομμάτια για παράλληλη εκτέλεση γιατί για κάθε χρονική στιγμή χρειάζεται το αποτέλεσμα της προηγούμενης. Σε αντίθεση με τον παραπάνω αλγόριθμο αν πάρουμε την απλοϊκή περίπτωση του αθροίσματος των αριθμών από το ένα μέχρι το εκατό τότε θα μπορούσε μία διεργασία να υπολογίζει το άθροισμα των πρώτων πενήντα και η άλλη των υπόλοιπων πενήντα και να αθροίζει το αποτέλεσμα με αυτό της πρώτης διεργασίας. Γενικά πάντως η διαδικασία μετατροπής ενός αλγορίθμου σε παράλληλο δεν είναι εύκολη και πολλές φορές, όπως είδαμε στο παράδειγμα με τα ουράνια σώματα, είναι αδύνατη. Είναι λοιπόν ευθύνη του προγραμματιστή να κοιτάξει τις απαιτήσεις της 11

12 εφαρμογής και να αποφανθεί αν θα αξίζει η εκτέλεσή της σε μια συστοιχία ή στην περίπτωσή μας σε ένα Πλέγμα Υπολογιστών. 1.6 Επιπλέον Πόροι Πλέγματος Υπολογιστών Εκτός από την υπολογιστική ισχύ και τον αποθηκευτικό χώρο για δεδομένα, σε ένα Πλέγμα Υπολογιστών μπορούμε να έχουμε πρόσβαση σε πολλούς ακόμα πόρους, ειδικό εξοπλισμό, λογισμικό, άδειες και άλλες υπηρεσίες. Για παράδειγμα αν κάποιος θέλει να υλοποιήσει μία μηχανή αναζήτησης και εξόρυξης γνώσης τότε θα μπορούσε να αυξήσει το εύρος ζώνης της σύνδεσής του με το διαδίκτυο μοιράζοντας την εργασία σε υπολογιστές από το Πλέγμα που έχουν αυτόνομη σύνδεση με το δίκτυο. Αν φυσικά οι υπολογιστές μοιράζονται την ίδια σύνδεση, προφανώς δε θα υπάρχει κέρδος σε εύρος ζώνης (Bandwidth). Μία άλλη πολύ σημαντική υπηρεσία του Πλέγματος είναι ότι κάποιοι υπολογιστές σε αυτό ενδέχεται να έχουν εγκατεστημένο κάποιο λογισμικό του οποίου η άδεια είναι πολύ ακριβή. Ο χρήστης αν χρειάζεται να τρέξει αυτή την εφαρμογή για μόνο μία φορά, τότε δεν τον συμφέρει να αγοράσει το πρόγραμμα αλλά μπορεί να το νοικιάσει κατά κάποιο τρόπο από το σύστημα διαχείρισης του Πλέγματος. Το τελευταίο θα του επιτρέψει να κάνει χρήση του προγράμματος σε κάποιον απομακρυσμένο υπολογιστή σύμφωνα με την πολιτική ασφάλειας που έχει υιοθετηθεί από τον εικονικό οργανισμό που ανήκει ο χρήστης. Τέλος σε ένα Πλέγμα Υπολογιστών μπορεί κάποιος να βρει μια πληθώρα από περιφερειακά τα οποία μπορεί να χρησιμοποιήσει σαν να ήταν συνδεδεμένα με το δικό του υπολογιστή. Παραδείγματα αποτελούν μερικοί υπερσύγχρονοι και γρήγοροι εκτυπωτές, αντιγραφικά δίσκων (D.V.D.) καθώς και μικροσκόπια και κάμερες για τηλεϊατρική και έρευνα από απόσταση. 12

13 1.7 Κατασκευή ενός Πλέγματος Υπολογιστών Μέχρι τώρα έχουμε αναφέρει συνοπτικά τι περίπου είναι ένα Πλέγμα Υπολογιστών και μερικές από τις ποικίλες δυνατότητές του. Σε αυτό το σημείο μπορούμε να προχωρήσουμε στα βασικά χαρακτηριστικά της σχεδίασης ενός Πλέγματος και πως αυτό μπορεί να υλοποιηθεί πρακτικά. Όταν το Πλέγμα είναι σχετικά μικρό και εξειδικευμένο (Ad Hoc) και έχει στηθεί για παράδειγμα από μία ομάδα προγραμματιστών για καθαρά πειραματικούς σκοπούς τότε η σχεδίαση είναι πολύ απλή και οι απαιτήσεις πολύ λιγότερες. Όταν όμως το Πλέγμα είναι μεγάλο και οι χρήστες στηρίζουν πάνω στην ομαλή λειτουργία του τις ελπίδες τους για μία αξιόπιστη λύση σε σημαντικές εφαρμογές, τότε ένας σωστός σχεδιασμός είναι κάτι παραπάνω από απαραίτητος. Όπως έχουμε πει στο Πλέγμα όταν κάποια εφαρμογή απαιτεί πόρους οι οποίοι δεν υπάρχουν σε τοπικό επίπεδο, τότε μπορεί να τους βρει σε άλλους κοντινούς ή μακρινούς υπολογιστές. Είναι πολύ σημαντικό κάθε οργανισμός ή ομάδα που συμμετέχει στο Πλέγμα να γνωρίζει τι είδους εφαρμογές θα εκτελεί για να μπορεί να αποφασίσει αν αξίζει να κάνει αναβάθμιση σε επίπεδο υλικού ή στην τεχνολογία επικοινωνίας των υπολογιστών. Σε αυτό εδώ το σημείο πρέπει να τονίσουμε ότι αν κάποια εταιρεία θέλει να εγκαταστήσει ένα τελείως αυτόνομο Πλέγμα στα κτίριά της, μπορεί να το κάνει (Intragrid) αλλά θα ήταν καλύτερο για λόγους αξιοπιστίας και όχι μόνο να εγγραφεί σε ένα μεγαλύτερο, γιατί όχι παγκόσμιο, Πλέγμα (Intergrid). Η εταιρεία θα μπορεί να τρέχει όλες τις εφαρμογές της σε τοπικό επίπεδο εκμεταλλευόμενη όλους τους πόρους που αυτή διαθέτει αλλά αν δεν ανήκει σε ένα μεγαλύτερο Πλέγμα τότε στην περίπτωση που κάποτε χρειαστεί παραπάνω πόρους για κάποιο διάστημα τότε δε θα 13

14 μπορεί να τους έχει. Η λογική και η βασική ιδέα του Πλέγματος όπως έχουμε ήδη αναφέρει είναι όλοι οι υπολογιστές, γιατί όχι και σε παγκόσμιο επίπεδο, να είναι σε θέση ανά πάσα στιγμή να χρησιμοποιήσουν πόρους από άλλα μηχανήματα και να δώσουν αν αυτό τους ζητηθεί και δεν τους έχουν ανάγκη. Ένας παραλληλισμός με το υπάρχον δίκτυο της Δ.Ε.Η. στην Ελλάδα μπορεί να γίνει. Όπως γνωρίζουμε ολόκληρη η ηπειρωτική χώρα είναι διασυνδεδεμένη με την Ευρώπη οπότε αν οι καιροί το απαιτούν είμαστε σε θέση να αγοράζουμε ηλεκτρική ενέργεια από γειτονικά κράτη κατά βούληση. Σε αντίθεση με τη σταθερότητα που υπάρχει όμως στην ηπειρωτική Ελλάδα, αρκετά νησιά και ανάμεσά τους και η Κρήτη δεν είναι συνδεδεμένα με το κεντρικό αυτό δίκτυο αφού δεν υπάρχει υποβρύχιο καλώδιο τροφοδοσίας. Η Κρήτη λοιπόν κάθε καλοκαίρι που η ζήτηση είναι πολύ μεγάλη παρουσιάζει έντονα προβλήματα στην ηλεκτροδότηση η οποία διακόπτεται συστηματικά εκ περιτροπής σε όλα τα μέρη. Αν το δίκτυο αυτό είχε συνδεθεί με το υπόλοιπο τότε, εκτός από τη μη ταλαιπωρία του κόσμου, η Δ.Ε.Η. θα είχε μεγαλύτερο κέρδος. Από το παραπάνω παράδειγμα καταλαβαίνουμε γιατί είναι αναγκαία η όσο το δυνατόν μεγαλύτερη διασύνδεση των δικτύων υπολογιστών. Το μόνο που πρέπει να ξεπεραστεί είναι οι προκαταλήψεις πάνω σε θέματα ασφάλειας όπως το ότι μερικοί άνθρωποι δε θέλουν να έχει πρόσβαση στον υπολογιστή τους κάποιος άλλος. Πρέπει όλοι να καταλάβουμε φυσικά ότι τίποτα δεν είναι δωρεάν και αν χρειαζόμαστε υπολογιστικούς πόρους για κάποια εφαρμογή, τότε θα πρέπει να πληρώσουμε είτε σε χρήμα είτε σε είδος παραχωρώντας και εμείς κάποιους πόρους που δε χρειαζόμαστε. Ακόμα αν γνωρίζουμε τι ακριβώς χρειαζόμαστε και πότε, τότε θα μπορούμε να κάνουμε 14

15 κρατήσεις σε αυτούς τους πόρους σαν να πρόκειται για μια κράτηση θέσης σε ένα εστιατόριο. Έτσι αν έχουμε πρόβλημα αποθηκευτικού χώρου για κάποια δεδομένα αλλά πρόκειται να αναβαθμίσουμε τους δίσκους μας, μπορούμε να κάνουμε μία κράτηση για μνήμη μέχρι να προχωρήσουμε σε αυτή την αναβάθμιση. Επίσης αν θέλουμε να τρέξουμε μια απαιτητική σε υπολογιστική ισχύ εφαρμογή αλλά όλοι οι υπολογιστές μας είναι πολύ απασχολημένοι συνέχεια τότε θα μπορούσαμε να κάνουμε μία κράτηση μίας κεντρικής μονάδας επεξεργασίας για ένα ολόκληρο βράδυ. Ο λόγος που θα επιλέγαμε το βράδυ είναι προφανής αφού τότε θα μας κόστιζε λιγότερο. Ένα πολύ σημαντικό θέμα στον όλο σχεδιασμό ενός συστήματος σαν αυτό που εξετάζουμε είναι αυτό της ασφάλειας. Όταν έχουμε να κάνουμε με ένα απλό κατανεμημένο σύστημα, το θέμα της ασφάλειας περιορίζεται μόνο στην από κοινού χρήση διαφόρων αρχείων από μία ομάδα υπολογιστών και στην ανταλλαγή αυτών των δεδομένων. Σε ένα Πλέγμα όμως οι υπολογιστές είναι ρυθμισμένοι να εκτελούν προγράμματα εκτός από το να μετακινούν δεδομένα, έτσι το έδαφος είναι εξαιρετικά πρόσφορο για την εξάπλωση ιών (Viruses) και δούρειων ίππων (Trojan Horses). Για αυτό το λόγο είναι απαραίτητο να γνωρίζουμε ποια τμήματα του Πλέγματος είναι ευάλωτα και να τα προστατεύουμε κατάλληλα. Οι χρήστες που χρησιμοποιούν το Πλέγμα πρέπει να είναι πιστοποιημένοι από μια αρχή πιστοποίησης (Certificate Authority) και οφείλουν να συμμορφώνονται με τους εκάστοτε κανονισμούς ασφάλειας. Η αναγνώριση και η αυθεντικοποίηση ενός χρήστη από το σύστημα διαχείρισης του Πλέγματος πρέπει να τηρεί κάποιες προδιαγραφές ενώ οι τεχνολογίες κρυπτογράφησης και η υποδομή ιδιωτικού και δημόσιου κλειδιού παίζουν πολύ σημαντικό ρόλο. Τέλος αν κρίνεται απαραίτητο, πρέπει να καταγράφονται οι ενέργειες κάθε χρήστη για κάποιο χρονικό 15

16 διάστημα έτσι ώστε να είναι δυνατή η εύρεση κάποιου χρήστη που η συμπεριφορά του στο Πλέγμα δεν είναι αυτή που συνήθως είναι. Το τελευταίο θα μπορούσε να φανεί χρήσιμο στην περίπτωση που κάποιος έχει αποκτήσει τον κωδικό πρόσβασης ενός μέλους του Πλέγματος και προσπαθεί να ενεργήσει με κακόβουλο τρόπο. 1.8 Τμήματα του Λογισμικού ενός Πλέγματος Σε αυτό το σημείο θα δούμε τα βασικά τμήματα από τα οποία αποτελείται ένα σύστημα Πλέγματος Υπολογιστών και τι ακριβώς κάνει το καθένα. Ένα από τα βασικά συστατικά ενός Πλέγματος είναι το σύστημα διαχείρισης το οποίο αποτελείται από μικρότερα κομμάτια τα οποία κάνουν μία συγκεκριμένη δουλειά (Management Components). Το σύστημα αυτό είναι σε θέση να γνωρίζει όλους τους πόρους οι οποίοι είναι διαθέσιμοι στο Πλέγμα καθώς και ποιοι χρήστες είναι εγγεγραμμένοι σε αυτό. Η πληροφορία αυτή είναι σημαντική για να γίνει η δρομολόγηση των εργασιών στους κατάλληλους κόμβους. Άλλα τμήματα του συστήματος διαχείρισης είναι υπεύθυνα για τη μέτρηση των δυνατοτήτων των κόμβων, όπως τη μνήμη που διαθέτουν και την υπολογιστική ισχύ τους, και την τρέχουσα κατάστασή τους, όπως για παράδειγμα τι ποσοστό των πόρων τους χρησιμοποιείται. Το σύστημα διαχείρισης, γνωρίζοντας σε τι κατάσταση βρίσκεται ο κάθε κόμβος, μπορεί να δρομολογήσει τις διεργασίες εκεί που πρέπει χωρίς να παρατηρούνται φαινόμενα υπερφόρτωσης σε ορισμένα σημεία και υπολειτουργίας σε άλλα. Οι υπεύθυνοι διαχείρισης του δικτύου με τη βοήθεια αυτού του λογισμικού είναι σε θέση να έχουν μία συνολική εποπτική εικόνα του Πλέγματος και να αντιλαμβάνονται άμεσα τις 16

17 οποιεσδήποτε βλάβες. Τέλος, εξειδικευμένα υποσυστήματα μπορούν να αντιληφθούν αυτόματα κάποιες βλάβες στο Πλέγμα και να δρομολογήσουν κατάλληλα το φόρτο εργασίας συμβάλλοντας στην ομαλή λειτουργία του δικτύου (Autonomic Computing-Recovery Oriented Computing). Για να μπορέσει ένα μηχάνημα να συνδεθεί στο Πλέγμα και να συνεισφέρει πόρους, είναι απαραίτητο να έχει εγκατασταθεί σε αυτό προηγουμένως ένα εξειδικευμένο κομμάτι λογισμικού (Donor Software) και να εγγραφεί σαν μέλος του δικτύου. Μία αναγνώριση και αυθεντικοποίηση του μηχανήματος είναι απαραίτητη πριν την εγγραφή. Μία αρχή πιστοποίησης (Certificate Authority) μπορεί να πιστοποιήσει την ταυτότητα του υπολογιστή που θα χρησιμοποιηθεί από το Πλέγμα, το χρήστη, ακόμα και το ίδιο το Πλέγμα στο σύνολό του εκδίδοντας τα κατάλληλα ψηφιακά πιστοποιητικά. Το λογισμικό που είναι εγκατεστημένο σε κάθε υπολογιστή, ή αλλιώς λογισμικό δότη, παρακολουθεί τη χρησιμοποίηση των πόρων του μηχανήματος και στέλνει αυτή την πληροφορία στο σύστημα διαχείρισης το οποίο, όπως αναφέραμε πριν, αποφασίζει ποιος είναι ο πλέον κατάλληλος κόμβος για την εκτέλεση μίας εργασίας. Το λογισμικό αυτό επίσης είναι υπεύθυνο για τη λήψη μίας εργασίας από το Πλέγμα. Η διαδικασία ξεκινάει λαμβάνοντας κάποιο εκτελέσιμο αρχείο, αποφασίζοντας αν είναι σε θέση να το εκτελέσει και αν ναι τότε παράγει ένα αρχείο εξόδου το οποίο και επιστρέφεται στον υπολογιστή που το ζήτησε μέσω του συστήματος διαχείρισης. Συνήθως σε ένα Πλέγμα Υπολογιστών οι εργασίες μπορούν να υποβληθούν από οποιοδήποτε κόμβο. Σε ορισμένες όμως αρχιτεκτονικές όπου υπάρχουν εξειδικευμένοι κόμβοι για συγκεκριμένες μόνο δουλειές, 17

18 οι εργασίες υποβάλλονται από συγκεκριμένους υπολογιστές ή τερματικά. Η υποβολή των εργασιών γίνεται με τη βοήθεια εξειδικευμένου λογισμικού υποβολής (Submission Software). Για παράδειγμα σε ένα εργαστήριο υπολογιστών ενδέχεται να υπάρχουν δέκα μηχανήματα από τα οποία μόνο τα δύο να έχουν το κατάλληλο λογισμικό (Submission Clients) για την υποβολή εργασιών και από τα οποία ο χρήστης μπορεί να τρέξει τις εφαρμογές του στο Πλέγμα. Αν το Πλέγμα είναι σχετικά μικρό και δεν καλύπτει μεγάλη γεωγραφική έκταση, τότε η διαχείρισή του είναι εύκολη. Αν όμως το δίκτυο απλώνεται σε μία μεγάλη έκταση και περιλαμβάνει πολλές διαφορετικές ομάδες ετερογενών συστημάτων, τότε τα πράγματα δυσκολεύουν. Με τον όρο ετερογενή συστήματα εννοούμε ότι κάποιοι υπολογιστές για παράδειγμα έχουν για λειτουργικό σύστημα windows, άλλοι linux και άλλοι Solaris ή οι επεξεργαστές τους διαφέρουν στην αρχιτεκτονική τους. Αν θέλουμε να έχουμε μια κεντρική διαχείριση για ένα τόσο μεγάλο δίκτυο, τότε θα έχουμε πρόβλημα καθυστέρησης από τους εξυπηρετητές (Servers) του συστήματος διαχείρισης και γενικά όλα τα βοηθητικά προγράμματα τα οποία σχετίζονται με την ομαλή λειτουργία του Πλέγματος. Ας πάρουμε για παράδειγμα το πρόγραμμα που είναι υπεύθυνο για τη δρομολόγηση των διεργασιών. Αν όλο το δίκτυο περιλαμβάνει δέκα χιλιάδες υπολογιστές διαφόρων τύπων και η δρομολόγηση γίνεται από ένα και μόνο σημείο τότε το σύστημα θα καταρρεύσει ή θα γίνει εξαιρετικά αργό στην απόκρισή του. Μία αρχιτεκτονική που θα έλυνε αυτό το πρόβλημα είναι να γίνεται η διαχείριση του δικτύου ακολουθώντας μια ιεραρχική δομή. Για παράδειγμα, κάθε τοποθεσία που διαθέτει μία ομάδα υπολογιστών θα μπορούσε να έχει εγκατεστημένο σε έναν υπολογιστή από αυτούς και ένα πρόγραμμα διαχείρισης. Με αυτόν δε θα είχαμε έναν κεντρικό έλεγχο 18

19 αλλά η διαχείριση του Πλέγματος θα διασκορπιζόταν σε όλο το Πλέγμα. Έτσι μία διεργασία θα δρομολογούταν από ένα επίπεδο σε κάποιο άλλο χαμηλότερο μέχρι να φτάσει στο τελευταίο πρόγραμμα διαχείρισης το οποίο θα έψαχνε σε τοπικό επίπεδο να βρει κάποιον υπολογιστή με τις απαιτούμενες δυνατότητες. Μέχρι στιγμής έχουμε αναφέρει αρκετές φορές τον όρο δρομολογητές ή πιο σωστά προγραμματιστές (Schedulers). Το λογισμικό αυτό είναι επιφορτισμένο με τον καθορισμό των υπολογιστών οι οποίοι ικανοποιούν ορισμένα προαπαιτούμενα για την εκτέλεση κάποιας εργασίας. Η ανάθεση και ο προγραμματισμός των εργασιών μπορεί να ακολουθεί κάποιον απλό κανόνα όπως η σειριακή εξέταση όλων των υπολογιστών μέχρι να βρεθεί ο πρώτος που ικανοποιεί τις ανάγκες μας. Μολονότι μία τέτοια προσέγγιση είναι πολύ απλή, πολλές φορές ένας πιο πολύπλοκος προγραμματισμός της εκτέλεσης των εργασιών έχει πολλά πλεονεκτήματα. Αρκετές φορές οι εργασίες στο Πλέγμα δεν έχουν την ίδια σημασία. Για παράδειγμα μία διεργασία μπορεί να απαιτεί πολύ χρόνο αλλά να μη βιαζόμαστε τόσο να πάρουμε τα αποτελέσματά της, ενώ κάποια άλλη ίσως να είναι σημαντικό να γνωρίζουμε το αποτέλεσμά της αμέσως. Για αυτό το λόγο βάζουμε σε κάθε εργασία ένα βαθμό προτεραιότητας και τοποθετούμε τις εργασίες σε διαφορετικές ουρές (Queues) ανάλογα με αυτόν. Το λογισμικό που αναθέτει τις εργασίες στους κατάλληλους υπολογιστές θα δρομολογεί πρώτα τις εργασίες της ουράς μεγαλύτερης προτεραιότητας και έπειτα αυτές των ουρών χαμηλότερης προτεραιότητας. Μία άλλη εφαρμογή αυτού του λογισμικού είναι η υλοποίηση ορισμένων πολιτικών χρήσης στο Πλέγμα όπως η μη εκτέλεση ορισμένων εργασιών σε συγκεκριμένες ώρες ή ο αποκλεισμός ορισμένων υπολογιστών κατά τη διάρκεια της ημέρας. Ένας καλός προγραμματιστής-δρομολογητής είναι σε θέση να γνωρίζει πότε 19

20 μία εργασία δεν εκτελέστηκε σωστά ή χάθηκε λόγω σφάλματος του δικτύου οπότε την ξαναϋποβάλλει κάπου αλλού. Επίσης μπορεί να αντιληφθεί μία εργασία η οποία φαίνεται να έχει μπει σε έναν άπειρο βρόχο και έχει ξεπεράσει κάποιο μέγιστο χρονικό διάστημα. Το χρονικό αυτό διάστημα είναι καθορισμένο από πριν για κάθε εργασία και το λογισμικό δρομολόγησης γνωρίζει αν πρέπει να ξαναϋποβάλλει την εργασία ή να την απορρίψει. Τέλος, όπως έχουμε αναφέρει, είναι δυνατό να κάνουμε κράτηση ορισμένων πόρων στο Πλέγμα για μελλοντική χρήση. Αυτό γίνεται με τη βοήθεια ενός συστήματος κρατήσεων που είναι συνδυασμός ενός δρομολογητή και ενός συστήματος ημερολογίου. Όταν έρθει η στιγμή για την οποία έχει γίνει η κράτηση σε κάποιον υπολογιστή, τότε οι εργασίες που εκτελούνται εκεί είτε μετακινούνται κάπου αλλού είτε αναστέλλονται προσωρινά. Ένα Πλέγμα ενδέχεται να περιλαμβάνει λογισμικό το οποίο βοηθάει τις εργασίες να επικοινωνούν μεταξύ τους όπως ακριβώς γίνεται και στο διαδίκτυο δηλαδή με τη βοήθεια δύο αριθμών για την καθεμία, έναν για τη διεργασία και έναν για τον υπολογιστή που εκτελείται αυτή (Socket). Μία εφαρμογή η οποία εκτελείται στο Πλέγμα μπορεί να χωριστεί σε πολλές υποεργασίες (Subjobs) και η καθεμία από αυτές αποτελεί μία ξεχωριστή εργασία για το Πλέγμα. Για να επικοινωνήσουν αυτές οι διεργασίες εφόσον το απαιτεί ο αλγόριθμος της εφαρμογής, απαιτείται ένα λογισμικό όπως για παράδειγμα η διεπαφή ανταλλαγής μηνυμάτων (Message Passing Interface) η οποία περιέχει βιβλιοθήκες και εργαλεία με τα οποία ο προγραμματιστής πετυχαίνει αυτή την επικοινωνία. Τα περισσότερα συστήματα Πλέγματος περιέχουν τέτοιου είδους λογισμικό για να μπορεί να επιτευχθεί παραλληλοποίηση σε ορισμένους αλγορίθμους. 20

21 Όπως αναφέραμε παραπάνω, οι δρομολογητές αντιδρούν στο φορτίο του Πλέγματος κάθε χρονική στιγμή. Συνήθως το λογισμικό δότη (Donor Software) περιλαμβάνει εφαρμογές οι οποίες μετράνε το φόρτο εργασίας στον υπολογιστή που είναι εγκατεστημένοι. Αυτό μπορεί να γίνει είτε χρησιμοποιώντας εφαρμογές του τοπικού λειτουργικού συστήματος είτε με απευθείας μέτρηση των χρησιμοποιούμενων πόρων. Το λογισμικό αυτό αναφέρεται πολλές φορές και σαν αισθητήρας φορτίου (Load Sensor). Η μετρήσεις αυτές δε χρησιμεύουν μόνο στο να βρεθεί ο κατάλληλος υπολογιστής για την εκτέλεση μιας εργασίας αλλά και για μία εποπτική παρατήρηση όλου του Πλέγματος και της χρήσης του κάθε στιγμή. Το τελευταίο μπορεί να συμβάλλει στην πρόβλεψη για μελλοντικές ανάγκες αναβάθμισης σε υλικό και στην καλύτερη διαχείριση όλου του δικτύου. Τέλος αυτές οι πληροφορίες μπορούν να οπτικοποιηθούν σε μια φόρμα έτσι ώστε να παρατηρούμε όλη τη χρήση των πόρων του Πλέγματος, σαν να ήταν ένας μόνο υπολογιστής. 1.9 Περίληψη Μέχρι τώρα έχουμε δει σε γενικές γραμμές τι είναι και σε τι σκοπεύει ένα Πλέγμα υπολογιστικών συστημάτων. Συνοψίζοντας, ένα Πλέγμα Υπολογιστών είναι μία ομάδα από υπολογιστικά συστήματα διαφόρων ειδών τα οποία αλληλεπιδρούν δίνοντάς μας την εικόνα ενός μόνο υπολογιστή. Η αλληλεπίδραση αυτή αφορά στο διαμοιρασμό μνήμης, κύκλων μηχανής και περιφερειακών επιτρέποντας έτσι τη μεγαλύτερη δυνατή απόδοση στο σύνολο του συστήματος. Στη συνέχεια θα δούμε πως γινόμαστε χρήστες ενός Πλέγματος και μερικές εφαρμογές αναλύοντας τη διαδικασία υποβολής τους στο σύστημα. 21

22 2 ΠΕΡΙΓΡΑΦΗ ΔΙΑΔΙΚΑΣΙΑΣ ΕΓΓΡΑΦΗΣ ΣΤΟ ΠΛΕΓΜΑ ΜΕΣΩ ΤΟΥ Α.Π.Θ. 2.1 Προαπαιτούμενα Εγγραφής και Αίτηση για Πιστοποιητικό Για να εγγραφεί κάποιος σε ένα Πλέγμα υπολογιστικών συστημάτων πρέπει, όπως έχουμε αναφέρει, να γίνει μέλος σε έναν εικονικό οργανισμό και να πιστοποιηθεί η ταυτότητά του. Για τις ανάγκες της διπλωματικής εργασίας και για να γίνει εφικτή η εκτέλεση του δοκιμαστικού προγράμματος στο Πλέγμα έγιναν κάποια προκαθορισμένα βήματα τα οποία περιγράφονται παρακάτω. Στη νησίδα υπολογιστών του τμήματος Φυσικής του Α.Π.Θ. είναι εγκατεστημένο σε έναν υπολογιστή ένα πρόγραμμα, μέρος του λογισμικού Πλέγματος LCG-2, το οποίο παίζει το ρόλο της διεπαφής χρήστη (User Interface) για τις υπηρεσίες του Πλέγματος. Το δοκιμαστικό πρόγραμμα θα εκτελεστεί μέσω αυτής της διεπαφής. Ο υπολογιστής στον οποίο βρίσκεται η διεπαφή φέρει το όνομα gridgate και ανήκει στον υποτομέα physics του τομέα του Α.Π.Θ. auth.gr. Για να συνδεθούμε σε αυτόν τον υπολογιστή είναι απαραίτητη η δημιουργία ενός λογαριασμού. Κατόπιν σχετικής προφορικής αιτήσεως στο φυσικό και υποβολής βεβαίωσης από τον επιβλέποντα καθηγητή της διπλωματικής και διευθυντή του εργαστηρίου αρχιτεκτονικής υπολογιστικών συστημάτων του ΤΗΜΜΥ κ. Γ.Χασάπη, δημιουργήθηκε ο λογαριασμός ekontoth. Η σύνδεση στον gridgate μπορεί να γίνει είτε από windows με χρήση του προγράμματος putty secure shell, είτε πιο εύκολα μέσω του scientific linux με την εντολή ssh l ekontoth gridgate.physics.auth.gr. Το επόμενο βήμα είναι να γίνει αίτηση για έκδοση ψηφιακού πιστοποιητικού με την εντολή grid-cert-request. Όπως 22

23 αναφέραμε προηγουμένως ο λογαριασμός ekontoth δημιουργήθηκε στον υπολογιστή gridgate του τμήματος φυσικής του Α.Π.Θ. και μας επιτρέπει την πρόσβαση σε αυτόν. Παρακάτω περιγράφονται ένα προς ένα τα βήματα που πρέπει να ακολουθηθούν για να εκδοθεί το ψηφιακό πιστοποιητικό χρήστη το οποίο θα μας επιτρέπει να δουλεύουμε στο Πλέγμα. Πρέπει να τονιστεί ότι το πιστοποιητικό εκδίδεται από την αρχή πιστοποίησης του Α.Π.Θ. σε οποιοδήποτε εξουσιοδοτημένο πρόσωπο, και κατόπιν της σχετικής αίτησης που αναφέραμε, μόνο για εργασίες που σχετίζονται με το Πλέγμα. Οποιαδήποτε άλλη χρήση του πιστοποιητικού, όπως για παράδειγμα η χρήση του σε οικονομικές συναλλαγές, δεν επιτρέπεται όπως αναφέρεται ρητά στους όρους χρήσης του. Σε έναν από τους υπολογιστές του εργαστηρίου αρχιτεκτονικής υπολογιστικών συστημάτων που έχουν παραχωρηθεί για τις ανάγκες της παρούσης διπλωματικής και συγκεκριμένα του υπολογιστή με όνομα (Host Name) lab238.ee.auth.gr γίνεται εκκίνηση σε περιβάλλον Scientific Cern Linux. Το λειτουργικό αυτό σύστημα έχει εγκατασταθεί σε άλλους τέσσερις υπολογιστές στο ίδιο εργαστήριο και οι οποίοι φέρουν πάνω τους την ένδειξη GR. Οι διευθύνσεις αυτών των υπολογιστών στο διαδίκτυο ακολουθούν μία σταθερή δομή. Για παράδειγμα ο υπολογιστής lab253.ee.auth.gr έχει IP address ενώ ο lab238.ee.auth.gr έχει διεύθυνση Όπως παρατηρούμε τα πρώτα νούμερα είναι σταθερά και δηλώνουν τον τομέα που ανήκουν οι υπολογιστές, ενώ τα τελευταία τρία είναι χαρακτηριστικά του υπολογιστή. Οι διευθύνσεις αυτές είναι σταθερές καθώς οι υπολογιστές είναι μονίμως συνδεδεμένοι με το δίκτυο του Α.Π.Θ. και μέσω αυτού με το διαδίκτυο. Κατά τη διαδικασία της εγκατάστασης του λειτουργικού συστήματος Linux δόθηκαν αυτές οι διευθύνσεις και δημιουργήθηκε αυτόματα ο λογαριασμός του διαχειριστή συστήματος root. Ο κωδικός πρόσβασης 23

24 που επιλέχθηκε για το λογαριασμό αυτό είναι ο #3e8wros!. Για να προβούμε στην εγκατάσταση του Linux και για να μπορούμε από την ίδια μονάδα σκληρού δίσκου να εκκινήσουμε και windows έπρεπε να εγκαταστήσουμε πρώτα τα windows και έπειτα το Linux. Το Linux περιέχει έναν διαχειριστή εκκίνησης συστήματος (Boot Manager) ο οποίος μας επιτρέπει να επιλέγουμε κατά την εκκίνηση το λειτουργικό σύστημα που προτιμούμε. Αυτό είναι αδύνατο να γίνει αν τα windows εγκατασταθούν μετά από το Linux αφού στην περίπτωση αυτή τα windows δε θα αναγνωρίσουν το Linux καθόλου. Αφού γίνει η εκκίνηση σε περιβάλλον Linux στον υπολογιστή lab238.ee.auth.gr, ανοίγουμε ένα παράθυρο τερματικού (Terminal) και βρισκόμαστε στον αρχικό κατάλογο του υπερχρήστη (Superuser) root. Δεδομένου ότι δεν έχουν δημιουργηθεί άλλοι λογαριασμοί, σε κάθε μας βήμα θα δουλεύουμε σαν διαχειριστές του συστήματος οπότε θα έχουμε άπειρη ελευθερία και δικαιώματα χρήσης σε προγράμματα και δεδομένα. Από οποιονδήποτε κατάλογο τρέχουμε την εντολή ssh l ekontoth gridgate.physics.auth.gr. Το Linux περιλαμβάνει ένα πρόγραμμα (sshsecure shell client) για ασφαλή επικοινωνία με τη βοήθεια του οποίου συνδεόμαστε με τον υπολογιστή gridgate.physics.auth.gr. Η σημαία l δηλώνει ότι η σύνδεση θα γίνει με το όνομα χρήστη που ακολουθεί (ekontoth) ενώ το τελευταίο όρισμα της εντολής είναι ο υπολογιστής στον οποίο επιθυμούμε να συνδεθούμε. Όταν εννοούμε σύνδεση μέσω ssh, εννοούμε ότι με τη βοήθεια κάποιου προγράμματος ανοίγουμε ένα κανάλι επικοινωνίας μέσω του οποίου ρέουν τα δεδομένα εισόδου και εξόδου μεταξύ του υπολογιστή μας και αυτού στον οποίο έχουμε συνδεθεί. Στην πράξη μπορούμε να τρέξουμε εντολές σε έναν απομακρυσμένο υπολογιστή και μετά να πάρουμε τα αποτελέσματα στην οθόνη μας καθιστώντας τον υπολογιστή μας ένα τερματικό του 24

25 απομακρυσμένου αυτού υπολογιστή. Μετά την εκτέλεση της εντολής ssh μας ζητείται ο κωδικός πρόσβασης για τον υπολογιστή gridgate. Ο κωδικός δημιουργήθηκε κατά το άνοιγμα του λογαριασμού ekontoth. Μετά την πληκτρολόγηση του κωδικού αυτού είμαστε μέσα στο σύστημα του υπολογιστή του φυσικού και συγκεκριμένα είμαστε στον κατάλογο που έχει δημιουργηθεί για εμάς /localhome/ekontoth. Αν για οποιοδήποτε λόγο θελήσουμε να βγούμε από το σύστημα τότε πληκτρολογούμε exit ή logout οπότε και η σύνδεση με τον gridgate θα κλείσει επιστρέφοντας στον τοπικό κατάλογο που βρισκόμασταν προηγουμένως. Αν θέλουμε να δουλεύουμε ταυτόχρονα στον lab238 και στον gridgate τότε ανοίγουμε δύο διαφορετικά παράθυρα γραμμής εντολών στον υπολογιστή μας. Για να προχωρήσουμε στην αίτηση για το ψηφιακό πιστοποιητικό μας τρέχουμε την εντολή grid-cert-request int από τον αρχικό μας κατάλογο στον gridgate (/localhome/ekontoth). Η σημαία int θα υποχρεώσει την εντολή να μας ρωτήσει όλα τα απαραίτητα για την έκδοση του ψηφιακού πιστοποιητικού καθώς μερικά δεδομένα χρειάζονται αλλαγή. Η εντολή παράγει το προσωπικό μας κλειδί και την αίτηση για το πιστοποιητικό και τα αποθηκεύει σε δύο διαφορετικά αρχεία. Αρχικά ζητείται το όνομά μας και δίνουμε Epameinontas Kontothanasis. Το κλειδί μας έχει τώρα αποθηκευτεί στον κατάλογο ~/.globus του gridgate και έχει όνομα userkey.pem. Στη συνέχεια ζητείται να οριστεί ένας κωδικός (pem passphrase) ο οποίος θα χρησιμοποιηθεί αργότερα. Επιλέχθηκε για λόγους απομνημόνευσης πάλι ο κωδικός πρόσβασης στον gridgate και μετά από την επιβεβαίωσή του μας ζητήθηκαν τα παρακάτω δεδομένα. Αρχικά η χώρα που βρισκόμαστε C=GR, ο οργανισμός με τον οποίο θα δουλέψουμε Level 0 Organization : HellasGrid, ο τομέας στον οποίο ανήκει το εργαστήριό μας Level 0 Organizational Unit : ee.auth.gr, και το όνομά μας πάλι Name : Epameinontas Kontothanasis. Τα δεδομένα αυτά είναι απαραίτητα για τη δημιουργία της αίτησης η οποία πρέπει να έχει 25

26 συγκεκριμένη δομή (Naming Scheme). Στην περίπτωσή μας η αίτηση έχει τη μορφή : C=GR, O=HellasGrid, OU=ee.auth.gr, CN=Epameinontas Kontothanasis. Η εκτέλεση της εντολής ολοκληρώθηκε με επιτυχία και στον κατάλογο ~/.globus του υπολογιστή gridgate έχουν δημιουργηθεί τα αρχεία usercert.pem, usercert_request.pem και userkey.pem. Το πρώτο είναι κενό και θα εξηγηθεί παρακάτω που θα χρησιμοποιηθεί, το δεύτερο είναι η αίτηση για το πιστοποιητικό και το τρίτο είναι το προσωπικό μας κλειδί (Private Key). Για να ολοκληρωθεί η διαδικασία της αίτησης προς την αρχή πιστοποίησης του Α.Π.Θ. πρέπει να στείλουμε με ηλεκτρονικό ταχυδρομείο το αρχείο της αίτησης στη διεύθυνση hellasgridca@physics.auth.gr. Το τελευταίο γίνεται εύκολα με την εντολή (από το περιβάλλον του gridgate) cat /localhome/ekontoth/.globus/usercert_request.pem mail hellasgridca@physics.auth.gr. Η εντολή cat θα διοχετεύσει το περιεχόμενο του αρχείου usercert_request στην εντολή mail και όχι στην προκαθορισμένη έξοδο της οθόνης ενώ στη συνέχεια η εντολή mail θα διαβιβάσει το αρχείο στη διεύθυνση που δίνεται στο τέλος σαν όρισμα. Σε αυτή τη φάση πρέπει να περιμένουμε δύο περίπου εργάσιμες μέρες για να εκδοθεί το πιστοποιητικό και να μας αποσταλεί μαζί με τους όρους χρήσης του και περεταίρω οδηγίες. 2.2 Εργασία με Ετερογενή Συστήματα Σε αυτό το σημείο αξίζει να αναφερθεί ότι η εργασία σε ετερογενή συστήματα είναι πολλές φορές πολύπλοκη. Αν επιθυμούσαμε να δουλέψουμε από τον υπολογιστή lab238 του εργαστηρίου μας σε περιβάλλον windows τότε θα έπρεπε να προβούμε σε ορισμένα επιπλέον 26

27 βήματα. Για να γίνει εφικτή η σύνδεση μέσω ssh από έναν υπολογιστή με windows σε έναν άλλο όπως ο gridgate που έχει Linux πρέπει να κάνουμε χρήση ενός κατάλληλου προγράμματος. Δεδομένου ότι τα windows δεν έχουν τέτοιο λογισμικό, θα πρέπει να το κατεβάσουμε από το διαδίκτυο. Ένα καλό και εύχρηστο πρόγραμμα για αυτή τη δουλειά είναι το putty το οποίο είναι ανοιχτού κώδικα και επομένως διατίθεται δωρεάν χωρίς περιορισμούς. Τρέχοντας αυτό το πρόγραμμα σε περιβάλλον windows, εμφανίζεται το παρακάτω παράθυρο (Σχήμα 2.1). Σχήμα 2.1 Παράθυρο Εφαρμογής Putty Όπως μπορούμε να δούμε είναι όλα ρυθμισμένα για σύνδεση ssh και το μόνο που έχουμε προσθέσει είναι το όνομα του υπολογιστή στον οποίο θέλουμε να έχουμε πρόσβαση. Εναλλακτικά θα μπορούσαμε να γράψουμε τη σταθερή του διεύθυνση στο διαδίκτυο. Στη συνέχεια 27

28 πατώντας το return θα μας ζητηθεί το όνομα χρήστη και ο κωδικός πρόσβασης του λογαριασμού για να καταλήξουμε σε ένα περιβάλλον γραμμής εντολών ανάλογο του Linux και πιο συγκεκριμένα στον αρχικό μας κατάλογο στον υπολογιστή gridgate. Με αυτό τον τρόπο μπορούμε να συνδεθούμε σε έναν απομακρυσμένο υπολογιστή με λειτουργικό σύστημα Linux και να τρέξουμε εντολές του κελύφους του παίρνοντας στην οθόνη μας τα αντίστοιχα αποτελέσματα ενώ το σύστημά μας τρέχει με windows. Υπάρχει όμως ένα σχετικό πρόβλημα όταν για την εκτέλεση μιας εργασίας χρειάζεται κάποια εντολή να εκτελεστεί από το δικό μας κέλυφος. Σε αυτή την περίπτωση έχουμε πρόβλημα γιατί μπορεί μέσω του putty να έχουμε ένα εικονικό σύστημα με Linux αλλά τοπικά δε μπορούμε να τρέξουμε ούτε μία εντολή του κελύφους. Αυτό το πρόβλημα θα γίνει πιο κατανοητό με το παρακάτω παράδειγμα. Ας υποθέσουμε ότι έχουμε συνδεθεί στον gridgate από το σπίτι μας με μία απλή τηλεφωνική γραμμή και έχουμε δημιουργήσει στον αρχικό μας κατάλογο ένα αρχείο κειμένου. Για να εκτυπώσουμε αυτό το αρχείο πρέπει να το κατεβάσουμε στον υπολογιστή μας. Αν είχαμε Linux θα μπορούσαμε να το κάνουμε πολύ απλά με την εντολή scp την οποία θα εκτελούσαμε τοπικά δίνοντας τα κατάλληλα ορίσματα για τον υπολογιστή από όπου θέλουμε να κατέβει το αρχείο και να αντιγραφεί στον υπολογιστή μας. Εφόσον έχουμε windows έχουμε πρόβλημα το οποίο δε μπορεί να επιλυθεί παρά μόνο με χρήση ενός άλλου κατάλληλου προγράμματος. Ένα τέτοιο πρόγραμμα είναι το putty secure ftp ή πιο σύντομα psftp. Το πρόγραμμα αυτό μπορούμε να το κατεβάσουμε δωρεάν καθώς είναι ανοιχτού κώδικα και είναι πολύ εύκολο στη χρήση του. To psftp χρησιμοποιείται για μεταφορά αρχείων στον υπολογιστή μας, από έναν υπολογιστή με εξυπηρετητή FTP (File Transfer Protocol). Αν τρέξουμε το psftp.exe στον υπολογιστή μας, τότε θα εμφανιστεί το παρακάτω παράθυρο (Σχήμα 2.2) το οποίο μας 28

29 προτρέπει να εκτελέσουμε την εντολή open με όρισμα τον υπολογιστή από τον οποίο θα αντλήσουμε τα δεδομένα. Πληκτρολογώντας το return θα μας ζητηθεί το όνομα χρήστη και ο κωδικός πρόσβασης και στο τέλος θα έχουμε πρόσβαση στα αρχεία μας στον απομακρυσμένο υπολογιστή. Αν στο παράδειγμά μας το όνομα του αρχείου κειμένου που έχουμε δημιουργήσει έχει όνομα test.c και βρίσκεται στον αρχικό μας κατάλογο, τότε με την εντολή get test.c το αρχείο αυτό θα μεταφερθεί αυτόματα στην επιφάνεια εργασίας του υπολογιστή μας και θα μπορούμε να το εκτυπώσουμε. Κλείνοντας αυτή τη σύντομη παρένθεση για τις δυσκολίες που παρουσιάζονται όταν δουλεύουμε με ετερογενή συστήματα, αναφέρουμε ότι γενικά τίποτα σχεδόν δεν είναι αδύνατο αλλά είναι προτιμότερο, αν μπορούμε, να δουλεύουμε με Linux γιατί έχει περισσότερες εφαρμογές οι οποίες μας λύνουν κυριολεκτικά τα χέρια. Σχήμα 2.2 Εφαρμογή psftp 29

30 2.3 Αποδοχή Πιστοποιητικού και Εγγραφή Όπως είπαμε μετά από δύο εργάσιμες μέρες η αρχή πιστοποίησης έστειλε υπογεγραμμένο μήνυμα ηλεκτρονικού ταχυδρομείου το οποίο περιείχε το πιστοποιητικό μας. Στη συνέχεια πρέπει να προβούμε σε κάποιες ενέργειες για να στείλουμε υπογεγραμμένο μήνυμα στην αρχή πιστοποίησης, δηλώνοντας ότι αποδεχόμαστε τους όρους χρήσης του πιστοποιητικού, και να εισάγουμε το πιστοποιητικό μας και το πιστοποιητικό της αρχής πιστοποίησης HellasGrid στο πρόγραμμα που χρησιμοποιούμε για πλοήγηση στο διαδίκτυο. Το τελευταίο θα γίνει για να εγγραφούμε στο Πλέγμα συμπληρώνοντας μία φόρμα με τα στοιχεία μας σε μία ιστοσελίδα η οποία απαιτεί να έχουμε αυτά τα πιστοποιητικά. Το πρώτο βήμα είναι να αντιγράψουμε το πιστοποιητικό μας από το Begin μέχρι το End από το μήνυμα που μας έχει σταλεί στο αρχείο usercert.pem στον υπολογιστή gridgate που όπως είχαμε πει ήταν κενό. Στη συνέχεια ακολουθώντας τις οδηγίες δημιουργούμε ένα πακέτο pkcs12 (pkcs12 bundle) με την εντολή : openssl pkcs12 -export -in ~/.globus/usercert.pem -inkey \ ~/.globus/userkey.pem -name "My Certificate"\ -out mycertificate.p12 Εκτελώντας την παραπάνω εντολή στον gridgate θα ερωτηθούμε για τον κωδικό pem passphrase που αναφέραμε νωρίτερα και θα μας ζητηθεί να δώσουμε έναν νέο κωδικό για τη διαδικασία της εισαγωγής του πιστοποιητικού στον Internet Explorer που θα δούμε σε λίγο. Όπως είπαμε, για λόγους απομνημόνευσης, όλοι οι κωδικοί που δόθηκαν είναι ίδιοι με τον κωδικό πρόσβασης στον gridgate. 30

31 Η τελευταία εντολή θα δημιουργήσει το αρχείο mycertificate.p12 το οποίο κατεβάζουμε στον υπολογιστή lab234 του εργαστηρίου με scp ή psftp.exe. Κάνοντας χρήση του προγράμματος Thunderbird στέλνουμε ένα μήνυμα ηλεκτρονικού ταχυδρομείου στην αρχή πιστοποίησης αναφέροντας ότι αποδεχόμαστε τους όρους χρήσης του πιστοποιητικού και το υπογράφουμε κάνοντας sign με το mycertificate.p12. Οι όροι χρήσης βρίσκονται σε ιστοσελίδα η οποία μας γίνεται γνωστή από το μήνυμα που έστειλε η αρχή πιστοποίησης. Αν δεν αποσταλεί αυτό το μήνυμα εντός μίας εβδομάδος από την έκδοση του πιστοποιητικού, τότε αυτό διαγράφεται και πρέπει να ξεκινήσει η διαδικασία για την έκδοση από την αρχή. Το αρχείο mycertificate.p12 στη συνέχεια θα το εισάγουμε στον Internet Explorer. Προηγουμένως όμως θα εισάγουμε στον Internet Explorer το πιστοποιητικό της HellasGrid. Μεταβαίνουμε στην ιστοσελίδα και κάνουμε κλικ στο Click here to import HellasGrid CA certificate directly to your browser. Στη συνέχεια στα παράθυρα που εμφανίζονται επιλέγουμε διαδοχικά open, Istall Crtificate, και τέλος Yes στην ερώτηση αν θέλουμε να αποθηκεύσουμε το πιστοποιητικό στο Root Store. Το πιστοποιητικό της Α.Π. HellasGrid έχει τώρα εγκατασταθεί στον Internet Explorer. Προχωρούμε τώρα στην εγκατάσταση του δικού μας πιστοποιητικού. Αρχικά ανοίγουμε τον Internet Explorer και επιλέγουμε file->open και επιλέγουμε να ανοίξουμε το αρχείο mycertificate.p12 από το σημείο που το έχουμε αποθηκεύσει στον υπολογιστή lab234. Στη συνέχεια πατάμε Next στα επόμενα δύο παράθυρα που εμφανίζονται και στο τρίτο μας ζητείται ο κωδικός που αναφέραμε παραπάνω. Ακόμα κάνοντας Enable στην πρώτη επιλογή θα ενημερωνόμαστε κάθε φορά που μία εφαρμογή χρησιμοποιεί αυτό το κλειδί ενώ η δεύτερη επιλογή αφήνεται κενή για να 31

32 μπορούμε να αντιγράψουμε ή να μεταφέρουμε το κλειδί στο μέλλον (Σχήμα 2.3). Σχήμα 2.3 Certificate Import Wizard Στα επόμενα δύο παράθυρα πατάμε Next και μετά Finish. Τέλος πατάμε ΟΚ στο παρακάτω παράθυρο (Σχήμα 2.4) που θα εμφανιστεί και ολοκληρώνουμε την εισαγωγή του πιστοποιητικού μας και προσωπικού κλειδιού στον Internet Explorer. Σχήμα 2.4 Importing a new private exchange key 32

33 Οι παραπάνω οδηγίες βρίσκονται και στην ιστοσελίδα όπου μπορεί κάποιος να δει πως εισάγει το πιστοποιητικό του και στο Mozilla. Το τελικό στάδιο για να γραφτούμε στον εικονικό οργανισμό SEE VO και να μπορούμε να τρέξουμε προγράμματα στο Πλέγμα είναι να μεταβούμε στην ιστοσελίδα : η οποία απαιτεί να έχουμε τα παραπάνω πιστοποιητικά και για αυτό το λόγο χρησιμοποιούμε τον Internet Explorer. Εκεί συμπληρώνουμε μία φόρμα με το όνομά μας, το ινστιτούτο που ανήκουμε (επιλέχθηκε ΤΗΜΜΥ), ένα τηλέφωνο και το μας. Στη συνέχεια μας αποστέλλεται ένα μήνυμα ηλεκτρονικού ταχυδρομείου που μας ενημερώνει ότι η αίτηση μας έχει κωδικό request id 45. Ακόμα μας ζητείται να επιβεβαιώσουμε την αίτηση και να περιμένουμε επικοινωνία με το διαχειριστή του συστήματος. Ο τελευταίος στέλνει ένα μήνυμα μετά από λίγες ημέρες και επιβεβαιώνει την εγγραφή μας στο Πλέγμα. Από τη στιγμή αυτή είμαστε μέλος του SEE VO ( Southern Eastern Europe) ο οποίος είναι ένας εικονικός οργανισμός που δραστηριοποιείται σε δέκα χώρες της ευρύτερης περιοχής των Βαλκανίων μεταξύ αυτών και η Ελλάδα. Τώρα κάνοντας χρήση των κατάλληλων εντολών, μπορούμε να τρέξουμε τα προγράμματά μας στο Πλέγμα από τον υπολογιστή gridgate κάνοντας χρήση του λογαριασμού μας που έχουμε εκεί. 33

34 3 ΥΠΟΒΟΛΗ ΕΡΓΑΣΙΩΝ ΣΤΟ ΣΥΣΤΗΜΑ ΠΛΕΓΜΑΤΟΣ LCG-2 [2] [3] 3.1 Στάδια Εκτέλεσης μιας Εργασίας Στην ενότητα αυτή θα περιγράψουμε τον τρόπο με τον οποίο υποβάλλεται μία εργασία στο Σύστημα Πλέγματος στο οποίο ανήκει η SEE VO που έχουμε εγγραφεί. Όπως έχουμε αναφέρει, η πρόσβαση μας στο Πλέγμα γίνεται μέσω της διεπαφής χρήστη (UI) που βρίσκεται στον υπολογιστή gridgate στο τμήμα Φυσικής. Ο χρήστης υποβάλλει την εργασία από το μηχάνημα αυτό (ή από αλλού με ssh όπως εμείς) σε ένα τμήμα λογισμικού του συστήματος που παίζει το ρόλο του μεσάζοντα για να βρεθούν οι απαιτούμενοι πόροι (Resource Broker). Αφού βρεθεί ένα στοιχείο υπολογισμού (Computing Element) που ικανοποιεί τις απαιτήσεις της εφαρμογής, τότε η εργασία μεταφέρεται στο σύστημα υποβολής εργασιών (Job Submission System). Εκεί δημιουργούνται ένα αρχείο γραμμένο στη γλώσσα RSL (Resource Specification Language) και ένα αρχείο που δηλώνει τα αρχεία εισόδου της εφαρμογής (Input Sandbox). Τα δύο τελευταία αρχεία στέλνονται στη συνέχεια σε ένα σύστημα (Gatekeeper) του στοιχείου υπολογισμού το οποίο τα υποβάλλει στο τοπικό σύστημα διαχείρισης πόρων (Local Resource Management System). Το τελευταίο σύστημα θα βρει σε τοπικό επίπεδο έναν ελεύθερο κόμβο (Worker Node) και θα στείλει εκεί την εργασία που υποβάλλαμε αρχικά. Μόλις η εργασία ολοκληρωθεί, τα αρχεία που έχουν παραχθεί 34

35 είναι διαθέσιμα στο τοπικό σύστημα διαχείρισης πόρων. Ο διαχειριστής εργασιών (Job Manager) που τρέχει στο στοιχείο υπολογισμού (CE) ενημερώνει τότε το σύστημα που αρχικά βρήκε αυτό το στοιχείο υπολογισμού (Resource Broker) ότι η εργασία έχει περατωθεί. Το τελευταίο σύστημα παραλαμβάνει τα αρχεία εξόδου που έχουν δηλωθεί από πριν στο αρχείο OutputSandBox και τα στέλνει στο χρήστη στο μηχάνημα που τρέχει η διεπαφή χρήστη (UI). 3.2 Παράδειγμα Υποβολής Εργασίας Παραπάνω είδαμε την αλυσίδα των γεγονότων που συμβαίνουν κάθε φορά που τροφοδοτούμε το Πλέγμα με μία εργασία. Μία στοιχειώδης εργασία αποτελείται από το εκτελέσιμο αρχείο της εφαρμογής και από ένα αρχείο γραμμένο στη γλώσσα JDL (Job Description Language) και το οποίο περιέχει λεπτομέρειες για το είδος της εφαρμογής, το εκτελέσιμο αρχείο και τα αρχεία εισόδου και εξόδου. Παρακάτω θα δούμε ένα παράδειγμα υποβολής μίας απλής εργασίας στο Πλέγμα για να καταλάβουμε τι ακριβώς κάνει η κάθε εντολή του συστήματος. Στον υπολογιστή gridgate δεν έχουμε δικαίωμα να τρέξουμε την εντολή gcc για να μεταγλωτίσσουμε ένα πρόγραμμα γραμμένο σε C. Για το λόγο αυτό και επειδή δεν έχουμε μεταγλωττιστή στα windows, ανοίγουμε έναν υπολογιστή του εργαστηρίου όπως ο lab234 με linux, και με την εντολή pico testfile.c δημιουργούμε ένα αρχείο κειμένου στον κατάλογο root. Σε αυτό το αρχείο γράφουμε τον πηγαίο κώδικα του προγράμματος με το οποίο θα γίνει η επίδειξη. Συγκεκριμένα γράφουμε : #include <stdio.h> int main( ) 35

36 { } printf( Hello World\n ); return 0; και σώζουμε το αρχείο. Στη συνέχεια με την εντολή gcc testfile.c o testfile.exe μεταγλωττίζουμε τον πηγαίο κώδικα και οδηγούμε το εκτελέσιμο αρχείο στο αρχείο με όνομα testfile.exe. Μπορούμε να τρέξουμε το πρόγραμμα αυτό στον lab234 πληκτρολογώντας./testfile.exe οπότε θα πάρουμε στην οθόνη το Hello World. Το εκτελέσιμο αρχείο τώρα το ανεβάζουμε στον gridgate με τη βοήθεια του προγράμματος psftp.exe αφού προηγουμένως το έχουμε αντιγράψει και το έχουμε μεταφέρει με δισκέτα σε οποιονδήποτε υπολογιστή θέλουμε με windows. Η εντολή put testfile.exe του psftp θα μεταφέρει το αρχείο testfile.exe από την επιφάνεια εργασίας του υπολογιστή μας στον αρχικό μας κατάλογο του gridgate χωρίς καμία επιπλέον παράμετρο. Το επόμενο βήμα μας είναι να γράψουμε ένα αρχείο JDL στο οποίο θα περιγράφουμε τα χαρακτηριστικά της εργασίας μας που θέλουμε να τρέξουμε στο Πλέγμα. Συγκεκριμένα δημιουργούμε στον αρχικό μας κατάλογο με την εντολή pico HelloWorld.jdl ένα αρχείο κειμένου με όνομα HelloWorld.jdl όπου γράφουμε τα παρακάτω : Executable = "testfile.exe"; Stdoutput = "message.txt"; StdError = "stderror"; InputSandbox = {"testfile.exe"}; OutputSandbox = {"message.txt","stderror"}; 36

37 Η πρώτη γραμμή δηλώνει ποιο είναι το εκτελέσιμο αρχείο και που βρίσκεται στον υπολογιστή που τρέχει το UI. Στη συνέχεια δηλώνουμε τα αρχεία εξόδου, ένα για την έξοδο του προγράμματος και ένα για την έξοδο σε περίπτωση σφάλματος και τα εισάγουμε στο αρχείο OutputSandbox για να μεταφερθούν μετά στο χρήστη. Γενικά αρχεία που μεταφέρονται από το UI στον κόμβο εργασίας και αντίστροφα (Working Node) πρέπει να δηλώνονται στα αρχεία InputSanbox και OutputSandbox. Ακόμα μπορούμε να εισάγουμε και ορίσματα στο πρόγραμμα που θα τρέξουμε όπως για παράδειγμα : Arguments = " Hello World "; αν το εκτελέσιμο είναι το /bin/echo. Τέλος το εκτελέσιμο αρχείο μπορεί να είναι ένα script όπως για παράδειγμα testfile.sh. Αφού έχουμε σώσει το αρχείο HelloWorld.jdl μπορούμε να προχωρήσουμε στην υποβολή της εργασίας μας. Όπως έχουμε πει, έχουμε συνδεθεί με ssh στον υπολογιστή gridgate, από οποιονδήποτε υπολογιστή που λειτουργεί με windows, μέσω ενός ssh client. Από τον αρχικό μας κατάλογο, στον οποίο βρίσκονται τα αρχεία HelloWorld.jdl και testfile.exe, πληκτρολογούμε την εντολή : voms-proxy-init -voms see για να δημιουργήσουμε ένα κλειδί (Proxy) που θα μας επιτρέψει να χρησιμοποιήσουμε το Πλέγμα για μία ημέρα. Για να δημιουργήσουμε αυτό το κλειδί θα μας ζητηθεί ο κωδικός μας οπότε θα δώσουμε πάλι τον ίδιο κωδικό που χρησιμοποιούμε. Αν θέλουμε να καταστρέψουμε το κλειδί μας τότε πληκτρολογούμε την εντολή : voms-proxy-destroy see οπότε μετά δε θα μπορούμε να εκτελέσουμε εντολές του Πλέγματος. Παρακάτω βλέπουμε (Σχήμα 3.1) τη δημιουργία του κλειδιού μας το οποίο μας επιτρέπει να χρησιμοποιήσουμε το Πλέγμα για εικοσιτέσσερις ώρες. 37

38 Σχήμα 3.1 Δημιουργία Κλειδιού Αφού έχουμε πάρει την άδεια για να χρησιμοποιήσουμε το Πλέγμα, προχωρούμε με την εντολή : edg-job-submit HelloWorld.jdl οπότε η εργασία υποβάλλεται στο Πλέγμα και στην οθόνη θα πάρουμε την παρακάτω έξοδο (Σχήμα 3.2). Το σύστημα μας ενημερώνει ότι έχουμε επιλέξει σαν εκονικό οργανισμό (VO) τον see VO. Ο υπολογιστής στον οποίο έχουμε συνδεθεί είναι ο rb.isabella.grnet.gr και η σύνδεση γίνεται χρησιμοποιώντας της θύρες 7772 και Ακόμα το σύστημα μας ενημερώνει ότι η εργασία έχει υποβληθεί επιτυχώς στο Πλέγμα και ο κωδικός (edg_jobid) της είναι : Σχήμα 3.2 Υποβολή Εργασίας 38

39 Με την εντολή edg-job-status <edg_jobid> μπορούμε να βλέπουμε την κατάσταση της εργασίας μας σε κάθε χρονική στιγμή. Παρακάτω βλέπουμε την κατάσταση της εργασίας μας αμέσως μετά την υποβολή της (Σχήμα 3.3). Σχήμα 3.3 Κατάσταση Εργασίας Οι πληροφορίες αυτές παρέχονται από έναν εξυπηρετητή που τρέχει σε κάποιο μηχάνημα του Πλέγματος και του οποίου η εργασία είναι να προσφέρει πληροφορίες καταλόγου και χρήσης (Logging & Bookkeeping). Στην περίπτωσή μας ο υπολογιστής αυτός είναι o rb.isabella.grnet.gr. Η εργασία μας όπως παρατηρούμε έχεi δρομολογηθεί αλλά δεν έχει αρχίσει ακόμα η εκτέλεσή της. Τέλος, ο υπολογιστής στον οποίο θα εκτελεστεί η εργασία μας είναι ο alexander.it.uom.gr. Όταν η εργασία μας φτάσει στην κατάσταση Done, τότε μπορούμε να πάρουμε την έξοδο του προγράμματός μας πληκτρολογώντας την εντολή edg-jobget-output <job_id>. Τότε το αρχείο εξόδου, το οποίο θα περιέχει το Hello World, θα μεταφερθεί στον προεπιλεγμένο φάκελο του υπολογιστή gridgate που είναι ο /tmp/joboutput. Αν θέλουμε να μεταφερθεί το αρχείο εξόδου στον δικό μας κατάλογο τότε δίνουμε σαν 39