Η τεχνολογία Grid και η δηµιουργία του παγκόσµιου υπερυπολογιστικού πλέγµατος. Χρήστος Μάρκου Ινστιτούτο Πυρηνικής Φυσικής

Transcript

1 Η τεχνολογία Grid και η δηµιουργία του παγκόσµιου υπερυπολογιστικού πλέγµατος Χρήστος Μάρκου Ινστιτούτο Πυρηνικής Φυσικής

2 Internet: Ο πρόδροµος Internet: Ηεπανάστασητηςδεκαετίαςτου 90. Για πρώτη φορά στην παγκόσµια Ιστορία, υπάρχει τόσο µεγάλο ποσό πληροφορίας διαθέσιµοστον καθένα. Υπηρεσίες, επικοινωνία και πληροφόρηση είναι πλέον άρρηκτα συνδεδεµένα µε τοweb.

3 Internet: Ο πρόδροµος, όµως το web είναι στατικό!!!! Η πληροφορία εισάγεται µε το χέρι, δεν δηµιουργείται. Με άλλα λόγια, το σηµαντικό είναι η διασύνδεση του χρήστη και όχι η υποδοµή πουέχειοίδιος.

4 Το όραµα... Ηεπιστηµονική έρευνα είναι πλέον αδιανόητη χωρίς τη χρήση Η/Υ. Πολλές φορές, οι ανάγκες ξεπερνούν κατά πολύ τις διαθέσιµες υποδοµές. Το όραµα των ερευνητών είναι η δυνατότητα να έχουν άπειρη υπολογιστική ισχύ και απρόσκοπτη πρόσβαση σε δεδοµένα και υποδοµές όταν χρειάζεται.

5 Το όραµα... Στη Φυσική Υψηλών Ενεργειών, τα πειράµατα του LHC που πρόκειται να ξεκινήσουν σε 2 χρόνια, αναµένεται να παράγουν δεδοµένα της τάξης των 10 Petabytes το χρόνο ( Gb) ή αλλιώς 20 εκατοµµύρια CDs. Στη Βιολογία, τη Μετεωρολογία, τη Βιοχηµεία, την Αστροφυσική, τις Οικονοµικές Επιστήµες και πολλά άλλα επιστηµονικά πεδία, οι επιστήµονες έχουν ανάγκη τη χρήση µεγάλων υπολογιστικών υποδοµών.

6 ... Το όραµα Ας φανταστούµε λοιπόν... Πολλούς υπολογιστές (µερικά εκατοµµύρια) που µπορεί να είναι PCs, workstations, mainframes, supercomputers, αλλά και βάσεις δεδοµένων, απεικονιστικές συσκευές, επιστηµονικά όργανα, κλπ... Οι υπολογιστές αυτοί είναι διεσπαρµένοι σε όλο τον κόσµοκαι ανήκουν σε διαφορετικούς ανθρώπους, πανεπιστήµια, εταιρείες, υπηρεσίες, κλπ... Όλα τα παραπάνω είναι συνδεδεµένα στο δίκτυο... Μέχρι στιγµής, περιγράφουµετονκόσµο όπως είναι σήµερα!

7 ... Το όραµα Και τώρα, ας φανταστούµε ότιυπάρχειέναµαγικό εργαλείο, το οποίο κάνει όλα τα παραπάνω να λειτουργούν σαν ένας τεράστιος, πανίσχυρος υπολογιστής, διαθέσιµος στον κάθε ένα! Αυτό οραµατιζόµαστε ότι θα είναι το Grid! Ποιοι το χρησιµοποιούν; ΟΛΟΙ!

8 ... Το όραµα Έτσι, αν θέλετε να υπολογίσετε κάτι, δεν χρειάζεται καν να έχετε το πρόγραµµα ή τα δεδοµένα στον υπολογιστή σας. Αρκεί να ζητήσετε από το Grid να σας τα βρει, να τρέξει το πρόγραµµα σε κάποιον υπολογιστή που είναι διαθέσιµος (που δεν ξέρετε καν ποιός είναι, που είναι, ή ποιος τον έχει). Όταν οι υπολογισµοί τελειώσουν, το Grid θα σας επιστρέψει τα αποτελέσµατα.

9 ... Το όραµα Το Grid θα πρέπει να: Αποφασίσει που θα εκτελεστεί το πρόγραµµα, ανάλογα µε τηδιαθεσιµότητα των πόρων (CPU, µνήµη, προγράµµατα, δεδοµένα, αποθηκευτικός χώρος, ταχύτητα σύνδεσης, κλπ) Ασχοληθεί µε τηπρόσβασησεδεδοµένα, caching, replication Εξακριβώσει την ταυτότητα και τα προνόµια του χρήστη αναφορικά µε την ασφάλεια Συνδεθεί µε τις τοπικές διαδικασίες για την κατανοµή τωνδιαθέσιµων πόρων Αρχίσει την εκτέλεση των υπολογισµών Παρακολουθήσει την εξέλιξη Ανακτήσει προγράµµατα, δεδοµένα και ενδιάµεσα αποτελέσµατα σε περίπτωση αποτυχίας ολοκλήρωσης του έργου Επιστρέψει στον χρήστη τα αποτελέσµατα Επαναφέρει τις υποδοµές στην αρχική τους κατάσταση

10 Power Grids Υπάρχει άµεση αναλογία ανάµεσα στα ενεργειακά δίκτυα και το Grid. Στην πραγµατικότητα, το όνοµα προέρχεται από τα power grids. Η υπολογιστική ισχύς θεωρείται ως αγαθό κοινής ωφέλειας, όπως το ηλεκτρικό ρεύµα.

11 Οι αναλογίες ιαθέσιµαδίκτυα, υπάρχουν παντού, ιαφανής χρήση, Παγκόσµια standards, Απλό στη χρήση, ιαθέσιµογιαόσοχρόνοθέλειοχρήστης, ιαθέσιµο στη ποσότητα που θέλει ο χρήστης, Αξιόπιστο, σταθερό, ασφαλές, θεωρείται ως δεδοµένο!

12 Ηπραγµατικότητα... Το Grid που περιγράψαµε είναι προς το παρόν ένα όνειρο, αν και η πραγµατικότητα το πλησιάζει. εν γνωρίζουµε πως θα εξελιχθεί το Grid, όπως δεν γνωρίζαµε πριν15 χρόνια πως θα εξελιχθεί το web. Ας δούµε την εξέλιξη του computing γιαναπάρουµε µια ιδέα για το πως θα µπορούσε να είναι το Grid σε 10 χρόνια από σήµερα.

13 Ηπραγµατικότητα... Distributed computing Metacomputing Cluster computing Peer-to peer computing Internet computing Το Grid είναι λίγο από όλα αυτά, αλλά και κάτι πολύ περισσότερο!

14 Ηπραγµατικότητα... Σε πολλές περιπτώσεις, υπολογιστικά προβλήµατα µπορούν να σπάσουν σε µικρότερα αυτοτελή και ανεξάρτητα βήµατα. Το κάθε ένα από αυτά µπορεί να επιλυθεί από διαφορετική υπολογιστική µονάδα, που δεν είναι απαραίτητο να βρίσκεται στον ίδιο χώρο µε τις άλλες. Το σηµαντικό είναι ποιος και πως διαχειρίζεται την υπολογιστική υποδοµή..local Grid computing

15 Local Grid computing Clusters υπολογιστών που ανήκουν στην ίδια οντότητα, συνδεδεµένοι µετοδίκτυο, εφοδιασµένοι µε ειδικόmiddleware για τη διαχείριση των υπολογιστικών πόρων (π.χ. Condor) µε τρόπο διαφανή για τον χρήστη. Επεκτασιµότητα! Συγκεκριµένοι χρήστες!

16 Grid computing... To Grid computing σε παγκόσµια κλίµακα, ισοδυναµεί µε την εξέλιξη του local grid computing. ικτυακές συνδέσεις πολύ µεγάλης ταχύτητας Ισχυρότατοι επεξεργαστές ικανοί να εξυπηρετούν το middleware ταυτόχρονα µετιςεφαρµογές των χρηστών. Καθώς αυξάνεται η ταχύτητα της δικτυακής σύνδεσης, µειώνεταιηδιαφοράτουναέχεικάποιος έναν υπολογιστή στο γραφείο του ή κάπου αλλού, ακόµα και σε άλλη χώρα.

17 Grid computing... Ταυτόχρονα, η ανάπτυξη ισχυρών εργαλείων middleware, επιτρέπει την αποτελεσµατική χρήση των αποµακρυσµένων υπολογιστικών πόρων (π.χ. Globus). Έτσι το grid computing εστιάζει στην κοινή χρήση πόρων σε µεγάλη κλίµακα, στη χρήση εξειδικευµένων υπολογιστικών συστηµάτων στην έλλειψη κεντρικού ελέγχου αναφορικά µε τηχρήση των υποδοµών αυτών.

18 Grid computing... Έτσι σύµφωνα µε τονian Foster, ένα Grid θα πρέπει να ικανοποιεί τις παρακάτω προϋποθέσεις: Να µην ελέγχεται κεντρικά (όχι clusters, farms, local grid computing) Να χρησιµοποιεί γενικά (general purpose) πρωτόκολλα (όχι κλπ) Υπηρεσίες υψηλής ποιότητας (όχι peer-to-peer, ισορροπία ανάµεσα σε dedicated resources και cycle scavenging)

19 Οι 5 βασικές έννοιες του Grid Κοινή χρήση των υποδοµών σε παγκόσµιο επίπεδο ανάµεσα σε αποµεµακρυσµένους χρήστες οι οποίοι εµπιστεύονται ο ένας τον άλλο. Ασφαλής πρόσβαση τόσο για τον χρήστη όσο και για τον παροχέα της υπηρεσίας. Access policy Authentication Authorization

20 Οι 5 βασικές έννοιες του Grid Αποτελεσµατική χρήση των υποδοµών. ιαχείριση των πόρων ανάλογα µε τις υπάρχουσες ανάγκες την κάθε χρονική στιγµή. Αποτελεσµατικό και ευέλικτο middleware. Οεκµηδενισµός της απόστασης. Απαραίτητο συστατικό της αποτελεσµατικής και απρόσκωπτης λειτουργίας του Grid, είναι αποτέλεσµατων εξαιρετικά υψηλών ταχυτήτων δικτυακής διασύνδεσης.

21 Οι 5 βασικές έννοιες του Grid Open standards. Όπως και σε άλλες περιπτώσεις, πρόοδος σε παγκόσµια κλίµακα µπορεί µόνο να επιτευχθεί αν υπάρχουν κοινά standards ανάµεσα στα προϊόντα που παράγονται από τις διάφορες µεγάλες εταιρείες λογισµικού. Global Grid Forum (GGF), Globus Toolkit.

22 Αρχιτεκτονική του Grid Τα στρώµατα :

23 Η Φυσική Υψηλών Ενεργειών και το CERN ηγούνται σήµερα σε κάποια από τα πιο φιλόδοξα Grid projects σε παγκόσµια κλίµακα. Τα πειράµατα του LHC αναµένεται να παράγουν πάνω από 10 Petabytes δεδοµένων το χρόνο. Αυτό αντιστοιχεί σε περισσότερο από 1000x τη πληροφορία που τυπώνεται στον κόσµο, και περίπου το 10% της συνολικής πληροφορίας που παράγεται παγκοσµίως, συµπεριλαµβανοµένων φωτογραφιών, video και ήχου.

24 Ο µοναδικός τρόπος επεξεργασίας των δεδοµένων αυτών και στη συνέχεια η πρόσβαση σε αυτά είναι µέσω του Grid. Στη πραγµατικότητα, το πρόβληµα είναι πολύ πιο σύνθετο, αφού απαιτείται πρόσβαση και ανάλυση των δεδοµένωναυτώνγιασειράετώνκαιόχιµόνο τη στιγµή τηςδηµιουργίας τους.

25 Στο ηµόκριτο λειτουργούν 2 κόµβοι του Grid: Ο κεντρικός κόµβος πρόσβασης στο Ελληνικό Grid Κόµβος που εξυπηρετεί τις υπολογιστικές ανάγκες του πειράµατος CMS. Έχουµε αναλάβει την υπηρεσία υποστήριξης χρηστών Grid για την Ελλάδα.

26

27 Με λίγα λόγια... Το Grid έχει µπει για τα καλά στη καθηµερινή ζωή τηςδιεθνούςεπιστηµονικής κοινότητας. Μέλλει να δούµε αν θα γίνει απαραίτητο εργαλείο της καθηµερινής ζωής και για τον µέσο άνθρωπο, όπως ακριβώς έγινε πριν την προηγούµενη δεκαετία µε το World Wide Web.