Πληροφοριακά Συστήματα Μεγάλης Κλίμακας Cloud Computing Ηλίας Κ. Σάββας Καθηγητής Τμήμα Μηχανικών Πληροφορικής ΤΕ, ΤΕΙ Θεσσαλίας Email: savvas@teilar.gr Ενότητα #04 2 Δεύτερος Παγκόσμιος Πόλεμος Οι Γερμανοί χρησιμοποιούν το Enigma για να κρυπτογραφούν τα μηνύματα τους, Το M4 (4 rotor model of Enigma) αρχίζει να χρησιμοποιείται τον Φεβρουάριο του 1942, Στους Βρετανούς πήρε 10 μήνες (μέχρι τον Δεκέμβριο του 1942) για να αρχίσουν το αποκρυπτογραφούν, ενώ μία ολόκληρη ομάδα ασχολούταν αποκλειστικά με αυτό. 3 1
Κατανεμημένο Σύστημα «σπάει» το Enigma 2006: Το πρώτο μήνυμα αποκρυπτογραφήθηκε σε 42 ημέρες με χρήση 45 υπολογιστικών πόρων, (τεχνική: μία μίξη brute-force και Hillclimbing) Ένας ΗΥ στα 1.2 GHz θα χρειαζόταν 2,907 ώρες για το ίδιο έργο (121 ημέρες), Το δεύτερο μήνυμα αποκρυπτογραφήθηκε σε 4 ημέρες χρησιμοποιώντας 2,500 υπολογιστικούς πόρους, (πηγή: http://www.bytereef.org/m4_project.html) 4 και εξωγήινη νοημοσύνη Το SETI@home είναι ένα επιστημονικό πείραμα που χρησιμοποιεί συνδεδεμένους μέσω Internet ΗΥ για αναζήτηση εξωγήινης νοημοσύνης - Search for Extraterrestrial Intelligence (SETI), Μπορούμε να συμμετέχουμε τρέχοντας ένα ελεύθερο πρόγραμμα που κατεβάζει και αναλύει δεδομένα από ραδιοτηλεσκόπια (Download, install και εκτέλεση του BOINC software από SETI@home), http://setiathome.berkeley.edu/ 5 Εθελοντικά Projects Κατανεμημένων Συστημάτων Project Οργανισμός Γνωστική περιοχή Rosseta@home U. Of Washington Κορυφαία συμμετοχή Υπολογιστική ισχύς Biology 100,000 ~100 Tflops Folding@home U. Of Stanford Biology 406,000 ~7.87 Pflops Climate Prediction BOINC. U. Of Oxford Climate change 150,000 ~90 Tflops U. Of California, Berkeley Biomedicine 527,000 5.43 Pflops http://en.wikipedia.org/wiki/list_of_distributed_computing_projects 6 2
Κατανεμημένα Συστήματα ορισμοί και σχόλια (1 από 3) Συλλογή ανεξάρτητων ΗΥ οι οποίοι φαίνονται στον τελικό χρήστη σαν μία μηχανή, Σύνολο ΗΥ (κόμβοι) οι οποίοι επικοινωνούν μέσω κάποιου δικτύου, Μπορούν να συμμετέχουν από απλοί ΗΥ, servers, laptops, και έξυπνες συσκευές μέχρι και υπολογιστικές συστοιχίες (computational clusters), Ο κάθε κόμβος είναι αυτόνομος και μπορεί να διαφέρει από τους υπόλοιπους ΕΤΕΡΟΓΕΝΕΙΑ είναι η λέξη κλειδί!!! 7 Κατανεμημένα Συστήματα ορισμοί και σχόλια (2 από 3) Το επικοινωνιακό δίκτυο που συνδέει τους κόμβους ενός κατανεμημένου συστήματος συνήθως είναι μη κανονικό και δυναμικό (irregular - dynamic). 1 2 6 9 3 7 4 5 8 8 Κατανεμημένα Συστήματα ορισμοί και σχόλια (3 από 3) Ο όρος δυναμικό σημαίνει ότι ο κάθε κόμβος μπορεί να αποχωρήσει από το σύστημα είτα για λόγους καταστροφής του είτε για οποιοδήποτε άλλο λόγο, ή και νέοι κόμβοι να προστεθούν στο σύστημα ανά πάσα στιγμή. Προβλήματα: ετερογένεια κόμβων, έλλειψη καθολικής πληροφορίας για το σύστημα και έλλειψη προτύπων. Clusters Network Mobile Devices 9 3
Ετερογένεια Την ετερογένεια εκφράζουν κυρίως 3 παράγοντες: Υπολογιστική ισχύς και άλλοι πόροι: Ο κάθε κόμβος έχει την δική του υπολογιστική ισχύ η οποία μπορεί να διαφέρει από αυτήν μία; έξυπνης συσκευής μέχρι και αυτήν μίας υπολογιστικής συστοιχίας. Επίσης οι υπόλοιποι πόροι αλλά και λογισμικό μπορούν να διαφέρουν από κόμβο σε κόμβο, Επικοινωνιακό δίκτυο: Η τοπολογία του δικτύου είναι μη κανονική. Επίσης το links bandwidth μπορεί επίσης να διαφέρει, Εφαρμογές: Κάθε εργασία που υποβάλλεται στο σύστημα έχει τις δικές του απαιτήσεις τόσο σε λογισμικό όσο και σε υλικό. 10 Πλεονεκτήματα ΚΣ έναντι κεντρικοποιημένων συστημάτων Οικονομία: Υπολογιστική ισχύς: Κατανομή: Αξιοπιστία: Σταδιακή κλιμάκωση: Οι ανεξάρτητοι ΗΥ υπερτερούν έναντι των mainframes εάν δούμε τον συντελεστή αξίας/απόδοσης. Ένα Κ.Σ. έχει (δυνητικά) περισσότερη ισχύ από ένα mainframe. Κάποιες εφαρμογές απαιτούν την χρήση γεωγραφικά κατανεμημένων ΗΥ αλλά και μνήμης Εάν ένας ΗΥ καταστραφεί το σύστημα συνεχίζει να επιβιώνει. Η υπολογιστική ισχύς μπορεί να κλιμακώνει σταδιακά ανάλογα με την απαίτηση μίας εφαρμογής. 11 Πλεονεκτήματα ΚΣ έναντι μεμονωμένων ΗΥ Κοινή χρήση δεδομένων: Κοινή χρήση πόρων: Επικοινωνία: Ελαστικότητα: Επιτρέπει πολλούς χρήστες να διαμοιράζονται μία πχ «κοινή» βάση δεδομένων. Επιτρέπει πολλούς χρήστες να διαμοιράζονται τόσο ακριβούς ΗΥ όσο και περιφερειακά τους (πχ ραδιοτηλεσκόπια,, κλπ. Κάνει την από άνθρωπο προς άνθρωπο επικοινωνία εύκολη και εύχρηστη (email, social networks, ) Κατανέμει τον φόρτο εργασίας σε πολλούς από τους διαθέσιμους ΗΥ και μάλιστα με τον πιο αποτελεσματικό από άποψη κόστους τρόπο. 12 4
Αρχιτεκτονικές ΚΣ Client Server, Peer to Peer P2P 13 Client Server (1 από 2) Ο κάθε κόμβος ή εξυπηρετεί ή εξυπηρετείται: Client: Αιτείται υπηρεσίες, Server: Εξυπηρετεί αιτήματα υπηρεσιών. Client Server 14 Client Server (2 από 2) Client 1 Αίτημα υπηρεσίας Server 1 Σκέφτομαι (Επεξεργασία αίτησης) Client 2 Client 3 Interconnection Network Server 2 Server 3 Server M Client N Επιστροφή αποτελέσματος 15 5
P2P Ο κάθε κόμβος είναι ταυτόχρονα και client αλλά και server. P2P: μπορεί εύκολα να ορισθεί σαν: Client Server 16 Το μοντέλο P2P : Συνομοσπονδία ΊΣΩΝ Node Node 17 Το μοντέλο P2P 18 6
P2P Συμμετρικό client-server: Ο κάθε κόμβος εξυπηρετεί και εξυπηρετείται. Ασύγχρονο: ο server πρέπει να ενημερωθεί για αλλαγές οι οποίες μπορεί να μαθευτούν. Συνομοσπονδία ίσων: Προσφέρει συμμετρία και ισότητα όχι μόνο σε επίπεδο επικοινωνίας αλλά και σε επίπεδο λήψης αποφάσεων. 19 Παράλληλα έναντι Κατανεμημένα συστήματα Τα παράλληλα συστήματα συνήθως: Πολλοί επεξεργαστές σε ένα ΗΥ, Επικοινωνιακό δίκτυο: κανονικό, Τα κατανεμημένα συστήματα συνήθως: Πολλοί κόμβοι γεωγραφικά διεσπαρμένοι, Επικοινωνιακό δίκτυο: μη κανονικό, Ομογενή συστήματα. Ετερογενή συστήματα. 20 Τύποι Κ.Σ. Computational GRID, Peer to Peer systems P2P, Computational Clusters, Mobile Computing, Nomadic Computing, Ubiquitous Computing, Utility Computing, Cloud Computing,. 21 7
Computational Grid Το υπολογιστικό πλέγμα αποτελεί ένα συνδυασμό πολλών υπολογιστικών πόρων από πολλαπλά administrative domains για την επίτευξη ενός κοινού σκοπού. Το Grid μπορεί να θεωρηθεί σαν ένα κατανεμημένο σύστημα με μη αλληλεπιδρώντες φόρτους εργασίας και το οποίο επίσης διαχειρίζεται ένα μεγάλο αριθμό αρχείων, Χρησιμοποιεί ένα middleware για την συνεργασία του συνόλου των πόρων που διαχειρίζεται επιτρέποντας το να φαίνεται σαν ένα αντικείμενο. Στόχος να είναι πάντα διαθέσιμο (σαν το ηλεκτρικό ρεύμα) όπου και όταν χρειασθεί. 22 Ποιος χρησιμοποιεί το GRID? Τα GRIDs κυρίως χρησιμοποιήθηκαν για έρευνα από επιστήμες όπως χημεία, φυσική, γενετική, κρυπτογραφία, μαθηματικά κ.α. Η τεχνολογία όμως του Grid δυνητικά μπορεί να υποστηρίξει και άλλα επιστημονικά πεδία που χρειάζονται μεγάλη υπολογιστική ισχύ όπως πολεοδομία κ.α., Ένα από τα πρώτα γνωστά grids ήταν το SETI@home project, στο οποίο συμμετέχουν εκατομμύρια εθελοντές (χρησιμοποιεί τους ΗΥ που βρίσκονται σε αδράνεια για την ανακάλυψη εξωγήινης ευφυΐας). 23 Γιατί το GRID είναι σημαντικό? Τα Grids κάνουν εφικτή επιστημονική έρευνα που αλλιώς δεν θα γινόταν λόγω της γεωγραφικής θέσης των πόρων. Για παράδειγμα, χρησιμοποιώντας το grid, ερευνητές από την Ελλάδα μπορούν να χρησιμοποιούν βάσεις δεδομένων διασκορπισμένες σε όλη την Ευρώπη, επιστημονικά όργανα στην Ιαπωνία και υπολογιστική ισχύ από τις ΗΠΑ. 24 8
Ποια είναι τα κατά? Διαφορετικές πλατφόρμες, Έλλειψη προτύπων, Ασφάλεια (εάν ένα ερευνητικό κέντρο «ανοίξει» τα δεδομένα και υπολογισμούς του σε φοιτητές και ερευνητές άλλων Ιδρυμάτων και σε διαφορετικές χώρες τότε αυξάνει τους κινδύνους ασφάλειας), Δυσκολία δημιουργίας middleware το οποίο να συνενώνει διαφορετικούς πόρους μέσω δικτυακών επικοινωνιών οι οποίοι μπορεί να επεκτείνεται μέχρι και σε διαφορετικές ηπείρους, Επαρκής και αποτελεσματική διαχείριση όλων αυτών των πόρων. 25 Συστήματα P2P (1 από 4) Ένα τυπικό P2P σύστημα αποτελείται από μεγάλο αριθμό αυτόνομων και γεωγραφικά κατανεμημένων κόμβων (peers), Οι peers μπορούν να διαμοιρασθούν πόρους όπως computing cycles και storage capacity και συνεργάζονται μεταξύ τους χωρίς την ύπαρξη κεντρικού συντονιστή Με άλλα λόγια τα peers διαθέτουν αυτό-οργάνωση (self-organized). 26 Συστήματα P2P (2 από 4) Σε αντίθεση με το μοντέλο client-server, όλα τα peers είναι «ίσα μεταξύ τους» καθώς λειτουργούν και σαν clients αλλά και σαν servers, Η επιτυχία του Internet καθώς και βελτίωση της απόδοσης των δικτύων, CPU speed, αλλά και αποθηκευτικών χώρων άνοιξε μία νέα εποχή στην πληροφορική, Εφαρμογές: Napster, KaZaA, Gnutella, και Freenet αποτελούν χαρακτηριστικά παραδείγματα που κινάνε δημοφιλή τα P2P συστήματα. (Η ειρωνεία είναι ότι το Napster, ένα από τα πρώτα P2P συστήματα εξαρτιόταν αποκλειστικά από έναν κεντρικό registry), 27 9
Συστήματα P2P (3 από 4) Το Gnutella αποτελεί το πιο χαρακτηριστικό παράδειγμα ενός P2P συστήματος. Κάθε κόμβος του (peer) που τρέχει το λογισμικό του Gnutella λειτουργεί αυτόνομα και αυτό-οργανώνεται και μάλιστα με γνώση / πληροφορία ενός μικρού συνόλου κόμβων του συστήματος που ονομάζεται γειτονιά (neighbor nodes). 28 Συστήματα P2P (4 από 4): Γειτονιά Μέτρηση απόστασης (Norm): Η έννοια «γειτονιά» μπορεί να επεκταθεί σε κάθε μετρική αντιστοιχώντας τις παραμέτρους του συστήματος σε ένα διανυσματικό χώρο Είτε άμεσα «γείτονες», είτε αρκετά κοντά (μπορεί ο ένας να φθάσει τον άλλο σε προκαθορισμένο χρόνο). 1 2 3 4 6 7 5 8 9 29 Υπολογιστικές Συστοιχίες - Computational Clusters Μία υπολογιστική συστοιχία μπορεί να ορισθεί σαν ένα σύνολο υπολογιστικών κόμβων που συνδέονται μεταξύ τους με ένα πολύ γρήγορο δίκτυο. Μπορεί να θεωρηθεί σαν υποσύνολο ενός μεγάλου ετερογενούς κατανεμημένου συστήματος το οποίο με την σειρά του μπορεί να περιέχει πολλές υπολογιστικές συστοιχίες. 30 10
Mobile Computing Παίρνουμε τον ΗΥ και όλα τα αναγκαία αρχεία αλλά και λογισμικό οπουδήποτε. Τρία ζητούμενα: 1) Mobile Communications, 2) Mobile Hardware, 3) Mobile Software. Περιορισμοί: Μη επαρκές bandwidth, ασφάλεια, παρεμβολές μετάδοσης (καιρικές συνθήκες, ), πιθανοί κίνδυνοι υγείας (τροχαία ατυχήματα, παρεμβολές σε ιατρικά εξαρτήματα), διεπαφή με την συσκευή (μικρά πληκτρολόγια και οθόνες, touch pads, ). 31 Nomadic Computing Ουσιαστικά ένα άλλο όνομα του mobile computing, Χρήση φορητών υπολογιστών (όπως laptop, tablet, ) σε συνδυασμό με τις τεχνολογίες κινητών επικοινωνιών που επιτρέπει στους χρήστες να έχουν πρόσβαση στο Διαδίκτυο και τα δεδομένα από τον υπολογιστή στο σπίτι ή στην εργασία τους από οπουδήποτε στον κόσμο, Οι άνθρωποι που χρησιμοποιούν τέτοια συστήματαα μερικές φορές αναφέρονται σαν technomads, και η ικανότητά τους να χρησιμοποιούν τέτοιες τεχνολογίες σαν nomadicity. 32 Ubiquitous Computing (Pervasive Computing - Ambient Intelligence: AmI) Μηχανές που προσαρμόζονται και εισέρχονται στο ανθρώπινο περιβάλλον αντί το να επιβάλλουν τους χρήστες να εισέρχονται στο δικό τους. (από Wikipedia) Pervasive computing: δεν αποτελεί μια νέα κατεύθυνση έρευνας επί των ΤΠΕ, αλλά μία νέα τεχνολογία που επηρεάζει όλες τις πτυχές της ανθρώπινης κοινωνίας. 33 11
Ubiquitous Computing (1 από 3) Υπολογιστές και δικτύωση έχουν ενσωματωθεί σε συσκευές αλλά και στο καθημερινό περιβάλλον μας, υποστηρίζοντας τη συλλογή, επεξεργασία και ανταλλαγή πληροφοριών, παρέχοντας με συνεχώς αυξανόμενη ευφυΐα αναγνώριση καταστάσεων και δραστηριοτήτων, την εκπροσώπηση των χρηστών και ταυτόχρονα με δυναμική συμπεριφορά παρέχει τη συνεργασία αλλά και τη διαχείριση των πόρων που τα συνθέτουν. 34 Ubiquitous Computing (2 από 3) Τα περιβάλλον μας τείνει να μετατραπεί σε ένα ευφυές περιβάλλον (Ambient Intelligent Environment - AIE) το οποίο αποτελείται από έξυπνες συσκευές επικοινωνίας που είναι σε θέση να αντιληφτούν το περιβάλλον, να ενεργούν σύμφωνα με αυτό, να επεξεργάζονται και να αποθηκεύουν δεδομένα, να διαχειρίζονται μόνες τους την κατάστασή τους, και να επικοινωνούν και να ανταλλάσσουν δεδομένα. 35 Ubiquitous Computing (3 από 3) Επιπλέον, οι AIEs παρέχουν υποδομές που υποστηρίζουν υπηρεσίες όπως την δικτύωση, την επικοινωνία, τον εντοπισμό θέσης, κ.α. Οι υπηρεσίες αυτές χρησιμοποιούνται από πανταχού παρόντα συστήματα υπολογιστών και εφαρμογών, τα οποία αναπτύσσονται με σκοπό να υποστηρίξουν την υλοποίηση των εργασιών των χρηστών εντός του AIE. 36 12
Utility Computing Είναι η συμπύκνωση υπολογιστικών πόρων όπως computation, storage και άλλες υπηρεσίες σαν μία μετρήσιμη υπηρεσία, όπως είναι παραδοσιακές δημόσιες υπηρεσίες (όπως ηλεκτρισμός, νερό, τηλεφωνία κλπ), (πηγή: Wikipedia), Η ανάλογα με την ανάγκη παροχή από infrastructure και εφαρμογές με έναν κλιμακούμενο και ασφαλή μηχανισμό μέσω του Internet με κάποια φυσικά χρέωση. Οι πελάτες πρέπει να έχουν την δυνατότητα να χρησιμοποιούν αυτές τις υπηρεσίες τόσο απλά όσο και την χρήση νερού ή ηλεκτρισμού. 37 Υπηρεσίες κοινής ωφέλειας (ΥΚΩ) Νερό - Ύδρευση, Ηλεκτρισμός, Μεταφορές, Τηλεφωνία, Ραδιόφωνο, Τηλεόραση, Internet?, 38 Χαρακτηριστικά ΥΚΩ (1 από 3) Αναγκαιότητα: Οι χρήστες εξαρτώνται από αυτές για την κάλυψη των καθημερινών αναγκών τους. Η έλλειψή τους αποτελεί δυσάρεστη κατάσταση, Αξιοπιστία: Η υπηρεσία πρέπει να είναι διαθέσιμη όποτε και όταν χρειάζεται. Μια προσωρινή διακοπή μπορεί να είναι δυσάρεστη αλλά μία μεγάλης διάρκειας διακοπή μπορεί να προκαλέσει σοβαρά προβλήματα. 39 13
Χαρακτηριστικά ΥΚΩ (2 από 3) Ευχρηστία: Άσχετα το πόσο πολύπλοκη μπορεί να είναι η «παραγωγή» της υπηρεσίας, σε επίπεδο χρήσης πρέπει να είναι απλή. Οι χρήστες πρέπει να έχουν την αποκαλούμενη plug-and-play δυνατότητα, Παροχή υπηρεσιών: Οι επιχειρήσεις κοινής ωφέλειας πρέπει να διαχειρίζονται προσεκτικά τις υποδομές τους. Η ζήτηση των χρηστών για τις υπηρεσίες κοινής ωφέλειας μεταβάλλονται σε συνάρτηση με τον χρόνο. Οπότε πρέπει να υπάρχει επαρκής ικανότητα παραγωγής για να διαχειριστεί τις περιόδους αιχμής. Συνολικά η παραγωγή πρέπει να είναι μεγαλύτερη από την εκάστοτε ζήτηση. 40 Χαρακτηριστικά ΥΚΩ (3 από 3) Οικονομία κλίμακας: Οι επιχειρήσεις κοινής ωφέλειας είναι επιχειρήσεις (κερδοφόρες). Ως εκ τούτου, οι οικονομίες κλίμακας λειτουργούν πάντα υπέρ των μεγαλύτερων παραγωγών εις βάρος των μικρότερων, Αποκλειστικότητα υπηρεσίας: Οι οικονομίες κλίμακας μπορούν επωφεληθούν από μονοπωλιακές τακτικές. Σε μια τέτοια περίπτωση μπορεί η κυβέρνηση να παρέχει τέτοιο δικαίωμα αλλά πρέπει να υπάρξει α) έλεγχος τιμών, β) έλεγχος ποιότητας παρεχόμενων υπηρεσιών και γ) την βεβαίωση ότι οι υπηρεσίες θα παρέχονται σε όλους αδιακρίτως τους χρήστες άσχετα με το κόστος. 41 Συμπεράσματα Τα κατανεμημένα συστήματα προσφέρουν: Μεγάλη υπολογιστική ισχύ, Μεγάλους αποθηκευτικούς χώρους. Διαφέρουν από τα παράλληλα συστήματα αλλά: Χρησιμοποιούν τεχνικές παράλληλων συστημάτων. Παράλληλα συστήματα + Κατανεμημένα συστήματα = Cloud Computing (ή μέρος του)! 42 14
Βιβλιογραφία Andrew Tanenbaum, Distributed Operating Systems, Prentice Hall International Editions. R. Chow, and T. Johnson, Distributed Operating Systems and Algorithms, Addison Wesley. WWW 43 Επόμενη ενότητα: Python, HDFS (με περισσότερες λεπτομέρειες), MapReduce. 15