Planet-lab. Στην ενότητα αυτή θα μελετηθεί: Μια ανοικτή πλατφόρμα για την ανάπτυξη και τη χρήση υπηρεσιών παγκόσμιας κλίμακας. Γιώργος Χατζηπολλάς

Transcript

1 Planet-lab Στην ενότητα αυτή θα μελετηθεί: Μια ανοικτή πλατφόρμα για την ανάπτυξη και τη χρήση υπηρεσιών παγκόσμιας κλίμακας Γιώργος Χατζηπολλάς L6-1

2 Η ιστορία μέχρι τώρα Το Internet έχει τεράστια επιτυχία Εμπορικά Επίδραση στην καθημερινή μας ζωή Παγκόσμια εμβέλεια αλλά Η αρχιτεκτονική του έχει βασικούς περιορισμούς Η ίδια του η επιτυχία το κάνει πολύ δύσκολο να αλλάξει Η ερευνητική κοινότητα ξεχειλίζει από καινοτόμες παγκόσμιας κλίμακας υπηρεσίες Τα υπερεπίπεδα προσφέρουν έναν ελκυστικό τρόπο να εισαγάγουμε στο Internet νέες τεχνολογίες Υπάρχουν πολλά εμπόδια τα οποία πρέπει να ξεπεραστούν κατά την εισαγωγή τους. L6-2

3 Ανάπτυξη του παρόντος Internet Προσθήκη ενός νέου επιπέδου στην αρχιτεκτονική του δικτύου (Υπερεπίπεδα δίκτυα) ημιουργία εικονικών δικτύων τα οποία θα χρησιμοποιούν το παρών Internet για αποστολή δεδομένων Το Internet αναπτύχθηκε ως ένα υπερεπίπεδο πάνω από το τηλεφωνικό δίκτυο Πρόκληση Καινοτομία και εγκατάσταση σε μεγάλη κλίμακα L6-3

4 ΠρώταβήματατουPlanetLab Ξεκίνησε ως μια προσπάθεια δημιουργίας μιας θεμελιώδους αρχής 35 ερευνητές μαζεύτηκαν τον Μάρτιο του 2002 Αρκετές ακαδημαϊκές και ερευνητικές ομάδες Η ερευνητική προσέγγιση για Internet-scale υπηρεσίες έχει ένα σημαντικό κενό: Προσομοίωση (Simulation) Εργαστηριακή εξομοίωση (Emulation) ανεισμός λογαριασμών To PlanetLab έρχεται να γεμίσει αυτό το κενό. L6-4

5 Τι είναι το PlanetLab Το PlanetLab είναι ένα παγκόσμιο ερευνητικό δίκτυο που υποστηρίζει την ανάπτυξη νέων υπηρεσιών δικτύων. Από την αρχή του 2003, περισσότεροι από ερευνητές στα κορυφαία ακαδημαϊκά όργανα και τα βιομηχανικά ερευνητικά εργαστήρια έχουν χρησιμοποιήσει το PlanetLab για ανάπτυξη νέων τεχνολογιών για κατανεμημένη αποθήκευση, χαρτογράφηση δικτύων, peer-to-peer συστήματα, κατανεμημένους πίνακες κατακερματισμού, την επεξεργασία ερωτήσεων (queries). Το PlanetLab σήμερα αποτελείται από 823 κόμβους σε 406 τοποθεσίες. Στόχος: 1,000 ευρέως κατανεμημένες μηχανές L6-5

6 Τι είναι το PlanetLab L6-6

7 Το PlanetLab είναι... Μια κοινή αρχιτεκτονική λογισμικού Εικονική Κατανομή Slice ένα δίκτυο από εικονικές μηχανές Απομόνωση Κάθε υπηρεσία είναι απομονωμένη Προστασία του Internet από το PlanetLab Κατανεμημένη ιαχείριση Το Λειτουργικό Σύστημα καθορίζει μόνο τοπικές συμπεριφορές Οι παγκόσμιες (network-wide) καθορίζονται από υπηρεσίες Πολλαπλές ανταγωνιζόμενες υπηρεσίες (υπερεπίπεδα) τρέχουν παράλληλα Κοινές διεπαφές L6-7

8 Slices L6-8

9 Το PlanetLab είναι... Ένα test-bed για πειραματισμό με διαδικτυακές υπηρεσίες 450 ενεργά ερευνητικά projects Πλεονεκτήματα: Πειράματα σε μεγάλη κλίμακα Πειράματα κάτω από πραγματικές συνθήκες υναμική για πραγματικές ανάγκες και χρήστες Μιαπλατφόρμαανάπτυξης Συνεχώς εκτελούμενες υπηρεσίες CoDeeN: δίκτυο κατανεμημένου περιεχομένου (Princeton) Sophia: μηχανή κατανεμημένης επεξεργασίας ερωτήσεων (Princeton) PIER: μηχανή κατανεμημένης επεξεργασίας ερωτήσεων (Berkeley) ScriptRoute: εργαλείο μέτρησης δικτύων (Washington) Chord: scalable υπηρεσία εύρεσης τοποθεσίας (MIT, Berkeley). L6-9

10 Το PlanetLab είναι... Ένας μικρόκοσμος του επόμενου Internet Υποστήριξη υπηρεσιών Ανάπτυξη τεχνολογιών για υποστήριξη των υπερεπιπέδων και των slices. Παραδείγματα Sophia: Χρησιμοποιείται για την παρακολούθηση της κατάστασης των κόμβων του PlanetLab Chord: παρέχει κλιμακωτή εύρεση τοποθεσίας (scalable object location) Μακροπρόθεσμοι στόχοι Ανάπτυξη ανοικτών πρωτοκόλλων και προτύπων Συνύπαρξη δημόσιων και ιδιωτικών οργανισμών του PlanetLab Ανακάλυψη κοινών υπο-υπηρεσιών L6-10

11 Berkeley: OceanStore ανάπτυξη μεθόδων για το μοίρασμα μεγάλου όγκου δεδομένων σε επιμέρους συστήματα, για να αποφευχθεί η απώλειά τους σε περίπτωση βλάβης L6-11

12 Intel: Netbait μοντελοποιεί τη διάδοση ιών στο ιαδίκτυο και εξετάζει νέες τακτικές προστασίας L6-12

13 Washington: ScriptRoute Εργαλείο Μέτρησης του Internet L6-13

14 Princeton: CoDeeΝ προστατεύει τους εξυπηρετητές από υπερφόρτωση κατανέμοντας τη ζήτηση για δεδομένα σε εναλλακτικούς εξυπηρετητές. L6-14

15 Εισαγωγή PlanetLab Overview Virtualization Στρατηγική Ανάπτυξης Κατάσταση Project Περίληψη Roadmap L6-15

16 Virtualization Το Virtualization είναι ένας ευρύς όρος που αναφέρεται σε πολλές διαφορετικές πτυχές του υπολογισμού. Στην ουσία είναι κάποιο είδος αφαιρετικότητας (abstruction) των πόρων. Υπολογιστική δύναμη (computing power) Αποθηκευτικός χώρος (storage) Είναι σημαντικό διότι με το Virtualization μπορούμε να αποφύγουμε την ιδέα ένας εξυπηρετητής μια εφαρμογή. Πολλοί εξυπηρετητές μπορούν να συνυπάρχουν στην ίδια φυσική μηχανή, ρίχνοντας το IT κόστος. Η διαχείριση (administration) γίνεται πιο εύκολη. L6-16

17 Μοντέλα Virtualization ιεργασίες Unix Πολύ χαμηλού επιπέδου Μέγιστη ευελιξία Πολύ καλή ασφάλεια Ψηλό κόστος (CPU/Memory) εν μπορεί να μοιράσει κοινούς πόρους (ΛΣ, κοινό σύστημα αρχείων) στις διάφορες εικονικές μηχανές (virtual machines) Hypervisors (π.χ. VMWare) εν είναι επεκτάσιμα Paravirtualization Ακόμη δεν είναι ώριμο Virtualize σε κλήσεις συστήματος διεπιφάνειας (π.χ. Jail, Vservers) Λογικός συμβιβασμός εν παρέχουν την απομόνωση που παρέχουν οι Hypervisors Java Virtual Machine Πολύ υψηλού επιπέδου Εξαρτώνται από το ΛΣ για την παροχή ασφάλειας και την κατανομή πόρων εν είναι ευέλικτο L6-17

18 PlanetLab Virtualization Το Virtualization μπορεί να γίνει σε διάφορα επίπεδα Το PlanetLab χρησιμοποιεί system-call level virtualization Κάθε εικονική μηχανή (VM) βλέπει τον εαυτό της ως να έχει αποκλειστική πρόσβαση σε ένα λειτουργικό σύστημα Όλα τα VMs σε ένα κόμβο καλούν κλήσεις συστήματος στο ίδιο ΛΣ Τρόπος διαχείρισης virtualization Το ΛΣ δρομολογεί τους κύκλους μηχανής, το εύρος ζώνης, τη μνήμη και την αποθήκευση για τα VMs, και παρέχει εγγυήσεις επίδοσης (performance guarantees) ιαχωρίζει τα name spaces (πχ διευθύνσεις δικτύου και ονόματα αρχείων) έτσι ώστε μια VM να μην μπορεί να έχει πρόσβαση στους πόρους κάποιας άλλης Παρέχει μια σταθερή κατάσταση, όπου μια VMs δεν θα μπορεί να επηρεάσει κάποια άλλη (no root access) L6-18

19 PlanetLab Virtualization: VServers Το Virtualization τυγχάνει διαχείρισης από ένα Linux utility το οποίο ονομάζεταιvserver Οι Vservers έχουν δικό τους σύστημα αρχείων (file system) και ένα root account το οποίο μπορεί να προσαρμόσει το file system Πόροι υλικού (Hardware resources), συμπεριλαμβανομένων και network addresses, διαμοιράζονται σε κάθε κόμβο Οι Vservers απομονώνονται αποδοτικά ο ένας από τον άλλο Τα VMs υλοποιούνται ως vservers ίνεται η εντύπωση διαφορετικού πυρήνα (kernel) για κάθε εικονική μηχανή Περιορισμένες δυνατότητες superuser Τα δικαιώματα root περιορίζονται σε δραστηριότητες οι οποίες δεν επηρεάζουν τους υπόλοιπους vservers Επέκταση μέχρι 1000 vservers σε κάθε κόμβο L6-19

20 Εικονικές Μηχανές L6-20

21 Χρήση του PlanetLab ΟχρήστηςτουPlanetLab βλέπει ένα σύνολο από nodes (μηχανές) στα οποία μπορεί να τρέξει την εφαρμογή του Χρήστης 1 Χρήστης 2 L6-21

22 Χρήση του PlanetLab Η πραγματικότητα είναι διαφορετική Το PlanetLab είναι ένα overlay δίκτυο Intel Labs Internet Princeton Google University of Cyprus L6-22

23 Χρήση του PlanetLab Οι χρήστες χρησιμοποιούν slices Σύνολα από nodes στα οποία οι χρήστες παίρνουν ένα κομμάτι από τους πόρους τους Intel Labs Internet Princeton Google University of Cyprus L6-23

24 Χρήση του PlanetLab Έτσι, ο χρήστης διαχειρίζεται ένα σύνολο από κατανεμημένες εικονικές μηχανές (Virtual Machines (VMs)) Χρήστης 1 Χρήστης 2 L6-24

25 Services Run in Slices PlanetLab Nodes L6-25

26 Services Run in Slices PlanetLab Nodes Virtual Machines Service / Slice A L6-26

27 Services Run in Slices PlanetLab Nodes Virtual Machines Service / Slice A Service / Slice B L6-27

28 Services Run in Slices PlanetLab Nodes Virtual Machines Service / Slice A Service / Slice B Service / Slice C L6-28

29 PlanetLab Αρχιτεκτονική ικτύου Node manager (ένας σε κάθε κόμβο) ημιουργία slices για τους service managers Όταν οι service managers παρέχουν έγκυρα tickets Παροχή πόρων για τους vservers Resource Monitor (ένας σε κάθε κόμβο) Παρακολουθεί τους διαθέσιμους πόρους ενός κόμβου και περιοδικά ενημερώνει τους agents για διαθέσιμους πόρους Agents (κεντρικοποιημένα - centralized) Παρακολουθεί τους ελεύθερους πόρους των κόμβων και εκδίδει tickets τα οποία μπορούν να χρησιμοποιηθούν για την απόκτηση πόρων ιαφημίζει τους πόρους στους resource brokers ίνει tickets για την εξαγορά πόρων Resource Broker (για κάθε υπηρεσία) Παίρνουν tickets από τους agents εκ μέρους των service managers Service Managers (για κάθε υπηρεσία) Παίρνουν tickets από τους broker Ανταλλάσουν tickets με τους node managers για να πάρουν πόρους Εάν μπορούν να πάρουν τους πόρους, τότε ξεκινούν την υπηρεσία L6-29

30 υναμική ημιουργία Slice Φάση1: Οι πληροφορίες από την παρακολούθηση πόρων ρέουν από τους κόμβους στους έμπιστους agents Φάση2: Ένας resource broker (ο οποίος τρέχει μέσα σε ένα service manager) ζητά να μάθει την περιγραφή των tickets που έχει ο Agent Φάση 3: Ο broker συνδυάζει την διαφήμιση με τις ανάγκες του service και παράγει τις προδιαγραφές του slice Φάση 4: Ο broker ζητά τα tickets για το slice και ο agent στέλνει τα tickets Φάση 5: Το service παρουσιάζει τα tickets στον κατάλληλο κόμβο, ο κόμβος δημιουργεί μια εικονική μηχανή στην οποία έχει πρόσβαση το service L6-30

31 υναμική ημιουργία Slice Agent Broker Service Manager L6-31

32 υναμική ημιουργία Slice Agent Resource Monitor Broker Service Manager L6-32

33 υναμική ημιουργία Slice Agent Resource Monitor Broker Service Manager L6-33

34 υναμική ημιουργία Slice Agent ticket Resource Monitor Broker Service Manager L6-34

35 υναμική ημιουργία Slice Agent ticket Broker Resource Monitor Service Manager Resource Monitor L6-35

36 υναμική ημιουργία Slice Agent ticket ticket Broker ticket Resource Monitor Service Manager Resource Monitor L6-36

37 υναμική ημιουργία Slice Agent ticket ticket Broker ticket Service Manager L6-37

38 υναμική ημιουργία Slice Agent ticket ticket Broker ticket Service Manager L6-38

39 υναμική ημιουργία Slice Agent ticket ticket Broker ticket Service Manager L6-39

40 υναμική ημιουργία Slice Agent ticket Broker Service Manager ticket ticket L6-40

41 υναμική ημιουργία Slice Agent ticket Broker Node Manager ticket Service Manager Node Manager ticket L6-41

42 υναμική ημιουργία Slice Agent ticket Broker Service Manager L6-42

43 υναμική ημιουργία Slice Agent ticket Broker Service Manager L6-43

44 Virtualization ικτύου Standard raw sockets Πρόσβαση σε όλα τα πακέτα από/προς το host Safe raw sockets Περιορισμένα σε συγκεκριμένο UDP/TCP port Εξασφάλιση ότι τα εξερχόμενα πακέτα δεν χάνονται Άλλα θέματα Επίτρεψη πολλαπλών εικονικών δικτύων να συνυπάρχουν L6-44

45 Υπηρεσίες Υποδομής (Architecture) L6-45

46 Υπηρεσίες Παρακολούθησης Εξυπηρέτηση διαφόρων στόχων Εύρεση/επιλογή πόρων για ένα slice Παρακολούθηση κατάστασης κόμβων/δικτύου (διαχείριση PlanetLab) Μέτρηση/παρακολούθηση δραστηριότητας Internet L6-46

47 ιαχείριση Πόρων Πολλαπλοί ιαχειριστές PlanetLab Central (PLC) SHARP Emulab Interfaces PLC ιαχειριστές κόμβων Ανάπτυξη Κεντρικοποιημένα αποκεντρικοποιημένα L6-47

48 Εισαγωγή PlanetLab Overview Virtualization Στρατηγική Ανάπτυξης Κατάσταση Project Περίληψη Roadmap L6-48

49 Στρατηγική Ανάπτυξης Φάση 0: «Φύτεμα του testbed» 100 κεντρικά διαχειριζόμενες μηχανές Καθαρά testbed Φάση 1: Κλιμάκωση του testbed Ανάπτυξη μέχρι 1000 κόμβους με το hardware να προσφέρεται από τους χρήστες Συνεχόμενα εκτελούμενες υπηρεσίες Φάση 2: «Καλλιέργεια» μιας κοινωνίας χρηστών πελάτες: μη-ερευνητές L6-49

50 Χρηματοδότηση Κατάσταση Intel Seed Funding NSF PlanetLab Consortium Μεταφορά ιαχείρισης Από την Intel τώρα είναι υπό την ευθύνη του Princeton L6-50

51 PlanetLab Consortium ιευθύνεται από το Princeton, το Berkeley και το University of Washington Αρχικά πλατινένια μέλη: Intel, HP, Google Κτίσιμο της υποδομής του PlanetLab Υποστήριξη λειτουργιών και μηχανικών θεμάτων Ανανέωση μηχανημάτων ιεύρυνση της κοινωνίας Ακαδημαϊκούς και ερευνητές Ελαχιστοποίηση του κόστους της εισαγωγής για έρευνα και διδασκαλία L6-51

52 Περίληψη Το PlanetLab είναι μια συνεργασιακή προσπάθεια από εκατοντάδες ακαδημαϊκούς και ερευνητές από όλο τον κόσμο για: Ένα ανοικτό παγκόσμιο διαδικτυακό testbed για πρωτοποριακές νέες υπηρεσίες παγκόσμιας κλίμακας Ένα μοντέλο για εισαγωγή καινοτομιών μέσα στο Internet χρησιμοποιώντας υπερεπίπεδα δικτύου. L6-52

53 Περισσότερες Πληροφορίες L6-53