Αποδοτικός διαμοιρασμός πόρων Ε/Ε σε εικονικά περιβάλλοντα



Σχετικά έγγραφα

Σχεδίαση και Υλοποίηση Μηχανισμού Μεταφοράς Δεδομένων από Συσκευές Αποθήκευσης σε Δίκτυο Myrinet, Χωρίς τη Μεσολάβηση της Ιεραρχίας Μνήμης

Εργαστήριο Λειτουργικών Συστήματων 8ο εξάμηνο, Ακαδημαϊκή περίοδος

Εργαστήριο Λειτουργικών Συστήματων 8ο εξάμηνο, Ακαδημαϊκή περίοδος

ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ

Εικονικοποίηση. Αρχιτεκτονική Υπολογιστών 5ο Εξάμηνο,

Εικονικοποίηση. Λειτουργικά Συστήματα Υπολογιστών 7ο Εξάμηνο,

ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ

Διαφορές single-processor αρχιτεκτονικών και SoCs

ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ

Πρότυπο Αναφοράς Open Systems Interconnection (OSI) Επικοινωνίες Δεδομένων Μάθημα 5 ο

ΔΙΑΧΕΙΡΙΣΗ ΔΙΚΤΥΩΝ Εισαγωγή Πρότυπο τριών Διαστάσεων Λειτουργίας Μοντέλο Διαχείρισης FCAPS Το Δίκτυο του Ε.Μ.Π. Περιβάλλον Εργαστηριακών Ασκήσεων

Επίπεδο δικτύου IP Forwading κτλ

Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών

Κρυπτογραφική συσκευή VirtIO για QEMU-KVM

Άσκηση 2 η Πρωτόκολλο επικοινωνίας TCP/IP

Δίκτυα Υπολογιστών I

Server Virtualization με εργαλεία ΕΛ/ΛΑΚ. ΛΑΚ Δήμος Ρεθύμνης.

Λειτουργικά Συστήματα (ΗΥ321)

ΔΙΚΤΥΑ (15-17) Π. Φουληράς

Οργάνωση Υπολογιστών (IΙI)

Κατανεμημένα συστήματα και Επικοινωνία Πραγματικού Χρόνου

Λειτουργικά Συστήματα (διαχείριση επεξεργαστή, μνήμης και Ε/Ε)

Τι είναι ένα λειτουργικό σύστημα (ΛΣ); Μια άλλη απεικόνιση. Το Λειτουργικό Σύστημα ως μέρος του υπολογιστή

Συστήµατα Παράλληλης Επεξεργασίας

Εικονική Μνήμη (Virtual Μemory)

AEI Πειραιά Τ.Τ. Τμ. Μηχ/κων Αυτοματισμού ΤΕ. Δίκτυα Μετάδοσης Δεδομένων. Διάλεξη 1: Εισαγωγή στα δίκτυα υπολογιστών και βασικές αρχές

ΕΙΣΑΓΩΓΗ. Παρέχει µια διεπαφή (interface) ανάµεσα στο υλισµικό και στα προγράµµατα εφαρµογών/χρηστών.

Information Technology for Business

... Copyright c reserved.

Λογισµικό (Software SW) Λειτουργικά Συστήµατα και ίκτυα

Δίκτυα Υπολογιστών Firewalls. Χάρης Μανιφάβας

Άσκηση 1 η Τοπικά Δίκτυα Δεδομένων (LANs)

ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ

AEI Πειραιά Τ.Τ. Τμ. Μηχ/κων Αυτοματισμού ΤΕ. Δίκτυα Υπολογιστών. Διάλεξη 1: Εισαγωγή στα δίκτυα υπολογιστών και βασικές αρχές

Λιβανός Γιώργος Εξάμηνο 2017Β

Δίκτυα Υπολογιστών ΙΙ (Ασκήσεις Πράξης)

Μάθημα 5: To Μοντέλο Αναφοράς O.S.I.

Πανεπιστήμιο Πειραιά Τμήμα Ψηφιακών Συστημάτων. ίκτυα Υπολογιστών Ι. To Μοντέλο OSI. Αναπλ. Καθηγ. Π. εμέστιχας

Βασικές συσκευές Ε/Ε. Είσοδος Έξοδος στον υπολογιστή. Ένα τυπικό υπολογιστικό σύστημα σήμερα. Οργάνωση Υπολογιστών (IΙI) Μ.

Ιόνιο Πανεπιστήµιο Τµήµα Αρχειονοµίας Βιβλιοθηκονοµίας. Μοντέλο TCP/IP. Ενότητα E. Συστήµατα Επικοινωνίας

Αποµακρυσµένη κλήση διαδικασιών

ΤΕΙ Στερεάς Ελλάδας Τμ. Ηλ.γων Μηχ/κων ΤΕ. Δίκτυα Υπολογιστών. Διάλεξη 1: Εισαγωγή στα δίκτυα υπολογιστών και βασικές αρχές

ΗΜΥ 360: Δίκτυα Υπολογιστών. Εισαγωγή

ΥΠΟΛΟΓΙΣΤΙΚΗ ΧΗΜΕΙΑ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ ΜΟΡΙΑ, ΥΛΙΚΑ, ΠΕΡΙΒΑΛΛΟΝ

ΛΕΙΤΟΥΡΓΙΚΑ ΣΥΣΤΗΜΑΤΑ ΟΡΓΑΝΩΣΗ Η/Υ

Επίπεδο Μεταφοράς. (ανεβαίνουμε προς τα πάνω) Εργαστήριο Δικτύων Υπολογιστών Τμήμα Μηχανικών Η/Υ και Πληροφορικής

Ιόνιο Πανεπιστήμιο Τμήμα Πληροφορικής Εισαγωγή στην Επιστήμη των Υπολογιστών Δίκτυα υπολογιστών. (και το Διαδίκτυο)

ΛΕΙΤΟΥΡΓΙΚΑ ΣΥΣΤΗΜΑΤΑ ΕΙΣΑΓΩΓΗ

Εικονική Μνήμη (1/2)

Τεχνολογία Δικτύων Επικοινωνιών (Ενότητα Πρωτόκολλα και Αρχιτεκτονική Δικτύου)

ΑΠΟΤΕΛΕΣΜΑΤΑ ΔΙΑΒΟΥΛΕΥΣΗΣ. Προκήρυξη Διαγωνισμού για την «Προμήθεια Εξοπλισμού Κόμβου Μηχανικής Μάθησης» /

ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ

Περιβάλλον Παράλληλου Προγραμματισμού

1.2.2 Το μοντέλο δικτύωσης TCP/IP 1 / 26

1.8 Το μοντέλο OSI 1 / 33

Παρουσίαση 2 ης Άσκησης:

Τι είναι ένα δίκτυο υπολογιστών; Αρχιτεκτονική επιπέδων πρωτοκόλλων. Δικτυακά πρωτόκολλα

Εισαγωγή στην επιστήμη των υπολογιστών. Υλικό Υπολογιστών Κεφάλαιο 6ο ίκτυα υπολογιστών

HELIX: Eθνικές ψηφιακές υποδομές για την έρευνα

Χρήση βασικών εργαλείων συλλογής πληροφοριών για τη διαμόρφωση και την κατάσταση λειτουργίας του δικτύου

Διασυνδετικοί Δίαυλοι. Τι διασυνδέει ένας δίαυλος; Μεταφορά δεδομένων. Διασύνδεση Εισόδου-Εξόδου. Μ.Στεφανιδάκης

ΥΠΟΛΟΓΙΣΤΙΚΗ ΧΗΜΕΙΑ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ ΜΟΡΙΑ, ΥΛΙΚΑ, ΠΕΡΙΒΑΛΛΟΝ. Ι ΑΣΚΟΝΤΕΣ: Μαρία Κανακίδου, Σταύρος Φαράντος, Γιώργος Φρουδάκης

Efficient Implementation of Sparse Linear Algebra Operations on InfiniBand Cluster. Akira Nishida,

Το λειτουργικό σύστημα. Προγραμματισμός II 1

Αφαιρέθηκαν οι αναφορές στα RFCs στις προδιαγραφές 7.12, 7.13, 7.14.

Διασύνδεση Εισόδου-Εξόδου

Ασύρµατη ευρυζωνικότητα µέσω τεχνολογίας Wimax

Εξοικείωση με τις εντολές ipconfig και ping

Μεταγωγή (Switching)

EM 361: Παράλληλοι Υπολογισμοί

Παράλληλος προγραμματισμός: παράλληλες λ υπολογιστικές πλατφόρμες και ανάλυση προγραμμάτων

ΤΕΧΝΟΛΟΓΙΑ ΔΙΚΤΥΩΝ ΕΠΙΚΟΙΝΩΝΙΩΝ 1 ο ΚΕΦΑΛΑΙΟ

Προγραµµατισµός Συστηµάτων Πραγµατικού Χρόνου

ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ. Άσκηση 5: Παράλληλος προγραμματισμός σε επεξεργαστές γραφικών

Δίκτυα Διασύνδεσης. Εθνικό Μετσόβιο Πολυτεχνείο Σχολή Ηλεκτρολόγων Μηχ. και Μηχανικών Υπολογιστών Εργαστήριο Υπολογιστικών Συστημάτων

Λειτουργικά Συστήματα. Εισαγωγή

Web and HTTP. Βασικά Συστατικά: Web Server Web Browser HTTP Protocol

AN IMPLEMENTATION OF THE CLOUD BASED SCHOOL

ΥΠΗΡΕΣΙΑ ΕΙΚΟΝΙΚΟΥ ΕΡΓΑΣΤΗΡΙΟΥ ΣΧΕ ΙΑΣΜΟΥ

Προηγμένοι Μικροεπεξεργαστές. Paging & Segmentation

Εισαγωγή στην Πληροφορική

Ιόνιο Πανεπιστήμιο Τμήμα Πληροφορικής Αρχιτεκτονική Υπολογιστών Κρυφές Μνήμες. (οργάνωση, λειτουργία και απόδοση)

Ερωτηματολόγιο CloudingSMEs για τελικούς χρήστες (ΜΜΕ) υπηρεσιών Cloud

ΤΕΧΝΟΛΟΓΙΑ ΔΙΚΤΥΩΝ ΕΠΙΚΟΙΝΩΝΙΩΝ 5ο ΚΕΦΑΛΑΙΟ

Μοντέλο OSI 1.8. Κεφάλαιο 1. ΕΠΑ.Λ. Άμφισσας Σχολικό Έτος : Τάξη. : Β Τομέα Πληροφορικής Μάθημα. : Δίκτυα Υπολογιστών I Διδάσκων

Πρωτόκολλα Επικοινωνίας Πρωτόκολλο IP

Εικονική Μνήμη (Virtual Μemory)

ΑΝΑΠΤΥΞΗ ΕΦΑΡΜΟΓΗΣ ΠΡΑΓΜΑΤΙΚΟΥ ΧΡΟΝΟΥ ΓΙΑ ΕΠΙΚΟΙΝΩΝΙΑ ΠΕΛΑΤΩΝ ΜΕΣΩ ΙΑ ΙΚΤΥΟΥ

Αρχιτεκτονική υπολογιστών

Η επικράτηση των ψηφιακών κυκλωμάτων 1o μέρος

Λογισμικό Δικτύων Πέτρος Λάμψας 2007

SNMP ΔΙΑΧΕΙΡΙΣΗ ΔΙΚΤΥΟΥ ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ

Ιχνηλασία Λειτουργιών Εισόδου/Εξόδου σε Παράλληλα Συστήματα Αρχείων με χρήση Δικτύου Εικονικών Μηχανών ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ

Αρχιτεκτονική υπολογιστών

ΠΑΡΑΡΤΗΜΑ «Α» Σύντοµη παρουσίαση του προτύπου OSI

Εισαγωγή στο πως λειτουργεί το διαδίκτυο

ίκτυα υπολογιστών Στόχοι κεφαλαίου ίκτυα

ΕΦΑΡΜΟΓΕΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΑΚΩΝ ΟΡΥΦΟΡΙΚΩΝ ΙΚΤΥΩΝ Ε ΟΜΕΝΩΝ ΙΡ ΜΕΣΩ ΤΗΣ ΟΡΥΦΟΡΙΚΗΣ ΠΛΑΤΦΟΡΜΑΣ ΤΗΣ ΕΑΒ

Σύντομη παρουσίαση των εργαλείων/εντολών telnet, ping, traceroute nslookup και nmap, zenmap

Transcript:

Αποδοτικός διαμοιρασμός πόρων Ε/Ε σε εικονικά περιβάλλοντα Αναστάσιος Νάνος Εργαστήριο Υπολογιστικών Συστημάτων Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Εθνικό Μετσόβιο Πολυτεχνείο WWW: http://cslabecentuagr/~ananos Δεκέμβριος 2013

Εισαγωγή Cloud computing έμφαση στις εφαρμογές, εύκολη/γρήγορη εκτέλεση Tο Cloud X-as-a-Service HPC-as-a-Service Εφαρμογές Υψηλών επιδόσεων (HPC) στο Cloud Για την αποδοτική εκτέλεση εφαρμογών πρέπει να βελτιστοποιήσουμε: πολύπλεξη επεξεργαστικών μονάδων / μνήμης πρόσβαση σε δεδομένα (Ε/Ε) Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 2

Εισαγωγή Εφαρμογές που εκτελούνται σε μια συστοιχία ẉhile!converge: compute communicate Ε/Ε: συμφόρηση επικοινωνίας κατά τη διάρκεια της εκτέλεσης ενδιάμεσα επίπεδα λογισμικού αντιγραφές, χειρισμός πινάκων αντιστοίχισης χειρισμός διακοπών/γεγονότων Δίκτυα διασύνδεσης (interconnection frameworks) MPI Infiniband, Myrinet etc vs Ethernet (Top500, gige) TCP/IP Byte Transfer Layer (BTL) Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 3

Εισαγωγή Στόχος: εκτέλεση HPC εφαρμογών σε εικονικά περιβάλλοντα απαλοιφή της επιβάρυνσης της επικοινωνίας λόγω των επιπέδων του virtualization χωρίς να χρειαστούν αλλαγές στις εφαρμογές Συμβολή: σχεδιάζουμε και υλοποιούμε το Xen2MX, ένα πρωτόκολλο επικοινωνίας υψηλής επίδοσης για εικονικά περιβάλλοντα επιτυγχάνουμε χαμηλό χρόνο απόκρισης και υψηλή ρυθμαπόδοση το Xen2MX είναι συμβατό με το MPI και λειτουργεί πάνω από generic Ethernet Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 4

Επισκόπηση 1 E/E σε εικονικά περιβάλλοντα Βασικές έννοιες Λειτουργίες Ε / Ε Δίκτυα διασύνδεσης υψηλής επίδοσης 2 Xen2MX Αρχιτεκτονική του Xen2MX Πειραματική αποτίμηση του Xen2MX Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 5

Επισκόπηση 1 E/E σε εικονικά περιβάλλοντα Βασικές έννοιες Λειτουργίες Ε / Ε Δίκτυα διασύνδεσης υψηλής επίδοσης 2 Xen2MX Αρχιτεκτονική του Xen2MX Πειραματική αποτίμηση του Xen2MX Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 6

Εικονικό Περιβάλλον Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 7

Ε/Ε -- Xen hypervisor + VM αυξημένων δυνατοτήτων (driver domain) για πρόσβαση στο υλικό μοντέλο διαχωρισμένου οδηγού (split driver model) -- frontend/backend Xen -- Κανάλια γεγονότων (event channels) ενημερώνουν το VM ή το Driver domain για εκκρεμείς αιτήσεις εύκολα στη χρήση -- (bind to a specific "port") Xen -- Μηχανισμός παραχώρησης μνήμης (Grant mechanism) έκδοση αίτησης παραχώρησης σελίδας (issue a page grant request) το άλλο άκρο δέχεται τη σελίδα (maps the grant -- accept) η σελίδα είναι κοινή και στα δύο μέρη Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 8

Ε/Ε -- Xen Ring buffers Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 9

Επισκόπηση 1 E/E σε εικονικά περιβάλλοντα Βασικές έννοιες Λειτουργίες Ε / Ε Δίκτυα διασύνδεσης υψηλής επίδοσης 2 Xen2MX Αρχιτεκτονική του Xen2MX Πειραματική αποτίμηση του Xen2MX Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 10

Επιλογές Ε/Ε σε εικονικά περιβάλλοντα Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 11

Επιλογές Ε/Ε σε εικονικά περιβάλλοντα: εξομοίωση Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 12

Επιλογές Ε/Ε σε εικονικά περιβάλλοντα: paravirtual Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 13

Επιλογές Ε/Ε σε εικονικά περιβάλλοντα: ΙΟV Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 14

Χειρισμός Ε/Ε σε σύγχρονους hypervisors ανοιχτού κώδικα Παράμετροι: εξομοίωση συσκευών: πλήρης εξομοίωση λειτουργιών Ε/Ε -- καμία αλλαγή στους οδηγούς συσκευών, μεγάλη ευελιξία (migration, checkpointing κλπ) (+) μειωμένη επίδοση (-) paravirtualized συσκευές: αλλαγή στη διεπαφή των οδηγών του VM για επικοινωνία με την πραγματική συσκευή (-) αποδοτική κλιμάκωση -- η διεπαφή τόσο προς το VM όσο και προς το υλικό είναι προσαρμοσένη σε κάθε κατηγορία συσκευών (+) IOV: πολύπλεξη στο υλικό συμβατικοί οδηγοί συσκευών (+) επίδοση κοντά στο θεωρητικό μέγιστο (+) διεισδυτικές μέθοδοι για το hypervisor (-) έλλειψη ευελιξίας (-) Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 15

I/O Virtualization (IOV) απευθείας μονοπάτια δεδομένων (επίδοση Ε/Ε κοντά στο θεωρητικό μέγιστο) ευελιξία, ελαστικότητα, migration (?) Στην εποχή των multi/many--cores: Ο αριθμός των VMs ανά φυσικό μηχάνημα αυξάνεται δραματικά οι προσαρμογείς IOV μπορούν να τα υποστηρίξουν αποδοτικά; Τύποι συσκευών: δικτύου block (αποθήκευση) επιτάχυνση (GPUs/FPGAs/ASICs) Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 16

Χαρακτηρίζοντας τις συσκευές E / E Συσκευές δικτύου ομαδοποίηση μεταφορών σε επίπεδο πακέτων -- πολλαπλές ουρές μετάδοσης (TX/RX) Συσκευές block ομαδοποίηση αιτήσεων Ε/Ε στο επίπεδο μπλόκ -- δυσκολία στην προσαρμογή -- απαιτεί εξειδικευμένη διεπαφή για την ομαδοποίηση των αιτήσεων με κριτήρια και το πέρασμά τους στο υλικό Συσκευές επιτάχυνσης (accelerators) GPUs/ FPGAs -- προσαρμογή σε εικονικά περιβάλλοντα, ανάλογα με τα χαρακτηριστικά των εφαρμογών και του υλικού -- ανώριμες υλοποιήσεις Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 17

Επισκόπηση 1 E/E σε εικονικά περιβάλλοντα Βασικές έννοιες Λειτουργίες Ε / Ε Δίκτυα διασύνδεσης υψηλής επίδοσης 2 Xen2MX Αρχιτεκτονική του Xen2MX Πειραματική αποτίμηση του Xen2MX Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 18

Δίκτυα διασύνδεσης υψηλής επίδοσης -- Βασικές έννοιες Ακροσημεία (endpoints) εικονική διεπαφή δικτύου στο επίπεδο της διεργασίας -- πηγή/προορισμός κάθε είδους επικοινωνίας Περιοχές μνήμης (regions) σύνολα περιοχών μνήμης που περιέχουν εικονικά συνεχόμενες θέσεις μνήμης (δεσμευμένες από την εφαρμογή) Γεγονότα (events) επιπέδου χρήστη επιπέδου πυρήνα αποδοτική μέθοδος επικοινωνίας μεταξύ του χώρου χρήστη και του υλικού Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 19

Στοίβα Open-MX (επικοινωνία χώρου--χρήστη vs συμβατική επικοινωνία) Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 20

Συμβατική εγκατάσταση του Open-MX Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 21

Εγκατάσταση Open-MX με χρήση μεθόδων IOV Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 22

Επισκόπηση 1 E/E σε εικονικά περιβάλλοντα Βασικές έννοιες Λειτουργίες Ε / Ε Δίκτυα διασύνδεσης υψηλής επίδοσης 2 Xen2MX Αρχιτεκτονική του Xen2MX Πειραματική αποτίμηση του Xen2MX Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 23

Αρχιτεκτονική του Xen2MX Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 24

Xen2MX -- λεπτομέρειες αρχιτεκτονικής Επικοινωνία των Frontend--Backend μοντέλο καταναλωτή -- παραγωγού με συνδυασμό διακοπών και τεχνικών τακτικής σάρωσης (soft-interrupts/polling) κυκλικές δομές για μηνύματα ελέγχου και επιβεβαιώσεις (Xen rings) send_ring control_ring έξυπνους χειριστές γεγονότων (anticipatory handlers) έξυπνη παραχώρηση μνήμης (proactive grants): παραχώρηση της σχετικής μνήμης εκ των προτέρων ανακύκλωση των παραχωρήσεων Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 25

Xen2MX -- ανταλλαγή μηνυμάτων Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 26

Xen2MX -- λεπτομέρειες αρχιτεκτονικής Ανταλλαγή δεδομένων (inter--/intra--node) αντιγραφές (μηνύματα SMALL) send_ring low-latency ουρές αποστολής & λήψης (μηνύματα MEDIUM) δεσμεύονται και παραχωρούνται στο άνοιγμα του endpoint η μόνη επιβάρυνση είναι στο μήνυμα ελέγχου και όχι στη μεταφορά των δεδομένων regions (μηνύματα LARGE) σημασιολογία rendez-vous Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 27

Xen2MX -- περιοχές μνήμης Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 28

Επισκόπηση 1 E/E σε εικονικά περιβάλλοντα Βασικές έννοιες Λειτουργίες Ε / Ε Δίκτυα διασύνδεσης υψηλής επίδοσης 2 Xen2MX Αρχιτεκτονική του Xen2MX Πειραματική αποτίμηση του Xen2MX Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 29

Αποτελέσματα επίδοσης του Xen2MX Περιβάλλον πειραμάτων 2x {Intel Xeon @24Ghz, Intel 5500, 48GB memory, Generic 10GbE} Xen 42, Open-MX 152, Debian GNU/Linux (έκδοση πυρήνα 340) συμβατικό μετρο-πρόγραμμα: mx_pingpong 64b: αντιγραφή 32KB: ουρές αποστολής & λήψης 64KB: σημασιολογία rendez-vous Περιπτώσεις: Native (χωρίς virtualization hypervisor) Απευθείας αντιστοίχιση (PCI-attached, ισάξια με IOV) Συμβατικοί οδηγοί (Bridged, paravirtual) Xen2MX (Plain, Tuned) Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 30

Πειραματική αποτίμηση -- χρόνος απόκρισης (μέχρι 16K) 140 120 Native PCI-attached Bridged Xen2MX-plain Xen2MX-tuned 100 Latency (us) 80 60 40 20 0 1 4 16 64 256 1K 4K 16K Message Size (Bytes) Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 31

Πειραματική αποτίμηση -- χρόνος απόκρισης 1200 1000 Native PCI-attached Bridged Xen2MX-plain Xen2MX-tuned 800 Latency (us) 600 400 200 0 1 4 16 64 256 1K 4K 16K 64K 256K Message Size (Bytes) Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 32

Πειραματική αποτίμηση -- ρυθμαπόδοση 1200 1000 Native PCI-attached Bridged Xen2MX-plain Xen2MX-tuned 800 Bandwidth (MB/s) 600 400 200 0 256 1K 4K 16K 64K 256K 1M 4M Message Size (Bytes) Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 33

Πειραματική αποτίμηση -- μηνύματα 512K 35 30 Guest Driver Domain 25 Percentage 20 15 10 5 0 XEN2MX BRIDGED XEN2MX BRIDGED XEN2MX BRIDGED XEN2MX BRIDGED 1 2 4 8 Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 34

Πειραματική αποτίμηση -- βαθμός κλιμάκωσης για μέχρι και 40 VMs 100 1200 80 1000 CPU utilization (%) 60 40 Bridged CPU utilization Xen2MX CPU utilization Bridged throughput Xen2MX throughput 800 600 Throughput (MB/s) 400 20 200 0 64K 256K 1M 4M 16M Message Size (bytes) 0 Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 35

Σύνοψη Επιλογές Ε/Ε σε εικονικά περιβάλλοντα εξομοίωση (όταν δεν υπάρχει άλλη επιλογή) μοντέλο διαχωρισμένου οδηγού (split driver model) -- συμβατικό, κλιμακώσιμο τεχνικές IOV (δίνουν τη μέγιστη δυνατή επίδοση) Xen2MX πρωτόκολλο διασύνδεσης σχεδιασμένο για εικονικά περιβάλλοντα Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 36

Σύνοψη Κύρια χαρακτηριστικά: ένταξη σημασιολογίας δικτύων υψηλής επίδοσης στο μοντέλο διαχωρισμένου οδηγού επικοινωνία με πολύ χαμηλό χρόνο απόκρισης και υψηλή ρυθμαπόδοση -- συγκρίσιμα με περιβάλλοντα χωρίς virtualization συμβατότητα με πρωτόκολλα ανώτερων στρωμάτων (MPI κλπ) Διαθέσιμο στο https://githubcom/ananos/xen2mx Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 37

Ευχαριστώ! Ερωτήσεις; Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 38

Δημοσιεύσεις A Nanos and N Koziris Xen2MX: High-performance communication in Virtualized Environments, Submitted to Elsevier Journal of Systems and Software, under review A Nanos and N Koziris Xen2MX: Towards High-performance communication in the Cloud, Proceedings of the 7th Workshop on Virtualization in High-Performance Cloud computing (VHPC 2012), held in conjunction with Euro-par 2012, Rhodes Island, Greece, August 27-31 2012 A Nanos, N Nikoleris, S Psomadakis, E Kozyri and N Koziris A Smart HPC interconnect for clusters of Virtual Machines, Proceedings of the 6th Workshop on Virtualization in High-Performance Cloud computing (VHPC 2011), held in conjunction with Euro-par 2011, Bordeaux, France, 29 August - 2 September, 2011 D Aragiorgis, A Nanos and N Koziris, Coexisting Scheduling Policies boosting I/O Virtual Machines, Proceedings of the 6th Workshop on Virtualization in High-Performance Cloud computing (VHPC 2011), held in conjunction with Euro-par 2011, Bordeaux, France, 29 August - 2 September, 2011 A Nanos, G Goumas and N Koziris, Exploring I/O Virtualization Data paths for MPI Applications in a Cluster of VMs: A Networking Perspective, Proceedings of the 5th Workshop on Virtualization in High-Performance Cloud computing (VHPC 2010), held in conjunction with Euro-par 2010, Ischia - Naples 31 August - 3 September, 2010 A Nanos and N Koziris, MyriXen: Message Passing in Xen Virtual Machines over Myrinet and Ethernet, Proceedings of the 4th Workshop on Virtualization in High-Performance Cloud computing (VHPC 2009), held in conjunction with Euro-par 2009, Delft, The Netherlands, 24-28 August, 2009 E Koukis, A Nanos and N Koziris, GMBlock: Optimizing data movement in a block-level storage sharing system over Myrinet, Cluster Computing, Vol 13, No 4, pp 349-372, 2010 DOI: 101007/s10586-009-0106-y E Koukis, A Nanos and N Koziris, Synchronized Send Operations for Efficient Streaming Block I/O over Myrinet, Proceedings of the Workshop on Communication Architecture for Clusters (CAC 2008), held in conjunction with the 22nd International Parallel and Distributed Processing Symposium (IPDPS 2008), Miami, FL, USA, 14-18 April, 2008 Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 39

Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 40

Backup Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 41

Πειραματική αποτίμηση -- Ποσοστό χρήσης CPU για το Driver domain 3 25 Normalized Time 2 15 1 deregister register recv send 05 0 TUNED PLAIN TUNED PLAIN TUNED PLAIN TUNED PLAIN TUNED PLAIN TUNED PLAIN 64k 128k 256k 512k 1M 2M Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 42

Πειραματική αποτίμηση -- Ποσοστό χρήσης CPU για το VM 3 25 Normalized Time 2 15 1 05 deregister poke host register recv send 0 TUNED PLAIN TUNED PLAIN TUNED PLAIN TUNED PLAIN TUNED PLAIN TUNED PLAIN 64k 128k 256k 512k 1M 2M Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 43

Xen2MX -- I Control VM (aka driver domain): has direct access to the hardware and controls all VM operations Guest VM: runs the user application User Application MPI u s e r k e r n e l Xen Generic 10GbE NIC Smart 10GbE NIC Hardware Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 44

Xen2MX -- II Control VM (aka driver domain): has direct access to the hardware and controls all VM operations Guest VM: runs the user application User Application MPI MX bin compat u s e r k e r n e l NIC driver Generic 10GbE NIC Smart 10GbE NIC Xen Hardware NIC driver Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 45

Xen2MX -- III Control VM (aka driver domain): has direct access to the hardware and controls all VM operations netback: handles frames from/to a generic guest Injects them into the software bridge NIC driver Generic 10GbE NIC Smart 10GbE NIC Xen Hardware Software bridge Guest VM: runs the user application Data originating from user-space are transmitted to the network via: i) the bridged case netfront: handles all virtual ethernet traffic and forwards it to the netback NIC driver Ethernet User Application MPI MX bin compat Open-MX library Open-MX protocol: handles requests from the OpenMX library Builds the frame and pushes it on to the Ethernet stack u s e r k e r n e l Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 46

Xen2MX -- IV (Bridged) Control VM (aka driver domain): has direct access to the hardware and controls all VM operations netback: handles frames from/to a generic guest Injects them into the software bridge NIC driver Generic 10GbE NIC Smart 10GbE NIC Xen Hardware Software bridge Guest VM: runs the user application Data originating from user-space are transmitted to the network via: i) the bridged case (black, solid) netfront: handles all virtual ethernet traffic and forwards it to the netback NIC driver Ethernet User Application MPI MX bin compat Open-MX library Open-MX protocol: handles requests from the OpenMX library Builds the frame and pushes it on to the Ethernet stack u s e r k e r n e l Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 47

Xen2MX -- ΙV (IOV) Control VM (aka driver domain): has direct access to the hardware and controls all VM operations netback: handles frames from/to a generic guest Injects them into the software bridge NIC driver Generic 10GbE NIC Smart 10GbE NIC Xen Hardware Software bridge Guest VM: runs the user application Data originating from user-space are transmitted to the network via: i) the bridged case (black, solid) ii) direct assignment (blue, solid) netfront: handles all virtual ethernet traffic and forwards it to the netback NIC driver Ethernet User Application MPI MX bin compat Open-MX library Open-MX protocol: handles requests from the OpenMX library Builds the frame and pushes it on to the Ethernet stack u s e r k e r n e l Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 48

Xen2MX -- IV (Xen2MX) Control VM (aka driver domain): has direct access to the hardware and controls all VM operations Xen2XM backend: handles incoming requests from both the frontend and the network Implements the actual Open-MX protocol and forwards network frames based on their peer_index netback: handles frames from/to a generic guest Injects them into the software bridge NIC driver Generic 10GbE NIC Smart 10GbE NIC Xen Hardware Software bridge Guest VM: runs the user application Data originating from user-space are transmitted to the network via: i) the bridged case (black, solid) ii) direct assignment (blue, solid) iii) Xen2MX (red, dashed) Xen2XM frontend: handles requests from the OpenMX library Issues requests to the backend via event channels and is triggered by IOCTLs (requests) and soft-interrupts (responses) Features endpoint semantics and hooks for pinning/allocating memory netfront: handles all virtual ethernet traffic and forwards it to the netback NIC driver Ethernet User Application MPI MX bin compat Open-MX library Open-MX protocol: handles requests from the OpenMX library Builds the frame and pushes it on to the Ethernet stack u s e r k e r n e l Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α Νάνος @ CSLab, ΕΜΠ 49