Αποδοτικός διαμοιρασμός πόρων Ε/Ε σε εικονικά περιβάλλοντα

Transcript

1 Αποδοτικός διαμοιρασμός πόρων Ε/Ε σε εικονικά περιβάλλοντα Αναστάσιος Νάνος Εργαστήριο Υπολογιστικών Συστημάτων Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Εθνικό Μετσόβιο Πολυτεχνείο WWW: Δεκέμβριος 2013

2 Εισαγωγή Cloud computing έμφαση στις εφαρμογές, εύκολη/γρήγορη εκτέλεση Tο Cloud X-as-a-Service HPC-as-a-Service Εφαρμογές Υψηλών επιδόσεων (HPC) στο Cloud Για την αποδοτική εκτέλεση εφαρμογών πρέπει να βελτιστοποιήσουμε: πολύπλεξη επεξεργαστικών μονάδων / μνήμης πρόσβαση σε δεδομένα (Ε/Ε) Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 2

3 Εισαγωγή Εφαρμογές που εκτελούνται σε μια συστοιχία ẉhile!converge: compute communicate Ε/Ε: συμφόρηση επικοινωνίας κατά τη διάρκεια της εκτέλεσης ενδιάμεσα επίπεδα λογισμικού αντιγραφές, χειρισμός πινάκων αντιστοίχισης χειρισμός διακοπών/γεγονότων Δίκτυα διασύνδεσης (interconnection frameworks) MPI Infiniband, Myrinet etc vs Ethernet (Top500, gige) TCP/IP Byte Transfer Layer (BTL) Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 3

4 Εισαγωγή Στόχος: εκτέλεση HPC εφαρμογών σε εικονικά περιβάλλοντα απαλοιφή της επιβάρυνσης της επικοινωνίας λόγω των επιπέδων του virtualization χωρίς να χρειαστούν αλλαγές στις εφαρμογές Συμβολή: σχεδιάζουμε και υλοποιούμε το Xen2MX, ένα πρωτόκολλο επικοινωνίας υψηλής επίδοσης για εικονικά περιβάλλοντα επιτυγχάνουμε χαμηλό χρόνο απόκρισης και υψηλή ρυθμαπόδοση το Xen2MX είναι συμβατό με το MPI και λειτουργεί πάνω από generic Ethernet Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 4

5 Επισκόπηση 1 E/E σε εικονικά περιβάλλοντα Βασικές έννοιες Λειτουργίες Ε / Ε Δίκτυα διασύνδεσης υψηλής επίδοσης 2 Xen2MX Αρχιτεκτονική του Xen2MX Πειραματική αποτίμηση του Xen2MX Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 5

7 Εικονικό Περιβάλλον Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 7

8 Ε/Ε -- Xen hypervisor + VM αυξημένων δυνατοτήτων (driver domain) για πρόσβαση στο υλικό μοντέλο διαχωρισμένου οδηγού (split driver model) -- frontend/backend Xen -- Κανάλια γεγονότων (event channels) ενημερώνουν το VM ή το Driver domain για εκκρεμείς αιτήσεις εύκολα στη χρήση -- (bind to a specific "port") Xen -- Μηχανισμός παραχώρησης μνήμης (Grant mechanism) έκδοση αίτησης παραχώρησης σελίδας (issue a page grant request) το άλλο άκρο δέχεται τη σελίδα (maps the grant -- accept) η σελίδα είναι κοινή και στα δύο μέρη Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 8

9 Ε/Ε -- Xen Ring buffers Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 9

11 Επιλογές Ε/Ε σε εικονικά περιβάλλοντα Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 11

12 Επιλογές Ε/Ε σε εικονικά περιβάλλοντα: εξομοίωση Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 12

13 Επιλογές Ε/Ε σε εικονικά περιβάλλοντα: paravirtual Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 13

14 Επιλογές Ε/Ε σε εικονικά περιβάλλοντα: ΙΟV Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 14

15 Χειρισμός Ε/Ε σε σύγχρονους hypervisors ανοιχτού κώδικα Παράμετροι: εξομοίωση συσκευών: πλήρης εξομοίωση λειτουργιών Ε/Ε -- καμία αλλαγή στους οδηγούς συσκευών, μεγάλη ευελιξία (migration, checkpointing κλπ) (+) μειωμένη επίδοση (-) paravirtualized συσκευές: αλλαγή στη διεπαφή των οδηγών του VM για επικοινωνία με την πραγματική συσκευή (-) αποδοτική κλιμάκωση -- η διεπαφή τόσο προς το VM όσο και προς το υλικό είναι προσαρμοσένη σε κάθε κατηγορία συσκευών (+) IOV: πολύπλεξη στο υλικό συμβατικοί οδηγοί συσκευών (+) επίδοση κοντά στο θεωρητικό μέγιστο (+) διεισδυτικές μέθοδοι για το hypervisor (-) έλλειψη ευελιξίας (-) Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 15

16 I/O Virtualization (IOV) απευθείας μονοπάτια δεδομένων (επίδοση Ε/Ε κοντά στο θεωρητικό μέγιστο) ευελιξία, ελαστικότητα, migration (?) Στην εποχή των multi/many--cores: Ο αριθμός των VMs ανά φυσικό μηχάνημα αυξάνεται δραματικά οι προσαρμογείς IOV μπορούν να τα υποστηρίξουν αποδοτικά; Τύποι συσκευών: δικτύου block (αποθήκευση) επιτάχυνση (GPUs/FPGAs/ASICs) Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 16

17 Χαρακτηρίζοντας τις συσκευές E / E Συσκευές δικτύου ομαδοποίηση μεταφορών σε επίπεδο πακέτων -- πολλαπλές ουρές μετάδοσης (TX/RX) Συσκευές block ομαδοποίηση αιτήσεων Ε/Ε στο επίπεδο μπλόκ -- δυσκολία στην προσαρμογή -- απαιτεί εξειδικευμένη διεπαφή για την ομαδοποίηση των αιτήσεων με κριτήρια και το πέρασμά τους στο υλικό Συσκευές επιτάχυνσης (accelerators) GPUs/ FPGAs -- προσαρμογή σε εικονικά περιβάλλοντα, ανάλογα με τα χαρακτηριστικά των εφαρμογών και του υλικού -- ανώριμες υλοποιήσεις Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 17

19 Δίκτυα διασύνδεσης υψηλής επίδοσης -- Βασικές έννοιες Ακροσημεία (endpoints) εικονική διεπαφή δικτύου στο επίπεδο της διεργασίας -- πηγή/προορισμός κάθε είδους επικοινωνίας Περιοχές μνήμης (regions) σύνολα περιοχών μνήμης που περιέχουν εικονικά συνεχόμενες θέσεις μνήμης (δεσμευμένες από την εφαρμογή) Γεγονότα (events) επιπέδου χρήστη επιπέδου πυρήνα αποδοτική μέθοδος επικοινωνίας μεταξύ του χώρου χρήστη και του υλικού Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 19

20 Στοίβα Open-MX (επικοινωνία χώρου--χρήστη vs συμβατική επικοινωνία) Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 20

21 Συμβατική εγκατάσταση του Open-MX Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 21

22 Εγκατάσταση Open-MX με χρήση μεθόδων IOV Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 22

24 Αρχιτεκτονική του Xen2MX Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 24

25 Xen2MX -- λεπτομέρειες αρχιτεκτονικής Επικοινωνία των Frontend--Backend μοντέλο καταναλωτή -- παραγωγού με συνδυασμό διακοπών και τεχνικών τακτικής σάρωσης (soft-interrupts/polling) κυκλικές δομές για μηνύματα ελέγχου και επιβεβαιώσεις (Xen rings) send_ring control_ring έξυπνους χειριστές γεγονότων (anticipatory handlers) έξυπνη παραχώρηση μνήμης (proactive grants): παραχώρηση της σχετικής μνήμης εκ των προτέρων ανακύκλωση των παραχωρήσεων Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 25

26 Xen2MX -- ανταλλαγή μηνυμάτων Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 26

27 Xen2MX -- λεπτομέρειες αρχιτεκτονικής Ανταλλαγή δεδομένων (inter--/intra--node) αντιγραφές (μηνύματα SMALL) send_ring low-latency ουρές αποστολής & λήψης (μηνύματα MEDIUM) δεσμεύονται και παραχωρούνται στο άνοιγμα του endpoint η μόνη επιβάρυνση είναι στο μήνυμα ελέγχου και όχι στη μεταφορά των δεδομένων regions (μηνύματα LARGE) σημασιολογία rendez-vous Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 27

28 Xen2MX -- περιοχές μνήμης Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 28

30 Αποτελέσματα επίδοσης του Xen2MX Περιβάλλον πειραμάτων 2x {Intel Intel 5500, 48GB memory, Generic 10GbE} Xen 42, Open-MX 152, Debian GNU/Linux (έκδοση πυρήνα 340) συμβατικό μετρο-πρόγραμμα: mx_pingpong 64b: αντιγραφή 32KB: ουρές αποστολής & λήψης 64KB: σημασιολογία rendez-vous Περιπτώσεις: Native (χωρίς virtualization hypervisor) Απευθείας αντιστοίχιση (PCI-attached, ισάξια με IOV) Συμβατικοί οδηγοί (Bridged, paravirtual) Xen2MX (Plain, Tuned) Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 30

31 Πειραματική αποτίμηση -- χρόνος απόκρισης (μέχρι 16K) Native PCI-attached Bridged Xen2MX-plain Xen2MX-tuned 100 Latency (us) K 4K 16K Message Size (Bytes) Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 31

32 Πειραματική αποτίμηση -- χρόνος απόκρισης Native PCI-attached Bridged Xen2MX-plain Xen2MX-tuned 800 Latency (us) K 4K 16K 64K 256K Message Size (Bytes) Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 32

33 Πειραματική αποτίμηση -- ρυθμαπόδοση Native PCI-attached Bridged Xen2MX-plain Xen2MX-tuned 800 Bandwidth (MB/s) K 4K 16K 64K 256K 1M 4M Message Size (Bytes) Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 33

34 Πειραματική αποτίμηση -- μηνύματα 512K Guest Driver Domain 25 Percentage XEN2MX BRIDGED XEN2MX BRIDGED XEN2MX BRIDGED XEN2MX BRIDGED Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 34

35 Πειραματική αποτίμηση -- βαθμός κλιμάκωσης για μέχρι και 40 VMs CPU utilization (%) Bridged CPU utilization Xen2MX CPU utilization Bridged throughput Xen2MX throughput Throughput (MB/s) K 256K 1M 4M 16M Message Size (bytes) 0 Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 35

36 Σύνοψη Επιλογές Ε/Ε σε εικονικά περιβάλλοντα εξομοίωση (όταν δεν υπάρχει άλλη επιλογή) μοντέλο διαχωρισμένου οδηγού (split driver model) -- συμβατικό, κλιμακώσιμο τεχνικές IOV (δίνουν τη μέγιστη δυνατή επίδοση) Xen2MX πρωτόκολλο διασύνδεσης σχεδιασμένο για εικονικά περιβάλλοντα Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 36

37 Σύνοψη Κύρια χαρακτηριστικά: ένταξη σημασιολογίας δικτύων υψηλής επίδοσης στο μοντέλο διαχωρισμένου οδηγού επικοινωνία με πολύ χαμηλό χρόνο απόκρισης και υψηλή ρυθμαπόδοση -- συγκρίσιμα με περιβάλλοντα χωρίς virtualization συμβατότητα με πρωτόκολλα ανώτερων στρωμάτων (MPI κλπ) Διαθέσιμο στο Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 37

38 Ευχαριστώ! Ερωτήσεις; Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 38

39 Δημοσιεύσεις A Nanos and N Koziris Xen2MX: High-performance communication in Virtualized Environments, Submitted to Elsevier Journal of Systems and Software, under review A Nanos and N Koziris Xen2MX: Towards High-performance communication in the Cloud, Proceedings of the 7th Workshop on Virtualization in High-Performance Cloud computing (VHPC 2012), held in conjunction with Euro-par 2012, Rhodes Island, Greece, August A Nanos, N Nikoleris, S Psomadakis, E Kozyri and N Koziris A Smart HPC interconnect for clusters of Virtual Machines, Proceedings of the 6th Workshop on Virtualization in High-Performance Cloud computing (VHPC 2011), held in conjunction with Euro-par 2011, Bordeaux, France, 29 August - 2 September, 2011 D Aragiorgis, A Nanos and N Koziris, Coexisting Scheduling Policies boosting I/O Virtual Machines, Proceedings of the 6th Workshop on Virtualization in High-Performance Cloud computing (VHPC 2011), held in conjunction with Euro-par 2011, Bordeaux, France, 29 August - 2 September, 2011 A Nanos, G Goumas and N Koziris, Exploring I/O Virtualization Data paths for MPI Applications in a Cluster of VMs: A Networking Perspective, Proceedings of the 5th Workshop on Virtualization in High-Performance Cloud computing (VHPC 2010), held in conjunction with Euro-par 2010, Ischia - Naples 31 August - 3 September, 2010 A Nanos and N Koziris, MyriXen: Message Passing in Xen Virtual Machines over Myrinet and Ethernet, Proceedings of the 4th Workshop on Virtualization in High-Performance Cloud computing (VHPC 2009), held in conjunction with Euro-par 2009, Delft, The Netherlands, August, 2009 E Koukis, A Nanos and N Koziris, GMBlock: Optimizing data movement in a block-level storage sharing system over Myrinet, Cluster Computing, Vol 13, No 4, pp , 2010 DOI: /s y E Koukis, A Nanos and N Koziris, Synchronized Send Operations for Efficient Streaming Block I/O over Myrinet, Proceedings of the Workshop on Communication Architecture for Clusters (CAC 2008), held in conjunction with the 22nd International Parallel and Distributed Processing Symposium (IPDPS 2008), Miami, FL, USA, April, 2008 Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 39

40 Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 40

41 Backup Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 41

42 Πειραματική αποτίμηση -- Ποσοστό χρήσης CPU για το Driver domain 3 25 Normalized Time deregister register recv send 05 0 TUNED PLAIN TUNED PLAIN TUNED PLAIN TUNED PLAIN TUNED PLAIN TUNED PLAIN 64k 128k 256k 512k 1M 2M Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 42

43 Πειραματική αποτίμηση -- Ποσοστό χρήσης CPU για το VM 3 25 Normalized Time deregister poke host register recv send 0 TUNED PLAIN TUNED PLAIN TUNED PLAIN TUNED PLAIN TUNED PLAIN TUNED PLAIN 64k 128k 256k 512k 1M 2M Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 43

44 Xen2MX -- I Control VM (aka driver domain): has direct access to the hardware and controls all VM operations Guest VM: runs the user application User Application MPI u s e r k e r n e l Xen Generic 10GbE NIC Smart 10GbE NIC Hardware Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 44

45 Xen2MX -- II Control VM (aka driver domain): has direct access to the hardware and controls all VM operations Guest VM: runs the user application User Application MPI MX bin compat u s e r k e r n e l NIC driver Generic 10GbE NIC Smart 10GbE NIC Xen Hardware NIC driver Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 45

46 Xen2MX -- III Control VM (aka driver domain): has direct access to the hardware and controls all VM operations netback: handles frames from/to a generic guest Injects them into the software bridge NIC driver Generic 10GbE NIC Smart 10GbE NIC Xen Hardware Software bridge Guest VM: runs the user application Data originating from user-space are transmitted to the network via: i) the bridged case netfront: handles all virtual ethernet traffic and forwards it to the netback NIC driver Ethernet User Application MPI MX bin compat Open-MX library Open-MX protocol: handles requests from the OpenMX library Builds the frame and pushes it on to the Ethernet stack u s e r k e r n e l Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 46

47 Xen2MX -- IV (Bridged) Control VM (aka driver domain): has direct access to the hardware and controls all VM operations netback: handles frames from/to a generic guest Injects them into the software bridge NIC driver Generic 10GbE NIC Smart 10GbE NIC Xen Hardware Software bridge Guest VM: runs the user application Data originating from user-space are transmitted to the network via: i) the bridged case (black, solid) netfront: handles all virtual ethernet traffic and forwards it to the netback NIC driver Ethernet User Application MPI MX bin compat Open-MX library Open-MX protocol: handles requests from the OpenMX library Builds the frame and pushes it on to the Ethernet stack u s e r k e r n e l Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 47

48 Xen2MX -- ΙV (IOV) Control VM (aka driver domain): has direct access to the hardware and controls all VM operations netback: handles frames from/to a generic guest Injects them into the software bridge NIC driver Generic 10GbE NIC Smart 10GbE NIC Xen Hardware Software bridge Guest VM: runs the user application Data originating from user-space are transmitted to the network via: i) the bridged case (black, solid) ii) direct assignment (blue, solid) netfront: handles all virtual ethernet traffic and forwards it to the netback NIC driver Ethernet User Application MPI MX bin compat Open-MX library Open-MX protocol: handles requests from the OpenMX library Builds the frame and pushes it on to the Ethernet stack u s e r k e r n e l Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 48

49 Xen2MX -- IV (Xen2MX) Control VM (aka driver domain): has direct access to the hardware and controls all VM operations Xen2XM backend: handles incoming requests from both the frontend and the network Implements the actual Open-MX protocol and forwards network frames based on their peer_index netback: handles frames from/to a generic guest Injects them into the software bridge NIC driver Generic 10GbE NIC Smart 10GbE NIC Xen Hardware Software bridge Guest VM: runs the user application Data originating from user-space are transmitted to the network via: i) the bridged case (black, solid) ii) direct assignment (blue, solid) iii) Xen2MX (red, dashed) Xen2XM frontend: handles requests from the OpenMX library Issues requests to the backend via event channels and is triggered by IOCTLs (requests) and soft-interrupts (responses) Features endpoint semantics and hooks for pinning/allocating memory netfront: handles all virtual ethernet traffic and forwards it to the netback NIC driver Ethernet User Application MPI MX bin compat Open-MX library Open-MX protocol: handles requests from the OpenMX library Builds the frame and pushes it on to the Ethernet stack u s e r k e r n e l Δεκέμβριος 2013 ΕΜΠ, Αθήνα Α CSLab, ΕΜΠ 49