Μεγάλης κλίμακας κατανεμημένα συστήματα Cloud compu*ng

Transcript

1 Μεγάλης κλίμακας κατανεμημένα συστήματα Cloud compu*ng Στέλιος Σωτηριάδης 09/12/2013 1

2 Τι είναι ένα κατανεμημένο σύστημα; Δίκτυο απο διεργασίες! Οι κόμβοι είναι διεργασίες Οι ακμές είναι τα κανάλια επικοινωνίας 09/12/2013 2

3 Διαίρει και βασίλευε! Work Partition w 1 w 2 w 3 worker worker worker r 1 r 2 r 3 Result 09/12/2013 3

4 Κατανεμημένα συστήματα Εφαρμογές GPS Αυτοματοποιημένα τραπεζικά συστήματα (visa) Air- traffic Roaming cellular telephones Social Networking (Facebook)! P2P (Torrents ;) WWW? 09/12/2013 4

5 Κατανεμημένα συστήματα Συλλογή απο ανεξάρτητους υπολογιστές που εμφανίζονται στους χρήστες ώς ένας μοναδικός υπολογιστής Συλλογή απο υπολογιστές που συνεργάζονται για έναν σκοπό! 48 CPUs - > 55 C <- 48 kg 09/12/2013 5

6 HPC - HTC 1987 Metacompu<ng 1960s Supercomputers Ιστορική εξέλιξη Volunteer Volunteer Compu<ng 1999 Parallel Parallel 1999 Grid 2000 U<lity 2007 Cloud 09/12/ ???

7 Δρομολόγηση & meta- Δρομολόγητές (Scheduling) FCFS RESOURCE A QUEUE FCFS JOB A JOB B Scheduling problem: Μία εργασία JOB A εκτελείτε σε χ ms) και έχει δρομολογηθεί στον υπολογιστικό πόρο A με ουρά εκτέλεσης FCFS JOB A JOB B JOB C JOB D JOB E JOB Meta scheduler RESOURCE A RESOURCE B RESOURCE C RESOURCE D RESOURCE E RESOURCE QUEUE FCFS QUEUE BACKFILLING QUEUE SJF QUEUE E QUEUE 09/12/2013 7

8 πηγή δεδομένων 09/12/2013 CMS CERN Source: h p://en.wikipedia.org/wiki/compact_muon_solenoid 8

9 CERN Datacenters 09/12/2013 9

10 Παράδειγμα datacentre Teraflop/s on LINPACK (64K processors) Interconnects all compute nodes 1.4Gb/s on all 12 node links (2.1 GB/s per node) 1 µs latency between nearest neighbors 5 µs to the farthest 09/12/2013 IBM Blue- Gene/P 10 Source: h p://en.wikipedia.org/wiki/blue_gene

11 Επιχειρηματικότητα στο cloud Forbes is an American business magazine owned by Forbes, Inc. Published biweekly, it features original ar<cles on finance, industry, inves<ng, and marke<ng topics. Πως μπορεί να χρησιμοποιήσει το cloud? Υπάρχει διαφορά απο ένα παραδοσιακό σύστημα server? ή cluster? 09/12/

12 Cloud compu<ng Θεωρούμε οτι είμαστε η Forbes.com on-line real time stock market data Γιατί να πληρώσει τα Σαββατοκύριακα για capacity ή το βράδυ; ρυθµός πρόσβασης στον Server 9 AM - 5 PM, Monday-Friday all other days and times 09/12/

13 Λύση για Forbes Χρήση του Amazon's EC2 Elastic Compute Cloud για hosting Παροχή (provision) νέων servers καθε µέρα, και deprovision κάθε βράδυ! Πλήρωµή της τάξεων των $0.10* per server per hour * περισσότερα για µεγαλύτερο µέγεθος Άσε την Amazon να στεναχωριέται για το υλικό, την διαχείριση, και τα upgrades! 13

14 Cloud computing! Δεν χρειάζεται να είσαι κάτοχος του υλικού! Το «νοικιάζεις» και το χρησιµοποιείς όσο εσύ επιθυµείς (ή µέχρι να παρέλθει η ηµεροµηνία λήξης...) Public clouds Amazon EC2, και άλλα (Microsoft, IBM, Sun,...) Ένας οργανισµός ή µία εταιρία µπορει να δηµιουργήσει ένα ιδιωτικό cloud. Μεγαλύτερος έλεγχος της ασφάλειας 14

15 Grid vs. Cloud compu<ng Grid? προβλήματα μεγάλης κλίμακας δεν μπορούν να λυθούν με έναν υπολογιστή e- science project Μεγαλής κλίμακας κατανεμημένο σύστημα για εκτέλση πειιραμάτων - High Energy Physics (HEP) 09/12/ h p://markusklems.wordpress.com/2008/06/19/cloud- vs- grid/

16 Τι είναι το cloud? Cloud Compuing: Γενικός όρος που περιγράφει network based compu<ng διαθέσιμο μέσω του Internet. Το επόμενο βήμα του U<lity + Grid compu<ng Μία συλλογή απο δίκτυα, SW, HW και υποδομής Internet Χρησιμοποιεί το Internet για επικοινωνία και μεταφορα δεδομένων και παρέχει: Hardware So ware Network services To cloud κρύβει την πολυπλοκότητα και τις λεπτομέρειες της υποδομής (underlying infrastructure) απο τους χρήστες παρέχοντας ένα απλό graphical interface ή API. 09/12/

17 Τι είναι το cloud? Το cloud προσφέρει μία πλατφόρμα απο υπηρεσίες (pla orm) για on- demand υπηρεσίες: always on anywhere any<me any place. Χρήστες πληρώνουν για υπηρεσίες που χρησιμοποιούν με υψηλή ελαστικότητα (elas*city), χαρακτηριστικά: scale up (π.χ. αύξηση της υπολογιστικής ισχής) scale down (π.χ. μείωση της χώρου αποθήκευσης) Είναι ένα επιχειρηματικό μοντέλο υπηρεσιών! Διαθέσιμο σε χρήστες, εταιρείες και business markets 09/12/

18 Τι είναι το cloud? Cloud compu<ng: περιλαμβάνει δραστηριότητες για δημιουργία και χρήση υπηρεσιών μέσω του διαδικτύου Χαρακτηριστικά : Απομακρυσμένη αποθήκευση και χρήση υπηρεσιών (απομακρυσμένα datacentres). Ubiquitous: Πανταχού παρών Εμπορική κίνηση: πληρώνεις για αυτό που χρησιμοποιείς και για αυτά που θέλεις όπως και στα παραδοσιακά συστήματα (π.χ. Χρήση ηλεκτρικού ρεύματος). 09/12/

19 Τρέχουσες τάσεις 09/12/

20 Χαρακτηριστικά Cloud Compu<ng Κοινά µε άλλα συστήµατα: Massive Scale Homogeneity Virtualization Low Cost Software Elastic Computing Geographic Distribution Service Orientation Advanced Security Oυσιώδη: On Demand Self-Service Broad Network Access Rapid Elasticity Resource Pooling Measured Service 09/12/

21 Cloud Service Models Software as a Service (SaaS) Platform as a Service (PaaS) Infrastructure as a Service (IaaS) SalesForce CRM IBM SmartCloud Google App Engine 09/12/2013 Adopted from: Effectively and Securely Using the Cloud Computing Paradigm by peter Mell, Tim Grance 21

22 Τρέχουσες τάσεις 09/12/

23 So ware as a Service (SaaS) SaaS: είναι ένα μοντέλο ανάπτυξης λογισμικού, όπου η εφαρμογή φιλοξενείται ως υπηρεσία προς τους πελάτες μέσω του Internet. SaaS: χαμηλό βάρος στην συντήρησης λογισμικού / υποστήριξη. To SaaS περιλαμβάνει: Plaqorm as a Service (PaaS) Infrastructure as a Service (IaaS) 09/12/

24 Cloud Service Models Public Clouds Υπηρεσίες μέσω του Internet Private Clouds Ιδιωτικά δίκτυα Hybrid Clouds ποικιλία από δημόσια και ιδιωτικά cloud με πολλαπλούς παρόχους 09/12/ Source: h p:// to/content/comparing- public- private- and- hybrid- cloud- compu<n.html

25 Τυπική Αρχιτεκτονική του Cloud 09/12/

26 09/12/ h p://pleasediscuss.com/andimann/wp- content/uploads/2011/03/nist- Cloud- Ref- Architecture.jpg

27 Διάφορα επίπεδα cloud services Applicaion Service (SaaS) Applicaion Plaqorm Server Plaqorm MS Live/ExchangeLabs, IBM, Google Apps; Salesforce.com Quicken Online, Zoho, Cisco Google App Engine, Mosso, Force.com, Engine Yard, Facebook, Heroku, AWS 3Tera, EC2, SliceHost, GoGrid, RightScale, Linode Storage Plaqorm Amazon S3, Dell, Apple,... 09/12/

28 Cloud Compu<ng Service Layers Applicaion Focused Infrastructure Focused Services Services Applicaion Development Plaqorm Storage Hosing Descripion Services Complete business services such as PayPal, OpenID, OAuth, Google Maps, Alexa Applicaion Cloud based soyware that eliminates the need for local installaion such as Google Apps, Microsoy Online Development Soyware development plaqorms used to build custom cloud based applicaions (PAAS & SAAS) such as SalesForce Plaqorm Cloud based plaqorms, typically provided using virtualizaion, such as Amazon ECC, Sun Grid Storage Data storage or cloud based NAS such as CTERA, idisk, CloudNAS Hosing Physical data centers such as those run by IBM, HP, NaviSite, etc. 09/12/

29 Virtualiza<on Virtual workspaces: Εικονικό περιβάλλον εκτέλεσης που μπορεί να είναι δυναμικό χρησιμοποιώντας συγκεκριμένα πρωτόκολλα Χρησιμοποίηση πόρων (π.χ. CPU, memory share), So ware: διαμόρφωση (π.χ. O/S, provided services). Εφαρμόζεται σε Virtual Machines (VMs): Μια εικονική υλοποίηση του λογισμικού υπολογιστή που εκτελεί προγράμματα όπως ένα φυσικό μηχάνημα. App App App App App App OS OS OS Opera<ng System Hypervisor Hardware Hardware Traditional Stack Virtualized Stack 09/12/

30 Virtual Machines Eπιτρέπει πολλαπλούς εικονικους Η/Υ να τρέξουν σε μια ενιαία φυσική μηχανή. App App Guest OS (Linux) App Guest OS (Fedora) App Guest OS (Windows) VM VM VM Virtual Machine Monitor (VMM) / Hypervisor App Xen VMWare etc. Hardware 09/12/

31 Virtualiza<on Πλεονεκτήματα των εικονικών μηχανών: Λειτουργικά συστήματα σε ένα Η/Υ Είναι πιο εύκολο να δημιουργήσετε νέες μηχανές, μηχανές υποστήριξης, π.χ. Ένα VM θέλει 10 για να δημιουργηθεί... Δοκιμή λειτουργικών συστημάτων και λογισμικού, Εξομοίωση λειτουργειών σε περισσότερες μηχανές από ό, τι είναι φυσικά διαθέσιμα, Εύκολη μετακίνηση των εικονικών μηχανών (VM migra<on). 09/12/

32 Cloud taxonomies 09/12/

33 Amazon EC2 Amazon EC2 περίπλοκο web service. EC2 παρέχει ένα API για instan<a<ng compu<ng instances χρησιμοποιώντας διθέσιμα λειτουργικά συστήματα. Χρησιμοποιεί Amazon Machine Images (AMIs). Χαρακτηριστικά: S3, Cloud Management Console, MapReduce Cloud, Amazon Machine Image (AMI) Πολύ καλή κατανομή, load balancing, cloud monitoring tools 09/12/

34 Google App Engine Web interface for a development environment Java and Python- based applica<ons Το Google προσφέρει την ίδια αξιοπιστία, τη διαθεσιμότητα και την επεκτασιμότητα στο ίδιο επίπεδο με τις δικές της εφαρμογές της GoogleInterface is so ware programming based Ολοκληρωμένη πλατφόρμα προγραμματισμού, ανεξάρτητα από το μέγεθος (μικρό ή μεγάλο) Χαρακτηριστικά: templates and appspot, excellent monitoring and management console 09/12/

35 Ανάγκη για επιπλέον συνεργασιά clouds (inter- cloud & cloud federa<on) Οι πελάτες έχουν την ανάγκη να μεταφέρουν υπηρεσίες απο ένα cloud σε ένα άλλο. Επί του παρόντος, τα clouds των ίδιων των παρόχων δεν υποστηρίζουν μια συντονισμένη κατανομή των πόρων. Amazon HP, Intel, Yahoo aim to interoperable clouds Open Cloud Compu<ng Interface 09/12/

36 Open Cloud Compu<ng Interface Standard API για διαχείρηση εργασιών σε clouds. 09/12/2013 πηγή: h p://occi- wg.org/about/ 36

37 OpenStack Σύνολο απο services βασιζόμενα σε OCCI standards για deployment, autonomic scaling and monitoring IaaS cloud frameworks open source APIs για public και private IaaS clouds APIs: Nova, Glance, Keystone, Quantum IaaS Cloud Services επιτρέπουν τους χρήστες να διαχειριστούν: VMs, Virtual networks, storage resources 09/12/

38 OpenStack 09/12/

39 Μελλοντικές προκλήσεις 09/12/

40 Cloud impact 09/12/

41 έρευνα στο cloud Cloud federa<on Hybrid cloud approach The FI- STAR project Cloud services for healthcare provision SaaS interoperability & portability FI applica<on development OpenStack services 09/12/

42 βιβλιογραφία Cloud Compuing and Grid Compuing 360- Degree Compared h p://arxiv.org/pdf/ pdf What is the Grid? A Three Point Checklist h p://dlib.cs.odu.edu/whatisthegrid.pdf Above the Clouds: A Berkeley View of Cloud Compuing h p:// EECS pdf UC Berkeley CS10 Fall 2010 Lecture 20, Cloud Compu<ng h p:// VMware Inc., Virtualization Overview 09/12/

43 Demo Openstack Current Cloud Services IaaS CPU Memory HD Network & Internet Virtual Topologies OS Images Generic Enablers PaaS IaaS + GE (Development Platform) SaaS IaaS + PaaS A Future Internet Application 09/12/

44 Ευχαριστώ!? 09/12/