Εφαρμογές πληροφοριακών συστημάτων σε υπολογιστικό νέφος (cloud computing) Δρ. Χρήστος Βασιλάκος
Ορισμός cloud computing Το νέφος υπολογιστών είναι ένα μοντέλο το οποίο επιτρέπει την απεριόριστη και σε κάθε ζήτηση πρόσβαση σε μια συλλογή παραμετροποιήσημων υπολογιστικών πόρων (δίκτυο, διακομιστές, αποθήκευση, εφαρμογές και υπηρεσίες) οι οποίοι μπορούν να δεσμευτούν και απελευθερωθούν γρήγορα με την ελάχιστη δυνατή προσπάθεια και αλληλεπίδραση. Αυτό το μοντέλο αποτελείται από 5 σημαντικά χαρακτηριστικά, 3 μοντέλα υπηρεσίας, και 4 μοντέλα ανάπτυξης National Institute of Standards and Technology, 2011
Χαρακτηριστικά Αυτό-εξυπηρέτηση με κάθε ζήτηση: Ο πελάτης έχει τη δυνατότητα να δέσμευση μονομερώς τους επιθυμητούς πόρους όπως, χρόνο επεξεργασίας στους διακομιστές και χώρο αποθήκευσης όποτε το χρειαστεί χωρίς να απαιτείται αλληλεπίδραση με προσωπικό από τον πάροχο. Ευρυζωνική πρόσβαση: Δυνατότητα ευρυζωνικής πρόσβασης για όλες τις πλατφόρμες πελατών (κινητά, tablets, laptops και desktop). Διαθεσιμότητα πόρων: Οι φυσικοί και εικονικοί πόροι του παρόχου είναι διαθέσιμοι μέσω ενός μοντέλου μίσθωσης και εξυπηρετούν παράλληλα πολλαπλούς πελάτες. Η γεωγραφική τοποθεσία των πόρων δεν επηρεάζει τη διαθεσιμότητα και ο πελάτης συνήθως δεν γνωρίζει την ακριβή θέση τους. Γρήγορη ελαστικότητα: Ηαυτόματηδέσμευσηκαιηαποδέσμευση των πόρων μέσω της δυναμικής επεκτασιμότητας Μετρήσιμη υπηρεσία: Οι παρεχόμενοι πόροι μπορούν να μετρηθούν, ώστε ο πελάτης να μπορεί να ελέγξει την κατανάλωσή και τη χρέωση τους.
Μοντέλα υπηρεσίας Softwareasa Service(SaaS).Η δυνατότητα που παρέχεται στον πελάτη να χρησιμοποιεί μια εφαρμογή του παρόχου η οποία τρέχει στο νέφος/ Ο πελάτης δεν ελέγχει ή διαχειρίζεται τις υποδομές που υποστηρίζουν την εφαρμογή ούτε τις ιδιότητες της εφαρμογής. Platform as a Service (PaaS). Η δυνατότητα που παρέχεται στον πελάτη να αναπτύξει σε υποδομές [που βρίσκονται στο νέφος, εφαρμογές που έχει αναπτύξει ή προμηθευτεί από τρίτους χρησιμοποιώντας εργαλεία (γλώσσα προγραμματισμού, βιβλιοθήκες, services) που υποστηρίζονται από τον πάροχο. Ο πελάτης δεν διαχειρίζεται ή ελέγχει τις υποδομές όπως το δίκτυο, τους διακομιστές, τα λειτουργικά συστήματα παρά μόνο την εφαρμογή που θα ανεβάσει στο νέφος Infrastructure as a Service (IaaS). Η δυνατότητα που παρέχεται στον πελάτη να δεσμεύει υπολογιστική ισχύ, αποθηκευτικό χώρο, δίκτυο και άλλους κύριους πόρους στους οποίους ο πελάτης μπορεί να αναπτύξει και να τρέξει οποιαδήποτε εφαρμογή συμπεριλαμβανομένων του λειτουργικού συστήματος καθώς και άλλων εφαρμογών διαχείρισης (πχ firewall)
Mοντέλα ανάπτυξης Private cloud. Οι υποδομές νέφους που προορίζονται για αποκλειστική χρήση από μια ομάδα ατόμων πχ υπαλλήλους εταιρίας, μέλη πανεπιστημιακής κοινότητας κτλ. Community cloud. Οι υποδομές νέφους που προορίζονται για αποκλειστική χρήση από μια κοινότητα ανθρώπων που έχουν κοινά ενδιαφέροντα, στόχους, απαιτήσεις ασφάλειας κτλ. Public cloud. Οι υποδομές νέφους που προορίζονται για ανοιχτήχρήσηαπότογενικόκοινό. Ανήκει, διαχειρίζεται και λειτουργεί από ένα εμπορικό, ακαδημαϊκό ή κυβερνητικό οργανισμό. Hybrid cloud. Οι υποδομές νέφους που αποτελεί μια σύνθεση από τα παραπάνω μοντέλα ανάπτυξης.
Σημασία θέσπισης συστήματος εκτίμησης κινδύνου δασικών πυρκαγιών Δασικές πυρκαγιές Σύνθετο φυσικό φαινόμενο, από τις σημαντικότερες φυσικές καταστροφές Η πρόληψη αποτελεί σημαντικό στάδιο αντιμετώπισης πυρκαγιών Διασπορά ομάδων επιφυλακής, ανάπτυξη δικτύων παρατηρητηρίων Ταχύτερη επισήμανση και αναγγελία ταχύτερη επέμβαση και κατάσβεση Aναγνώριση περιοχών µε υψηλή επικινδυνότητα εφαρμογή συγκεκριμένων διαχειριστικών και προκατασταλτικών μέτρων
Τι είναι σύστημα εκτίμησης κινδύνου δασικών πυρκαγιών Σύστημα: Σύνολο υπολογιστών, λογισμικού, μετεωρολογικών σταθμών, δορυφόρων...... ποσοτική ή/και ποιοτική εκτίμηση του κινδύνου. Κύριο χαρακτηριστικό ενός επιχειρησιακού συστήματος, να βασίζεται σε παραμέτρους που προσδιορίζονται και επεξεργάζονται εύκολα και γρήγορα.
Χαρακτηριστικά επιχειρησιακών συστημάτων / ερευνητικών μεθόδων Χωρική κλίμακα εκτίμησης του κινδύνου Σημειακή εκτίμηση κινδύνου / Χωρική εκτίμηση κινδύνου Είδος παραμέτρων (Δυναμικές-Στατικές /Ποσοτικές-Ποιοτικές) Δομή συστημάτων / ύπαρξη υποσυστημάτων που λαμβάνονται υπόψη Σχέσεις συσχετισμού μεταξύ των παραμέτρων Δυνατότητα πρόγνωσης
Μεθοδολογία Εκτίμηση Κινδύνου Έναρξης Πυρκαγιάς
Αποτελέσματα
Αξιολόγηση 2004
Εφαρμογή Εκτίμησης Κινδύνου Έναρξης Δασικών Πυρκαγιών Ανάπτυξη σε γλώσσα προγραμματισμού Visual Basic 6 Για την υποστήριξη δεδομένων ΣΓΠ χρησιμοποιήθηκε η βιβλιοθήκη αντικειμένων ArcObjects Ανάπτυξη στοιχείου ελέγχου ActiveX για την παρακολούθηση του λάθους εκπαίδευσης σε πραγματικό χρόνο Δυνατότητα δημιουργίας σεναρίου
Δομή εφαρμογής Εκπαίδευση ΤΝΔ Εκτίμηση Κινδύνου Βάση Γεωγραφικών Δεδομένων Μετεωρολογικ οί Σταθμοί Πραγματικός SKIRON Προγνωστικός Ιστορικό Πυρκαγιών ΤΝΔ Σενάριο Χαρτογραφική Απεικόνιση ΔΚΕΠ
Το πρόβλημα ESRI Το κελί πρέπει να είναι αρκετά μικρό ώστε να απεικονίζει την απαιτούμενη λεπτομέρεια αλλά και αρκετά μεγάλο ώστε να καταναλώνει λίγους πόρους στην αποθήκευση και την επεξεργασία.
Lesvos Island
Greece
Start Download weather data from ftp server Create Wind Raster Create Temperature Raster Create Relative Humidity Raster Create Rain Raster Project Rain Raster Project Relative Humidity Raster Project Temperature Raster Project Wind Raster Create Wind Raster for FWI Create Temperature Raster for FWI Create Relative Humidity Raster for FWI Create Moisture Raster for FHI Create Rain Raster for FWI Create FPI Create FRI Create FHI Create FWI FWI: Fire Weather Index FHI: Fire Hazard Index FRI: Fire Risk Index FPI: Fire Probability Index
Εκτίμηση Κινδύνου με MS HPC Εφαρμογή παράλληλης επεξεργασίας σε χωρικά προβλήματα Μεγάλες περιοχές μελέτης με μεγάλη ανάλυση χρειάζονται περισσότερη υπολογιστική ισχύ Σειριακή παράλληλη (thread model approach) Αύξηση ταχύτητας 33% (2( υπολογιστές,, 8 πυρήνες) Χρόνος επεξεργασίας σειριακά: = 333 sec vs. HPC = 224 sec Προϋποθέσεις γρήγορου δικτύου i.e. Infiniband Ακριβά λογισμικά (third party components) σε κάθε κόμβο επεξεργασίας Tasks Time Cores
Αρχιτεκτονική VirtualFire
http://virtualfire.aegean.gr
Στόχος VENUS-C δημιουργία ενός συστήματος το οποίο θα εκμεταλλεύεται όλα τα διαθέσιμα μετεωρολογικά δεδομένα (ωριαίες μετεωρολογικές τιμές για τις επόμενες 5 μέρες) για την παραγωγή ωριαίων χαρτών εκτίμησης κινδύνου δασικών πυρκαγιών δυνατότητα προσομοίωσης της εξάπλωσης πυρκαγιάς σε πραγματικό χρόνο πρόσβαση σε προγνωστικούς χάρτες μετεωρολογικών συνθηκών.
Γιατί νέφος υπολογιστών πλεονέκτημα της δυναμικής επεκτασιμότητας δηλαδή επιτρέπει την αυξομείωση του αριθμού των επεξεργαστών που χρησιμοποιούνται από την εφαρμογή όποτε απαιτηθεί, ενώ ο τελικός χρήστης χρεώνεται μόνο για τις ώρες χρήσης των υποδομών επεξεργασίας, δικτύωσης και αποθήκευσης. ο εν δυνάμει τελικός χρήστης (π.χ. η Πυροσβεστική Υπηρεσία) θα χρεωθεί αποκλειστικά για τις ώρες επεξεργασίας που θα απαιτηθούν από το σύστημα και μόνο κατά τους μήνες της αντιπυρικής περιόδου που χρησιμοποιείται (Ιούνιος Σεπτέμβριος). Η συγκεκριμένη δυνατότητα είναι πολύ σημαντική ιδιαίτερα για εφαρμογές υψηλών υπολογιστικών απαιτήσεων και έχει τη δυνατότητα παράλληλης εκτέλεσης των διαφόρων διεργασιών που περιλαμβάνει.
Περιπτώσεις χρήσης Περίπτωση 1: Υπολογισμός του κινδύνου πυρκαγιάς βασισμένος σε προγνωστικά μετεωρολογικά δεδομένα, ο οποίος πραγματοποιείται μία φορά ημερησίως. Περίπτωση 2: Υπολογισμός του κινδύνου πυρκαγιάς βασισμένος στις πραγματικές μετεωρολογικές συνθήκες. Ο παραπάνω αλγόριθμος εκτελείται κάθε ώρα. Περίπτωση 3: Η τρίτη περίπτωση χρήσης, σε αντίθεση με τις προηγούμενες δύο περιπτώσεις, απαιτεί την αλληλεπίδραση με το χρήστη και αφορά την εκτίμηση της εξάπλωσης πυρκαγιάς για ένα ή περισσότερα σημεία έναρξης.
blobs Περίπτωση 1 Υπολογισμός πρόγνωσης κινδύνου update blobs Worker Role Web Role Silverlight app πυρκαγιάς while (true) { if (time = 08 UTC ) { increase_workers(); calculate_fire_risk_maps(); decrease_workers(); } } http://firerisk.blob.core.windows.net/container/2010_12_14_00.png http://firerisk.blob.core.windows.net/container/2010_12_14_02.png.. http://firerisk.blob.core.windows.net/container/2010_12_18_23.png
Παράλληλη επεξεργασία Worker Role Worker Role JobQueue job1 job2 first worker for (i=1 to 120) { download_from_ftp(file_i); create_job();//put a msg into JobQueue } Worker Role job120 all workers while (true) { get_job_fromqueue(); processjob();//calculate fire risk map delete_job_fromqueue(); }
Περίπτωση 2 Υπολογισμός πραγματικού κινδύνου blobs update blob Worker Role Web Role Silverlight app πυρκαγιάς once per hour): { fetch_real_time_data(); calculate_fire_risk_maps(); } http://firerisk.blob.core.windows.net/container/current_risk.png
Περίπτωση 3 Πρόγνωση εξάπλωσης πυρκαγιάς Silverlight app WCF service duplex service ignition_point(x,y) Web Role Service.svc queue msg: start_execution(x,y) Worker Role queue msg: finished_execution if (msg!= null) { Process p; // static input files fetch_data_from_blobs(); //use local storage for intermediate results p.start( fire_propagation.exe ); //put images in blobs store_maps_in_blobs(); cloudqueue.deletemessage(msg); }
Αρχές του επεξεργασίας σε νέφος υπολογιστών by Dianne O Brien @PDC09 Compute Average Inactivity Period Usage Compute Average Usage Time Time Compute Average Usage Compute Average Usage Time Time
Use Case -1 Use Case -1 Compute Use Case -2 Use Case -3 Inactivity Period Use Case -2 Use Case -3 Average October - May Usage Time Η εφαρμογή λειτουργεί μόνο κατά την αντιπυρική περίοδο (Ιούνιος έως και Σεπτέμβριος). Μείωση του κόστους σε σύγκριση με λύσεις όπου ο εξοπλισμός διατίθεται από τον τελικό χρήστη.
Compute Use Case -1 Use Case -2 Use Case -3 -Geographic extend \ study area - Resolution / cell size Average Usage Time Η εφαρμογή μπορεί να ανταποκριθεί σε τυχόν αύξηση των απαιτήσεων σε πόρους λόγω αύξησης της γεωγραφικής περιοχής ή/και της χωρικής ανάλυσης.
Compute Use Case -3 Multiple fire ignitions / fire propagation simulations Average Usage Time Κατά τη διάρκεια πολλαπλών περιστατικών πυρκαγιάς, είτε πραγματικών είτε κατά την εκπαίδευση του προσωπικού, το νέφος μπορεί να ανταποκριθεί παρέχοντας άμεσα την απαιτουμένη υπολογιστική ισχύ που θα ζητηθεί.
120 fire risk map processing every morning Compute Use Case -1 Average Usage Time Κάθε πρωί γίνονται διαθέσιμα τα μετεωρολογικά δεδομένα που θα χρησιμοποιηθούν για τον υπολογισμό 112 χαρτών εκτίμησης κινδύνου πυρκαγιάς.
Αποτελέσματα 7-πύρινη ανάπτυξη εφαρμογής εκτίμησης κινδύνου Χρόνος απόκρισης Κατανάλωση πόρων (122 ημέρες) Επιτάχυνση (Αποτελεσματικότητα) 23 min 36 sec 3.660 hrs επεξεργασίας x5,95 (85%)
Κόστος - Εκτίμηση του κινδύνου 3.660 hrs επεξεργασίας (1 + 6) 330 - Πρόγνωση διάδοσης 2.928 hrs επεξεργασίας (1) 264 - Web role 2.928 hrs επεξεργασίας (1) 264 Μέγιστη τιμή Μέση τιμή 0-40 40-60 60-80 80-90 90-100 0-40 1 40-60 1 2 60-80 2 2 3 80-90 2 3 3 4 90-100 3 3 4 5 5
http://firerisk.cloudapp.net