Αmazon Web Services (AWS)

Transcript

1 Τοµέας Εφαρµογών και Θεµελιώσεων της Επιστήµης Υπολογιστών ΗΥ600 - Η-Επιχειρείν Αmazon Web Services (AWS) 11/7/2008 Nef Marie-Aurélie Χατζή Βασιλική

2 Περιεχόμενα 1. Web Services Εισαγωγή Web Services Stack Transport layer XML-based messaging layer Service description layer Service publication layer Service discovery layer Service flow layer Πλατφόρμες Amazon Web Services Εισαγωγή Λίστα των Amazon Web Services Infrastructure Services Amazon Elastic Compute Cloud (EC2) Εισαγωγή Χαρακτηριστικά Συνήθεις χρήσεις Συστατικά μέρη Χρέωση Χρησιμοποιώντας το Amazon EC Amazon Simple Storage Service (S3) Εισαγωγή Χαρακτηριστικά Χρέωση Χρησιμοποιώντας το Amazon S Amazon SimpleDB Εισαγωγή Χαρακτηριστικά Χρέωση Χρησιμοποιώντας το Amazon Simple DB Amazon Simple Queue Service (SQS) Nef Marie-Aurelie Χατζή Βασιλική

3 Εισαγωγή Χαρακτηριστικά Αρχιτεκτονική Χρέωση Χρησιμοποιώντας το Amazon SQS Payment & Billing Amazon Flexible Payments Service (FPS) Εισαγωγή Χαρακτηριστικά Χρέωση Χρησιμοποιώντας το Amazon FPS Amazon DevPay Εισαγωγή Χαρακτηριστικά Χρέωση Χρησιμοποιώντας το Amazon DevPay On-Demand Workforce Amazon Mechanical Turk Εισαγωγή Χαρακτηριστικά Χρέωση Χρησιμοποιώντας το Amazon Mechanical Turk Web Search & Information Alexa Web Search Εισαγωγή Χαρακτηριστικά Χρέωση Alexa Web Information Service Εισαγωγή Χαρακτηριστικά Χρέωση Alexa Top Sites Εισαγωγή Χαρακτηριστικά Nef Marie-Aurelie Χατζή Βασιλική

4 Χρέωση Alexa Site Thumbnail Εισαγωγή Χαρακτηριστικά Χρέωση Amazon Fulfillment & Associates Amazon Fulfillment Web Service (FWS) Εισαγωγή Χαρακτηριστικά Χρέωση Amazon Associates Web Service Εισαγωγή Χαρακτηριστικά Χρέωση Nef Marie-Aurelie Χατζή Βασιλική

5 1. Web Services 1.1. Εισαγωγή Το W3C ορίζει τα Web Services ως εξής : «Ένα σύστημα λογισμικού σχεδιασμένο για την υποστήριξη της διαλειτουργικής αλληλεπίδρασης μηχανή προς μηχανή πάνω από ένα δίκτυο». Συνήθως, τα Web Services είναι απλά μία Web διεπαφή προσβάσιμη από ένα δίκτυο όπως το Internet, και οι παρεχόμενες υπηρεσίες είναι εκτελέσιμες σε ένα απομακρυσμένο σύστημα που τις φιλοξενεί. Χρησιμοποιούν ανοιχτά standards και πρωτόκολλα, είναι platform-independent καθώς επίσης και language-independent. Υπάρχει μία διαχώριση αυτών των services σε δύο κατηγορίες : Τα WS-* Web Services παρουσιάζουν ένα σύνολο εκτελέσιμων λειτουργιών. Βασίζονται στις τεχνολογίες SOAP (Simple Object Access Protocol) και WSDL (Web Services Description Language) για να πετύχουν την διαλειτουργική αλληλεπίδραση και συνήθως η επικοινωνία γίνεται μέσω HTTP. Τα RESTful Web Services χρησιμοποιούν επίσης HTTP αλλά με αρκετά διαφορετικό τρόπο : υποστηρίζουν ένα υποσύνολο των standards HTTP λειτουργιών (GET, POST, HEAD, PUT και DELETE) για να εκτελέσουν όλες τις λειτουργίες που χρειάζονται να αλληλεπιδρούν με κάποιο Web Service. Όλες οι λειτουργίες παρουσιάζονται σαν σύνολο πόρων (URI). Έτσι τα Web Services τύπου REST βασίζονται στην αρχιτεκτονική του Web και των δύο βασικών standards : HTTP και URI. Η διαδικασία ανακάλυψης των Web Services γίνεται μέσω UDDI (Universal Description, Discovery and Integration). 5 Nef Marie-Aurelie Χατζή Βασιλική

6 1.2. Web Services Stack Στο παρακάτω πίνακα παρουσιάζεται η στοίβα των Web Services : Τεχνολογία Layer Business Issues WSFL Service Flow Static UDDI Service Discovery Direct UDDI Service Publication WSDL Service Description Service Implementation Service Interface Secure Messaging SOAP XML-Based Messaging HTTP, FTP, SMTP, MQ, Transport RMI over IIOP Ασφάλεια Διαχείριση Ποιότητα Υπηρεσίας Transport layer Το transport layer βρίσκεται στην βάση της Web services stack. Τα πρωτόκολλα του Internet που χρησιμοποιούνται εδώ είναι κυριότερα το HTTP και, σε πολύ μικρότερο βαθμό, το SMTP (για s) και FTP (για file transfer). Στην περίπτωση που καλούνται μέσω Intranet, χρησιμοποιούνται υποδομές middleware κλήσεων όπως IBM s MQSeries και CORBA που βασίζεται σε πρωτόκολλο Internet Inter-ORB (IIOP) XML-based messaging layer Στο συγκεκριμένο layer, το SOAP αποτελεί το πρωτόκολλο μηνυμάτων για την XML. Όλα τα μηνύματα SOAP υποστηρίζουν της λειτουργίες publish, bind και find στην αρχιτεκτονική των Web services. To SOAP αποτελείται από 3 μέρη : ένα περιτύλιγμα για την περιγραφή του περιεχόμενου του μηνύματος, ένα σύνολο κανόνων κωδικοποίησης καθώς επίσης και ένα μηχανισμό για την παροχή των remote procedures calls (RPCs) και των απαντήσεων Service description layer Η περιγραφή της υπηρεσίας παρέχει τα μέσα που χρειάζονται για την κλήση των Web Services. Το WSDL αποτελεί το βασικό standard για την περιγραφή, σε XML μορφή, των διεπαφών των υπηρεσιών Service publication layer Χρειάζονται άλλες περιγραφές των υπηρεσιών για την συμπλήρωση των WSDL αρχείων. Μπορεί να χρησιμοποιηθούν UDDI δομές δεδομένων για την περιγραφή των business πλαισίων για παράδειγμα. Σε αυτό το layer, ο προμηθευτής της υπηρεσίας δημοσιεύει σε δημόσιο ή ιδιωτικό UDDI registry τα απαραίτητα αρχεία. Βέβαια, η δημοσίευση δεν γίνεται απαραίτητα μέσω UDDI, μπορεί να γίνει στέλνοντας κατευθείαν ένα WSDL αρχείο στο client μέσω για παράδειγμα. Επίσης μπορεί να χρησιμοποιηθούν host-local WSDL registry. 6 Nef Marie-Aurelie Χατζή Βασιλική

7 Service discovery layer Το Service discovery στηρίζεται στο παραπάνω layer. Αν κάποιο Web Service δεν έχει ή δεν μπορεί να δημοσιευτεί, τότε δεν μπορεί να ανακαλυφθεί. Η διαδικασία ανάκτησης ενός WSDL αρχείο από κάποιο client λέγεται διαδικασία ανακάλυψης. Μπορεί να γίνει χρησιμοποιώντας κάποιο τοπικό αρχείο που λαμβάνεται για παράδειγμα μέσω όπως αναφέρθηκε παραπάνω. Μπορεί επίσης να χρησιμοποιήσει τοπικό WSDL registry ή κάποιο UDDI registry Service flow layer Το Web Services Flow Language (WSFL) είναι το standard για το Service flow layer που βρίσκεται στην κορυφή της στοίβας. Διαφέρει από τα υπόλοιπα standards της στοίβας διότι εστιάζει στην διαμόρφωση των business διαδικασιών καθώς επίσης και στα workflows. Υπάρχουν δύο μοντέλα : το πρώτο διευκρινίζει μια εκτελέσιμη business διαδικασία γνωστή ως Flow Model. Το δεύτερο διευκρινίζει μία business συνεργασία και αλληλεπίδραση γνωστή ως Global Model Πλατφόρμες Το deployment των Web Services γίνεται χρησιμοποιώντας μία εφαρμογή σε ένα application server όπως για παράδειγμα : JAX-WS 2.x που αποτελεί υλοποίηση αναφοράς της Java EE. Χρησιμοποιείται στο GlassFish και σε άλλα περιβάλλοντα. Axis και το Jakarta Tomcat Server. XFire της CodeHaus προσφέρει ένα Java Framework με διαφορετική προσέγγιση από την Axis. CFX που αποτελεί ένωση της XFire (CodeHaus) και της Celtix (Objectweb). ColdFusion MX της Macromedia. IIS HTTP Servers της Microsoft (με το.net framework). WebLogic της ΒΕΑ. WebSphere Application Server της IBM (βασίζεται στο Apache server και στην πλατφόρμα J2EE). Oracle Application Server της Oracle Corporation. ZenWorks της Novell JBoss Application Server της JBoss. Uniface της Compuware που υλοποιεί SOAP Web Services χρησιμοποιώντας Tomcat. 7 Nef Marie-Aurelie Χατζή Βασιλική

8 2. Amazon Web Services 2.1. Εισαγωγή Τα Amazon Web Services (AWS) είναι μία συλλογή από Web Services που παρέχεται από την Amazon.com. Οι υπηρεσίες αυτές χρησιμοποιούνται μέσω HTTP και υποστηρίζουν REST και SOAP πρωτόκολλα. Χρεώνονται ανάλογα με την χρήση και το τύπο της υπηρεσίας Λίστα των Amazon Web Services Παρακάτω παρουσιάζεται μία γενική λίστα των AWS, κάθε Web Service περιγράφεται λεπτομερώς στις επόμενες ενότητες. Infrastructure Services o Amazon Elastic Compute Cloud o Amazon Simple Storage Service o Amazon SimpleDB o Amazon Simple Queue Service Payments & Billing o Amazon Flexible Payments Service o Amazon DevPay On-Demand Workforce o Amazon Mechanical Turk Web-Search & Information o Alexa Web Search o Alexa Web Information Service o Alexa Top Sites o Alexa Site Thumbnail Amazon Fulfillment & Associates o Amazon Fulfillment Web Service o Amazon Associates Web Service 8 Nef Marie-Aurelie Χατζή Βασιλική

9 3. Infrastructure Services 3.1. Amazon Elastic Compute Cloud (EC2) Εισαγωγή Το Amazon EC2 είναι μια υπηρεσία διαδικτύου που επιτρέπει σε οποιονδήποτε να δημιουργήσει και να διαχειριστεί server instances (στιγμιότυπα - οντότητες) στα κέντρα δεδομένων του Amazon χρησιμοποιώντας APIs ή διαθέσιμα εργαλεία. Μπορεί κάποιος να χρησιμοποιήσει τις Amazon EC2 server οντότητες οποιαδήποτε στιγμή, για όσο χρονικό διάστημα απαιτείται και για οποιονδήποτε νόμιμο σκοπό, π.χ. κάποιος μπορεί να χρησιμοποιήσει ένα αριθμό οντοτήτων για μια έρευνα δυο ημερών ή για μια εφαρμογή facebook. Αυτές οι οντότητες είναι διαθέσιμες σε διαφορετικά μεγέθη και σε διαφορετικές μορφές. Αυτό επιτρέπει στην εταιρεία να παρέχει διαφορετικούς τύπους οντοτήτων κατάλληλους για όλες τις ανάγκες. Για παράδειγμα, μπορεί κάποιος να θέλει να χρησιμοποιήσει μια m1.small οντότητα (μια Amazon EC2 υπολογιστική μονάδα) ως ένα web server ή μια m1.xlarge οντότητα (οχτώ Amazon EC2 υπολογιστικές μονάδες) ως ένα server βάσης δεδομένων. Ο πελάτης χρησιμοποιεί μόνο τη χωρητικότητα που χρειάζεται. Αυτό τον απαλλάσσει από το να κάνει μεγάλες και ακριβές αγορές hardware, μειώνει την ανάγκη να προβλέψει τις απαιτήσεις της εφαρμογής του και του δίνει την δυνατότητα να διαχειριστεί άμεσα τις αλλαγές στις απαιτήσεις της εφαρμογής ή της υπηρεσίας του Χαρακτηριστικά Ελαστικό : Tο Amazon EC2 δίνει τη δυνατότητα στο πελάτη να αυξήσει ή να μειώσει την χωρητικότητα μέσα σε λίγα λεπτά. Μπορεί να χρησιμοποιήσει μια, δώδεκα ή εκατό server οντότητες ταυτόχρονα. Επειδή όλα ελέγχονται μέσω web service διεπαφών, η εφαρμογή του πελάτη μπορεί να μεγαλώνει ή να μικραίνει ανάλογα με τις ανάγκες της. Απόλυτα ελεγχόμενο : Ο πελάτης έχει απόλυτο έλεγχο των οντοτήτων του. Έχει άμεση πρόσβαση σε καθεμία από αυτές και μπορεί να αλληλεπιδρά με αυτές όπως ακριβώς με οποιαδήποτε άλλη μηχανή. Οι οντότητες μπορούν να επανεκκινηθούν εξ αποστάσεως χρησιμοποιώντας web service διεπαφές. 9 Nef Marie-Aurelie Χατζή Βασιλική

10 Ευέλικτο : Ο πελάτης μπορεί να επιλέξει έναν αριθμό διαφορετικών τύπων οντοτήτων που του επιτρέπει να επιλέξει το είδος της μνήμης, της CPU και της αποθήκευσης που είναι βέλτιστο για την εφαρμογή του. Σχεδιασμένο για χρήση με άλλες υπηρεσίες διαδικτύου της Amazon : Το Amazon EC2 δουλεύει σε σύμπραξη με το Amazon S3, το Amazon SimpleDB και το Amazon SQS για να παρέχει μια ολοκληρωμένη λύση για υπολογισμούς, επεξεργασία ερωτημάτων και αποθήκευση σε ένα ευρύ φάσμα εφαρμογών. Αξιόπιστο : Το Amazon EC2 προσφέρει ένα υψηλά αξιόπιστο περιβάλλον όπου οι αντικαταστάσεις οντοτήτων γίνονται γρήγορα και αξιόπιστα. Η υπηρεσία δουλεύει μέσω της υποδομής δικτύου της Amazon και των κέντρων δεδομένων της. Χαρακτηριστικά για τη δημιουργία εφαρμογών ανεκτικών σε βλάβες : Το Amazon EC2 παρέχει ισχυρές δυνατότητες για τη δημιουργία εφαρμογών ανεκτικών σε βλάβες οι οποίες συμπεριλαμβάνουν: o Πολλαπλές τοποθεσίες: Το Amazon EC2 παρέχει την δυνατότητα να τοποθετούνται οντότητες σε διάφορες τοποθεσίες. Αυτές οι τοποθεσίες συντίθενται από περιοχές και ζώνες διαθεσιμότητας. Οι περιοχές είναι γεωγραφικά κατανεμημένες και βρίσκονται σε διαχωρισμένες γεωγραφικές περιοχές ή χώρες. Οι ζώνες διαθεσιμότητας είναι διακριτές τοποθεσίες οι οποίες είναι σχεδιασμένες να είναι «μονωμένες» από βλάβες σε άλλες ζώνες διαθεσιμότητας της ίδιας περιοχής. Οι περιοχές αποτελούνται από μία ή πολλές ζώνες διαθεσιμότητας. Χρησιμοποιώντας οντότητες που βρίσκονται σε διαφορετικές ζώνες διαθεσιμότητας, ο πελάτης μπορεί να προστατέψει τις εφαρμογές του από βλάβες μίας μοναδικής τοποθεσίας. o Ελαστικές IP διευθύνσεις: Οι ελαστικές IP διευθύνσεις είναι στατικές IP διευθύνσεις σχεδιασμένες για δυναμικούς cloud υπολογισμούς. Μια ελαστική IP διεύθυνση σχετίζεται με τον λογαριασμό ενός πελάτη και ο πελάτης ελέγχει αυτή τη διεύθυνση μέχρι να επιλέξει να την αποδεσμεύσει. Αντίθετα με τις παραδοσιακές στατικές διευθύνσεις, οι ελαστικές διευθύνσεις επιτρέπουν στον πελάτη να αντιστοιχίσει προγραμματιστικά τις δημόσιες IP διευθύνσεις του σε οποιαδήποτε άλλη οντότητα του λογαριασμού του. Ασφαλές: Το Amazon EC2 παρέχει διεπαφές υπηρεσιών διαδικτύου για τη δημιουργία φίλτρων προστασίας που ελέγχουν την πρόσβαση σε και μεταξύ ομάδων οντοτήτων. Φθηνό: Ο πελάτης πληρώνει ένα πολύ χαμηλό ποσό για τους υπολογιστικούς πόρους που χρησιμοποιεί σε σύγκριση με τα έξοδα που θα έπρεπε να κάνει για να αγοράσει και να συντηρήσει τον απαιτούμενο εξοπλισμό. 10 Nef Marie-Aurelie Χατζή Βασιλική

11 Συνήθεις χρήσεις Παρακάτω δίνεται μια λίστα από συνήθεις χρήσεις του Amazon EC2: Βαθμωτές Εφαρμογές : Ο πελάτης μπορεί να χτίσει μια βαθμωτή εφαρμογή η οποία συρρικνώνεται ή επεκτείνεται ανάλογα με τις υπάρχουσες ανάγκες. Αυτό του επιτρέπει να χρησιμοποιεί μόνο τους απαιτούμενους υπολογιστικούς πόρους. Προσωρινά Γεγονότα : Ο πελάτης μπορεί να χρησιμοποιήσει το Amazon EC2 για προσωρινές λύσεις και σπάνια γεγονότα, π.χ. live blogging, τα οποία θα μπορούσαν να απαιτήσουν ένα σύνολο υπολογιστικών πόρων, οι οποίοι υπό κανονικές συνθήκες είναι άχρηστοι. Μαζική Επεξεργασία : Ο πελάτης μπορεί να χρησιμοποιήσει το Amazon EC2 για εργασίες που απαιτούν πολλούς υπολογιστικούς πόρους, για τους οποίους θα έπρεπε να ξοδέψει αρκετά χρήματα σε διαφορετική περίπτωση. Αυτό συμπεριλαμβάνει επεξεργασία εικόνας και βίντεο, οικονομική ανάλυση δεδομένων και επιστημονικές και ερευνητικές εφαρμογές. Εφαρμογές Ανεκτικές σε Βλάβες : Ο πελάτης μπορεί να χτίσει μία εφαρμογή διαμέσου πολλών ζωνών διαθεσιμότητας η οποία θα είναι προστατευμένη σε περίπτωση που χανόταν μια ολόκληρη φυσική τοποθεσία Συστατικά μέρη AMIs : Ένα Amazon Machine Image (AMI) είναι μία κρυπτογραφημένη εικόνα μηχανής η οποία περιέχει όλη την απαραίτητη πληροφορία για να εκκινηθούν οντότητες του λογισμικού του πελάτη. Για παράδειγμα, ένα ΑΜΙ μπορεί να περιέχει το Linux, το Apache και το web site του πελάτη ή μπορεί να περιέχει το Linux, Hadoop και μια συνηθισμένη εφαρμογή. Τα AMIs είναι αποθηκευμένα στο Amazon S3. Δημόσια AMIs είναι διαθέσιμα από την Amazon και την Amazon EC2 κοινότητα και ο πελάτης μπορεί να τα χρησιμοποιήσει ως βάση για να δημιουργήσει τα δικά του ιδιωτικά AMIs. Τα ιδιωτικά AMIs είναι AMIs τα οποία ανήκουν στον πελάτη και στα οποία μπορούν να έχουν πρόσβαση ο πελάτης και όλοι εκείνοι στους οποίους έχει επιτραπεί η πρόσβαση από τον πελάτη. 11 Nef Marie-Aurelie Χατζή Βασιλική

12 Στιγμιότυπα : Όταν ένα AMI ξεκινά, το προκύπτον running σύστημα καλείται στιγμιότυπο. Εξ ορισμού, γίνεται να τρέξουν μέχρι και 20 στιγμιότυπα ταυτόχρονα Χρέωση Το παρακάτω σχήμα εξηγεί πως ο πελάτης χρεώνεται για τη χρήση του Amazon EC2: Στιγμιότυπα Κανονικά Στιγμιότυπα Μικρό Μεγάλο Πολύ Μεγάλο High CPU Στιγμιότυπα Μεσαίο Πολύ Μεγάλο 12 Linux/UNIX $0.10 ανά ώρα $0.40 ανά ώρα $0.80 ανά ώρα Linux/UNIX $0.20 ανά ώρα $0.80 ανά ώρα Nef Marie-Aurelie Χατζή Βασιλική Windows $0.125 ανά ώρα $0.50 ανά ώρα $1.00 ανά ώρα Windows $0.30 ανά ώρα $1.20 ανά ώρα

13 Μεταφορά δεδομένων Όλη η μεταφορά δεδομένων «in» Πρώτα 10 TB / μήνα για μεταφορά δεδομένων out Επόμενα 40 TB / μήνα για μεταφορά δεδομένων out Επόμενα 100 TB / μήνα για μεταφορά δεδομένων out Μεταφορά δεδομένων out / μήνα πάνω από 150 TB $0.100 ανά GB $0.170 ανά GB $0.130 ανά GB $0.110 ανά GB $0.100 ανά GB Οι μεταφορές δεδομένων in και out αναφέρονται στην μεταφορά δεδομένων προς και από το Amazon EC Χρησιμοποιώντας το Amazon EC2 Το επόμενο γράφημα και ο παρακάτω πίνακας εξηγούν τη βασική διαδικασία για να χρησιμοποιηθεί το Amazon EC2. 1 Ο πελάτης δημιουργεί ένα ΑΜΙ από την αρχή ή βασιζόμενος σε ένα ήδη υπάρχον ΑΜΙ. Αυτό είναι προαιρετικό, καθώς μπορεί να δημιουργήσει οντότητες από ΑΜΙs που υπάρχουν ήδη χωρίς να τις τροποποιήσει. 2 Ο πελάτης bundles (δεματιάζει, συσκευάζει) το ΑΜΙ και αποκτά ένα AMI ID ώστε να δημιουργήσει όσες οντότητες του ΑΜΙ θέλει. 3 Ο πελάτης δημιουργεί ένα ή περισσότερα στιγμιότυπα του ΑΜΙ του. 4 Ο πελάτης διαχειρίζεται και χρησιμοποιεί τις οντότητες του με τη βοήθεια οποιωνδήποτε servers. 13 Nef Marie-Aurelie Χατζή Βασιλική

14 Παρακάτω παρουσιάζεται ένα παράδειγμα χρήσης του Amazon EC2. Εκτυπώνει μία λίστα των διαθέσιμων AMIs του χρήστη, καθώς επίσης και μία λίστα των στιγμιότυπων που χρησιμοποίησε πρόσφατά και την κατάσταση του καθενός. import java.util.arraylist; import java.util.iterator; import java.util.list; import java.util.properties; import org.apache.commons.logging.log; import org.apache.commons.logging.logfactory; import com.xerox.amazonws.ec2.*; public class Ec2Sample { private static Log logger = LogFactory.getLog(Ec2Sample.class); public static void main(string [] args) throws Exception { String myaccesskey = args[0]; String mysecretkey = args[1]; Jec2 ec2 = new Jec2(myAccessKey, mysecretkey); // describe images List<String> params = new ArrayList<String>(); List<ImageDescription> images = ec2.describeimages(params); System.out.println("Available Images"); for (ImageDescription img : images) { if (img.getimagestate().equals("available")) { System.out.println(img.getImageId() + "\t" + img.getimagelocation() + "\t" + img.getimageownerid()); // describe instances params = new ArrayList<String>(); List<ReservationDescription> instances = ec2.describeinstances(params); System.out.println("Instances"); for (ReservationDescription res : instances) { System.out.println(res.getOwner() + "\t" + res.getreservationid()); if (res.getinstances()!= null) { for (Instance inst : res.getinstances()) { System.out.println("\t" + inst.getimageid() + "\t" + inst.getdnsname() + "\t" + inst.getstate()); 14 Nef Marie-Aurelie Χατζή Βασιλική

15 3.2. Amazon Simple Storage Service (S3) Εισαγωγή Το Amazon S3 είναι μία υπηρεσία αποθήκευσης για το Internet. Είναι σχεδιασμένη ώστε να κάνει ευκολότερους για τους ερευνητές τους υπολογισμούς σε επίπεδο web. Το Amazon S3 έχει μια απλή web service διεπαφή η οποία μπορεί να χρησιμοποιηθεί για την αποθήκευση και την ανάκτηση οποιουδήποτε μεγέθους δεδομένων, οποιαδήποτε στιγμή, από οπουδήποτε στο web. Δίνει πρόσβαση στην ίδια υψηλά κλιμακούμενη, αξιόπιστη, γρήγορη και φθηνή υποδομή αποθήκευσης δεδομένων που χρησιμοποιεί η Amazon για να «τρέξει» το δικό της παγκόσμιο δίκτυο ιστοσελίδων. Η υπηρεσία έχει ως στόχο να μεγιστοποιήσει τα οφέλη της κλιμάκωσης και να περάσει αυτά τα οφέλη σε αυτούς που το χρειάζονται Χαρακτηριστικά Το Amazon S3 έχει επίτηδες δημιουργηθεί με ένα ελάχιστο σύνολο χαρακτηριστικών που επικεντρώνεται στην απλότητα και την ευρωστία. Παρακάτω δίνονται κάποια από τα χαρακτηριστικά του Amazon S3: Επιτρέπει στον πελάτη να γράψει, να διαβάσει και να διαγράψει αντικείμενα μεγέθους 1 byte έως 5 gigabytes συμπεριλαμβανομένων και των σχετικών μεταδεδομένων. Δεν υπάρχει συγκεκριμένο όριο στον αριθμό των αντικειμένων που μπορεί να αποθηκεύσει ο πελάτης. Παρέχει ένα άμεσο flat μοντέλο για την αποθήκευση αντικειμένων, όπου κάθε αντικείμενο αποθηκεύεται και ανακτάται χρησιμοποιώντας ένα μοναδικό κλειδί που αντιστοιχεί σε ένα μοναδικό πελάτη. Παρέχει μηχανισμούς πιστοποίησης για να εγγυηθεί ότι τα δεδομένα προφυλάσσονται από μη εξουσιοδοτημένες προσβάσεις. Τα αντικείμενα μπορεί να είναι ιδιωτικά ή δημόσια και τα δικαιώματα πρόσβασης μπορούν να δοθούν σε συγκεκριμένους χρήστες. Χρησιμοποιεί διεπαφές βασισμένες σε πρότυπα, όπως η REST και η SOAP, οι σχεδιασμένες να δουλεύουν με οποιοδήποτε Internet-development εργαλείο. 15 Nef Marie-Aurelie Χατζή Βασιλική

16 Χρέωση Η χρέωση του Amazon S3 είναι έτσι σχεδιασμένη ώστε να μην χρειάζεται ο πελάτης να υπολογίσει τις απαιτήσεις αποθήκευσης της εφαρμογής του. Οι περισσότεροι πάροχοι αποθηκευτικού χώρου επιβάλλουν στους πελάτες να αγοράσουν ένα προκαθορισμένη ποσότητα αποθηκευτικού χώρου και χωρητικότητας μεταφοράς δικτύου : εάν κάποιος ξεπεράσει αυτή τη χωρητικότητα είτε διακόπτεται η παροχή της υπηρεσίας είτε χρεώνεται με μεγάλα ποσά. Εάν δεν ξεπεράσει κάποιος αυτή τη χωρητικότητα, πληρώνει όσα θα πλήρωνε εάν τη χρησιμοποιούσε όλη. Το Amazon S3 χρεώνει τον πελάτη μόνο για ότι ακριβώς χρησιμοποιεί. Αυτό δίνει στους πελάτες μια υπηρεσία με κυμαινόμενο κόστος. Πριν ο πελάτης αποθηκεύσει οτιδήποτε στο Amazon S3, χρειάζεται να εγγραφεί στην υπηρεσία και να ορίσει έναν τρόπο πληρωμής μέσω του οποίου θα χρεωθεί στο τέλος κάθε μήνα. Αποθήκευση Πρώτα 50 ΤΒ / μήνα για αποθήκευση δεδομένων Επόμενα 50 TB / μήνα για αποθήκευση δεδομένων Επόμενα 400 TB / μήνα για αποθήκευση δεδομένων Αποθήκευση δεδομένων / μήνα πάνω από 500 ΤΒ $0.180 ανά GB $0.170 ανά GB $0.160 ανά GB $0.150 ανά GB Μεταφορά δεδομένων Όλη η μεταφορά δεδομένων «in» Πρώτα 10 TB / μήνα για μεταφορά δεδομένων out Επόμενα 40 TB / μήνα για μεταφορά δεδομένων out Επόμενα 100 TB / μήνα για μεταφορά δεδομένων out Μεταφορά δεδομένων out / μήνα πάνω από 150 TB $0.100 ανά GB $0.170 ανά GB $0.130 ανά GB $0.110 ανά GB $0.100 ανά GB Οι μεταφορές δεδομένων in και out αναφέρονται στην μεταφορά δεδομένων προς και από το Amazon S3. Κλήσεις $0.012 για κάθε 1,000 PUT, POST ή LIST κλήσεις $0.012 για κάθε 10,000 GET και άλλου τύπου κλήσεις Η κλήση DELETE δεν χρεώνεται 16 Nef Marie-Aurelie Χατζή Βασιλική

17 Χρησιμοποιώντας το Amazon S3 Το Amazon S3 προσφέρει APIs σε REST και SOAP. Παρακάτω δίνονται οι πιο κοινές λειτουργίες που ο πελάτης εκτελεί μέσω του API: Δημιουργία ενός bucket : Δημιουργεί και ονομάζει το bucket του μέσα στο οποίο πρόκειται να αποθηκεύσει τα αντικείμενά του. Εγγραφή ενός αντικειμένου : Αποθηκεύει δεδομένα δημιουργώντας ή επανεγγράφοντας ένα αντικείμενο. Όταν ο πελάτης γράφει ένα αντικείμενο, καθορίζει ένα μοναδικό κλειδί στο χώρο ονομάτων του bucket του. Την ίδια χρονική στιγμή είναι καλό να καθορίσει οποιονδήποτε έλεγχο πρόσβασης θέλει στο αντικείμενο του. Διάβασμα ενός αντικειμένου : Διαβάζει τα δεδομένα που έχει αποθηκεύσει. Μπορεί να επιλέξει να κάνει download τα δεδομένα μέσω HTTP ή BitTorrent. Σβήσιμο ενός αντικειμένου : Σβήνει κάποια από τα δεδομένα του. Εισαγωγή κλειδιών σε λίστα : Βάζει τα κλειδιά που περιέχονται σε ένα από τα buckets του σε λίστα. Μπορεί να φιλτράρει τη λίστα κλειδιών με βάση ένα πρόθεμα. Παρακάτω παρουσιάζεται ένα παράδειγμα χρήσης του Amazon S3 σε Java. Αντιγράφει τα περιεχόμενα ενός φακέλου του σκληρού δίσκου στο χώρο του πελάτη στο Amazon S3. import java.io.file; import org.jets3t.service.s3service; import org.jets3t.service.impl.rest.httpclient.rests3service; import org.jets3t.service.model.s3bucket; import org.jets3t.service.model.s3object; import org.jets3t.service.security.awscredentials; public class MyBackup { public static void main(string[] args) throws Exception { // Step 1: Get command-line arguments String myaccesskey = args[0]; String mysecretkey = args[1]; String directoryname = args[2]; // Step 2: Create a credentials object and service to // access your S3 account AWSCredentials mycredentials = new AWSCredentials(myAccessKey, mysecretkey); S3Service myservice = new RestS3Service(myCredentials); // Step 3: Create a new bucket named after a normalized // directory path, and include my Access Key ID to // ensure the bucket name is unique 17 Nef Marie-Aurelie Χατζή Βασιλική

18 String bucketname = directoryname.replace('\\', '_').replace('/','_').replace(':', '_'); S3Bucket mybucket = myservice.createbucket(myaccesskey + "." + bucketname); // Step 4: Add files from specified directory to bucket File directory = new File(directoryName); File[] files = directory.listfiles(); for (int i = 0; i < files.length; i++) { if (files[i].isfile()) { S3Object object = new S3Object(myBucket, files[i]); myservice.putobject(mybucket, object); 3.3. Amazon SimpleDB Εισαγωγή Το Amazon SimpleDB είναι ένα web service το οποίο έχει ως στόχο να ψάχνει απαντήσεις σε δομημένα δεδομένα σε πραγματικό χρόνο. Αυτή η υπηρεσία δουλεύει σε συσχέτιση με το Amazon S3 και το Amazon EC2 παρέχοντας συγκεντρωτικά την δυνατότητα αποθήκευσης, επεξεργασίας και αναζήτησης σε σύνολα δεδομένων στο παρασκήνιο. Αυτές οι υπηρεσίες είναι σχεδιασμένες να κάνουν τους υπολογισμούς μέσου διαδικτύου ευκολότερους και οικονομικότερους για τους χρήστες. Παραδοσιακά, αυτός ο τύπος λειτουργικότητας έχει επιτευχθεί με μια συσταδοποιημένη σχεσιακή βάση δεδομένων η οποία απαιτεί μια εκ των προτέρων μεγάλη επένδυση, προκαλεί περισσότερη πολυπλοκότητα από ότι τυπικά χρειάζεται, και συχνά απαιτεί ένα DBA για να τη διατηρεί και να τη διαχειρίζεται. Αντίθετα, το Amazon SimpleDB είναι εύκολο στη χρήση και παρέχει την ουσιαστική λειτουργικότητα μιας βάσης δεδομένων - εύρεση σε πραγματικό χρόνο και απλή αναζήτηση σε δομημένα - χωρίς τη λειτουργική πολυπλοκότητα. Το Amazon SimpleDB δεν απαιτεί κάποιο σχηματικό διάγραμμα, καταχωρεί αυτόματα τα δεδομένα του πελάτη με σειρά και παρέχει μια απλή διεπαφή για αποθήκευση και 18 Nef Marie-Aurelie Χατζή Βασιλική

19 πρόσβαση. Αυτό απαλλάσσει τον διαχειριστή από το βάρος της μοντελοποίησης των δεδομένων, της διατήρησης ευρετηρίου και της διατήρησης της απόδοσης. Οι χρήστες αποκτούν πρόσβαση σε αυτή τη λειτουργικότητα διαμέσου του υπολογιστικού περιβάλλοντος της Amazon, έχουν την δυνατότητα να αυξήσουν τις απαιτήσεις τους στιγμιαία, και πληρώνουν μόνο για ότι χρησιμοποιούν Χαρακτηριστικά Παρακάτω δίνονται μερικά από τα μεγαλύτερα χαρακτηριστικά του Amazon SimpleDB: Εύκολο στη χρήση : Η υπηρεσία επιτρέπει στον χρήστη να προσθέτει γρήγορα δεδομένα και να ανακτά ή να τροποποιεί εύκολα αυτά τα δεδομένα μέσω ενός απλού συνόλου κλήσεων διεπαφών. Η πρόσβαση σε αυτές τις δυνατότητες μέσω μιας υπηρεσίας διαδικτύου εξαλείφει επίσης την πολυπλοκότητα διατήρησης και ανάπτυξης αυτών των λειτουργιών. Ευέλικτο : Με το Amazon SimpleDB, δεν είναι απαραίτητο να προκαθοριστούν από το χρήστη όλοι οι τύποι δεδομένων που θα χρειαστεί να αποθηκεύσει. Απλά προσθέτει νέα γνωρίσματα στο σύνολο δεδομένων του, στο Amazon SimpleDB, όποτε χρειάζεται, και το σύστημα αυτόματα βάζει τα δεδομένα σε σειρά αντίστοιχα. Η δυνατότητα αποθήκευσης δομημένων δεδομένων χωρίς πρώτα να καθοριστεί ένα σχήμα παρέχει στους χρήστες μεγαλύτερη ευελιξία όταν δημιουργούν τις εφαρμογές του. Κλιμακούμενο : Το Amazon SimpleDB επιτρέπει στον χρήστη να αυξήσει εύκολα το μέγεθος της εφαρμογής του. Μπορεί εύκολα να δημιουργεί νέα domains (τμήματα) όσο τα δεδομένα του αυξάνονται ή όσο ο ρυθμός ζήτησης αυξάνει. Γρήγορο : Το Amazon SimpleDB παρέχει γρήγορη και αποδοτική αποθήκευση και ανάκτηση των δεδομένων του χρήστη για να υποστηρίξει εφαρμογές διαδικτύου υψηλών αποδόσεων. Αξιόπιστο : Η υπηρεσία «τρέχει» μέσω των κέντρων δεδομένων υψηλής διαθεσιμότητας της Amazon για να παρέχει δυνατή και συνεπή απόδοση. Για να προστατευθούν τα δεδομένα από το να χαθούν ή από το να μην είναι διαθέσιμα, τα πλήρως ταξινομημένα δεδομένα του χρήστη αποθηκεύονται σε πολλαπλούς servers και κέντρα δεδομένων. Σχεδιασμένο για χρήση με άλλα web services της Amazon : Το Amazon SimpleDB είναι σχεδιασμένο ώστε να δουλεύει σε συνεργασία με άλλες υπηρεσίες διαδικτύου όπως το Amazon EC2 και το Amazon S3. Για παράδειγμα οι χρήστες μπορούν να «τρέχουν» τις εφαρμογές τους στο Amazon EC2 και να αποθηκεύουν τα αντικείμενα δεδομένων τους στο Amazon S3. Το Amazon 19 Nef Marie-Aurelie Χατζή Βασιλική

20 SimpleDB μπορεί έπειτα να χρησιμοποιηθεί για να κάνει αναζήτηση στα μεταδεδομένα του αντικειμένου μέσω της εφαρμογής στο Amazon EC2 και να επιστρέψει δείκτες στα αποθηκευμένα αντικείμενα του Amazon S3. Φθηνό: Ο χρήστης πληρώνει μόνο για πόρους που πράγματι χρησιμοποιεί. Μπορεί κάποιος να το συγκρίνει αυτό με τα σημαντικά έξοδα που παραδοσιακά απαιτούνται για να αποκτηθούν άδειες λογισμικού και για να αγοραστεί και να διατηρηθεί υλικό (hardware) Χρέωση Η χρέωση για το Amazon SimpleDB βασίζεται στην ακριβή χρήση του χρήστη. Το τι ακριβώς χρησιμοποιεί υπολογίζεται και στρογγυλοποιείται στη πιο κοντινή εκατοντάδα. Το Amazon SimpleDB χρεώνει το χρήστη για τους παρακάτω τύπους χρήσης: Αποθήκευση δομημένων δεδομένων: Μετράει το μέγεθος των δεδομένων του λογαριασμού του χρήστη προσθέτοντας το καθαρό μέγεθος σε byte των δεδομένων που ο χρήστης «ανεβάζει» + 45 επιπρόσθετα bytes για κάθε στοιχείο, όνομα γνωρίσματος και ζευγάρι γνωρίσματος-τιμής. Μεταφορά δεδομένων: Μετράει το ποσό των δεδομένων που μεταφέρονται για κάθε λειτουργία. Τα δεδομένα που μεταφέρονται μεταξύ του Amazon SimpleDB και άλλων υπηρεσιών διαδικτύου της Amazon δεν χρεώνονται. Χρήση μηχανής: Μετράει τη χρήση μηχανής για κάθε αίτηση και χρεώνει βάση του ποσού της χωρητικότητας της μηχανής που χρησιμοποιήθηκε για να ολοκληρωθεί η συγκεκριμένη αίτηση. Αποθήκευση $1.50 ανά GB/μήνα Ο χρήστης χρεώνεται για το μέγεθος αποθηκευτικού χώρου που τα δεδομένα του χρησιμοποιούν κάθε μήνα. Το ποσό που χρεώνεται μπορεί να θεωρηθεί ένας μέσος όρος του μήνα. Για παράδειγμα, εάν κάποιος χρησιμοποιεί 1 Gigabyte σε ένα μήνα, χρεώνεται για 1 Gigabyte αποθήκευσης. Εάν χρησιμοποιεί 0 Gigabytes για το πρώτο μισό του μήνα και 2 Gigabytes για το δεύτερο μισό, και πάλι χρεώνεται για 1Gigabyte αποθήκευσης. 20 Nef Marie-Aurelie Χατζή Βασιλική

21 Μεταφορά Δεδομένων Όλη η μεταφορά δεδομένων «in» Πρώτα 10 TB / μήνα για μεταφορά δεδομένων out Επόμενα 40 TB / μήνα για μεταφορά δεδομένων out Επόμενα 100 TB / μήνα για μεταφορά δεδομένων out Μεταφορά δεδομένων out / μήνα πάνω από 150 TB $0.100 ανά GB $0.170 ανά GB $0.130 ανά GB $0.110 ανά GB $0.100 ανά GB Οι μεταφορές δεδομένων in και out αναφέρονται στην μεταφορά δεδομένων προς και από το Amazon SimpleDB. Χρήση Μηχανής $0.14 ανά Amazon SimpleDB Machine ώρα Χρησιμοποιώντας το Amazon Simple DB Το Amazon SimpleDB παρέχει ένα μικρό αριθμό απλών API κλήσεων που υλοποιούν την εγγραφή, την αναζήτηση των δεδομένων καθώς επίσης και την δημιουργία ευρετηρίων. CreateDomain : Δημιουργία ενός domain που περιέχει τα δεδομένα. DeleteDomain : Διαγραφή ενός domain. ListDomains : Λίστα όλων των domains και των αντίστοιχων μεταδεδομένων. PutAttributes : Προσθήκη ή ενημέρωση ενός αντικειμένου και των χαρακτηριστικών του ή προσθήκη χαρακτηριστικών -τιμών ζευγαριών σε ένα ήδη υπάρχον αντικείμενο. Ενημερώνεται κατάλληλα και το ευρετήριο κάθε φορά που προστίθεται ένα αντικείμενο. GetAttributes : Ανάκτηση ενός αντικειμένου και των χαρακτηριστικών του. DeleteAttributes : Διαγραφή ενός αντικειμένου, ενός χαρακτηριστικού ή μιας τιμής χαρακτηριστικού. Query : Αναζήτηση στην βάση δεδομένων με βάση κάποιων συνθηκών. QueryWithAttributes : Επιτρέπει στον προγραμματιστή να ανακτήσει όλα ή μερικά από τα χαρακτηριστικά που ταυτίζονται με ένα συγκεκριμένο αντικείμενο. Παρακάτω παρουσιάζεται ένα παράδειγμα χρήσης της Amazon Simple DB. Δημιουργεί και διαγράφει ένα Amazon Simple DB domain, επίσης προσθέτει σε ένα αντικείμενο ζευγάρια χαρακτηριστικών-τιμών. 21 Nef Marie-Aurelie Χατζή Βασιλική

22 import java.util.arraylist; import java.util.iterator; import java.util.list; import java.util.properties; import com.amazonaws.sdb.*; import com.amazonaws.sdb.model.*; public class TestSimpleDB { public static void main(string [] args) throws Exception { // Usage: TestSimpleDB AWS_Access_Key AWS_secret_key // new_sdb_domain String myaccesskey = args[0]; String mysecretkey = args[1]; String mysdbdomainname = args[2]; AmazonSimpleDBConfig config = new AmazonSimpleDBConfig(); config.setsignatureversion("0"); AmazonSimpleDB myservice = new AmazonSimpleDBClient(accessKeyId, secretaccesskey, config); // if you haven't used SimpleDB before, no domains // should be listed listdomains(myservice); System.out.println(); // Creating a domain, and creating an item and // attributes on the new domain System.out.println("Creating Amazon SimpleDB domain " + mysdbdomainname); createdomain(myservice, mysdbdomainname); List<ReplaceableAttribute> list = new ArrayList<ReplaceableAttribute>(); list.add(new ReplaceableAttribute("name", false, "John")); list.add(new ReplaceableAttribute("street", false, "123 South Street")); list.add(new ReplaceableAttribute("state", false, "New Mexico")); list.add(new ReplaceableAttribute("gender", false, "male")); list.add(new ReplaceableAttribute("age", false, "25")); createitem(myservice,mysdbdomainname, "person1", list); // the newly created domain should be listed System.out.println(); listdomains(myservice); System.out.println(); System.out.println("Deleting Amazon SimpleDB domain " + mysdbdomainname); deletedomain(myservice, mysdbdomainname); // the domain should not be listed any more System.out.println(); listdomains(myservice); 22 Nef Marie-Aurelie Χατζή Βασιλική

23 static void createdomain(amazonsimpledb service, String domainname) throws Exception { CreateDomain request = new CreateDomain(domainName); CreateDomainResponse response = service.createdomain(request); static void createitem(amazonsimpledb service, String domainname, String item, List<ReplaceableAttribute> list) throws Exception { PutAttributes request = new PutAttributes().withDomainName(domainName).withItemName(item); request.setattribute(list); PutAttributesResponse response = service.putattributes(request); static void deletedomain(amazonsimpledb service, String domainname) throws Exception { DeleteDomain request = new DeleteDomain(domainName); DeleteDomainResponse response = service.deletedomain(request); static void listdomains(amazonsimpledb service) throws Exception { // Listing the domains belonging to our AWS account System.out.println("My Amazon SimpleDB domains:"); String nexttoken = ""; while (nexttoken!= null) { ListDomainsResult result = getdomains(service, nexttoken, 10); nexttoken = null; if (result!= null) { java.util.list<string> domainnameslist = result.getdomainname(); for (String domainname : domainnameslist) { System.out.println(domainName); nexttoken = result.getnexttoken(); static ListDomainsResult getdomains(amazonsimpledb service, Sting nexttoken, int maxdomains) { ListDomains request = new ListDomains(maxDomains, nexttoken); ListDomainsResponse response = service.listdomains(request); ListDomainsResult result = null; if (response.issetlistdomainsresult()) { 23 Nef Marie-Aurelie Χατζή Βασιλική

24 result = response.getlistdomainsresult(); return result; 3.4. Amazon Simple Queue Service (SQS) Εισαγωγή Μια ουρά είναι ένας προσωρινός χώρος αποθήκευσης για μηνύματα που περιμένουν για επεξεργασία. Το Amazon SQS είναι ένα κατανεμημένο σύστημα ουρών που δίνει τη δυνατότητα σε εφαρμογές Web Services να τοποθετούν γρήγορα και αξιόπιστα σε ουρές μηνύματα που ένα μέρος της εφαρμογής παράγει για να καταναλωθούν από ένα άλλο μέρος. Χρησιμοποιώντας το Amazon SQS, ο χρήστης μπορεί να διαχωρίσει τα μέρη μιας εφαρμογής ώστε να «τρέχουν» ανεξάρτητα, και μέσω αυτού να διευκολυνθεί η διαχείριση των μηνυμάτων μεταξύ των μερών. Κάθε κομμάτι μιας κατανεμημένης εφαρμογής μπορεί να αποθηκεύσει οποιοδήποτε τύπο δεδομένων σε μια ανεκτική σε βλάβες ουρά. Οποιοδήποτε άλλο κομμάτι μπορεί αργότερα να λάβει τα δεδομένα προγραμματιστικά χρησιμοποιώντας την SQS διεπαφή. Η ουρά ενεργεί ως ένας προσωρινός χώρος αποθήκευσης μεταξύ του μέρους που παράγει και αποθηκεύει δεδομένα, και του μέρους που λαμβάνει τα δεδομένα για επεξεργασία. Αυτό σημαίνει ότι η ουρά επιλύει θέματα που εγείρονται εάν ο παραγωγός παράγει γρηγορότερα εργασία από ότι ο καταναλωτής μπορεί να την επεξεργαστεί, ή εάν ο παραγωγός ή ο καταναλωτής είναι μόνο περιοδικά συνδεδεμένοι στο δίκτυο. Το SQS εγγυάται παράδοση κάθε μηνύματος τουλάχιστον μια φορά και υποστηρίζει πολλούς αναγνώστες και εγγραφείς που αλληλεπιδρούν με την ίδια ουρά. Μια μοναδική ουρά μπορεί να χρησιμοποιηθεί ταυτόχρονα από πολλά μέρη κατανεμημένων εφαρμογών χωρίς να υπάρχει ανάγκη αυτά τα μέρη να συνεργάζονται μεταξύ τους για να μοιραστούν την ουρά. Το Amazon SQS είναι κατασκευασμένο ώστε να είναι πάντα διαθέσιμο και να παραδίδει μηνύματα. Ένα από τα απορρέοντα tradeoffs είναι ότι το SQS δεν 24 Nef Marie-Aurelie Χατζή Βασιλική

25 εγγυάται fifo παράδοση των μηνυμάτων. Για πολλές κατανεμημένες εφαρμογές κάθε μήνυμα είναι ανεξάρτητο των άλλων και όσο όλα τα μηνύματα παραδίδονται, η σειρά δεν είναι σημαντική. Εάν το σύστημα του χρήστη απαιτεί να διατηρηθεί η σειρά, ο χρήστης μπορεί να τοποθετήσει πληροφορία σχετικά με τη σειρά σε κάθε μήνυμα, έτσι ώστε να μπορεί να ξαναβάλει σε σειρά τα μηνύματα όταν επιστρέφονται από την ουρά Χαρακτηριστικά Το Amazon SQS παρέχει τα παρακάτω σημαντικά χαρακτηριστικά: Μεγάλη υποδομή : Εγγυάται παράδοση των μηνυμάτων του χρήστη τουλάχιστον μία φορά, ταυτόχρονη πρόσβαση στα μηνύματα, και υψηλή διαθεσιμότητα για αποστολή και ανάκτηση μηνυμάτων. Πολλαπλοί εγγραφείς και αναγνώστες : Πολλαπλά μέρη του συστήματος του χρήστη μπορούν να στέλνουν ή να λαμβάνουν μηνύματα την ίδια χρονική στιγμή. Το SQS κλειδώνει το μήνυμα κατά τη διάρκεια της επεξεργασίας, μην επιτρέποντας σε άλλα τμήματα του συστήματος να επεξεργαστούν το μήνυμα ταυτόχρονα. Ρυθμίσεις για κάθε ουρά που μπορούν να διαμορφωθούν : Δε χρειάζεται όλες οι ουρές του χρήστη να είναι απόλυτα όμοιες. Για παράδειγμα, μία ουρά μπορεί να είναι βέλτιστη για μηνύματα που απαιτούν περισσότερο χρόνο επεξεργασίας από άλλα. Μεταβλητό μέγεθος μηνύματος : Τα μηνύματα του χρήστη μπορούν να έχουν μέγεθος μέχρι 8 KB. Για ακόμη μεγαλύτερα μηνύματα, ο χρήστης μπορεί να αποθηκεύσει τα περιεχόμενα του μηνύματος χρησιμοποιώντας το Amazon S3 ή το Amazon SimpleDB και να χρησιμοποιήσει το Amazon SQS για να κρατήσει έναν δείκτη στο Amazon S3 ή Amazon SDB αντικείμενο. Εναλλακτικά, ο χρήστης μπορεί να «σπάσει» το μεγαλύτερο μήνυμα σε μικρότερα. Απεριόριστες ουρές και μηνύματα : Ο χρήστης μπορεί να έχει όσες ουρές και μηνύματα θέλει στο Amazon SQS. 25 Nef Marie-Aurelie Χατζή Βασιλική

26 Αρχιτεκτονική Υπάρχουν τρία κύρια ενεργά μέρη στο σύστημα: Τα συστατικά μέρη του κατανεμημένου συστήματος του χρήστη. Ουρές. Μηνύματα στις ουρές. Στο διάγραμμα που ακολουθεί, το σύστημα του χρήστη έχει έναν αριθμό συστατικών μερών που στέλνουν μηνύματα στην ουρά και λαμβάνουν μηνύματα από την ουρά. Το διάγραμμα δείχνει ότι μία μοναδική ουρά, που έχει τα μηνύματά της (με ονόματα Α-Ε), αποθηκεύεται σε πολλούς SQS servers Χρέωση Κλήσεις $0.01 ανά 10,000 Amazon SQS Κλήσεις ($ ανά κλήση) Οι Amazon SQS κλήσεις αποτελούνται από τις 8 λειτουργίες που περιγράφονται στην παράγραφο Nef Marie-Aurelie Χατζή Βασιλική

27 Μεταφορά δεδομένων Όλη η μεταφορά δεδομένων «in» Πρώτα 10 TB / μήνα για μεταφορά δεδομένων out Επόμενα 40 TB / μήνα για μεταφορά δεδομένων out Επόμενα 100 TB / μήνα για μεταφορά δεδομένων out Μεταφορά δεδομένων out / μήνα πάνω από 150 TB $0.100 ανά GB $0.170 ανά GB $0.130 ανά GB $0.110 ανά GB $0.100 ανά GB Οι μεταφορές δεδομένων in και out αναφέρονται στην μεταφορά δεδομένων προς και από το Amazon SQS Χρησιμοποιώντας το Amazon SQS Το Amazon Simple Queue Service χρησιμοποιεί μία απλή διεπαφή στην οποία παρέχονται τις παρακάτω λειτουργίες: CreateQueue : Δημιουργία ουράς. ListQueues : Λίστα των υπαρχουσών ουρών του χρήστη. DeleteQueue : Διαγραφή ουράς. SendMessage : Προσθήκη ενός μηνύματος σε μία συγκεκριμένη ουρά. ReceiveMessage : Επιστροφή ενός ή περισσότερων μηνυμάτων από μία συγκεκριμένη ουρά. DeleteMessage : Διαγραφή ενός μηνύματος από μία συγκεκριμένη ουρά. SetQueueAttributes : Διαχείριση των παραμέτρων της ουράς. GetQueueAttributes : Επιστροφή πληροφορίας για την κατάσταση της ουράς. Παρακάτω παρουσιάζεται ένα παράδειγμα χρήσης του Amazon SQS. Δημιουργεί μία ουρά, στέλνει δύο μηνύματα σε αυτήν, τα λαμβάνει, τα διαγράφει από την ουρά και την διαγράφει. import com.amazonaws.queue.*; import com.amazonaws.queue.model.*; public class MyMessenger{ public static void main(string[] args) throws Exception{ new MyMessenger(args[0],args[1]); public MyMessenger (String myaccesskey, String mysecretkey) throws Exception { AmazonSQS myservice = new AmazonSQSClient(myAccessKey, mysecretkey); String queuename = "MyQueue"+myAccessKey; // Step 1: Connect to SQS and create a new queue createqueue(myservice, queuename); 27 Nef Marie-Aurelie Χατζή Βασιλική

28 // Step 2: Send two messages to the queue sendmessage(myservice, queuename, "Hello World!"); sendmessage(myservice, queuename, "Hello again!"); // Step 3: Wait while messages are stored by SQS Thread.currentThread().sleep(2000); // Step 4: Read all messages from queue and print and // delete each one java.util.list<message> messageslist = getmessages(myservice, queuename); if (messageslist!= null) { for (Message message : messageslist) { System.out.println(message.getMessageBody()); deletemessage(myservice, queuename, message.getreceipthandle()); // Step 5: Remove queue deletequeue(myservice, queuename); private void createqueue(amazonsqs service, String queuename) throws Exception { CreateQueue request = new CreateQueue().withQueueName(queueName); service.createqueue(request); private void sendmessage(amazonsqs service, String queuename, String message) throws Exception { SendMessage request = new SendMessage().withQueue(queueName).withMessage(message); service.sendmessage(request); private java.util.list<message> getmessages(amazonsqs service, String queuename) throws Exception { java.util.list<message> messageslist = null; ReceiveMessage request = new ReceiveMessage().withQueueName(queueName); ReceiveMessageResponse response = service.receivemessage(request); if (response.issetreceivemessageresult()) { messageslist = response.getreceivemessageresult().getmessage(); return messagelist; 28 Nef Marie-Aurelie Χατζή Βασιλική

29 private void deletemessage(amazonsqs service, String queuename, String receipthandle) throws Exception { DeleteMessage request = new DeleteMessage(). withqueue(queuename).withreceipthandle(receipthandle); service.deletemessage(request); private void deletequeue(amazonsqs service, String queuename) throws Exception { DeleteQueue request = new DeleteQueue().withQueueName(queueName); service.deletequeue(request); 29 Nef Marie-Aurelie Χατζή Βασιλική

30 4. Payment & Billing 4.1. Amazon Flexible Payments Service (FPS) Εισαγωγή Το Amazon Flexible Payments Service (Amazon FPS) είναι μία υπηρεσία πληρωμών η οποία είναι σχεδιασμένη εξαρχής ειδικά για επιχειρηματίες. Το σύνολο των Web Services διεπαφών (API s) επιτρέπει την κίνηση χρημάτων μεταξύ δύο οντοτήτων, ανθρώπων ή υπολογιστών Χαρακτηριστικά Ο χρήστης μπορεί να χρησιμοποιήσει το εκτεταμένο σύνολο χαρακτηριστικών του Amazon FPS για να διεξάγει μια μεγάλη ποικιλία συναλλαγών υπό οποιοδήποτε σύνολο περιορισμών. Αυτά τα χαρακτηριστικά περιλαμβάνουν: Αποστολή και παραλαβή χρημάτων με χρήση πιστωτικής κάρτας, τραπεζικού λογαριασμού ή μεταφορά υπολοίπου μέσω του Amazon Payments ως μέθοδοι πληρωμής. Δημιουργία Payment Instructions (οδηγιών πληρωμής) για να οριστούν οι επιθυμητές συνθήκες και οι επιθυμητοί περιορισμοί για μια συγκεκριμένη συναλλαγή, και να ληφθούν προγραμματιστικά εξουσιοδοτήσεις πληρωμής ή «τεκμήρια» που αντιπροσωπεύουν αυτές τις Οδηγίες Πληρωμής από τους πελάτες. Εκτέλεση πληρωμών μιας μοναδικής φοράς και πολλαπλών ή επαναλαμβανόμενων πληρωμών εκ μέρους των πελατών. Συνάθροιση μικρό-συναλλαγών σε μια μόνο μεγάλη συναλλαγή χρησιμοποιώντας δυνατότητες προπληρωμής και αποπληρωμής. Δημιουργία εφαρμογών πληρωμής όπου ο χρήστης είναι είτε ο αποστολέας είτε ο παραλήπτης χρημάτων. Επίσης, υπάρχει η δυνατότητα δημιουργίας εφαρμογών όπου επιτρέπεται η μετακίνηση χρημάτων μεταξύ τρίτων. 30 Nef Marie-Aurelie Χατζή Βασιλική

31 Παρατήρηση υπολοίπων λογαριασμών, ιστορικών συναλλαγών και λεπτομερειών συναλλαγών μέσω της ιστοσελίδας του Amazon Payments. Χρήση του Amazon FPS sandbox για τη δημιουργία και τον έλεγχο εφαρμογών χωρίς τη χρήση πραγματικών χρημάτων ή τη χρέωση συναλλαγών. Ενσωμάτωση του Amazon FPS στην ιστοσελίδα του χρήστη μέσα σε λίγα λεπτά με το copy-and-paste Pay Now Widget της Amazon. Κέρδος χρημάτων για τον χρήστη, λόγω των συναλλαγών μεταξύ πωλητών και αγοραστών, προσθέτοντας το Marketplace Fees στην εφαρμογή του Χρέωση Η χρέωση βασίζεται στον τρόπο πληρωμής καθώς επίσης και στον ποσό της κάθε συναλλαγής. Για συναλλαγές >= $10 Amazon Payment balance transfers 1.5% + $0.01 Bank account debits 2.0% + $0.05 Credit card 2.9% + $0.30 Για συναλλαγές < $10 Amazon Payment balance transfers 1.5% + $0.01 Bank account debits 2.0% + $0.05 Credit card 5.0% + $0.05 Για Amazon Payment balance transfers < $ % του ποσού της συναλλαγής, με ελάχιστη χρέωση $ Χρησιμοποιώντας το Amazon FPS Στο παρακάτω διάγραμμα περιγράφεται η ροή της αγοράς ενός προϊόντος από την πλευρά του πελάτη. 31 Nef Marie-Aurelie Χατζή Βασιλική

32 4.2. Amazon DevPay Εισαγωγή Το Amazon DevPay είναι μία υπηρεσία διαχείρισης λογαριασμών που επιτρέπει στο χρήστη να πληρωθεί για τα προϊόντα που δημιουργεί είτε στο Amazon EC2 είτε στο Amazon S3. Το Amazon DevPay δημιουργεί και διαχειρίζεται τον αγωγό παραγγελιών και το σύστημα πληρωμών για τον χρήστη. Οι πελάτες του χρήστη δηλώνουν ότι θέλουν να χρησιμοποιήσουν το προϊόν του και το Amazon DevPay μετράει αυτόματα τη χρήση της συγκεκριμένης AWS υπηρεσίας που κάνουν αυτοί, τους χρεώνει με βάση τις τιμές που ο χρήστης ορίζει και συλλέγει τις πληρωμές τους Χαρακτηριστικά Ο χρήστης μπορεί να χρεώσει τους πελάτες για το προϊόν του. Οι χρεώσεις μπορεί να συμπεριλαμβάνουν επαναλαμβανόμενες χρεώσεις που βασίζονται στη χρήση των AWS υπηρεσιών από τον πελάτη, μια καθορισμένη χρέωση για χρήση μιας μοναδικής φοράς και μια επαναλαμβανόμενη μηνιαία χρέωση. Οι πελάτες του χρήστη μπορούν εύκολα να εγγραφούν και να πληρώσουν για το προϊόν του χρήστη μέσω των αξιόπιστων Amazon.com λογαριασμών τους. 32 Nef Marie-Aurelie Χατζή Βασιλική

33 Οι πελάτες του χρήστη είναι επικυρωμένοι (περνούν από έλεγχο), έτσι ώστε να σίγουρο ότι έχουν πρόσβαση μόνο σε ότι πρέπει. Εάν οι πελάτες του χρήστη δεν πληρώνουν τους λογαριασμούς τους, το DevPay διακόπτει την πρόσβαση τους στο προϊόν του χρήστη. Το Amazon Payments διαχειρίζεται την διαδικασία πληρωμών. Ο παρακάτω πίνακας και το παρακάτω διάγραμμα δείχνουν με ποια σειρά γίνονται οι διάφορες διαδικασίες στο DevPay: 1. Ο πελάτης χρησιμοποιεί έναν Amazon.com λογαριασμό έτσι ώστε να εγγραφεί και πληρώσει για το προϊόν του χρήστη. Η σελίδα μέσω της οποίας γίνεται η εγγραφή δείχνει ότι ο χρήστης συνεργάζεται με το Amazon Payments για να κάνει την διαδικασία πληρωμών εύκολη και ασφαλή. 2. Ο πελάτης πληρώνει την τιμή που έχει ορίσει ο χρήστης για χρήση του προϊόντος του. 3. Το DevPay αφαιρεί ένα καθορισμένο ποσό για την διεκπεραίωση της συγκεκριμένης διαδικασίας και πληρώνει στο χρήστη την διαφορά. 4. Ο χρήστης πληρώνει τα έξοδα για τις AWS υπηρεσίες που το προϊόν του χρησιμοποίησε και ένα ποσό βάσει ποσοστού (percentage-based fee) Χρέωση 3.0% της προστιθέμενης αξίας του χρήστη ανά πελάτη. $0.30 ανά εφαρμογή για κάθε είσπραξη από τον πελάτη του χρήστη. 33 Nef Marie-Aurelie Χατζή Βασιλική

34 Χρησιμοποιώντας το Amazon DevPay O χρήστης μπορεί να χρησιμοποιήσει το Amazon DevPay με τους παρακάτω τρόπους: Με τη βοήθεια ενός Amazon Amazon EC2 AMI. Με τη βοήθεια ενός desktop ή διαδικτυακού προϊόντος που χρησιμοποιεί το Amazon S3. Το ακόλουθο σχήμα εξηγεί τα βήματα μιας τυπικής εφαρμογής του Amazon DevPay. 34 Nef Marie-Aurelie Χατζή Βασιλική

35 Ο χρήστης : Εγγράφει το προϊόν του στο DevPay χρησιμοποιώντας μια πύλη διαδικτύου Παρατηρεί την δραστηριότητα του προϊόντος του και διαχειρίζεται το προϊόν και τα χρήματα του χρησιμοποιώντας την DevPay Activity σελίδα Το Amazon S3 προϊόν του χρήστη : Καλεί την υπηρεσία χορήγησης αδειών για να αποκτήσει τα απαιτούμενα πιστοποιητικά για τον πελάτη Καλεί το Amazon S3 Το Amazon EC2 paid (πληρωμών) AMI του χρήστη : Λειτουργεί όπως κάθε άλλο ΑΜΙ που ο χρήστης μοιράζεται με άλλους Οι πελάτες του χρήστη : Παρατηρούν την πληροφορία για την χρήση που κάνουν και τους λογαριασμούς τους Λαμβάνουν s για τα χρήματα που οφείλουν από το Amazon Payments 35 Nef Marie-Aurelie Χατζή Βασιλική

36 5. On-Demand Workforce 5.1. Amazon Mechanical Turk Εισαγωγή Το Amazon Mechanical Turk είναι ένα marketplace που απαιτεί ανθρώπινη ευφυΐα. Η υπηρεσία διαδικτύου Mechanical Turk δίνει τη δυνατότητα σε επιχειρήσεις να έχουν πρόσβαση προγραμματιστικά σε αυτή την αγορά και σε ένα διαφορετικό εργατικό δυναμικό. Οι επιχειρηματίες μπορούν να εκμεταλλευτούν αυτή την υπηρεσία για να προσθέσουν ανθρώπινη ευφυΐα στις εφαρμογές τους. Όσο η υπολογιστική τεχνολογία συνεχίζει να βελτιώνεται, υπάρχουν ακόμη πολλά πράγματα τα οποία οι άνθρωποι μπορούν να κάνουν πολύ πιο αποτελεσματικά από τους υπολογιστές, όπως να αναγνωρίζουν αντικείμενα σε μια φωτογραφία ή βίντεο, να αντιγράφουν εγγραφές ήχου, ή να ψάχνουν λεπτομέρειες σε δεδομένα. Παραδοσιακά, εργασίες όπως αυτές έχουν επιτευχθεί προσλαμβάνοντας ένα προσωρινό, μεγάλο αριθμό εργαζομένων (το οποίο είναι ακριβό, χρονοβόρο και δύσκολο να κλιμακωθεί) ή δεν έχουν καταφέρει να εκπληρωθούν. Το Mechanical Turk έχει ως στόχο να κάνει την πρόσβαση στην ανθρώπινη ευφυΐα εύκολη, κλιμακούμενη και αποτελεσματική από άποψη κόστους. Επιχειρήσεις και επιχειρηματίες που θέλουν την ολοκλήρωση κάποιων εργασιών (που ονομάζονται Εργασίες Ανθρώπινης Ευφυΐας ή HITs ) μπορούν να χρησιμοποιήσουν τις διεπαφές του Mechanical Turk για να έχουν πρόσβαση σε χιλιάδες on-demand εργάτες, κι έπειτα να ενσωματώσουν τα αποτελέσματα αυτής της εργασίας απευθείας στις διαδικασίες και στα συστήματα της επιχείρησης τους. Το Mechanical Turk δίνει την δυνατότητα στους επιχειρηματίες και στις επιχειρήσεις να επιτύχουν τους στόχους τους πιο γρήγορα και πιο φθηνά από πριν. 36 Nef Marie-Aurelie Χατζή Βασιλική

37 Χαρακτηριστικά Εργατικό δυναμικό ανάλογα με τη ζήτηση : To Amazon Mechanical Turk παρέχει πρόσβαση σε μια αγορά εργαζομένων οποιαδήποτε στιγμή η επιχείρηση του χρήστη τους χρειάζεται. To Mechanical Turk μπορεί να φέρει το χρήστη σε επαφή με πλήθος συνόλων ικανοτήτων και με δυνατότητες μέσω ενός καθολικού εργατικού δυναμικού που μπορεί να τον βοηθήσει να ολοκληρώσει τη δουλειά του οποιαδήποτε στιγμή το χρειάζεται. Ελαστικό εργατικό δυναμικό : Μια από τις δυσκολίες που οι επιχειρήσεις αντιμετωπίζουν είναι να τα βγάζουν πέρα με απότομες αυξήσεις στη ζήτηση σε συγκεκριμένους τύπους εργασίας. Ο χρήστης μπορεί να έχει 1 εκατομμύριο φωτογραφίες που πρέπει να ονομαστούν σήμερα, ή νέες καταχωρήσεις σε κατάλογο που πρέπει να επικυρωθούν αλλά αυτό υπάρχει ως ανάγκη μόνο μια φορά το μήνα. Το Amazon Mechanical Turk επιτρέπει στο χρήστη να κάνει αυτή τη δουλειά εύκολα όποτε το χρειάζεται, χωρίς να υπάρχει η δυσκολία δυναμικής κλιμάκωσης του εργατικού δυναμικού της επιχείρησης. Εργαλεία διαχείρισης ποιότητας : Το Amazon Mechanical Turk παρέχει ένα πλήθος μηχανισμών για να βοηθήσει το χρήστη να βεβαιωθεί για την ποιότητα της δουλείας που λαμβάνει. Επιπρόσθετα με τα προσόντα των εργαζομένων, η πληθώρα (plurality) είναι ένας ακόμα μηχανισμός που βοηθά τους επιχειρηματίες να διατηρήσουν την υψηλή ποιότητα. Αυτή η λειτουργικότητα επιτρέπει πολλούς εργαζομένους να υποβάλλουν απαντήσεις στο ίδιο HIT. Όταν ένας συγκεκριμένος αριθμός εργαζομένων δώσει την ίδια απάντηση τότε το HIT επικυρώνεται αυτόματα. Επίσης, ο χρήστης πληρώνει μόνο για ότι αυτός θεωρεί καλά αποτελέσματα. Εάν το αποτέλεσμα δεν είναι τόσο καλό μπορεί απλά να απορρίψει τη δουλειά που έχει γίνει και να μη πληρώσει τον εργαζόμενο. Δομή χαμηλότερου κόστους : Τα πάγια και σταθερά έξοδα που σχετίζονται με την πρόσληψη και διαχείριση προσωρινού εργατικού δυναμικού μπορεί συχνά να είναι σημαντικά. Έχοντας πρόσβαση σε ικανότητες εργαζομένων από όλο τον κόσμο, ο χρήστης μπορεί να μειώσει σημαντικά τα κόστη επιτυγχάνοντας παράλληλα αποτελέσματα που μπορεί να μην μπορούσαν να είναι δυνατά με μια καθορισμένη ομάδα. Δίνει δυνατότητες σε νέες επιχειρήσεις : Το Amazon Mechanical Turk δίνει τη δυνατότητα στους επιχειρηματίες να δημιουργήσουν εφαρμογές που προηγούμενα δεν ήταν δυνατές. Από αποτελέσματα ερευνών ενισχυμένα με ανθρώπινα στοιχεία, μέχρι αυτόματη αναγνώριση εικόνων, μέχρι κατανεμημένη δημιουργία περιεχομένου, μέχρι podcast-to-text μετατροπή, οι εταιρίες βασίζονται στην ανθρώπινη ευφυΐα και στο Amazon Mechanical Turk για να ενισχύσουν μια ολόκληρη νέα τάξη εφαρμογών. 37 Nef Marie-Aurelie Χατζή Βασιλική

38 Χρέωση Το Amazon Mechanical Turk συλλέγει ένα 10% του ποσού που ο χρήστης έχει πληρώσει σε κάποιον για να ολοκληρώσει τα Human Intelligence Tasks ( HITs ) του. Η ελάχιστη χρέωση είναι $0.005 ανά HIT Χρησιμοποιώντας το Amazon Mechanical Turk Από την πλευρά του εργοδότη : Από την πλευρά του εργαζομένου : 38 Nef Marie-Aurelie Χατζή Βασιλική