Φροντιστήριο Ομαδικής Εργασίας ΗΥ360. Αυγουστάκη Αργυρώ

Transcript

1 Φροντιστήριο Ομαδικής Εργασίας ΗΥ360 Αυγουστάκη Αργυρώ

2 Γενικές Πληροφορίες Εργασίας Η ομαδική εργασία θα περιλαμβάνει δύο φάσεις Α φάση: Ερωτήματα στην πλατφόρμα BigQuery της Google για το σύνολο δεδομένων NCAA(30%) B φάση: Ερωτήματα στην πλατφόρμα BigQuery της Google για το σύνολο δεδομένων World Bank, GitHub (70%) Και οι δύο φάσεις είναι ομαδικές Κάθε ομάδα θα αποτελείται από το πολύ 2 άτομα Παράδοση 21/1 Προφορική Εξέταση 24/1-25/1 Τελική Βαθμολογία = Βαθμολογία Συνθετικής Εργασίας + Βαθμολογία Προφορικής Εξέτασης

3 BigQuery Πίστωση 50$ για κάθε ομάδα Πραγματοποιείστε στοχευμένα ερωτήματα της μορφής SELECT col1, col2, WHERE για να αποφύγετε την κατανάλωση των διαθέσιμων δεδομένων σας Αποφύγετε τη χρήση επερωτήσεων της μορφής SELECT * WHERE Τα ερωτήματα σας θα πρέπει να ακολουθούν την Standard SQL, όχι την Legacy SQL (δείτε στο More Query Settings) Δημιουργήστε τα ερωτήματα σας σταδιακά, ξεκινώντας από τις συνθήκες και προσθέτοντας πολυπλοκότητα Προσοχή στη χρήση της παραμέτρου LIMIT καθώς αφορά τα αποτελέσματα και όχι τα δεδομένα

4 BigQuery Βήματα για τη Δημιουργία Πίστωσης 1. Δημιουργία ενός κοινόχρηστου λογαριασμού Gmail 2. Μεταβείτε στη σελίδα του Google Cloud Platform που σας δίνεται στην εκφώνηση για να δημιουργήσετε έναν λογαριασμό χρησιμοποιώντας τα στοιχεία σας και το της σχολής 3. Θα λάβετε ένα επιβεβαίωσης 4. Πατήστε στο σύνδεσμο που εμφανίζεται για να ενεργοποιήσετε την εγγραφή σας 5. Κάντε εξαργύρωση της πίστωσης σας χρησιμοποιώντας τον κωδικό που σας απεστάλλη 6. Καταχωρήστε τον κωδικό σας στο κατάλληλο πλαίσιο και πατήστε «Αποδοχή και συνέχεια» 7. Μπορείτε να δείτε τη διαθέσιμη πίστωση και να ορίσετε ειδοποιήσεις

5 BigQuery Ανεύρεση κοινόχρηστων datasets 1. Μεταβείτε στη σελίδα (προσοχή να ελέγξετε ότι είστε συνδεδεμένοι με τον σωστό λογαριασμό) 2. Αριστερά εμφανίζονται όλα τα διαθέσιμα σύνολα δεδομένων 3. Πατήστε την επιλογή «Try the new UI για να δείτε το σύνολο ncaa basketball το οποίο θα χρησιμοποιήσετε για το πρώτο μέρος της εργασίας σας (αν δεν εμφανιστεί πληκτρολογήστε το όνομα στην μπάρα αναζήτησης)

6 A μέρος Συνθετικής Εργασίας Εξερεύνηση μέσω επερωτήσεων των δεδομένων αγώνων μπάσκετ του NCAA Διερευνήσετε τα σχήματα και τις περιγραφές των πινάκων ώστε να διαμορφώσετε σαφή εικόνα των δεδομένων (γνωρίσματα, τύποι δεδομένων, τι δεδομένα αφορά κάθε πίνακας) Δοκιμάστε κάποιες απλές επερωτήσεις για να αποκτήσετε μια πρώτη επαφή με την πλατφόρμα και τα δεδομένα Εναλλακτικά, επιλέξτε το tab Preview για να περιηγηθείτε στα δεδομένα Προσοχή! Πριν ξεκινήσετε να γράφετε μια επερώτηση, σιγουρευτείτε ότι ρωτάτε το σωστό πίνακα Θυμηθείτε, ότι γράφουμε μια επερώτηση ξεκινώντας από τα πιο απλά βήματα (συνθήκες, joins) και στη συνέχεια προσθέτουμε πολυπλοκότητα

7 A μέρος Συνθετικής Εργασίας Εξερεύνηση μέσω επερωτήσεων των δεδομένων αγώνων μπάσκετ του NCAA Συντάξτε επερωτήσεις, οι οποίες είναι αποδοτικές (max χρόνος εκτέλεσης 10 secs, max όγκος δεδομένων 1-2 GBs ) Αν η επερωτησή σας ξεπερνάει κατά την εκτέλεση της τα παραπάνω όριο δεν είναι σωστή και δεν θα πάρετε όλες τις μονάδες! Συνολικά θα πρέπει να απαντήσετε σε 12 επερωτήσεις που αφορούν τους αντρικούς αγώνες μπάσκετ στο NCAA Για τη σύνταξη μιας επερώτησης πατήστε το «Query Table» αφού προηγουμένως έχετε επιλέξει τον πίνακα Μπορείτε να αποθηκεύσετε επερωτήσεις ώστε να τις χρησιμοποιήσετε αργότερα πατώντας το «Save query» Πατώντας το «Query History» μπορείτε να δείτε το ιστορικό των επερωτήσεων του λογαριασμού σας όσο και των υπόλοιπων μελών

8 A μέρος Συνθετικής Εργασίας Εξερεύνηση μέσω επερωτήσεων των δεδομένων αγώνων μπάσκετ του NCAA Παραδοτέο για το πρώτο μέρος, ένα αρχείο με όνομα «project_part1_αμs» που θα περιέχει Τα ονόματα και τους αριθμούς μητρώου των μελών της ομάδας Για κάθε επερώτηση: το συντακτικό της σε SQL, το χρόνο εκτέλεσης της, τα δεδομένα που καταναλώθηκαν Παράδειγμα: Query 1: SELECT season FROM `bigquery-publicdata.ncaa_basketball.mbb_games_sr` Χρόνος εκτέλεσης: sec (Elapsed Time) This query will process KB when run. H Query complete (0.580 sec elapsed, KB processed)