Μεταπτυχιακό Υπολογιστικής Φυσικής Εργασία στο µάθηµα Ανάλυση εδοµένων ηµήτρης Κουγιουµτζής E-mail: dkugiu@auth.gr 30 Ιανουαρίου 2018 Οδηγίες : Σχετικά µε την παράδοση της εργασίας ϑα πρέπει : Το κείµενο της αναφοράς της ανάλυσης που Ϲητείται να είναι γραµµένο σε κάποιο πρόγραµµα επεξεργασίας κειµένου (π.χ. Word, LaTeX). Τα προγράµµατα που χρησιµοποιήθηκαν, καθώς και τα γραφήµατα και οι πίνακες, να παρουσιάζονται στο σηµείο του κειµένου που ανα- ϕέρονται. Επίσης τα προγράµµατα ϑα πρέπει να παραδοθούν µαζί µε την εργασία. Η εργασία και τα προγράµµατα ϑα πρέπει να αποσταλούν στο διδάσκοντα µε το ηλεκτρονικό ταχυδροµείο (e-mail: dkugiu@auth.gr) ως τις 15/3/2018, καλύτερα σε ένα συµπιεσµένο αρχείο. Για την απάντηση στα Ϲητήµατα της εργασίας ϑα χρειαστεί να αναπτύξετε κάποιους αλγόριθµους (σε µορφή συνάρτησης), ενώ άλλοι αλγόριθµοι δίνονται (κάποιοι σε µορφή συνάρτησης Matlab) στην ιστοσελίδα του µαθήµατος (στα πλαίσια των ασκήσεων στο µάθηµα). Επίσης ϑα πρέπει να κάνετε και τα κατάλληλα προγράµµατα που καλούν τις συναρτήσεις, τα οποία και πρέπει να αντιγράψετε στην εργασία. Για τη µεταφορά σχήµατος από το Matlab στο πρόγραµµα επεξεργασίας κειµένου ϑα πρέπει να αποθηκεύσετε το σχήµα σε αρχείο χρησιµοποιώντας είτε το παράθυρο εντολών (δες εντολή print του Matlab) ή το µενού στο πα- ϱάθυρο του σχήµατος (File Export). Για µεταφορά στο Word υπάρχουν διάφορες κατάλληλες µορφές αρχείου εικόνας, η πιο απλή είναι "Enhanced Metafile" (*.emf). Για µεταφορά στο LaTeX η πιο κατάλληλη µορφή είναι "Encapsulated Postscript" (*.eps). 1
Περιγραφή εργασίας και δεδοµένα Στο αρχείο Heathrow.xlsx που υπάρχει στην ιστοσελίδα του µαθήµατος, δίνονται ετήσια δεδοµένα µετεωρολογικών δεικτών για το αεροδρόµιο Heathrow ανά έτος την περίοδο 1949 1958 και 1973 2017. (Για το άνοιγµα αρχείου δεδοµένων excel χρησι- µοποίησε τη συνάρτηση xlsread). Οι δείκτες περιγράφονται στον παρακάτω πίνακα. Α/Α Ακρωνύµιο Περιγραφή 1 T Μέση ετήσια ϑερµοκρασία 2 TM Μέση ετήσια µέγιστη ϑερµοκρασία 3 Tm Μέση ετήσια ελάχιστη ϑερµοκρασία 4 PP Συνολική ετήσια χιονόπτωση ή ϐροχόπτωση 5 V Μέση ετήσια ταχύτητα αέρα 6 RA Μέρες του έτους µε ϐροχή 7 SN Μέρες του έτους µε χιόνι 8 TS Μέρες του έτους µε άνεµο 9 FG Μέρες του έτους µε οµίχλη 10 TN Μέρες του έτους µε ανεµοστρόβιλο 11 GR Μέρες του έτους µε χαλάζι Ζητήµατα εργασίας 1. Φτιάξε µια συνάρτηση που να δέχεται ως µεταβλητή εισόδου ένα διάνυσµα (παρατηρήσεις δείγµατος), να µετράει τις διακεκριµένες τιµές στο διάνυσµα και να κάνει τα παρακάτω : Αν το πλήθος των διακεκριµένων τιµών στο διάνυσµα είναι µεγαλύτερο από 10 να σχηµατίζει το ιστόγραµµα για κατάλληλη ισοµερή διαµέριση. Αν το πλήθος των διακεκριµένων τιµών στο διάνυσµα είναι µικρότερο ή ίσο µε 10 να σχηµατίζει το ϱαβδόγραµµα. Φτιάξε ένα πρόγραµµα που για κάθε έναν από τους δείκτες να καλεί αυτή τη συνάρτηση και το κάθε σχήµα να το συµπεριλαµβάνει σε έναν πίνακα σχηµάτων (subplot). Σχολιάστε την κατανοµή πυκνότητας ή πιθανότητας για κάθε δείκτη (αν για τη συνεχή τ.µ. ϕαίνεται να είναι από συµµετρική (κανονική), ασύµµετρη ή οµοιόµορφη κατανοµή, ενώ για τη διακριτή τ.µ. αν ϕαίνεται να είναι διακριτή οµοιόµορφη ή αν ϕαίνεται κάποια τιµή να είναι πιο πιθανή). 2. Φτιάξε µια συνάρτηση που να δέχεται ως µεταβλητή εισόδου ένα διάνυσµα (παρατηρήσεις δείγµατος), να µετράει τις διακεκριµένες τιµές 2
στο διάνυσµα και αν το πλήθος των διακεκριµένων τιµών στο διάνυσµα είναι µεγαλύτερο από 10 να κάνει έλεγχο X 2 καλής προσαρµογής σε κανονική κατανοµή, καθώς και σε οµοιόµορφη κατανοµή και να δίνει στην έξοδο τις δύο p-τιµές ελέγχου. Φτιάξε ένα πρόγραµµα που για κάθε έναν από τους δείκτες να καλεί αυτήν τη συνάρτηση και να αναφέρει για κάθε δείκτη αν ο δείκτης ακολουθεί κάποια από τις δύο κατανοµές καθώς και αν δε µπορεί να ϑεωρηθεί ως συνεχής τυχαία µεταβλητή (διακεκριµένες τιµές λιγότερες από 10). 3. Φτιάξε µια συνάρτηση που να δέχεται ως µεταβλητή εισόδου ένα διάνυσµα (παρατηρήσεις δείγµατος) και να υπολογίζει 95% παραµετρικό διάστηµα εµπιστοσύνης (δ.ε.) για τη µέση τιµή, καθώς και 95% δ.ε. για τη µέση τιµή µε τη µέθοδο bootstrap. Φτιάξε ένα πρόγραµµα που για κάθε έναν από τους 9 πρώτους δείκτες να καλεί αυτήν τη συνάρτηση και να δίνει τα αποτελέσµατα. Σχολιάστε αν το παραµετρικό δ.ε. και το δ.ε. µε επαναδειγµατοληψία διαφέρουν σηµαντικά για κάποιον(ους) δείκτη(ες). 4. Φτιάξε µια συνάρτηση που να δέχεται ως µεταβλητή εισόδου δύο διανύσµατα, το πρώτο να έχει τα έτη (πρώτη στήλη) και το δεύτερο τις αντίστοιχες παρατηρήσεις κάποιου δείκτη. Η συνάρτηση ϑα κάνει τα παρακάτω : Θα χωρίζει τα στοιχεία του δεύτερου διανύσµατος στα δύο µε ϐάση το έτος ασυνέχειας 1958, δηλαδή παρατηρήσεις ως και το 1958 ϑα ανήκουν στο ένα διάνυσµα (τ.µ. X 1 ) και τα υπόλοιπα στο άλλο διάνυσµα (τ.µ. X 2 ). Θα κάνει έλεγχο για τη διαφορά µέσων τιµών της τ.µ. στις δύο πε- ϱιόδους. Αυτό ϑα γίνει µε παραµετρικό έλεγχο (student) υποθέτοντας κανονική κατανοµή και υπολογιστικό έλεγχο τυχαιοποιώντας την αντιστοίχιση των στοιχείων (παρατηρήσεων) του αρχικού διανύσµατος (δείγµατος) στις δύο περιόδους αλλά διατηρώντας το αρχικό πλήθος στοιχείων σε κάθε περίοδο. Να δίνει στην έξοδο τις δύο p τιµές των ελέγχων για διαφορά µέσων τιµών. Κάλεσε την συνάρτηση αυτή για τους 9 πρώτους δείκτες και εντόπισε τους δείκτες για τους οποίους ϕαίνεται να υπάρχει διαφορά στις δύο περιόδους. Συµφωνούν οι δύο µέθοδοι για τον έλεγχο ; 3
5. Φτιάξε µια συνάρτηση που να δέχεται ως δύο µεταβλητές εισόδου δύο διανύσµατα ίσου µήκους (Ϲευγαρωτά δείγµατα δύο τυχαίων µεταβλητών, τ.µ.) και να κάνει τα παρακάτω : Να υπολογίζει το 95% δ.ε. για το συντελεστή συσχέτισης των δύο τ.µ. χρησιµοποιώντας το µετασχηµατισµό Fisher καθώς και τη µέθοδο bootstrap. Να δίνει στην έξοδο τα δύο δ.ε. για το συντελεστή συσχέτισης καθώς και το µήκος των διανυσµάτων χωρίς κενά. Κάλεσε την συνάρτηση αυτή για όλα τα Ϲεύγη των 9 πρώτων δεικτών και εντόπισε τα Ϲεύγη που ϕαίνεται να µην συσχετίζονται γραµµικά για κάθε µια από τις δύο µεθόδους σχηµατισµού του δ.ε. για τον συντελεστή συσχέτισης. Συµφωνούν οι δύο µέθοδοι ; 6. Φτιάξε µια συνάρτηση που να δέχεται ως δύο µεταβλητές εισόδου δύο διανύσµατα ίσου µήκους (Ϲευγαρωτά δείγµατα δύο τυχαίων µεταβλητών, τ.µ.) και να κάνει τα παρακάτω : Να κάνει παραµετρικό έλεγχο της υπόθεσης σε επίπεδο σηµαντικότητας 0.05 για µηδενική συσχέτιση των δύο τ.µ., χρησιµοποιώντας το στατιστικό της κατανοµής Student, καθώς και µηπαραµετρικό έλεγχο χρησιµοποιώντας τη µέθοδο της τυχαιοποίησης. Να δίνει στην έξοδο τις δύο p τιµές των ελέγχων για το συντελεστή συσχέτισης καθώς και το µήκος των διανυσµάτων χωρίς κενά. Κάλεσε την συνάρτηση αυτή για όλα τα Ϲεύγη των 9 πρώτων δεικτών και εντόπισε τα Ϲεύγη που ϕαίνεται να µην συσχετίζονται γραµµικά για κάθε µια από τις δύο µεθόδους του ελέγχου σηµαντικότητας για τον συντελεστή συσχέτισης. Συµφωνούν οι δύο µέθοδοι ; 7. Φτιάξε µια συνάρτηση που να δέχεται ως δύο µεταβλητές εισόδου δύο διανύσµατα ίσου µήκους (Ϲευγαρωτά δείγµατα δύο τυχαίων µεταβλητών, τ.µ.) και να κάνει τα παρακάτω : 4
(δʹ) Να προσαρµόζει γραµµικό µοντέλο παλινδρόµησης της δεύτερης τ.µ. ως προς την πρώτη τ.µ. µε τη µέθοδο ελαχίστων τετραγώνων και να υπολογίζει το συντελεστή προσδιορισµού. Να σχηµατίζει το διάγραµµα διασποράς και την εκτιµώµενη ευθεία (ως στοιχείο σε πίνακα γραφηµάτων), και να ϕαίνεται στο σχήµα ο συντελεστής προσδιορισµού. Να δίνει στην έξοδο τον συντελεστή προσδιορισµού. Κάλεσε την συνάρτηση αυτή για όλα τα Ϲεύγη των 10 δεικτών εκτός του δείκτη για τις µέρες του έτους µε ανεµοστρόβιλο (TN). Η σειρά ϑα είναι ως εξής : ϑα ϑεωρείς έναν από τους 10 δείκτες ως εξαρτηµένη τ.µ. και κάθε έναν από τους άλλους 9 δείκτες ως ανεξάρτητη. Τα 9 σχήµατα των διαγραµµάτων διασποράς ϑα πρέπει να δίνονται σε ένα παράθυρο (πίνακας 9 σχηµάτων). Σχολίασε ποιοι δείκτες ϕαίνεται να µπορούν να εξηγηθούν καλύτερα µε γραµµικό µοντέλο από κάποιον άλλο δείκτη. 8. Μας ενδιαφέρει να δούµε αν µπορούµε να προσδιορίσουµε τον δείκτη για τις µέρες του έτους µε οµίχλη (FG) µε ένα κατάλληλο µοντέλο ως προς έναν άλλο δείκτη (για κάθε ένα δείκτη εκτός του δείκτη για τις µέρες του έτους µε ανεµοστρόβιλο, TN). Γι αυτό, ϕτιάξε µια συνάρτηση που να δέχεται ως δύο µεταβλητές εισόδου δύο διανύσµατα ίσου µήκους (Ϲευγαρωτά δείγµατα δύο τυχαίων µεταβλητών, τ.µ.) και να κάνει τα παρακάτω : Να προσαρµόζει πολυωνυµικά µοντέλα παλινδρόµησης πρώτου, δευτέρου, τρίτου και τετάρτου ϐαθµού της δεύτερης τ.µ. (FG) ως προς την πρώτη τ.µ. µε τη µέθοδο ελαχίστων τετραγώνων και να υ- πολογίζει τον προσαρµοσµένο συντελεστή προσδιορισµού για κάθε µοντέλο. Να σχηµατίζει το διάγραµµα διασποράς και την εκτιµώµενη κα- µπύλη (ως στοιχείο σε πίνακα γραφηµάτων), και να ϕαίνεται στο σχήµα ο προσαρµοσµένος συντελεστής προσδιορισµού για κάθε µοντέλο. 5
(δʹ) Να δίνει στην έξοδο τον προσαρµοσµένο συντελεστή προσδιορισµού για κάθε µοντέλο. Κάλεσε την συνάρτηση αυτή για εξαρτηµένη µεταβλητή τις µέρες του έτους µε οµίχλη (FG) και ανεξάρτητη µεταβλητή να είναι κάθε ένας δείκτης εκτός του δείκτη για τις µέρες του έτους µε ανεµοστρόβιλο (TN). Για κάθε ανεξάρτητη µεταβλητή, τα 4 σχήµατα των διαγραµµάτων διασποράς µε την καµπύλη του αντίστοιχου πολυωνυµικού µοντέλου ϑα πρέπει να δίνονται σε ένα παράθυρο (πίνακας 4 σχηµάτων). Σχολίασε ποιοι δείκτες ϕαίνεται να µπορούν να εξηγήσουν καλύτερα τον δείκτη για τις µέρες του έτους µε οµίχλη (FG) µε µη-γραµµικό µοντέλο (πολυωνυµικό ϐαθµού µεγαλύτερο του ένα). 9. Μας ενδιαφέρει να δούµε αν µπορούµε να προσδιορίσουµε τον δείκτη για τις µέρες του έτους µε οµίχλη (FG) µε ένα κατάλληλο γραµµικό µοντέλο που να συµπεριλαµβάνει τους πιο σχετικούς από τους άλλους δείκτες. Το ίδιο για το δείκτη για τις µέρες του έτους µε χαλάζι (GR). Η ανάλυση ϑα γίνει για τα ιστορικά δεδοµένα µετά το 1973. Το παρακάτω πρόγραµµα ϑα εκτελεστεί δύο ϕορές, για το δείκτη FG και το δείκτη GR. Το πρόγραµµα ϑα πρέπει : Να ϐρίσκει τα έτη που υπάρχουν παρατηρήσεις για όλους τους δείκτες και να χρησιµοποιεί στην ανάλυση µόνο αυτά. Να υπολογίζει το µοντέλο πολλαπλής γραµµικής παλινδρόµησης µε όλους τους δείκτες και να εκτυπώνει τη διασπορά των σφαλµάτων, το συντελεστή προσδιορισµού και τον προσαρµοσµένο συντελεστή προσδιορισµού, και να δηλώνει για ποιους δείκτες ο αντίστοιχος συντελεστής στο µοντέλο είναι στατιστικά σηµαντικός (σε επίπεδο 0.05). Να κάνει το ίδιο για το µοντέλο που προκύπτει από τη µέθοδο της ϐηµατικής παλινδρόµησης. Σχολιάστε για κάθε έναν από τους δύο δείκτες (FG και GR) τα δύο µοντέλα (το µοντέλο µε όλους τους δείκτες και το µοντέλο µε τους επιλεγµένους δείκτες από ϐηµατική παλινδρόµηση ως ανεξάρτητες µεταβλητές). Θα µπορούσαµε να εξηγήσουµε ικανοποιητικά το δείκτη FG (και το ίδιο για τον δείκτη GR) µε κάποιους από τους άλλους δείκτες ; 10. Για κάθε έναν από τους δείκτες (εκτός του δείκτη για τις µέρες του έτους µε ανεµοστρόβιλο, TN) ϑέλουµε να διερευνήσουµε αν υπάρχει τάση, δηλαδή εξάρτηση από το χρόνο, µε αναφορά την περίοδο 1973-2017. Φτιάξε µια συνάρτηση που να δέχεται ως µια µεταβλητή εισόδου ένα 6
διάνυσµα (δείκτης στη δεδοµένη περίοδο) και ως δεύτερη µεταβλητή εισόδου το ϐαθµό πολυωνύµου που ϑα προσεγγίζει την τάξη και να κάνει τα παρακάτω : Να ϐρίσκει τα κενά στοιχεία στα διανύσµατα (NaN) αν υπάρχουν και να τα αναπληρώνει µε γραµµική παρεµβολή (δες επίσης συνάρτηση interp1). Να υπολογίζει τη συνάρτηση αυτοσυσχέτισης για τη χρονοσειρά µε τις τυχόν αναπληρωµένες τιµές. (δʹ) (εʹ) Να εκτιµά την τάση µε το πολυώνυµο δεδοµένου ϐαθµού και να την απαλείφει. Να υπολογίζει τη συνάρτηση αυτοσυσχέτισης για τη χρονοσειρά χωρίς τάση. Σε ένα παράθυρο σχήµατος να δίνει 4 σχήµατα : τη χρονοσειρά πριν και µετά την απαλοιφή τάσης και την αυτοσυσχέτιση πριν και µετά την απαλοιφή τάσης. Κάλεσε την συνάρτηση αυτή για κάθε έναν από τους 10 δείκτες για κατάλληλο ϐαθµό πολυωνύµου (αυθαίρετη επιλογή). Σχολίασε για τον κάθε δείκτη αν ϕαίνεται να εµπεριέχει τάση και αν µετά την τυχόν απαλοιφή της τάσης ϕαίνεται να είναι λευκός ϑόρυβος. 7