Διερεύνηση περιβαλλοντικών χρονοσειρών με στατιστικές μεθόδους και τεχνικές εξόρυξης δεδομένων

Transcript

1 Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - Τμήμα Φυσικής Π.Μ.Σ. Υπολογιστικής Φυσικής Διερεύνηση περιβαλλοντικών χρονοσειρών με στατιστικές μεθόδους και τεχνικές εξόρυξης δεδομένων Σταματέρης Γεώργιος Επιβλέπων Κωνσταντίνος Δ. Καρατζάς Επίκουρος Καθηγητής Α.Π.Θ. Θεσσαλονίκη 2009

2 Περιεχόμενα 1 Εισαγωγή Δίκτυο μετρήσεων ποιότητας αέρα στην Θεσσαλονίκη Περιοδογράμματα Εισαγωγή Μετασχηματισμός Fourier Περιοδογράμματα Εφαρμογή σε περιβαλλοντικές χρονοσειρές για την πόλη της Θεσσαλονίκης Σταθμός Α.Π.Θ Σταθμός Καλαμαριάς Σταθμός Κορδελιού Σταθμός Σίνδου Συμπεράσματα Principal Component Analysis (PCA) Εισαγωγή Μεθοδολογία Εφαρμογή της μεθόδου PCA σε περιβαλλοντικές χρονοσειρές για την πόλη της Θεσσαλονίκης Σταθμός Α.Π.Θ Σταθμός Καλαμαριάς Σταθμός Κορδελιού Σταθμός Σίνδου Συμπεράσματα Παλινδρόμηση Εισαγωγή Γραμμική παλινδρόμηση Σύγκριση μοντέλων - Ανάλυση μεταβλητότητας (ANOVA) Πολλαπλή παλινδρόμηση Μοντέλα παλινδρόμησης για την Θεσσαλονίκη Σταθμός Α.Π.Θ Σταθμός Καλαμαριάς Σταθμός Κορδελιού Σταθμός Σίνδου Συμπεράσματα Clustering Εισαγωγή Μέθοδοι αθροίσματος τετραγώνων

3 6.3 Αλγόριθμοι clustering Εφαρμογή του αλγόριθμου k-means σε περιβαλλοντικές χρονοσειρές της πόλης της Θεσσαλονίκης Σταθμός Α.Π.Θ Σταθμός Καλαμαριάς Σταθμός Κορδελιού Σταθμός Σίνδου Συμπεράσματα Επίλογος Παράρτημα Α - Δείκτες αξιολόγησης της επίδοσης των μοντέλων Παράρτημα Β - Η μέθοδος Bayesian Principal Component Analysis (BPCA) Βιβλιογραφία

4 1 Εισαγωγή Το ΝΟ 2 αποτελεί μέλος της οικογένειας των οξειδίων του αζώτου (ΝΟ x ), μια ομάδα αέριων ρύπων που δημιουργείται κυρίως από διεργασίες καύσης. Κύρια πηγή παραγωγής ΝΟ 2 στις πόλεις, είναι τα οχήματα. Το ΝΟ που παράγεται από τις μηχανές των μηχανοκίνητων οχημάτων, αντιδρά με το οξυγόνο του αέρα παράγοντας ΝΟ 2. Στη συνέχεια το ΝΟ 2 μετασχηματίζεται σε όζον καθώς και σε αιωρούμενα σωματίδια (ΡΜ), με ενδιάμεσο στάδιο τη μετατροπή του σε νιτρικό οξύ (ΗΝΟ 3 ). Ως ρύπος, το ΝΟ 2 είναι τοξικός και μπορεί να προκαλέσει προβλήματα στο αναπνευστικό σύστημα του ανθρώπου. Το γεγονός αυτό, σε συνδυασμό με το ότι το ΝΟ 2 αποτελεί ενδιάμεσο στάδιο παραγωγής άλλων ρύπων, τον καθιστά αρκετά επικίνδυνο. Σκοπός της εργασίας είναι να εφαρμόσει στατιστικές μεθόδους και μεθόδους εξόρυξης δεδομένων, ώστε να προκύψουν μοντέλα που θα μας βοηθήσουν να αναλύσουμε το σχηματισμό του ΝΟ 2 και να προβούμε σε προβλέψεις. Η κατασκευή των μοντέλων αφορά σταθμούς παρακολούθησης αέρα οι οποίοι είναι τοποθετημένοι σε διάφορα σημεία της πόλης της Θεσσαλονίκης (Α.Π.Θ., Καλαμαριά, Σίνδος, Κορδελιό). Σημειώνεται ότι η πόλη της Θεσσαλονίκης είναι η δεύτερη μεγαλύτερη πόλη της Ελλάδας και μία από τις μεγαλύτερες των Βαλκανίων, όπου ο σχηματισμός και η μεταφορά των ρύπων στην ατμόσφαιρα επηρεάζονται άμεσα από τις μετεωρολογικές συνθήκες και τα τοπογραφικά χαρακτηριστικά της πόλης. Αρχικά γίνεται μια ανάλυση των χρονοσειρών ως προς το ΝΟ 2, με τη βοήθεια περιοδογραμμάτων, με σκοπό να βρεθούν τυχόν περιοδικότητες στην εμφάνιση υψηλών τιμών του ρύπου. Στη συνέχεια, με τη βοήθεια της Principal Component Analysis, μιας μεθόδου ανάλυσης πολυδιάστατων δεδομένων, αναζητούμε τους παράγοντες που ευνοούν το σχηματισμό του ΝΟ 2. Για τη πρόβλεψη συγκεντρώσεων ΝΟ 2 χρησιμοποιήσαμε μια κλασική στατιστική μέθοδο, τη γραμμική παλινδρόμηση. Τέλος, χρησιμοποιώντας τη μέθοδο clustering, μια μέθοδο εξόρυξης δεδομένων, αναζητήσαμε διάφορες δομές στα δεδομένα ώστε να μπορέσουμε να αναλύσουμε καλύτερα της προϋποθέσεις εμφάνισης του ΝΟ 2 στην ατμόσφαιρα. 3

5 2 Δίκτυο μετρήσεων ποιότητας αέρα στην Θεσσαλονίκη Στην παρούσα εργασία θα αναλυθούν δεδομένα (ωριαίες συγκεντρώσεις ρύπων και μετεωρολογικών παραμέτρων) όπως αυτά μετρήθηκαν και καταγράφηκαν από το δίκτυο παρακολούθησης ποιότητας αέρα της Θεσσαλονίκης το οποίο λειτουργεί η Περιφέρεια Κεντρικής Μακεδονίας (Π.Κ.Μ.), ( Το δίκτυο αποτελείται από σταθμούς μέτρησης τοποθετημένους σε ενδεικτικά σημεία της πόλης όπως φαίνεται και στο Σχήμα 2.1 που ακολουθεί. Για τους σκοπούς της εργασίας θα χρησιμοποιηθούν δεδομένα των σταθμών: Α.Π.Θ., Καλαμαριάς, Σίνδου και Ελ. Κορδελιού και για τις χρονικές περιόδους για τους σταθμούς Α.Π.Θ., Σίνδου και Ελ. Κορδελιού, ενώ για τον σταθμό της Καλαμαριάς χρησιμοποιήθηκαν δεδομένα από την χρονική περίοδο Κωδικός Σ1 Σ2 Σ3 Σ4 Σ5 Σ6 Σ7 Σ8 Σταθμός ΤΕΙ Σίνδου Νεοχωρούδα Ελ.Κορδελιό Πλ. Δημοκρατίας Πλ. Αγ. Σοφίας ΑΠΘ Πανόραμα Καλαμαριά 4

6 3 Περιοδογράμματα 3.1 Εισαγωγή Στο κεφάλαιο αυτό παρουσιάζονται τα περιοδογράμματα των χρονοσειρών που έγιναν διαθέσιμες από τους σταθμούς παρακολούθησης ποιότητας αέρα της πόλης της Θεσσαλονίκης. Ως χρονοσειρά ορίζεται μία ακολουθία (σειρά) διανυσμάτων τιμών, συνεχών ή διακριτών μεγεθών, που διατάσσονται με τον χρόνο. Παραδείγματος χάριν η χρονοσειρά μεταβολής της συγκέντρωσης ΝΟ 2, όπως μετρήθηκε στον σταθμό του Α.Π.Θ. το έτος 2003 έχει την μορφή του παρακάτω σχήματος. 200 AUTH NO 2 (μg/m 3 ) hours Ένα από τα βασικότερα ερωτήματα που προκύπτουν κατά την ανάλυση μίας χρονοσειράς είναι το αν παρουσιάζει μία περιοδικότητα με τον χρόνο και αν μπορούμε να εξάγουμε κάποια μοτίβα από αυτή. Μία μέθοδος ανάλυσης χρονοσειρών είναι ο μετασχηματισμός Fourier, βάσει της οποίας είναι δυνατή η διερεύνηση της ύπαρξης περιοδικοτήτων. 3.2 Μετασχηματισμός Fourier Περιοδογράμματα Ο μετασχηματισμός Fourier αναλύει μία συνάρτηση σε άθροισμα τριγωνομετρικών συναρτήσεων. Μία υποκατηγορία του μετασχηματισμού Fourier είναι o διακριτός μετασχηματισμός Fourier ο οποίος πραγματοποιείται με χρήση του αλγόριθμου FFT. Για μία δεδομένη χρονοσειρά η οποία αποτελείται από Ν στοιχεία ο FFT μας δίνει ένα Ν διάστατο διάνυσμα με βάση την σχέση: 5

7 k n k n N x( n) a( k)cos b( k)sin N k 1 N N Όσον αφορά το ερώτημα για το ποιες συχνότητες είναι σημαντικές για την υπό μελέτη χρονοσειρά εισάγεται η χρήση των περιοδογραμμάτων. Τα περιοδογράμματα ορίστηκαν σαν μια μέθοδος με την οποία μπορούμε να ανακαλύψουμε τις «κρυμμένες» αρμονικές συναρτήσεις σε μία συνάρτηση. Το περιοδόγραμμα εξετάζει όλες τις δυνατές συχνότητες και ποσοτικοποιεί την σπουδαιότητα της καθεμίας για την χρονοσειρά που μελετάμε. Εφαρμόζοντας τον FFT σε μία χρονοσειρά παίρνουμε σαν αποτέλεσμα την συνάρτηση Υ. Το μέγεθος του τετραγώνου του Υ ονομάζεται ισχύς (συμβολίζεται και ως r2) και το διάγραμμα της ισχύος ως προς την συχνότητα αποτελεί το περιοδόγραμμα. Τα σημεία εμφάνισης μεγίστων στο σχετικό διάγραμμα αποτελούν ένδειξη περιοδικότητας. 3.3 Εφαρμογή σε περιβαλλοντικές χρονοσειρές για την πόλη της Θεσσαλονίκης Ο υπολογισμός των περιοδογραμμάτων έγινε με την βοήθεια του λογισμικού MATLAB ( το οποίο παρέχει βιβλιοθήκη έτοιμων σχετικών συναρτήσεων Σταθμός Α.Π.Θ. Στη βάση αυτού το περιοδόγραμμα για την ωριαία συγκέντρωση NO 2 όπως αυτή μετρήθηκε στον αστικό σταθμό του Α.Π.Θ. κατά την περίοδο , έχει την μορφή: 5 x 1010 Periodogram for AUTH power cycles/hour Από το περιοδόγραμμα προκύπτουν δύο περιοδικότητες, μία των 12 ωρών και μία των 24 ωρών με πιο έντονη αυτή των 12 ωρών. 6

8 3.3.2 Σταθμός Καλαμαριάς Παρακάτω παρουσιάζονται τα περιοδογράμματα ορισμένων από τις μετρήσεις του σταθμού παρακολούθησης ποιότητας αέρα της περιοχής της Καλαμαριάς: 10 x 1010 Periodogram for Kalamaria power cycles/hour Για τον αστικό σταθμό της Καλαμαριάς οι περιοδικότητες είναι 12 ωρών, που είναι εντονότερη, και 24 ωρών. Στο διάγραμμα εμφανίζονται και δυο μικρότερες αλλά αρκετά εμφανείς περιοδικότητες σχεδόν ίδιας ισχύος. Μία 8 ωρών και μία μιας εβδομάδας Σταθμός Κορδελιού Το περιοδόγραμμα για τον σταθμό παρακολούθησης στο Κορδελιό είναι: 2 x 1011 Periodogram for Kordelio power cycles/hour 7

9 Για τον σταθμό του Κορδελιού έχουμε 3 περιοδικότητες. Μία έντονη 12 ωρών και δύο με σχεδόν την ίδια ισχύ. Μία 24 ωρών και μία περιοδικότητα μιας εβδομάδας Σταθμός Σίνδου Το περιοδόγραμμα στο σταθμό παρακολούθησης της Σίνδου: 5 x 109 Periodogram for Sindos power cycles/hour Στον περιαστικό σταθμό της Σίνδου έχουμε τρεις έντονες περιοδικότητες. Κατά σειρά ισχύος αυτές είναι 12 ωρών, 24 ωρών και μίας εβδομάδας. Στο σταθμό αυτόν εμφανίζεται κι ένας σχετικά έντονος θόρυβος. 3.4 Συμπεράσματα Είδαμε σε όλους τους σταθμούς να εμφανίζονται οι ίδιες περιοδικότητες των 12 και των 24 ωρών, που δείχνει την επίδραση της ανθρωπογενούς δραστηριότητας στα επίπεδα συγκέντρωσης του ρύπου. Στους περισσότερους σταθμούς εμφανίστηκε και μια περιοδικότητα της μιας εβδομάδας. Είδαμε και στον περιαστικό σταθμό της Σίνδου ότι υπήρχε αρκετά έντονη η παρουσία θορύβου, πράγμα που οφείλεται στις χαμηλές ισχύς των έντονων περιοδικοτήτων. 8

10 4 Principal Component Analysis (PCA) 4.1 Εισαγωγή Η ανάλυση ενός μεγάλου σετ δεδομένων, πολλών διαστάσεων, είναι συνήθως δύσκολη κι επίπονη. Γι αυτό έχουν αναπτυχθεί μέθοδοι ανάλυσης οι οποίες διευκολύνουν στην εξαγωγή συμπερασμάτων για τα δεδομένα που έχουν συλλεχθεί. Μία τέτοια μέθοδος είναι η μέθοδος ανάλυσης πρωτευόντων όρων (Principal Components Analysis, PCA), η οποία χρησιμοποιείται για την απλοποίηση ενός πολυδιάστατου σετ δεδομένων. Η μέθοδος αυτή αποτελεί έναν ορθογώνιο γραμμικό μετασχηματισμό πάνω στα δεδομένα, τα οποία μετασχηματίζονται σε ένα νέο σύστημα συντεταγμένων, στο οποίο η προβολή των δεδομένων με τη μεγαλύτερη μεταβλητότητα βρίσκονται πάνω στο πρώτο principal component, με τη δεύτερη μεγαλύτερη μεταβλητότητα στο δεύτερο, κ.ο.κ.. Επιλέγοντας τα principal components που ερμηνεύουν το μεγαλύτερο μέρος της μεταβλητότητας των αρχικών δεδομένων, μειώνονται οι διαστάσεις του σετ και γίνεται ευκολότερη η επεξεργασία τους. 4.2 Μεθοδολογία Συγκεντρώνουμε τα δεδομένα στα οποία θέλουμε να εφαρμόσουμε τη μέθοδο και τα τοποθετούμε σε πίνακα έτσι ώστε κάθε στήλη να περιέχει μετρήσεις της ίδιας παραμέτρου. Από κάθε στήλη αφαιρούμε τη μέση της τιμή έτσι ώστε να καταλήξουμε σε ένα σετ δεδομένων με μηδενική μέση τιμή. Υπολογίζουμε τη μεταβλητότητα διασπορά (ή μεταβλητότητα) κάθε στήλης. Η διασπορά μιας μεταβλητής αποτελεί μέτρο της απόκλισής της από τη μέση τιμή της, και ορίζεται από τη σχέση: Στη συνέχεια υπολογίζουμε τη συνδιασπορά (ή συμμεταβλητότητα) μεταξύ δύο παραμέτρων Χ και Υ, η οποία είναι ένα μέτρο του πως μεταβάλλεται η μία παράμετρος σε σχέση με την άλλη: Τις συνδιασπορές που υπολογίσαμε τις τοποθετούμε σε πίνακα, του οποίου υπολογίζουμε τις ιδιοτιμές και τα ιδιοδιανύσματα. Το ιδιοδιάνυσμα που περιγράφει καλύτερα το σετ δεδομένων είναι αυτό στο οποίο αντιστοιχεί η μεγαλύτερη ιδιοτιμή κι αυτό αποτελεί το principal component. Τοποθετούμε τα ιδιοδιανύσματα κατά φθίνουσα ιδιοτιμή, έτσι ώστε να μπορέσουμε να δούμε ποια είναι τα πιο σημαντικά, με τα οποία θα σχηματίσουμε το Feature Vector της μορφής: 9

11 Το μόνο που μένει πλέον είναι να μετασχηματίσουμε το αρχικό σετ δεδομένων μας Α. Αυτό θα συμβεί πολλαπλασιάζοντας τον ανάστροφο πίνακά του σετ από αριστερά με τον ανάστροφο πίνακα των ιδιοδιανυσμάτων Β, με αποτέλεσμα το παρακάτω: 4.3 Εφαρμογή της μεθόδου PCA σε περιβαλλοντικές χρονοσειρές για την πόλη της Θεσσαλονίκης Με βάση τα όσα αναφέρθηκαν παραπάνω, θα εφαρμοστεί η μέθοδος σε πίνακες μετρήσεων ρύπων και μετεωρολογικών παραμέτρων από σταθμούς μέτρησης ποιότητας αέρα της Θεσσαλονίκης. Η εφαρμογή της PCA λόγω της πολυπλοκότητας των πράξεων για πολύ μεγάλους πίνακες έγινε με χρήση του πακέτου λογισμικού MATLAB ( Σταθμός Α.Π.Θ. Εφαρμόσθηκε η PCA για τα δεδομένα του σταθμού του Αριστοτελείου Πανεπιστημίου Θεσσαλονίκης για την περίοδο Ο πίνακας των δεδομένων αποτελείται από μετρήσεις για το ΝΟ 2, Ο 3, θερμοκρασία (temp), υγρασία (hum), ταχύτητα ανέμου (ws), διεύθυνση ανέμου (wd). Τα αποτελέσματα της μεθόδου καθώς και ο πίνακας συντελεστών συσχέτισης παρουσιάζονται αμέσως παρακάτω: Correlation Coefficients ΝΟ 2 Ο 3 Temp Hum WS sinwd coswd ΝΟ Ο Temp Hum WS sinwd coswd Από τους συντελεστές συσχέτισης, βλέπουμε ισχυρή συσχέτιση του ΝΟ 2 με το Ο 3, όπως και με την ένταση του ανέμου. Principal Components PC1 PC2 PC3 PC4 PC5 PC6 PC7 ΝΟ Ο Temp Hum WS sinwd coswd % var

12 Για να αποφασίσουμε ποιο από τα εφτά PCs θα κρατήσουμε θα εφαρμόσουμε τη μέθοδο των Humphrey και Ilgen. Κατά τη μέθοδο αυτή δημιουργούμε ένα σετ τυχαίων δεδομένων ίδιου μεγέθους με το σετ που μελετάμε και εφαρμόζουμε πάνω του το PCA. Από τα PCs που προκύπτουν παίρνουμε τα ποσοστά της variance του καθενός και τα βάζουμε στο ίδιο σχήμα με τις variance των υπό μελέτη διανυσμάτων. Με διακεκομμένη γραμμή οι variance των διανυσμάτων του τυχαίου σετ. Τελικά κρατάμε τα PCs που βρίσκονται πάνω από τη διακεκομμένη γραμμή. Δηλαδή, για το Α.Π.Θ. το σετ δεδομένων μας μπορεί να παρασταθεί από τα PC1 και PC2. Πραγματοποιώντας μια varimax στροφή σε αυτά τα δύο διανύσματα (στροφή που μεγιστοποιεί τη διασπορά), αυτά μετασχηματίζονται σε: PC1 PC Το πρώτο διάνυσμα αναπαριστά πιο έντονα το Ο 3 το ΝΟ 2, την υγρασία και την ένταση του ανέμου ενώ το δεύτερο αναπαριστά πιο έντονα τη θερμοκρασία και τη διεύθυνση του ανέμου. 11

13 4.3.2 Σταθμός Καλαμαριάς Για το σταθμό της Καλαμαριάς έχουμε: Correlation Coefficients ΝΟ 2 Ο 3 Temp Hum WS sinwd coswd ΝΟ Ο Temp Hum WS sinwd coswd Από τους συντελεστές συσχέτισης βλέπουμε ισχυρότερη συσχέτιση του ΝΟ 2 κατά πρώτο λόγο με το Ο 3 και κατά δεύτερο με τη θερμοκρασία και την ένταση του ανέμου. Principal Components PC1 PC2 PC3 PC4 PC5 PC6 PC7 ΝΟ Ο Temp Hum WS sinwd coswd % var Η μέθοδος Humphrey Ilgen μας δίνει το παρακάτω σχήμα: 12

14 Τα σημαντικά διανύσματα είναι τα PC1 και PC2. Με varimax rotation παίρνουμε: PC1 PC Το πρώτο διάνυσμα αναπαριστά κυρίως ΝΟ 2, Ο 3, θερμοκρασία και υγρασία ενώ το δεύτερο διάνυσμα αναπαριστά τη ταχύτητα και τη διεύθυνση του ανέμου Σταθμός Κορδελιού Για το σταθμό του Κορδελιού η μέθοδος PCA μας δίνει: Correlation Coefficients ΝΟ 2 Ο 3 Temp Hum WS sinwd coswd ΝΟ Ο Temp Hum WS sinwd coswd Οι συντελεστές συσχέτισης μα δείχνουν υψηλή συσχέτιση του ΝΟ 2 με το Ο 3 και τη ταχύτητα του ανέμου. Principal Components PC1 PC2 PC3 PC4 PC5 PC6 PC7 ΝΟ 2 0,3193-0,4931 0,0268-0,5472 0,4417 0,0824-0,3906 Ο 3-0,5410 0,0598-0,0658 0,0184 0,0930-0,6041-0,5704 Temp -0,4011-0,3560-0,3394-0,1082-0,5257 0,5019-0,2385 Hum 0,4769 0,1195-0,0469 0,5757-0,0781 0,1815-0,6208 WS -0,4008 0,4125 0,2871-0,0146 0,4710 0,5842-0,1522 sinwd 0,0873 0,3456-0,8783-0,1141 0,2881 0,0297 0,0666 coswd 0,2204 0,5678 0,1533-0,5862-0,4569-0,0308-0,2280 % var

15 Με τη μέθοδο Humphrey Ilgen παίρνουμε το παρακάτω σχήμα: Τα σημαντικά διανύσματα είναι το PC1 και το PC2 που μετά από το μετασχηματισμό varimax γίνονται: PC1 PC Το πρώτο διάνυσμα αναπαριστά κυρίως ΝΟ 2, Ο 3 και ταχύτητα ανέμου ενώ το δεύτερο Ο 3, θερμοκρασία, υγρασία και διεύθυνση ανέμου. 14

16 4.3.4 Σταθμός Σίνδου Τέλος, για το σταθμό της Σίνδου έχουμε: Correlation Coefficients ΝΟ 2 Ο 3 Temp Hum WS sinwd coswd ΝΟ 2 1-0,4332-0,1967 0, ,3931 0,1160 0,0615 Ο 3-0, ,5913-0,6962 0,4621 0,1397-0,3785 Temp -0,1967 0, ,4682 0,0232 0,1051-0,4209 Hum 0,2134-0,6962-0, ,4974 0,0110 0,1376 WS -0,3931 0,4621 0,0232-0, ,1004 0,1420 sinwd 0,1160 0,1397 0,1051 0,0110-0, ,1140 coswd 0,0615-0,3785-0,4209 0,1376 0,1420-0, Οι συντελεστές συσχέτισης μας δείχνουν πιο έντονη συσχέτιση του ΝΟ 2 με το Ο 3 και τη ταχύτητα του ανέμου. Principal Components PC1 PC2 PC3 PC4 PC5 PC6 PC7 ΝΟ Ο Temp Hum WS sinwd coswd % var Με τη μέθοδο Humphrey Ilgen παίρνουμε: 15

17 Και σε αυτή τη περίπτωση αυτή έχουμε δύο σημαντικά διανύσματα τα οποία με εφαρμογή της στροφής varimax γίνονται: PC1 PC Το πρώτο διάνυσμα αναπαριστά κυρίως ΝΟ 2, Ο 3, υγρασία και ταχύτητα ανέμου ενώ το δεύτερο αναπαριστά Ο 3, θερμοκρασία και διεύθυνση ανέμου. 4.4 Συμπεράσματα Εφαρμόζοντας τη μέθοδο PCA στις μετρήσεις συγκεντρώσεων ρύπων και μετεωρολογικών δεδομένων σε περιοχές της πόλης της Θεσσαλονίκης, συμπεράναμε ότι υπάρχει ισχυρή συσχέτιση του ΝΟ 2 με το Ο 3 και την ένταση του ανέμου. Αντίθετα η θερμοκρασία (εκτός του σταθμού της Καλαμαριάς), η υγρασία και η διεύθυνση του ανέμου έχουν μικρή επίδραση στις συγκεντρώσεις ΝΟ 2. Υψηλές τιμές έντασης ανέμου δεν ευνοούν το σχηματισμό υψηλών συγκεντρώσεων ΝΟ 2. Στη περίπτωση της Καλαμαριάς, όπου σημαντική συσχέτιση έχει και η θερμοκρασία, υψηλές τιμές συγκέντρωσης του ρύπου ευνοούν οι χαμηλές θερμοκρασίες. 16

18 5 Παλινδρόμηση 5.1 Εισαγωγή Στην παράγραφο αυτή θα αναλυθούν οι τεχνικές πολλαπλής παλινδρόμησης που εφαρμόστηκαν σε περιβαλλοντικές και μετεωρολογικές χρονοσειρές για την εξαγωγή σχέσεων με σκοπό την πρόβλεψη των συγκεντρώσεων Ο 3 για την πόλη της Θεσσαλονίκης. 5.2 Γραμμική παλινδρόμηση Στο παρακάτω διάγραμμα μεταξύ συγκέντρωσης ΝΟ 2 και θερμοκρασίας, για το σταθμό του Α.Π.Θ., μπορούμε να διακρίνουμε μια γραμμική σχέση μεταξύ των δύο μεγεθών. Υπάρχει λοιπόν μια ευθεία της μορφής η οποία μπορεί να προσαρμοστεί στα δεδομένα. Η προσαρμοσμένη ευθεία αποτελεί μία πρώτη προσέγγιση πρόβλεψης της συγκέντρωσης ΝΟ 2 με βάση τη θερμοκρασία. Η διαφορά της πραγματικής τιμής από τη προβλεπόμενη είναι το σφάλμα ή υπόλοιπο. Ο υπολογισμός των σταθερών της προσαρμοσμένης ευθείας γίνεται με τις παρακάτω σχέσεις: 17

19 Εφαρμόζουμε τις παραπάνω σχέσεις στα δεδομένα του σχήματος και έτσι υπολογίζουμε την προσαρμοσμένη ευθεία η οποία είναι: Η επιλογή της ευθείας που προσαρμόζεται στα δεδομένα μας γίνεται με βάση κάποιους περιορισμούς που προκύπτουν από τις τιμές σφάλματος για κάθε μία από τις ευθείες που μπορεί να περιγράψει τη τάση των δεδομένων. Το κατάλληλο μοντέλο γραμμικής παλινδρόμησης είναι αυτό για το οποίο οι τιμές του σφάλματος ελαχιστοποιούνται και το άθροισμα των σφαλμάτων για κάθε ένα σημείο είναι μηδέν. Συνοπτικά για τις τιμές ισχύουν: του μοντέλου γραμμικής παλινδρόμησης θα πρέπει να - Το άθροισμα τους για όλα τα σημεία να είναι μηδέν. - Η κατανομή να είναι κανονική, δηλαδή πρέπει να έχουν τυχαίες τιμές ώστε να μην υπάρχει συστηματικό σφάλμα. Αν τα υπόλοιπα δε προέρχονται από κανονική κατανομή τότε έχουμε ακατάλληλο για πρόβλεψη μοντέλο. - Τα υπόλοιπα πρέπει να είναι ανεξάρτητα μεταξύ τους. Αν δεν είναι σημαίνει ότι έχουμε μία συσχέτιση στα δεδομένα μας που δεν εκφράζονται από το μοντέλο. Έτσι, αν έχουμε ανεξάρτητα υπόλοιπα σημαίνει ότι το σφάλμα που προκύπτει είναι τυχαίο και το μοντέλο δεν αφήνει κάποια συστηματική μεταβολή αδικαιολόγητη. 5.3 Σύγκριση μοντέλων - Ανάλυση μεταβλητότητας (ANOVA) Για να δούμε κατά πόσο είναι ικανοποιητικό το μοντέλο γραμμικής παλινδρόμησης που υπολογίσαμε παραπάνω θα χρησιμοποιήσουμε τη μέθοδο της ανάλυσης μεταβλητότητας (ANOVA). Η μέθοδος αυτή υπολογίζει τη μεταβλητότητα για κάθε μία τιμή ΝΟ 2 που προβλέπεται από το μοντέλο γραμμικής παλινδρόμησης. Αφαιρώντας από τις προβλεπόμενες τιμές τη μέση τιμή κάθε συγκέντρωσης και αθροίζοντας τα τετράγωνά τους προκύπτει το μέγεθος SS (Sum of squares) που εκφράζει το ποσό της διασποράς που ερμηνεύει το μοντέλο μας και υπολογίζεται από τη σχέση: Όπου και το Residual Sum of Squares, μέγεθος που εκφράζει τη διασπορά των δεδομένων που δεν εκφράζονται από το μοντέλο μας. 18

20 Βαθμοί Άθροισμα ελευθερίας τετραγώνων Μέση τιμή τετραγώνων Μοντέλο Υπόλοιπο Σύνολο Με τον όρο βαθμοί ελευθερίας εννοούμε το σύνολο των ανεξάρτητων τμημάτων πληροφορίας που χρησιμοποιούνται για την πρόβλεψη μιας παραμέτρου. Βλέπουμε πολύ μεγάλες τιμές για το άθροισμα των τετραγώνων τόσο για το μοντέλο αλλά και για τα υπόλοιπα. Αυτό οφείλεται τόσο στο μικρό δείγμα το οποίο χρησιμοποιήσαμε, όσο και στο γεγονός ότι η συγκέντρωση NO 2 δεν εξαρτάται μόνο από τη θερμοκρασία αλλά και από άλλους παράγοντες. 5.4 Πολλαπλή παλινδρόμηση Όπως είδαμε παραπάνω, το άθροισμα των τετραγώνων του υπόλοιπου είναι πολύ μεγάλο, πράγμα που σημαίνει ότι υπάρχουν επιπλέον παράγοντες που συμμετέχουν στη διασπορά των δεδομένων. Θα προσθέσουμε λοιπόν στη μελέτη μας για τη πρόβλεψη του ΝΟ 2, πέρα από τη θερμοκρασία, την ωριαία συγκέντρωση του Ο 3, την υγρασία, τη ταχύτητα του ανέμου, καθώς και η μετασχηματισμένη διεύθυνση του ανέμου η οποία είναι: Έχοντας τόσες μεταβλητές θα χρησιμοποιήσουμε τη πολλαπλή παλινδρόμηση, όπου έχουμε την εξαρτημένη μεταβλητή και τις ανεξάρτητες μεταβλητές. Η εξίσωση θα έχει τη μορφή: 5.5 Μοντέλα παλινδρόμησης για την Θεσσαλονίκη Σαν εφαρμογή των όσων αναφέρθηκαν, θα χρησιμοποιηθούν δεδομένα από σταθμούς παρακολούθησης ποιότητας αέρα για την πόλη της Θεσσαλονίκης, για να κατασκευαστεί ένα μοντέλο πολλαπλής παλινδρόμησης για την πρόβλεψη των ωριαίων συγκεντρώσεων NO 2. Με την εφαρμογή της μεθόδου Principal Component Analysis, η οποία παρουσιάζεται στο αντίστοιχο κεφάλαιο, βρέθηκε ότι οι ανεξάρτητες μεταβλητές που συμβάλλουν στην διακύμανση της ημερήσιας συγκέντρωσης NO 2, είναι κυρίως οι ωριαίες τιμές της συγκέντρωσης O 3, της θερμοκρασίας, της υγρασίας, της ταχύτητας ανέμου, και της μετασχηματισμένης διεύθυνσης ανέμου. 19

21 Η κατασκευή του μοντέλου γίνεται υπολογιστικά και όχι με άμεση χρήση των εξισώσεων που παρουσιάσαμε, με την βοήθεια του υπολογιστικού περιβάλλοντος μηχανικής μάθησης, εξόρυξης δεδομένων και τεχνητής νοημοσύνης WEKA 3.4 ( Σταθμός Α.Π.Θ. Θα δημιουργήσουμε το μοντέλο πολλαπλής παλινδρόμησης για τον σταθμό του Α.Π.Θ. με βάση δεδομένα για το διάστημα και θα αξιολογήσουμε το μοντέλο με βάση τα δεδομένα του έτους Αφού μιλάμε για συγκέντρωση ρύπου, φαίνεται λογικό να εξαρτάται κι από τη συγκέντρωση τις αμέσως προηγούμενης ώρας. Για αυτό το λόγο, εκτός των περιβαλλοντικών παραμέτρων, εισάγουμε τη συγκέντρωση του ΝΟ 2 της προηγούμενης ώρας, καθώς και την αντίστοιχη του Ο 3. Η εξίσωση γραμμικής παλινδρόμησης που προκύπτει είναι: όπου Temp η θερμοκρασία, Hum η υγρασία, WS η ταχύτητα του ανέμου και WD η διεύθυνση του ανέμου. Παρακάτω βλέπουμε τη συγκέντρωση του ρύπου για το έτος 2003, καθώς και τη συγκέντρωση που πρόβλεψε το παραπάνω μοντέλο. Με μια πρώτη ματιά διαπιστώνουμε ότι η μορφή της προβλεπόμενης χρονοσειράς παρομοιάζει αρκετά αυτή της πραγματικής. Οι στατιστικοί δείκτες που προέκυψαν είναι: 20

22 Συντελεστής συσχέτισης Mean Absolute Error Root Mean Squared Error Index Οf Agreement Relative Absolute Error Root Relative Squared Error Πραγματικές τιμές Προβλεπόμενες τιμές Μέση τιμή Τυπική απόκλιση Η συσχέτιση μεταξύ πραγματικών και προβλεπόμενων είναι πολύ καλή, όπως και το ΙΑ. Όμως τα σφάλματα, κυρίως τα σχετικά, είναι αρκετά υψηλά, ενώ υπάρχει και μια σημαντική διαφορά στις μέσες τιμές. Μια καλή εποπτική εικόνα μπορούμε να λάβουμε από το παρακάτω διάγραμμα διασποράς. Παρατηρούμε ότι για χαμηλές συγκεντρώσεις οι προβλεπόμενες τιμές είναι κατά κύριο λόγο υψηλότερες τον πραγματικών, όμως υπάρχει μια αδυναμία του μοντέλου να προβλέψει υψηλές συγκεντρώσεις ΝΟ 2 (εκτός από μία μέτρηση που μετρήθηκε με μεγάλη ακρίβεια). Επίσης βλέπουμε ότι υπάρχουν αρκετές λάθος προβλέψεις υψηλών συγκεντρώσεων. Μπορούμε να υποπτευθούμε ότι οι λάθος προβλέψεις για υψηλές συγκεντρώσεις οφείλονται στη χρήση της παραμέτρου. Λόγω του ότι το μοντέλο είναι γραμμικό, μετά από κάθε επεισόδιο υψηλής συγκέντρωσης του ρύπου, η χρήση της συγκεκριμένης παραμέτρου οδηγεί σε πρόβλεψη για υψηλή συγκέντρωση την αμέσως επόμενη ώρα. Αποτέλεσμα αυτού είναι να έχουμε μια μετακίνηση των μεγίστων της χρονοσειράς δεξιά. Αυτό φαίνεται παρακάτω, όπου 21

23 έχουμε σχεδιάσει τις πραγματικές (με μπλε) και τις προβλεπόμενες (με κόκκινη διακεκομμένη) τιμές γύρω από τη περιοχή μέγιστης συγκέντρωσης Σταθμός Καλαμαριάς Ακολουθούμε την ίδια διαδικασία παίρνοντας μετρήσεις από το σταθμό της Καλαμαριάς. Τα δεδομένα που χρησιμοποιήσαμε για την εξαγωγή της εξίσωσης γραμμικής παλινδρόμησης ήταν της περιόδου και αξιολόγηση του μοντέλου έγινε με δεδομένα του έτους Η εξίσωση έχει τη μορφή: Παρακάτω συγκρίνεται η εξίσωση παλινδρόμησης με τις πραγματικές τιμές: 22

24 Βλέπουμε και πάλι σημαντική ομοιότητα στη μορφή των δύο χρονοσειρών. Τα στατιστικά αποτελέσματα των παραπάνω εξισώσεων φαίνονται στη συνέχεια: Συντελεστής συσχέτισης Mean Absolute Error Root Mean Squared Error Index Οf Agreement Relative Absolute Error Root Relative Squared Error Πραγματικές τιμές Προβλεπόμενες τιμές Μέση τιμή Τυπική απόκλιση Η χρήση ενός επιπλέον έτους για την παραγωγή του μοντέλου παλινδρόμησης οδήγησε σε μεγάλη βελτίωση των αποτελεσμάτων. Σε σχέση με τα αποτελέσματα για το σταθμό του Α.Π.Θ., βλέπουμε σημαντική βελτίωση του συντελεστή συσχέτισης και του IA, ενώ υπάρχει και σημαντική πτώση στους συντελεστές των σφαλμάτων. Επίσης, παρατηρούμε ότι η μέση τιμή πραγματικών και προβλεπόμενων τιμών είναι πάρα πολύ κοντά. 23

25 Στο διάγραμμα διασποράς παρατηρούμε ότι οι τιμές είναι όλες πολύ κοντά στην ευθεία x=y, με μικρές αποκλίσεις. Στις υψηλότερες τιμές συγκεντρώσεων του ρύπου, το μοντέλο προέβλεψε σχετικά χαμηλότερες τιμές, ενώ απέτυχε να προβλέψει το ένα και μοναδικό επεισόδιο υψηλής συγκέντρωσης του ρύπου. Με βάση τα όσα είδαμε και στο σταθμό του Α.Π.Θ., μπορούμε να συμπεράνουμε ότι η λανθασμένη πρόβλεψη υψηλής συγκέντρωσης ΝΟ 2 αντιστοιχεί στην επόμενη ώρα του πραγματικού επεισοδίου. Πράγματι, αυτό φαίνεται στο παρακάτω σχήμα: 24

26 5.5.3 Σταθμός Κορδελιού Για το σταθμό του Κορδελιού η εξαγωγή των εξισώσεων γραμμικής παλινδρόμησης έγινε με δεδομένα των ετών και η αξιολόγηση του μοντέλου με μετρήσεις του έτους Το μοντέλο γραμμικής παλινδρόμησης που υπολογίστηκε είναι: Το μοντέλο που δημιουργήθηκε δε λαμβάνει υπ όψη τις παραμέτρους της υγρασίας και της συγκέντρωσης όζοντος της προηγούμενης ώρας. Οι χρονοσειρές πραγματικών και προβλεπόμενων τιμών είναι: Η σημαντική διαφορά στη μορφή των χρονοσειρών από το καλοκαίρι και μετά σε σχέση με πριν, οφείλεται στο ότι δεν είχαμε δεδομένα για εκείνη τη περίοδο και έχουν συμπληρωθεί με τον αλγόριθμο της Bayesian Principal Component Analysis. Οι στατιστικοί δείκτες είναι: Συντελεστής συσχέτισης Mean Absolute Error Root Mean Squared Error Index of agreement Relative Absolute Error Root Relative Squared Error Πραγματικές τιμές Προβλεπόμενες τιμές Μέση τιμή Τυπική απόκλιση

27 Οι στατιστικοί δείκτες είναι πολύ κοντά με αυτούς του σταθμού του Α.Π.Θ., με ικανοποιητικό συντελεστή συσχέτισης και ΙΑ αλλά και αρκετά υψηλά σφάλματα. Το διάγραμμα διασποράς είναι: Βλέπουμε ότι για χαμηλές τιμές συγκέντρωσης του ρύπου, οι προβλεπόμενες τιμές είναι μεγαλύτερες από ότι οι αντίστοιχες πραγματικές. Όσο μεγαλώνουν οι συγκεντρώσεις, αυξάνει και η διαφορά μεταξύ πραγματικών και προβλεπόμενων τιμών, με τις προβλεπόμενες τιμές να είναι μικρότερες από τις πραγματικές. Και πάλι τα επεισόδια μέγιστης συγκέντρωσης έχουν προβλεφθεί σε διαφορετικές χρονικές στιγμές, κι όπως είδαμε και πριν, έχουν προβλεφθεί μία ώρα αργότερα από τη πραγματική μέγιστη τιμή. Αυτό φαίνεται στο παρακάτω σχήμα. 26

28 5.5.4 Σταθμός Σίνδου Τέλος, έχουμε τον σταθμό της Σίνδου, για τον οποίο η εξαγωγή των εξισώσεων γραμμικής παλινδρόμησης έγινε με δεδομένα των ετών και η αξιολόγηση του μοντέλου με μετρήσεις του έτους Η εξίσωση γραμμικής παλινδρόμησης είναι η παρακάτω: Η πραγματική χρονοσειρά κι αυτή που προκύπτει από το μοντέλο είναι: 27

29 Βλέπουμε για άλλη μια φορά αρκετή ομοιότητα στις μορφές των χρονοσειρών. Τα στατιστικά αποτελέσματα των παραπάνω εξισώσεων φαίνονται στη συνέχεια: Συντελεστής συσχέτισης Mean Absolute Error Root Mean Squared Error Index of agreement Relative Absolute Error Root Relative Squared Error Πραγματικές τιμές Προβλεπόμενες τιμές Μέση τιμή Τυπική απόκλιση Βλέπουμε ότι ο σταθμός της Σίνδου καταγράφει κατά μέσο όρο πολύ χαμηλές τιμές για το ΝΟ 2. Ο συντελεστής συσχέτισης είναι αρκετά καλός όπως και το ΙΑ, όμως τα σφάλματα είναι αρκετά υψηλά αν λάβουμε υπ όψη και το χαμηλό μέσο όρο συγκεντρώσεων του ρύπου. Στο διάγραμμα διασποράς βλέπουμε ότι οι τιμές απλώνονται αρκετά γύρω από την ευθεία x=y, και όσο παρατηρούνται μεγαλύτερες τιμές τόσο το μοντέλο αποκλίνει στις προβλέψεις του. Και πάλι βλέπουμε ότι το επεισόδιο μέγιστης συγκέντρωσης του ΝΟ 2 για τον σταθμό της Σίνδου προβλέφθηκε σε λάθος στιγμή και όπως είδαμε και στους υπόλοιπους σταθμούς, αυτή η πρόβλεψη έγινε για την επόμενη ώρα του πραγματικού επεισοδίου. 28

30 5.6 Συμπεράσματα Μελετήσαμε την εφαρμογή πολλαπλής παλινδρόμησης για τη πρόβλεψη ωριαίων συγκεντρώσεων ΝΟ 2. Τα μοντέλα εμφάνισαν μια ικανοποιητική συσχέτιση με τις πραγματικές τιμές και απέδωσαν σωστά τη τάση μεταβολής της συγκέντρωσης όμως απέτυχαν στη πρόβλεψη επεισοδίων υψηλής συγκέντρωσης ΝΟ 2. Καλύτερη απόδοση παρουσίασε το μοντέλο του σταθμού της Καλαμαριάς, το οποίο κατασκευάστηκε με τη χρήση δεδομένων δύο ετών, σε αντίθεση με τα δεδομένων ενός έτους των υπόλοιπων σταθμών μέτρησης. Η αποτυχία πρόβλεψης επεισοδίων οφείλεται κυρίως στη μη γραμμική σχέση της συγκέντρωσης ΝΟ 2 με τις υπόλοιπες παραμέτρους αλλά και στο ότι στους σταθμούς παρουσιάζονται πολλές φορές μεγάλα κενά στις μετρήσεις που συμπληρώθηκαν με τον αλγόριθμο της Bayesian Principal Component Analysis. 29

31 6 Clustering 6.1 Εισαγωγή Ένα μεγάλο σετ δεδομένων μπορούμε να το χωρίσουμε σε ομάδες, έτσι ώστε τα μέλη της κάθε ομάδας να έχουν παρόμοιες ιδιότητες, ενώ τα μέλη διαφορετικών ομάδων να είναι διαφορετικά. Η μέθοδος που χρησιμοποιούμε για το διαχωρισμό στις διάφορες ομάδες ονομάζεται clustering. Η μέθοδος αυτή μας βοηθάει να δούμε τις φυσικές ομαδοποιήσεις ή τις δομές που υπάρχουν στα δεδομένα μας. Κάθε ομάδα (ή cluster) είναι μια συλλογή από τα δεδομένα που έχουν παρόμοιες ιδιότητες. Έτσι, έχουμε μια κατηγοριοποίηση των δεδομένων από την οποία μπορούμε να βγάλουμε χρήσιμα συμπεράσματα για τυχόν υπάρχουσες δομές στα δεδομένα καθώς και να κατατάξουμε στις ομάδες που δημιουργήθηκαν, μελλοντικές μετρήσεις. Παρακάτω βλέπουμε ένα παράδειγμα για δισδιάστατα δεδομένα. Παρατηρούμε ότι τα σημεία μπορούν να χωριστούν σε τέσσερις ξεχωριστές και ανεξάρτητες ομάδες, χρησιμοποιώντας σαν κριτήριο κατηγοριοποίησης την απόσταση. Δηλαδή όσες μετρήσεις βρίσκονται κοντά μεταξύ τους ανήκουν σε μία ομάδα και είναι ανεξάρτητες από τις υπόλοιπες ομάδες. 6.2 Μέθοδοι αθροίσματος τετραγώνων Αυτές οι μέθοδοι βρίσκουν ένα μέρος των δεδομένων που μεγιστοποιεί ένα προκαθορισμένο κριτήριο clustering, βασιζόμενες στους πίνακες διασποράς εντός της κλάσης και μεταξύ διαφορετικών κλάσεων. Οι μέθοδοι διαφέρουν, ανάλογα με την επιλογή του κριτηρίου κατηγοριοποίησης. Το πρόβλημα όμως που όλες οι μέθοδοι προσπαθούν να λύσουν, είναι όταν έχουμε ένα σετ δεδομένων με n μέλη, να χωριστεί σε g ομάδες ώστε το κριτήριο κατηγοριοποίησης να είναι βέλτιστο. Οι περισσότερες μέθοδοι δεν είναι βέλτιστες. Οι υπολογιστικές απαιτήσεις απαγορεύουν βέλτιστα σχήματα, ακόμη και για μέσες τιμές του n. Γι αυτό χρειαζόμαστε μεθόδους οι οποίες, ενώ υπολογίζουν μια μη βέλτιστη ομάδα, δίνουν μια τιμή στο κριτήριο κατηγοριοποίησης που δεν είναι πολύ μεγαλύτερη από τη βέλτιστη. 30

32 Κριτήρια ομαδοποίησης Έστω σετ δεδομένων με n στοιχεία x 1,, x n. Ο πίνακας συμμεταβλητότητας είναι: όπου, η μέση τιμή του σετ δεδομένων. Έστω ότι υπάρχουν g ομάδες. Ο πίνακας διασποράς εντός της κλάσης είναι: που είναι των αθροισμάτων των τετραγώνων και των πινάκων διασποράς των g ομάδων, με z ij = 1 όταν το x i ανήκει στην ομάδα j ή 0 όταν δεν ανήκει, είναι η μέση τιμή της ομάδας j και ο αριθμός της ομάδας j. Ο πίνακας διασποράς μεταξύ των κλάσεων είναι: ο οποίος περιγράφει τη διασπορά των μέσων τιμών των ομάδων γύρω από τη συνολική μέση τιμή του σετ δεδομένων. Τα πιο δημοφιλή κριτήρια βελτιστοποίησης βασίζονται σε μονοπαραμετρικές συναρτήσεις των παραπάνω πινάκων. Παρακάτω φαίνονται κάποια από αυτά τα κριτήρια. 1. Ελαχιστοποίηση του Το ίχνος του πίνακα S w είναι το εύρος των διαγώνιων στοιχείων του: όπου, το άθροισμα των τετραγώνων των στοιχείων εντός της ομάδας j. Επομένως, η ελαχιστοποίηση του είναι ισοδύναμη με την ελαχιστοποίηση το συνολικό άθροισμα ελαχίστων τετραγώνων γύρω από τα g κέντρα. Οι μέθοδοι που ελαχιστοποιούν αυτή τη ποσότητα ονομάζονται αθροίσματος τετραγώνων ή ελάχιστης διασποράς. Οι ομάδες που δημιουργούν συνήθως έχουν υπερελλειψοειδές σχήμα. Το κριτήριο αυτό δεν είναι ανεξάρτητο από τη κλίμακα των αξόνων γι αυτό συνήθως πριν να εφαρμοστεί η μέθοδος πραγματοποιείται μια κανονικοποίηση στο σετ των δεδομένων. Εναλλακτικά, μπορούν να χρησιμοποιηθούν κριτήρια που είναι ανεξάρτητα σε γραμμικούς μετασχηματισμούς των δεδομένων. 31

33 2. Ελαχιστοποίηση του Το κριτήριο αυτό είναι ανεξάρτητο από συνεχείς γραμμικούς μετασχηματισμούς των δεδομένων. Για δοσμένο σετ δεδομένων, είναι ισοδύναμο με την εύρεση της διάτμησης των δεδομένων που ελαχιστοποιεί το (ο πίνακας είναι ανεξάρτητος της διάτμησης των δεδομένων). 3. Μεγιστοποίηση του Αυτό το κριτήριο είναι ισοδύναμο με το την ελαχιστοποίηση του αθροίσματος τετραγώνων υπό τη μετρική του Mahalanobis. Είναι ανεξάρτητο από συνεχείς γραμμικούς μετασχηματισμούς των δεδομένων. 4. Ελαχιστοποίηση του Είναι ισοδύναμο με την ελαχιστοποίηση του αθροίσματος τετραγώνων για δεδομένα τα οποία έχουν κανονικοποιηθεί έτσι ώστε ο συνολικός πίνακας διασποράς να είναι μοναδιαίος. 6.3 Αλγόριθμοι clustering Αναζητούμε μία σημαντική διάτμηση n δεδομένων σε g ομάδες για τις οποίες το επιλεγμένο κριτήριο είναι το βέλτιστο. Για να βρούμε τη βέλτιστη διάτμηση, χρειάζεται ο έλεγχος όλων των δυνατών διατμήσεων. Ο αριθμός των σημαντικών διατμήσεων n δεδομένων σε g ομάδες είναι: με τον τελευταίο όρο του αθροίσματος να είναι ο πιο σημαντικός για n >> g. Το άθροισμα γίνεται ραγδαία μεγαλύτερο όσο αυξάνει ο αριθμός των μετρήσεων. Για παράδειγμα, αν θέλουμε να χωρίσουμε 60 μετρήσεις σε 2 ομάδες, έχουμε πιθανές διατμήσεις, που κάνει πρακτικά αδύνατο τον έλεγχο όλων. Γι αυτό και καταλήγουμε σε μη βέλτιστες λύσεις, κάποιες από τις οποίες περιγράφονται παρακάτω. k-means Σκοπός του k-means αλγόριθμου είναι η διάτμηση των δεδομένων σε k ομάδες, έτσι ώστε το άθροισμα των τετραγώνων εντός της ομάδας να είναι ελάχιστο. Πρέπει, δηλαδή, να ικανοποιεί το πρώτο από τα προαναφερθέντα κριτήρια. Η απλούστερη μορφή του αλγόριθμου αποτελεί εναλλαγή δύο διαδικασιών. Η πρώτη είναι η αντιστοίχιση μετρήσεων σε ομάδες. Μια μέτρηση τοποθετείται στην ομάδα στης οποίας βρίσκεται πλησιέστερα στη μέση τιμή της, στον Ευκλείδειο χώρο. Η δεύτερη διαδικασία είναι ο υπολογισμός νέων μέσων τιμών στις ομάδες βασισμένοι στις καινούριες αντιστοιχίσεις. Ο αλγόριθμος τερματίζει όταν δεν έχουμε μετακινήσεις μετρήσεων σε νέες ομάδες που να μειώνουν το άθροισμα των τετραγώνων εντός των ομάδων. Ας δούμε ένα απλό παράδειγμα. 32

34 Έχουμε τα δισδιάστατα δεδομένα του σχήματος. Ας θέσουμε k = 2 και να επιλέξουμε δύο διανύσματα από το σετ δεδομένων ως αρχικά διανύσματα της μέσης τιμής των δύο ομάδων. Αρχικά χωρίζουμε το σετ δεδομένων σε δύο ομάδες Α και Β που τα κέντρα τους αντιστοιχούν από τα διανύσματα 5 και 6 αντίστοιχα. Στην ομάδα Α ανήκουν οι μετρήσεις 1, 2, 3, 4 και 5 και στην ομάδα Β ανήκει μόνο η 6. Υπολογίζουμε τις νέες μέσες τιμές των ομάδων και υπολογίζουμε το εντός των ομάδων άθροισμα των τετραγώνων που είναι 6.4. Επαναλαμβάνουμε τη διαδικασία χρησιμοποιώντας τα νέα διανύσματα μέσης τιμής ως διανύσματα αναφοράς. Αυτή τη φορά, οι μετρήσεις 1, 2, 3 και 4 μπαίνουν στην ομάδα Α και οι μετρήσεις 5 και 6 στην ομάδα Β. Το άθροισμα τετραγώνων μειώνεται σε 4. Μια τρίτη επανάληψη δε μειώνει το άθροισμα των τετραγώνων, άρα ο αλγόριθμος τερματίζεται και έχουμε τον τελικό χωρισμό των δεδομένων σε ομάδες. Βλέπουμε ότι ο αλγόριθμος αυτός είναι απλός και γρήγορος με ικανοποιητικά αποτελέσματα. Όμως το βασικό του μειονέκτημα είναι ότι πρέπει εμείς να καθορίσουμε τον αριθμό των ομάδων ενώ τα αποτελέσματα εξαρτώνται από την αρχική επιλογή των ομάδων. 6.4 Εφαρμογή του αλγόριθμου k-means σε περιβαλλοντικές χρονοσειρές της πόλης της Θεσσαλονίκης Παρακάτω εφαρμόζουμε τον αλγόριθμο clustering, k-means σε πίνακες μετρήσεων ρύπων και μετεωρολογικών παραμέτρων από σταθμούς μέτρησης ποιότητας αέρα της Θεσσαλονίκης. Η εφαρμογή του αλγόριθμου έγινε με χρήση του πακέτου λογισμικού MATLAB ( Σταθμός Α.Π.Θ. Εφαρμόζουμε τη μέθοδο k-means στις μετρήσεις για τα έτη στο Α.Π.Θ. με τη βοήθεια της συνάρτησης kmeans του υπολογιστικού πακέτου MATLAB. Μία παράμετρος στη συνάρτηση είναι η distance (καθορίζει με ποιο τρόπο θα υπολογίζει τις αποστάσεις στο χώρο του προβλήματός) και τις δώσαμε τη τιμή cityblock, δηλαδή οι αποστάσεις να υπολογίζονται ως το άθροισμα των απόλυτων 33

35 διαφορών. Επίσης, ορίσαμε τη παράμετρο replicates στη τιμή 100. Η παράμετρος αυτή ορίζει το πόσες φορές θα επαναληφθεί το clustering με διαφορετικές αρχικές τιμές για τις ομάδες, και στο τέλος κρατάει αυτή που έχει το μικρότερο άθροισμα τετραγώνων των αποστάσεων. Όπως προαναφέρθηκε, το βασικό μειονέκτημα της μεθόδου k-means είναι ότι δε γνωρίζουμε πόσες ομάδες υπάρχουν στο σετ δεδομένων. Γι αυτό το λόγο τρέχουμε τον αλγόριθμο για διάφορες τιμές αριθμού ομάδων μέχρι να καταλήξουμε στο βέλτιστο αποτέλεσμα. Σε αυτό το σημείο μπορεί να μας βοηθήσει η συνάρτηση του MATLAB, silhouette η οποία για κάθε σημείο μιας ομάδας υπολογίζει πόσο μοιάζει με τα υπόλοιπα σημεία της ομάδας του και πόσο απομακρυσμένο είναι από τις υπόλοιπες ομάδες. Οι τιμές που λαμβάνει είναι στο διάστημα [-1,1]. Για θετικές τιμές το σημείο πιθανότατα ανήκει στο cluster για το οποίο έχει υπολογιστεί, με όσο μεγαλύτερη τιμή τόσο περισσότερο να είναι απομακρυσμένο από τις υπόλοιπες ομάδες. Αντίθετα για αρνητικές τιμές, το σημείο μάλλον έχει υπολογιστεί σε λάθος ομάδα. Ένας τρόπος να επιλέξουμε το σωστό αριθμό ομάδων είναι ο μέσος όρος της τιμής silhouette για διάφορες ομάδες. Όσο υψηλότερος είναι τόσο καλύτερα ορισμένες είναι οι ομάδες που υπολογίστηκαν. Για να έχουν κάποιο νόημα τα περιεχόμενα των ομάδων ξεκινάμε την αναζήτηση για αριθμό ομάδων από 5 και πάνω. Για το Α.Π.Θ. οι μέσοι όροι των τιμών silhouette για διάφορους αριθμούς ομάδων είναι: No. of clusters Mean of silhouette Άρα ο καλύτερος αριθμός ομάδων για τα δεδομένα του Α.Π.Θ. είναι 5. Το διάγραμμα silhouette είναι παρακάτω: 34

36 Βλέπουμε ότι υπάρχουν κάποια λίγα σημεία με αρνητικές τιμές, τα οποία είναι αναμενόμενο να υπάρχουν λόγω της πολυπλοκότητας του προβλήματός μας. Παρ όλα αυτά όμως οι ομάδες φαίνεται να είναι πολύ διακριτές μεταξύ τους. Η πιο καλά ορισμένη ομάδα είναι η 4. Οι μέσες τιμές των στοιχείων για κάθε ομάδα είναι στο παρακάτω πίνακα. Cluster NO 2 O 3 Temp Hum WS Mean Std. Std. Std. Std. Std. Mean Mean Mean Mean Dev. Dev. Dev. Dev. Dev Παρακάτω υπάρχουν τα ιστογράμματα της κατανομής των ωρών της ημέρας για τις μετρήσεις κάθε ομάδας. 35

37 Τέλος, έχουν υπολογισθεί και τα ακτινικά ιστογράμματα των κατευθύνσεων του ανέμου για κάθε ομάδα. Rose diagram Cluster 1 Rose diagram Cluster 2 Rose diagram Cluster 3 Rose diagram Cluster 4 36

38 Rose diagram Cluster 5 Η ομαδοποίηση των μετρήσεων χρησιμεύει πολύ στο να εντοπίσουμε μοτίβα μέσα στα δεδομένα. Συγκεντρωτικά τα συμπεράσματα για κάθε ομάδα είναι τα εξής: 1 η ομάδα: Υπάρχουν κυρίως νότιοι νοτιοδυτικοί, αλλά και αρκετοί βόρειοι, άνεμοι μέτριας έντασης. Δεν υπάρχει κάποια ισχυρή προτίμηση σε κάποια ώρα της ημέρας. Η συγκέντρωση του ΝΟ 2 είναι μέση προς σχετικά υψηλή, ενώ του όζοντος μέση προς χαμηλή, με μέσες θερμοκρασίες και σχετικά υψηλή υγρασία. 2 η ομάδα: Σχετικά χαμηλές μετρήσεις ΝΟ 2 και όζοντος, με βορειοανατολικούς ανέμους σχετικά υψηλής έντασης, μέση προς χαμηλή θερμοκρασία και υψηλές τιμές υγρασίας. Οι μετρήσεις της ομάδας εμφανίζονται κυρίως τις νυχτερινές ώρες (22 09). 3 η ομάδα: Πολύ υψηλές μετρήσεις ΝΟ 2 και πολύ χαμηλές μετρήσεις όζοντος, με βορειοανατολικούς ανέμους χαμηλής έντασης. Υψηλές τιμές υγρασίας και μέσες προς χαμηλές τιμές θερμοκρασίας. Οι μετρήσεις τις ομάδας εμφανίζονται κυρίως στα διαστήματα 6-10 το πρωί και 21-1 το βράδυ. 4 η ομάδα: Η πιο καλά ορισμένη ομάδα, της οποίας η μετρήσεις εμφανίζονται από το μεσημέρι έως αργά το απόγευμα (12 20). Πολύ ισχυροί νοτιοδυτικοί άνεμοι, με υψηλή έως πολύ υψηλή θερμοκρασία και χαμηλή υγρασία. Το ΝΟ 2 παρουσιάζεται πολύ χαμηλό ενώ το όζον είναι πολύ υψηλό. 5 η ομάδα: Νοτιοδυτικοί αλλά και βόρειοι ισχυροί άνεμοι, μέσες θερμοκρασίες και χαμηλή υγρασία. Υπάρχει μια μικρή προτίμηση στις ώρες 3-5. Το ΝΟ 2 είναι σχετικά χαμηλό ενώ το όζον εμφανίζει υψηλές τιμές Σταθμός Καλαμαριάς Εφαρμόζουμε τη παραπάνω μέθοδο για τις μετρήσεις στο σταθμό της Καλαμαριάς, για τα έτη Οι μέσες τιμές silhouette μας δείχνουν ότι υπάρχουν 6 ομάδες. 37

39 No. of clusters Mean of silhouette Το διάγραμμα silhouette είναι το παρακάτω. Οι ομάδες που έχουν υπολογιστεί είναι σε μεγάλο βαθμό διακριτές μεταξύ τους. Πιο «προβληματική» φαίνεται να είναι η ομάδα 1, ενώ η πιο καλά ορισμένη ομάδα φαίνεται να είναι η 4. Οι μέσες τιμές των στοιχείων για κάθε ομάδα είναι στο παρακάτω πίνακα. Cluster NO 2 O 3 Temp Hum WS Mean Std. Std. Std. Std. Std. Mean Mean Mean Mean Dev. Dev. Dev. Dev. Dev Παρακάτω υπάρχουν τα ιστογράμματα της κατανομής των ωρών της ημέρας για τις μετρήσεις κάθε ομάδας. 38

40 Τέλος, έχουν υπολογισθεί και τα ακτινικά ιστογράμματα των κατευθύνσεων του ανέμου για κάθε ομάδα. 39

41 Rose diagram Cluster 1 Rose diagram Cluster 2 Rose diagram Cluster 3 Rose diagram Cluster 4 Rose diagram Cluster 5 Rose diagram Cluster 6 Συγκεντρωτικά τα αποτελέσματα για κάθε ομάδα: 1 η ομάδα: Υψηλές μετρήσεις ΝΟ 2 και χαμηλές μετρήσεις Ο 3. Μέσες προς χαμηλές θερμοκρασίες, σχετικά υψηλή υγρασία και χαμηλή ένταση ανέμων οι οποίοι έχουν διάφορες κατευθύνσεις με μια μικρή έφεση προς τους ανατολικούς. Οι μετρήσεις εμφανίζονται κυρίως στα χρονικά διαστήματα 7 9 το πρωί και 21 3 το βράδυ. 40

42 2 η ομάδα: Έντονοι δυτικοί άνεμοι, με χαμηλές συγκεντρώσεις ΝΟ 2 και υψηλές συγκεντρώσεις όζοντος. Υψηλή θερμοκρασία, χαμηλή υγρασία από νωρίς το μεσημέρι μέχρι αργά το απόγευμα (11 19). 3 η ομάδα: Μέσες προς υψηλές συγκεντρώσεις ΝΟ 2 και χαμηλές συγκεντρώσεις όζοντος, χαμηλές θερμοκρασίες, πολύ υψηλές τιμές υγρασίας και χαμηλές ταχύτητες ανέμων κυρίως ανατολικής διεύθυνσης. Οι μετρήσεις της ομάδας εμφανίζονται από αργά το βράδυ έως νωρίς το πρωί, με μεγαλύτερη προτίμηση στις πρωινές ώρες. 4 η ομάδα: Πολύ υψηλές συγκεντρώσεις όζοντος, και χαμηλές συγκεντρώσεις ΝΟ 2 με δυνατούς δυτικούς ανέμους, πολύ υψηλή θερμοκρασία και χαμηλές τιμές υγρασίας. Οι τιμές αυτές εμφανίζονται νωρίς το μεσημέρι έως αργά το απόγευμα. 5 η ομάδα: Πολύ χαμηλές συγκεντρώσεις ΝΟ 2 και χαμηλές συγκεντρώσεις όζοντος, μέτριες τιμές θερμοκρασίας, υψηλή υγρασία, μέτριοι άνεμοι, κυρίως ανατολικοί και κατά κύριο λόγο αργά το βράδυ. 6 η ομάδα: Χωρίς κάποια προτίμηση σε κάποια ώρα της ημέρας, έχουμε μέσες συγκεντρώσεις ΝΟ 2 και όζοντος, μέτριες τιμές θερμοκρασίας και σχετικά υψηλές τιμές υγρασίας. Μέτριοι προς ισχυροί, κυρίως βόρειοι άνεμοι Σταθμός Κορδελιού Εφαρμόζουμε τη παραπάνω μέθοδο για τις μετρήσεις στο σταθμό του Κορδελιού, για τα έτη Οι μέσες τιμές silhouette μας δείχνουν ότι υπάρχουν 7 ομάδες. \ No. of clusters Mean of silhouette Το διάγραμμα silhouette είναι το παρακάτω. 41

43 Πιο «προβληματική» φαίνεται να είναι η ομάδα 4, ενώ η πιο καλά ορισμένες ομάδες φαίνεται να είναι η 1 και η 3. Οι μέσες τιμές των στοιχείων για κάθε ομάδα είναι στο παρακάτω πίνακα. Cluster NO 2 O 3 Temp Hum WS Mean Std. Std. Std. Std. Std. Mean Mean Mean Mean Dev. Dev. Dev. Dev. Dev Παρακάτω υπάρχουν τα ιστογράμματα της κατανομής των ωρών της ημέρας για τις μετρήσεις κάθε ομάδας. 42

44 43

45 Τέλος, έχουν υπολογισθεί και τα ακτινικά ιστογράμματα των κατευθύνσεων του ανέμου για κάθε ομάδα. Rose diagram Cluster 1 Rose diagram Cluster 2 Rose diagram Cluster 3 Rose diagram Cluster 4 Rose diagram Cluster 5 Rose diagram Cluster 6 44

46 Rose diagram Cluster 7 Συγκεντρωτικά τα αποτελέσματα για κάθε ομάδα: 1 η ομάδα: Πολύ υψηλές συγκεντρώσεις όζοντος και σχετικά χαμηλές συγκεντρώσεις ΝΟ 2. Πολύ υψηλές θερμοκρασίες, χαμηλές τιμές υγρασίας και νοτιοδυτικοί άνεμοι υψηλής ταχύτητας. Οι μετρήσεις εμφανίζονται σχεδόν αποκλειστικά στο διάστημα από το μεσημέρι έως αργά το απόγευμα. 2 η ομάδα: Χαμηλές συγκεντρώσεις όζοντος και ΝΟ 2, υψηλές θερμοκρασίες και σχετικά υψηλή υγρασία. Μέση ταχύτητα ανέμων που είναι βόρειοι, βορειοανατολικοί και βορειοδυτικοί. Δεν φαίνεται κάποια προτίμηση σε κάποια ώρα της ημέρας. 3 η ομάδα: Μέσες συγκεντρώσεις ΝΟ 2 και πολύ χαμηλές συγκεντρώσεις όζοντος, χαμηλές θερμοκρασίες και πολύ υψηλή υγρασία. Μέτριας προς χαμηλής έντασης άνεμοι ανατολικοί άνεμοι. Εμφανίζονται κυρίως τις πρώτες πρωινές ώρες. 4 η ομάδα: Μέσες προς υψηλές τιμές ΝΟ 2 και μέσες τιμές όζοντος. Μέσες τιμές θερμοκρασίας, μέσες προς υψηλές τιμές υγρασίας και μέση ταχύτητα ανέμων που δεν έχουν κάποια προτίμηση στη κατεύθυνση. 5 η ομάδα: Μέσες συγκεντρώσεις ΝΟ 2 και υψηλές συγκεντρώσεις όζοντος, σχετικά υψηλές θερμοκρασίες, χαμηλή υγρασία, υψηλή ταχύτητα κυρίως νοτιοδυτικών ανέμων. Οι μετρήσεις έχουν μια μικρή προτίμηση από αργά το πρωί έως αργά το απόγευμα. 6 η ομάδα: Υψηλές συγκεντρώσεις ΝΟ 2 και χαμηλές συγκεντρώσεις όζοντος. Μέση προς χαμηλή θερμοκρασία, σχετικά υψηλές τιμές υγρασίας και χαμηλές ταχύτητες ανατολικών ανέμων. Οι μετρήσεις της ομάδας έχουν μια έντονη παρουσία τις πρωινές ώρες. 7 η ομάδα: Σχετικά χαμηλές συγκεντρώσεις ΝΟ 2 και μέσες συγκεντρώσεις όζοντος. Σχετικά χαμηλές θερμοκρασίες, υψηλή υγρασία και βορειοανατολικοί άνεμοι υψηλής ταχύτητας. Οι μετρήσεις της ομάδας εμφανίζονται κυρίως μετά τα μεσάνυχτα μέχρι τις πρώτες πρωινές ώρες. 45

47 6.4.4 Σταθμός Σίνδου Εφαρμόζουμε τη παραπάνω μέθοδο για τις μετρήσεις στο σταθμό της Σίνδου, για τα έτη Οι μέσες τιμές silhouette μας δείχνουν ότι υπάρχουν 5 ομάδες. No. of clusters Mean of silhouette Το διάγραμμα silhouette είναι το παρακάτω. Πιο «προβληματική» φαίνεται να είναι η ομάδα 1, ενώ η πιο καλά ορισμένη ομάδα φαίνεται να είναι η 3 μαζί με τη 4. Οι μέσες τιμές των στοιχείων για κάθε ομάδα είναι στο παρακάτω πίνακα. Cluster NO 2 O 3 Temp Hum WS Mean Std. Std. Std. Std. Std. Mean Mean Mean Mean Dev. Dev. Dev. Dev. Dev Παρακάτω υπάρχουν τα ιστογράμματα της κατανομής των ωρών της ημέρας για τις μετρήσεις κάθε ομάδας. 46

48 47