ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ. Πρόβλεψη Αιολικής Ισχύος με χρήση Μηχανών Διανυσμάτων Υποστήριξης και Τεχνητών Νευρωνικών Δικτύων

Transcript

1 ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Πρόβλεψη Αιολικής Ισχύος με χρήση Μηχανών Διανυσμάτων Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Α.Π.Θ Τομέας Ηλεκτρικής Ενέργειας Εργαστήριο Συστημάτων Ηλεκτρικής Ενέργειας ΕΠΙΒΛΕΠΟΝΤΕΣ: ΑΝΑΣΤΑΣΙΟΣ Γ. ΜΠΑΚΙΡΤΖΗΣ, ΚΑΘΗΓΗΤΗΣ Α.Π.Θ. ΣΤΥΛΙΑΝΟΣ Ι. ΒΑΓΡΟΠΟΥΛΟΣ, ΔΙΔΑΚΤΩΡ Α.Π.Θ. ΛΑΪΤΣΟΣ Μ. ΒΑΣΙΛΕΙΟΣ Α.Ε.Μ ΤΖΑΝΝΗΣ Ε. ΠΑΝΑΓΙΩΤΗΣ Α.Ε.Μ Θεσσαλονίκη, Ιούλιος 2017

2 Σελίδα 1

3 ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Πρόβλεψη Αιολικής Ισχύος με χρήση Μηχανών Διανυσμάτων Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Α.Π.Θ Τομέας Ηλεκτρικής Ενέργειας Εργαστήριο Συστημάτων Ηλεκτρικής Ενέργειας ΕΠΙΒΛΕΠΟΝΤΕΣ: ΑΝΑΣΤΑΣΙΟΣ Γ. ΜΠΑΚΙΡΤΖΗΣ, ΚΑΘΗΓΗΤΗΣ Α.Π.Θ. ΣΤΥΛΙΑΝΟΣ Ι. ΒΑΓΡΟΠΟΥΛΟΣ, ΔΙΔΑΚΤΩΡ Α.Π.Θ. ΛΑΪΤΣΟΣ Μ. ΒΑΣΙΛΕΙΟΣ Α.Ε.Μ ΤΖΑΝΝΗΣ Ε. ΠΑΝΑΓΙΩΤΗΣ Α.Ε.Μ Εγκρίθηκε από την τριμελή εξεταστική επιτροπή την 5 η Ιουλίου 2017 (Υπογραφή) (Υπογραφή) (Υπογραφή).... Αναστάσιος Μπακιρτζής Παντελής Μπίσκας Μηνάς Αλεξιάδης Καθηγητής Α.Π.Θ Επίκουρος Καθ. Α.Π.Θ Επίκουρος Καθ. Α.Π.Θ Θεσσαλονίκη, Ιούλιος 2017 Σελίδα 2

4 Σελίδα 3

5 (Υπογραφή). ΛΑΪΤΣΟΣ ΒΑΣΙΛΕΙΟΣ Διπλωματούχος Ηλεκτρολόγος Μηχανικός και Μηχανικός Υπολογιστών Α.Π.Θ All rights reserved. (Υπογραφή). ΤΖΑΝΝΗΣ ΠΑΝΑΓΙΩΤΗΣ Διπλωματούχος Ηλεκτρολόγος Μηχανικός και Μηχανικός Υπολογιστών Α.Π.Θ All rights reserved. Σελίδα 4

6 Σελίδα 5

7 Σελίδα 6

8 Περίληψη Η συγκεκριμένη διπλωματική εργασία αποτελεί μία προσπάθεια χρήσης και σύγκρισης δύο πολύ δημοφιλών τα τελευταία χρόνια πεδίων της Μηχανικής Μάθησης, των Μηχανών Διανυσμάτων Υποστήριξης και των Τεχτητών Νευρωνικών Δικτύων. Στο κεφάλαιο 1 παρουσιάζεται ο σκοπός και η οργάνωση της διπλωματικής. Στο κεφάλαιο 2 γίνεται μια σύντομη αναφορά στην αιολική ενέργεια και πορουσιάζονται τα πλεονεκτήματα και τα μειονεκτήματά των αιολικών πάρκων. Στο κεφάλαιο 3 παρουσιάζονται λεπτομερώς οι Μηχανές Διανυσμάτων Υποστήριξης. Γίνονται γνωστοί οι λόγοι για τους οποίους είναι τόσο δημοφιλείς στις μέρες μας, αναλύεται το θεωρητικό τους υπόβαθρο,τονίζεται τί πετυχαίνουμε με τη χρήση τους και ποια είναι τα πλεονεκτήματα και τα μειονεκτήματά τους. Στο κεφάλαιο 4 αναλύονται τα Νευρωνικά Δίκτυα. Τονίζονται οι λόγοι που δημιουργήθηκαν, το θεωρητικό τους υπόβαθρο, αρκετές από τις αρχιτεκτονικές τους και τέλος παρουσιάζονται τα πλεονεκτήματα και τα μειονεκτήματά τους. Στο κεφάλαιο 5 αρχικά παρουσιάζονται τα δεδομένα που έχουμε στη διάθεσή μας και στη συνέχεια παρουσιάζονται τα δύο συστήματα SVM και Νευρωνικών Δικτύων που θα υλοποιήσουμε. Στο κεφάλαιο 6, κάνοντας χρήση των SVM και των Νευρωνικών Δικτύων, προβλέπουμε την ταχύτητα του ανέμου που θα χρησιμοποιήσουμε ως είσοδο ώστε να κάνουμε πρόβλεψη της ισχύος εξόδου. Έπειτα παρουσιάζουμε τις γραμμές παλινδρόμησης των SVM και των NΔ, διάφορα γραφήματα σχετικά με την απόκρισή τους και τους πίνακες με τα σφάλματα πρόβλεψής τους. Στο κεφάλαιο 7 χρησιμοποιούμε τα SVM και τα NΔ ώστε να προβλέψουμε την ισχύ εξόδου των ανεμογεννητριών. Παρουσιάζουμε τις γραμμές παλινδρόμησης των SVM και των NΔ, διάφορα γραφήματα σχετικά με την απόκρισή τους και έπειτα με τη μορφή πινάκων παραθέτουμε τα σφάλματα των προβλέψεών τους. Τέλος κάνουμε μια προσπάθεια να συμπεράνουμε ποια από τις δυο διαφορετικές υλοποιήσεις (SVM η NΔ) είναι καλύτερη για την πρόβλεψη της αιολικής ισχύος. Λέξεις-κλειδιά: Μηχανές Διανυσμάτων Υποστήριξης, Νευρωνικά Δίκτυα, Αιολική Ενέργεια, Ανεμογεννήτρια Σελίδα 7

9 Abstract Wind Power forecasting using Support Vector Machines and Artificial Neural Networks This diploma thesis is an attempt to use and compare two fields of machine learning which have become increasingly popular over the last few years, namely Support Vector Machines and Artificial Neural Networks. In chapter 1 the purpose and structure of this thesis is presented. Chapter 2 makes a brief reference to wind energy and addresses the strengths and weaknesses of wind farms. In chapter 3 we present the Support Vector Machines in detail and we acknowledge the reasons why they have gained much popularity these days. We analyze their theoretical background, highlight what is achieved through their use and what are their strengths and weaknesses. Chapter 4 analyzes Neural Networks it highlights the reasons why they have been created, their theoretical background, several of their architectures, and finally their advantages and disadvantages are presented. In Chapter 5, we present the data we have at our disposal and then the two SVMs and Neural Networks we implement. In Chapter 6, using SVM and Neural Networks, we predict the wind speed that we will use as an input to predict the output power. Then, we present the regression lines of the SVMs and NNs, various graphs about their response, and the tables with their prediction errors. In Chapter 7 we use SVMs and NNs to predict the output power of wind turbines. We present the regression lines of SVMs and NNs, various graphs about their response, and then in the form of tables we list the predictions errors. Finally we make an attempt to conclude which of the two different implementations fits better to wind power prediction. Keywords: Support Vector Machines, Hard Margin, Dataset, Neural Networks Σελίδα 8

10 Σελίδα 9

11 Περιεχόμενα ΚΕΦΑΛΑΙΟ 1: ΕΙΣΑΓΩΓΗ Σκοπός της διπλωματικής Οργάνωση της διπλωματικής ΚΕΦΑΛΑΙΟ 2: ΠΛΗΡΟΦΟΡΙΕΣ ΓΙΑ ΤΗΝ ΑΙΟΛΙΚΗ ΕΝΕΡΓΕΙΑ Λίγα λόγια για την Αιολική Ενέργεια Αιολικά πάρκα ΚΕΦΑΛΑΙΟ 3: ΑΝΑΛΥΣΗ ΤΩΝ ΜΗΧΑΝΩΝ ΔΙΑΝΥΣΜΑΤΩΝ ΥΠΟΣΤΗΡΙΞΗΣ (SUPPORT VECTOR MACHINES) Γραμμικά διαχωρίσιμες κλάσεις Επιλογή συναρτήσεων Πυρήνα (Kernel Functions) Επιλογή μοντέλου των SVM Support Vector Regression (Παλινδρόμηση) Επιλογή των κατάλληλων παραμέτρων Πλεονεκτήματα των SVM Συμπεράσματα ΚΕΦΑΛΑΙΟ 4: ΑΝΑΛΥΣΗ ΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ Εισαγωγή στα νευρωνικά δίκτυα Από τα βιολογικά Νευρωνικά Δίκτυα στα Τεχνητά Προβλήματα που αντιμετωπίζονται με τα Νευρωνικά Δίκτυα Ταξινόμηση προτύπων (Pattern classification) Ιδιότητες και χαρακτηριστικά των Νευρωνικών Δικτύων Μέθοδοι εκπαίδευσης των Νευρωνικών Δικτύων Μέθοδος Cross Validation Feedforward Νευρωνικά Δίκτυα Feedback Νευρωνικά Δίκτυα Πολυεπίπεδο δίκτυο Perceptron Σελίδα 10

12 4.11 Τρόποι μετάδοσης της πληροφορίας σε ένα Νευρωνικό Δίκτυο Συναρτήσεις ενεργοποίησης Νευρωνικών Δικτύων Πλεονεκτήματα και μειονεκτήματα των Νευρωνικών Δικτύων Σύγκριση SVM με Νευρωνικά Δίκτυα ΚΕΦΑΛΑΙΟ 5: ΔΙΕΡΕΥΝΗΣΗ ΤΗΣ ΚΑΛΥΤΕΡΗΣ ΜΕΘΟΔΟΥ ΥΛΟΠΟΙΗΣΗΣ Πρώτο σύστημα SVM/ΝΔ Δεύτερο σύστημα SVM/ΝΔ Σύγκριση των δυο διαφορετικών υλοποιήσεων ΚΕΦΑΛΑΙΟ 6: ΧΡΗΣΗ ΤΩΝ SVM ΚΑΙ ΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ ΓΙΑ ΠΡΟΒΛΕΨΗ ΤΗΣ ΤΑΧΥΤΗΤΑΣ ΤΟΥ ΑΝΕΜΟΥ Περιγραφή Υλοποίησης Παρουσίαση Γραμμών Παλινδρόμησης των SVM (Regression Lines) Παρουσίαση Γραμμών Παλινδρόμησης των Νευρωνικών Δικτύων Συνοπτική παρουσίαση των συσχετίσεων των SVM και των Νευρωνικών Δικτύων Προβλέψεις ταχύτητας του SVM Προβλέψεις ταχύτητας του NΔ Παρουσίαση των σφαλμάτων του SVM, του Νευρωνικού Δικτύου και του SKIRON Παρουσίαση σφαλμάτων σε μορφή πινάκων (mean, mae, mse) ΚΕΦΑΛΑΙΟ 7: ΧΡΗΣΗ ΤΩΝ SVM ΚΑΙ ΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ ΓΙΑ ΠΡΟΒΛΕΨΗ ΤΗΣ ΙΣΧΥΟΣ ΕΞΟΔΟΥ Περιγραφή της υλοποίησης Παρουσίαση Γραμμών παλινδρόμησης του SVM Παρουσίαση γραμμών παλινδρόμησης του νευρωνικού δικτύου Συνοπτική παρουσίαση των συσχετίσεων των SVM και των Νευρωνικών Δικτύων Προβλέψεις της ισχύος εξόδου Παρουσίαση σφαλμάτων του SVM και του Νευρωνικού Δικτύου Παρουσίαση πίνακα με τα σφάλματα (mean, mae, mse) των προβλέψεων του SVM και του NΔ για κάθε ανεμογεννήτρια Βιβλιογραφία Σελίδα 11

13 Σελίδα 12

14 ΚΕΦΑΛΑΙΟ 1: ΕΙΣΑΓΩΓΗ 1.1 Σκοπός της διπλωματικής Αντικείμενο μελέτης της συγκεκριμένης διπλωματικής αποτελεί η πρόβλεψη της ισχύος εξόδου ανεμογεννητριών αιολικού πάρκου χρησιμοποιώντας δύο προηγμένα μοντέλα μηχανικής εκπαίδευσης (machine learning). Είναι ιδιαίτερα σημαντικό να καταλάβει ο αναγνώστης πως ο χώρος της τεχνητής νοημοσύνης και της μηχανικής εκπαίδευσης αποτελεί και θα αποτελέσει πρωταρχικό παράγοντα στην τεχνολογική ανάπτυξη στο μέλλον, καθώς ανήκει σε ένα πεδίο το οποίο προσομοιώνει όσο το δυνατόν καλύτερα τη λειτουργία και τις δυνατότητες του ανθρώπινου εγκεφάλου. Τα μοντέλα που χρησιμοποιούμε είναι οι Μηχανές Διανυσμάτων Υποστήριξης (Support Vector Machines), οι οποίες είναι εξαιρετικά δημοφιλείς τα τελευταία χρόνια στην κατηγοριοποίηση δεδομένων και στην παλινδρόμηση, καθώς επίσης και τα Τεχνητά Νευρωνικά Δίκτυα (Artificial Neural Networks). Για την εκπαίδευση των παραπάνω μοντέλων κάνουμε χρήση της πλατφόρμας MATLAB. Πριν την εκπαίδευση των μοντέλων πρέπει να εξασφαλίσουμε ότι το σύνολο δεδομένων (dataset) που ερευνούμε, είναι αρκετά μεγάλο για να μπορέσουμε να εξάγουμε ασφαλή συμπεράσματα. Η προεπεξεργασία είναι απαραίτητη για την ανάλυση του συνόλου των δεδομένων προκειμένου να τα φιλτράρουμε έτσι ώστε να απορρίψουμε τις παρατηρήσεις που περιέχουν θόρυβο και αυτές με ελλειπή δεδομένα. Για να τo πετύχουμε αυτό χρησιμοποιούμε σήματα SCADA. Τα συστήματα SCADA είναι συστήματα βιομηχανικού αυτόματου έλεγχου που χρησιμοποιούνται για να επιβεβαιώσουν την ορθότητα των μετρήσεων που παίρνουμε από τα όργανα μέτρησης. Στη διάθεσή μας έχουμε δεδομένα από πέντε διαφορετικά αιολικά πάρκα με ανεμογεννήτριες διαφορετικών ονομαστικών στοιχείων. Τα δεδομένα αυτά παρουσιάζονται αναλυτικότερα στο κεφάλαιο 5. Στα επόμενα κεφάλαια παρουσιάζουμε αναλυτικά τα αποτελέσματα όπως τα πήραμε στην έξοδο των SVM και των Νευρωνικών Δικτύων τόσο με τη μορφή πινάκων όσο και με σχετικά γραφήματα. Στη συνέχεια κάνοντας σύγκριση των δύο διαφορετικών υλοποιήσεων, θα προσπαθήσουμε να καταλήξουμε σε κάποια συμπεράσματα σχετικά με την απόκριση και την ακρίβειά τους. Σελίδα 13

15 1.2 Οργάνωση της διπλωματικής Στο κεφάλαιο 2 γίνεται μια σύντομη αναφορά στην αιολική ενέργεια, τα αιολικά πάρκα και παρουσιάζονται συνοπτικά τα πλεονεκτήματα και τα μειονεκτήματά τους. Στο κεφάλαιο 3 παρουσιάζονται λεπτομερώς οι Μηχανές Διανυσμάτων Υποστήριξης (Support Vector Machines). Αναλύονται οι λόγοι για τους οποίους είναι τόσο δημοφιλείς στις μέρες μας, πως υλοποιούνται θεωρητικά, τί πετυχαίνουμε με τη χρήση τους και ποια είναι τα πλεονεκτήματα και τα μειονεκτήματά τους. Στο κεφάλαιο 4 αναλύονται τα Νευρωνικά Δίκτυα. Τονίζονται οι λόγοι που δημιουργήθηκαν, το θεωρητικό τους υπόβαθρο, αρκετές από τις αρχιτεκτονικές τους και τέλος παρουσιάζονται τα πλεονεκτήματα και τα μειονεκτήματά τους. Στο κεφάλαιο 5 αρχικά παρουσιάζονται συνοπτικά τα δεδομένα που έχουμε στη διάθεσή μας και στη συνέχεια παρουσιάζονται τα δύο συστήματα SVM και ΝΔ που θα υλοποιήσουμε. Στο κεφάλαιο 6, κάνοντας χρήση των SVM και των Νευρωνικών Δικτύων, προβλέπουμε την ταχύτητα του ανέμου που θα χρησιμοποιήσουμε ως είσοδο ώστε να κάνουμε πρόβλεψη της ισχύος. Έπειτα παρουσιάζουμε τις γραμμές παλινδρόμησης των SVM και των NΔ, διάφορα γραφήματα σχετικά με την απόκρισή τους και τέλος τους πίνακες με τα σφάλματα πρόβλεψης. Στο κεφάλαιο 7 χρησιμοποιούμε τα SVM και τα NΔ ώστε να προβλέψουμε την ισχύ εξόδου των ανεμογεννητριών. Παρουσιάζουμε τις γραμμές παλινδρόμησης των SVM και των NΔ, διάφορα γραφήματα σχετικά με την απόκρισή τους και τέλος με τη μορφή πινάκων παραθέτουμε τα σφάλματα των προβλέψεών τους. Σελίδα 14

16 ΚΕΦΑΛΑΙΟ 2: ΠΛΗΡΟΦΟΡΙΕΣ ΓΙΑ ΤΗΝ ΑΙΟΛΙΚΗ ΕΝΕΡΓΕΙΑ 2.1 Λίγα λόγια για την Αιολική Ενέργεια Οι ανανεώσιμες ή αλλιώς ήπιες μορφές ενέργειας είναι μορφές εκμεταλλεύσιμης ενέργειας που προέρχονται από διάφορες φυσικές διαδικασίες, όπως ο άνεμος, η γεωθερμία και η κυκλοφορία του νερού. Εστιάζοντας στον παράγοντα του ανέμου, έχουμε την λεγόμενη αιολική ενέργεια, η οποία είναι ουσιαστικά η χρήση της ροής αέρα μέσω των ανεμογεννητριών για την παραγωγή ηλεκτρικής ενέργειας [14]. Εικόνα 1: Αιολικό Πάρκο Η αιολική ενέργεια, ως εναλλακτική λύση στην καύση ορυκτών καυσίμων είναι άφθονη, ανανεώσιμη, ευρέως κατανεμημένη, καθαρή, δεν παράγει εκπομπές αερίων κατά την λειτουργία και αποτελεί λύση ιδιαίτερα φιλική προς το περιβάλλον που ζούμε. Τα αιολικά πάρκα αποτελούνται από πολλές μεμονωμένες ανεμογεννήτριες και συνδέονται με το δίκτυο μεταφοράς ηλεκτρικής ενέργειας [14]. Σχετικά με την ισχύ εξόδου, η αιολική ενέργεια παρέχει μεταβλητή ισχύ, η οποία είναι συνεπής από έτος σε έτος αλλά παρουσιάζει σημαντικές διακυμάνσεις σε βραδύτερες χρονικές κλίμακες. Επομένως χρησιμοποιείται σε συνδυασμό με άλλες πηγές ηλεκτρικής Σελίδα 15

17 ενέργειας για την παροχή αξιόπιστης τροφοδοσίας. Καθώς αυξάνεται η χρήση της αιολικής ενέργειας σε μια περιοχή, μπορεί να προκύψει ανάγκη αναβάθμισης του δικτύου και μειωμένη ικανότητα υποκατάστασης συμβατικής παραγωγής. Διάφορες τεχνικές διαχείρισης ισχύος, όπως πλεονάζουσα χωρητικότητα, γεωγραφικά κατανεμημένοι στρόβιλοι, αποστειρωμένες πηγές στήριξης ή μείωση της ζήτησης όταν η παραγωγή αιολικής ενέργειας είναι χαμηλή μπορούν σε πολλές περιπτώσεις να λύσουν επαρκώς τα προβλήματα. Επιπλέον, ένας ακόμη παράγοντας που επιτρέπει στο δίκτυο ηλεκτρικής ενέργειας να προετοιμαστεί για τις προβλέψιμες μεταβολές στην παραγωγή, είναι η πρόβλεψη του καιρού (τον συγκεκριμένο παράγοντα τον λαμβάνουμε υπόψη στη υλοποίηση που θα κάνουμε στην παρούσα διπλωματική). Τέλος, όπως παρουσιάζεται και στην παρακάτω εικόνα, η αιολική ενέργεια με το πέρασμα των χρόνων αποτελεί ολοένα και πιο σημαντικό παράγοντα στην παγκόσμια παραγωγή ηλεκτρικής ενέργειας. Εικόνα 2: Παγκόσμια αύξηση της Αιολικής ενέργειας [14] Σελίδα 16

18 2.2 Αιολικά πάρκα Αιολικό πάρκο ή Αιολικός Σταθμός Παραγωγής Ηλεκτρικής Ενέργειας (ΑΣΠΗΕ) ονομάζεται η χερσαία ή θαλάσσια έκταση στην οποία έχει τοποθετηθεί ένας αριθμός ανεμογεννητριών με στόχο την μετατροπή της κινητικής ενέργειας σε ηλεκτρική. Είναι ουσιαστικά βιομηχανικές εγκαταστάσεις παραγωγής ηλεκτρικής ενέργειας, οι οποίες περιέχουν εκτός των Α/Γ, καλώδια μεταφοράς ρεύματος, μετεωρολογικούς ιστούς, σταθμούς μετασχηματισμού και βοηθητικές υποδομές όπως δρόμους [14]. Τα πλεονεκτήματα των Αιολικών πάρκων είναι τα παρακάτω [14]: Παράγουν ηλεκτρική ενέργεια από μία ανανεώσιμη πηγή ενέργειας. Δεν επιβαρύνουν το τοπικό περιβάλλον με επικίνδυνους αέριους ρύπους, μονοξείδιο του άνθρακα, διοξείδιο του θείου, καρκινογόνα μικροσωματίδια όπως γίνεται με τους συμβατικούς σταθμούς παραγωγής ενέργειας. Σύμφωνα με επιστημονικές μελέτες μία ανεμογεννήτρια είναι το ίδιο αποδοτική όσο ένα δάσος 6000 στρεμμάτων ή 300 χιλιάδες δέντρα, καθώς η χρήση της συνεπάγεται την αποφυγή εκπομπής τόνων διοξειδίου του άνθρακα και ανάλογων ποσοτήτων διοξειδίου του θείου, οξειδίων του αζώτου, στάχτης και σωματιδίων. Προστατεύουν το περιβάλλον καθώς κάθε μία κιλοβατώρα που παράγεται από τον άνεμο αντικαθιστά μία κιλοβατώρα που παράγεται από συμβατικούς σταθμούς που ρυπαίνουν την ατμόσφαιρα με αέρια του θερμοκηπίου. Τα μειονεκτήματα των Αιολικών πάρκων είναι τα παρακάτω [14]: Η τεχνολογία τους απαιτεί μια αρχική επένδυση υψηλότερη από εκείνη των γεννητριών που λειτουργούν με καύση ορυκτών. Η ταχύτητα και η κατεύθυνση του ανέμου δεν είναι πάντα σταθερές, με αποτέλεσμα η παραγωγή τους να είναι αβέβαιη και μη-κατανεμόμενη. Τα κατάλληλα σημεία για αιολικά πάρκα συχνά βρίσκονται σε απομακρυσμένες περιοχές, μακριά από πόλεις όπου χρειάζεται ο ηλεκτρισμός. Σελίδα 17

19 ΚΕΦΑΛΑΙΟ 3: ΑΝΑΛΥΣΗ ΤΩΝ ΜΗΧΑΝΩΝ ΔΙΑΝΥΣΜΑΤΩΝ ΥΠΟΣΤΗΡΙΞΗΣ (SUPPORT VECTOR MACHINES) Η Μηχανική Μάθηση (Machine Learning) αποτελεί το πεδίο της επιστήμης των υπολογιστών,το οποίο δίνει τη δυνατότητα στους ηλεκτρονικούς υπολογιστές να μάθουν χωρίς να έχουν προγραμματιστεί ρητά. Στο πεδίο αυτό ανήκουν τόσο οι Μηχανές Διανυσμάτων Υποστήριξης (SVM) όσο και τα κλασικά νευρωνικά δίκτυα (Neural Networks) που θα δούμε στη συνεχεία. Τα SVM είναι ένα σύνολο εποπτευόμενων μοντέλων μάθησης (supervised learning) με αλγορίθμους που χρησιμοποιούνται για την ταξινόμηση (classification) και την ανάλυση παλινδρόμησης (regression analysis). Οι θεμελιώδεις αρχές των SVM οι οποίες έχουν αναπτυχθεί από τον Vapnik, βασίζονται στη θεωρία της στατιστικής μάθησης (statistical learning) [5]. Έχουν χρησιμοποιηθεί σε ένα ευρύ φάσμα του πραγματικού κόσμου, όπως προβλήματα κατηγοριοποίησης κειμένου, αναγνώριση εικόνων, ήχου, ταξινόμηση και ανίχνευση δεδομένων. Επίσης έχουν μεγάλη εφαρμογή σε χρηματοοικονομικά θέματα, σημαντική συμβολή στον τομέα της βιοϊατρικής, όπως και σε εφαρμογές τεχνητής νοημοσύνης και ρομποτικής. Ο χρήστης πρέπει να κάνει εκτεταμένες προσπάθειες πολλές φορές μέχρι να βρει την βέλτιστη ρύθμιση των παραμέτρων που θα εισάγει στο SVM.Αυτή η διαδικασία είναι γνωστή ως επιλογή μοντέλου και σε πολλές περιπτώσεις μπορεί να αποδειχθεί αρκετά χρονοβόρα. Εικόνα 3: Support Vectors Σελίδα 18

20 Η κεντρική ιδέα στην κατασκευή ενός αλγορίθμου SVM βασίζεται στο εσωτερικό γινόμενο μεταξύ του support vector x i και του διανύσματος x από την είσοδο. Τα support vectors αποτελούνται από ένα μικρό υποσύνολο των δεδομένων εκπαίδευσης. Σύμφωνα με το εσωτερικό αυτό γινόμενο, μπορούμε να κατασκευάσουμε διαφορετικές μηχανές εκμάθησης που χαρακτηρίζονται από δικές τους μη-γραμμικές επιφάνειες απόφασης. Στο πρόβλημα της ταξινόμησης, σκοπός μας είναι η εύρεση ενός βέλτιστου υπερεπιπέδου που χωρίζει τις δύο κλάσεις δεδομένων, μεγιστοποιώντας έτσι με αυτόν τον τρόπο το περιθώριο μεταξύ τους. Αρκετές πρόσφατες μελέτες ανέφεραν ότι τα SVM παρέχουν γενικά υψηλότερες επιδόσεις όσον αφορά την ακρίβεια της ταξινόμησης από άλλους αλγορίθμους ταξινόμησης δεδομένων. Στην περίπτωση της προσέγγισης συναρτήσεων ο στόχος είναι η κατασκευή ενός υπερεπιπέδου που να κείτεται κοντά σε όσο το δυνατόν περισσότερα σημεία. 3.1 Γραμμικά διαχωρίσιμες κλάσεις Πρόκειται ουσιαστικά για την πιο απλή περίπτωση, σύμφωνα με την οποία τα SVM διαχωρίζουν τα δεδομένα δύο κλάσεων μεγιστοποιώντας την απόσταση μεταξύ των πιο κοντινών σημείων των δύο αυτών κλάσεων. Εικόνα 4: Γραμμικά Διαχωρίσιμες Κλάσεις [5] Σελίδα 19

21 Όπως παρατηρούμε και στην παραπάνω εικόνα οι λύσεις του προβλήματος διαχωρισμού των δεδομένων είναι πολλές. Στόχος μας είναι να βρούμε την ευθεία εκείνη η οποία μεγιστοποιεί το περιθώριο μεταξύ των δεδομένων των δύο κλάσεων, δηλαδή τη βέλτιστη λύση η οποία θα μας παρέχει μια γενίκευση του προβλήματος. Οποιoδήποτε υπερεπίπεδο στο χώρο μπορεί να περιγραφεί από την εξίσωση w x b = 0. Όπως βλέπουμε παρακάτω, αν τα δεδομένα είναι γραμμικώς διαχωρίσιμα μπορούν να επιλεγούν δύο υπερεπίπεδα, τα [30]: w x b = 1 και w x b = 1 Εικόνα 5: Μέγιστο Περιθώριο μεταξύ των κλάσεων [30] Σελίδα 20

22 Εικόνα 6: Μέγιστο Περιθώριο μεταξύ των κλάσεων Όπου το x συμβολίζει τα σημεία που βρίσκονται πιο κοντά στο υπερεπίπεδο διαχωρισμού και ονομάζονται διανύσματα στήριξης (support vectors). Μεταξύ του χώρου των δύο αυτών επιπέδων δεν περιέχεται κανένα σημείο. Στόχος του support vector machine (SVM) είναι να βρει την συγκεκριμένη υπερεπιφάνεια για την οποία το περιθώριο διαχωρισμού (margin) ανάμεσα στα δεδομένα των δύο κλάσεων είναι το μέγιστο (βέλτιστη υπερεπιφάνεια). Μέσω μαθηματικών υπολογισμών προκύπτει ότι η απόσταση ανάμεσα στα δύο αυτά 2 υπερεπίπεδα είναι ίση με. Έτσι ελαχιστοποιώντας τον παρονομαστή του w συγκεκριμένου κλάσματος μεγιστοποιούμε το περιθώριο. Για όλα τα δεδομένα θα πρέπει να ισχύει η συνθήκη y i (w x i b) 1 (1) για κάθε 1 i n, συνθήκη που εξασφαλίζει ότι τα δεδομένα δε θα εμφανίζονται στον χώρο ανάμεσα στις διαχωριστικές επιφάνειες. Με y i αναπαριστούμε την κλάση του κάθε δεδομένου (±1) [5], [30]. Καταλήγουμε έτσι σε ένα πρόβλημα βελτιστοποίησης το οποίο περιγράφεται από την συνθήκη min (w,l) L(w) = 1 2 w 2, η οποία ικανοποιεί τον παραπάνω περιορισμό. Σελίδα 21

23 Κάνοντας χρήση των πολλαπλασιαστών Lagrange για ένα απλό πρόβλημα βελτιστοποίησης όπως το παραπάνω θα έχουμε: L p = L (w,b,c) = 1 2 w 2 1 n i=1 = c i (y i (w T x i + b) 1) 2 wt w n i=1 c i (y i (w T x i + b) 1) (2) Όπου με c i συμβολίζουμε τους πολλαπλασιαστές Lagrange. Αυτή η αναζήτηση για τα βέλτιστα σημεία ( w, b, c ) είναι αναγκαία διότι η συνάρτηση Lagrange πρέπει να ελαχιστοποιηθεί σε σχέση με τα w και b και πρέπει να μεγιστοποιηθεί σε σχέση με τους μη αρνητικούς συντελεστές c i (c i 0). Αυτό το πρόβλημα μπορεί να λυθεί είτε σε πρωτογενή μορφή (η οποία είναι η μορφή των w και b) είτε σε διπλή μορφή (η οποία είναι η μορφή των c i ). Οι εξισώσεις (1) και (2) θα πρέπει να ικανοποιούν τις συνθήκες Karush Kuhn Tucker, οι οποίες αναγκαίες και επαρκείς για τη μεγιστοποίηση της συνθήκης (1). Για την συνθήκη (2), σύμφωνα με τα σημεία (w, b, c ) θα πρέπει να ισχύει [5]: L w = 0 w = n i=1 c i y i x i (3) Και L b = 0 b = 1 2 (w T (x i + x j )) n i=1 c i y i = 0 (4) Αντικαθιστώντας τις εξισώσεις (3) και (4) στην εξίσωση (2) μετατρέπουμε την πρωτογενή μορφή σε διπλή L d(c) = n i=1 c i 1 n c 2 i c j y i y j x T i x j i=1 (5) Σελίδα 22

24 Για να βρούμε το βέλτιστο υπερεπίπεδο η διπλή μορφή πρέπει να μεγιστοποιηθεί σε σχέση με τους μη αρνητικούς συντελεστές c i και σε σχέση με τους περιορισμούς ισότητας ως εξής [5]: c i 0, i = 1, 2, 3, n n i=1 c i y i = 0 Αξίζει να σημειωθεί ότι η διπλή μορφή Lagrange εκφράζεται σε σχέση με τα δεδομένα εκπαίδευσης και εξαρτάται μόνο από τις βαθμωτές εξόδους των προτύπων εισόδου (x i T x j ). Εικόνα 7: Hard Margin Σελίδα 23

25 3.2 Επιλογή συναρτήσεων Πυρήνα (Kernel Functions) Τα διανύσματα εκπαίδευσης x i απεικονίζονται (mapping) σε έναν ανώτερο τρισδιάστατο χώρο (feature space) στον οποίο τα δεδομένα θα είναι γραμμικώς διαχωρίσιμα μέσω της συνάρτησης Φ. Η συνάρτηση Κ(x i, x j ) = Φ(x i ) Τ Φ(x j ) ονομάζεται συνάρτηση Kernel [8]. Η χρήση της συνάρτησης Kernel επιτρέπει σους υπολογισμούς να γίνουν στον χώρο των εισόδων αντί του πιθανότατα υψηλής διάστασης χώρου των χαρακτηριστικών. Έπειτα το SVM βρίσκει το γραμμικό διαχωριστικό υπερεπίπεδο με το μέγιστο περιθώριο. Στα SVM υπάρχουν πολλές τέτοιες συναρτήσεις και για την επιλογή κάθε φορά της κατάλληλης συνάρτησης απαιτείται έρευνα. Η δυνατότητα της χρήσης πολλών συναρτήσεων πυρήνα επιτρέπει την παρακολούθηση μαθησιακών μεθόδων, όπως την Radial Basis Function (RBF) των νευρωνικών δικτύων ή τα νευρωνικά δίκτυα πολλαπλών επιπέδων ως ιδιαίτερες περιπτώσεις των SVM, παρά το γεγονός ότι τα βελτιστοποιημένα κριτήρια δεν είναι τα ίδια. Στην πραγματικότητα, τα SVM βελτιστοποιούν ένα γεωμετρικό κριτήριο που είναι το περιθώριο (margin) και είναι ευαίσθητο μόνο στις ακραίες τιμές και όχι στην κατανομή των δεδομένων στο χώρο των χαρακτηριστικών. Από την άλλη πλευρά η μέθοδος RBF και τα νευρωνικά δίκτυα πολλαπλών στρώσεων βελτιστοποιούν το Mean Square Error (MSE) και παρέχουν μια λύση η οποία βασίζεται στην κατανομή του συνόλου των δεδομένων. Αναλυτικότερα το μέσο τετραγωνικό σφάλμα (MSE) θα το εξετάσουμε στο κεφάλαιο 4. Όπως αναφέραμε οι συναρτήσεις πυρήνα μετασχηματίζουν τα δεδομένα σε ένα χώρο χαρακτηριστικών που συνήθως έχει τεράστια διάσταση. Ωστόσο, έχει αποδειχθεί ότι η ικανότητα της γενίκευσης εξαρτάται από τα γεωμετρικά χαρακτηριστικά των δεδομένων εκπαίδευσης και όχι από τη διάσταση του χώρου εισόδου. Επομένως, αν αυτά τα χαρακτηριστικά είναι καλά επιλεγμένα, το αναμενόμενο σφάλμα της γενίκευσης μπορεί να είναι μικρό ακόμα και αν ο χώρος χαρακτηριστικών έχει τεράστιες διαστάσεις. Επιπλέον, το έργο του Vapnik, συγκρίνοντας τα SVM και το perceptron των Νευρωνικών Δικτύων έδειξε ότι ο εμπειρικός κίνδυνος, ο οποίος αξιολογεί την ικανότητα γενίκευσης, περιορίζεται για τα SVM με τη συνάρτηση της μεγαλύτερης αξίας του κανόνα των SVM. Για το perceptron αυτό το όριο είναι συνάρτηση της μεγαλύτερης τιμής του κανόνα των διανυσμάτων όπου το perceptron κάνει μια διόρθωση. Ο Vapnik επεσήμανε ότι η ελαχιστοποίηση του λόγου μεταξύ της ακτίνας της σφαίρας που περιέχει τους φορείς στήριξης (support vectors) και του περιθωρίου μπορεί να δώσει καλύτερη γενίκευση από τη μεγιστοποίηση μόνο του περιθωρίου. Αυτό έδειξε ότι από τα SVM λείπει ένα σημαντικό χαρακτηριστικό των δεδομένων, το οποίο είναι η δομή των δεδομένων που περιέχονται στον χώρο της υψηλής διάστασης. Η λύση στο εν λόγω πρόβλημα παρουσιάζεται σε δύο βήματα. Το πρώτο βήμα είναι η επιλογή των δεδομένων που εξάγουν τα σχετικά διανύσματα στον χώρο υψηλής διάστασης εκμεταλλευόμενοι τη θεωρία του πυρήνα και διατηρώντας τη γεωμετρική δομή των Σελίδα 24

26 δεδομένων στον εν λόγω χώρο [8], [15], [20]. Το δεύτερο βήμα βελτιστοποιεί ένα συγκεκριμένο κριτήριο στο υποσύστημα των επιλεγμένων διανυσμάτων. Ας σκεφτούμε μια συνάρτηση απεικόνισης Φ, η οποία αντιστοιχεί δεδομένα από έναν χώρο εισόδων Χ σε έναν χαρακτηριστικού Hilbert χώρο F [8]: Φ Χ F x Φ(χ) Εικόνα 8: Kernel Function Υποθέτοντας ότι ο αριθμός των δειγμάτων είναι Μ, ορίζουμε τον πυρήνα μήτρας K ως εξής: K = (k ij ) 1 i M, 1 j M Όπου k ij = Φ(x i ) Τ Φ(x) Σελίδα 25

27 Τα μετασχηματισμένα δεδομένα βρίσκονται σε μία υποπεριοχή του χώρου του F με διάσταση μικρότερη ή ίση με το Μ. Τις περισσότερες φορές η διάσταση αυτού του υποσυνόλου είναι μικρότερη από το Μ και είναι ίση με την τάξη της μήτρας Κ του πυρήνα. Προτείνουμε η εργασία στον υποχώρο των δεδομένων του F. Έτσι, αναπτύχθηκε μια μέθοδος προεπεξεργασίας που επιλέγει τα σχετικά δεδομένα, σχηματίζοντας τη βάση αυτού του υποχώρου και καταγράφοντας τη δομή ολόκληρων των δεδομένων του F. Η επιλογή δεδομένων του F χρησιμοποιεί τη μέθοδο του πυρήνα που χειρίζεται το τεχνητό προϊόν K χωρίς να γνωρίζει ρητά τη λειτουργία της συνάρτησης απεικόνισης φ. Η επιλογή δεδομένων είναι ένα κοινό βήμα σε όλες τις μεθόδους του πυρήνα. Μόλις προβάλλονται τα δεδομένα στον υποχώρο των επιλεγμένων δεδομένων, μπορούν να εκτελεστούν κλασσικοί γραμμικοί αλγόριθμοι. 3.3 Επιλογή μοντέλου των SVM Η επιλογή του κατάλληλου μοντέλου είναι επίσης ένα βασικό ζήτημα για τα SVM. Πρόσφατες έρευνες έδειξαν ότι τα SVM έχουν δείξει πολύ καλή απόδοση στην ταξινόμηση δεδομένων. Η απόδοση εξαρτάται από διάφορες παραμέτρους που επηρεάζουν το γενικό σφάλμα. Συχνά αποκαλούμε την επιλογή μοντέλου ως παραμετρική διαδικασία συντονισμού. Εάν χρησιμοποιούμε το γραμμικό μοντέλο των SVM η μόνη παράμετρος που χρειάζεται να προσδιορίσουμε είναι η C (C>0). Η παράμετρος C εκφράζει το κόστος μιας εσφαλμένης ταξινόμησης από το SVM [1]. Μια μεγάλη τιμή της C αναγκάζει το SVM να ταξινομήσει σωστά περισσότερα δείγματα από ότι μια μικρή τιμή. Ωστόσο αυτό δεν είναι πάντα επιθυμητό. Παρακάτω βλέπουμε δυο περιπτώσεις όπου ενώ στην πρώτη, επιθυμητή είναι μια μικρή τιμή της C, στη δεύτερη καλύτερο αποτέλεσμα έχει μια μεγάλη τιμή. Σελίδα 26

28 Εικόνα 9: Επιθυμητή μια μικρή τιμή του C [18] Εικόνα 10: Επιθυμητή μια μεγάλη τιμή του C [18] Το γραμμικό μοντέλο SVM εφαρμόζεται μόνο σε γραμμικά προβλήματα διαχωρισμού δεδομένων. Τα περισσότερα προβλήματα που καλούμαστε να αντιμετωπίσουμε είναι μηγραμμικά, όπως ταξινόμηση δορυφορικών δεδομένων, με αποτέλεσμα να εφαρμόσουμε μηγραμμικό πυρήνα για την ταξινόμησή τους. Έτσι εκτός από την επιλογή της παραμέτρου C θα πρέπει να προσδιοριστούν και άλλες παράμετροι όπως για παράδειγμα η παράμετρος γ της Σελίδα 27

29 συνάρτησης πυρήνα RBF, η οποία εκφράζει την επιρροή που θα έχει στο τελικό αποτέλεσμα ένα μεμονωμένο δείγμα εκπαίδευσης. Συχνά χρησιμοποιούμε την μέθοδος του δικτύου αναζήτησης (grid search method) σε cross validation προβλήματα για να επιλέξουμε τις κατάλληλες παραμέτρους. Έπειτα εφαρμόζουμε αυτές τις παραμέτρους στα δεδομένα εκπαίδευσης και στη συνέχεια παίρνουμε τον ταξινομητή. Αυτός με τη σειρά του ταξινομεί τα δεδομένα δοκιμής έτσι ώστε να προκύψουν αποτελέσματα με γενίκευση ακριβείας. 3.4 Support Vector Regression (Παλινδρόμηση) Εικόνα 11: Support Vector Regression [30] Ο αλγόριθμος SV (Support Vector) αποτελεί μια μη γραμμική γενίκευση του γενικευμένου αλγορίθμου του Portrait που αναπτύχθηκε στη Ρωσία την δεκαετία του Ο αλγόριθμος SVR είναι η πιο κοινή εφαρμογή των SVM αλγορίθμων [6]. Ο αλγόριθμος παλινδρόμησης καλύπτει τόσο το τετραγωνικό μέρος του προγραμματισμού και παρέχει προηγμένες μεθόδους για την αντιμετώπιση των μεγάλων συνόλων δεδομένων. Ορισμένες Σελίδα 28

30 τροποποιήσεις και προεκτάσεις έχουν εφαρμοστεί σύμφωνα με τον πρότυπο SV αλγόριθμο. Τα δεδομένα εκπαίδευσης λαμβάνονται ως {(x 1, y 1 ),.,(x n, y n )} Ƈ N R, όπου το N δηλώνει τον χώρο των προτύπων εισόδου. Στόχος του SVR είναι η εύρεση μια συνάρτησης f(x) που έχει το πολύ μια απόκλιση ε από τις πραγματικές τιμές για όλα τα δεδομένα εκπαίδευσης. Η περίπτωση της γραμμικής συνάρτησης παλινδρόμησης f περιγράφεται από την μορφή [6]: f(x) = (ω, x) + h Τυπικά το πρόβλημα μπορεί να περιγραφεί ως ένα πρόβλημα βελτιστοποίησης στο οποίο για την εύρεση της βέλτιστης συνάρτησης f με ακρίβεια ε πρέπει να ελαχιστοποιηθεί η 1 2 ω 2 + C n i=1 y i f(x i ) ε Η διαμόρφωση γράφεται ως Minimize 1 2 ω 2 + C (ξ i + ξ i=1 i ) n Subjects to y i (ω, x i ) b ε + ξ i (1) (ω, x i ) + b y i ε + ξ i (2) ξ i, ξ i 0 Με την εισαγωγή πολλαπλασιαστών Lagrange καταλήγουμε στο παρακάτω πρόβλημα βελτιστοποίησης το οποίο οι σταθερές C και ε επιλέγονται εκ των προτέρων [6]: Minimize { 1 n 2 (a i a i )(a j a j ) < x i, x i > i,j=1 n + y i (a i a i )} i=1 n ε (a i + a i ) i=1 Subject to n i=1 (a i a i ) = 0 and a i,a i [0,C] Σελίδα 29

31 Η τελική συνάρτηση που χρησιμοποιεί ο SVR είναι η παρακάτω [6]: f(x) = n i=1 (a i a i ) k(x i, x) + b Όπου οι a i, a i είναι οι πολλαπλασιαστές Lagrange, k(x i, x) η συνάρτηση Kernel και ο b υπολογίζεται λαμβάνοντας υπόψη πως η σχέση (1) γίνεται ισότητα με ξ i = 0 αν 0 < α i < C και η (2) γίνεται ισότητα με ξ i = 0 αν 0 < a i < C. Τα support vectors (διανύσματα στήριξης) είναι τα δεδομένα του συνόλου εκπαίδευσης για τα οποία έχουμε μη μηδενικές τιμές του (α i a i ) [6]. 3.5 Επιλογή των κατάλληλων παραμέτρων Στα SVM δεν υπάρχουν συγκεκριμένοι τύποι παραμέτρων. Στα διάφορα πακέτα λογισμικού που υλοποιούν τέτοιους αλγορίθμους οι τιμές των παραμέτρων εισάγονται αποκλειστικά και μόνο από τον χρήστη, όπως η παράμετρος C και οι παράμετροι του πυρήνα [1]. 3.6 Πλεονεκτήματα των SVM Κάποια από τα πλεονεκτήματα του SVM αλγορίθμου είναι τα παρακάτω [29]: Μπορούν να διαχειρίζονται δεδομένα πολλών διαστάσεων, αφού η πολυπλοκότητα είναι ανεξάρτητη από την διάσταση του χώρου των δεδομένων. Υπάρχει ευελιξία στην επιλογή της συνάρτησης του πυρήνα. Με την εφαρμογή της προσέγγισης των χαλαρών ορίων (slack variables) μπορεί να ελεγχθεί η υπερεκπαίδευση. Δυνατότητα διαχωρισμού μεγάλου set δεδομένων, από την στιγμή που αρκούν μόνο τα support vectors για να ορίσουν το επίπεδο διαχωρισμού. Σελίδα 30

32 3.7 Συμπεράσματα Ο αλγόριθμος SVM εκφράζει τη μάθηση ως ένα μαθηματικό πρόγραμμα εκμεταλλευόμενος την πλούσια θεωρία βελτιστοποίησης. Χρησιμοποιεί το τέχνασμα του πυρήνα (Kernel) για να αντιστοιχίσει τα δεδομένα έμμεσα σε πιο υψηλό διαστάσεων χώρο. Είναι εξαιρετικά επιτυχής, ισχυρός, αποτελεσματικός και ευέλικτος και υπάρχουν πολύ καλές θεωρητικές ενδείξεις ως προς το ότι γενικεύει καλά. Σελίδα 31

33 ΚΕΦΑΛΑΙΟ 4: ΑΝΑΛΥΣΗ ΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ 4.1 Εισαγωγή στα νευρωνικά δίκτυα Τα Τεχνητά Νευρωνικά δίκτυα (ΤΝΔ) αποτελούν μια προσπάθεια προσέγγισης της λειτουργίας του ανθρώπινου εγκεφάλου. Είναι δηλαδή απλοποιημένα μοντέλα του κεντρικού νευρικού συστήματος του ανθρώπου. Υπάρχουν πολλές κατηγορίες Νευρωνικών Δικτύων ανάλογα με την αρχιτεκτονική τους και τον τρόπο εκπαίδευσής τους. Εικόνα 12: Απεικόνιση Νευρωνικού Δικτύου Σελίδα 32

34 4.2 Από τα βιολογικά Νευρωνικά Δίκτυα στα Τεχνητά Κατά τη γέννησή του ο ανθρώπινος εγκέφαλος κατασκευάζει τους δικούς του κανόνες, δηλαδή ένα είδος εμπειρίας, η οποία μεγαλώνει με την πάροδο του χρόνου. Κατά τα δύο πρώτα χρόνια ζωής έχουμε τη μέγιστη ανάπτυξη, όπου δημιουργούνται ένα εκατομμύριο συνάψεις (synapses) στο δευτερόλεπτο. Οι συνάψεις είναι βασικές δομικές και λειτουργικές μονάδες που μεσολαβούν στην ενδοεπικοινωνία των νευρώνων και χωρίζονται σε ενισχυτικές και ανασταλτικές, ανάλογα με το αν το φορτίο που εκλύεται από την σύναψη ερεθίζει τον νεύρωνα να παράγει παλμούς με μεγαλύτερη συχνότητα ή αν τον καταστέλλει εμποδίζοντάς τον να παράγει παλμούς αντίστοιχα. Είναι τα σημεία στα οποία ενώνονται οι διακλαδώσεις του άξονα ενός νεύρωνα με τους δενδρίτες άλλων νευρώνων. Είναι κύστες με ηλεκτροχημικό υλικό (ιόντα κυρίως Νατρίου και Καλίου). Το υλικό αυτό μεταδίδει την ηλεκτρική δραστηριότητα του άξονα-αποστολέα στους δενρίτες-παραλήπτες [25]. Εικόνα 13: Αναπαράσταση Βιολογικού Νευρωνικού Δικτύου Σελίδα 33

35 Ένα Τεχνητό Ν.Δ. μοιάζει με τον εγκέφαλο στα εξής: Η γνώση αποκτάται από το δίκτυο μέσα από διαδικασία μάθησης. Οι δυνάμεις σύνδεσης των νευρώνων, γνωστές σαν συναπτικά βάρη (synaptic weights), χρησιμοποιούνται για την αποθήκευση γνώσης. Το συνοπτικό βάρος είναι το ποσοστό της ηλεκτρικής δραστηριότητας που μεταδίδεται τελικά στον δενδρίτη. Ένας νεύρωνας είναι μια μονάδα επεξεργασίας πληροφορίας. Τα τρία βασικά στοιχεία αυτού του μοντέλου είναι: Ένα σύνολο από συνάψεις ή συνδετικούς κρίκους. Ένα αθροιστής. Μία συνάρτηση ενεργοποίησης. Εικόνα 14: Τεχνητό Νευρωνικό Δίκτυο Τα Τεχνητά Νευρωνικά Δίκτυα είναι μια συλλογή από νεύρωνες (Processing Units-PUs) οι οποίοι συνδέονται μεταξύ τους. Κάθε νεύρωνας έχει πολλές εισόδους αλλά μόνο μία έξοδο η οποία αποτελεί είσοδο για άλλους νεύρωνες. Οι συνδέσεις διαφέρουν ως προς την σημαντικότητά τους που προσδιορίζεται από τον συντελεστή βάρους (σύναψη). Η επεξεργασία κάθε νεύρωνα καθορίζεται από την συνάρτηση μεταφοράς, η οποία καθορίζει την κάθε έξοδο σε σχέση με τις εισόδους και τους συντελεστές βάρους. Το βασικότερο χαρακτηριστικό ενός νεύρωνα είναι η ευαισθησία του, δηλαδή η ικανότητά του να αντιδρά Σελίδα 34

36 σε διάφορα εξωτερικά ερεθίσματα (χημικά, θερμικά, μηχανικά, ηλεκτρομαγνητικά κ.α.), με αποτέλεσμα να παράγονται παλμοί σύντομης διάρκειας, οι οποίοι ταξιδεύουν στον άξονα κάθε νεύρωνα και μέσω των συνάψεων διαδίδονται στους δενδρίτες των παραληπτών νευρώνων, μεταφέροντας την πληροφορία. Κάθε νεύρωνας συλλέγει όλο το ηλεκτρικό φορτίο που δέχεται από κάθε σύναψη στους δενδρίτες του. Τα τεχνητά νευρωνικά δίκτυα δεν έχουν την δυνατότητα να εκτελέσουν πράγματα που εκτελεί ακόμη και ο εγκέφαλος ενός μικρού παιδιού. Αυτό είναι λογικό διότι οι αριθμοί των μονάδων των νευρώνων καθώς και οι συνδέσεις τους στον άνθρωπο είναι πολύ μεγαλύτεροι ως τάξη μεγέθους από τους αριθμούς των μονάδων που μπορεί να χειριστεί σήμερα ένας υπολογιστής. Από την άλλη, τα Τεχνητά Νευρωνικά Δίκτυα έχουν την ικανότητα να επιλύουν σχετικά εύκολα πολύπλοκα προβλήματα μαθηματικών στα οποία ο ανθρώπινος εγκέφαλος αδυνατεί να ανταπεξέλθει. Η βασικότερη διαφορά ανάμεσα στα Τεχνητά Νευρωνικά Δίκτυα και στα Βιολογικά εντοπίζεται στις συνάψεις, οι οποίες είναι πιο πολύπλοκες στην δεύτερη περίπτωση και τέλος, μία ακόμη διαφορά είναι ότι ο εγκέφαλος μπορεί να κάνει σύγχρονη ή ασύγχρονη ενημέρωση των μονάδων του (δηλαδή σε συνεχή χρόνο), ενώ τα Τεχνητά Νευρωνικά Δίκτυα κάνουν μόνο σύγχρονη ενημέρωση, δηλαδή σε διακριτό χρόνο. 4.3 Προβλήματα που αντιμετωπίζονται με τα Νευρωνικά Δίκτυα Τα ΝΔ αποτελούν ένα ιδιαίτερα χρήσιμο εργαλείο για την επίλυση προβλημάτων τα οποία δεν μπορούν να εκφραστούν ως μια σειρά βημάτων, όπως η αναγνώριση προτύπων-μοτίβων (pattern recognition), η ταξινόμηση σε ομάδες (classification), η πρόβλεψη σειρών (series prediction) και η εξόρυξη δεδομένων (data mining). Αντιθέτως, προβλήματα τα οποία μπορούν να λυθούν αλγοριθμικά, με συγκεκριμένα βήματα δεν επιλύονται με τις εφαρμογές των Νευρωνικών Δικτύων. 4.4 Ταξινόμηση προτύπων (Pattern classification) Η ευκολία με την οποία αναγνωρίζουμε ένα πρόσωπο, καταλαβαίνουμε λέξεις που ακούμε σε έναν διάλογο, διαβάζουμε χειρόγραφους χαρακτήρες και διαπιστώνουμε ποιο μήλο είναι ώριμο από τη μυρωδιά του και μόνο είναι λειτουργίες που διέπουν την διαδικασία αναγνώρισης προτύπων. Η ταξινόμηση ή κατηγοριοποίηση προτύπων είναι η διαδικασία με την οποία διαλέγουμε τα πρότυπα και τα εκχωρούμε στην μία ή στην άλλη ομάδα, δηλαδή Σελίδα 35

37 τα χωρίζουμε στο δειγματοχώρο. Ένα παράδειγμα για να γίνουν πιο κατανοητές οι παραπάνω έννοιες, είναι όταν ξεφυλλίζουμε ένα κόμικ. Τότε ο εγκέφαλός μας παράγει τα κατάλληλα σήματα πληροφορίας που λαμβάνει από τα μάτια ώστε να μπορέσει να διαβάσει, να κατανοήσει και να ξεχωρίσει τις εικόνες μεταξύ τους. Οι εικόνες στην περίπτωσή μας είναι τα πρότυπα που ο άνθρωπος καλείται να διαβάσει και να διαχωρίσει. Ωστόσο, η αναγνώριση και η κατηγοριοποίηση προτύπων είναι μια διαδικασία με την οποία συνδέονται πολλά προβλήματα, όπως η αναγνώριση δακτυλικών αποτυπωμάτων, η αναγνώριση φυσικών προσώπων και προφορικών ή χειρόγραφων λέξεων. 4.5 Ιδιότητες και χαρακτηριστικά των Νευρωνικών Δικτύων Κάνοντας μια προσπάθεια να διαχωρίσουμε τα χαρακτηριστικά των Νευρωνικών Δικτύων από άλλους τύπους ταξινομητών, μπορούμε να τονίζουμε πως τα δύο πιο βασικά χαρακτηριστικά τους είναι πρώτον η δυνατότητά τους να εκπαιδεύονται και να μαθαίνουν από το περιβάλλον τους και δεύτερον η δυνατότητα γενίκευσης της γνώσης την οποία πήραν. Συγκεκριμένα, σχετικά με την ιδιότητα της γενίκευσης, η μηχανή θα πρέπει να είναι σε θέση να ανταπεξέλθει ακόμη και σε παραδείγματα που δεν έχει ρητά εκπαιδευθεί. Για την σωστή λειτουργία ενός Νευρωνικού Δικτύου, ως χρήστες οφείλουμε να θέσουμε ένα όριο αποδεκτού σφάλματος, πέρα από το οποίο τα αποτελέσματά μας δεν είναι αποδεκτά. Τα τελευταία χρόνια, τα Νευρωνικά Δίκτυα εφαρμόζονται και δίνουν λύσεις με μεγάλη επιτυχία σε πολλούς τομείς, όπως η βιοϊατρική τεχνολογία, η ρομποτική, τα συστήματα τεχνητής νοημοσύνης, τα χρηματοοικονομικά και χρηματιστηριακά συστήματα. Αυτή η επιτυχία τους βασίζεται σε δύο βασικούς παράγοντες, την ευχρηστία και την ισχύ. Σχετικά με την ευχρηστία, μπορούμε να τονίσουμε ότι ένας χρήστης των Νευρωνικών Δικτύων χρειάζεται να έχει πολύ χαμηλότερο επίπεδο γνώσεων από αυτό που θα χρειαζόταν αν χρησιμοποιούσε πιο παραδοσιακές μεθόδους. Τα Νευρωνικά Δίκτυα εκπαιδεύονται με ένα κατάλληλα αντιπροσωπευτικό δείγμα δεδομένων, το οποίο το ΝΔ αντιλαμβάνεται πλήρως και με βάση αυτό διαμορφώνει κατάλληλα τα συναπτικά βάρη, τα οποία παραμένουν αναλλοίωτα όσες φορές και να εφαρμοστεί το ίδιο σύνολο εκπαίδευσης. Όσον αφορά τώρα τον παράγοντα της ισχύος, τα Νευρωνικά Δίκτυα αποτελούν μη γραμμικά μοντέλα υλοποίησης που είναι σε θέση να εκτελέσουν εξαιρετικά πολύπλοκες λειτουργίες. Οι μέθοδοι και οι αλγόριθμοι γραμμικής μοντελοποίησης παρέχουν εξαιρετικά αποδοτικές Σελίδα 36

38 λύσεις σε γραμμικά προβλήματα. Όμως, στις περισσότερες περιπτώσεις οι γραμμικές προσεγγίσεις αδυνατούν να δώσουν λύση. Τότε εφαρμόζονται να Νευρωνικά Δίκτυα με εξαιρετικά μεγάλη επιτυχία στο μεγαλύτερο σύνολο των περιπτώσεων. 4.6 Μέθοδοι εκπαίδευσης των Νευρωνικών Δικτύων Εκπαίδευση ενός Νευρωνικού δικτύου καλούμε τη διαδικασία κατά την οποία τα συναπτικά βάρη καταχωρούνται στο δίκτυο, δηλαδή το δίκτυο αποκτά κατά κάποιον τρόπο γνώση ή μνήμη. Οι μέθοδοι εκπαίδευσης ενός Νευρωνικού δικτύου ανήκουν στις εξής κατηγορίες [28]: Μάθηση με επίβλεψη (supervised learning) Μάθηση χωρίς επίβλεψη (unsupervised learning) Ενισχυτική μάθηση Η μάθηση με επίβλεψη είναι η διαδικασία στην οποία ο αλγόριθμος κατασκευάζει μια συνάρτηση που απεικονίζει δεδομένες εισόδους (σύνολο εκπαίδευσης) σε γνωστές επιθυμητές εξόδους, με απώτερο στόχο τη γενίκευση της συνάρτησης αυτής και για εισόδους με άγνωστη έξοδο [27]. Χρησιμοποιείται σε προβλήματα : Ταξινόμησης (Classification) Πρόγνωσης (Prediction) Διερμηνείας (Interpretation) Η μη επιβλεπόμενη μάθηση είναι η διαδικασία όπου ο αλγόριθμος κατασκευάζει ένα μοντέλο για κάποιο σύνολο εισόδων υπό μορφή παρατηρήσεων χωρίς να γνωρίζει τις επιθυμητές εξόδους [27]. Χρησιμοποιείται σε προβλήματα: Ανάλυση συσχετισμών (Association Analysis) Ομαδοποίησης (Clustering) Η ενισχυτική μάθηση είναι η διαδικασία όπου ο αλγόριθμος μαθαίνει μια στρατηγική ενεργειών μέσα από άμεση αλληλεπίδραση με το περιβάλλον [28]. Χρησιμοποιείται κυρίως σε προβλήματα Σχεδιασμού (Planning), όπως ο έλεγχος κίνησης ρομπότ και η βελτιστοποίηση εργασιών σε εργοστασιακούς χώρους. Για κάθε πρόβλημα προς επίλυση στο χώρο της Μηχανικής Μάθησης υπάρχει ένας κατάλληλος τρόπος μάθησης και για κάθε τρόπο μάθησης υπάρχει τουλάχιστον ένας κατάλληλος αλγόριθμος που μπορεί να χρησιμοποιηθεί. Σελίδα 37

39 4.7 Μέθοδος Cross Validation Είναι γνωστό ότι ένας συνδυασμός πολλών διαφορετικών προβλέψεων μπορεί να βελτιώσει τις προβλέψεις μας. Στο σύνολό τους τα Νευρωνικά Δίκτυα εκπαιδεύονται ξεχωριστά και στη συνέχεια συνδυάζονται οι προβλέψεις τους. Αυτός ο συνδυασμός συνήθως γίνεται με πλειοψηφία (σε ταξινόμηση) ή με τον μέσο όρο (σε παλινδρόμηση), αλλά μπορούμε και να χρησιμοποιήσουμε έναν σταθμισμένο συνδυασμό των δικτύων. Ένας συνδυασμός των εξόδων πολλών Νευρωνικών δικτύων (ή άλλων μηχανών πρόβλεψης) είναι χρήσιμος μόνο όταν διαφωνούν σε μερικές εισόδους τους. Γίνεται σαφές ότι δεν προκύπτουν περισσότερες πληροφορίες από ένα εκατομμύριο πανομοιότυπα δίκτυα σε σχέση με τις πληροφορίες που παίρνουμε από ένα δίκτυο από αυτά. Με την ποσοτικοποίηση της διαφωνίας στο σύνολο καταδεικνύεται ότι είναι δυνατόν να δηλωθεί αυστηρά αυτή η διορατικότητα για ένα σύνολο που χρησιμοποιείται για την προσέγγιση των πραγματικών λειτουργιών (παλινδρόμηση) [13], [24]. Η μέθοδος Cross Validation είναι μια διαδικασία που μπορεί να χρησιμοποιηθεί για την εκτίμηση της ποιότητας ενός νευρωνικού δικτύου. Όταν εφαρμόζεται σε διάφορα νευρωνικά δίκτυα με διαφορετικές ελεύθερες τιμές παραμέτρων (όπως ο αριθμός των κρυφών κόμβων, ο ρυθμός εκμάθησης ανάστροφης διάδοσης κλπ.), τα αποτελέσματα της διασταυρούμενης επικύρωσης (Cross-validation) μπορούν να χρησιμοποιηθούν για την επιλογή του καλύτερου συνόλου τιμών παραμέτρων. Ένας τύπος cross-validation που αποτελεί μια μέθοδο αξιολόγησης και επικύρωσης των αλγορίθμων μάθησης είναι η μέθοδος k-fold Cross Validation. Η βασική ιδέα είναι ο διαχωρισμός των δεδομένων μας σε k υποσύνολα τα οποία είναι ίσα ή σχεδόν ίσα μεταξύ τους (το k συνήθως είναι ίσο με 10). Στη συνέχεια τρέχουμε τον αλγόριθμο εκπαίδευσης (οι τρεις πιο συνηθισμένες προσεγγίσεις είναι ο οπίσθιος πολλαπλασιασμός, η βελτιστοποίηση σμήνους σωματιδίων και η βελτιστοποίηση γενετικού αλγορίθμου) k φορές [13], [24]. Την πρώτη φορά που τρέχουμε τον αλγόριθμο, χρησιμοποιούμε τα k-1 από τα k σύνολα δεδομένων για εκπαίδευση και έπειτα υπολογίζουμε την ακρίβεια του ΝΔ χρησιμοποιώντας το σύνολο που περισσεύει. Αυτή η διαδικασία επαναλαμβάνεται k φορές έτσι ώστε κάθε ένα από τα k υποσύνολα να χρησιμοποιηθεί ως σύνολο επικύρωσης. Με το πέρας της διαδικασίας, το τελικό αποτέλεσμα είναι ο μέσος όρος όλως των τμημάτων,τον οποίο θα χρησιμοποιήσουμε ως συνολική εκτίμηση της ακρίβειας του δικτύου. Εν ολίγοις, η k-fold cross-validation μέθοδος μας δίνει μια εκτίμηση της ακρίβειας ενός νευρικού δικτύου όπου το δίκτυο κατασκευάστηκε χρησιμοποιώντας συγκεκριμένες τιμές για τον αριθμό των κρυφών κόμβων και των παραμέτρων εκπαίδευσης [13]. Σελίδα 38

40 Εικόνα 15: Μέθοδος Cross-Validation Ο αλγόριθμος Cross-validation περιλαμβάνει τα παρακάτω απλά βήματα [13], [23]: 1. Είσοδος: Σύνολο δεδομένων P στιγμιότυπων 2. Μέθοδος a. Αποφάσισε τον αριθμό k των ομάδων που θέλεις να χωρίσεις τα στιγμιότυπα. b. Υποδιαίρεσε το σύνολο των δεδομένων σε K ομάδες. c. Θέσε x=0 και α=0 ως μεταβλητή μερικού και ολικού συνόλου αντίστοιχα. d. Για κάθε επανάληψη από i=1 έως i=n εκπαίδευσε το μοντέλο χρησιμοποιώντας τα στιγμιότυπα από όλες τις ομάδες εκτός της A i, έπειτα υπολόγισε το ποσοστό επιτυχίας γενίκευσης του αλγορίθμου μάθησης και αποθήκευσέ το στη μεταβλητή x. e. Αύξησε το α κατά x. 3. Έξοδος: Υπολόγισε το ποσοστό επιτυχίας γενίκευσης του αλγορίθμου ως τον μέσο όρο όλων των επαναλήψεων (α/k). Σελίδα 39

41 4.8 Feedforward Νευρωνικά Δίκτυα Εικόνα 16: Feedforward Neural Network Οι νευρώνες ενός ΤΝΔ ομαδοποιούνται σε επίπεδα (layers) ώστε η επεξεργασία των δεδομένων να γίνεται όσο το δυνατόν παράλληλα. Ο νευρώνας του κάθε επιπέδου λειτουργεί ανεξάρτητα από τους υπόλοιπους νευρώνες του ίδιου επιπέδου, αφού δεν υπάρχει διασύνδεση μεταξύ τους. Οι υπολογισμοί σε ένα feedforward Τεχνητό Νευρωνικό Δίκτυο γίνονται ανά επίπεδο με κατεύθυνση από την είσοδο προς την έξοδο [33]. Σελίδα 40

42 4.9 Feedback Νευρωνικά Δίκτυα Εικόνα 17: Feedback Neural Network Σε αυτή την περίπτωση ΤΝΔ οι υπολογισμοί είναι πιο περίπλοκοι. Δημιουργούνται κύκλοι στις συνδέσεις των νευρώνων (όπως φαίνεται και στην εικόνα) και δυσκολεύει η μαθηματική τους προσέγγιση. Ένα feedback ΤΝΔ έχει περισσότερες δυνατότητες από ένα αντίστοιχο feedforward, καθώς παρουσιάζει δυναμική χρονική συμπεριφορά [34]. Σελίδα 41

43 4.10 Πολυεπίπεδο δίκτυο Perceptron Το πλέον διαδεδομένο ΝΔ συνεχών τιμών εισόδου και εξόδου είναι το πολυεπίπεδο Perceptron. Ένα τυπικό δίκτυο αποτελείται από νευρώνες του τύπου Perceptron, οι οποίοι διαθέτουν έναν γραμμικό και έναν μη-γραμμικό τελεστή συνδεδεμένους σε σειρά [25], [26]: y = N j=1 o = f(y) w i x i Το δίκτυο αποτελείται από περισσότερες των δυο ομάδων νευρώνων Perceptron που ονομάζονται και επίπεδα δικτύου. Ένα ή περισσότερα κρυφά επίπεδα επεξεργάζονται τα δεδομένα εισόδου και το επίπεδο εξόδου περιέχει τους νευρώνες, η έξοδος των οποίων είναι ταυτόχρονα και έξοδος του δικτύου. Η συνήθης σύνδεση των νευρώνων Perceptron ενός επιπέδου περιλαμβάνει συνάψεις που συνδέουν κάθε νευρώνα, με όλους τους νευρώνες του προηγούμενου επιπέδου. Η σύνδεση αυτή ονομάζεται πλήρης (full connected) και χρησιμοποιείται σε περιπτώσεις στις οποίες δεν γίνεται, εκ των προτέρων, να οριστεί η ακριβής τοπολογία του δικτύου. Η γενική αυτή τοπολογία καλύπτει και την πλειονότητα των εφαρμογών. Η ευρεία διάδοση του πολυεπίπεδου δικτύου Perceptron, οφείλεται σε δυο κυρίως λόγους: Η ισχυρή πολυπλοκότητα και η μη γραμμικότητα του δικτύου, παρέχουν την δυνατότητα να προσομοιώσουμε με ικανοποιητική ακρίβεια, συνεχείς και μη γραμμικές διανυσματικές συναρτήσεις. Ο αλγόριθμος εκπαίδευσης LMS δίνει την δυνατότητα υπολογισμού των συντελεστών βαρύτητας των συνάψεων από παραδείγματα. Η δυνατότητα αυτή επιτρέπει να χρησιμοποιηθεί το δίκτυο σε πρακτικές εφαρμογές. Έχουν χρησιμοποιηθεί με μεγάλη επιτυχία σε πάρα πολλά και δύσκολα προβλήματα μάθησης με επίβλεψη και σε ταξινομήσεις και προσεγγίσεις συναρτήσεων. Εκπαιδεύονται συνήθως χρησιμοποιώντας τον αλγόριθμο οπισθοδιάδοσης του σφάλματος (error back propagation) που ουσιαστικά εφαρμόζει τη μέθοδο βελτιστοποίησης της καθόδου με βάση την κλίση (gradient descent) για την ελαχιστοποίηση του τετραγωνικού σφάλματος εκπαίδευσης. Σελίδα 42

44 4.11 Τρόποι μετάδοσης της πληροφορίας σε ένα Νευρωνικό Δίκτυο Σε ένα ΤΝΔ υπάρχουν 3 τύποι νευρώνων: Οι νευρώνες εισόδου, οι οποίοι συνδέουν τις εξωτερικές εισόδους του δικτύου με τους υπολογιστικούς νευρώνες Οι νευρώνες εξόδου, οι οποίοι εξάγουν τις τελικές εξόδους του δικτύου Οι υπολογιστικοί νευρώνες (κρυμμένοι), οι οποίοι πολλαπλασιάζουν την κάθε είσοδό τους με το συναπτικό βάρος και υπολογίζουν το ολικό άθροισμα των γινομένων. Η συνολική είσοδος του κάθε νευρώνα ονομάζεται δυναμικό ενεργοποίησης και ισούται με το άθροισμα των γινομένων των μερικών εισόδων του νευρώνα επί τους αντίστοιχους συντελεστές βαρύτητας, δηλαδή: u = i=n i=1 x i w i Ο νευρώνας ακολουθεί το μοντέλο McCulloch-Pitts και περιγράφεται από τις ακόλουθες εξισώσεις: u = N w i x i θ i=1 Η έξοδος του νευρώνα είναι η y = f(u) που εναλλακτικά μπορεί να γραφτεί και ως : y = f( N i=1 w i x i θ) Σελίδα 43

45 Όπου f είναι η συνάρτηση ενεργοποίησης ή μεταφοράς (activation function), για την οποία θέλουμε να μην είναι γραμμική ώστε να μπορεί να μοντελοποιεί μη γραμμικές καταστάσεις. Η διαδικασία με την οποία ένας τυχαίος νευρώνας μετατρέπει όλες τις εισόδους του σε έξοδο, παίρνει τη μορφή μαθηματικής συνάρτησης από την οποία μπορούμε για απλά ΤΝΔ να καθορίσουμε την αρχιτεκτονική τους. Τα δεδομένα εισόδου αποτελούν το διάνυσμα εισόδου και τα αποτελέσματα που εμφανίζονται στους νευρώνες εξόδου αποτελούν το διάνυσμα εξόδου. Το πρόβλημα γενικά είναι η υλοποίηση μιας συνάρτησης πολλαπλών μεταβλητών, συχνά περίπλοκη και με άγνωστο τύπο με την οποία θα μπορέσουμε με ορθό και ακριβή τρόπο να απεικονίσουμε τα δεδομένα εισόδου στα δεδομένα εξόδου Συναρτήσεις ενεργοποίησης Νευρωνικών Δικτύων Βηματική συνάρτηση (step function) ή συνάρτηση κατωφλίου (threshold function) Αποτελεί τη συνάρτηση ενεργοποίησης των Βιολογικών Νευρώνων και χρησιμοποιήθηκε στο πρώτο μοντέλο τεχνητού νευρώνα. 1, u θ f(u)={ 0, u < θ Συνάρτηση ενεργοποίησης 1-Βηματική συνάρτηση (MATLAB) Σελίδα 44

46 Συνάρτηση προσήμου 1, u θ f(u)={ 1, u < θ Συνάρτηση ενεργοποίησης 2-Συνάρτηση προσήμου (MATLAB) Γραμμική συνάρτηση f(u) = u Συνάρτηση ενεργοποίησης 3-Γραμμική συνάρτηση (MATLAB) Σελίδα 45

47 Τμηματικά γραμμική συνάρτηση 1, u θ f(u) = { u, θ < u < θ 0, u θ Συνάρτηση ενεργοποίησης 4-Τμηματικά γραμμική συνάρτηση (MATLAB) Μη γραμμικές συναρτήσεις ενεργοποίησης Υπερβολική εφαπτομένη f(u) = tanh(a u) ή f(u) = eau e au e au + e au Σελίδα 46

48 Συνάρτηση ενεργοποίησης 5-Υπερβολική εφαπτομένη (MATLAB) Διέρχεται από την αρχή των αξόνων οπότε για u=0 θα μας δώσει την τιμή 0 και έχει πεδίο τιμών το (-1,1). Λογιστική ή Σιγμοειδής συνάρτηση 1 f(u) = 1 + e au Συνάρτηση ενεργοποίησης 6-Λογιστική ή Σιγμοειδής συνάρτηση (MATLAB) Σελίδα 47

49 Έχει πεδίο τιμών το (0,1),η γραφική της παράσταση μοιάζει με ένα τελικό σίγμα και η κλίση της καθορίζεται από την παράμετρο α. Αυτό που παρατηρούμε είναι ότι όσο αυξάνεται το α στις δύο παραπάνω μη-γραμμικές συναρτήσεις η κλίση τους γίνεται μεγαλύτερη και για πολύ μεγάλες τιμές του α οι γραφικές παραστάσεις παίρνουν τη μορφή της συνάρτησης προσήμου και της βηματικής συνάρτησης αντίστοιχα, διατηρώντας ταυτόχρονα το πλεονέκτημα της συνέχειας και της παραγωγισημότητας Πλεονεκτήματα και μειονεκτήματα των Νευρωνικών Δικτύων Όπως αναφέραμε τα Νευρωνικά Δίκτυα έχουν την ικανότητα να χειρίζονται ελλιπή δεδομένα και να βγάζουν γενικά συμπεράσματα για δεδομένα που δεν έχουν χρησιμοποιηθεί κατά την εκπαίδευσή τους [31], [32]. Τα γενικά πλεονεκτήματα των Νευρωνικών Δικτύων είναι [31]: 1) Η δυνατότητα σχετικά εύκολης υλοποίησης σε Hardware. 2) Η προσαρμοστικότητα και η ανεκτικότητα σε διάφορα σφάλματα. 3) Η ικανότητα γενίκευσης. 4) Η ικανότητα βελτιστοποίησης γραμμικών και μη-γραμμικών μοντέλων. 5) Η χρήση τους δεν απαιτεί τη δημιουργία κάποιου μαθηματικού μοντέλου για τα δεδομένα που καλούνται να επεξεργαστούν. Τα γενικά μειονεκτήματα των Νευρωνικών Δικτύων είναι [31]: 1) Εάν έχουμε ένα ακατάλληλο σύνολο δεδομένων επεξεργασίας η εκπαίδευση μπορεί να είναι πολύ δύσκολη και χρονοβόρα. 2) Δεν υπάρχει η δυνατότητα αποτύπωσης της ικανότητας γενίκευσης με χρήση μαθηματικών τύπων. 3) Δεν ερμηνεύεται η εσωτερική τους λειτουργία. 4) Συχνά παρουσιάζουν προβλήματα λόγω του μεγάλου πλήθους των διαφορετικών εισόδων και εξόδων. Σελίδα 48

50 4.14 Σύγκριση SVM με Νευρωνικά Δίκτυα Σχετικά με τα όσα αναφέραμε παραπάνω, μπορούμε να τονίσουμε τις σημαντικότερες διαφορές ή και ομοιότητες των SVM σε σχέση με τα Νευρωνικά Δίκτυα, οι οποίες είναι οι εξής: Στα SVM οι συναρτήσεις Kernel αντιστοιχούν τα δεδομένα σε έναν χώρο πιο υψηλής διάστασης, ενώ τα Νευρωνικά Δίκτυα περιέχουν κρυμμένα στρώματα απεικόνισης για τη μείωση των διαστάσεων χώρου. Στα SVM ο χώρος αναζήτησης έχει ένα και μοναδικό ελάχιστο, σε αντίθεση με τα Νευρωνικά Δίκτυα στα οποία ο χώρος αναζήτησης έχει πολλαπλά τοπικά ελάχιστα. Και στα SVM και στα Νευρωνικά Δίκτυα η κατάταξη των δεδομένων είναι εξαιρετικά αποδοτική. Στα SVM καλούμαστε ως χρήστες να επιλέξουμε τη συνάρτηση Kernel και το κόστος, ενώ στα Νευρωνικά Δίκτυα καλούμαστε να επιλέξουμε το πλήθος των κρυφών μονάδων και επιπέδων. Και τα SVM και τα Νευρωνικά Δίκτυα παρέχουν πολύ καλή ακρίβεια σε συγκεκριμένους τομείς, αλλά τα πρώτα αποτελούν πιο ευέλικτη διαδικασία υλοποίησης. Σελίδα 49

51 ΚΕΦΑΛΑΙΟ 5: ΔΙΕΡΕΥΝΗΣΗ ΤΗΣ ΚΑΛΥΤΕΡΗΣ ΜΕΘΟΔΟΥ ΥΛΟΠΟΙΗΣΗΣ Στο παρόν κεφάλαιο θα επιχειρήσουμε να χρησιμοποιήσουμε τα SVM και τα ΝΔ προκειμένου να προβλέψουμε την ισχύ εξόδου πέντε Α/Γ, οι οποίες βρίσκονται σε διαφορετικά αιολικά πάρκα. Τα στοιχεία τους συνοψίζονται στον παρακάτω πινάκα: Πίνακας 1-Στοιχεία ανεμογεννητριών Ανεμογεννήτριες - Γενικά στοιχεία Τύπος ανεμογεννήτριας Ονομαστική ισχύς (MW) Ταχύτητα αποκοπής (m/s) Τοποθεσία εγκατάστασης WG1 WG2 WG3 WG4 WG5 VESTAS VESTAS VESTAS SIEMENS GAMESA 2 2 0,85 0,6 0, Στερεά Ελλάδα Θράκη Πελοπόννησος Εύβοια Πελοπόννησος Στη διάθεση μας έχουμε για κάθε ανεμογεννήτρια (Α/Γ) δεδομένα διάρκειας δυόμιση ετών. Στο σύνολο των δεδομένων αυτών περιλαμβάνεται: Η ονομαστική ισχύς [MW]. Η ταχύτητα αποκοπής (cut-off speed). Είναι η μέγιστη ταχύτητα ανέμου για την οποία η ανεμογεννήτρια μπορεί να είναι συνδεδεμένη στο δίκτυο. Εάν πνέουν άνεμοι μεγαλύτερης ταχύτητας από την ταχύτητα αποκοπής των ανεμογεννητριών μας τότε διακόπτουμε τη λειτουργία τους προκειμένου να αποφευχθεί η υπερβολική μηχανική τους καταπόνηση [m/sec]. Η μέση μετρούμενη ισχύς εξόδου ανά 10λεπτο. Είναι η ισχύς εξόδου που μετρήθηκε σε πραγματικό χρόνο από τα όργανα μέτρησης [MW]. Η μέση μετρούμενη ταχύτητα ανέμου ανά 10λεπτο. Είναι η ταχύτητα ανέμου όπως καταγράφηκε από όργανα μέτρησης [m/sec]. Σελίδα 50

52 Η μέση μετρούμενη διεύθυνση ανέμου ανά 10λεπτο. Είναι η πραγματική διεύθυνση ανέμου σε μοίρες όπως καταγράφηκε από όργανα μέτρησης [0-360 ]. Σήματα αξιοπιστίας καταγραφής των μετρήσεων. Αναφέρουν τον αριθμό των δευτερολέπυων ενός 10λέπτου για τα οποία η καταγραφή δεν ήταν σωστή [0-600]. Ωριαίες μετεωρολογικές προβλέψεις ταχύτητας ανέμου [m/sec]. Ωριαίες μετεωρολογικές προβλέψεις διεύθυνσης ανέμου [0-360 ]. Οι μετεωρολογικές προβλέψεις πάρθηκαν από το σύστημα SKIRON του πανεπιστημίου Αθηνών [35] και η πρόβλεψη εκτείνεται καθημερινά από τα μεσάνυχτα (00:00) έως και 48 ώρες μπροστά. Η χρονική διακριτοποίηση των μετεωρολογικών προβλέψεων είναι ωριαία. Για τα μετρούμενα μεγέθη των Α/Γ υπολογίστηκαν μέσες ωριαίες τιμές. Επομένως, όλη η ανάλυση που θα ακολουθήσει γίνεται με ωριαία μεγέθη. Από τις πέντε Α/Γ οι δυο παρουσιάζουν ιδιαίτερο ενδιαφέρον κι αυτό γιατί οι πληροφορίες που έχουμε γι αυτές είναι ελλιπείς. Για τη μεν 4 η Α/Γ έχουμε πολλές κενές τιμές στο σύνολο δεδομένων (ουσιαστικά λιγότερη πληροφορία) και για τη δε 5 η δεν έχουμε καθόλου σήματα αξιοπιστίας καταγραφής των μετρήσεων. Επομένως δε μπορούμε να πιστοποιήσουμε την ακρίβεια των μετρούμενων μεγεθών. Όπως θα διαπιστώσουμε και στη συνέχεια, το πραγματικά προβληματικό σύνολο δεδομένων (dataset) είναι αυτό της Α/Γ 4. Το σύνολο των δεδομένων που έχουμε στη διάθεση μας (dataset) το χωρίζουμε σε δυο τμήματα. Το πρώτο τμήμα διάρκειας ενάμιση έτους θα το χρησιμοποιήσουμε για να εκπαιδεύσουμε τα SVM και τα αντίστοιχα ΝΔ (στο εξής θα χρησιμοποιούμε τον όρο SVM/ΝΔ), ενώ το δεύτερο τμήμα διάρκειας ενός έτους θα χρησιμοποιηθεί για να δοκιμάσουμε τα SVM/ΝΔ και να δούμε την απόκριση τους σε ένα άγνωστο σύνολο δεδομένων. Στην ουσία κατά την περίοδο της δοκιμής, θα προσομοιώσουμε τα SVM/ΝΔ προκειμένου να αξιολογήσουμε τη μελλοντική συμπεριφορά τους. Αρχικά δοκιμάστηκαν δύο συστήματα SVM/ΝΔ τα οποία περιγράφονται παρακάτω. Το πρώτο περιλαμβάνει δυο SVM/ΝΔ στη σειρά ενώ το δεύτερο ένα SVM/ΝΔ. 5.1 Πρώτο σύστημα SVM/ΝΔ Αποτελείται από δύο SVM/ΝΔ. Το πρώτο κάνει πρόβλεψη της ταχύτητας του ανέμου και έχει τις εξής εισόδους: Μετεωρολογική πρόβλεψη της ταχύτητας του ανέμου Μετεωρολογική πρόβλεψη της διεύθυνσης του ανέμου Σελίδα 51

53 Ώρα της ημέρας στην οποία αντιστοιχούν οι παραπάνω προβλέψεις (π.χ. 15 για τη 15 η ώρα της μέρας) Ημέρα του χρόνου στην οποία αντιστοιχούν οι παραπάνω προβλέψεις (π.χ. 130 για την 130 η μέρα του χρόνου) Σχηματικά φαίνεται παρακάτω: Πρόβλεψη Ταχύτητας Πρόβλεψη Διεύθυνσης Ώρα της ημέρας Ημέρα του χρόνου SVM/ΝΔ 1 fgfgfdwfd SVM 1 Πρόβλεψη Ταχύτητας Ανέμου Το δεύτερο SVM/ΝΔ κάνει πρόβλεψη της ισχύος εξόδου της κάθε ανεμογεννήτριας και έχει τις εξής εισόδους: Tαχύτητα ανέμου όπως προβλέφθηκε από το πρώτο SVM/ΝΔ Ώρα της ημέρας στην οποία αντιστοιχεί η παραπάνω μέτρηση Ημέρα του χρόνου στην οποία αντιστοιχεί η παραπάνω μέτρηση Σχηματικά φαίνεται παρακάτω: Πρόβλεψη SVM 1 Ώρα της ημέρας Ημέρα του χρόνου SVM fgfgfdwfd SVM/ΝΔ 12 Πρόβλεψη Ισχύος Εξόδου Σελίδα 52

54 Το τελικό σύστημα που αποτελείται από το συνδυασμό των SVM/ΝΔ αυτών φαίνεται παρακάτω: Πρόβλεψη Ταχύτητας Πρόβλεψη Διεύθυνσης Ώρα της ημέρας Ημέρα του χρόνου Ταχύτητα Ανέμου SVM/ΝΔ 1 SVM/ΝΔ 2 Ισχύς Εξόδου 5.2 Δεύτερο σύστημα SVM/ΝΔ Αποτελείται από ένα SVM/ΝΔ το οποίο κάνει απευθείας πρόβλεψη της ισχύος εξόδου της κάθε Α/Γ. Έχει τις εξής εισόδους: Μετεωρολογική πρόβλεψη της ταχύτητας του ανέμου Μετεωρολογική πρόβλεψη της διεύθυνσης του ανέμου Ώρα της ημέρας στην οποία αντιστοιχούν οι παραπάνω προβλέψεις (π.χ. 15 για τη 15 η ώρα της μέρας) Ημέρα του χρόνου στην οποία αντιστοιχούν οι παραπάνω προβλέψεις (π.χ. 130 για την 130 η μέρα του χρόνου) Σχηματικά φαίνεται παρακάτω: Πρόβλεψη ταχύτητας Πρόβλεψη Διεύθυνσης Ώρα της ημέρας Ημέρα του χρόνου SVM/ΝΔ fgfgfdwfd SVM 1 Ισχύς Εξόδου Σελίδα 53

55 5.3 Σύγκριση των δυο διαφορετικών υλοποιήσεων Παραπάνω είδαμε τις δυο διαφορετικές εναλλακτικές που έχουμε ως προς την υλοποίηση του τελικού μας στόχου ο οποίος είναι η πρόβλεψη της ισχύος εξόδου της κάθε Α/Γ. Ποιο όμως από τα δυο συστήματα αποκρίνεται καλύτερα και συνεπώς είναι προτιμότερο στην περίπτωση μας; Για να το διαπιστώσουμε αυτό θα επιχειρήσουμε να ελαχιστοποιήσουμε το σφάλμα της πρόβλεψης. Θα επιλέξουμε δηλαδή το σύστημα το οποίο εμφανίζει το μικρότερο σφάλμα. Για να είμαστε πιο ακριβείς θα εξετάσουμε τρία διαφορετικά σφάλματα κάθε ένα από τα οποία αναφέρεται σε διαφορετική διάσταση του προβλήματος. Τα τρία αυτά σφάλματα είναι: Το μέσο σφάλμα (mean error) η απλά mean. Είναι ο μέσος όρος της διαφοράς της προβλεπόμενης τιμής του SVM από την πραγματική μετρούμενη τιμή. Το μέσο σφάλμα συνήθως είναι μικρό γιατί τα θετικά σφάλματα και τα αρνητικά σφάλματα αλληλοαναιρούνται. Γι αυτό το λόγο, αν και από μόνο του δε μας δίνει πλήρη εικόνα του συνολικού σφάλματος, είναι μια πρώτη εκτίμηση της απόκρισης του SVM. Το μέσο σφάλμα δίνεται από τον παρακάτω τύπο: Mean = 1 n X i X i n i=1 Το μέσο απόλυτο σφάλμα (mean absolute error) η απλά mae. Είναι ο μέσος όρος της απόλυτης τιμής της διαφοράς της προβλεπόμενης τιμής του SVM από την πραγματική μετρούμενη τιμή. Το μέσο απόλυτο σφάλμα δίνει πληρέστερη εικόνα του σφάλματος, ωστόσο εξαρτάται από την κλίμακα του μεγέθους στο οποίο αναφέρεται και γι αυτό δε μπορούμε να το χρησιμοποιήσουμε για να συγκρίνουμε δυο διαφορετικά μεγέθη. Για παράδειγμα δε μπορούμε να συγκρίνουμε το mae της ισχύος με αυτό της ταχύτητας του ανέμου. Το μέσο απόλυτο σφάλμα δίνεται από τον παρακάτω τύπο: Mae = 1 n X i X i n i=1 Σελίδα 54

56 Το μέσο τετραγωνικό σφάλμα (mean squared error) η απλά mse. Είναι ο μέσος όρος της απόλυτης διαφοράς του τετραγώνου της προβλεπόμενης τιμής από το SVM με το τετράγωνο της πραγματικής μετρούμενης τιμής. Το μέσο τετραγωνικό σφάλμα δίνει εικόνα για τη διαφορά της πρόβλεψης από τη μέτρηση, αλλά κυρίως παρέχει πληροφορία για τη διακύμανση του σφάλματος. Κι αυτό γιατί ακραίες τιμές του σφάλματος συνεισφέρουν πολύ περισσότερο στο mse αφού υψώνονται στο τετράγωνο. Το μέσο τετραγωνικό σφάλμα δίνεται από τον παρακάτω τύπο: n Mse = 1 n (X i X i ) 2 i=1 Στον παρακάτω πίνακα φαίνονται συγκριτικά τα τρία σφάλματα για τα δυο συστήματα των SVM. Τα σφάλματα στη στήλη Training αναφέρονται στην περίοδο της εκπαίδευσης, ενώ τα αντίστοιχα στη στήλη Test αναφέρονται στην περίοδο της δοκιμής. Πίνακας 2-Παρουσίαση σφαλμάτων για τo πρώτο σύστημα SVΜ Πρώτο Σύστημα SVM Training Test mean mae mse mean mae mse WG1 0,032 0,0569 0,0054-0,1853 0,3712 0,3021 WG2 0,028 0,053 0,0066-0,062 0,3182 0,2059 WG3 0,049 0,0696 0,0053-0,036 0,1785 0,0524 WG4 0,0365 0,0574 0,0041 0,0065 0,1253 0,0219 WG5 0,0164 0,0574 0,006-0,0763 0,1813 0,0663 Σελίδα 55

57 Πίνακας 3- Παρουσίαση σφαλμάτων για τo δεύτερο σύστημα SVM Δεύτερο Σύστημα SVM Training Test mean mae mse mean mae mse WG1-0,0767 0,2635 0,1616-0,2107 0,3665 0,3085 WG2-0,0327 0,2506 0,1479-0,0984 0,323 0,2166 WG3 0, ,1408 0,0385 0, ,1674 0,0534 WG4 0,012 0,0901 0,0122-0,0254 0,1201 0,0221 WG5-0,0053 0,1421 0,0365-0,0635 0,18 0,0631 Τα σφάλματα κατά την περίοδο της δοκιμής (Test) παρατηρούμε ότι είναι μικρότερα από αυτά της περιόδου εκπαίδευσης (Training). Αυτό είναι λογικό καθώς το σύνολο δεδομένων (dataset) της εκπαίδευσης είναι οικείο στο SVM αφού πάνω σε αυτό έχει εκπαιδευτεί, ενώ το σύνολο δεδομένων της δοκιμής είναι τελείως άγνωστο. Αν και τα σφάλματα των δυο διαφορετικών υλοποιήσεων παίρνουν παρόμοιες τιμές, εμείς θα ακολουθήσουμε την πρώτη υλοποίηση, δηλαδή θα κατασκευάσουμε δυο SVM, το ένα εκ των οποίων θα κάνει πρόβλεψη της ταχύτητας του ανέμου και το άλλο πρόβλεψη της ισχύος εξόδου των Α/Γ. Στη συνέχεια με παρόμοια λογική θα κατασκευάσουμε δύο ΝΔ (neural networks), το ένα εκ των οποίων θα κάνει πρόβλεψη της ταχύτητας του ανέμου και το άλλο πρόβλεψη της ισχύος εξόδου των Α/Γ. Σκοπός μας είναι πέρα από την κατά το δυνατόν ακριβέστερη πρόβλεψη της ισχύος, να συγκρίνουμε τα SVM με τα ΝΔ και αν είναι δυνατόν να καταλήξουμε σε συμπεράσματα σχετικά με το ποιο από τα δύο (SVM ή ΝΔ) ταιριάζει σε παρόμοια προβλήματα. Σελίδα 56

58 ΚΕΦΑΛΑΙΟ 6: ΧΡΗΣΗ ΤΩΝ SVM ΚΑΙ ΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ ΓΙΑ ΠΡΟΒΛΕΨΗ ΤΗΣ ΤΑΧΥΤΗΤΑΣ ΤΟΥ ΑΝΕΜΟΥ 6.1 Περιγραφή Υλοποίησης Για να αξιολογήσουμε την απόδοση του πρώτου SVM (ή ΝΔ) και να διαπιστώσουμε κατά ποσό βελτιώνει τα πράγματα σε σχέση με την απευθείας χρήση των μετεωρολογικών προβλέψεων της ταχύτητας του ανέμου, αρχικά θα δούμε τη γραμμή παλινδρόμησής του (regression line). Η γραμμή παλινδρόμησης είναι ουσιαστικά ένα απλό μαθηματικό μοντέλο που περιγράφει μία ευθεία γραμμή η οποία ταιριάζει καλύτερα σε ένα σύνολο δειγμάτων { x i, y i }, δηλαδή περιγράφει με το καλύτερο δυνατό τρόπο τη σχέση αυτών των δύο μεταβλητών του κάθε ζεύγους [5]. Η γραμμή παλινδρόμησης είναι ένας τρόπος για να οπτικοποιήσουμε τη συσχέτιση μεταξύ των προβλεπόμενων τιμών του SVM (ή ΝΔ) και των πραγματικών τιμών κατά την περίοδο της εκπαίδευσης. Μια γραμμή παλινδρόμησης με κλίση 1 σημαίνει τέλεια συσχέτιση ενώ μια γραμμή με κλίση 0 σημαίνει πρακτικά καμία συσχέτιση μεταξύ των μεταβλητών. Στη συνέχεια θα δούμε τα γραφήματα των προβλέψεων τόσο του SVM όσο και του NΔ συγκριτικά με τις προβλέψεις του μοντέλου SKIRON και τις πραγματικές ταχύτητες ανέμου. Έπειτα παραθέτουμε το γράφημα της απόκλισης των τιμών του SVM, του NΔ και των μετεωρολογικών προβλέψεων του μοντέλου SKIRON από τις πραγματικές ταχύτητες του ανέμου. Τέλος παραθέτουμε σε πίνακα τα τρία σφάλματα (mean, mae, mse) των προβλέψεων του SVM, του NΔ και του SKIRON για κάθε Α/Γ. Η γραμμή παλινδρόμησης αναφέρεται στην περίοδο της εκπαίδευσης. Τα σφάλματα και τα γραφήματα αναφέρονται στην περίοδο της δοκιμής (άγνωστο σύνολο δεδομένων στο SVM και το NΔ) έτσι ώστε να έχουμε μια δίκαιη σύγκριση. Σελίδα 57

59 6.2 Παρουσίαση Γραμμών Παλινδρόμησης των SVM (Regression Lines) Ανεμογεννήτρια 1 Γράφημα 1: Γραμμή παλινδρόμησης του SVM της Α/Γ 1 Σελίδα 58

60 Ανεμογεννήτρια 2 Γράφημα 2: Γραμμή παλινδρόμησης του SVM της Α/Γ 2 Ανεμογεννήτρια 3 Γράφημα 3: Γραμμή παλινδρόμησης του SVM της Α/Γ 3 Σελίδα 59

61 Ανεμογεννήτρια 4 Γράφημα 4: Γραμμή παλινδρόμησης του SVM της Α/Γ 4 Ανεμογεννήτρια 5 Γράφημα 5: Γραμμή παλινδρόμησης του SVM της Α/Γ 5 Σελίδα 60

62 6.3 Παρουσίαση Γραμμών Παλινδρόμησης των Νευρωνικών Δικτύων Ανεμογεννήτρια 1 Γράφημα 6: Γραμμή παλινδρόμησης του NΔ της Α/Γ 1 Σελίδα 61

63 Ανεμογεννήτρια 2 Γράφημα 7: Γραμμή παλινδρόμησης του NΔ της Α/Γ 2 Ανεμογεννήτρια 3 Γράφημα 8: Γραμμή παλινδρόμησης του NΔ της Α/Γ 3 Σελίδα 62

64 Ανεμογεννήτρια 4 Γράφημα 9: Γραμμή παλινδρόμησης του NΔ της Α/Γ 4 Ανεμογεννήτρια 5 Γράφημα 10: Γραμμή παλινδρόμησης του NΔ της Α/Γ 5 Σελίδα 63

65 6.4 Συνοπτική παρουσίαση των συσχετίσεων των SVM και των Νευρωνικών Δικτύων Πίνακας 4-Παρουσίαση συσχετίσεων των SVM και των Νευρωνικών Δικτύων ΑΡΙΘΜΟΣ ΓΕΝΝΗΤΡΙΑΣ R-SVM R-NN Σύμφωνα με τα παραπάνω διαγράμματα, παρατηρούμε ότι η συσχέτιση μεταξύ των προβλεπόμενων τιμών των SVM και των ΝΔ, με τις πραγματικές τιμές είναι απλά ικανοποιητική. Αυτό συμβαίνει επειδή η ταχύτητα του ανέμου είναι ένα αρκετά στοχαστικό φαινόμενο και για το λόγο αυτό δε μπορούμε να την προβλέψουμε με μεγάλη ακρίβεια. Ακόμη, βλέπουμε ότι οι συσχετίσεις των ΝΔ (οι τιμές του R) είναι ελαφρώς μικρότερες από τις αντίστοιχες των SVM. Αυτό σημαίνει ότι τα SVM συσχετίζουν ελαφρώς καλύτερα τις προβλεπόμενες από τις μετρούμενες ταχύτητες ανέμου. Σελίδα 64

66 6.5 Προβλέψεις ταχύτητας του SVM Στα παρακάτω γραφήματα με μπλε χρώμα φαίνεται η ταχύτητα του ανέμου όπως προβλέφθηκε στην έξοδο του SVM, με κόκκινο η πρόβλεψη του μοντέλου SKIRON ενώ με κίτρινο χρώμα είναι η πραγματική ταχύτητα του ανέμου της κάθε Α/Γ για τη διάρκεια ενός έτους ( hours). Ανεμογεννήτρια 1 Γράφημα 11: Προβλέψεις ταχύτητας ανέμου του SVM, του SKIRON και η πραγματική ταχύτητα ανέμου για την Α/Γ 1 Ανεμογεννήτρια 2 Γράφημα 12: Προβλέψεις ταχύτητας ανέμου του SVM, του SKIRON και η πραγματική ταχύτητα ανέμου για την Α/Γ 2 Σελίδα 65

67 Ανεμογεννήτρια 3 Γράφημα 13: Προβλέψεις ταχύτητας ανέμου του SVM, του SKIRON και η πραγματική ταχύτητα ανέμου για την Α/Γ 3 Ανεμογεννήτρια 4 Γράφημα 14: Προβλέψεις ταχύτητας ανέμου του SVM, του SKIRON και η πραγματική ταχύτητα ανέμου για την Α/Γ 4 Σελίδα 66

68 Ανεμογεννήτρια 5 Γράφημα 15: Προβλέψεις ταχύτητας ανέμου του SVM, του SKIRON και η πραγματική ταχύτητα ανέμου για την Α/Γ 5 Από τα παραπάνω γραφήματα παρατηρούμε ότι η χρήση των SVM βελτιώνει αισθητά την πρόβλεψη της ταχύτητας του ανέμου. Φαίνεται ότι οι κυματομορφές των SVM είναι αρκετά πιο κοντά στις πραγματικές ταχύτητες του ανέμου σε σχέση με τις αντίστοιχες κυματομορφές του SKIRON. Συνεπώς, οι τιμές των τριών σφαλμάτων (mean, mae, mse) είναι αρκετά μικρότερες στο SVM συγκριτικά με το SKIRON (Πίνακες 5, 6, 7). Τέλος στο παρακάτω μέρος του γραφήματος της Α/Γ 4 ( ώρες) φαίνονται καλύτερα οι διαφορές μεταξύ των γραφημάτων και διαπιστώνουμε ότι οι προβλέψεις του SKIRON είναι γενικά αρκετά απαισιόδοξες, αφού το γράφημα με κόκκινο χρώμα (γράφημα του SKIRON) είναι αρκετά χαμηλότερα από τα άλλα δύο γραφήματα για σημαντικό χρονικό διάστημα. Σελίδα 67

69 Γράφημα 16: Μέρος του γραφήματος της Α/Γ 4 όπου φαίνεται καλύτερα η σύγκριση μεταξύ των γραφημάτων 6.6 Προβλέψεις ταχύτητας του NΔ Στα παρακάτω γραφήματα με μπλε χρώμα φαίνεται η ταχύτητα του ανέμου όπως μας την έδωσε στην έξοδο του το NΔ, με κόκκινο η πρόβλεψη του μοντέλου SKIRON, ενώ με κίτρινο χρώμα είναι η πραγματική ταχύτητα του ανέμου για κάθε μία Α/Γ. Ανεμογεννήτρια 1 Γράφημα 17: : Προβλέψεις ταχύτητας ανέμου του NΔ, του SKIRON και η πραγματική ταχύτητα ανέμου για την Α/Γ 1 Σελίδα 68

70 Ανεμογεννήτρια 2 Γράφημα 18: : Προβλέψεις ταχύτητας ανέμου του ΝΔ, του SKIRON και η πραγματική ταχύτητα ανέμου για την Α/Γ 2 Ανεμογεννήτρια 3 Γράφημα 19: : Προβλέψεις ταχύτητας ανέμου του ΝΔ, του SKIRON και η πραγματική ταχύτητα ανέμου για την Α/Γ 3 Σελίδα 69

71 Ανεμογεννήτρια 4 Γράφημα 20: : Προβλέψεις ταχύτητας ανέμου του ΝΔ, του SKIRON και η πραγματική ταχύτητα ανέμου για την Α/Γ 4 Ανεμογεννήτρια 5 Γράφημα 21: Προβλέψεις ταχύτητας ανέμου του ΝΔ, του SKIRON και η πραγματική ταχύτητα ανέμου για την Α/Γ 5 Από τα παραπάνω γραφήματα, όπως και στα SVM παρατηρούμε ότι η χρήση των ΝΔ βελτιώνει αισθητά την πρόβλεψη της ταχύτητας του ανέμου. Φαίνεται ότι οι κυματομορφές των ΝΔ είναι αρκετά πιο κοντά στις πραγματικές ταχύτητες του ανέμου σε σχέση με τις αντίστοιχες κυματομορφές του μοντέλου SKIRON. Σελίδα 70

72 Ακόμη, όπως βλέπουμε στο παρακάτω στιγμιότυπο, για κάποιο χρονικό διάστημα ( ώρες) για την Α/Γ 1 παρατηρείται μια συστηματική απόκλιση στις προβλέψεις του SKIRON σε σχέση με την υπόλοιπη χρονοσειρά, πιθανώς λόγω σφάλματος, με αποτέλεσμα να μην προσεγγίζονται καθόλου οι πραγματικές τιμές. Τόσο η χρήση του SVM όσο και του ΝΔ βοηθάει να βελτιώσουμε τέτοιες καταστάσεις. Γράφημα 22: Στιγμιότυπο του γραφήματος της Α/Γ 1 όπου τονίζονται οι διαφορές των δύο προβλέψεων Όπως θα παρουσιάσουμε σε πίνακα στη συνέχεια, γίνεται αντιληπτό ότι οι τιμές των τριών σφαλμάτων (mean, mae, mse) είναι αρκετά μικρότερες στο ΝΔ συγκριτικά με το SKIRON. Σελίδα 71

73 6.7 Παρουσίαση των σφαλμάτων του SVM, του Νευρωνικού Δικτύου και του SKIRON Στα επόμενα γραφήματα παρουσιάζονται τα σφάλματα ταχύτητας (σε m/sec) του SVM, του ΝΔ και του συστήματος SKIRON σε συνάρτηση με το χρόνο (σε hours). Δηλαδή παρουσιάζονται οι αποκλίσεις των προβλεπόμενων τιμών τους από τις πραγματικές για κάθε μία Α/Γ. Ανεμογεννήτρια 1 Γράφημα 23 : Παρουσίαση σφαλμάτων του SVM (μπλε χρώμα), του Νευρωνικού Δικτύου (κόκκινο χρώμα) και του SKIRON (κίτρινο χρώμα) για την Α/Γ 1 Ανεμογεννήτρια 2 Γράφημα 24: Παρουσίαση σφαλμάτων του SVM (μπλε χρώμα), του Νευρωνικού Δικτύου (κόκκινο χρώμα) και του SKIRON (κίτρινο χρώμα) για την Α/Γ 2 Σελίδα 72

74 Ανεμογεννήτρια 3 Γράφημα 25: Παρουσίαση σφαλμάτων του SVM (μπλε χρώμα), του Νευρωνικού Δικτύου (κόκκινο χρώμα) και του SKIRON (κίτρινο χρώμα) για την Α/Γ 3 Ανεμογεννήτρια 4 Γράφημα 26: Παρουσίαση σφαλμάτων του SVM (μπλε χρώμα), του Νευρωνικού Δικτύου (κόκκινο χρώμα) και του SKIRON (κίτρινο χρώμα) για την Α/Γ 4 Σελίδα 73

75 Ανεμογεννήτρια 5 Γράφημα 27: Παρουσίαση σφαλμάτων του SVM (μπλε χρώμα), του Νευρωνικού Δικτύου (κόκκινο χρώμα) και του SKIRON (κίτρινο χρώμα) για την Α/Γ 5 Όπως παρατηρούμε τα σφάλματα του SVM και του ΝΔ παρουσιάζουν μεγάλο βαθμό ομοιότητας μεταξύ τους ως προς τη μέση τιμή τους. Αντιθέτως, για το σφάλμα του μοντέλου SKIRON βλέπουμε ότι η μέση τιμή του απέχει περισσότερο από το μηδέν σε σχέση με τα άλλα δύο γραφήματα. Σελίδα 74

76 6.8 Παρουσίαση σφαλμάτων σε μορφή πινάκων (mean, mae, mse) Παρακάτω παρουσιάζονται οι πίνακες με τα σφάλματα (mean, mae, mse) των προβλέψεων του SVM, του NΔ και του μοντέλου SKIRON για όλες τις Α/Γ: Πίνακας 5-Σφάλματα mean για το SVM, το Νευρωνικό Δίκτυο και το SKIRON για κάθε ανεμογεννήτρια Μέση τιμή του σφάλματος (mean) (m/sec) SVM NΔ SKIRON WG1-0,9864-1,0112-4,2694 WG2-0,5258-0,7383-2,6606 WG3 0,1308-0,2066-3,1446 WG4-0,4793-1,1196-2,8617 WG5-0,9202-1,0663-4,4271 Πίνακας 6- Σφάλματα mae για το SVM, το Νευρωνικό Δίκτυο και το SKIRON για κάθε ανεμογεννήτρια Μέσο απόλυτο σφάλμα (mae) (m/sec) SVM NΔ SKIRON WG1 2,9468 2,9055 4,4898 WG2 2,6298 2,576 3,1954 WG3 2,7828 2,7798 3,4909 WG4 2,3616 2,1791 3,1914 WG5 2,6368 2,6243 4,5591 Σελίδα 75

77 Πίνακας 7- Σφάλματα mse για το SVM, το Νευρωνικό Δίκτυο και το SKIRON για κάθε ανεμογεννήτρια Μέσο τετραγωνικό σφάλμα (mse) (m/sec) 2 SVM NΔ SKIRON WG1 14, , ,6684 WG2 11, , ,2766 WG3 13, , ,9316 WG4 9,192 8, ,758 WG5 11, , ,4129 Όπως βλέπουμε στους παραπάνω πίνακες τα σφάλματα του SVM και του NΔ έχουν πολύ μικρές αποκλίσεις μεταξύ τους, οι οποίες σχετίζονται περισσότερο με τα δεδομένα εκπαίδευσης παρά με την ίδια τη λειτουργία των SVM και των NΔ. Ακόμη, τα σφάλματα αυτά είναι αρκετά βελτιωμένα σε σχέση με τα αντίστοιχα του SKIRON. Σελίδα 76

78 ΚΕΦΑΛΑΙΟ 7: ΧΡΗΣΗ ΤΩΝ SVM ΚΑΙ ΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ ΓΙΑ ΠΡΟΒΛΕΨΗ ΤΗΣ ΙΣΧΥΟΣ ΕΞΟΔΟΥ 7.1 Περιγραφή της υλοποίησης Για να αξιολογήσουμε την απόδοση στην εκπαίδευση του δεύτερου SVM (ή NΔ) θα παραθέσουμε και πάλι τη γραμμή παλινδρόμησής τους (regression line). Στη συνέχεια θα δούμε τα γραφήματα των προβλέψεων του SVM και του NΔ για την ισχύ εξόδου των Α/Γ συγκριτικά με την πραγματική ισχύ εξόδου της κάθε ανεμογεννήτριας. Τέλος παραθέτουμε το γράφημα της απόκλισης των τιμών του SVM και του NΔ από την πραγματική ισχύ εξόδου, το σφάλμα δηλαδή το οποίο παρουσιάζουν. Η γραμμή παλινδρόμησης αναφέρεται στην περίοδο της εκπαίδευσης. Τα σφάλματα και τα παραπάνω γραφήματα αναφέρονται στην περίοδο της δοκιμής (άγνωστο σύνολο δεδομένων εισόδου στο SVM και στο NΔ) έτσι ώστε να έχουμε μια δίκαιη σύγκριση. Σελίδα 77

79 7.2 Παρουσίαση Γραμμών παλινδρόμησης του SVM Ανεμογεννήτρια 1 Γράφημα 28: Γραμμή παλινδρόμησης του SVM της Α/Γ 1 Σελίδα 78

80 Ανεμογεννήτρια 2 Γράφημα 29: Γραμμή παλινδρόμησης του SVM της Α/Γ 2 Ανεμογεννήτρια 3 Γράφημα 30: Γραμμή παλινδρόμησης του SVM της Α/Γ 3 Σελίδα 79

81 Ανεμογεννήτρια 4 Γράφημα 31: Γραμμή παλινδρόμησης του SVM της Α/Γ 4 Ανεμογεννήτρια 5 Γράφημα 32: Γραμμή παλινδρόμησης του SVM της Α/Γ 5 Σελίδα 80

82 7.3 Παρουσίαση γραμμών παλινδρόμησης του νευρωνικού δικτύου Ανεμογεννήτρια 1 Γράφημα 33: Γραμμή παλινδρόμησης του NΔ της Α/Γ 1 Σελίδα 81

83 Ανεμογεννήτρια 2 Γράφημα 34: Γραμμή παλινδρόμησης του NΔ της Α/Γ 2 Ανεμογεννήτρια 3 Γράφημα 35: Γραμμή παλινδρόμησης του NΔ της Α/Γ 3 Σελίδα 82

84 Ανεμογεννήτρια 4 Γράφημα 36: Γραμμή παλινδρόμησης του NΔ της Α/Γ 4 Ανεμογεννήτρια 5 Γράφημα 37: Γραμμή παλινδρόμησης του NΔ της Α/Γ 5 Σελίδα 83

85 7.4 Συνοπτική παρουσίαση των συσχετίσεων των SVM και των Νευρωνικών Δικτύων Πίνακας 8-Παρουσίαση των συσχετίσεων των SVM και των Νευρωνικών Δικτύων ΑΡΙΘΜΟΣ ΓΕΝΝΗΤΡΙΑΣ R-SVM R-NN Σύμφωνα με τα παραπάνω διαγράμματα, παρατηρούμε ότι η συσχέτιση μεταξύ των προβλεπόμενων τιμών των SVM και των ΝΔ με τις πραγματικές τιμές είναι πολύ καλή. Αυτό συμβαίνει επειδή η ισχύς εξόδου είναι πιο εύκολο να προβλεφθεί, αφού ουσιαστικά τα SVM και τα NΔ μαθαίνουν να προσεγγίζουν την χαρακτηριστική καμπύλη της γεννήτριας. Ακόμη, βλέπουμε ότι οι συσχετίσεις των ΝΔ (οι τιμές του R) είναι ελαφρώς μεγαλύτερες από τις αντίστοιχες των SVM. Αυτό σημαίνει ότι τα NΔ συσχετίζουν ελαφρώς καλύτερα τις προβλεπόμενες από τις μετρούμενες ταχύτητες ανέμου. Σελίδα 84

86 7.5 Προβλέψεις της ισχύος εξόδου Στα παρακάτω γραφήματα με μπλε χρώμα φαίνεται η ισχύς εξόδου (σε MW) σε συνάρτηση με το χρόνο (σε hours) των Α/Γ όπως μας την έδωσε στην έξοδο του το SVM, με κόκκινο παρουσιάζεται η έξοδος του ΝΔ, ενώ με κίτρινο χρώμα είναι η πραγματική ισχύς εξόδου της κάθε Α/Γ. Ανεμογεννήτρια 1 Γράφημα 38: Πρόβλεψη της ισχύος εξόδου του SVM, του Νευρωνικού Δικτύου, καθώς και η πραγματική ισχύς εξόδου για την Α/Γ 1 Ανεμογεννήτρια 2 Γράφημα 39: Πρόβλεψη της ισχύος εξόδου του SVM, του Νευρωνικού Δικτύου, καθώς και η πραγματική ισχύς εξόδου για την Α/Γ 2 Σελίδα 85

87 Ανεμογεννήτρια 3 Γράφημα 40: Πρόβλεψη της ισχύος εξόδου του SVM, του Νευρωνικού Δικτύου, καθώς και η πραγματική ισχύς εξόδου για την Α/Γ 3 Ανεμογεννήτρια 4 Γράφημα 41: Πρόβλεψη της ισχύος εξόδου του SVM, του Νευρωνικού Δικτύου, καθώς και η πραγματική ισχύς εξόδου για την Α/Γ 4 Σελίδα 86

88 Ανεμογεννήτρια 5 Γράφημα 42: Πρόβλεψη της ισχύος εξόδου του SVM, του Νευρωνικού Δικτύου, καθώς και η πραγματική ισχύς εξόδου για την Α/Γ 5 Αρχικά, παρατηρώντας τα παραπάνω γραφήματα διαπιστώνουμε ότι τόσο τα SVM όσο και τα ΝΔ προσεγγίζουν αρκετά καλά τις πραγματικές τιμές της ισχύος εξόδου της κάθε Α/Γ. Ακόμη, βλέπουμε ότι κυρίως στα σύνολα δεδομένων (dataset) τα οποία δεν είναι πλήρη (ανεμογεννήτριες 4 και 5), τα SVM φαίνεται να ακολουθούν μια πιο συντηρητική προσέγγιση όσον αφορά την πρόβλεψη της ισχύος εξόδου. Δηλαδή οι προβλεπόμενες τιμές τους ξεφεύγουν λιγότερο από μία μέση τιμή σε σχέση με τις αντίστοιχες των ΝΔ. Γι αυτό το λόγο, όπως θα δούμε και σε πίνακα στη συνέχεια, το μέσο τετραγωνικό σφάλμα τους (MSE) είναι ελαφρώς μικρότερο από το αντίστοιχο των NΔ. Όπως βλέπουμε στο παρακάτω γράφημα της Α/Γ 1 για το χρονικό διάστημα από 3000 έως 5000 ώρες (hours) περίπου, η κακή πρόβλεψη της ταχύτητας του ανέμου που έγινε από το SVM και το NΔ στο προηγούμενο στάδιο υλοποίησης (παρουσιάστηκε στο προηγούμενο κεφάλαιο) έχει ως αποτέλεσμα μία κακή πρόβλεψη της ισχύος εξόδου. Ωστόσο, η πρόβλεψη της ισχύος θα ήταν χειρότερη αν χρησιμοποιούσαμε ως είσοδο απευθείας την πρόβλεψη του μοντέλου SKIRON, όπως μας έχει δοθεί και όχι την δική μας πρόβλεψη (από το SVM και το NΔ). Σελίδα 87

89 Γράφ9ημα 43: Στιγμιότυπο όπου φαίνονται οι προβλέψεις της ισχύος εξόδου για την Α/Γ 1 Σελίδα 88

90 7.6 Παρουσίαση σφαλμάτων του SVM και του Νευρωνικού Δικτύου Στα επόμενα γραφήματα με μπλε χρώμα παρουσιάζεται το σφάλμα ισχύος του SVM (σε MW) σε συνάρτηση με το χρόνο (hours), ενώ με κόκκινο χρώμα είναι το σφάλμα ισχύος του ΝΔ. Ανεμογεννήτρια 1 Γράφημα 44: Παρουσίαση σφαλμάτων του SVM και του Νευρωνικού Δικτύου σε συνάρτηση με το χρόνο για την Α/Γ 1 Ανεμογεννήτρια 2 Γράφημα 45: Παρουσίαση σφαλμάτων του SVM και του Νευρωνικού Δικτύου σε συνάρτηση με το χρόνο για την Α/Γ 2 Σελίδα 89

91 Ανεμογεννήτρια 3 Γράφημα 46: Παρουσίαση σφαλμάτων του SVM και του Νευρωνικού Δικτύου σε συνάρτηση με το χρόνο για την Α/Γ 3 Ανεμογεννήτρια 4 Γράφημα 47: Παρουσίαση σφαλμάτων του SVM και του Νευρωνικού Δικτύου σε συνάρτηση με το χρόνο για την Α/Γ 4 Σελίδα 90

92 Ανεμογεννήτρια 5 Γράφημα 48: Παρουσίαση σφαλμάτων του SVM και του Νευρωνικού Δικτύου σε συνάρτηση με το χρόνο για την Α/Γ 5 Παρατηρώντας τα παραπάνω γραφήματα, διαπιστώνουμε ότι το γράφημα του σφάλματος του SVM είναι τοποθετημένο πιο πάνω σε σχέση με το αντίστοιχο του NΔ και παρουσιάζει μεγαλύτερη ομοιομορφία σε σχέση με μία μέση τιμή. Δηλαδή, οι προβλέψεις του SVM είναι πιο αισιόδοξες από τις αντίστοιχες του ΝΔ. Όπως βλέπουμε και στο παρακάτω τμήμα του γραφήματος της γεννήτριας 4, το φαινόμενο αυτό είναι πιο έντονο στα ελλειπή σύνολα δεδομένων εισόδου (dataset). Γράφημα 49: Τμήμα του γραφήματος της Α/Γ 4 Σελίδα 91