Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης

Transcript

1 Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ - ΤΜΗΜΑ ΦΥΣΙΚΗΣ ΠΜΣ: Ηλεκτρονικής Φυσικής (Ραδιοηλεκτρολογίας) Κατεύθυνση: Ηλεκτρονική Τεχνολογία Τηλεπικοινωνιών ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ (Αρ. Τεχνικής Έκθεσης 154) του κ. Καρανάσιου Νικόλαου «Υβριδική μέθοδος με Νευρωνικά Δίκτυα και αλγόριθμο Matrix Pencil για τον εντοπισμό θέσης κινητής μονάδας σε ασύρματα δίκτυα επικοινωνιών». Επιβλέπουσα : Αν. Καθηγήτρια Αικατερίνη Σιακαβάρα Θεσσαλονίκη, Οκτώβριος 213

2 Πίνακας περιεχομένων Abstract... 6 Εισαγωγή Κεφάλαιο 1 ο Το βιολογικό μοντέλο των νευρώνων Ιστορική αναδρομή Κεφάλαιο 2 ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) Πλεονεκτήματα νευρωνικών δικτύων Μοντέλο ενός νευρώνα Συναρτήσεις ενεργοποίησης Αρχιτεκτονικές Νευρωνικών δικτύων Μονοστρωματικά δίκτυα ευθείας τροφοδότησης (Single layer Feed Forward Networks) Πολυστρωματικά δίκτυα ευθείας τροφοδότησης (Multilayer Feed Forward Networks) Διαδικασίες Μάθησης Επιβλεπόμενη μάθηση Μη επιβλεπόμενη μάθηση Υβριδική μέθοδος μάθησης Perceptron Αλγόριθμος μάθησης Δίκτυο Adaline Αλγόριθμος οπισθοδιάδοσης Κεφάλαιο 3 ο Επίπεδες στοιχειοκεραίες Εισαγωγή Γραμμική στοιχειοκεραία N στοιχείων Προσδιορισμός γωνίας άφιξης σε δύο διαστάσεις με τη μέθοδο Matrix Pencil για στοιχειοκεραία σημειακών ισοτροπικών πηγών για την περίπτωση ενός προσπίπτοντος σήματος Κεφάλαιο 4 ο Υλοποίηση Σχεδιασμός ΝΔ Εισαγωγή Δημιουργία Βάσης δεδομένων Υπολογισμός της απώλειας διαδρομής εντός του τομέα με εφαρμογή του COST231 Walfisch Ikegami Προετοιμασία δεδομένων Post training ανάλυση (αξιολόγηση δικτύου) Δημιουργία νευρωνικού δικτύου από την εργαλειοθήκη του matlab (nntool)

3 5 Κεφάλαιο 5 ο Πειραματικό μέρος Μελέτη εκτίμησης απόστασης με χρήση ΝΔ και Matrix Pencil Εκτίμηση απόστασης με βάση τα ρεύματα που αναπτύσσονται στα στοιχεία της κεραίας (μέθοδος Α) Συγκεντρωτικά αποτελέσματα μεθόδου Α για στοιχειοκεραία 3x Αποτελέσματα για στοιχειοκεραία διαστάσεων 5x5 με τη μέθοδο Α Εκτίμηση απόστασης με βάση τα ρεύματα που αναπτύσσονται στα στοιχεία της κεραίας και με χρήση πληροφορίας για θ,φ από MP (μέθοδος ΑΙ) Συγκεντρωτικά αποτελέσματα μεθόδου ΑΙ για στοιχειοκεραία 3x Μελέτη εκτίμησης θέσης μόνο με χρήση ΝΔ (μέθοδος Γ) Συγκεντρωτικά αποτελέσματα μεθόδου Γ για στοιχειοκεραία 3x Σύγκριση των μεθόδων Σχολιασμός Σύγκριση Σχολιασμός Αρκτικόλεξα Βιβλιογραφία

4 Πρόλογος Η διπλωματική αυτή εργασία εκπονήθηκε στα πλαίσια των μεταπτυχιακών μου σπουδών στο Π.Μ.Σ Ηλεκτρονικής φυσικής (Ραδιοηλεκτρολογίας) του τμήματος Φυσικής του Αριστοτελείου Πανεπιστημίου Θεσσαλονίκης. Θα ήθελα πρώτα να ευχαριστήσω την Αν. Καθηγήτρια κα. Σιακαβάρα Αικατερίνη, για την ευκαιρία που μου έδωσε, να ασχοληθώ με το θέμα της εκτίμησης θέσης μιας κινητής μονάδας σε ασύρματα δίκτυα με χρήση Νευρωνικών δικτύων και αλγορίθμου Matrix Pencil. Μου δόθηκε έτσι η δυνατότητα να αναπτύξω τις γνώσεις μου και τις δεξιότητες μου στο αντικείμενο αυτό. Η μελέτη των Νευρωνικών Δικτύων με χρήση του προγράμματος Matlab ανέπτυξε τις δεξιότητες μου στο συγκεκριμένο πρόγραμμα. Επιπλέον θα ήθελα να εκφράσω την βαθύτατη ευγνωμοσύνη μου στο πρόσωπο της, για την ηθική και ουσιαστική συμπαράστασή της σε κάθε δυσκολία που προέκυπτε κατά την εκπόνηση της εργασίας αυτής. Ακόμη θα ήθελα να ευχαριστήσω το σύνολο του διδακτικού προσωπικού, του ΠΜΣ Ραδιοηλεκτρολογίας για την σημαντική συμβολή του στην απόκτηση γνώσεων και ανάπτυξη δεξιοτήτων μου, σχετικών με το αντικείμενο. Τέλος, ευχαριστώ ιδιαιτέρως, την οικογένεια μου, για την αμέριστη συμπαράσταση τους και την υποστήριξη που μου παρείχαν κατά τη διάρκεια των σπουδών μου. Όπως ευχαριστώ και τους φίλους μου, για την κατανόηση και την ψυχολογική υποστήριξη τους κατά την διάρκεια της εκπόνησης της εργασίας μου. 4

5 Περίληψη Στη διπλωματική εργασία επιχειρείται μια προσέγγιση της εκτίμησης θέσης μιας κινητής μονάδας με χρήση Τεχνητού Νευρωνικού Δικτύου(ΤΝΔ) και του αλγορίθμου Matrix Pencil(MP). Σκοπός ήταν η σύνθεση κατάλληλου Νευρωνικού Δικτύου το οποίο σε συνδυασμό, ή μή, με τον αλγόριθμο Matrix Pencil, θα οδηγούσε με ακρίβεια στον εντοπισμό της θέσης κινητής μονάδας σε ένα ασύρματο δίκτυο επικοινωνιών, μιας τυπικής ημιαστικής περιοχής, σε συχνότητα λειτουργίας 2GHz. Θεωρείται ότι στο χώρο διαδίδεται ένα μόνο σήμα και δεδομένα για την εφαρμογή των αλγορίθμων είναι τα επαγόμενα ρεύματα εισόδου επίπεδης στοιχειοκεραίας που χρησιμοποιεί ο σταθμός βάσης. Η μελέτη πραγματοποιήθηκε με παραμέτρους το πλήθος και την απόσταση μεταξύ των στοιχείων της στοιχειοκεραίας καθώς και την αρχιτεκτονική και τις παραμέτρους εκπαίδευσης του ΤΝΔ. Στην εργασία αναπτύχθηκαν τρείς μέθοδοι μελέτης εντοπισμού κινητής μονάδας. Στην πρώτη μέθοδο (Α), χρησιμοποιείται το ΤΝΔ για τον προσδιορισμό της απόστασης της μονάδας από το σταθμό βάσης και ανεξάρτητα ο αλγόριθμος MP για εντοπισμό της διεύθυνσης άφιξης του σήματος. Στη δεύτερη μέθοδο(αι) το ΤΝΔ χρησιμοποιεί τα δεδομένα που προκύπτουν από τη μέθοδο Matrix Pencil και στην τρίτη μέθοδο χρησιμοποιείται αποκλειστικά ΤΝΔ για τον εντοπισμό της θέσης της κινητής μονάδας. Ο έλεχγος της αξιοπιστίας των μεθόδων πραγματοποιήθηκε με στατιστική επεξεργασίατων αποτελεσμάτων επί δεδομένων που δεν χρησιμοποιήθηκαν κατά την εκπαίδευση των ΤΝΔ και την εφαρμογή του MP. Διαπιστώθηκε ότι η μέθοδος ΑΙ, δίνει τις πιο αξιόπιστες προβλέψεις συγκριτικά με τις άλλες δύο μεθόδους ενώ η ακρίβεια πρόβλεψης και της μεθόδου Α είναι αρκετά ικανοποιητική. 5

6 Abstract In the present thesis, an attempt was made to evaluate the position of a mobile unit via Artificial Neural Network (ANN) and Matrix Pencil (MP) algorithms. The object was the synthesis of an appropriate Neural Network which in combination with, or without, the Matrix Pencil algorithm, would be capable of identifying the position of a mobile unit in a wireless communication network. For the research, a profile of an ordinary suburban environment was used. It was suggested that only one version of the signal under consideration exists and as information data, for the signal processing of the algorithms, the induced input currents of the planar antenna array of the base station were used. Parameters of the study were the number of the elements of the antenna array and the distances among them, as well as the topology and the training parameters of the ANN. In the work, three methods were developed. In the first one(a), the ANN is used to find out the distance of the mobile unit from the base station and the MP is applied independently for the Direction of Arrival (DoA) estimation of the mobile unit signal. At the second method(ai) the ANN uses data yielded by MP and at the third method, only the ANN algorithm is used for the localization of the mobile unit. The accuracy of all three methods was checked via statistical processing of results coming from data which were not used for the training of the ANN and the application of MP. Among the three methods the AI was proved as the most robust in finding the position of the mobile unit whereas method A yields also satisfactory results. 6

7 BΕισαγωγή Εισαγωγή Οι τεχνικές προσδιορισμού της θέσης των συνδρομητών ασύρματων δικτύων, διαδραματίζουν το σημαντικότερο ρόλο στην υποστήριξη ανερχόμενων υπηρεσιών, οι οποίες απαιτούν μια ικανοποιητική εκτίμηση της θέσης της κινητής μονάδας με συγκεκριμένο αριθμό σταθμών βάσης. Φυσικά, πέρα από την ανάγκη των νέων «υπηρεσιών εντοπισμού» για την ακρίβεια της θέσης, υπάρχει η απαίτηση για την όσο το δυνατόν ακριβέστερη εκτίμηση θέσης ενός συνδρομητή για λόγους ασφάλειας σε καταστάσεις έκτακτης ανάγκης (FCC-Η.Π.Α.). Στο πεδίο έρευνας για βελτιστοποίηση των τεχνικών εντοπισμού θέσης υπάρχει έντονη δραστηριότητα και εξέλιξη. Οι τεχνικές εντοπισμού θέσης διακρίνονται σε τρείς βασικές κατηγορίες, αυτές στις οποίες γίνεται χρήση δορυφορικών συστημάτων σε αυτές που χρησιμοποιείται το δίκτυο και σε υβριδικές τεχνικές. Οι τεχνικές που στηρίζονται στο δίκτυο χρησιμοποιούν μεγέθη, όπως η ισχύς του σήματος που λαμβάνει ο κινητός σταθμός (RSS/POA), η γωνία άφιξης (AOA) του σήματος στους σταθμούς βάσης, ο χρόνος άφιξης του σήματος στον σταθμό βάσης ή διαφορά των χρόνων άφιξης (TDOA) σε ζευγάρια σταθμών βάσης. Επίσης υπάρχουν υβριδικές τεχνικές, συνδυασμός των παραπάνω, όπως TOA/AOA & ΤΟΑ/ΑΟΑ. Υπάρχει ακόμη, η ιδέα της εκτίμησης θέσης μέσω της τεχνικής της απεικόνισης (mapping) με δημιουργία μιας βάσης δεδομένων που σχετίζουν την θέση με την ισχύ του σήματος που λαμβάνεται στο σταθμό βάσης. Μερικές τεχνικές mapping που χρησιμοποιούνται για τον εντοπισμό θέσης, περιλαμβάνον τις k-nearest-neighbor (k-nn), support vector (SVR) και νευρωνικά δίκτυα [1] [2] [3] [4] [5]. Οι υπηρεσίες που εξαρτώνται από τη θέση, αναπτύσσονται συνεχώς και όπως δείχνουν τα πρώτα δείγματα έχουν πολύ μεγάλη ζήτηση από τους χρήστες. Συνεπώς, η ανάγκη για βελτιστοποίηση των τεχνικών εντοπισμού θέσης είναι υπαρκτή και συνεχώς εξελισσόμενη. 7

8 1BΚεφάλαιο 1ο Το βιολογικό μοντέλο των νευρώνων 1 Κεφάλαιο 1 ο Το βιολογικό μοντέλο των νευρώνων Τα νευρωνικά δίκτυα είναι μια τεχνητή διεργασία που προσπαθεί να προσομοιώσει τον τρόπο με τον οποίο μαθαίνει ο ανθρώπινος εγκέφαλος. Με τον όρο «τεχνητή» εννοείται, ότι η υλοποίηση των νευρωνικών δικτύων (ΝΔ) γίνεται με την χρήση προγραμμάτων υπολογιστών. Όλες οι πράξεις και οι απαραίτητοι υπολογισμοί γίνονται με την χρήση υπολογιστών. Για να γίνει αντιληπτή η διεργασία των τεχνιτών νευρωνικών δικτύων, είναι καλό να περιγραφεί πρώτα, το βιολογικό μοντέλο πάνω στο οποίο βασίστηκαν για την ανάπτυξη τους. Σχήμα 1.1. Δομή ενός νευρώνα του ανθρώπινου εγκεφάλου Ο ανθρώπινος εγκέφαλος αποτελείται από περίπου 1 1 νευρώνες οι οποίοι επεξεργάζονται διάφορες πληροφορίες. Κάθε νευρώνας λειτουργεί σαν ένας απλός επεξεργαστής, και μόνο όταν αλληλεπιδρούν μεταξύ τους διάφοροι νευρώνες είναι δυνατή η λειτουργία του εγκεφάλου. Ένας αριθμός νευρώνων μαζί με τις συνδέσεις του, αποτελεί ένα νευρωνικό δίκτυο (Κεντρικό Νευρικό Σύστημα). Όπως βλέπουμε κι από το σχήμα 1.1 ένας νευρώνας αποτελείται από τον πυρήνα (σώμα), τους δενδρίτες που είναι οι υποδοχείς των εισερχόμενων πληροφοριών και τον άξονα με τους δενδρίτες από τους οποίους περνούν οι εξερχόμενες πληροφορίες και συνδέονται με άλλους νευρώνες. Τα σημεία σύνδεσης ονομάζονται συνάψεις. Οι πληροφορίες διαδίδονται μεταξύ των νευρώνων υπό τη μορφή ηλεκτρικών ώσεων μέσω των δενδριτών. Οι πληροφορίες εισέρχονται στους δενδρίτες εισόδου και μέσω του άξονα του νευρώνα, καταλήγουν στους δενδρίτες εξόδου, όπου στη συνέχεια μεταδίδονται σε άλλους νευρώνες αν η ώση ξεπερνάει ένα συγκεκριμένο κατώφλι. Σε αυτή την περίπτωση, ο νευρώνας λέγεται ενεργός. Αν η εισερχόμενη ώση είναι κάτω από την 8

9 1BΚεφάλαιο 1ο Το βιολογικό μοντέλο των νευρώνων τιμή του κατωφλίου, η πληροφορία δεν θα διαδοθεί περαιτέρω. Και σε αυτή την περίπτωση, ο νευρώνας λέγεται ανενεργός (η διαφορά δυναμικού μεταξύ εξωτερικής επιφάνειας του και του εσωτερικού του, είναι -7mV). Οι ενώσεις μεταξύ των νευρώνων είναι προσαρμόσιμες και αυτό σημαίνει, ότι η δομή της ένωσης αλλάζει δυναμικά. Είναι γνωστό ότι η ικανότητα του ανθρώπινου εγκεφάλου να μαθαίνει βασίζεται σε αυτήν την προσαρμοστικότητα των συνάψεων. Σχήμα 1.2 Το δυναμικό ενός νευρώνα κατά την διάρκεια της ενεργοποίησης του. 9

10 1BΚεφάλαιο 1ο Το βιολογικό μοντέλο των νευρώνων 1.1. Ιστορική αναδρομή Το πρώτο ενδιαφέρον για τα τεχνητά νευρωνικά δίκτυα (ΤΝΔ) αναδείχθηκε από τον McCulloch & Pitts το 1943 (McCulloch & Pitts,1943). Οι νευρώνες παρουσιάστηκαν ως μοντέλα βιολογικών νευρώνων και ως εννοιολογικά στοιχεία ολοκληρωμένων κυκλωμάτων που μπορούν να επιτελέσουν σύνθετες εργασίες. Το 1949 ο Hebb παρουσίασε το ομώνυμο μοντέλο μάθησης, σύμφωνα με το οποίο κάθε φορά που ενεργοποιείται μια σύναψη, αυτή ενισχύεται, με αποτέλεσμα το δίκτυο να μαθαίνει «λίγο περισσότερο» το πρότυπο που του παρουσιάζεται εκείνη τη στιγμή. Το 1957 παρουσιάστηκε από τον Rosenblatt, το μοντέλο του απλού αισθητήραperceptron. Το 1969, οι Minsky και Papert εξέδωσαν το βιβλίο τους Perceptrons, στο οποίο έδειξαν τις δυστοκίες των μοντέλων perceptron και η χρηματοδότηση για τις έρευνες στο πεδίο αυτό επαναπροσδιορίστηκαν. Έτσι μόνο λίγοι ερευνητές συνέχισαν τις προσπάθειες τους, μερικοί αξιοσημείωτοι είναι οι Teuvo Kohonen, Stephen Grossberg, James Anderson και Kunihiko Fukishima. Το ενδιαφέρον γύρω από τα νευρωνικά δίκτυα επανεμφανίστηκε μετά από κάποια σημαντικά θεωρητικά αποτελέσματα που εκδόθηκαν στις αρχές της δεκαετίας του 8 (με την πιο αξιοσημείωτη αυτή της error back-propagation) και των νέων διαθέσιμων υπολογιστικών συστημάτων. Αυτή η ανανέωση ενδιαφέροντος αντικατοπτρίζεται κι από το πλήθος των επιστημόνων, τα ποσά χρηματοδότησης, του αριθμού των συνεδρίων και του πλήθος των δημοσιεύσεων που σχετίζονται με τα νευρωνικά δίκτυα. Στις μέρες μας τα περισσότερα πανεπιστήμια έχουν ομάδες εργασίας νευρωνικών δικτύων που αποτελούνται από ψυχολόγους, φυσικούς, επιστήμονες πληροφορικής-υπολογιστών και βιολόγους. 1

11 2BΚεφάλαιο 2ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) 2 Κεφάλαιο 2 ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) 2.1 Πλεονεκτήματα νευρωνικών δικτύων Τα ΝΔ αντλούν τη δυναμική τους από το γεγονός ότι προσπαθούν να προσομοιώσουν τις ικανότητες του ανθρώπινου εγκεφάλου, παρ όλα αυτά τα υπάρχοντα μοντέλα παρουσιάζουν σημαντική αδυναμία μέχρι να υποκαταστήσουν την μιμητική ικανότητα του ανθρώπινου εγκεφάλου. Όμως, έχουν ορισμένα χαρακτηριστικά πλεονεκτήματα που παρουσιάζονται παρακάτω. i. Μη γραμμικότητα: Ένας νευρώνας είναι βασικά ένα μη γραμμικό στοιχείο. Κατά συνέπεια ένα νευρωνικό δίκτυο που αποτελείται από διασυνδέσεις των νευρώνων, είναι κι αυτό μη γραμμικό. Η μη γραμμικότητα είναι πολύ σημαντική, ειδικά όταν το σύστημα που θέλουμε να προσομοιώσουμε είναι εξαρχής μη γραμμικό. ii. Αντιστοίχηση εισόδου-εξόδου: Στη βιβλιογραφία βρίσκουμε συνήθη διεργασία εκμάθησης σε νευρωνικό δίκτυο που καλείται υπό καθοδήγηση μάθηση (supervised learning). Σε αυτή την διαδικασία έχουμε ένα σύνολο επιθυμητών ζευγών εισόδου-εξόδου που θέλουμε να μάθει το ΝΔ. Ένα ζεύγος εισόδου-εξόδου επιλέγεται τυχαία από το παραπάνω σύνολο και η είσοδος του βρίσκεται στο ΝΔ. Αν η παρούσα έξοδος του ΝΔ δεν ταιριάζει με την επιθυμητή, τότε τα βάρη που καθορίζουν τις διασυνδέσεις αλλάζουν, ώστε η παρούσα έξοδος να πλησιάζει την επιθυμητή. Αυτή η διαδικασία επαναλαμβάνεται για όλα τα ζεύγη του συνόλου μέχρι να φτάσουμε στο σημείο όπου οι παρούσες έξοδοι για κάθε είσοδο να ταιριάζουν με τις επιθυμητές τιμές εξόδου. Έπειτα από αυτό η διαδικασία της μάθησης έχει ολοκληρωθεί επιτυχώς. Μια τέτοια προσέγγιση μας θυμίζει την nonparametric statistical inference, ένα κλάδο της στατιστικής σχετικός με τα ελεύθερα μοντέλα εκτίμησης. iii. Προσαρμοστικότητα: Τα ΝΔ έχουν μια ικανότητα να προσαρμόζουν τα συναπτικά βάρη ώστε να ανταποκρίνονται σε αλλαγές που συμβαίνουν στο περιβάλλον που λειτουργούν. Για παράδειγμα αν εκπαιδεύσουμε ένα ΝΔ να αναγνωρίζει τα γράμματα του Αγγλικού αλφάβητου A, B και C αλλά στη συνέχεια θέλουμε να μπορεί να αναγνωρίζει κι άλλα γράμματα (π.χ. D, E & F), γίνεται να επανεκπαιδεύσουμε το ΝΔ ώστε να ανταποκρίνεται και στα νέα γράμματα εξίσου καλά. iv. Ανοχή σε σφάλμα: Ένα ΝΔ που υλοποιείται τεχνητά, έχει την δυνατότητα να είναι ανεκτικό σε σφάλματα με την έννοια ότι η λειτουργία υποβαθμίζεται κάτω από αντίξοες συνθήκες. Για παράδειγμα, αν θεωρήσουμε την περίπτωση όπου έχουμε λίγες διασυνδέσεις των βαρών ή ελάχιστους κόμβους σε μια μεγάλη δομή ΝΔ. Καθώς η πληροφορία στο ΝΔ διαδίδεται διαμέσου ενός μεγάλου αριθμού διασυνδεδεμένων βαρών, αναμένεται μια θεαματική μείωση της απόδοσης του ΝΔ. Αξίζει να συγκρίνουμε την μείωση αυτή της απόδοσης με την καταστροφική αποτυχία του κώδικα σε επίπεδο 11

12 2BΚεφάλαιο 2ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) λειτουργικού, όπου μερικές γραμμές κώδικα σβήνονται από λάθος ή τροποποιούνται με λάθος τρόπο. v. Υλοποιήσιμα με VLSI: Η φύση του ΝΔ είναι η μαζική παράλληλη επεξεργασία των πληροφοριών για την πραγματοποίηση των υπολογιστικών διεργασιών. Αυτό το χαρακτηριστικό, κάνει τα ΝΔ ιδανικά για την υλοποίηση τους σε μεγάλης κλίμακας ολοκληρωμένη τεχνολογία VLSI. Τα ΝΔ προτιμώνται σε εφαρμογές που απαιτούν επεξεργασία σε πραγματικό χρόνο. vi. Ομοιομορφία ανάλυσης και σχεδίασης: Σε όλους τους τομείς εφαρμογών που περιλαμβάνονται τα ΝΔ, η σημειογραφία και οι αρχές σχεδίασης είναι όμοιες. Οι μορφές των νευρώνων είναι δομικά ίδιες σε όλα τα ΝΔ. Οι δομές των ΝΔ αξιοποιούνται για την επίλυση ενός συγκεκριμένου προβλήματος και δεν αλλάζουν με το είδος της εφαρμογής. Επίσης οι αλγόριθμοι εκμάθησης που εφαρμόζονται σε μια δομή ενός ΝΔ για την εκτέλεση συγκεκριμένης διεργασίας είναι το ίδιο ανεξάρτητες από το είδος της εφαρμογής που μας ενδιαφέρει κάθε φορά. Τέλος, μπορούμε να πούμε ότι, αν ένας μηχανικός ΝΔ, που έχει επιλύσει μια σειρά από μηχανικά προβλήματα χρησιμοποιώντας ΝΔ, μπορεί εύκολα να επεκτείνει τις ικανότητες του και σε άλλες εφαρμογές διαφορετικού ενδιαφέροντος με ευκολία χωρίς καν να έχει ασχοληθεί στο παρελθόν με το αντικείμενο αυτό. vii. Νευροβιολογικό ανάλογο: Η σχεδίαση του ΝΔ είναι εμπνευσμένη από τον τρόπο λειτουργίας του εγκεφάλου, το οποίο είναι μια ζωντανή μαρτυρία ότι η παράλληλη επεξεργασία δεδομένων με ανεκτικότητα σε σφάλματα, δεν είναι μόνο φυσικώς εφικτή αλλά και ιδιαίτερα ισχυρή και γρήγορη διαδικασία. Αυτό που κάνει τα ΝΔ μια τόσο ισχυρή τεχνολογία είναι τα πλεονεκτήματα της κατανόησης, του πως λειτουργεί ο ανθρώπινος εγκέφαλος. Έτσι η καλύτερη κατανόηση μπορεί να οδηγήσει σε ακόμη πιο ισχυρά και πρωτότυπα μοντέλα ΝΔ. Κατά συνέπεια οι μηχανικοί που χρησιμοποιούν την τεχνολογία των ΝΔ ρίχνουν και κλεφτές ματιές στις εξελίξεις και τα νέα δεδομένα που παρουσιάζουν οι νευροβιολόγοι, ώστε να εξελίξουν τα μοντέλα των ΝΔ και να τα κάνουν πιο ισχυρά και να επιλύουν περισσότερα προβλήματα. 12

13 2BΚεφάλαιο 2ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) 2.2 Μοντέλο ενός νευρώνα Ο νευρώνας είναι θεμελιώδης μονάδα για τη λειτουργία του νευρωνικού δικτύου. Οι έξοδοι του αποτελούν είσοδο για κάποιους άλλους. Η δομή του μοντέλου απεικονίζεται στο ακόλουθο σχήμα 2.1. Από όπου μπορούμε να διακρίνουμε τα τρία μέρη ενός νευρώνα: 1. Ένα σύνολο από συνάψεις ή σημεία διασυνδέσεων, το καθένα από τα οποία χαρακτηρίζεται από το δικό του βάρος. Όπως φαίνεται και στο σχήμα ένας νευρώνας k, του οποίου η έξοδος συμβολίζεται ως x k, ενώνεται με τον νευρώνα j υπό την θεώρηση ενός κατάλληλου βάρους διασύνδεσης w jk. Η επίδραση του νευρώνα k στον νευρώνα j περιγράφεται από το γινόμενο x k w jk. Στην περίπτωση που ο νευρώνας k είναι ενεργός και το w jk είναι θετικό, τότε ο νευρώνας k επηρεάζει τον νευρώνα j θετικά. Αν, από την άλλη μεριά, ο νευρώνας k είναι ενεργός αλλά το w jk είναι αρνητικό, τότε ο νευρώνας k επηρεάζει τον νευρώνα j αρνητικά. Είναι σημαντικό να σημειώσουμε τον τρόπο με τον οποίο γράφουμε τους δείκτες στα συναπτικά βάρη w jk. Ο πρώτος δείκτης αναφέρεται στον νευρώνα προορισμού, ενώ ο δεύτερος δείκτης αναφέρεται στον νευρώνα από τον οποίο πηγάζει η πληροφορία. 2. Ένας αθροιστής που είναι υπεύθυνος για την άθροιση των σημάτων εισόδου, τα οποία έχουν πολλαπλασιαστεί με τα αντίστοιχα βάρη του νευρώνα. Στο σημείο αυτό αθροίζονται οι επιδράσεις από όλα τα σημεία στον νευρώνα j. 3. Μια συνάρτηση ενεργοποίησης για τον περιορισμό του πλάτους εξόδου του νευρώνα. Η συνάρτηση ενεργοποίησης αναφέρεται στην βιβλιογραφία κι ως συνάρτηση συμπίεσης (squashing function) καθώς συμπιέζει το πλάτος του σήματος εξόδου σε κάποια πεπερασμένη τιμή. Η διακύμανση τιμών στις περισσότερες συναρτήσεις ενεργοποίησης, είναι είτε [, 1] είτε [-1, 1]. Σχήμα 2.1 Μοντέλο νευρώνα Το μοντέλο του νευρώνα που απεικονίζεται στο σχήμα, περιλαμβάνει επίσης ένα εξωτερικά εφαρμοζόμενο κατώφλι θj το οποίο αναφέρεται και ως bias. Το κατώφλι καθορίζει αν ο νευρώνας θα ενεργοποιηθεί. Έτσι αν το σύνολο των ερεθισμάτων που καταφτάνουν από όλες τις εισόδους ξεπερνά την τιμή του κατωφλίου θj τότε ο 13

14 2BΚεφάλαιο 2ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) νευρώνας j ενεργοποιείται. Μπορούμε να αντιμετωπίσουμε την παράμετρο θj σαν ένα βάρος που πηγάζει από έναν νευρώνα (κόμβο) και έχει σταθερή τιμή εξόδου (π.χ. 1, ή -1). Στην πράξη, με τη θj εισάγεται μια άλλη ελεύθερη παράμετρος (βάρος) η οποία διαμορφώνεται κατά τη διάρκεια της εκπαίδευσης ώστε να επιτευχθεί ο επιθυμητός σκοπός. Με μαθηματικούς όρους, μπορούμε να περιγράψουμε τη συμπεριφορά νευρώνα j γράφοντας τις εξής σχέσεις: Όπου x 1, x 2,, x k είναι τα σήματα εισόδου, w j1, w j2,, w jk είναι τα συναπτικά βάρη που συγκλίνουν στον νευρώνα j, net j είναι το η συνολική επίδραση όλων των νευρώνων στον νευρώνα j, g( ) είναι η συνάρτηση ενεργοποίησης & y j είναι το σήμα εξόδου του νευρώνα. Το κατώφλι παίζει σημαντικό ρόλο σε ένα νευρωνικό δίκτυο και μερικές φορές καθορίζει αν ένα πρόβλημα μπορεί να λυθεί ή όχι. 2.3 Συναρτήσεις ενεργοποίησης Η συνάρτηση ενεργοποίησης στην περιγραφή του νευρωνικού μοντέλου καθορίζει την έξοδο ενός νευρώνα σε σχέση με το επίπεδο ενεργοποίησης της εισόδου του. Στη βιβλιογραφία υπάρχει ποικιλία τέτοιων συναρτήσεων. Μερικά από τα βασικά χαρακτηριστικά αυτών των συναρτήσεων είναι ότι χαρακτηρίζονται από μια μέγιστη και μια ελάχιστη τιμή και είναι συναρτήσεις που δεν μειώνονται (αν για παράδειγμα η είσοδος αυξηθεί τότε η τιμή τους είτε θα αυξηθεί είτε θα παραμείνει ίδια). Σκοπός της συνάρτησης μεταφοράς είναι να μην φτάσουν οι έξοδοι σε πολύ μεγάλες τιμές, κάτι που μπορεί να παραλύσει τα νευρωνικά δίκτυα και με αυτόν τον τρόπο να εμποδίσει τη διαδικασία της εκπαίδευσης. Στη συνέχεια θα αναφερθούν μερικές συναρτήσεις ενεργοποίησης που χρησιμοποιούνται. 1. Η βηματική συνάρτηση περιγράφεται από το σχήμα ακολούθως : Σχήμα 2.2 Βηματική συνάρτηση ενεργοποίησης 14

15 2BΚεφάλαιο 2ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) Η έξοδος του νευρώνα j που έχει αυτή την συνάρτηση ενεργοποίησης εκφράζεται από την 1.3: 1: 1.3 Όπου net j είναι η συνολική είσοδος που εφαρμόζεται στο νευρώνα j, δηλαδή 1.4 Συνηθίζεται στη βιβλιογραφία να αναφέρεται ο νευρώνας αυτός που χρησιμοποιεί την παραπάνω συνάρτηση να ονομάζεται ως McCulloh-Pitts model. Σε αυτή την περίπτωση, η έξοδος του νευρώνα παίρνει την τιμή 1 αν η συνολική δραστηριότητα του νευρώνα είναι μη αρνητική και την τιμή μηδέν σε άλλη περίπτωση. 2. Οι γραμμικές συναρτήσεις μεταφοράς δεν είναι χρήσιμες στην περίπτωση της μη γραμμικότητας. Παρ όλα αυτά η μορφή της συνάρτησης ενεργοποίησης αναφέρεται στο σχήμα 2.3. Σχήμα 2.3 Γραμμική συνάρτηση ενεργοποίησης 3. Η σιγμοειδής συνάρτηση είναι μακράν η πιο διαδεδομένη συνάρτηση ενεργοποίησης, που χρησιμοποιείται στα τεχνητά νευρωνικά δίκτυα. Είναι μια αυστηρώς αυξητική συνάρτηση που κυμαίνεται από (για πολύ αρνητικές τιμές εισόδου) έως 1 (για πολύ θετικές τιμές εισόδου). Το βασικό χαρακτηριστικό της συνάρτησης αυτής είναι ότι είναι διαφορίσιμη παντού. Αυτό το χαρακτηριστικό είναι πολύ σημαντικό καθώς παίζει ρόλο για τον καθορισμό του κατάλληλου αλγορίθμου για τον προσδιορισμό των βαρών του ΝΔ. Ένα παράδειγμα μιας σιγμοειδούς συνάρτησης είναι η εξής: 1 1 exp

16 2BΚεφάλαιο 2ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) Σχήμα 2.4 Σιγμοειδής συνάρτηση Όπου α είναι η παράμετρος που καθορίζει την κλίση, όπως φαίνεται και στο σχήμα 2.4. Παρατηρούμε ότι καθώς η παράμετρος απειρίζεται η σιγμοειδής συνάρτηση πλησιάζει την βηματική. Ο Klimasauskas σε σχετική μελέτη τόνισε ότι σε περιπτώσεις όπου ένα δίκτυο πρόκειται να μάθει από τη μέση συμπεριφορά, τότε θα πρέπει να χρησιμοποιηθεί μια sigmoid συνάρτηση μεταφοράς. Σε περιπτώσεις όπου η εκμάθηση του δικτύου περιλαμβάνει αποκλίσεις από τη μέση τιμή, τότε θα πρέπει να χρησιμοποιηθεί η συνάρτηση υπερβολικής εφαπτομένης. Η βηματική συνάρτηση προτείνεται για δυαδικές μεταβλητές εφόσον η σιγμοειδής συνάρτηση μεταφοράς πλησιάζει ασυμπτωτικά το μηδέν και ένα. Σε ένα κλασικό ΝΔ που χρησιμοποιεί τον αλγόριθμο back-propagation, οι νευρώνες εισόδου χρησιμοποιούν συνήθως γραμμικές συναρτήσεις μεταφοράς ενώ όλοι οι άλλοι νευρώνες χρησιμοποιούν σιγμοειδή συνάρτηση. 2.4 Αρχιτεκτονικές Νευρωνικών δικτύων Ο τρόπος με τον οποίο είναι δομημένοι οι νευρώνες σε ένα ΝΔ είναι στενά συνδεδεμένος με τον αλγόριθμο που χρησιμοποιείται κατά την εκπαίδευση του. Σε αυτή την ενότητα θα γίνει αναφορά σε ορισμένες αρχιτεκτονικές και τα βασικά τους χαρακτηριστικά [6] [7] [8] [9] Μονοστρωματικά δίκτυα ευθείας τροφοδότησης (Single layer Feed Forward Networks). Συνήθως τα ΝΔ οργανώνονται σε στρώματα (layers) ή αλλιώς επίπεδα. Η πιο απλή μορφή αυτής της δομής είναι το Μονοστρωματικό (single-layer) νευρωνικό δίκτυο, το οποίο αποτελείται από ένα στρώμα κόμβων εισόδου (input layer) και ένα στρώμα κόμβων εξόδου (output layer). Στο σχήμα αναπαριστάται η αρχιτεκτονική ενός μονοστρωματικό ΝΔ με Κ κόμβους εισόδου και Ι κόμβους εξόδου. Από το σχήμα παρατηρούμε πως υπάρχουν δύο στρώματα κόμβων, όμως το ονομάζουμε μονοστρωματικό ΝΔ διότι μόνο οι κόμβοι στην έξοδο λογίζονται σαν νευρώνες. Οι κόμβοι στην είσοδο δεν επιτελούν κανέναν υπολογισμό παρά μόνο καταχωρούν τις τιμές που εφαρμόζονται στο ΝΔ. Όπως εύκολα φαίνεται κι από το σχήμα 2.5, οι 16

17 2BΚεφάλαιο 2ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) συνδέσεις προέρχονται από το μηδενικό στρώμα προς το πρώτο στρώμα. Με άλλα λόγια, οι διασυνδέσεις γίνονται από ένα συγκεκριμένο στρώμα προς ένα άλλο μεγαλύτερης τάξης μόνο. Δεν επιτρέπεται καμία διασύνδεση μεταξύ κόμβων ίδιου στρώματος. Αυτές οι διασυνδέσεις είναι χαρακτηριστικές των ΝΔ ευθείας τροφοδότησης. Και για το λόγο αυτό, αυτές οι δομές ΝΔ καλούνται Μονοστρωματικά ΝΔ ευθείας τροφοδότησης (Single-layer feed-forward NNs). Σημειώνεται, ότι πολύ συχνά τα δίκτυα αυτά αναφέρονται στην βιβλιογραφία ως single-layer perceptron. Σχήμα 2.5 Μονοστρωματικό ΤΝΔ ευθείας τροφοδότησης (SLP NN) Πολυστρωματικά δίκτυα ευθείας τροφοδότησης (Multilayer Feed Forward Networks). Είναι εύκολα να αντιληπτό πως η επέκταση των μονοστρωματικών ΝΔ ευθείας τροφοδότησης, είναι τα πολυστρωματικά ΝΔ ευθείας τροφοδότησης (Multilayer Feed-Forward Networks) όπως φαίνεται και στο ακόλουθο σχήμα 2.6. Σχήμα 2.6. Πολυστρωματικό ΤΝΔ ευθείας τροφοδότησης (MLP NN) Στο σχήμα εξακολουθούν να βρίσκονται οι κόμβοι του στρώματος εισόδου και εξόδου, όπως στην περίπτωση του μονοστρωματικού ΝΔ, όμως τώρα μπορεί να υπάρχει κι ένα ή περισσότερα επίπεδα ενδιάμεσα, τα οποία καλούνται κρυμμένα 17

18 2BΚεφάλαιο 2ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) στρώματα (hidden layers). Όπως και στην περίπτωση του μονοστρωματικού ΝΔ, υπάρχουν μόνο διασυνδέσεις από ένα συγκεκριμένο στρώμα προς ένα ανώτερο. Δεν επιτρέπονται διασυνδέσεις μεταξύ κόμβων ίδιου στρώματος ούτε από υψηλότερο στρώμα προς χαμηλότερο. Αυτού του τύπου η διασύνδεση καλείται ως στάνταρ διασύνδεση (standard connectivity). Επίσης παρατηρείται, ότι τα σήματα οδηγούνται από το κατώτερο στρώμα προς το ανώτερο και πάλι. Μια άλλη ονομασία για αυτού του τύπου ΝΔ είναι το multilayer perceptron. 2.5 Διαδικασίες Μάθησης Σε αυτό το σημείο θα γίνει αναφορά στις στρατηγικές μάθησης που χρησιμοποιούμε με τις παραπάνω δομές ΝΔ. Υπάρχουν τρείς βασικές κατηγορίες : η επιβλεπόμενη μάθηση, η χωρίς επίβλεψη μάθηση και η υβριδική. Στη συνέχεια θα αναφερθούμε στις τρείς αυτές στρατηγικές [6] [9] [8] [1] Επιβλεπόμενη μάθηση Αυτή η στρατηγική μάθησης, χρησιμοποιείται όταν το ζητούμενο είναι η επίλυση προβλημάτων αντιστοίχισης, δηλαδή προβλημάτων εισόδου-εξόδου. Ένα βασικό συστατικό της επιβλεπόμενης ή εποπτευόμενης μάθησης είναι η ύπαρξη του εξωτερικού επόπτη («δασκάλου»), όπως απεικονίζεται και στο σχήμα 2.7. Σχήμα 2.7. Αναπαράσταση της επιβλεπόμενης διαδικασίας μάθησης Κατά μια έννοια, μπορούμε να θεωρήσουμε ότι ο επόπτης έχει την γνώση του περιβάλλοντος, μέσα από ένα πλήθος παραδειγμάτων εισόδου-εξόδου. Ωστόσο το περιβάλλον είναι άγνωστο στο ΝΔ. Έστω τώρα ότι ο επόπτης και το ΝΔ τίθενται σε ένα διάνυσμα εκπαίδευσης, που έχει δημιουργηθεί, βάση του περιβάλλοντος. Λόγω της ενυπάρχουσας γνώσης, ο «δάσκαλος» είναι δυνατόν να παρέχει στο ΝΔ την επιθυμητή απόκριση για το συγκεκριμένο διάνυσμα εκπαίδευσης. Πράγματι, η επιθυμητή απόκριση, αναπαριστά την βέλτιστη δράση που μπορεί να αποδοθεί από το ΝΔ. Οι παράμετροι του δικτύου (βάρη) ρυθμίζονται έπειτα από συνδυασμό του διανύσματος εκπαίδευσης και του εσφαλμένου σήματος. Το εσφαλμένο σήμα καθορίζεται από την διαφορά της πραγματικής απόκρισης και της επιθυμητής απόκρισης του δικτύου. Αυτή η ρύθμιση πραγματοποιείται κατ επανάληψη σε μια βήμα προς βήμα διαδικασία, έως ότου το 18

19 2BΚεφάλαιο 2ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) ΝΔ να εξομοιώνει τον επόπτη. Αυτό επιτυγχάνεται, όταν το σφάλμα μεταξύ επιθυμητής εξόδου και πραγματικής απόκρισης του δικτύου ελαχιστοποιείται Μη επιβλεπόμενη μάθηση Στην μη επιβλεπόμενη μάθηση, δεν υπάρχει ο εξωτερικός παράγοντας επόπτης («δάσκαλος») που επιβλέπει την διαδικασία εκμάθησης, όπως φαίνεται και στο σχήμα παρακάτω, σχήμα 2.8: Σχήμα 2.8. Αναπαράσταση της μη επιβλεπόμενης διαδικασίας μάθησης Θεωρούμε ότι στο ΝΔ τίθεται ένα διάνυσμα προς εκπαίδευση, το οποίο προέρχεται από το περιβάλλον. Από τη στιγμή που δεν υπάρχει επόπτης με προγενέστερη γνώση, δεν υπάρχει δυνατότητα να παρέχουμε στο ΝΔ μια επιθυμητή απόκριση για το συγκεκριμένο διάνυσμα που εκπαιδεύεται. Και συνεπώς δεν γίνεται κάποια σύγκριση, όπως προηγουμένως, για την πορεία του σφάλματος. Αντιθέτως, το δίκτυο χρησιμοποιεί έναν εσωτερικό έλεγχο, ψάχνει να βρει μια κανονικότητα στα σήματα εισόδου και προσπαθεί ώστε οι έξοδοι να έχουν τα ίδια χαρακτηριστικά όπως και οι είσοδοι. Λέμε ότι έχουμε μια αυτό-εποπτευόμενη εκπαίδευση, διότι το δίκτυο ελέγχει τον εαυτό του και διορθώνει τα σφάλματα στα δεδομένα με ένα μηχανισμό ανάδρασης (feedback). Ο τρόπος αυτός δεν εφαρμόζεται τόσο συχνά όπως η εποπτευόμενη μάθηση, αλλά είναι πολύ χρήσιμος σε περιπτώσεις που δεν υπάρχουν δεδομένα στο πρόβλημα Υβριδική μέθοδος μάθησης Η υβριδική μέθοδος περιέχει ένα συνδυασμό των δύο παραπάνω μεθόδων. Χρησιμοποιείται σε προβλήματα, όπου λόγω του μεγάλου πλήθους των δειγμάτων εισόδου-εξόδου, ο χρόνος που απαιτείται για την εκπαίδευση του δικτυώματος μεγαλώνει με εκθετικό τρόπο. Έτσι γίνεται πρώτα μια κατηγοριοποίηση των δεδομένων με χρήση κάποιας μη επιβλεπόμενης τεχνικής ΝΔ, ώστε να μικρύνει ο αρχικός αριθμός των ζευγαριών εισόδου-εξόδου. Έπειτα, έχοντας μικρύνει ο αριθμός των δειγμάτων σημαντικά, μπορεί να εφαρμοστεί μια διαδικασία εκπαιδευόμενης μάθησης στο ΝΔ, ώστε να εκπαιδευτεί γρήγορα και με επιτυχία. 19

20 2BΚεφάλαιο 2ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) 2.6 Perceptron Αλγόριθμος μάθησης Τα ΝΔ ευθείας τροφοδότησης, συνηθίζουμε να τα καλούμε ως perceptrons. Μάλιστα η αρχιτεκτονική αυτή είναι από τις πιο δημοφιλείς, διότι είναι σχετικά εύκολα κατανοητή και έχει εφαρμοστεί σε μεγάλο φάσμα εφαρμογών. Τα μονοστρωματικά ΝΔ έχουν αναλυθεί εκτενώς και η έρευνα που έγινε από τους Minsky και Papert συνέβαλε σημαντικά στο να ανακαλυφθούν τα όρια τους. Ωστόσο για τα πολυστρωματικά ΝΔ (MLP ΝΝ) δεν υπήρχε κάποιος γνωστός αλγόριθμος εκπαίδευσης για την αρχιτεκτονική αυτών των ΝΔ. Πολύ αργότερα στα μέσα της δεκαετίας του 8 η δουλειά που έγινε από τους Rumelhart, Hinton και Williams οδήγησε στην ανακάλυψη του αλγορίθμου οπισθοδιάδοσης (back-propagation learning algorithm). Αυτός ο αλγόριθμος είναι κατάλληλος για την εκπαίδευση MLP δικτύων ευθείας τροφοδότησης που σχετίζονται με διεργασίες-προβλήματα αντιστοίχησης. Στο σημείο αυτό, αξίζει να γίνει μια πιο αναλυτική αναφορά στην αρχιτεκτονική του μονοστρωματικού ΝΔ (SLP ΝΝ), για να παρακολουθήσουμε καλύτερα την τεχνική λειτουργίας του αλγορίθμου. Στο παρακάτω σχήμα παρουσιάζεται η αρχιτεκτονική του SLP: Σχήμα 2.9. Αρχιτεκτονική μονοστρωματικού Perceptron (SLP) Η είσοδος είναι ένα σύνολο δεδομένων - προτύπων:,,, και αυτό αποτελεί το επίπεδο εισόδου. Το επίπεδο εισόδου συμπεριλαμβάνει τον κόμβο (bias node), του οποίου το ανταποκρινόμενο βάρος σε έναν κόμβο εξόδου, από το επίπεδο εξόδου, παράγει το βάρος (bias weight) για τον συγκεκριμένο κόμβο εξόδου. Οι κόμβοι στο επίπεδο εισόδου, δεν αποτελούν νευρώνες, αλλά θεωρούνται απλοί καταχωρητές του στρώματος εισόδου. Επίσης, το επίπεδο εισόδου του SLP NN 2

21 2BΚεφάλαιο 2ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) περιλαμβάνει Κ κόμβους και τον bias κόμβο, ενώ το επίπεδο εξόδου περιέχει Ι κόμβους. Το SLP NN αποτελεί ένα μοντέλο στο οποίο η εφαρμοζόμενη διαδικασία μάθησης, είναι αυτή με την ύπαρξη «δασκάλου» (επιβλεπόμενη μάθηση). Μάλιστα η εκπαίδευση γίνεται σε δύο διαφορετικές φάσεις. Στην πρώτη φάση, φάση εκπαίδευσης, παρέχεται στο δίκτυο κατ επανάληψη ένα σύνολο ζευγών εισόδου/εξόδου (π.χ. 1, 1,,,,,, ) με σκοπό να μάθει το δίκτυο τον τρόπο αντιστοίχησης των εισόδων με τις εξόδους. Στη δεύτερη φάση, φάση απόδοσης, ένα σύνολο διανυσμάτων εισόδου (π.χ., 1,,,, ) παρουσιάζεται στο εκπαιδευμένο SLP NN και αυτό το δίκτυο παράγει τις αντίστοιχες αποκρίσεις εξόδου. Στη συνέχεια περιγράφεται η βασική λογική που ακολουθείται για την διαδικασία μάθησης του SLP NN στην περίπτωση που η συνάρτηση ενεργοποίησης είναι τύπου βηματικής (threshold type). Τα βήματα είναι τα εξής [9] [6]: 1. Αρχικοποιούμε τα βάρη και τα bias που αντιστοιχούν στον κόμβο i (για παράδειγμα,. Τα βάρη αρχικοποιούνται με τυχαίες μικρές τιμές. Η τιμή του p ξεκινάει από το Παρουσιάζουμε στην είσοδο το σύνολο παραδειγμάτων-προτύπων ή διανυσμάτων εκπαίδευσης. 3. Υπολογίζουμε την έξοδο του i-οστού κόμβου που αποκρίνεται στην είσοδο χρησιμοποιώντας την σχέση 2.1:. 4. Ελέγχουμε να δούμε εάν ισχύει:, δηλαδή ότι η τιμή της εξόδου είναι ίση με την επιθυμητή τιμή στόχου για το παράδειγμα-πρότυπο p. Και στη συνέχεια διακρίνουμε δύο περιπτώσεις: a. Αν ισχύει, τότε πάμε στο επόμενο βήμα 5. b. Αν δεν ισχύει δηλ., τότε αλλάζουμε τα βάρη σύμφωνα με τον εξής κανόνα (perceptron learning rule):, όπου η είναι ο ρυθμός εκπαίδευσης ή βήμα εκπαίδευσης (learning rate).το βήμα εκπαίδευσης πρέπει να είναι μικρός θετικός αριθμός. 5. Τώρα διακρίνουμε δύο περιπτώσεις: a. Αν, επιστρέφουμε στο βήμα 2 και παρουσιάζουμε την επόμενη ακολουθία στην είσοδο. b. Αν, και τα βάρη δεν άλλαξαν στις τελευταίες PT παρουσιάσεις που εφαρμόσαμε στην είσοδο, η εκπαίδευση έχει ολοκληρωθεί. Αν από την άλλη τα βάρη άλλαξαν τουλάχιστον μια φορά στις προηγούμενες PT 21

22 2BΚεφάλαιο 2ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) παρουσιάσεις, τότε επιστρέφουμε στο βήμα 2 για να παρουσιαστεί η πρώτη τιμή της ακολουθίας εισόδου p=1. Το μοντέλο perceptron εφοδιασμένο με τον παραπάνω αλγόριθμο εκπαίδευσης, συγκλίνει σε μια λύση η οποία ταξινομεί σωστά όλα τα πρότυπα αρκεί να υπάρχει μια τέτοια λύση. Με άλλα λόγια αρκεί το πρόβλημα να είναι γραμμικά διαχωρίσιμο [9]. 2.7 Δίκτυο Adaline Ο όρος ADALINE προέρχεται από τα αρχικά των λέξεων Adaptive Linear Element (Αυτοπροσαρμοζόμενο Γραμμικό Στοιχείο) [9] [6]. Το πλεονέκτημα του SLP NN του οποίου η συνάρτηση ενεργοποίησης είναι διαφορίσιμη (π.χ. γραμμική) είναι ότι μπορούμε να επινοήσουμε μια διαφορίσιμη συνάρτηση σφάλματος (differentiable error/energy function), στην οποία μπορούμε εφαρμόσουμε διάφορες τεχνικές μη γραμμικής βελτιστοποίησης, για να την ελαχιστοποιήσουμε (χρησιμοποιώντας παραγώγους). Έχοντας ένα πρόβλημα αντιστοίχησης, όπως και πριν, λαμβάνουμε ως είσοδο την ακολουθία 1,,,, την οποία έχουμε να αντιστοιχίσουμε με τις επιθυμητές τιμές εξόδου 1,,,,. Μπορούμε να θεωρήσουμε το πρόβλημα αντιστοίχησης ως Ι ανεξάρτητα προβλήματα αντιστοίχησης και μάλιστα μπορούμε να επικεντρωθούμε στο i-στο πρόβλημα, χωρίς την απώλεια της γενικότητας. Για κάθε ζεύγος εισόδου/επιθυμητής εξόδου, μπορούμε να κατασκευάσουμε μια διαφορίσιμη συνάρτηση σφάλματος, που δίνεται από τη σχέση 2.2: Για να οδηγήσουμε την έξοδο του SLP NN πιο κοντά στην τιμή που επιθυμούμε ως έξοδο, αλλάζουμε τα βάρη που αντιστοιχούν στον i-στο κόμβο με τέτοιο τρόπο ώστε η συνάρτηση σφάλματος να ελαχιστοποιείται. Ένας τρόπος για να το επιτύχουμε αυτό είναι να εφαρμόσουμε τον αλγόριθμο καθόδου κλίσης (gradient descent procedure). Σύμφωνα με τη διαδικασία αυτή, τα βάρη αλλάζουν κατά ένα ποσό ανάλογο της αρνητικής τιμής του ανάδελτα της. Δηλαδή:. όπου η: ο ρυθμός μάθησης, όπως έχουμε αναφέρει και νωρίτερα. Δεν είναι δύσκολο να δειχτεί ότι :. 22

23 2BΚεφάλαιο 2ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) Όπου. Οι παραπάνω σχέσεις δείχνουν ότι η αλλαγή των βαρών είναι ανάλογη του σφάλματος, το οποίο καλείται ως δέλτα ή όρος σφάλματος του i-οστού κόμβου που σχετίζεται με την είσοδο x(p). Επίσης η αλλαγή της τιμής του βάρους είναι ανάλογη της εισόδου, που εφαρμόζεται στο επίπεδο εισόδου του SLP-NN. Σημειώνεται ότι τα βήματα που περιγράφηκαν παραπάνω για τον αλγόριθμο μάθησης perceptron είναι τα ίδια, με μικρές διαφοροποιήσεις, για τον αλγόριθμο δέλτα και την εκπαίδευση ενός SLP-NN με γραμμικές συναρτήσεις ενεργοποίησης. 2.8 Αλγόριθμος οπισθοδιάδοσης Στην παράγραφο 2.6 αναλύεται ο αλγόριθμος για την εκπαίδευση ενός απλού νευρωνικού δικτύου Perceptron, το οποίο μπορεί να χρησιμοποιηθεί για προβλήματα γραμμικά διαχωρίσιμων συνόλων-επιφανειών. Η ανάγκη όμως για την λύση προβλημάτων πιο σύνθετων, οδήγησε στην ανάπτυξη των πολυστρωματικών νευρωνικών δικτύων MLP-NN και παράλληλα στην ανάγκη ανάπτυξης κατάλληλου αλγορίθμου όπως του αλγορίθμου οπισθοδιάδοσης (back-propagation learning algorithm) [6]. Ένα πολύ βασικό άρθρο στο οποίο περιγράφεται η διαδικασία εκπαίδευσης με το οποίο μπορεί να επιτευχθεί αποδοτική εκπαίδευση ενός MLP-NN είναι το [11]. Ένα δίκτυο πολλών στρωμάτων αποτελείται από περισσότερα στρώματα πέραν του στρώματος εισόδου και εξόδου, όπως φαίνεται και στο ακόλουθο σχήμα 2.1: Σχήμα 2.1. Αρχιτεκτονική πολυστρωματικού ΝΔ (ΜLP ΝΝ) 23

24 2BΚεφάλαιο 2ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) Μεταξύ των στρωμάτων εισόδου και εξόδου υπάρχει ένα ή περισσότερα ενδιάμεσα στρώματα κόμβων, τα οποία αναφέρονται ως κρυμμένα επίπεδα-στρώματα (hidden layers). Χαρακτηρίζονται κρυμμένα διότι είναι απομονωμένα από το περιβάλλον με το οποίο επικοινωνεί το δίκτυο με το επίπεδο εισόδου και εξόδου. Τα κρυμμένα επίπεδα παρέχουν στο δίκτυο, τη δυνατότητα να γενικευτεί. Ένα ΝΔ με ένα κρυμμένο επίπεδο και με ικανοποιητικό αριθμό κρυφών νευρώνων είναι σε θέση να προσεγγίζει οποιαδήποτε λειτουργία. Στην πράξη ένα ή δύο κρυμμένα επίπεδα χρησιμοποιούνται ευρέως κι έχουν αποδώσει πολύ καλά. Η αύξηση του αριθμού των κρυμμένων επιπέδων οδηγεί σε κίνδυνο overfitting κι αύξηση του χρόνου υπολογισμού [1]. Όσον αφορά στην αρχιτεκτονική ενός MLP-NN σχήμα 2.1. Το επίπεδο εισόδου αποτελείται από έναν κόμβο bias (κόμβος ) και Κ κόμβους εισόδου. Το κρυμμένο επίπεδο αποτελείται κι αυτό από ένα κόμβο bias (κόμβος ) και J κόμβους. Τέλος το επίπεδο εξόδου αποτελείται από I κόμβους και δεν υπάρχει bias κόμβος. Οι επιτρεπτές διασυνδέσεις στο MLP που εκπαιδεύεται με τον αλγόριθμο οπισθοδιάδοσης είναι τύπου μονόδρομης τροφοδοσίας (feed forward types of connections). Αυτό σημαίνει, ότι επιτρέπονται διασυνδέσεις από ένα συγκεκριμένο στρώμα σε ένα ανώτερο στρώμα (π.χ. από το μηδενικό επίπεδο στο επίπεδο 1 (κρυμμένο επίπεδο) ή από το επίπεδο 1 στο επίπεδο 2 (επίπεδο εξόδου)). Κι όπως φαίνεται κι από το σχήμα 2.1 δεν επιτρέπονται διασυνδέσεις από ένα συγκεκριμένο επίπεδο σε χαμηλότερο (feedback connections). Επίσης δεν επιτρέπονται διασυνδέσεις μεταξύ κόμβων του ίδιου επιπέδου. Όπως φαίνεται στο σχήμα 2.1 οι διασυνδέσεις είναι μονόδρομης τροφοδοσίας και μάλιστα δεν υπάρχει υπερπήδηση επιπέδων, δηλαδή δεν υπάρχει διασύνδεση από το μηδενικό επίπεδο προς το επίπεδο εξόδου. Ας πάρουμε σαν είσοδο στο επίπεδο εισόδου το διάνυσμα. Η είσοδος στον κόμβο j του κρυμμένου επιπέδου, που είναι αποτέλεσμα της εισόδου, συμβολίζεται με το. Επιπλέον την είσοδο στον κόμβο i, στο επίπεδο εξόδου την συμβολίζουμε με. Τέλος, την έξοδο του κόμβου i στο επίπεδο εξόδου εξαιτίας της επίδρασης της εισόδου την συμβολίζουμε με. Σημειώνεται ότι κάθε παράμετρος που σχετίζεται με έναν κόμβο έχει έναν δείκτη που καθορίζει τον αριθμό του κόμβου, έναν εκθέτη που αντιστοιχεί στο επίπεδο του κόμβου και τέλος ο δείκτης μέσα στην παρένθεση δείχνει την αντίστοιχη είσοδο η οποία εφαρμόζεται στο επίπεδο εισόδου του MLP-NN. Το βάρος διασύνδεσης του κόμβου k του επιπέδου εισόδου με τον κόμβο j του κρυμμένου επιπέδου, συμβολίζεται με. Αντιστοίχως, το βάρος διασύνδεσης από τον κόμβο j του κρυμμένου επιπέδου με τον κόμβο i του επιπέδου εξόδου, συμβολίζεται ως. Ο πρώτος δείκτης δείχνει τον κόμβο στον οποίο αντιστοιχεί το βάρος και ο δεύτερος δείκτης δείχνει τον κόμβο από τον οποίο πηγάζει. Και ο εκθέτης δείχνει το επίπεδο στο οποίο βρίσκεται ο κόμβος στον οποίο αντιστοιχεί το βάρος. 24

25 2BΚεφάλαιο 2ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) Τα προβλήματα αντιστοίχισης που αντιμετωπίζονται με τη χρήση των πολυστρωματικών νευρωνικών δικτύων MLP-NN είναι της ίδιας φύσης με αυτά που χρησιμοποιούνται τα SLP-NN, δηλαδή η μάθηση γίνεται με την ύπαρξη επόπτη («δασκάλου»). Θεωρείται και πάλι το σύνολο των δεδομένων εκπαίδευσης 1, 1,,,,,, και ότι στην είσοδο του MLP- NN εφαρμόζεται. Τότε στην έξοδο του MLP-NN η αναμενόμενη τιμή είναι ίση με. Για να επιτευχθεί αυτός ο στόχος, ορίζεται μια συνάρτηση σφάλματος, όπως ακριβώς στο SLP-NN, και έχει την ακόλουθη δομή: 1 2. Ο στόχος είναι να μεταβληθεί το διάνυσμα των βαρών w ώστε η παραπάνω σχέση να ελαχιστοποιηθεί. Ελαχιστοποιώντας την παραπάνω συνάρτηση σφάλματος, αυτό έχει σαν αποτέλεσμα η ενεργός έξοδος να είναι πιο κοντά στην αναμενόμενη τιμή εξόδου. Λαμβάνοντας υπ όψην ότι η προαναφερθείσα συνάρτηση είναι διαφορίσιμη, μπορούμε να εφαρμόσουμε διαδικασίες βελτιστοποίησης για να την ελαχιστοποιήσουμε. Μια τέτοια διαδικασία είναι ο αλγόριθμος καθόδου κλίσης (gradient descent procedure). Αυτή η διαδικασία, αλλάζει τα βάρη κατά ένα ποσό που είναι ανάλογο του αρνητικού ανάδελτα:. Ο αλγόριθμος της οπισθοδιάδοσης (back-propagation) είναι για την ακρίβεια μια διαδικασία εφαρμογής του βαθμωτού ανάδελτα στην συνάρτηση σφάλματος. Ο υπολογισμός του καθενός από τα στοιχεία γίνεται ως εξής: Η συνάρτηση σφάλματος την οποία επιδιώκουμε να ελαχιστοποιήσουμε είναι της μορφής (2.6) 1 2. Επιλέγοντας το βάρος, η μερική παράγωγος της συνάρτησης σφάλματος ως προς το βάρος αυτό, είναι: 1 2. Όπου στο άθροισμα ο μόνος όρος που δεν είναι μηδέν είναι αυτός για τον οποίο l=i, όλοι οι υπόλοιποι όροι είναι μηδέν, επειδή οι αντίστοιχες ποσότητες δεν εξαρτώνται από το για. Επομένως η μερική παράγωγος του ως προς είναι ίση με Εφαρμόζοντας ακόμη μια φορά παραγώγιση, προκύπτει ότι η παράγωγος της ως προς είναι:. 25

26 2BΚεφάλαιο 2ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) Το. γράφεται κι ως, το οποίο είναι η παράγωγος της συνάρτησης ενεργοποίησης g( ) του κόμβου i που αφορά στο. Είναι επίσης δεδομένο ότι:. Από το άθροισμα φαίνεται ότι ο μόνος όρος που εξαρτάται από το είναι όταν m=j. Οπότε. Συνδυάζοντας τις παραπάνω παρατηρήσεις, μπορούμε να γράψουμε την 2.7 ως εξής:. Επομένως η αλλαγή ενός βάρος που αντιστοιχεί σε έναν κόμβο εξόδου ακολουθεί τον εξής κανόνα:. Ο παράγοντας αντικαταστάθηκε από το το οποίο ονομάζεται δέλτα ή όρος σφάλματος του i κόμβου στο επίπεδο εξόδου. Η αλλαγή του βάρους, που αντιστοιχεί στο επίπεδο εξόδου του MLP-NN, είναι ανάλογη του όρου σφάλματος του κόμβου στον οποίο αντιστοιχεί το βάρος και ανάλογο του κόμβου εξόδου από τον οποίο πηγάζει τα βάρος. Αν θεωρήσουμε το βάρος που αντιστοιχεί στον κόμβο j του κρυμμένου επιπέδου και πηγάζει από το τον κόμβο k του επιπέδου εισόδου. Η συνάρτηση σφάλματος, που πρέπει να μειωθεί, είναι της μορφής: 1 2. δηλαδή

27 2BΚεφάλαιο 2ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) Εφαρμόζοντας τους κανόνες παραγώγισης προκύπτει ότι η μερική παράγωγος του ως προς είναι: Εφαρμόζοντας ακόμη μια φορά παραγώγιση, η μερική παράγωγος του ως προς είναι: Δεδομένου ότι :. το αποτέλεσμα είναι,. Εφαρμόζοντας άλλη μια φορά τον κανόνα παραγώγισης προκύπτει ότι η μερική παράγωγος του ως προς δίνεται από: Το γράφεται κι ως, το οποίο είναι η παράγωγος της συνάρτησης ενεργοποίησης g( ) του κόμβου j που αφορά στο. Δεδομένου ότι. και ότι ο μόνος όρος που εξαρτάται από το είναι όταν m=k. Οπότε. Συγκεντρώνοντας τις παραπάνω παρατηρήσεις. 27

28 2BΚεφάλαιο 2ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) Ο όρος στην παραπάνω εξίσωση 2.19, μπορεί να αντικατασταθεί με το, που αναφέρεται ως όρος σφάλματος, του κόμβου j στο κρυμμένο επίπεδο. Τελικά, το σφάλμα αποτελείται από τους όρους σφάλματος των κόμβων του επιπέδου εξόδου, τα οποία σταθμίζονται με κατάλληλα βάρη διασύνδεσης. Ένα από τα προβλήματα του MLP ήταν ότι δεν υπήρχε ξεκάθαρος τρόπος καθορισμού των όρων σφάλματος στους κόμβους του κρυμμένου επιπέδου. Εφαρμόζοντας τον αλγόριθμο καθόδου κλίσης στην συνάρτηση σφάλματος, προκύπτει το εξής αποτέλεσμα:. Και κατά συνέπεια, η αλλαγή ενός βάρους που αντιστοιχεί στο κρυμμένο επίπεδο του ΝΔ είναι ανάλογη του όρου σφάλματος του κόμβου στον οποίο αντιστοιχεί το βάρος και ανάλογη της εξόδου του κόμβου από τον οποίο προέρχεται. Η έξοδος ενός κόμβου στο επίπεδο εισόδου είναι ίση με το αντίστοιχο στοιχείο του διανύσματος που εφαρμόζεται στην είσοδο του δικτύου. Οι σχέσεις που περιγράφουν την αλλαγή των βαρών για ένα βάρος που αντιστοιχεί στον κόμβο του κρυμμένου επίπεδου ή του κόμβου του επιπέδου εξόδου, περιέχουν την παράγωγο της συνάρτησης ενεργοποίησης g του MLP-NN. Όπως αναφέρθηκε υπάρχουν διάφορες συναρτήσεις ενεργοποίησης, όπως η βηματική, η γραμμική, η σιγμοειδής κ.α. Στην περίπτωση αυτή όμως, οι βηματικές συναρτήσεις (threshold functions) δεν μπορούν να χρησιμοποιηθούν, διότι παραβιάζεται η συνθήκη για τη διαφορισιμότητα, ώστε να ικανοποιείται το αποτέλεσμα της συνάρτησης σφάλματος. Όμως, μπορούν να χρησιμοποιηθούν γραμμικές συναρτήσεις ενεργοποίησης για τους κόμβους εξόδου, αλλά οι συναρτήσεις ενεργοποίησης του κρυμμένου επιπέδου πρέπει να είναι μη γραμμικές. Αν οι συναρτήσεις ενεργοποίησης είναι γραμμικές τότε η δομή του MLP-NN εμπίπτει σε αυτήν της SLP-NN και κατά συνέπεια θα μπορούν να λυθούν λίγα προβλήματα αντιστοίχησης. Επομένως, για τους κόμβους του κρυμμένου επιπέδου ενδείκνυται να χρησιμοποιηθούν η σιγμοειδής ή υπερβολικής εφαπτομένης συνάρτηση ενεργοποίησης ενώ στους κόμβους του επιπέδου εξόδου μπορούν να χρησιμοποιηθούν και γραμμικές. Αν η συνάρτηση g(x) είναι σιγμοειδής, δηλαδή: 1 1. Τότε 1. Όπως επίσης αν η συνάρτηση g(x) είναι υπερβολική εφαπτομένη, δηλαδή: 1 1. Τότε 1. Είναι φανερό πως αν η g(x) είναι γραμμική τότε 1. 28

29 2BΚεφάλαιο 2ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) Στη συνέχεια παρουσιάζεται η διαδικασία του αλγορίθμου οπισθοδιάδοσης βήμα προς βήμα. Τα βήματα του αλγορίθμου μπορούν να διαχωριστούν σε αυστηρά τρείς φάσεις [6] [12]: 1) Την φάση εμπροσθοδιάδοσης, όπου υπολογίζονται οι έξοδοι στους κόμβους εξόδου του MLP-NN εξαιτίας της ύπαρξης μιας εισόδου στο δίκτυο. 2) Την φάση οπισθοδιάδοσης, όπου υπολογίζονται οι όροι σφάλματος (δηλ. τα δ) των κόμβων εξόδου και κρυμμένων επιπέδων του MLP-NN. 3) Την φάση προσαρμογής των βαρών, όπου αλλάζουν τα βάρη σύμφωνα με τις καθορισμένες συναρτήσεις με σκοπό να μειωθεί η διαφορά μεταξύ επιθυμητών τιμών εξόδου και πραγματικών τιμών εξόδου. Ο αλγόριθμος οπισθοδιάδοσης εκτελείται, βήμα προς βήμα ως εξής: Βήμα 1 ο Αρχικοποίηση των βαρών του MLP-NN, με τυχαίες μικρές τιμές. Βήμα 2 ο Εισαγωγή στην είσοδο του συνόλου x(p) από τις τιμές εκπαίδευσης. Βήμα 3 ο Υπολογισμός των εξόδων στους κόμβους κρυμμένου επιπέδου καθώς και επιπέδου εξόδου του MLP-NN χρησιμοποιώντας τις κατάλληλες σχέσεις (2.25 & 2.26) : Βήμα 4 ο Έλεγχος για το εάν ισχύει η σχέση 1. Όπου διακρίνουμε δύο περιπτώσεις: βήμα 5. Βήμα 4 ο α: Αν ισχύει 1, πηγαίνουμε στο βήμα 7. Βήμα 4 ο β: Αν ισχύει για κάποια i, 1 προχωρούμε στο Βήμα 5 ο Υπολογίζουμε τους όρους σφάλματος (δ) στους κόμβους των κρυμμένων επιπέδων και επιπέδων εξόδου, αρχίζοντας από το επίπεδο εξόδου και συνεχίζοντας στα κρυμμένα επίπεδα, προχωρώντας με φορά από την έξοδο προς την είσοδο της δομής του MLP-NN. Οι όροι σφάλματος υπολογίζονται σύμφωνα με τις σχέσεις (2.27 & 2.28):

30 2BΚεφάλαιο 2ο Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) Βήμα 6 ο Εφόσον έχουν υπολογιστεί οι έξοδοι των κόμβων και οι όροι σφάλματος των κόμβων στο MLP-NN αλλάζουν τα βάρη σύμφωνα με τις εξής σχέσεις (2.29 & 2.3): Όπου είναι η σταθερά αναλογίας, που καλείται ρυθμός μάθησης. Η παραπάνω διαδικασία μάθησης είναι γνωστή ως γενικευμένος κανόνας μάθησης δέλτα. Βήμα 7 ο Διακρίνουμε πάλι δύο περιπτώσεις: Βήμα 7 ο α: Αν ισχύει, ο αλγόριθμος επιστρέφει στο βήμα 2 και εισάγεται στην είσοδο του δικτύου το επόμενο διάνυσμα εισόδου από το σύνολο εκπαίδευσης που διαθέτουμε. Βήμα 7 ο β: Αν ισχύει και το αντίστοιχο κριτήριο σύγκλισης ικανοποιείται, τότε η εκπαίδευση έχει ολοκληρωθεί. Αν το κριτήριο σύγκλισης δεν ικανοποιείται, τότε ο αλγόριθμος επιστρέφει στο βήμα 2 και δίδεται στην είσοδο το πρώτο δείγμα εισόδου που αντιστοιχεί στο p=1. 3

31 3BΚεφάλαιο 3ο Επίπεδες στοιχειοκεραίες 3 Κεφάλαιο 3 ο Επίπεδες στοιχειοκεραίες 3.1 Εισαγωγή Στα τηλεπικοινωνιακά συστήματα η επίπεδη στοιχειοκεραία αποτελείται από ενεργά ή και παρασιτικά στοιχεία που βρίσκονται στην ίδια επιφάνεια. Η επίπεδη στοιχειοκεραία έχει το πλεονέκτημα ότι παρέχει ελεγχόμενο γωνιακό άνοιγμα κύριου λοβού, σε όλα τα επίπεδα τα κάθετα προς την επιφάνεια της κεραίας, με χαμηλούς πλευρικούς. Επίσης μπορεί να ελεγχθεί η κατεύθυνση της ακτινοβολίας αλλάζοντας την φάση μεταξύ των στοιχείων. Συνήθως, μια επίπεδη στοιχειοκεραία χρησιμοποιείται με μια ανακλαστική επιφάνεια στο πίσω μέρος της, εκτός αν είναι μικροταινιακή, οπότε στην πίσω πλευρά υπάρχει το επίπεδο γείωσης. Στην κατηγορία των επίπεδων στοιχειοκεραιών, οι θέσεις τροφοδοσίας είναι μέρος ενός ορθογώνιου πλέγματος και χάρη σε αυτή την μορφή που έχουν αποδίδεται σε αυτές ο χαρακτηρισμός επίπεδες στοιχειοκεραίες, στις οποίες εφαρμόζεται η αρχή του πολλαπλασιασμού των παραγόντων διάταξης για τον υπολογισμό του συνολικού παράγοντα διάταξης. Η ιδιαίτερη μορφή των κεραιών, παρέχει περισσότερες δυνατότητες για την υλοποίηση πιο σύνθετων διαγραμμάτων ακτινοβολίας. Σχήμα 3.1: Επίπεδη στοιχειοκεραία 31

32 3BΚεφάλαιο 3ο Επίπεδες στοιχειοκεραίες 3.2 Γραμμική στοιχειοκεραία N στοιχείων Η γραμμική στοιχειοκεραία που αποτελείται από N ανεξάρτητα, ισαπέχοντα στοιχεία και αναπαριστάται στο παρακάτω σχήμα 3.2, αποτελεί τη βασική δομή μιας επίπεδης στοιχειοχεραίας. Σχήμα 3.2 Γεωμετρία μακρινού πεδίου Ν ισοτροπικών στοιχείων γραμμικής διάταξης ως προς τον z άξονα Θεωρούμε ότι τα στοιχεία του σχήματος έχουν ιδανικά πλάτη, αλλά διαδοχικά το κάθε στοιχείο διαφέρει από το προηγούμενο κατά φάση β. Ο παράγοντας διάταξης μπορεί να βρεθεί για τη συγκεκριμένη διάταξη θεωρώντας όλα τα στοιχεία ως σημειακές πηγές. Έτσι ο παράγοντας διάταξης θα είναι: 1.. Το ηλεκτρικό πεδίο για την περίπτωση, μακρινού πεδίου, ενός στοιχείου δίνεται από την σχέση:,,,. Όπου: I n είναι το ρεύμα στοιχείου σε μιγαδική μορφή,, είναι η μαθηματική σχέση που περιγράφει την κατανομή του πεδίου της εκπεμπόμενης ακτινοβολίας από την κεραία-στοιχείο και συνήθως ονομάζεται παράγοντας στοιχείου, και r, θ, φ είναι οι σφαιρικές συντεταγμένες του σημείου παρατήρησης. Το ολικό πεδίο E tot θα δίνεται σύμφωνα με τον γενικό κανόνα: ό ί ί ή. 32

33 3BΚεφάλαιο 3ο Επίπεδες στοιχειοκεραίες Επομένως το ολικό πεδίο μιας συστοιχίας Ν στοιχείων θα είναι η επαλληλία της συνεισφοράς του κάθε στοιχείου με τον παράγοντα διάταξης. Άρα για ισοτροπικά στοιχεία το συνολικό μακρινό πεδίο θα δίνεται από τη σχέση:,,,. Για να παράγουμε τον παράγοντα διάταξης για επίπεδη στοιχειοκεραία θα πρέπει να αναφερθούμε στο σχήμα Κατά μήκος του x-άξονα υπάρχουν M στοιχεία που απέχουν απόσταση d x μεταξύ τους με διαφορά φάσης β x, κι ο αντίστοιχος παράγοντας διάταξης δίνεται από τη σχέση:. Αντίστοιχα, κατά μήκος του y-άξονα υπάρχουν N στοιχεία που απέχουν απόσταση d y μεταξύ τους (βλ. σχήμα 3.3) με διαφορά φάσης β y. Έτσι, ο παράγοντας διάταξης για επίεπδη στοιχειοκεραία γράφεται:. Σχήμα 3.3 Γεωμετρία επίπεδης στοιχειοκεραίας στον χώρο. 33

34 3BΚεφάλαιο 3ο Επίπεδες στοιχειοκεραίες 3.3 Προσδιορισμός γωνίας άφιξης σε δύο διαστάσεις με τη μέθοδο Matrix Pencil για στοιχειοκεραία σημειακών ισοτροπικών πηγών για την περίπτωση ενός προσπίπτοντος σήματος Η μέθοδος μπορεί να χρησιμοποιηθεί σε συστήματα προσαρμοζόμενων κεραιών και έχει το πλεονέκτημα ότι απαιτεί ένα στιγμιαίο set τιμών ρευμάτων (snapsot) στις εισόδους της κεραίας, για την εύρεση της διεύθυνσης άφιξης του σήματος (DOA). Η μέθοδος Matrix Pencil (MP) είναι ιδιαίτερα αποτελεσματική υπολογιστικά και εμφανίζει μικρές αποκλίσεις στον προσδιορισμό των παραμέτρων. Οι μαθηματικές διαδικασίες που απαιτούνται και ουσιαστικά επιβάλλουν επεξεργασία σήματος, μπορούν να υλοποιηθούν με τη βοήθεια hardware που υπάρχουν στο εμπόριο. Στην παρούσα εργασία γίνεται αναφορά στη μέθοδο Matrix Pencil για τον προσδιορισμό της διεύθυνσης άφιξης σημάτων σε επίπεδη στοιχειοκεραία δύο διαστάσεων [13] [14] [15]. Θεωρώντας επίπεδη στοιχειοκεραία ΜxΝ στοιχείων, το ρεύμα που επάγεται στα στοιχεία της από προσπίπτον επίπεδο κύμα, μπορεί να υπολογιστεί από τη σχέση:, exp i2 sin sin φ i2 sin φ. όπου Ap, γ p, ϕp, θ p είναι αντίστοιχα το πλάτος, η φάση και οι γωνίες άφιξης για κάθε ένα από τα P+1 επίπεδα κύματα που προσπίπτουν στην κεραία. Η σχέση (3.8) μπορεί ισοδύναμα να γραφεί: Όπου ή σε μορφή πινάκων:. όπου οι πίνακες αποτελούνται από τα στοιχεία: [ X ] x(,) x(,1) L x(, N) x(1, ) x(1,1) x(1, N) L = M M O M x( M,) x( M,1) L x( M, N) 34

35 3BΚεφάλαιο 3ο Επίπεδες στοιχειοκεραίες 1 1 L 1 y y1 y p [ Y ] L = M M O M M M M y y1 L yp [ ] [,,..., ] C = diag c c1 c p N 1 z L z N 1 z1 z1 [ Z ] L = M M O M N 1 zp L zp Στη συνέχεια με βάση τον πίνακα [X] δημιουργούνται εξισώσεις matrix pencils για να βρεθούν οι πόλοι που σχετίζονται με τις δύο διαφορετικές διαστάσεις. όπου οι A και B ορίζονται ως εξής:. x(1, ) x(1,1) L x(1, N) x(2,) x(2,1) x(2, N) [ A1 ] L = M M O M x( M,) x( M,1) L x( M, N) x(,) x(,1) L x(, N) x(1, ) x(1,1) x(1, N) [ B1 ] L = M M O M x( M 1,) x( M 1,1) L x( M 1, N) Οι ιδιοτιμές του γινομένου αποτελούν τις λύσεις για τον πρώτο συνδυασμό εκθετικών συναρτήσεων που σχετίζονται με την πρώτη διάσταση και συμβολίζονται ως εξής:{ : i=1,.,i}. Στο παραπάνω γινόμενο ο πίνακας είναι ο ψευδοαντίστροφος πίνακας των Moore-Penrose και ορίζεται ως:. H δεύτερη matrix pencil εξίσωση προκύπτει ακολουθώντας την παρακάτω διαδικασία:. Όπου και ορίζονται ως εξής: 35

36 3BΚεφάλαιο 3ο Επίπεδες στοιχειοκεραίες x(,1) x(,2) L x(, N) x(1,1) x(1, 2) x(1, N) [ A2 ] L = M M O M x( M,1) x( M,2) L x( M, N) x(,) x(,1) L x(, N 1) x(1, ) x(1,1) x(1, N 1) [ B2 ] L = M M O M xm (,) xm (,1) L xm (, N 1) Οι ιδιοτιμές του γινομένου αποτελούν τις λύσεις για τον δεύτερο συνδυασμό εκθετικών που σχετίζονται με την δεύτερη διάσταση και συμβολίζονται ως εξής: { : j=1,.,j}. Στο παραπάνω γινόμενο ο πίνακας είναι ο ψευδοαντίστροφος πίνακας των Moore-Penrose του. Το πλήθος των μη μηδενικών ιδιοτιμών δείχνει το πλήθος των προσπιπτόντων σημάτων. Κάθε διεύθυνση άφιξης, προσδιορίζεται από το ζεύγος των αντίστοιχων εκθετικών, ως εξής:

37 4BΚεφάλαιο 4ο Υλοποίηση Σχεδιασμός ΝΔ 4 Κεφάλαιο 4 ο Υλοποίηση Σχεδιασμός ΝΔ 4.1 Εισαγωγή Για τον σχεδιασμό και τη μελέτη του ΝΔ μας, χρησιμοποιούμε την αντίστοιχη εργαλειοθήκη Neural Network/Data manager του Matlab (version 212a), με χρήση της εντολής nntool. Στη συγκεκριμένη εργαλειοθήκη βρίσκονται τα πολυστρωματικά δίκτυα ευθείας τροφοδότησης (feed forward MLP-NN), τα οποία χρησιμοποιούνται πάρα πολύ στην επίλυση διάφορων προβλημάτων. Τα δίκτυα αυτά μπορούν να χρησιμοποιηθούν τόσο για προβλήματα προσέγγισης συνάρτησης (function fitting) όσο και για προβλήματα αναγνώρισης μορφών (recognition pattern). Σε αυτή την παράγραφο περιγράφουμε τα βασικά βήματα που ακολουθήσαμε για τον σχεδιασμό του ΝΔ. Για την δημιουργία του ΝΔ ακολουθούμε τα εξής βήματα: 1) Συλλογή των δεδομένων. 2) Δημιουργία δικτύου. 3) Διαμόρφωση δικτύου. 4) Αρχικοποίηση των τιμών των βαρών και των biases. 5) Εκπαίδευση του δικτύου. 6) Επιβεβαίωση της αξιοπιστίας του δικτύου με έλεγχο της ακρίβειας των δεδομένων που δίνει μια ομάδα δεδομένων κατά τη φάση μετά την εκπαίδευση. 7) Χρήση του δικτύου. Πραγματοποιώντας τα παραπάνω βήματα μπορούμε να πούμε ότι πλέον το ΝΔ είναι έτοιμο προς χρήση και αξιοποίηση. 4.2 Δημιουργία Βάσης δεδομένων Τα δεδομένα που χρειαζόμαστε για την εκπαίδευση του δικτύου, αποτελούνται από μια σειρά από τυχαίες θέσεις στις οποίες μπορεί να βρεθεί ένας χρήστης μέσα στον τομέα και τα αντίστοιχα ρεύματα που θα αναπτυχθούν στα στοιχεία της στοιχειοκεραίας, λόγω της θέσης του. Έτσι θα έχουμε ένα διάνυσμα στοιχείων εισόδου του ΝΔ, που θα είναι τα ρεύματα που αναπτύσσονται στην στοιχειοκεραία από την άφιξη των σημάτων σε αυτήν από διάφορες διευθύνσεις μέσα στον τομέα που μπορεί να κινείται ο χρήστης. Το διάνυσμα στοιχείων-στόχων, θα είναι οι αντίστοιχες αποστάσεις του κινητού χρήστη από τον σταθμό βάσης - την στοιχειοκεραία. Στην αρχική φάση της εργασίας μας προκειμένου να έχουμε κάποια δεδομένα θέσης για τον κινητό χρήστη κάνουμε μια ανάλυση του προφίλ μιας τυπικής ημιαστικής περιοχής. 37

38 4BΚεφάλαιο 4ο Υλοποίηση Σχεδιασμός ΝΔ Το προφίλ της περιοχής έχει τα χαρακτηριστικά που παραθέτονται στον ακόλουθο πίνακα: Πίνακας 1. Προφίλ ημιαστικής περιοχής Προφίλ μιας τυπικής ημιαστικής περιοχής Με συχνότητα λειτουργίας στα 2MHz Μέσο ύψος υψηλότερου κτιρίου h roof =1m Ύψος στο οποίο βρίσκεται ο σταθμός βάσης (στοιχειοκεραία) Μέσο πλάτος δρόμου Μέση απόσταση μεταξύ των κτιρίων h base =h roof +5 = 15m w=1m b=w+25= 35m Το κινητό εκπέμπει με τη μέγιστη δυνατή ισχύ 2 Watts Επίσης κάνουμε την παραδοχή, ότι υπάρχει μόνο ένα σήμα που διαδίδεται και καθορίζουμε μερικές πιθανές θέσεις, που μπορεί να βρεθεί ένας χρήστης μέσα σε έναν τομέα, ενός σταθμού βάσης. Η θέση ενός κινητού χρήστη μέσα σε έναν τομέα, καθορίζεται από τις εξής τρείς παραμέτρους: Τη γωνία φ που σχηματίζει η ευθεία πάνω στην οποία βρίσκεται ο χρήστης με τον άξονα x, που είναι κάθετος με τη διχοτόμο των 12 ο, του τομέα του συστήματος συντεταγμένων της κυψελίδας, όπως φαίνεται στο σχήμα 4.1. Σχήμα 4.1. Γεωμετρία κεραίας σε σχέση με τον τομέα κάλυψης. Επιλέγουμε η γωνία φ να κυμαίνεται από 3 ο έως 15 ο με βήμα 1 ο. 38

39 4BΚεφάλαιο 4ο Υλοποίηση Σχεδιασμός ΝΔ Τη γωνία θ που είναι η γωνία που σχηματίζει, η ευθεία που ενώνει τον σταθμό βάσης με τη θέση της κινητής μονάδας, με την κατακόρυφο πάνω στην οποία βρίσκεται ο σταθμός βάσης. Σχήμα 4.2. Στοιχειοκεραία κατά μήκος του άξονα z και πιθανά ύψη z i στα οποία είναι πιθανό να βρεθεί το κινητό. Τέλος, η παράμετρος d είναι η απόσταση του κινητού από το σταθμό βάσης και η οποία υπολογίζεται με απλή τριγωνομετρία.. Για να έχουμε λοιπόν μια βάση δεδομένων για τις πιθανές θέσεις στις οποίες μπορεί να βρεθεί ο χρήστης, πρέπει να καθορίσουμε τις γωνίες θ και φ. Για να γίνει αυτό, επιλέγουμε το ύψος z να μεταβάλλεται από.5m έως 3m με βήμα 1m και η απόσταση ως προς τον y άξονα,δηλαδή την οριζόντια απόσταση του κινητού από την κατακόρυφο στην οποία βρίσκεται ο σταθμός βάσης να μεταβάλλεται ανά 2m από τα 1m μέχρι τα 8m (τυπική ακτίνα ενός cell). Έπειτα με απλή γεωμετρία, έχοντας την απόσταση r, z και το ύψος στο οποίο βρίσκεται η στοιχειοκεραία μας μπορούμε να εξάγουμε την πληροφορία για την γωνία θ. Επίσης έχοντας προηγουμένως επιλέξει τη γωνία φ να μεταβάλλεται ανά 1 ο, έχουμε επιτύχει μια σημαντική κάλυψη όλου του τομέα, με τις πιθανές θέσεις στις οποίες είναι δυνατό να βρεθεί ο χρήστης. Έτσι τώρα γνωρίζοντας τις τιμές για τις γωνίες θ, φ και τα ύψη z, βρίσκουμε διάφορες αποστάσεις του κινητού χρήστη από το σταθμό βάσης, τις οποίες μπορούμε στη συνέχεια να τις χρησιμοποιήσουμε ως δεδομένα εκπαίδευσης του δικτύου, στοιχείαστόχους. Στη συνέχεια υπολογίζουμε τα ρεύματα που αναπτύσσονται πάνω στα στοιχεία της στοιχειοκεραίας από τις συγκεκριμένες γωνίες άφιξης των σημάτων πάνω στη στοιχειοκεραία, και τα οποία τα χρησιμοποιούμε επίσης στην εκπαίδευση του ΝΔ. Στη σχέση 3.8 από την οποία υπολογίζουμε τα ρεύματα για ένα σήμα και θέτουμε μηδενική φάση γ p =. Επίσης, στη θέση της γωνίας ανύψωσης θ p βάζουμε 9-θ, όπου θ η γωνία όπως περιγράφθηκε παραπάνω (βλ. σχήμα 4.2). 39

40 4BΚεφάλαιο 4ο Υλοποίηση Σχεδιασμός ΝΔ Έτσι:, exp i2 sin 9 sin φ i2 sin 9 φ. Όπου Α p είναι το πλάτος ισχύος του σήματος που φτάνει στη στοιχειοκεραία εκφρασμένο σε nw για τις αντίστοιχες γωνίες θ, φ κάθε φορά. Με το πρότυπο απώλειας διαδρομής cost231-walfisch-ikegami, έγιναν οι υπολογισμοί απώλειας διαδρομής και οι αντίστοιχοι υπολογισμοί για το πλάτος Α p της ισχύος του σήματος που φτάνει στη στοιχειοκεραία Υπολογισμός της απώλειας διαδρομής εντός του τομέα με εφαρμογή του COST231 Walfisch Ikegami Το μοντέλο COST231-Walfisch-Ikegami παρέχει εκτίμηση της απώλειας διαδρομής λαμβάνοντας υπ όψην παραμέτρους του ανάγλυφου της δόμησης του περιβάλλοντος διάδοσης. Το μοντέλο, περιγράφει τη διάδοση σήματος σε εξωτερικούς χώρους και αναπτύχθηκε με βάση το θεωρητικό πρότυπο των Walfisch- Bertoni και περιγράφει την απώλεια διαδρομής L b με τρείς όρους : L B L B L B B L. Ο όρος L o παριστάνει την απώλεια διαδρομής στον ελεύθερο χώρο, ο όρος L rts περιγράφει την απώλεια που οφείλεται στην περίθλαση των ακτινών στις οροφές των κτιρίων και την σκέδαση, ενώ με τον όρο L msd συνυπολογίζονται οι απώλειες λόγω πολλαπλών περιθλάσεων (σχήμα 4.3) Σχήμα 4.3. Αναπαράσταση του φαινομένου της περίθλασης. Τα μεγέθη που χρησιμοποιούμε στο πρότυπο αυτό είναι: Συχνότητα f [MHz] Μήκος διαδρομής d [km] Μέσο εύρος οδών w [m] Απόσταση μεταξύ των κτιρίων b[m] Ύψος σταθμού βάσης h base [m] Μέσο ύψος οροφής κτιρίων h roof [m] 4

41 4BΚεφάλαιο 4ο Υλοποίηση Σχεδιασμός ΝΔ Ύψος κινητής μονάδας h mobile [m] Μέση τιμή της γωνίας φ,που σχηματίζεται από την ακτίνα πρόσπτωσης του σήματος με την διεύθυνση της οδού που κινείται η μονάδα σχήμα 4.4. Σχήμα 4.4 Με βάση τις τιμές των δεδομένων μεγεθών, η απώλεια διαδρομής μεταξύ πομπού και δέκτη υπολογίζεται ως εξής: log έ έ έ έ 925 έ ό έ ό ί , ,.5. 41

42 4BΚεφάλαιο 4ο Υλοποίηση Σχεδιασμός ΝΔ Όρια για την εγκυρότητα των αποτελεσμάτων: Έχοντας υπολογίσει την απώλεια διαδρομής ( ) με βάση το παραπάνω πρότυπο και θεωρώντας, ότι το κινητό εκπέμπει στη μέγιστη ισχύ του 2W, υπολογίζεται η ισχύς που λαμβάνει η κεραία του σταθμού βάσης από τη σχέση: 1. Επομένως, με αντικατάσταση των A p =P R, αφού πρώτα υπολογισθούν σε nw, στην σχέση 4.2, προκύπτουν τα ρεύματα που αναπτύσσονται στα στοιχεία της στοιχειοκεραίας εξαιτίας του λαμβανόμενου σήματος που έχει διαδοθεί σε περιβάλλον σύμφωνα με το πρότυπο cost Προετοιμασία δεδομένων Πριν το σχεδιασμό του δικτύου είναι απαραίτητο εκτός από την συλλογή δεδομένων να προετοιμαστούν τα διανύσματα εκπαίδευσης του δικτύου. Γενικά είναι δύσκολο να ενσωματωθεί την προγενέστερη «γνώση» σε ένα ΝΔ και κατά συνέπεια, το ΝΔ μπορεί να είναι τόσο ακριβές, όσο και τα δεδομένα που χρησιμοποιήθηκαν για την εκπαίδευση του. Τα δεδομένα εισόδου-εξόδου χωρίζονται με τυχαίο τρόπο σε τρία υποσύνολα, τα οποία χρησιμοποιούνται για την εκπαίδευση (training set), την αξιολόγηση (validation set) και τον έλεγχο (test set) του δικτύου [16]. Στο πρώτο σύνολο, είναι τα δεδομένα που χρησιμοποιούνται για τον υπολογισμό της κλίσης (gradient) και την ενημέρωση των βαρών και των biases του δικτύου, δηλαδή χρησιμοποιείται για την εκπαίδευση του δικτύου (training set). Το δεύτερο υποσύνολο χρησιμοποιείται για την επιβεβαίωση (validation set) του πόσο καλά έχει εκπαιδευτεί το δίκτυο. Κατά τη διάρκεια της εκπαίδευσης παρακολουθείται το σφάλμα στο σύνολο αυτών των δεδομένων. Κανονικά το σφάλμα αυτό μειώνεται κατά την διάρκεια της αρχικής φάσης της εκπαίδευσης, όπως συμβαίνει και με το σφάλμα στο υποσύνολο εκπαίδευσης. Ωστόσο, όταν το δίκτυο κάνει υπερπροσαρμογή (overfit) στα δεδομένα τότε το σφάλμα στο υποσύνολο επιβεβαίωσης αρχίζει να αυξάνει χαρακτηριστικά. Το δίκτυο αποθηκεύει τις τιμές των βαρών και των biases, όταν το σφάλμα του συνόλου επιβεβαίωσης έχει τη μικρότερη του τιμή. Στην ουσία, αυτό αποτελεί μια τεχνική με την οποία βελτιώνεται ο τρόπος με τον οποίο γίνεται η γενικοποίηση στο ΝΔ. Έτσι ώστε να αντιδρά σωστά 42

43 4BΚεφάλαιο 4ο Υλοποίηση Σχεδιασμός ΝΔ σε οποιαδήποτε είσοδο του δοθεί κι όχι να κάνει απλό μιμητισμό με βάση τα δεδομένα εκπαίδευσης του. Το τρίτο υποσύνολο με δεδομένα για αξιολόγηση (test set) δεν χρησιμοποιείται κατά την διάρκεια της εκπαίδευσης, συνεπώς δεν έχει επίδραση στην εκπαίδευση και παρέχει μια ανεξάρτητη μέτρηση της απόδοσης του δικτύου κατά τη διάρκεια και μετά την εκπαίδευση. Επίσης είναι χρήσιμο και για τον σχεδιασμό της γραφικής παράστασης του σφάλματος κατά τη διάρκεια της εκπαίδευσης. Να σημειώσουμε ότι σε περίπτωση που το σφάλμα στο υποσύνολο ελέγχου (test set) φθάνει σε μια ελάχιστη τιμή σε διαφορετικό κύκλο διεργασιών από ότι το σφάλμα στο υποσύνολο επιβεβαίωσης (validation set), τότε αυτό πιθανόν να οφείλεται στο μικρό πλήθος δεδομένων. 43

44 4BΚεφάλαιο 4ο Υλοποίηση Σχεδιασμός ΝΔ 4.4 Post training ανάλυση (αξιολόγηση δικτύου) Ολοκληρώνοντας την εκπαίδευση, θέλουμε να ελέγξουμε την απόδοση του δικτύου και να καθορίσουμε αν χρειάζεται να γίνουν αλλαγές στην διαδικασία εκπαίδευσης ή στην αρχιτεκτονική του δικτύου ή στο σύνολο των δεδομένων. Ο έλεγχος αυτός γίνεται εποπτικά σε δυο βήματα. Πρώτα σχεδιάζουμε τις καμπύλες απόδοσης, από όπου φαίνεται σε ποια διεργασία της εκπαίδευσης, η απόδοση στο υποσύνολο αξιολόγησης (validation performance) έφτασε την ελάχιστη τιμή της. Αυτό που ελέγχουμε στις συγκεκριμένες καμπύλες είναι, αν η καμπύλη που αντιστοιχεί στα δεδομένα ελέγχου (test set) αυξάνεται σημαντικά προτού αυξηθεί η καμπύλη που αντιστοιχεί στα δεδομένα αξιολόγησης (validation set), γιατί αυτό αποτελεί ένδειξη ότι μπορεί να συμβαίνει κάποια υπερπροσαρμογή (overfitting), φαινόμενο μιμητισμού [16]. Ένα παράδειγμα του παραπάνω ελέγχου, είναι αυτό του Matlab σχετικά με το house pricing που βρίσκεται εύκολα από το help του προγράμματος. Το διάγραμμα όπου παρουσιάζεται το MSE σε σχέση με τις διεργασίες (epochs) που χρειάστηκαν για να μειωθεί στο ελάχιστο το σφάλμα της MSE για το validation set. Mean Squared Error (mse) 1 4 Best Validation Performance is at epoch Train Validation Test Best Epochs Διάγραμμα Καμπύλες σφάλματος MSE με πλήθος διεργασιών, από έτοιμο παράδειγμα του Matlab house pricing. Από το διάγραμμα γίνεται αντιληπτό, ότι δεν υπάρχει κάποιο σημαντικό πρόβλημα με την εκπαίδευση του δικτύου. Οι καμπύλες που αντιστοιχούν στο υποσύνολο αξιολόγησης και ελέγχου αντίστοιχα είναι παρόμοιες. Αν η καμπύλη που αντιστοιχεί στο test set είχε αυξηθεί σημαντικά πριν την καμπύλη που αντιστοιχεί στο validation set, τότε θα υπήρχε πιθανότητα να υπάρχει κάποιο overfitting. Στο επόμενο βήμα αξιολόγησης του δικτύου σχεδιάζονται οι καμπύλες στις οποίες φαίνεται η σχέση μεταξύ των εξόδων του δικτύου και των επιθυμητών τιμών εξόδων (στόχοι), για κάθε σύνολο. Η διακεκομμένη γραμμή (45 ο ) αναπαριστά το ιδανικό 44

45 4BΚεφάλαιο 4ο Υλοποίηση Σχεδιασμός ΝΔ αποτέλεσμα, όπου οι έξοδοι συμπίπτουν με τους στόχους. Η συνεχής γραμμή αναπαριστά την καλύτερη γραμμική προσαρμογή (best fit linear regression line) μεταξύ των εξόδων και των στόχων. Η τιμή του R είναι μια ένδειξη της σχέσης μεταξύ των εξόδων και των στόχων. Αν R=1, αυτό υποδεικνύει ότι υπάρχει μια ακριβώς γραμμική σχέση μεταξύ των εξόδων και των στόχων. Αν η τιμή του R τείνει στο μηδέν, τότε δεν υπάρχει γραμμική σχέση μεταξύ των εξόδων και των στόχων. Training: R= Validation: R= Output ~=.95*Target Data Fit Y = T Output ~=.87*Target Data Fit Y = T Target Target Test: R=.964 All: R=.9589 Output ~=.9*Target Data Fit Y = T Output ~=.94*Target Data Fit Y = T Target Target Διάγραμμα Διαγράμματα διασποράς μεταξύ τιμών εξόδου και επιθυμητών τιμών για τα διάφορα υποσύνολα. Για το παράδειγμα που δίνεται στο παραπάνω διάγραμμα ( house pricing ) τα δεδομένα εκπαίδευσης παρουσιάζουν μια καλή γραμμική προσαρμογή. Τα σύνολα ελέγχου και αξιολόγησης (test & validation) επίσης εμφανίζουν μια τιμή R μεγαλύτερη από.9. Το γράφημα διασποράς είναι χρήσιμο, γιατί μπορεί να διαπιστωθεί με ακρίβεια, ποιά δεδομένα παρουσιάζουν κακή γραμμικότητα. Για παράδειγμα στο διάγραμμα διασποράς που αναφέρεται στο υποσύνολο ελέγχου (test set) παρατηρούνται 45

46 4BΚεφάλαιο 4ο Υλοποίηση Σχεδιασμός ΝΔ τουλάχιστον 1 σημεία που οι τιμές εξόδου τους είναι πολύ διαφορετικές από τις επιθυμητές τιμές εξόδου. Όταν εντοπίζουμε τέτοια σημεία πρέπει να ελέγχεται αν τα σημεία αυτά αναπαριστούν κάποια παρέκταση (για παράδειγμα βρίσκονται εκτός του συνόλου εκπαίδευσης). Αν ισχύει αυτό, τότε πρέπει να συμπεριληφθούν στο σύνολο εκπαίδευσης και επιπλέον πρέπει να προστεθούν περισσότερα δεδομένα για να χρησιμοποιηθούν στο σύνολο ελέγχου (test set). Σε διαφορετική περίπτωση το δίκτυο επανεκπαιδεύεται ή χρησιμοποιούνται περισσότερα δεδομένα και εκπαιδεύεται πάλι. 4.5 Δημιουργία νευρωνικού δικτύου από την εργαλειοθήκη του matlab (nntool) Το γραφικό περιβάλλον της εργαλειοθήκης του προγράμματος Matlab φαίνεται. Στην εικόνα 4.1. Εικόνα 4.1. Γραφικό περιβάλλον εισαγωγής δεδομένων ΝΔ Με το «Import» εισάγονται τα δεδομένα εισόδου, δηλαδή οι τιμές των ρευμάτων, πραγματικό και φανταστικό μέρος, και τα δεδομένα επιθυμητών εξόδων (τιμές στόχους) που είναι οι αποστάσεις της κινητής μονάδας από τη στοιχειοκεραία. Επίσης εισάγονται και δύο αντίστοιχα σύνολα, που θα χρησιμοποιηθούν για τον έλεγχο της καλής λειτουργίας του δικτύου μετά την εκπαίδευση του, με στατιστικά μεγέθη, ανεξάρτητα από αυτά που θέτει μόνο του το πρόγραμμα. Το ΝΔ δημιουργείται επιλέγοντας τα δεδομένα που έχουν εισάχθει στο προηγούμενο βήμα. Επίσης, δίνεται η δυνατότητα επιλογής του πλήθος νευρώνων των κρυμμένων επιπέδων, το είδος της συνάρτησης ενεργοποίησης στα κρυμμένα επίπεδα και το επίπεδο εξόδου καθώς και το πλήθος των κρυμμένων επιπέδων (βλ. εικόνα 4.2). Στην εργασία αυτή, επιλέχθηκε η μελέτη με διαφορετικό πλήθος νευρώνων και δύο είδη συναρτήσεως ενεργοποίησης (logsig/tansig) ενώ για το επίπεδο εξόδου η αντίστοιχη συνάρτηση επιλέχθηκε να είναι γραμμική (purelin). 46

47 4BΚεφάλαιο 4ο Υλοποίηση Σχεδιασμός ΝΔ Επίσης το πλήθος των κρυμμένων επιπέδων μαζί με αυτό της εξόδου επιλέχθηκε να είναι δύο, καθώς όπως αναφέρθηκε και στην παράγραφο 2.8, ένα δίκτυο με ένα κρυμμένο επίπεδο και ικανοποιητικό αριθμό νευρών είναι σε θέση να προσεγγίζει οποιαδήποτε λειτουργία. Από τη μελέτη αυτή καταλήγουμε στις πιο καλές επιλογές για το συγκεκριμένο πρόβλημα. Εικόνα 4.2. Γραφικό περιβάλλον δημιουργίας ΝΔ Η αναπαράσταση του δικτύου που δημιουργήθηκε φαίνεται στην εικόνα 4.3. Εικόνα 4.3. Αναπαράσταση ενός ΝΔ. Η εκπαίδευση έγινε με τις default ρυθμίσεις του προγράμματος. 47

48 4BΚεφάλαιο 4ο Υλοποίηση Σχεδιασμός ΝΔ Εικόνα 4.4. Γραφικό περιβάλλον εκπαίδευσης δικτύου/ρύθμισης παραμέτρων εκπαίδευσης. Μόλις εκπληρωθεί ένα από τα τρία κριτήρια τερματισμού της διαδικασίας εκπαίδευσης (ελάχιστη MSE, 6 validation checks, πλήθος διεργασιών) ελέγχονται οι αντίστοιχες γραφικές παραστάσεις όπως αναλύθηκε στην παράγραφο 4.4 (post training analysis). Αν όλα δείχνουν ότι το δίκτυο έχει εκπαιδευτεί σωστά, χωρίς να κάνει μιμητισμό και τα σφάλματα είναι κατά το δυνατόν λιγοστά, τότε πραγματοποιείται η επόμενη φάση της εξομοίωσης (simulation) του δικτύου [16]. Τα δεδομένα εξάγονται σαν περιεχόμενο αρχείου, τα επεξεργάζονται προκειμένου να εξαχθούν τα στατιστικά μεγέθη εκείνα (MAE, MAPE, RMSE), που θα βοηθήσουν στην αξιολόγηση της αποδοτικότητας και χρηστικότητας του δικτύου. Εικόνα 4.5. Γραφικό περιβάλλον προσομοίωσης δικτύου Ένα από τα στατιστικά μεγέθη που υπολογίζεται, είναι ο μέσος όρος σφάλματος των εξόδων του εκπαιδευμένου ΝΔ από τις αντίστοιχες πραγματικές τιμές των μεγεθών (απόσταση, γωνίες) κάθε φορά. Η σχέση που δίνει το μέγεθος αυτό είναι η παρακάτω: 48