Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Τμήμα Φυσικής

Transcript

1 Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Τμήμα Φυσικής Πρόγραμμα Μεταπτυχιακών Σπουδών Ηλεκτρονικής Φυσικής (Ραδιοηλεκτρολογίας) Κατεύθυνση: Ηλεκτρονική Τεχνολογία Τηλεπικοινωνιών ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ «ΠΡΟΣΔΙΟΡΙΣΜΟΣ ΘΕΣΗΣ ΚΙΝΗΤΗΣ ΜΟΝΑΔΑΣ ΣΕ ΑΣΥΡΜΑΤΟ ΔΙΚΤΥΟ ΕΠΙΚΟΙΝΩΝΙΩΝ ΜΕ ΜΕΘΟΔΟΛΟΓΙΑ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ» Λέρα Μαρία ΑΕΜ: Επιβλέπουσα Καθηγήτρια: Αικατερίνη Σιακαβάρα Ιούνιος 2016

2 Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 2

3 ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ «ΠΡΟΣΔΙΟΡΙΣΜΟΣ ΘΕΣΗΣ ΚΙΝΗΤΗΣ ΜΟΝΑΔΑΣ ΣΕ ΑΣΥΡΜΑΤΟ ΔΙΚΤΥΟ ΕΠΙΚΟΙΝΩΝΙΩΝ ΜΕ ΜΕΘΟΔΟΛΟΓΙΑ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ» Λέρα Μαρία ΑΕΜ: Επιβλέπουσα καθηγήτρια: Αικατερίνη Σιακαβάρα Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 3

4 ΠΕΡΙΛΗΨΗ Στην εργασία προτείνεται μεθοδολογία με εφαρμογή Τεχνητών Νευρωνικών Δικτύων (Artificial Neural Networks, ANN) για τον προσδιορισμό της θέσης κινητής μονάδας σε ασύρματο δίκτυο επικοινωνιών. Η μεθοδολογία περιλαμβάνει σαν πρώτο βήμα ειδική επεξεργασία των σημάτων που λαμβάνονται από την κεραία ανίχνευσης. Στη συνέχεια τα επεξεργασμένα σήματα χρησιμοποιούνται παράλληλα σε δύο ANN, ένα για την ανίχνευση της διεύθυνσης άφιξης του σήματος (Direction of Arrival, DoA) και ένα για την ανίχνευση της απόστασης, με παράλληλη επίσης ροή πληροφορίας από το πρώτο δίκτυο στο δεύτερο. Κλειδί για την ακριβή πρόβλεψη της θέσης αποτελεί η προτεινόμενη μέθοδος επεξεργασίας των αρχικών σημάτων. Στην εργασία περιγράφονται αναλυτικά η δομή των Νευρωνικών δικτύων που σχεδιάστηκαν, ο τρόπος λειτουργίας τους και οι αλγόριθμοι εκπαίδευσης που χρησιμοποιούν, όπως ο Κανόνας Δέλτα και ο Back Propagation Αλγόριθμος. Πραγματοποιείται αναλυτική περιγραφή του κεραιοσυστήματος και της μεθοδολογίας που προτείνεται. Ακολουθούν τα αποτελέσματα προσομοίωσης για στοιχειοκεραίες τριών, πέντε και επτά στοιχείων, με αποστάσεις στοιχείων d=0.25λ, d=0.5λ, d=0.75λ και d=1λ. Τέλος, παρουσιάζονται τα συμπεράσματα που προέκυψαν όσον αφορά την καταλληλότητα της διάταξης της στοιχειοκεραίας καθώς και την αποδοτικότητα και την αξιοπιστία της προτεινόμενης μεθόδου. Λέξεις κλειδιά: Θεωρία κεραιών, ευφυείς κεραίες, κεραιοσύστημα, νευρωνικά δίκτυα, διεύθυνση σήματος, απόσταση μονάδας, Κανόνας Δέλτα, Back Propagation, αποτελέσματα προσομοίωσης. ABSTRACT In this thesis a technique based on the application of Artificial Neural Network (ANN) algorithm is proposed for the localization of a mobile unit inside a wireless telecommunications network. The first step of the method is the suitable signal procession of the signals received from the elements of the tracking antenna array. The processed signals are used in parallel as inputs to two ANNs. The one of them provides the Direction of Arrival (DoA) of the incoming signal while the other one is used for the prediction of the source distance. Besides the parallel feeding of the ANNs information of the first ANN is transferred to the second one. The key for the accurate prediction of the source position is the proposed method of processing the initial signals. A detailed description is presented regarding the Neural Networks used, the mode of operation and the algorithm applied for their training as the Delta rule and the Back Propagation Algorithm. Next a detailed description of the antenna system and the proposed methodology follows and the simulated results for linear antenna array consisted of three, five and seven elements, with elements' inter-distance d=0.25λ, d=0.5λ, d=0.75λ and d=1λ are presented. Finally, the conclusions about the reliability and the effectiveness of the proposed method are commented. Key words: Antenna theory, intelligent antennas, antenna systems, neural networks, signal direction, distance unit, Delta Rule, Back Propagation, simulation results. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 4

5 ΠΡΟΛΟΓΟΣ Το αντικείμενο της παρούσας εργασίας είναι η ανάπτυξη μεθοδολογίας για τον εντοπισμό θέσης κινητής μονάδας σε ασύρματο δίκτυο επικοινωνιών με μεθοδολογία Νευρωνικών Δικτύων. Το σύστημα που προτείνεται αποτελείται από δύο τμήματα, ένα για τον προσδιορισμό της Διεύθυνσης Άφιξης του Σήματος (Direction of Arrival, DoA) και ένα παράλληλο τμήμα για τον προσδιορισμό της απόστασης της πηγής του σήματος (Distance). Το νευρωνικό δίκτυο που χρησιμοποιήθηκε ήταν ένα δίκτυο πολλαπλών επιπέδων (Multiple Layer Neural Network, MLP NN) με ένα στρώμα νευρώνων εισόδου, ένα κρυμμένο στρώμα νευρώνων και τρίτο στρώμα νευρώνων εξόδου. Πραγματοποιήθηκε μελέτη με γραμμικές στοιχειοκεραίες με 3, 5 και 7 στοιχεία, με αποστάσεις μεταξύ των στοιχείων 0.25λ, 0.5λ, 0.75λ και 1λ. Η σύνθεση και εφαρμογή του νευρωνικού δικτύου έγινε με τη χρήση λογισμικού MATLAB. Για τον έλεγχο της απόδοσης του συστήματος χρησιμοποιήθηκαν 1000 τυχαία δείγματα για την κάθε περίπτωση. Η εργασία περιλαμβάνει τα παρακάτω πέντε κεφάλαια: 1 ο Κεφάλαιο: Στο κεφάλαιο αυτό παρουσιάζονται βασικές έννοιες σχετικές με την στοιχειοκεραία όπως η ισοτροπική πηγή ακτινοβολίας, ο παράγοντας διάταξης μια κεραίας, η γραμμική στοιχειοκεραία και οι ευφυείς κεραίες, τα είδη ευφυών κεραιών και τα πλεονεκτήματα τους. 2 ο Κεφάλαιο: Παρουσιάζονται αναλυτικά έννοιες σχετικές με τα Νευρωνικά δίκτυα, όπως το τι είναι ο νευρώνας και τι το Τεχνητό Νευρωνικό Δίκτυο (ΤΝΔ) καθώς και η μετάδοση των σημάτων σε αυτό. Δίνεται ένας συγκεντρωτικός πίνακας με την ταξινόμηση των ΤΝΔ και εξηγείται λεπτομερώς ο τρόπος εκπαίδευσης τους, αναλύοντας τον Κανόνα Δέλτα για ένα απλό perceptron και τον αλγόριθμο εκπαίδευσης Back Propagation για τα MLP ΤΝΔ. 3 ο Κεφάλαιο: Γίνεται αναφορά σε μεθοδολογίες για τη DoA και δίνεται αναλυτική περιγραφή της μεθοδολογίας εύρεσης της DoA του σήματος με χρήση Νευρωνικών δικτύων. Ακολουθεί ανάλυση της μεθοδολογίας για την εύρεση της απόστασης πηγής του σήματος με την χρήση Νευρωνικών δικτύων. 4 ο Κεφάλαιο: Στο κεφάλαιο αυτό παρουσιάζονται τα αποτελέσματα για την εφαρμογή της μεθοδολογίας εύρεσης της DoA με χρήση νευρωνικού δικτύου και γραμμικής στοιχειοκεραίας πέντε στοιχείων για αποστάσεις στοιχείων 0.25λ, 0.5λ, 0.75λ και 1λ. Παρουσιάζονται επίσης και τα αποτελέσματα για την μεθοδολογία εντοπισμού της θέσης της πηγής του σήματος με χρήση νευρωνικού δικτύου και γραμμικής στοιχειοκεραίας τριών, πέντε και επτά στοιχείων για αποστάσεις στοιχείων 0.25λ, 0.5λ, 0.75λ και 1λ σε κάθε περίπτωση. Σε όλα τα αποτελέσματα δίνονται αναλυτικά διαγράμματα και εικόνες αρχιτεκτονικής του αντίστοιχου νευρωνικού δικτύου που χρησιμοποιήθηκε για την κάθε περίπτωση. Τέλος, παρουσιάζονται τα συμπεράσματα και μια πρόταση για μελλοντική εργασία. Η εργασία αυτή πραγματοποιήθηκε στα πλαίσια του Προγράμματος μεταπτυχιακών Σπουδών Ηλεκτρονικής Φυσικής (Ραδιοηλεκτρολογίας), του Τμήματος Φυσικής του Αριστοτέλειου Πανεπιστημίου Θεσσαλονίκης, υπό την επίβλεψη της καθηγήτριας, κα Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 5

6 Αικατερίνης Σιακαβάρα, την οποία ευχαριστώ θερμά για την καθοδήγηση και την βοήθεια που μου προσέφερε. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 6

7 ΠΙΝΑΚΑΣ ΠΕΡΙΕΧΟΜΕΝΩΝ ΠΕΡΙΛΗΨΗ... 4 ΠΡΟΛΟΓΟΣ... 5 Ι. ΠΙΝΑΚΑΣ ΕΙΚΟΝΩΝ... 9 ΙΙ. ΠΙΝΑΚΑΣ ΣΥΝΤΟΜΟΓΡΑΦΙΩΝ ΣΤΟΙΧΕΙΟΚΕΡΑΙΕΣ ΕΙΣΑΓΩΓΗ ΙΣΟΤΡΟΠΙΚΗ ΠΗΓΗ ΑΚΤΙΝΟΒΟΛΙΑΣ ΠΑΡΑΓΟΝΤΑΣ ΔΙΑΤΑΞΗΣ ΓΡΑΜΜΙΚΗ ΣΤΟΙΧΕΙΟΚΕΡΑΙΑ ΕΥΦΥΕΙΣ ΚΕΡΑΙΕΣ ΠΛΕΟΝΕΚΤΗΜΑΤΑ ΕΙΔΗ ΕΥΦΥΩΝ ΚΕΡΑΙΩΝ ΚΕΡΑΙΕΣ ΜΕΤΑΓΩΓΗΣ ΔΕΣΜΗΣ (Switched Beam Antennas) ΠΡΟΣΑΡΜΟΣΙΜΕΣ ΣΤΟΙΧΕΙΟΚΕΡΑΙΕΣ (Adaptive Antenna Arrays) ΚΕΡΑΙΕΣ ΔΥΝΑΜΙΚΗΣ ΜΕΤΑΒΟΛΗΣ ΦΑΣΗΣ (Dynamically Phased Arrays) ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ ΕΙΣΑΓΩΓΗ ΝΕΥΡΩΝΑΣ ΤΕΧΝΗΤΟ ΝΕΥΡΩΝΙΚΟ ΔΙΚΤΥΟ ΜΕΤΑΔΟΣΗ ΣΗΜΑΤΩΝ ΣΕ ΕΝΑ ΝΕΥΡΩΝΙΚΟ ΔΙΚΤΥΟ ΕΚΠΑΙΔΕΥΣΗ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ ΤΑΞΙΝΟΜΗΣΗ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ ΤΟ ΔΙΚΤΥΟ PERCEPTRON ΚΑΝΟΝΑΣ ΔΕΛΤΑ ΕΚΠΑΙΔΕΥΣΗ PERCEPTRON ΜΟΝΤΕΛΟ PERCEPTRON ΠΟΛΛΩΝ ΣΤΡΩΜΑΤΩΝ (MLP) ΑΛΓΟΡΙΘΜΟΣ ΕΚΠΑΙΔΕΥΣΗΣ BACK PROPAGATION ΠΡΟΣΔΙΟΡΙΣΜΟΣ ΘΕΣΗΣ ΚΙΝΗΤΗΣ ΜΟΝΑΔΑΣ ΣΕ ΑΣΥΡΜΑΤΟ ΔΙΚΤΥΟ ΕΠΙΚΟΙΝΩΝΙΩΝ ΕΙΣΑΓΩΓΗ ΜΕΘΟΔΟΙ DoA ΜΕΘΟΔΟΣ ΦΑΣΜΑΤΙΚΗΣ ΕΚΤΙΜΗΣΗΣ ΜΕΘΟΔΟΣ ΓΡΑΜΜΙΚΗΣ ΠΡΟΒΛΕΨΗΣ MVDR ΕΚΤΙΜΗΤΗΣ (Minimum Variance Distortionless Response) Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 7

8 3.2.4 ΜΕΘΟΔΟΙ ΙΔΙΟΤΙΜΩΝ (Eigenstructure) ΑΛΓΟΡΙΘΜΟΣ MUSIC ΜΕΘΟΔΟΣ CLOSEST ΜΕΘΟΔΟΣ ESPRIT ΜΕΘΟΔΟΣ MATRIX PENCIL ΜΕΘΟΔΟΣ ΠΡΟΣΔΙΟΡΙΣΜΟΥ ΘΕΣΗΣ ΜΕ ΧΡΗΣΗ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ ΠΡΟΣΔΙΟΡΙΣΜΟΣ DoA ΠΡΟΣΔΙΟΡΙΣΜΟΣ ΑΠΟΣΤΑΣΗΣ ΠΗΓΗΣ ΑΠΟΤΕΛΕΣΜΑΤΑ - ΣΥΜΠΕΡΑΣΜΑΤΑ ΑΠΟΤΕΛΕΣΜΑΤΑ ΓΙΑ DοA ΑΠΟΤΕΛΕΣΜΑΤΑ ΓΙΑ ΤΗΝ ΕΥΡΕΣΗ ΤΗΣ ΑΠΟΣΤΑΣΗΣ ΤΗΣ ΠΗΓΗΣ ΣΥΜΠΕΡΑΣΜΑΤΑ ΜΕΛΛΟΝΤΙΚΗ ΕΡΓΑΣΙΑ ΒΙΒΛΙΟΓΡΑΦΙΑ-ΠΗΓΕΣ Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 8

9 Ι. ΠΙΝΑΚΑΣ ΕΙΚΟΝΩΝ Εικόνα 1.1 Σύστημα μεταγωγής δέσμης Εικόνα 1.2 Σύστημα μεταγωγής δέσμης και σύστημα προσαρμόσιμης στοιχειοκεραίας Εικόνα 2.1 Βιολογικός νευρώνας Εικόνα 2.2 Νευρώνας με n εισόδους και τα αντίστοιχα βάρη και μια έξοδο Εικόνα 2.3 Τεχνητό Νευρωνικό Δίκτυο (ΤΝΔ) Εικόνα 2.4 Ταξινόμηση των τεχνητών Νευρωνικών Δικτύων Εικόνα 2.5 Απλοποιημένο μοντέλο Τεχνητού Νευρώνα Εικόνα 2.6 Βηματική Συνάρτηση Εικόνα 2.7 Γραμμική συνάρτηση ενεργοποίησης ανά τμήματα Εικόνα 2.8 Σιγμοειδής Συνάρτηση ενεργοποίησης Εικόνα 2.9 Αλγόριθμος εκπαίδευσης Κανόνα Δέλτα Εικόνα 2.10 Γενική τοπολογία MLP Εικόνα 2.11 Βηματική και Σιγμοειδής συνάρτηση Εικόνα 2.12 Δομή MLP Δικτύου Εικόνα 2.13 Στάδιο εμπρόσθιας διάδοσης (Forward Propagation) Εικόνα 2.14 Στάδιο διάδοσης προς τα πίσω (Backward Propagation) Εικόνα 2.15 Στάδιο Προσαρμογής βαρών (Weight Adaption) Εικόνα 3.1 Διάταξη στοιχειοκεραίας Εικόνα 3.2 Διάταξη της μεθοδολογίας εύρεσης του DoA και της απόστασης της μονάδας.. 52 Εικόνα 4.1 Αρχιτεκτονική του Νευρωνικού δικτύου εκπαίδευσης στοιχειοκεραίας 5 στοιχειών, για DoA Εικόνα 4.2 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 5 στοιχείων και d=0,25λ Εικόνα 4.3 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 5 στοιχείων και d=0,25λ Εικόνα 4.4 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 5 στοιχείων και d=0,5λ Εικόνα 4.5 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 5 στοιχείων και d=0,5λ Εικόνα 4.6 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 5 στοιχείων και d=0,75λ Εικόνα 4.7 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 5 στοιχείων και d=0,75λ Εικόνα 4.8 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 5 στοιχείων και d=1λ Εικόνα 4.9 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 5 στοιχείων και d=1λ Εικόνα 4.10 MAE συναρτήσει απόστασης στοιχείων (d=0.25λ, 0.5λ, 0.75λ, 1λ) για DoA. Στατιστικά αποτελέσματα σε 1000 δείγματα Εικόνα 4.11 RMSE συναρτήσει απόστασης στοιχείων (d=0.25λ, 0.5λ, 0.75λ, 1λ) για DoA. Στατιστικά αποτελέσματα σε 1000 δείγματα Εικόνα 4.12 MAPE συναρτήσει απόστασης στοιχείων (d=0.25λ, 0.5λ, 0.75λ, 1λ) για DoA. Στατιστικά αποτελέσματα σε 1000 δείγματα Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 9

10 Εικόνα 4.13 Αρχιτεκτονική του Νευρωνικού δικτύου για στοιχειοκεραία 3 στοιχειών Εικόνα 4.14 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 3 στοιχείων και d=0,25λ Εικόνα 4.15 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 3 στοιχείων και d=0,25λ Εικόνα 4.16 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 3 στοιχείων και d=0,5λ Εικόνα 4.17 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 3 στοιχείων και d=0,5λ Εικόνα 4.18 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 3 στοιχείων και d=0,75λ Εικόνα 4.19 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 3 στοιχείων και d=0,75λ Εικόνα 4.20 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 3 στοιχείων και d=1λ Εικόνα 4.21 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 3 στοιχείων και d=1λ Εικόνα 4.22 Αρχιτεκτονική του Νευρωνικού δικτύου για στοιχειοκεραία 5 στοιχειών Εικόνα 4.23 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 5 στοιχείων και d=0,25λ Εικόνα 4.24 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 5 στοιχείων και d=0,25λ Εικόνα 4.25 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 5 στοιχείων και d=0,5λ Εικόνα 4.26 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 5 στοιχείων και d=0,5λ Εικόνα 4.27 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 5 στοιχείων και d=0,75λ Εικόνα 4.28 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 5 στοιχείων και d=0,75λ Εικόνα 4.29 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 5 στοιχείων και d=1λ Εικόνα 4.30 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 5 στοιχείων και d=0,1λ Εικόνα 4.31 Αρχιτεκτονική του Νευρωνικού δικτύου για στοιχειοκεραία 7 στοιχειών Εικόνα 4.32 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 7 στοιχείων και d=0,25λ Εικόνα 4.33 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 7 στοιχείων και d=0,25λ Εικόνα 4.34 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 7 στοιχείων και d=0,5λ Εικόνα 4.35Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 7 στοιχείων και d=0,5λ Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 10

11 Εικόνα 4.36 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 7 στοιχείων και d=0,75λ Εικόνα 4.37 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 7 στοιχείων και d=0,75λ Εικόνα 4.38 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 7 στοιχείων και d=1λ Εικόνα 4.39 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 7 στοιχείων και d=1λ Εικόνα 4.40 Διάγραμμα MAE συναρτήσει της απόστασης των στοιχείων για στοιχειοκεραία για n=3,5, Εικόνα 4.41 Διάγραμμα RMSE συναρτήσει της απόστασης των στοιχείων για στοιχειοκεραία για n=3,5, Εικόνα 4.42 Διάγραμμα MAPE συναρτήσει της απόστασης των στοιχείων για στοιχειοκεραία n=3,5, Εικόνα 4.43 Σύστημα εύρεσης Θέσης μονάδας με χρήση ενός μόνο ΝΝ ΙΙ. ΠΙΝΑΚΑΣ ΣΥΝΤΟΜΟΓΡΑΦΙΩΝ ANN Artificial Neural Network AoA Angle of Arrival BER Bit Error Rate BP Back Propagation Algorithm CRLB Cramer-Rao Lower Boundary DoA Direction of Arrival ESPRIT Estimation of Signal Parameters via Rotational Invariance Techniques LM Levenberg-Marguardt Back Propagation MAE Mean Absolute Error MAPE Mean Absolute Percent Error MLP Multi-Layer Perceptron MSE Mean Square Error MUSIC Multiple Signal Classification MVDR Minimum Variance Distortionless Response NN Νευρωνικό Δίκτυο RMSE Root Mean Squared Error SIR Signal to Interference Ratio SNR Signal Noise Ratio WLL Wireless Local Loop ΤΝΔ Τεχνητό Νευρωνικό Δίκτυο Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 11

12 1. ΣΤΟΙΧΕΙΟΚΕΡΑΙΕΣ [1],[2],[4],[5] 1.1 ΕΙΣΑΓΩΓΗ Η χρήση στοιχειοκεραιών είναι αποτελεσματική λύση για εφαρμογές που απαιτείται υψηλή κατευθυντικότητα και δυνατότητα διαμόρφωσης του διαγράμματος εκπομπής του ακτινοβολούντος συστήματος, ώστε να έχει χαρακτηριστικά που προδιαγράφει η σχετική εφαρμογή (άνοιγμα μισής ισχύος, θέση μεγίστων, θέσεις μηδενισμών, στάθμη δευτερευόντων λοβών κλπ.). Στα σύγχρονα δίκτυα ασύρματων επικοινωνιών, έχει προστεθεί μια επιπλέον λειτουργία την οποία δυνητικά θα μπορούσε να εξυπηρετήσει μια στοιχειοκεραία: η δυνατότητα προσδιορισμού της διεύθυνσης άφιξης των προσπιπτόντων σημάτων (Direction of Arrival, DoA) και αν είναι εφικτό ο προσδιορισμός της θέσης της πηγής που εκπέμπει το σήμα (DoA and Distance). Στις εφαρμογές αυτές ο ρόλος της στοιχειοκεραίας είναι καθοριστικός. Στις παραγράφους που ακολουθούν πραγματοποιείται μια σύντομη αναφορά στις αρχές λειτουργίας μιας στοιχειοκεραίας και της εφαρμογής της σε συστήματα ευφυών κεραιών. 1.2 ΙΣΟΤΡΟΠΙΚΗ ΠΗΓΗ ΑΚΤΙΝΟΒΟΛΙΑΣ Η ισοτροπική πηγή ακτινοβολίας είναι μία ιδανική πηγή με μηδενικές διαστάσεις η οποία εκπέμπει την ίδια ένταση ακτινοβολίας προς όλες τις κατευθύνσεις. Το διάγραμμα ακτινοβολίας σε αυτή την περίπτωση είναι σφαιρικό με κέντρο την ίδια την πηγή. Η ισοτροπική πηγή αποτελεί σημείο αναφοράς για την μέτρηση της κατευθυντικότητας των κεραιών, αφού αυτή συνήθως εκφράζεται σε (decibel με αναφορά στην ισοτροπική πηγή). Το διάγραμμα ακτινοβολίας μιας ισοτροπικής πηγής η οποία βρίσκεται στην αρχή του συστήματος συντεταγμένων περιγράφεται από την εξίσωση: E (r, θ, φ) = e jkr 4πr u (θ, φ) (1.1) όπου r είναι η απόσταση από την πηγή και k=2π/λ ο κυματάριθμος. Το πλάτος της ακτινοβολίας είναι ανεξάρτητο από τις γωνίες φ και θ, οι οποίες συνεισφέρουν μόνο στον προσδιορισμό της κατεύθυνσης μέσω του διανύσματος u το οποίο είναι συνάρτηση αυτών. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 12

13 1.3 ΠΑΡΑΓΟΝΤΑΣ ΔΙΑΤΑΞΗΣ Σημαντική παράμετρο στην ακτινοβολία της στοιχειοκεραίας αποτελεί ο παράγοντας διάταξης, ο οποίος περιγράφει το διάγραμμα ακτινοβολίας, αν στην θέση των στοιχείων τοποθετήσουμε ισοτροπικές πηγές. Αυτό που επιτυγχάνουμε με τον παράγοντα διάταξης είναι να περιγράψουμε το διάγραμμα ακτινοβολίας εξαρτώμενο μόνο από την γεωμετρική διάταξη της κεραίας, το πλάτος και την φάση διέγερσης του εκάστοτε στοιχείου. Συνεπώς, μπορεί να ελέγξει κανείς τα χαρακτηριστικά του παράγοντα διάταξης, άρα και του συνολικού πεδίου, μεταβάλλοντας απλά την απόσταση και τη φάση ανάμεσα στα στοιχεία που αποτελούν τη στοιχειοκεραία. Αντικαθιστώντας τις ισοτροπικές πηγές με πραγματικά στοιχεία το διάγραμμα ακτινοβολίας της στοιχειοκεραίας προκύπτει από τον πολλαπλασιασμό του παράγοντα διάταξης με την συνάρτηση η οποία περιγράφει την ακτινοβολία του στοιχείου: Ε στοιχειοκεραίας = AF Ε στοιχείου (1.2) Εφόσον έχει υπολογιστεί ο παράγοντας διάταξης, μπορεί εύκολα να προσδιοριστεί η εκπεμπόμενη ακτινοβολία αντικαθιστώντας στην παραπάνω εξίσωση την συνάρτηση ακτινοβολίας του στοιχείου που επιλέχθηκε. Η παραπάνω εξίσωση ισχύει μόνο αν η στοιχειοκεραία αποτελείται από όμοια στοιχεία. Σε αντίθετη περίπτωση, το διάγραμμα ακτινοβολίας υπολογίζεται από το άθροισμα των ακτινοβολιών των επιμέρους στοιχείων. 1.4 ΓΡΑΜΜΙΚΗ ΣΤΟΙΧΕΙΟΚΕΡΑΙΑ Το πιο απλό παράδειγμα στοιχειοκεραίας αποτελεί η γραμμική στοιχειοκεραία, η οποία όπως προαναφέρθηκε αποτελείται από στοιχεία τα οποία είναι τοποθετημένα πάνω σε ευθεία γραμμή και αν η απόσταση μεταξύ των στοιχείων είναι ίδια τότε η στοιχειοκεραία ονομάζεται γραμμική ομοιόμορφη στοιχειοκεραία, ενώ σε αντίθετη περίπτωση ονομάζεται γραμμική ανομοιόμορφη στοιχειοκεραία. Ο παράγοντας διάταξης μίας γραμμικής ομοιόμορφης στοιχειοκεραίας της οποίας τα στοιχεία βρίσκονται κατά μήκος του άξονα, περιγράφεται από την εξίσωση: Ν AF linear (θ, φ) = I n e j(δ n+k d n sin θ) n=1 (1.3) Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 13

14 Όπου I n : το πλάτος ρεύματος του n-στοιχείου δ n : η φάση ρεύματος του n-στοιχείου, k=2π/λ ο κυματάριθμος, d: η σχετική απόσταση μεταξύ των στοιχείων και θ: η μεταβλητή σε σφαιρικές συντεταγμένες. Στην παρούσα εργασία χρησιμοποιείται γραμμική ομοιόμορφη στοιχειοκεραία 3, 5 και 7 στοιχείων. 1.5 ΕΥΦΥΕΙΣ ΚΕΡΑΙΕΣ Ο όρος ευφυής κεραία γενικά αναφέρεται σε οποιαδήποτε διάταξη στοιχειοκεραιών που επεξεργάζεται σήμα ακτινοβολίας και έχει τη δυνατότητα να ρυθμίζει ή να προσαρμόζει το διάγραμμα ακτινοβολίας με τέτοιο τρόπο ώστε να ενισχύει την εκπομπή και λήψη προς την διεύθυνση του επιθυμητού σήματος, ελαχιστοποιώντας ταυτόχρονα τα σήματα παρεμβολών. Υπάρχει και μια άλλη τεχνική προσαρμογής του διαγράμματος ακτινοβολίας, η οποία χρησιμοποιεί σαν πηγή παρεμβολής ένα πιλοτικό σήμα. Η αρχή λειτουργίας της τεχνικής αυτής στηρίζεται στον προσανατολισμό των μεγίστων του διαγράμματος ακτινοβολίας στις επιθυμητές πηγές και των μηδενικών του διαγράμματος ακτινοβολίας στις πηγές παρεμβολών. Ο προσανατολισμός αυτός επιτυγχάνεται με μετατόπιση φάσης, η οποία γίνεται απευθείας σε κάθε στοιχείο της κεραίας. Βασικός στόχος της τεχνολογίας των ευφυών κεραιών είναι η αύξηση του εύρους κάλυψης και της χωρητικότητας των δικτύων. Σε πυκνοκατοικημένες περιοχές, η κύρια πηγή θορύβου είναι οι παρεμβολές από άλλους χρήστες. Η χρήση των προσαρμoζόμενων στοιχειοκεραιών δίνει τη δυνατότητα αύξησης του επιπέδου λήψης του επιθυμητού σήματος με την ταυτόχρονη μείωση του επιπέδου παρεμβολής, βελτιώνοντας έτσι το λόγο σήματος προς παρεμβολή (Signal to Interference Ratio, SIR). Στα σύγχρονα συστήματα ευφυών κεραιών, εκτός από τις τεχνικές που αναφέρθηκαν προηγουμένως, το σήμα υφίσταται και ψηφιακή επεξεργασία σε συχνότητα βασικής ζώνης. Η ψηφιακή επεξεργασία του σήματος έδωσε τη δυνατότητα ανάπτυξης και υλοποίησης νέων τεχνικών προσαρμογής δέσμης. Αξίζει να σημειωθεί, ότι δεν είναι τα στοιχεία από τα αποτελείται η κεραία αυτά που την κάνουν ευφυή, αλλά ο συνδυασμός των στοιχείων που απαρτίζουν τη Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 14

15 στοιχειοκεραία καθώς και η χρήση του κατάλληλου λογισμικού επεξεργασίας του σήματος. 1.6 ΠΛΕΟΝΕΚΤΗΜΑΤΑ Οι ευφυής κεραίες χρησιμοποιήθηκαν σε στρατιωτικές εφαρμογές, όπως τα ραντάρ, αλλά και σε δορυφορικά συστήματα για επαναχρησιμοποίηση συχνοτικών καναλιών σε διαφορετικές γεωγραφικές θέσεις. Τα τελευταία χρόνια χρησιμοποιήθηκαν επίσης σε σταθμούς βάσης συστημάτων ασύρματης επικοινωνίας σαν ασύρματοι τοπικοί βρόχοι (Wireless Local Loop, WLL), αλλά και σε συστήματα κινητής τηλεφωνίας με στόχο τη βελτίωση κάλυψης, της χωρητικότητας και της φασματικής απόδοσης, καθώς η χρήση τους επιτρέπει την οικονομική υλοποίηση συστημάτων με σχετικά μεγάλο μέγεθος κυψελίδας. Μέσω των ευφυών κεραιών θα μπορούσαμε να πούμε ότι έχουμε τις εξής βελτιώσεις: Αύξηση της περιοχής κάλυψης Καλύτερη ποιότητα επικοινωνίας, μείωση του BER (Bit Error Rate, BER) και της πιθανότητας απώλειας επικοινωνίας (outage probability) Αύξηση της χωρητικότητας του συστήματος, περισσότεροι χρήστες Μεγαλύτεροι ρυθμοί μετάδοσης των δεδομένων, 1.7 ΕΙΔΗ ΕΥΦΥΩΝ ΚΕΡΑΙΩΝ Ανάλογα με τον τρόπο εκπομπής, τα συστήματα ευφυών κεραιών μπορούν να κατηγοριοποιηθούν σε τρία είδη: ΚΕΡΑΙΕΣ ΜΕΤΑΓΩΓΗΣ ΔΕΣΜΗΣ (Switched Beam Antennas) Οι κεραίες μεταγωγής δέσμης είναι κατευθυντικές κεραίες που υλοποιούνται στο σταθμό βάσης της κάθε κυψέλης, 4 ή 8 κεραίες ανά τομέα 120 με εύρος δέσμης από 30 έως 15 αντίστοιχα. Η αρχή λειτουργίας τους είναι απλή, καθώς διαθέτουν μια βασική λειτουργία μεταγωγής ανάμεσα σε ξεχωριστές κατευθυντικές κεραίες ή καθορισμένους λοβούς μιας στοιχειοκεραίας. Η επιλογή της δέσμης γίνεται με βάση την λαμβανόμενη ισχύ και με απώτερο στόχο την καλύτερη απόδοση του συστήματος. Η διαδικασία επιλογής γίνεται με περιοδική δειγματοληψία στην έξοδο του κάθε στοιχείου, ώστε τελικά να επιλεγεί εκείνο που εξασφαλίζει την καλύτερη και αποδοτικότερη λήψη. Σε σύγκριση με μια συμβατική Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 15

16 κεραία, οι κεραίες μεταγωγής λοβού εξασφαλίζουν υψηλή κατευθυντικότητα και συνεπώς επιτυγχάνουν μεγαλύτερο κέρδος. Σε σύγκριση με μια προηγμένη κεραία προσαρμοζόμενου διαγράμματος ακτινοβολίας πλεονεκτούν στο γεγονός ότι υπάρχει δυνατότητα υλοποίησης σε ήδη υπάρχουσες κυψελοειδείς δομές, παρέχουν όμως περιορισμένες δυνατότητες. Στην περίπτωση των κεραιών μεταγωγής δέσμης που αναφέρθηκαν προηγουμένως, οι λοβοί είναι προκαθορισμένοι και σταθεροί. Για να γίνει αυτό καλύτερα κατανοητό, έστω ότι ένας χρήστης βρίσκεται στο εύρος ενός λοβού μια δεδομένη χρονική στιγμή. Αν ο χρήστης αρχίσει να κινείται, το λαμβανόμενο σήμα θα αρχίσει να εξασθενεί καθώς αυτός απομακρύνεται από την περιοχή μετωπικής εκπομπής του λοβού οπότε το κεραιοσύστημα ενεργοποιεί στιγμιαία και διαδοχικά τους δύο παρακείμενους λοβούς επιλέγοντας τελικά αυτόν από τον οποίο λαμβάνει ισχυρότερα το σήμα του χρήστη. Εικόνα 1.1 Σύστημα μεταγωγής δέσμης ΠΡΟΣΑΡΜΟΣΙΜΕΣ ΣΤΟΙΧΕΙΟΚΕΡΑΙΕΣ (Adaptive Antenna Arrays) Οι προσαρμόσιμες στοιχειοκεραίες αποτελούνται από έναν αριθμό στοιχείων που έχουν τη δυνατότητα να προσαρμόζουν το διάγραμμα ακτινοβολίας τους σύμφωνα με αλλαγές που συμβαίνουν στο περιβάλλον τους. Με άλλα λόγια, αλλάζουν το διάγραμμα ακτινοβολίας τους με δυναμικό τρόπο ώστε να Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 16

17 προσαρμοστούν σε εναλλαγές του θορύβου του καναλιού και των παρεμβολών, με απώτερο στόχο τη βελτίωση του λόγου σήματος προς θόρυβο (SNR, Signal to Noise Ratio) του επιθυμητού σήματος. Η χρήση εξελιγμένων αλγόριθμων επεξεργασίας του σήματος επιτρέπει στην κεραία να ξεχωρίζει τα επιθυμητά σήματα από τα σήματα παρεμβολών και πολλαπλών διαδρομών καθώς και να εκτιμά τη διεύθυνση άφιξής τους (Direction Of Arrival, DoA). Έτσι το διάγραμμα ακτινοβολίας ανανεώνεται διαρκώς σύμφωνα με τις θέσεις του επιθυμητού σήματος και των σημάτων παρεμβολών, με τρόπο τέτοιο ώστε οι κεντρικοί λοβοί του διαγράμματος ακτινοβολίας να ανιχνεύουν τους χρήστες και οι μηδενισμοί του τις πηγές παρεμβολών. Η αρχή λειτουργίας ενός τέτοιου συστήματος είναι παρόμοια με τη λειτουργία της ανθρώπινης ακοής. Εικόνα 1.2 Σύστημα μεταγωγής δέσμης και σύστημα προσαρμόσιμης στοιχειοκεραίας ΚΕΡΑΙΕΣ ΔΥΝΑΜΙΚΗΣ ΜΕΤΑΒΟΛΗΣ ΦΑΣΗΣ (Dynamically Phased Arrays) Οι κεραίες δυναμικής μεταβολής φάσης κάνοντας χρήση αλγόριθμων εκτίμησης άφιξης του σήματος, έχουν τη δυνατότητα να ανιχνεύουν και να ακολουθούν το σήμα του χρήστη καθώς αυτός κινείται. Οι κεραίες με δυναμική στροφή φάσης είναι μια γενίκευση της λογικής της μεταγωγής δέσμης που έχει ως αποτέλεσμα την αύξηση της λαμβανόμενης ισχύος. Στην περίπτωση που πολλά στοιχεία εκπέμπουν ταυτόχρονα, είναι δυνατό να δημιουργηθούν επιπλέον συνιστώσες λόγω των πολλαπλών διαδρομών των σημάτων. Το γεγονός αυτό αποδεικνύει το πόσο σημαντικό είναι το σύστημα του δέκτη να έχει τη δυνατότητα υπολογισμού των γωνιών άφιξης, ώστε να μπορεί να Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 17

18 αντιλαμβάνεται την παρουσία των εκπομπών καθώς και να υπολογίζει τις θέσεις τους. Η μεθοδολογία αυτή υπολογισμού της γωνίας άφιξης του σήματος είναι γνωστή σαν AoA (Angle of Arrival) ή DoA (Direction of Arrival Estimation). Η δημιουργία τέτοιων αλγόριθμων εκτίμησης άφιξης του σήματος μπορεί να υλοποιηθεί με την χρήση Νευρωνικών Δικτύων (Neural Networks, NN). Παρακάτω δίνεται αναλυτική περιγραφή των δικτύων αυτών και του τρόπου λειτουργίας τους. 2. ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ [3], [6], [7],[8],[10] 2.1 ΕΙΣΑΓΩΓΗ Η έμπνευση για τα νευρωνικά δίκτυα ξεκινά από την βιολογία. Οι ζώντες οργανισμοί, από τους πιο απλούς μέχρι τον άνθρωπο, έχουν ένα νευρικό σύστημα το οποίο είναι υπεύθυνο για πολλές διεργασίες, όπως είναι η επαφή με τον εξωτερικό κόσμο, η μάθηση, η μνήμη κτλ. Το νευρικό σύστημα των οργανισμών αποτελείται από πολλά νευρωνικά δίκτυα τα οποία είναι εξειδικευμένα στις διεργασίες αυτές. Η κεντρική μονάδα του νευρικού συστήματος είναι, οπωσδήποτε, ο εγκέφαλος, ο οποίος επίσης αποτελείται από νευρωνικά δίκτυα. Κάθε νευρωνικό δίκτυο αποτελείται από ένα μεγάλο αριθμό μονάδων, που λέγονται νευρώνες ή νευρώνια (neurons). Ο νευρώνας είναι η πιο μικρή ανεξάρτητη μονάδα του δικτύου που επεξεργάζεται συνεχώς και ασταμάτητα πληροφορίες, παίρνοντας και στέλνοντας ηλεκτρικά σήματα σε άλλους νευρώνες. Οι διεργασίες που επιτελούνται από τα βιολογικά νευρωνικά δίκτυα στους ζώντες οργανισμούς είναι πολύ περίπλοκες αλλά και τόσο χρήσιμες στην καθημερινή ζωή του ανθρώπου. Πολλά από τα πιο απλά πράγματα, όπως η αναγνώριση φωνής ή εικόνας που το μυαλό κάνει πολύ εύκολα, οι υπολογιστές, αν και ταχύτεροι, δεν μπορούν εύκολα να τα κάνουν με επιτυχία. Ο λόγος είναι ότι η δομή των υπολογιστών είναι πάρα πολύ διαφορετική από την δομή του εγκεφάλου. Στοχεύοντας στην σχεδίαση ενός υπολογιστή με παρόμοια εσωτερική δομή με αυτή του εγκεφάλου έγιναν κάποιες πρώτες σκέψεις για την δημιουργία κάποιων μοντέλων του ανθρώπινου νευρωνικού συστήματος, τα οποία θα περιέχουν όλα τα χαρακτηριστικά που είναι γνωστά μέχρι σήμερα και τα οποία θα μπορούν από μόνα τους να επιτελέσουν τις εργασίες αυτές, με τον ίδιο τρόπο που γίνονται στα βιολογικά νευρωνικά δίκτυα. Τα δίκτυα αυτά ονομάζονται Τεχνητά Νευρωνικά Δίκτυα (Artificial Neural Networks, ΑΝΝ). Η βασική τους διαφορά από τα βιολογικά δίκτυα είναι ότι τα δίκτυα αυτά παίρνουν γνώσεις με την εξάσκηση και Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 18

19 την εμπειρία, όπως ακριβώς και οι άνθρωποι, αλλά διαφέρουν στο ότι ακολουθούν ορισμένους προκαθορισμένους κανόνες, που είναι χαρακτηριστικό των υπολογιστών. 2.2 ΝΕΥΡΩΝΑΣ Ο ανθρώπινος εγκέφαλος αποτελείται από περίπου νευρώνες οι οποίοι λειτουργούν αυτόνομα αλλά και συνεργάζονται μεταξύ τους ανταλλάσσοντας ηλεκτρικά σήματα. Εικόνα 2.1 Βιολογικός νευρώνας. Ένας νευρώνας αποτελείται από τέσσερις κυρίως μέρη, το σώμα, τους δενδρίτες, τον άξονα και τις συνάψεις. Στο κυρίως σώμα είναι που επιτελούνται οι αυτόνομες διεργασίες. Με τον άξονα, μπορεί κάθε νευρώνας να στείλει ηλεκτρικά σήματα σε όλους τους υπόλοιπους με τους οποίους είναι συνδεδεμένος, ενώ μέσω των δενδριτών μπορεί και λαμβάνει τα σήματα από άλλους άξονες. Το σημείο όπου συναντάται ο άξονας και οι δενδρίτες λέγεται σύναψη και είναι ένα κενό, ο άξονας και οι δενδρίτες δεν ακουμπούν και το σήμα μεταφέρεται σε εκείνο το σημείο εξ αποστάσεως, στο οποίο μπορεί και μεταφέρεται το ηλεκτρικό σήμα με χημικές αντιδράσεις. Η ηλεκτρική δραστηριότητα μεταξύ του άξονα και του δενδρίτη καθορίζεται από το συναπτικό βάρος. Πολλοί νευρώνες μαζί συνδεδεμένοι δημιουργούν ένα νευρωνικό δίκτυο. 2.3 ΤΕΧΝΗΤΟ ΝΕΥΡΩΝΙΚΟ ΔΙΚΤΥΟ Στα τεχνητά νευρωνικά δίκτυα η δομή είναι παρόμοια με τα βιολογικά νευρωνικά δίκτυα, ίσως και απλούστερη. Στα περισσότερα νευρωνικά δίκτυα τα δεδομένα που μπορούν να ανταλλάξουν μεταξύ τους οι νευρώνες περιορίζονται σε Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 19

20 ένα συγκεκριμένο εύρος τιμών, συνήθως ανάμεσα σε 0 και 1. Σε κάθε σύνδεση ανάμεσα σε δύο κόμβους, στη θέση της σύναψης που υπάρχει στα βιολογικά νευρωνικά δίκτυα, αναλογεί ένα βάρος, το οποίο πολλαπλασιάζεται με την έξοδο του νευρώνα-αποστολέα και σχηματίζει την είσοδο που θα έχει ο νευρώνας-λήπτης. Πιο αναλυτικά ένα νευρωνικό δίκτυο αποτελείται από ένα αριθμό στοιχείων, τους νευρώνες. Σε κάθε νευρώνα καταφθάνει ένας αριθμός σημάτων, τα οποία έρχονται σαν είσοδοι σε αυτόν. Ο νευρώνας έχει μερικές πιθανές καταστάσεις στις οποίες μπορεί να βρεθεί η εσωτερική δομή του που δέχεται τα σήματα εισόδου και, τέλος, έχει μία μόνον έξοδο, η οποία είναι συνάρτηση των σημάτων εισόδου. Εικόνα 2.2 Νευρώνας με n εισόδους και τα αντίστοιχα βάρη και μια έξοδο Κάθε σήμα που μεταδίδεται από ένα νευρώνα σε ένα άλλο μέσα στον νευρωνικό δίκτυο συνδέεται με την τιμή βάρους, w, η οποία υποδηλώνει πόσο στενά είναι συνδεδεμένοι οι δύο νευρώνες που συνδέονται με το βάρος αυτό. Η τιμή αυτή συνήθως κυμαίνεται σε ένα συγκεκριμένο διάστημα, για παράδειγμα από 1 ως 1. Η σημασία του βάρους είναι όπως ακριβώς είναι και ο χημικός δεσμός ανάμεσα σε δύο άτομα που απαρτίζουν ένα μόριο. Ο δεσμός δείχνει πόσο δυνατά είναι συνδεδεμένα τα δύο άτομα του μορίου. Έτσι και ένα βάρος δείχνει ακριβώς πόσο σημαντική είναι η συνεισφορά του συγκεκριμένου σήματος στην διαμόρφωση της δομής του δικτύου για τους δύο νευρώνες τους οποίους συνδέει. Όταν το w είναι μεγάλο, τότε και η συνεισφορά του σήματος είναι μεγάλη. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 20

21 2.4 ΜΕΤΑΔΟΣΗ ΣΗΜΑΤΩΝ ΣΕ ΕΝΑ ΝΕΥΡΩΝΙΚΟ ΔΙΚΤΥΟ Όλα τα σήματα που φθάνουν σε ένα νευρώνα αθροίζονται, υπόκεινται σε μία διαδικασία, παράγεται ως αποτέλεσμα της διαδικασίας μία έξοδος και αυτό είναι το σήμα το οποίο μεταδίδεται περαιτέρω στους επόμενους νευρώνες. Η θεώρηση αυτή είναι γενική και ισχύει πάντοτε, αυτό όμως που αλλάζει είναι η διαδικασία η οποία δεν είναι πάντα η ίδια. Η μετάδοση μπορεί να γίνει με δύο τρόπους. Ο πρώτος τρόπος είναι δυαδικός. Στην περίπτωση αυτή ένας νευρώνας μπορεί να βρεθεί σε μία από δύο δυνατές καταστάσεις: να είναι ενεργός ή να είναι αδρανής. Όταν ένας νευρώνας δέχεται διάφορα σήματα, τότε υπολογίζει μία ποσότητα x από όλα τα δεδομένα που έχει και συγκρίνει την τιμή της ποσότητας αυτής με μια τιμή κατωφλίου, θ, η οποία είναι σταθερή και ορισμένη από την αρχή για τον νευρώνα αυτόν. Αν η τιμή της ποσότητας είναι μεγαλύτερη από την τιμή κατωφλίου, τότε λέμε ότι ο νευρώνας ενεργοποιείται. Αν όμως είναι μικρότερη, τότε ο νευρώνας παραμένει αδρανής, και στην δεδομένη στιγμή δεν μεταδίδει κανένα σήμα περαιτέρω στο δίκτυο. Επειδή ο νευρώνας σε αυτή την περίπτωση δρα ως δυαδικό στοιχείο, για αυτό η έξοδός του, f(x), θα είναι 1 όταν είναι ενεργοποιημένος και 0 όταν είναι αδρανής. f(x) { 1 αν x > θ 0 αν x < θ Με τον δεύτερο τρόπο δεν υπάρχει χαρακτηριστική τιμή κατωφλίου με την οποία γίνεται η σύγκριση της συνάρτησης. Η μετάδοση του σήματος γίνεται πάλι με την συνάρτηση f(x), η οποία σε αυτή την περίπτωση έχει μία ειδική μορφή. Χρησιμοποιούνται όλες τις τιμές των εισόδων και οι τιμές των βαρών και υπολογίζεται αριθμητικά η f(x). Μια μορφή της συνάρτησης αυτής είναι το εξής: f(x) = 1 (2.1) 1 + e x Η παραπάνω συνάρτηση λέγεται σιγμοειδής συνάρτηση. Η γενική της όμως ονομασία σε όλες τις περιπτώσεις είναι συνάρτηση μεταφοράς (Transfer Function), ή συνάρτηση ενεργοποίησης (Activation Function). Το κοινό χαρακτηριστικό που έχουν οι συναρτήσεις αυτές είναι ότι πρέπει να είναι πάντοτε μη γραμμικές. Ο λόγος που δεν αρκούν οι γραμμικές συναρτήσεις είναι γιατί τότε η έξοδος θα ήταν ευθέως ανάλογη με την είσοδο, κάτι που δεν μπορεί να συμβεί στα νευρωνικά δίκτυα. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 21

22 Εικόνα 2.3 Τεχνητό Νευρωνικό Δίκτυο (ΤΝΔ) Η είσοδος στο νευρωνικό δίκτυο γίνεται μέσω του πρώτου επιπέδου (Input layer), όπου η κάθε είσοδος θα πολλαπλασιαστεί με τα αντίστοιχα βάρη της, αυτά θα περαστούν τροποποιημένα πλέον στο επόμενο επίπεδο. Αυτή η διαδικασία κατά την οποία το κάθε επίπεδο τροποποιεί την είσοδό του και την περνά στο επόμενο επίπεδο συνεχίζεται μέχρι το τελευταίο επίπεδο (Output layer), από το οποίο διαβάζεται και η έξοδος του νευρωνικού δικτύου. Για παράδειγμα, για την δημιουργία ενός νευρωνικού δικτύου που αναγνωρίζει έναν χειρόγραφο χαρακτήρα, ως είσοδο θα δίνονταν τα pixels του χαρακτήρα προς αναγνώριση, στους νευρώνες του πρώτου επιπέδου και ως έξοδο, από το τελευταίο επίπεδο, το οποίο θα αποτελούταν πιθανώς από 24 νευρώνες από τους οποίους, ο σωστός χαρακτήρας θα ήταν ο ανάλογος νευρώνας με έξοδο ΕΚΠΑΙΔΕΥΣΗ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ Η λειτουργία ενός ΤΝΔ είναι μια μικρογραφία του εγκεφάλου. Όπως και ένα άτομο, έτσι και κάθε νευρωνικό δίκτυο πριν εκτελέσει κάποια εργασία, θα πρέπει πρώτα να την διδαχτεί. Αλλάζοντας τα βάρη στις συνδέσεις μεταξύ των νευρώνων, μπορεί κανείς να αναγκάσει το νευρωνικό δίκτυο να υποβάλλει τα δεδομένα στην κατάλληλη επεξεργασία, παίρνοντας έτσι την επιθυμητή έξοδο. Ο αλγόριθμος ο οποίος είναι υπεύθυνος να προσαρμόσει τα βάρη του νευρωνικού δικτύου ονομάζεται κανόνας εκμάθησης (Learning Rule). Συνήθως, για την εκμάθηση ενός νευρωνικού δικτύου, θα πρέπει υπάρχουν δεδομένα εισόδου και η επιθυμητή Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 22

23 έξοδο για το καθένα (Training Set). Έπειτα, θα πρέπει να περαστούν στην είσοδο του νευρωνικού δικτύου και αφότου δοθεί και η έξοδος, ο κανόνας εκμάθησης θα αναλάβει να προσαρμόσει τα βάρη έτσι ώστε η έξοδος που πήρε να ταιριάζει με αυτήν που περίμενε. Αυτό επαναλαμβάνεται με όλα τα δεδομένα μέχρι το δίκτυο να έχει κάποιο ικανοποιητικό ποσοστό σωστών απαντήσεων. Ο πρωταρχικός σκοπός της λειτουργίας ενός τεχνητού νευρωνικού δικτύου είναι να μπορεί να λύνει συγκεκριμένα προβλήματα που του παρουσιάζονται βρίσκοντας την σχέση που υπάρχει ανάμεσα στο αίτιο και το αποτέλεσμα όταν αυτή δεν είναι δυνατόν να προσδιοριστεί και κυρίως να περιγραφεί με μια μαθηματική σχέση. Για να μπορεί όμως να γίνει αυτό, το νευρωνικό δίκτυο προηγουμένως πρέπει να εκπαιδευθεί κατάλληλα. Όπως και τα βιολογικά δίκτυα έτσι και τα τεχνητά νευρωνικά δίκτυα δέχονται ορισμένες εισόδους και αντίστοιχα δίνουν ορισμένες εξόδους (Input Output). Ο όρος είσοδος/έξοδος αναφέρεται στο ότι παρουσιάζονται στο δίκτυο κάποια σήματα τα οποία έχουν αριθμητικές τιμές, για παράδειγμα κάποιος δυαδικός αριθμός αποτελούμενος από 0 και 1. Οι αριθμοί αυτοί που δίνονται στην είσοδο του δικτύου αποτελούν μια ομάδα δεδομένων ή ένα πρότυπο ή αλλιώς ένα διάνυσμα. Για ένα πρόβλημα μπορεί να απαιτούνται πολλά διανύσματα εκπαίδευσης. Σε κάθε διάνυσμα αντιστοιχεί και μία σωστή απάντηση, η οποία είναι το σήμα που πρέπει να εμφανιστεί στην έξοδο ή αλλιώς ο στόχος. Η εκπαίδευση γίνεται εισάγοντας μια ομάδα από τέτοια διανύσματα στο δίκτυο, αντιπροσωπευτικά ή παρόμοια με αυτά που θα πρέπει να εκπαιδευθεί το δίκτυο. Στο δίκτυο δίνονται ως είσοδοι κάποια διανύσματα για τα οποία είναι γνωστό ποιά πρέπει να είναι η έξοδος του δικτύου, δηλαδή ποιός είναι ο στόχος, τι πρέπει να δίνει το δίκτυο ως απάντηση στα διανύσματα που του παρουσιάστηκε. Ουσιαστικά είναι σαν να δίνεται στο δίκτυο μία ερώτηση και ακολούθως να του δίνεται και η απάντηση που αντιστοιχεί. Το δίκτυο χρησιμοποιεί την κατάλληλη συνάρτηση ενεργοποίησης f(x) για να μεταδώσει το σήμα σε όλη τη δομή του, από την είσοδο ως την έξοδο. Κατά την διάρκεια της εκπαίδευσης το μόνο πράγμα που αλλάζει είναι οι τιμές των βαρών των συνδέσεων των νευρώνων. Αυτό δεν γίνεται πάντα με τον ίδιο τρόπο, αλλά εξαρτάται σημαντικά από την μέθοδο που χρησιμοποιείται. Το δίκτυο με τα δεδομένα αυτά τροποποιεί την εσωτερική του δομή, ώστε να μπορεί να κάνει την ίδια αντιστοιχία που του δόθηκαν. Ενώ αρχικά ξεκινάει με τιμές στα βάρη w που είναι τυχαίες, κατά την διάρκεια της εκπαίδευσης μεταβάλλει τις τιμές αυτές, μέχρι να εκπαιδευθεί πλήρως. Ακολούθως, αφού βρει την σωστή εσωτερική δομή του, τότε θα μπορεί να λύνει και άλλα ανάλογα προβλήματα τα οποία δεν τα έχει δει προηγουμένως. Οπωσδήποτε όμως, τα προβλήματα αυτά θα πρέπει να είναι της ίδιας φύσης και των ίδιων χαρακτηριστικών όπως αυτά της εκπαίδευσης και όχι διαφορετικά. Αυτός είναι ο πιο συνηθισμένος τρόπος Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 23

24 εκπαίδευσης, αλλά υπάρχουν διάφορες παραλλαγές ως προς τον τρόπο με τον οποίο τα δεδομένα παρουσιάζονται στο δίκτυο όταν αυτό εκπαιδεύεται. Κατά την εκπαίδευση ενός δικτύου οι αλλαγές στα βάρη γίνονται με ένα από τους εξής δύο τρόπους: Με εποπτευόμενο τρόπο: Αρχικά δίνονται οι τιμές των εισόδων και των στόχων που πρέπει να μάθει το δίκτυο. Αρχικά οι τιμές στα βάρη w, είναι τυχαίες. Κατά την διαδικασία εκπαίδευσης το δίκτυο αλλάζει τις τιμές των βαρών διορθώνοντας τες ανάλογα με το σφάλμα που διαπιστώνει. Το σφάλμα προκύπτει από την διαφορά της εξόδου με τον στόχο. O σκοπός είναι τελικά να ελαχιστοποιηθεί η διαφορά μεταξύ της επιθυμητής εξόδου και της τρέχουσας τιμής της εξόδου μετά από διαδοχικές αλλαγές των βαρών. Μερικές φορές η διαδικασία αυτή μπορεί να απαιτεί μεγάλους αριθμούς τέτοιων διορθώσεων και επομένως μεγάλους υπολογιστικούς χρόνους. Με μη εποπτευόμενο τρόπο (ή αυτό εποπτευόμενο τρόπο) Στην μη εποπτευόμενη εκπαίδευση απλώς δίνεται η πληροφορία στο δίκτυο, αλλά δεν δίνονται οι αντίστοιχοι στόχοι όπως προηγουμένως και έτσι δεν γίνεται κανένας έλεγχος για την πορεία του σφάλματος. Το δίκτυο δεν χρησιμοποιεί κάποια εξωτερική παράμετρο για την αλλαγή των βαρών. Υπάρχει βέβαια συγκεκριμένη διαδικασία που ακολουθείται και καταλήγει σε εκπαίδευση του δικτύου. Το δίκτυο χρησιμοποιεί έναν εσωτερικό έλεγχο, ψάχνει να βρει κάποιες τάσεις ή κανονικότητα στα σήματα εισόδου και προσπαθεί ώστε οι έξοδοι να έχουν τα ίδια χαρακτηριστικά όπως και οι είσοδοι. Η εκπαίδευση αυτή ονομάζεται αυτοεποπτευόμενη εκπαίδευση διότι το δίκτυο ελέγχει τον εαυτό του και διορθώνει τα σφάλματα στα δεδομένα με ένα μηχανισμό ανάδρασης. Ο τρόπος αυτός δεν εφαρμόζεται τόσο συχνά όπως η εποπτευόμενη εκπαίδευση, αλλά είναι πολύ χρήσιμος σε ορισμένες περιπτώσεις που δεν υπάρχουν δεδομένα στο πρόβλημα. Σε όλες τις περιπτώσεις όταν το δίκτυο σταματάει να αλλάζει τις τιμές των βαρών, τότε θεωρείται ότι η εκπαίδευση έχει επιτευχθεί. Αυτό συμβαίνει επειδή το σφάλμα στην έξοδο γίνεται μηδέν ή είναι πολύ κοντά στο μηδέν. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 24

25 2.6 ΤΑΞΙΝΟΜΗΣΗ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ Το αντικείμενο των τεχνητών νευρωνικών δικτύων είναι η ανάπτυξη και η μελέτη μαθηματικών αλγορίθμων που μιμούνται την αρχιτεκτονική και το πρότυπο των βιολογικών νευρωνικών δικτύων. Γενικά οι νευρωνικοί αλγόριθμοι ταξινομούνται σύμφωνα με το παρακάτω σχήμα : Εικόνα 2.4 Ταξινόμηση των τεχνητών Νευρωνικών Δικτύων. 2.7 ΤΟ ΔΙΚΤΥΟ PERCEPTRON Το μοντέλο του αισθητήρα (Perceptron) είναι από τα πρώτα μοντέλα νευρωνικών δικτύων που αναπτύχθηκαν την δεκαετία του πενήντα και έδωσαν στην περιοχή αυτή μεγάλη ώθηση χάρη στις επιτυχίες που είχε από την αρχή. Πολλά δίκτυα που αναπτύχθηκαν αργότερα, πολύ πιο περίπλοκα, ξεκίνησαν από την βάση του αισθητήρα. Ανεβαίνοντας ως προς την πολυπλοκότητα, υπάρχουν νευρωνικά Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 25

26 δίκτυα τα οποία έχουν πολλούς νευρώνες, οι οποίοι είναι οργανωμένοι σε δύο επίπεδα, ένα επίπεδο στο οποίο εισέρχονται τα σήματα (επίπεδο εισόδου, Input Layer) και ένα επίπεδο όπου βγαίνει το αποτέλεσμα του νευρωνικού δικτύου (επίπεδο εξόδου, Output Layer). Υπάρχουν και νευρωνικά δίκτυα τα οποία είναι ακόμα πιο περίπλοκα και εκτός των δύο αυτών επιπέδων έχουν και άλλα επίπεδα, τα οποία βρίσκονται συνήθως ανάμεσα σε αυτό της εισόδου και αυτό της εξόδου, τα MLP δίκτυα (Multiple Layer Perceptron). Το πιο απλό νευρωνικό δίκτυο που μπορεί να σχεδιαστεί και να μελετηθεί είναι ασφαλώς ένα δίκτυο που αποτελείται από έναν μόνο νευρώνα. Η λέξη δίκτυο σε αυτή την περίπτωση χρησιμοποιείται καταχρηστικά αφού δεν υπάρχουν περισσότεροι του ενός νευρώνα για να συνδεθούν μεταξύ τους. Οι μόνες συνδέσεις που υπάρχουν είναι αυτές των εισόδων x 1, x 2,.. x n και του νευρώνα όπως φαίνεται και παρακάτω. Εικόνα 2.5 Απλοποιημένο μοντέλο Τεχνητού Νευρώνα Στο μοντέλο Perceptron ο ένας και μοναδικός νευρώνας υλοποιεί την παρακάτω συνάρτηση μεταφοράς: n u = i=1 w in x i θ (2.2) y = f(u) Η συνάρτηση μεταφοράς απεικονίζει το διάνυσμα εισόδου x = [x 1, x 2, x n ] T στην έξοδο y. n y = f( i=1 w in x i θ) (2.3) Οι παράμετροι w 1, w 2,.. w n είναι τα συνοπτικά βάρη του νευρώνα, ενώ η παράμετρος θ λέγεται κατώφλι ενεργοποίησης. Ο όρος αυτός εξηγείται από το Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 26

27 γεγονός ότι η διέγερση u του νευρώνα η οποία προκύπτει από το περιβάλλον, n δηλαδή τις εισόδου είναι θετική αν το άθροισμα i=1 w i x i ξεπεράσει το όριο θ: u > 0, αν u = 0, αν u < 0, αν n i=1 n i=1 n i=1 w in x i w in x i w in x i > θ = θ < θ Με το σκεπτικό αυτό λέμε ότι το θ είναι το κατώφλι πάνω από το οποίο ενεργοποιείται ο νευρώνας. Η συνάρτηση ενεργοποίησης f(. ) τροφοδοτείται από την διέγερση u και δίνει την έξοδο y του νευρώνα. Η συνάρτηση ενεργοποίησης είναι μη γραμμική και ειδικά στο Perceptron παίρνει μια από τις παρακρατώ μορφές: f(u) = { 1 0 αν u > 0 u 0 (2.4a) ή f(u) = { 1 1 αν u > 0 u 0 (2.4b) Οι παράμετροι που ουσιαστικά ρυθμίζουν την συμπεριφορά του νευρώνα είναι το διάνυσμα των συναπτικών βαρών w = [w 1, w 2, w n ] T και το κατώφλι θ. Το μοντέλο της εξίσωσης (2.2) μπορεί να απλοποιηθεί, αν το κατώφλι θ θεωρηθεί ως ένας επί πλέον συναπτικό βάρος w ο το οποίο πολλαπλασιάζεται με μια σταθερή είσοδο x o = 1 οπότε μπορεί να γραφτεί: Ή απλά για i από 0 έως n: n u = i=1 w i x i w 0 x 0 (2.5) n u = i=0 w i x i (2.6) Κατά τον τρόπο αυτό εισάγεται μια επιπλέον είσοδο x 0 με σταθερή τιμή -1 και άρα είναι σαν να αυξήθηκε η διάσταση του διανύσματος εισόδου κατά 1. Οπότε τώρα το διάνυσμα εισόδου θα είναι x = [x 0, x 1, x 2, x n ] T (2.7) w = [w 0, w 1, w 2, w n ] T (2.8) Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 27

28 Το κατώφλι ενεργοποίησης αντιμετωπίζεται με το ίδιο τρόπο όπως και τα συναπτικά βάρη. Το ίδιο ομογενοποιημένο αποτέλεσμα θα προκύψει αν οριστεί w 0 = θ και x 0 = 1. Στην περίπτωση αυτή ισχύει και πάλι η εξίσωση (2.5), απλώς το συναπτικό βάρος w 0 είναι το αντίθετο του κατωφλιού και ονομάζεται πόλωση (bias) και η είσοδος x 0 έχει πάντα την τιμή 1 αντί για -1. Η εξίσωση (2.6) είναι το εσωτερικό γινόμενο των w και x οπότε u = w T x. Η μορφή της συνάρτησης μεταφοράς, δηλαδή η τιμή του y ως συνάρτηση του x, εξαρτάται από την τιμή της διέγερσης u και φυσικά από την επιλογή της συνάρτησης f. Οι βασικές συναρτήσεις ενεργοποίησης είναι οι εξής : Βηματική Συνάρτηση Η οποία περιγράφεται από τους τύπους 2.4a και 2.4b. Η βηματική συνάρτηση δεν θεωρείται χρήσιμη ως συνάρτηση ενεργοποίησης στα τεχνητά νευρωνικά δίκτυα, καθώς σύμφωνα με τον απειροστικό λογισμό έχει το βασικό μειονέκτημα ότι η παράγωγός της απειρίζεται στην θέση u = 0. Έτσι προέκυψε η ανάγκη συναρτήσεων ενεργοποίησης που η γραφική τους παράσταση τους να μοιάζει με τη βηματική, αλλά ταυτόχρονα να είναι συνεχείς και παραγωγίσιμες σε όλο το πεδίο ορισμού τους. Εικόνα 2.6 Βηματική Συνάρτηση. Γραμμική ανά τμήματα 1 αν u 1 2 f(u) = u αν 1 2 < u < αν u 1 { 2 Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 28

29 Εικόνα 2.7 Γραμμική συνάρτηση ενεργοποίησης ανά τμήματα Σιγμοειδής συνάρτηση (μη γραμμική) Η μη γραμμική συνάρτηση ενεργοποίησης που χρησιμοποιείται συνήθως στα νευρωνικά δίκτυα καλείται σιγμοειδής συνάρτηση. Οι τυπικές σιγμοειδείς είναι δύο: Λογιστική σιγμοειδής: f(u) = 1 1+e u Υπερβολική εφαπτομένη: f(u) = tanh u = eu e u e u +e u Εικόνα 2.8 Σιγμοειδής Συνάρτηση ενεργοποίησης. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 29

30 2.8 ΚΑΝΟΝΑΣ ΔΕΛΤΑ ΕΚΠΑΙΔΕΥΣΗ PERCEPTRON Η εκπαίδευση του αισθητήρα είναι εποπτευομένου τύπου. Στην αρχή της μάθησης το σύστημα δεν έχει καμία προηγούμενη γνώση. Τα βάρη w i πρέπει να έχουν τυχαίες τιμές, για παράδειγμα έχουν τιμές οι οποίες δίνονται από μία κατανομή ψευδοτυχαίων αριθμών, και είναι όλα στο διάστημα 0 < w < 1. Όταν παρουσιάζουμε τα διανύσματα εισόδου και τα αντίστοιχα εξόδου στο νευρωνικό δίκτυο, τότε το σύστημα μαθαίνει την σχέση που τα συνδέει με το να μεταβάλει τα βάρη του προς την σωστή κατεύθυνση. Η μεταβολή των βαρών συνεχίζεται μέχρις ότου το σύστημα δώσει στην έξοδο αποτέλεσμα που συγκλίνει στο αναμενόμενο. Όταν συμβεί αυτό τότε σταματάει η μεταβολή των w και οι τελικές τιμές τους αποθηκεύονται και χρησιμοποιούνται περαιτέρω. Στο σημείο αυτό θεωρείται ότι το δίκτυο έχει εκπαιδευθεί αποτελεσματικά. Η διαδικασία αυτή είναι γενική και αποτελεί τον συνηθισμένο τρόπο εκπαίδευσης των νευρωνικών δικτύων. Αυτό όμως που διαφέρει είναι η τεχνική με την οποία αλλάζουν τα w. Ανάλογα με την δομή των δικτύων έχουν αναπτυχθεί διάφορες τεχνικές μια από αυτές είναι και ο κανόνας έλτα. Όλα τα νευρωνικά δίκτυα, συμπεριλαμβανομένου και του στοιχειώδους αισθητήρα, τα οποία υποβάλλονται σε μία διαδικασία εκπαίδευσης, ξεκινούν από μία κατάσταση κατά την οποία δεν έχουν καμία απολύτως γνώση για το πρόβλημα το οποίο θα μελετήσουν. Κατά την διάρκεια της εκπαίδευσης παρουσιάζονται τα διάφορα πρότυπα (patterns) ή αλλιώς διανύσματα, τα οποία ο αισθητήρας πρέπει να μάθει να αναγνωρίζει. Τα παραδείγματα αυτά αποτελούν την ομάδα παραδειγμάτων εκπαίδευσης. Κάθε ομάδα αποτελείται από δύο τμήματα: Πρώτα είναι το τμήμα που περιλαμβάνει τα σήματα εισόδου, δηλ. οι τιμές s 1, s 2, s 3 κτλ., τα οποία είναι τα σήματα που παρουσιάζονται στο νευρωνικό δίκτυο στην είσοδο του, δηλ. στο πρώτο επίπεδο νευρώνων. Κατόπιν δίνεται το τμήμα που περιλαμβάνει τους στόχους εκπαίδευσης, αυτό δηλαδή το οποίο είναι το επιθυμητό αποτέλεσμα, και είναι τα σήματα εξόδου. Σε κάθε ομάδα εισερχομένων σημάτων αντιστοιχεί ένας μόνον στόχος, δηλαδή υπάρχει μια μόνο σωστή απάντηση και για όλα τα σήματα υπάρχει αντιστοιχία εισόδων εξόδων. Ο σκοπός της εκπαίδευσης είναι να βρεθεί μία μοναδική ομάδα τιμών των w, που όταν βρεθεί και χρησιμοποιηθεί, τότε το δίκτυο θα βρίσκει την σωστή τιμή για κάθε πρότυπο. Μετά την εκπαίδευση τα w δεν αλλάζουν καθόλου. Η εκπαίδευση με την μέθοδο του κανόνα έλτα ακολουθεί το διάγραμμα ροής όπως φαίνεται και στο παρακάτω σχήμα. Ο αλγόριθμος αυτός όπως περιλαμβάνει ένα μεγάλο αριθμό επαναλήψεων. Ως ένα κύκλο θεωρούμε όλη την διεργασία που ακολουθούμε από την παρουσίαση των τιμών όλων των διανυσμάτων στην είσοδο μέχρι τον στόχο στην έξοδο, και ακολούθως την διόρθωση των τιμών των w με τον Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 30

31 κατάλληλο τρόπο. Όταν ακολουθηθεί ο αλγόριθμος αυτός μετά από ορισμένα περάσματα το δίκτυο θα μάθει να αναγνωρίζει τα πρότυπα και να δίνει κάθε φορά τη σωστή απάντηση. Εικόνα 2.9 Αλγόριθμος εκπαίδευσης Κανόνα Δέλτα Σύμφωνα με τον κανόνα έλτα, ορίζουμε ως παράμετρο δ τη διαφορά εξόδου και στόχου δηλαδή δ = t o όπου «t» είναι ο στόχος (target) και «ο» η έξοδος (output), που δίδεται μια δεδομένη στιγμή. Υπολογίζεται πρώτα το δ σύμφωνα με την παραπάνω εξίσωση. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 31

32 Εάν δ = 0, τότε η έξοδος είναι σωστή και δεν γίνεται καμία διόρθωση (αυτό αντιστοιχεί σε απάντηση «Ναι» στο διάγραμμα ροής). Εάν δ > 0 ή δ < 0, τότε θα γίνει διόρθωση (οι περιπτώσεις αυτές αντιστοιχούν σε απάντηση «Όχι» στο ερώτημα). Εάν η έξοδος είναι 0, τότε η περίπτωση αντιστοιχεί σε δ > 0, οπότε προστίθεται την τιμή κάθε εισόδου στο αντίστοιχο w. Εάν η έξοδος είναι 1, τότε έχουμε δ < 0 και αφαιρείται το αντίστοιχο w από την τιμή κάθε εισόδους. Υπολογίζεται στην συνέχεια η ποσότητα. Δ i = ηδx i (2.9) όπου x i είναι η τιμή του σήματος εισόδου και η είναι μια σταθερά που δίνει τον ρυθμό εκπαίδευσης. Ακολούθως: w i (n + 1) = w i (n) + Δ ι (2.10) όπου w i (n) είναι η τιμή του βάρους πριν την διόρθωση στο βήμα n, w i (n + 1) είναι η τιμή του βάρους μετά την διόρθωση στο βήμα n + 1, δηλαδή η διορθωμένη τιμή από το βήμα n στο n + 1 και είναι το ποσό της διόρθωσης. Ο κανόνας αυτός μεταβάλλει ένα βάρος w i μόνο αν το σήμα x i = 1, αλλά δεν το μεταβάλλει αν x ι = 0, διότι τότε Δ i = 0. Επίσης, θα πρέπει δ 0, για να γίνει οποιαδήποτε μεταβολή. Η τιμή του η είναι συνήθως 0 < η < 1. O χρόνος εκπαίδευσης είναι μεγάλος αν το η είναι μικρό, ενώ μικραίνει όταν το η είναι μεγαλύτερο. Όταν παρουσιάζονται διαδοχικά στο δίκτυο όλα τα διανύσματα το δίκτυο αρχίζει να εκπαιδεύεται και το δίκτυο μαθαίνει την σχέση που συνδέει τις παραμέτρους του προβλήματος με το αποτέλεσμα (έξοδος δικτύου). Το δίκτυο αποκτά την ικανότητα να λύνει το πρόβλημα που τίθεται. Η εκπαίδευση αυτή δεν γίνεται σε ένα βήμα, αλλά ακολουθεί μία διαδικασία πολλών κύκλων, μια διαδικασία η οποία επαναλαμβάνεται πολλές φορές και κατά την οποία το δίκτυο βελτιώνει συνεχώς τις τιμές των βαρών του. Μετά από μερικούς κύκλους, που μπορεί και να είναι πολλές χιλιάδες, το δίκτυο έχει ήδη βρει τις κατάλληλες τιμές των w και έτσι έχει αναπτύξει τις ικανότητες του. Ακολούθως όταν η πρόοδος αυτή σταματήσει θεωρείται ότι το δίκτυο έχει πλέον συγκλίνει. Αυτό σημαίνει ότι οι τιμές των w δεν αλλάζουν πλέον και αν όλα έχουν προχωρήσει καλά με τη σύγκλιση, το δίκτυο έχει εκπαιδευθεί σωστά. Το δίκτυο πρέπει να μαθαίνει όλο το σύνολο των διανυσμάτων που του παρουσιάζονται. Στο ερώτημα πώς πρέπει να παρουσιάζονται τα πρότυπα, δηλαδή σε μια δεδομένη σειρά, που επαναλαμβάνεται συνεχώς ή θα πρέπει να επιλέγονται με τυχαίο τρόπο. Δεν υπάρχει θεωρητική απάντηση σε αυτό, απάντηση που να καλύπτει όλους τους τύπους των δικτύων και όλες τις μεθόδους εκπαίδευσης. Όπως επίσης δεν υπάρχει απάντηση στο πόσους κύκλους χρειάζεται ένα νευρωνικό δίκτυο για να Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 32

33 εκπαιδευθεί ή ποιες πρέπει να είναι οι τιμές του η. Σε όλα αυτά τα ερωτήματα οι απαντήσεις είναι εμπειρικές και συνήθως δίνονται δοκιμάζοντας κάποιες λογικές τιμές, τις οποίες μεταβάλλονται ανάλογα με τα αποτελέσματα που παίρνονται, μέχρις ότου αυτά να είναι ικανοποιητικά. Το βασικό μειονέκτημα του αισθητήρα ήταν ότι δεν επιτρέπονταν περισσότερα από ένα επίπεδα στα οποία να μεταβάλλονται τα βάρη. Δεν υπήρχε (τουλάχιστον τα πρώτα χρόνια) μαθηματικός τρόπος που να μεταφέρει τις αλλαγές των w επίπεδο προς επίπεδο. Αυτό έγινε αργότερα με την μέθοδο της οπισθοδιάδοσης (Back Propagation) η οποία παρουσιάζεται σε επόμενη παράγραφο και η οποία εφαρμόζεται σε νευρωνικά δίκτυα πολλών στρωμάτων. 2.9 ΜΟΝΤΕΛΟ PERCEPTRON ΠΟΛΛΩΝ ΣΤΡΩΜΑΤΩΝ (MLP) Με ένα απλό perceptron οι δυνατότητες αναπαράστασης διαχωριστικών επιφανειών είναι περιορισμένες καθώς με ένα μόνο νευρώνα το δίκτυο μπορεί να αναπαραστήσει μόνο επίπεδες επιφάνειες. Ο περιορισμός αυτός παύει να υπάρχει με την χρήση περισσότερων νευρώνων. Με την χρήση περισσότερων κρυφών νευρώνων θα μπορούν να οριστούν περισσότερες διαχωριστικές ευθείες. Ο συνδυασμός των ευθειών αυτών μπορεί να μας δώσει μια μεγάλη ποικιλία περιοχών στην έξοδο. Δίκτυα τέτοιου τύπου ονομάζονται δίκτυα Perceptron πολλών στρωμάτων (Multi-Layer Perceptron - MLP). Εικόνα 2.10 Γενική τοπολογία MLP. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 33

34 Τα MLP δίκτυα που χρησιμοποιούν την βηματική συνάρτηση μπορούν να υλοποιήσουν συναρτήσεις που δεν μπορεί ένα απλό δίκτυο Perceptron, ωστόσο η βηματική συνάρτηση δεν προτιμάται. Ο λόγος είναι ότι οι περισσότεροι κανόνες εκπαίδευσης βασίζονται σε κανόνες βελτιστοποίησης οι οποίες χρησιμοποιούν παραγώγους, ενώ η βηματική συνάρτηση δεν είναι παραγωγίσιμη. Αυτή είναι η τεχνική απαίτηση πληρείται με την σιγμοειδή συνάρτηση. f(u) = 1 (2.11) 1 + e u Αυτή η συνάρτηση είναι παραγωγίσιμη και πρακτικά μοιάζει πολύ με την βηματική 0/1 όπως φαίνεται στο σχήμα 13. Εικόνα 2.11 Βηματική και Σιγμοειδής συνάρτηση. Η υπερβολική συνάρτηση είναι επίσης μια καλή επιλογή καθώς είναι παραγωγίσιμη και έχει απλή σχέση με την σιγμοειδή συνάρτηση: tanh(u) = 2f(2u) 1 (2.12) Οι συναρτήσεις αυτές δημιουργούν πιο ομαλές επιφάνειες χωρίς απότομες μεταβολές στην y έξοδο του δικτύου. Τα δίκτυα Perceptron πολλαπλών στρωμάτων που χρησιμοποιούν την σιγμοειδή συνάρτηση μπορούν να προσεγγίσουν οποιαδήποτε ομαλή συνάρτηση όσο κοντά επιθυμούμε. Για τον λόγο αυτό τα δίκτυα αυτά είναι γνωστά και ως Καθολικοί Προσεγγιστές (Universal Approximators) και το ενδιαφέρον είναι ότι αρκούν μόνο δύο στρώματα νευρώνων (χωρίς να μετράμε το στρώμα εισόδου). Αυτός είναι και ο λόγος που οι MLP αλγόριθμοι εκπαίδευσης προτιμούνται περισσότερο, με κυριότερο εκπρόσωπο εκπαίδευσης τον αλγόριθμο Back Propagation. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 34

35 2.10 ΑΛΓΟΡΙΘΜΟΣ ΕΚΠΑΙΔΕΥΣΗΣ BACK PROPAGATION Ο αλγόριθμος Back Propagation είναι η πιο γνωστή και διαδεδομένη μέθοδος εκπαίδευσης νευρωνικών δικτύων πολλών στρωμάτων. Η μέθοδος αυτή ανήκει στην κατηγορία δικτύων που εκπαιδεύονται με επίβλεψη, όπως ακριβώς και στο απλό δίκτυο Perceptron. Έστω ένα MLP δίκτυο με τα εξής γνωρίσματα: L στρώματα K = N(0) εισόδους I = N(L) εξόδους Εικόνα 2.12 Δομή MLP Δικτύου. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 35

36 Οι είσοδοι του δικτύου θα είναι x 0, x 1,..,x K και οι έξοδοι y 1,y 2,.., y I. Για μια σειρά από P διανύσματα εισόδου επιθυμείται οι έξοδοι να επιτύχουν τιμές που δίνονται από αντίστοιχα P διανύσματα στόχων, δηλαδή: x (p) = [x 0 (p),, x K (p) ] T το p-οστό διάνυσμα εισόδου y (p) = [y 1 (p),, y I (p) ] T το p-οστό διάνυσμα εξόδου d (p) = [d 1 (p),, d I (p) ] T το p-οστό διάνυσμα στόχων Τα δεδομένα που απαιτούνται για να εκπαιδευτεί το δίκτυο είναι τα P ζεύγη διανυσμάτων εισόδων στόχων: {x (1), d (1) }, {x (2), d (2) },, {x (P), d (P) } Θα ήταν ιδανικό να υπάρχει τέλεια ταύτιση εξόδων και στόχων για κάθε πρότυπο εισόδου, δηλαδή : y (1) = d (1), y (2) = d (2),, y (P) = d (P) Ωστόσο επειδή αυτό δεν είναι απολύτως εφικτό, επιζητείται μια βέλτιστη προσέγγιση χρησιμοποιώντας ένα κριτήριο, το μέσου τετραγωνικού σφάλματος. I E p (w) = 1 2 [d i 2 (p) y i 2 (p)] 2 i=1 (2.13) Το κριτήριο αυτό έχει το πλεονέκτημα ότι η ελαχιστοποίηση του σημαίνει την ελαχιστοποίηση της τετραγωνικής απόστασης μεταξύ των διανυσμάτων y (i), d (i) και επιπλέον παραγωγίζεται εύκολα οπότε μπορεί να χρησιμοποιηθεί σε μεθόδους βαθμιαίας κατάβασης δυναμικού και να δώσει συμπαγείς μαθηματικές φόρμουλες. Τα συναπτικά βάρη w ij είναι οι παράμετροι που πρέπει να διορθωθούν ώστε να ελαχιστοποιηθεί το σφάλμα E, καθώς τόσο οι είσοδοι x (p) όσο και οι στόχοι d (p) είναι δεδομένοι και σταθεροί. Δεδομένου ότι η συνάρτηση του σφάλματος είναι παραγωγίσιμη, μπορεί να χρησιμοποιηθεί η διαδικασία βαθμιαίας κατάβασης δυναμικού. Μέσω της διαδικασίας αυτής το διάνυσμα των βαρών μεταβάλλεται ως εξής: Δw = η E p (w) (2.14) Στην ουσία ο Back Propagation αλγόριθμος είναι κατάβαση δυναμικού στην συνάρτηση του σφάλματος E. Αναλυτικά η μερική παράγωγος του σφάλματος E ως προς w στο στρώμα εξόδου και σε ένα κρυμμένο στρώμα υπολογίζεται ως εξής. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 36

37 Υπολογισμός E(p) w για w στο στρώμα εξόδου Εστιάζοντας τυχαία στο w ij 2 βάρος από τον νευρώνα j, που καταλήγει στον νευρώνα i του στρώματος εξόδου. Το σφάλμα που θα πρέπει να ελαχιστοποιηθεί λαμβάνοντας υπόψη την σχέση (2.13) θα έχει την εξής μορφή: E (p) w w ij 2 I = 1 2 [d l 2 (p) y 2 l (p)] 2 l=1 w ij 2 (2.15) Στο άθροισμα της παραπάνω σχέσης ο μόνος όρος που δεν είναι μηδέν είναι όταν l = i, οι υπόλοιποι όροι είναι μηδέν λόγω του ότι οι αντίστοιχες ποσότητες των [d l 2 (p) y l 2 (p)] 2 δεν εξαρτώνται από το w ij 2 για l i. Εφαρμόζοντας τον κανόνα της αλυσίδας για τις παραγώγους, προκύπτει ότι η μερική παράγωγος του 1 2 [d l 2 (p) y l 2 (p)] 2 ως προς w ij 2 ισούται με [d l 2 (p) y l 2 (p)] 2 w ij 2 = [d 2 l (p) y 2 l (p)] [ y i 2 (p) 2 w ] ij Εφαρμόζοντας για μια ακόμα φορά τον κανόνα της αλυσίδας, φαίνεται ότι η παράγωγος του y 2 i (p) 2 = y i 2 (p) net 2 i (p) w ij net 2 2 i (p) w ij Όπου net 2 J i (p) = w 2 1 m=0 im y m (p) Το y i 2 (p) αποτελεί παράγωγο της συνάρτησης μεταφοράς του νευρώνα i ως προς net 2 i (p) net 2 i (p)) y i 2 (p) net i 2 (p) = g (net i 2 (p)) Παρατηρούμε ότι ο μόνος όρος στο παραπάνω άθροισμα που εξαρτάται από το w ij 2 είναι ο όρος για τον οποίο ισχύει m = j, επομένως net i 2 (p) w ij 2 = y j 1 (p) Συνεπώς ο 2.14 τύπος παίρνει την παρακάτω μορφή E (p) w w ij 2 = [d l 2 (p) y l 2 (p)]g (net i 2 (p))y j 1 (p) Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 37

38 Η παραπάνω σχέση δείχνει ότι η σύγκλιση των βαρών στο στρώμα εξόδου (συγκεκριμένα w ij 2 ) ακολουθεί τον παρακάτω κανόνα w ij 2 = η[d l 2 (p) y l 2 (p)]g (net i 2 (p))y j 1 (p) = ηδ i 2 (p)y j 1 (p) Όπου δ i 2 = d l 2 (p) yl 2 (p)]g (net i 2 (p)) γνωστό ως όρος Δέλτα (delta term) ή όρος σφάλματος (error term), καθότι είναι ανάλογος του σφάλματος στον νευρώνα i. Υπολογισμός Ep w για w σε κρυμμένο στρώμα Θεωρώντας ενδεικτικά το w ik 1 βάρος που προέρχεται από τον νευρώνα k, του στρώματος εισόδου, και συγκλίνει στον νευρώνα j στο κρυμμένο στρώμα του MLP δικτύου. Η ελαχιστοποίηση του σφάλματος σύμφωνα με την (2.13): E (p) w w jk 1 I = 1 2 [d l 2 (p) y 2 l (p)] 2 l=1 w jk 1 Με την εφαρμογή του κανόνα της αλυσιδωτής παραγώγισης, προκύπτει ότι η μερική παράγωγος του 1 2 [d l 2 (p) y l 2 (p)] 2 ως προς w jk 1 [d l 2 (p) y l 2 (p)] 2 w jk 1 ισούται με: = [d 2 l (p) y 2 l (p)] [ y l 2 (p) 1 w ] jk Και με εφαρμογή για μια ακόμα φορά του κανόνα της αλυσιδωτής παραγώγισης, φαίνεται ότι : y 2 l (p) 1 = y l 2 (p) net 2 l (p) w jk net 2 1 l (p) w jk Το y l 2 (p) αποτελεί παράγωγο της συνάρτησης μεταφοράς του νευρώνα i ως προς net 2 l (p) net 2 l (p)) Επίσης, y l 2 (p) net l 2 (p) = g (net l 2 (p)) δ l 2 (p) = d l 2 (p) yl 2 (p)]g (net l 2 (p)) Από τα προηγούμενα βήματα προκύπτει ότι: Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 38

39 J Ε p (w) w jk 1 I = δ 2 l (p) net l 2 (p) l=1 w jk 1 2 (p) Όπου net 2 l (p) = m=0 w 2 lm y 1 m (p) και επομένως net l 2 1 = w y j lj w jk Με την εκ νέου εφαρμογή του κανόνα της αλυσίδας προκύπτει ότι: 1 (p) w1 jk y 1 j (p) 1 = y j 1 (p) net 1 j (p) w jk net 1 1 j (p) w jk Όπου y j 1 (p) = g (net net 1 j (p) j 1 (p)) και net 1 j (p) = m=0 w 1 jm x m (p) K Για m = k το παραπάνω άθροισμα θα μας δώσει: Άρα E p (w) w jk 1 net 1 j (p) = x k (p) w jk 1 = [g (net 1 j (p)) δ 2 l (p)w lj ]x k (p) I l=1 2 Όπου δ 1 j (p) = [g (net 1 j (p)) I δ 2 2 l=1 l (p)w lj ] το σφάλμα του νευρώνα j στο κρυμμένο στρώμα, αποτελείται από τις συνιστώσες σφάλματος από τους νευρώνες του στρώματος εξόδου επί τα αντίστοιχα βάρη. Ένα από τα βασικά προβλήματα στα MLP δίκτυα ήταν η δυσκολία προσδιορισμού του σφάλματος των νευρώνων στα κρυμμένα στρώματα. Η λύση ήταν η διαδικασία κατάβασης δυναμικού. Αρχικοποιώντας το δ j 1 (p), προκύπτει το εξής: w jk 1 = ηδ j 1 (p)x k (p) Σαν τελικό αποτέλεσμα, η μεταβολή των βαρών στα κρυμμένα στρώματα εξαρτάται από το σφάλμα του νευρώνα στο οποίο συγκλίνει το βάρος και από την Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 39

40 έξοδο του νευρώνα από το οποίο προέρχεται το βάρος. Η έξοδος από ένα νευρώνα στρώματος εισόδου ισούται με την συνιστώσα του διανύσματος εισόδου που αντιστοιχεί στον συγκεκριμένο νευρώνα. Η εξίσωση της μεταβολής των βαρών και για τα κρυμμένα στρώματα αλλά και για το στρώμα εξόδου περιλαμβάνει την συνάρτηση μεταφοράς g. Η συνάρτηση αυτή μπορεί να είναι όπως αναφέρθηκε, γραμμική, βηματική, σιγμοειδής κτλ. Στην περίπτωση των κρυμμένων στρωμάτων η συνάρτηση ενεργοποίησης δεν μπορεί να είναι βηματική, καθώς παραβιάζεται η συνθήκη της παραγώγισης, η οποία θα πρέπει να ικανοποιείται. Για το στρώμα εξόδου η συνάρτηση ενεργοποίησης μπορεί να είναι γραμμική αλλά όχι και για τους νευρώνες των κρυμμένων στρωμάτων, εκεί η συνάρτηση ενεργοποίησης θα πρέπει να είναι μη γραμμική. Για τον λόγο αυτό για τους νευρώνες των κρυμμένων στρωμάτων επιλέγεται πάντα σιγμοειδής συνάρτηση, σε αντίθεση με τους νευρώνες του στρώματος εξόδου, όπου μπορεί να χρησιμοποιηθεί οποιαδήποτε συνάρτηση ενεργοποίησης. Όπως και να έχει η παράγωγος της συνάρτησης θα πρέπει να υπολογιστεί. Για σιγμοειδή συνάρτηση : g(x) = 1 1+e x η παράγωγος της θα ισούται με g (x) = g(x)[1 g(x)] Για συνάρτηση υπερβολικής εφαπτομένης: g(x) = 1 e 2x 1+e 2x η παράγωγος της θα ισούται με g (x) = 1 g 2 (x) Αν η συνάρτηση είναι γραμμική τότε g (x) = 1. Με γνωστή την έξοδο ενός νευρώνα του MLP δικτύου μπορεί να υπολογιστεί η παράγωγος της συνάρτησης ενεργοποίησης του νευρώνα αυτού. Η κεντρική ιδέα της εκπαίδευσης με Back Propagation αλγόριθμο είναι η εξής: τα παραδείγματα μάθησης παρουσιάζονται στο μη εκπαιδευμένο δίκτυο και υπολογίζονται οι έξοδοι. Για κάθε νευρώνα εξόδου υπολογίζεται το σφάλμα και γίνεται η σχετική αλλαγή των βαρών εισόδου. Με κατεύθυνση από το επίπεδο εξόδου προς το επίπεδο εισόδου, για κάθε εσωτερικό νευρώνα υπολογίζεται η συμμετοχή του στα σφάλματα των νευρώνων εξόδου και γίνεται η αλλαγή των βαρών στην είσοδό του. Η συμμετοχή ενός νευρώνα στα σφάλματα των νευρώνων του επόμενου επιπέδου του είναι ανάλογη της τρέχουσας εισόδου του και των Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 40

41 συντελεστών βαρύτητας που τον συνδέουν με τους νευρώνες του επόμενου επιπέδου. Ο αλγόριθμος αποτελείται από τρία στάδια, (α) την προς τα εμπρός διάδοση (Forward Propagation), (β) την προς τα πίσω διάδοση (Back Propagation) και (γ) την μεταβολή των βαρών (Weight Adaption). (α) Προς τα εμπρός διάδοση (Forward Propagation) Εικόνα 2.13 Στάδιο εμπρόσθιας διάδοσης (Forward Propagation) Σε πρώτη φάση δίνονται τα πρώτα δείγματα στις εισόδους, και υπολογίζονται οι έξοδοι των νευρώνων του MLP δικτύου. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 41

42 (β) Προς τα πίσω διάδοση (Back Propagation) Σε δεύτερη φάση υπολογίζονται τα σφάλματα (τα «δ») των νευρώνων του στρώματος εξόδου και των νευρώνων στα κρυμμένα στρώματα του δικτύου. Εικόνα 2.14 Στάδιο διάδοσης προς τα πίσω (Backward Propagation). Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 42

43 (γ) Μεταβολή των βαρών (Weight Adaption) Και στην τρίτη φάση αναπροσαρμόζονται κατάλληλα τα βάρη έτσι ώστε οι έξοδοι να φτάσουν όσο το δυνατόν πλησιέστερα στα επιθυμητά αποτελέσματα. Εικόνα 2.15 Στάδιο Προσαρμογής βαρών (Weight Adaption). Υποθέτοντας ότι το MLP δίκτυο αποτελείται από ένα μόνο κρυμμένο στρώμα αναλύονται τα εφτά βήματα εκτέλεσης του αλγόριθμου οπισθοδρόμησης. Τα βήματα αυτά αποτελούν ένα κύκλο με ροής από την είσοδο μέχρι την έξοδο, μέσω του κρυμμένου επιπέδου, και από την έξοδο πίσω στην είσοδο. Βήμα 1 ο : Αρχικοποίηση των βαρών του MLP Δικτύου, σε μικρές τυχαίες τιμές. Ο δείκτης p παίρνει την τιμή 1. Βήμα 2 ο : Εισαγωγή του δείγματος εκπαίδευσης ή αλλιώς διανύσματος x(p) στις εισόδους. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 43

44 Βήμα 3 ο : Υπολογισμός εξόδων από το κρυμμένο στρώμα και από το στρώμα εξόδου βάσει των παρακάτω τύπων. y 1 j (p) = g (net 1 j (p)) = g [ w 1 jk x k (p)], 1 j J K k=0 J y 2 i (p) = g (net 1 i (p)) = g [ w 2 ij y 1 j (p)], 1 i I j=0 Σε περίπτωση που υπάρχουν παραπάνω από ένα κρυμμένα στρώματα, όπως προωθείται η έξοδος του πρώτου επιπέδου στο επόμενο επίπεδο, το κρυμμένο επίπεδο, και ακολούθως με τον ίδιο τρόπο προωθείται και σε όλα τα επίπεδα μέχρι το τελικό επίπεδο εξόδου. Βήμα 4 ο : Αν y j 1 (p) = d i (p), 1 i I τότε πάμε στο 7 ο βήμα. Αν y j 1 (p) d i (p), 1 i I για κάποια i τότε πήγαινε στο 5 ο βήμα. Βήμα 5 ο : Υπολογισμός των σφαλμάτων ένα-ένα και στρώμα-στρώμα, ξεκινώντας πρώτα με το στρώμα εξόδου και έπειτα το κρυμμένο στρώμα, πηγαίνοντας προς τα πίσω. Το σφάλμα θα υπολογίζεται αντίστοιχα από τους παρακάτω τύπους δ i 2 = g (net i 2 (p)) [d i 2 y i 2 (p)], 1 i I I δ 2 j = g (net j (p)) w ij δ i 1 k K i=1 Βήμα 6 ο : Έχοντας υπολογίσει τις εξόδους και τα σφάλματα, μεταβάλλονται αναλόγως και τα βάρη σύμφωνα με τους παρακάτω τύπους, που είναι γνωστοί και ως γενικευμένος Δέλτα κανόνας εκμάθησης Δw ij 2 = ηδ i 2 (p)y j 1 (p), 1 j J Δw jk 1 = ηδ j 1 (p)x k (p), 1 j J, 0 k K Όπου η είναι η σταθερά εκμάθησης ή αλλιώς βήμα εκμάθησης (learning rate). Βήμα 7 ο : Αν p PT, συνεχίζει στο 2 ο βήμα ξανά, και εισάγει το επόμενο δείγμα εισόδων. Αν p = PT και το δίκτυο συγκλίνει η εκπαίδευση ολοκληρώνεται. Αλλιώς επιστρέφει στο 2 ο βήμα ξανά και παρουσιάζει στην είσοδο το πρώτο δείγμα (p = 1). Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 44

45 Μετά το τέλος ενός κύκλου διόρθωσης των w, επαναλαμβάνεται η διαδικασία για πολλούς κύκλους, όσους χρειάζεται, έως ότου διαδοχικά το σφάλμα φθάσει να είναι αρκετά μικρό. Η ανοχή για το σφάλμα δίδεται εκ των προτέρων και τυπικές τιμές είναι μερικές % μονάδες, όπως 2 ή 5 %. Η συνθήκη για την οποία θεωρείται ότι το δίκτυο έχει συγκλίνει, είναι ότι το μέσο άθροισμα των τετραγώνων των σφαλμάτων θα πρέπει να είναι μικρότερο από την τιμή κατωφλιού του δικτύου. PT 1 PT Ep (w) < Τιμή κατωφλιού p=1 Κρίσιμες παράμετροι του αλγορίθμου Back Propagation είναι: (1) Η αρχικοποίησης των βαρών, οι τιμές των οποίων θα πρέπει να είναι τυχαίες, μικρές και να κυμαίνονται συμμετρικά γύρω από το μηδέν. Η μη σωστή αρχικοποίηση μπορεί να οδηγήσει στο φαινόμενο του πρόωρου κορεσμού (premature saturation), κατά το οποίο το σφάλμα για αρκετές περιόδους παραμένει σταθερό. (2) Τα κριτήρια βάσει των οποίων θα τερματίσει ο αλγόριθμος. Βασική διαφορά του γενικευμένου Δέλτα κανόνα εκμάθησης του back propagation αλγόριθμου και του κανόνα εκμάθησης ενός απλού perceptron είναι ότι το απλό perceptron σε ένα περιορισμένο αριθμό βημάτων θα έχουμε σύγκλιση, αν είναι δυνατή, σε αντίθεση με την εκπαίδευση στο BP αλγόριθμου, που μπορεί να μην σταματήσει και ποτέ, έως ότου να δώσει τις επιθυμητές εξόδους το δίκτυο. Για αυτό τον λόγο θα πρέπει να δίνονται εξ αρχής κάποια κριτήρια τερματισμού. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 45

46 3. ΠΡΟΣΔΙΟΡΙΣΜΟΣ ΘΕΣΗΣ ΚΙΝΗΤΗΣ ΜΟΝΑΔΑΣ ΣΕ ΑΣΥΡΜΑΤΟ ΔΙΚΤΥΟ ΕΠΙΚΟΙΝΩΝΙΩΝ 3.1 ΕΙΣΑΓΩΓΗ Ο προσδιορισμός της διεύθυνσης άφιξης ενός σήματος (Direction of Arrival, DoA) αποτελεί ουσιώδη και ταυτόχρονα απαραίτητη διαδικασία για την λειτουργία συστημάτων ευφυών κεραιών ή συστημάτων MIMO (Multiple Input Multiple Output, MIMO) που εξυπηρετούν σύγχρονα ασύρματα δίκτυα επικοινωνιών. Στην βιβλιογραφία έχει αναπτυχθεί και παρουσιαστεί ένας σημαντικός αριθμός μεθόδων με αντικείμενο την επιτυχή εκτίμηση της DoA ενός σήματος όπως MUSIC, ESPRIT, Matrix Pencil, Αλγόριθμος Νευρωνικών Δικτύων κτλ. Η λειτουργία όλων των αλγορίθμων βασίζεται στην χρήση στοιχειοκεραιών για την ανίχνευση του αφικνούμενου σήματος. Ένα επόμενο βήμα σε μια διαδικασία DoA είναι ο προσδιορισμός της ακριβούς θέσης της κινητής μονάδας εκπομπής και του σήματος. Για την εκτίμηση της θέσης εκτός από την DoA απαιτείται να βρεθεί και η απόσταση της μονάδας από την στοιχειοκεραία-αισθητήρα που χρησμοποιείται για την ανίχνευση του σήματος. Στην παρούσα εργασία αναπτύχθηκε και προτείνεται μεθοδολογία με εφαρμογή αλγορίθμων Νευρωνικών Δικτύων για τον προσδιορισμό της θέσης (location) του πομπού ενός σήματος, δηλαδή εκτίμηση της DoA και της απόστασης (distance). Η μεθοδολογία συνίσταται στην ειδική επεξεργασία των σημάτων που εμφανίζονται στην είσοδο γραμμικής στοιχειοκεραίας με τον προσδιορισμό της DoA να προηγείται και στην συνέχεια να χρησιμοποιείται σαν δεδομένο πληροφορία για τον υπολογισμό της απόστασης. Στις παραγράφους που ακολουθούν πραγματοποιείται μια σύντομη αναφορά σε αλγόριθμους DoA όπως προτείνεται στην βιβλιογραφία και ακολουθεί η ανάλυση και τα αποτελέσματα της προτεινόμενης μεθοδολογίας. 3.2 ΜΕΘΟΔΟΙ DoA [12]-[16] ΜΕΘΟΔΟΣ ΦΑΣΜΑΤΙΚΗΣ ΕΚΤΙΜΗΣΗΣ Αυτές οι μέθοδοι εκτιμούν την DoA υπολογίζοντας το χωρικό φάσμα και καθορίζοντας έπειτα τα τοπικά μέγιστα. Μια από τις πρώιμες μεθόδους φασματικής Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 46

47 ανάλυσης είναι η μέθοδος Bartlett όπου ένα ορθογώνιο παράθυρο ομοιόμορφου πλάτους εφαρμόζεται με χρονική σειρά στα δεδομένα προς ανάλυση. Η ισχύς εξόδου, εξαιτίας των πλευρικών λοβών που εμφανίζονται, δεν εξαρτάται μόνο από την κατεύθυνση στρέψης της στοιχειοκεραίας αλλά και από τις κατευθύνσεις των πλευρικών λοβών. Το γεγονός αυτό καθιστά την μέθοδο αυτή ιδιαίτερα ευαίσθητη στο φαινόμενο της διάδοσης των πολλαπλών διαδρομών ΜΕΘΟΔΟΣ ΓΡΑΜΜΙΚΗΣ ΠΡΟΒΛΕΨΗΣ Η μέθοδος αυτή εκτιμά την έξοδο ενός αισθητήρα χρησιμοποιώντας γραμμικούς συνδυασμούς των εναπομεινάντων αισθητήρων εξόδου και ελαχιστοποιεί το προβλεπόμενο μέσο τετραγωνικό σφάλμα μεταξύ της εκτιμώμενης και της πραγματικής εξόδου. Έτσι ορίζονται τα βάρη των στοιχειοκεραιών ελαχιστοποιώντας την ισχύ εξόδου της στοιχειοκεραίας με τον περιορισμό ότι τα βάρη στον επιλεγμένο αισθητήρα είναι μοναδιαία. Ωστόσο δεν υπάρχει ένα συγκεκριμένο κριτήριο για την σωστή επιλογή αυτού του στοιχείου. Η επιλογή αυτή επηρεάζει την ικανότητα ανάλυσης και την πόλωση στην εκτίμηση. Επίσης αυτά τα αποτελέσματα εξαρτώνται από το SNR (Signal Noise Ratio, SNR) και τον διαχωρισμό των κατευθυντικών πηγών. Η μέθοδος αυτή αποδίδει καλά σε ένα σχετικά χαμηλού SNR περιβάλλον και είναι ένας καλός συμβιβασμός σε περιπτώσεις που οι πηγές είναι ίσης ισχύος και φάσης MVDR ΕΚΤΙΜΗΤΗΣ (Minimum Variance Distortionless Response) Αυτή η μέθοδος γνωστή ως εκτιμητής MVDR (Minimum Variance Distortionless Response, MVDR) ή και ως βέλτιστος beamformer είναι μια τεχνική ελάχιστης διακύμανσης χωρίς παραμόρφωση που κάνει την εκτίμηση της ισχύος από μια σημειακή πηγή σε μια κατεύθυνση υποθέτοντας όλες τις άλλες πηγές ως παρεμβολή. Σε σχετική βιβλιογραφία για την διαμόρφωση δέσμης (beamforming) έχει χαρακτηριστεί ως ο βέλτιστος beamformer αφού ελλείψει λαθών μεγιστοποιεί το εξερχόμενο SNR. Η μέθοδος χρησιμοποιεί τα βάρη της στοιχειοκεραίας, τα οποία προκύπτουν ελαχιστοποιώντας την μέση ισχύ εξόδου, η οποία περιορίζεται στη κατεύθυνση που κοιτάμε προς την μονάδα. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 47

48 3.2.4 ΜΕΘΟΔΟΙ ΙΔΙΟΤΙΜΩΝ (Eigenstructure) Από μια σειρά μεθόδων ιδιοτιμών, που έχουν προταθεί, αυτή του Pisarenko έχει καλύτερες ιδιότητες ανάλυσης από τις μεθόδους ελάχιστης διασποράς, μέγιστης εντροπίας και γραμμικής πρόβλεψης. Κάποιες μέθοδοι λειτουργούν καλύτερα σε off-line υλοποιήσεις, ενώ άλλες είναι πιο χρήσιμες για real-time υλοποιήσεις. Αυτός ο τύπος των μεθόδων μπορεί να χρησιμοποιηθεί για θόρυβο βάθους που δεν είναι Λευκός αλλά έχει γνωστή ή άγνωστη διασπορά ή όταν οι πηγές είναι στο κοντινό πεδίο, αλλά ακόμα και όταν οι αισθητήρες έχουν άγνωστα μοντέλα κέρδους. Οι μέθοδοι αυτές στηρίζονται στις ακόλουθες ιδιότητες του πίνακα συσχετισμού (R) της στοιχειοκεραίας: (1) Ο χώρος που αποτελεί το πεδίο ορισμού των ιδιοδιανυσμάτων μπορεί να διαχωριστεί σε δυο υποχώρους, τον υποχώρο του σήματος και τον υποχώρο θορύβου. (2) Τα διανύσματα στρέψης των κατευθυντικών πηγών είναι ορθογώνια προς τον υποχώρο θορύβου. (3) Ο υποχώρος θορύβου είναι ορθογώνιος ως προς αυτό του σήματος. Η έκταση του υποχώρου του θορύβου εξαρτάται από τα ιδιοδιανύσματα που σχετίζονται με τις μικρότερες ιδιοτιμές του πίνακα συσχετισμού και η έκταση του υποχώρου εξαρτάται από τα ιδιοδιανύσματα που σχετίζονται με τις μεγαλύτερες τιμές. Συνήθως οι μέθοδοι αυτές εύρεσης διευθύνσεων, όπως αυτή των διανυσμάτων στρέψης που σχετίζονται με αυτές τις διευθύνσεις, είναι ορθογώνιες προς τον υποχώρο θορύβου και περιέχονται στον υποχώρο του σήματος. Η εύρεση συνήθως υλοποιείται σε δύο βήματα. Αρχικά βρίσκεται το διάνυσμα βάρους του θορύβου και έπειτα αναζητούνται διευθύνσεις, έτσι ώστε τα διανύσματα στρέψης που σχετίζονται με αυτές να είναι ορθογώνια προς αυτά τα διανύσματα βάρους ΑΛΓΟΡΙΘΜΟΣ MUSIC Ο αλγόριθμος MUSIC (Multiple Signal Classification, MUSIC), που προτάθηκε από τον Schmidt το 1979, είναι μια υψηλής ανάλυσης τεχνική ταξινόμησης πολλαπλού σήματος, η οποία χρησιμοποιεί τον πίνακα ιδιοτιμών του πίνακα συμμεταβλητότητας των σημάτων που εμφανίζονται στις εισόδους των στοιχείων της στοιχειοκεραίας. Πρόκειται για έναν υπολογιστικό αλγόριθμο των παραμέτρων του σήματος που δίνει πληροφορίες για τον αριθμό των προσπιπτόντων σημάτων, την DoA κάθε σήματος, τις ισχύς και τις αυτοσυσχετίσεις μεταξύ των προσπιπτόντων σημάτων, την ισχύ θορύβου Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 48

49 κ.α. Παρότι ο αλγόριθμος επιτυγχάνει μεγάλη ανάλυση, απαιτεί ιδιαιτέρως ακριβή ρύθμιση της συστοιχίας. Η μέθοδος MUSIC ή αλλιώς spectral MUSIC είναι μια σχετικά απλή και αποτελεσματική μέθοδο προσδιορισμού DoA με πολλές παραλλαγές. Η μέθοδος αυτή εκτιμά τον υποχώρο του θορύβου από τα διαθέσιμα δείγματα, είτε με διάσπαση των ιδιοτιμών του πίνακα δεδομένων είτε με διάσπαση των μοναδιαίων τιμών του πίνακα συσχέτισης, με τις στήλες Μ να είναι Ν στιγμιότυπα ή τα διανύσματα σήματος της στοιχειοκεραίας (προτιμάται για αριθμητικά αποτελέσματα). Όταν ο υποχώρος θορύβου έχει εκτιμηθεί γίνεται μια αναζήτηση των Μ διευθύνσεων ψάχνοντας για τα διανύσματα στρέψης που είναι ορθογώνια στο υποδιάστημα θορύβου. Εναλλακτικά μπορεί κάποιος να χρησιμοποιήσει τον υποχώρο του σήματος μόνο για να βρει διευθύνσεις με διανύσματα στρέψης να εμπεριέχονται σε αυτό τον υποχώρο. Στην περίπτωση που έχουμε μια πηγή, καθώς ο αριθμός των στιγμιότυπων αυξάνεται απεριόριστα, η εκτίμηση DoA με τον MUSIC αλγόριθμο προσεγγίζει την CRLB (Cramer-Rao Lower Boundary) η οποία καθορίζει το θεωρητικά χαμηλότερο όριο του σήματος, στο χρόνο μετάδοσης και στο SNR του δέκτη σε ένα ζευγάρι κεραιών σε διαφορετικές θέσεις. Για περισσότερες πηγές σημάτων η CRLB προσεγγίζεται για μεγάλο SNR ΜΕΘΟΔΟΣ CLOSEST Η μέθοδος αυτή είναι χρήσιμη για τον εντοπισμό πηγών σε έναν επιλεγμένο τομέα. Σε αντίθεση με τις beam-space μεθόδους, οι οποίες λειτουργούν σχηματίζοντας πρώτα μια ακτίνα σε επιλεγμένες κατευθύνσεις, αυτή η μέθοδος λειτουργεί στο διάστημα των στοιχείων. Κατά μια έννοια είναι μια γενικοποίηση της μεθόδου Min-Norm, αναζητά τα βάρη των συστοιχιών στο υποδιάστημα του θορύβου που είναι κοντά στα διανύσματα στρέψης τα σχετικά με τις DoA στον υπό μελέτη τομέα ΜΕΘΟΔΟΣ ESPRIT Η μέθοδος ESPRIT (Estimation of Signal Parameters via Rotational Invariance Techniques, ESPRIT) και οι σχετικές παραλλαγές της είναι μια υπολογιστικά αποδοτική και ισχυρή μέθοδος εκτίμησης DoA. Χρησιμοποιεί δυο πανομοιότυπες στοιχειοκεραίες Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 49

50 με την λογική ότι τα στοιχεία χρειάζεται να σχηματίζουν ζευγάρια με ένα πανομοιότυπο διάνυσμα μετατόπισης, όπου το δεύτερο στοιχείο κάθε ζευγαριού πρέπει να μετατοπιστεί κατά την ίδια απόσταση και κατά την ίδια κατεύθυνση σχετικά με το πρώτο στοιχείο. Αυτό δεν σημαίνει απαραίτητα πως χρειάζεται δυο ξεχωριστές στοιχειοκεραίες. Η γεωμετρία της στοιχειοκεραίας μπορεί να επιλεχθεί με τέτοιο τρόπο ώστε τα στοιχεία να έχουν αυτήν την ιδιότητα ΜΕΘΟΔΟΣ MATRIX PENCIL Η μέθοδος μπορεί να χρησιμοποιηθεί σε συστήματα προσαρμοσμένων κεραιών και έχει το πλεονέκτημα ότι απαιτεί ένα στιγμιαίο (snapshot) πλήθος τιμών (ρευμάτων) στις εισόδους της στοιχειοκεραίας για την εύρεση DoA. Η Matrix Pencil είναι ιδιαίτερα αποτελεσματική υπολογιστικά και εμφανίζει μικρές αποκλίσεις στον προσδιορισμό των παραμέτρων. Οι μαθηματικές διαδικασίες που απαιτούνται μπορούν να υλοποιηθούν με την βοήθεια hardware που υπάρχει στην αγορά. 3.3 ΜΕΘΟΔΟΣ ΠΡΟΣΔΙΟΡΙΣΜΟΥ ΘΕΣΗΣ ΜΕ ΧΡΗΣΗ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ Η μεθοδολογία που αναπτύσσεται στην παρούσα εργασία στηρίζεται στην μέθοδο προσδιορισμού θέσης με την χρήσης Τεχνητών Νευρωνικών Δικτύων. Πιο αναλυτικά βασίζεται στην λειτουργία κεραίας πολλαπλών στοιχείων και συγκεκριμένα γραμμικής στοιχειοκεραίας, με περιττό αριθμό στοιχείων. Η διάταξη του συστήματος φαίνεται στο σχήμα 3.1. Εικόνα 3.1 Διάταξη στοιχειοκεραίας. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 50

51 Ο παράγοντας διάταξης πεδίου που περιγράφει την συμπεριφορά (εκπομπήλήψη) στο μακρινό πεδίο γενικώς μιας στοιχειοκεραίας καθώς και της συγκεκριμένης, κατά την εκπομπή και την λήψη είναι : AF(θ, r s ) = μ οa o 4πr s e jωt N e jkr m m= N (3.1) Όπου θ η διεύθυνση εκπομπής ή άφιξης του σήματος (Εικ. 3.1), και R m η απόσταση του σημείου παρατήρησης ή της πηγής από το m-οστό στοιχείο της κεραίας. Το μέγεθος r s που στην σχέση (3.1) παριστάνει την απόσταση από το μέσο της κεραίας που επιλέγεται και σαν αρχή του συστήματος συντεταγμένων. Θεωρητικά το r s πρέπει να έχει τις τιμές R m αλλά όταν πρόκειται για το μακρινό πεδίο, και εφόσον δεν περιλαμβάνεται σε φασικό όρο αλλά στον παρανομαστή κάθε όρου του αθροίσματος, μπορεί κατά πολύ ικανοποιητική προσέγγιση να θεωρηθεί ότι έχει την ίδια τιμή για όλα τα στοιχεία. Αντιθέτως η προσέγγιση αυτή δεν μπορεί να γίνει στον φασικό όρο και τα αντίστοιχα R m ανάλογα. Για σημεία μακριά από την κεραία ισχύει: R m= r s z m sin θ + z m 2 z m 2 (sin θ) 2 + (3.2) 2r s 2r s Όπου z m είναι οι θέσεις των στοιχείων της κεραίας z m = md όπου m = N, (N 1),, 1, 0,1,2,, (N + 1), N Με βάση την παραπάνω ανάλυση το σήμα που θα εμφανίζεται στο m-οστό στοιχείο της κεραίας λόγω πρόσπτωσης επίπεδου κύματος από διεύθυνση θ και από την πηγή που βρίσκεται σε απόσταση r s είναι: S m = μ οe jωt 4πr s e jkr s e jkz m sin θ e jkz m 2 /2r s e jkz m 2 (sin θ) 2 /2r s (3.3) Η μεθοδολογία προσδιορισμού της DoA δηλαδή της γωνίας θ και ταυτόχρονα της εύρεσης του r s βασίζεται στις εξής παρατηρήσεις: (1) Ο φασικός όρος e jkr s της σχέσης (3.3) είναι ίδιος σε όλα τα στοιχεία και επομένως κατά την επεξεργασία μεταξύ των σημάτων στις εισόδους των στοιχείων δεν θα μπορεί να δώσει πληροφορία διαφορετική από στοιχείο σε στοιχείο, η οποία θα μπορούσε να συμβάλει στην ανίχνευση του σήματος. (2) Πληροφορία διαφορετική από στοιχείο σε στοιχείο, εφόσον εξαρτάται από την θέση του και ταυτόχρονα από την διεύθυνση θ παρέχει ο τρίτος φασικός όρος (e jkz m sin θ ) της σχέσης (3.3) καθώς και ο πέμπτος (e jkz m 2 (sin θ) 2 /2r s ) ο οποίος περιέχει και την απόσταση r s. Πρακτικά όμως η φάση του τέταρτου όρου είναι πολύ μικρότερη από εκείνη του τρίτου διότι z m 2r s οπότε η συμβολή του στην Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 51

52 διαφοροποίηση των όρων S m είναι πολύ μικρή και κυρίαρχος όρος είναι ο όρος (e jkz m sin θ ), ο οποίος περιέχει μόνο την γωνία θ αλλά όχι την απόσταση r s. (3) Πληροφορία διαφορετική από στοιχείο σε στοιχείο και που να περιέχει την ζητούμενη απόσταση r s έχει ο όρος e jkz m 2 /2r s χωρίς όμως να την γωνία θ. Όσον αφορά τον πέμπτο όρο ισχύουν όσα αναφέρθηκαν στην παρατήρηση (2). Σαν συνέπεια των παραπάνω παρατηρήσεων η μεθοδολογία αναπτύσσεται στα παρακάτω βήματα όπως φαίνεται και στην Εικόνα 3.2. Εικόνα 3.2 Διάταξη της μεθοδολογίας εύρεσης του DoA και της απόστασης της μονάδας. Τα σήματα S m κατόπιν επεξεργασίας-συσχέτισης τους δίνονται στην είσοδο του εκπαιδευμένου νευρωνικού δικτύου ANN_DoA, από την έξοδο του οποίου λαμβάνεται η γωνία άφιξης του σήματος (γωνία θ). Αντιστοίχως, τα σήματα S m υπόκεινται σε διαφορετική επεξεργασία-συσχέτιση, όπως προκύπτει από την θεωρητική ανάλυση για την εύρεση της απόστασης r s. Για την επεξεργασία αυτή απαιτείται η χρήση της γωνίας θ, η τιμή της οποίας λαμβάνεται από την έξοδο του ANN_DoA. Τα αποτελέσματα της επεξεργασίας εισάγονται στο ANN_r s, η έξοδος του οποίου παρέχει την απόσταση r s. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 52

53 3.4 ΠΡΟΣΔΙΟΡΙΣΜΟΣ DoA Για την εκπαίδευση του νευρωνικού δικτύου για την εύρεση της DoA, δημιουργείται ο πινάκας των σημάτων [S]. Βάσει του πίνακα σημάτων υπολογίζεται ο πίνακας συμμεταβλητότητας. Τα στοιχεία του πίνακα συμμεταβλητότητας προκύπτουν ως γινόμενο του κάθε σήματος με το συζυγές όλων των άλλων σημάτων. Από αυτόν αφαιρείται η κύρια διαγώνιος και από τα στοιχεία που παραμένουν προκύπτει το μιγαδικό διάνυσμα εκπαίδευσης b για το νευρωνικό δίκτυο. Παρακάτω δίνεται η δομή του πίνακα και το διάνυσμα εκπαίδευσης καθώς και ένα παράδειγμα κεραίας πέντε στοιχείων. Πίνακας συμμεταβλητότητας R 11 R 1N [R] = ( ) όπου R ij = S i S J R N1 R NN Διάνυσμα εκπαίδευσης του Νευρωνικό δίκτυο [ANN_DoA] b = [R 12, R 13,, R 1N, R 21, R 23,, R 2N, R 31, R 32,, R 3N,, R N,N 1 ] Παραλείπονται τα στοιχεία της διαγωνίου, R ii. Το πλήθος των συνιστωσών του διανύσματος εκπαίδευσης θα είναι: Ν Ν Ν = Ν(Ν 1) Το διάνυσμα αυτό χρησιμοποιείται σαν είσοδος στο νευρωνικό δίκτυο ANN_DoA. Επειδή οι τιμές του είναι μιγαδικές το πλήθος των κόμβων του στρώματος εισόδου του νευρωνικού δικτύου θα είναι διπλάσιο, δηλαδή 2Ν(Ν 1). Σε αυτό το διάνυσμα αντιστοιχεί και μια έξοδος το θ. Οπότε συνολικά ο πίνακας εκπαίδευσης θα αποτελείται από 2Ν(Ν 1) + 1 στήλες. Ακολουθεί ένα παράδειγμα υπολογισμού του πίνακα συμμεταβλητότητας και του διανύσματος εκπαίδευσης του νευρωνικού δικτύου για στοιχειοκεραία 5 στοιχείων. ΣΗΜΑΤΑ: S 2, S 1, S 0, S 1, S 2 Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 53

54 ΠΙΝΑΚΑΣ ΣΥΜΕΤΑΒΛΗΤΟΤΗΤΑΣ: [R] = [ S 2 S 2 S 1 S 2 S 0 S 2 S 2 S 1 S 1 S 1 S 0 S 1 S 2 S 0 S 2 S 1 S 2 S 2 S 1 S 0 S 1 S 1 S 1 S 2 S 0 S 0 S 0 S 1 S 0 S 2 S 1 S 2 S 2 S 2 S 1 S 1 S 2 S 1 S 1 S 0 S 1 S 1 S 1 S 2 S 2 S 0 S 2 S 1 S 2 S 2 ] Παραλείπονται τα στοιχεία της διαγωνίου, R ii : S 2 S 2 ΔΙΑΝΥΣΜΑ ΕΚΠΑΙΔΕΥΣΗΣ:, S 1 S 1, S 0 S 0, S 1 S 1, S 2 S 2 b = [S 1 S 2, S 0 S 2, S 1 S 2, S 2 S 2, S 2 S 1, S 0 S 1 S 1 S 1, S 2 S 1, S 2 S 0, S 1 S 0, S 1 S 0, S 2 S 0, S 2 S 1, S 1 S 1, S 0 S 1, S 2 S 1, S 2 S 2, S 1 S 2, S 0 S 2, S 1 S 2 ] Για την δημιουργία training set πάρθηκαν τιμές για το θϵ[ 30, 30 ] με βήμα ένα, και για το r s ϵ[1m, 600m] (από 1-10 m το βήμα ήταν 1m, από m το βήμα ήταν 10m και από m το βήμα ήταν 25m. 3.5 ΠΡΟΣΔΙΟΡΙΣΜΟΣ ΑΠΟΣΤΑΣΗΣ ΠΗΓΗΣ Στην διαδικασία συσχετισμού των σημάτων για προσδιορισμό της DoA οι τιμές των S i S j προκύπτουν ουσιαστικά από τον κυρίαρχο όρο (e jkz m sin θ ) καθώς οι όροι ανώτερης τάξης έχουν πολύ μικρότερο εκθέτη. Για τον προσδιορισμό του r s θα πρέπει να απομονωθεί πρώτα από κάθε S m ο όρος (e jkz m 2 /2r s ) και κατόπιν να γίνει η συσχέτιση τους. τα βήματα που πρέπει να πραγματοποιηθούν είναι: (1) Πολλαπλασιάζονται όλα τα S m με την τιμή S 0, δηλαδή την μιγαδική τιμή σήματος που εμφανίζεται στο μεσαίο στοιχείο. Η τιμή του S 0 σύμφωνα με τον τύπο (3.3.1) και (3.3) εξαρτάται κατά την φυσική διεργασία πρόσπτωσης του κύματος μόνο από τον όρο (e jkr s), επομένως μετά τον πολλαπλασιασμό έχει απαλειφθεί από την είσοδο όλων των στοιχείων ο όρος αυτός. (2) Με δεδομένη την γωνία θ πολλαπλασιάζονται όλα τα S m με τον αντίστοιχο όρο (e jz m sin θ ). Κατά την διαδικασία δημιουργίας των διανυσμάτων εκπαίδευσης δεν συμπεριλαμβάνεται στον υπολογισμό ο τέταρτος όρος της σχέσης (3.2) και αντίστοιχα ο πέμπτος φασικός όρος της (3.3). Ο όρος αυτός όπως και οι άλλοι ανώτερης τάξης ενυπάρχουν στην φυσική διεργασία αλλά οι τιμές τους και η μεταβολή τους, συναρτήσει των παραμέτρων θ και r s, είναι πάρα πολύ μικρές σε σχέση με εκείνες των Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 54

55 άλλων όρων και κατά ικανοποιητική προσέγγιση μπορούν να παραληφθούν. Στο τέλος του δεύτερου βήματος σε κάθε S m έχει μείνει μια τιμή, η οποία ουσιαστικά οφείλεται στον όρο (e jkz m 2 /2r s ), που η μόνη παράμετρος του προσπίπτοντος σήματος με την οποία συσχετίζεται είναι η r s. (3) Το μιγαδικών τιμών διάνυσμα εισόδου του δικτύου προσδιορίζεται με βάση τα S m που βρέθηκαν στο προηγούμενο βήμα ως εξής: S N S (N 1), S N S (N 2),, S N S (N 1), Όλοι οι δυνατοί συνδυασμοί των S m εξαιρουμένων εκείνων που περιέχουν το S 0 Για παράδειγμα για μια κεραία 5 στοιχείων τα γινόμενα θα είναι τα εξής: S 2 S 1, S 2 S 1, S 2 S 2, S 1 S 1, S 1 S 2, S 1 S 2 Για να προκύψουν τα διανύσματα εκπαίδευσης συνδυάστηκαν τιμές για την γωνία θ, από -30 <θ<30, ανά μια μοίρα με όλες τις αποστάσεις r s από 1 10m με βήμα 1m, από m με βήμα 10m και από m τιμές με βήμα 25m. Συνολικά χρησιμοποιήθηκαν 2501 training sets (61*( )=2501 training sets). Για κάθε ζευγάρι θ και r s υπολογίστηκαν τα σήματα κάθε στοιχείου της στοιχειοκεραίας με την βοήθεια του παραπάνω τύπου και με βάση αυτά δημιουργήθηκε το διάνυσμα εισόδου. Το διάνυσμα εισόδου του νευρωνικού δικτύου προκύπτει από τις μιγαδικές τιμές όλων των γινομένων S m, όπως προαναφέρθηκε, εκτός από αυτών που περιλαμβάνουν τιμές του μεσαίου στοιχείου. Στο νευρωνικό δίκτυο οι είσοδοι είναι το διπλάσιο του πλήθους των μιγαδικών γινομένων των S m, γιατί οι μιγαδικές τιμές διαχωρίστηκαν σε πραγματικό και φανταστικό μέρος. Για την εκπαίδευση του δικτύου ως διάνυσμα εξόδου ορίσαμε το r s του εκάστοτε διανύσματος εισόδου. Το επόμενο βήμα ήταν ο έλεγχος του νευρωνικού δικτύου. Για να δημιουργηθούν τα testing sets δόθηκαν 1000 τυχαία ζεύγη [θ, r s ], με θ από -30 έως 30 και r s από 3m έως 600m, και δημιουργήθηκαν 1000 τυχαία διανύσματα εισόδου, όπου πλέον αυτές οι τιμές r s είναι και οι επιθυμητές μας έξοδοι (targets). Ο λόγος του επιλέχθηκαν αποστάσεις από 3-600m είναι γιατί από 1-3m πρακτικά βρισκόμαστε στο κοντινό πεδίο της κεραίας όπου οι τύποι (3.1), (3.3) δεν ισχύουν. Έπειτα πάρθηκαν οι έξοδοι του δικτύου (outputs ή αλλιώς results) από αυτά τα τυχαία διανύσματα εισόδου και συγκρίθηκαν με τα targets για ελεγχθεί κατά πόσο δίνει σωστά αποτελέσματα το νευρωνικό δίκτυο. Στο τέλος κάθε προσομοίωσης υπολογίστηκαν οι δείκτες Mean Absolute Error (MAE), Root Mean Squared Error (RMSE) και το Mean Absolute Percent Error (MAPE). N MAE = 1 N d(p) y o(p) 1 (3.4) Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 55

56 N RMSE = 1 N [d(p) y o(p)] 2 1 (3.5) N MAPE = 1 N d(p) y o(p) 100% (3.6) d(p) 1 Όπου Ν το πλήθος των τυχαίων δειγμάτων, όπου στην εργασία ήταν Όσον αφορά το νευρωνικό δίκτυο αυτό από μόνο του χρησιμοποιεί το 70% των training sets για εκπαίδευση, το 15% για validation και το 15% για testing. Οι νευρώνες του κρυμμένου στρώματος επιλέχθηκαν να είναι 100 (hidden nodes). O αλγόριθμος εκπαίδευσης που χρησιμοποιήθηκε ήταν ο Levenberg-Marguardt backpropagation (LM), ο οποίος είναι μια γρηγορότερη έκδοση του Back Propagation Αλγόριθμου. Η συνάρτηση μεταφοράς που χρησιμοποιήθηκε ήταν η σιγμοειδής συνάρτηση υπερβολικής εφαπτομένης (Tansig hyperbolic tangent sigmoid transfer function) για το κρυμμένο στρώμα και για το στρώμα εξόδου η γραμμική συνάρτηση (Purelin linear transfer function). Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 56

57 4. ΑΠΟΤΕΛΕΣΜΑΤΑ - ΣΥΜΠΕΡΑΣΜΑΤΑ 4.1 ΑΠΟΤΕΛΕΣΜΑΤΑ ΓΙΑ DοA Τα αποτελέσματα που ακολουθούν αφορούν το νευρωνικό δίκτυο ΑΝΝ_DoA, που χρησιμοποιήθηκε για την εύρεση της γωνίας θ που αντιστοιχεί στη θέση της πηγής του σήματος. Για το training set πάρθηκαν τιμές για το θε[ 30, 30 ] και για την απόσταση από 1m-10m με βήμα 1m, από 10m-100m με βήμα 10m, από 100m-600m με βήμα 25m. Για τον έλεγχο-επαλήθευση πάρθηκαν επίσης τιμές για θε[ 30, 30 ] και το r s ε[3m, 600m]. Τα αποτελέσματα αφορούν τέσσερις περιπτώσεις, στοιχειοκεραίας με πέντε στοιχεία (n=5). Στην κάθε περίπτωση δίνονται αποτελέσματα για τέσσερις διαφορετικές αποστάσεις στοιχείων d=0.25λ, d=0.5λ, d=0,75λ και d=1λ. Σε όλες τις περιπτώσεις για την υλοποίηση του νευρωνικού δικτύου, χρησιμοποιήθηκε το module Νευρωνικών Δικτύων του λογισμικού MATLAB. Στα κρυμμένα στρώματα, χρησιμοποιήθηκαν 50 κρυφοί νευρώνες (hidden nodes). Η έξοδος όπως προαναφέρθηκε είναι μια, και είναι η γωνίας θ του προσπίπτοντος σήματος. Όσον αφορά το πλήθος των κόμβων εισόδου, όπως φαίνεται και παρακάτω από την εικόνα με την αρχιτεκτονική του νευρωνικού δικτύου που χρησιμοποιήθηκε, είναι : 2n(n 1) = = 40 Εικόνα 4.1 Αρχιτεκτονική του Νευρωνικού δικτύου εκπαίδευσης στοιχειοκεραίας 5 στοιχειών, για DoA. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 57

58 (1α) DoA για n=5, d=0,25λ Εικόνα 4.2 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 5 στοιχείων και d=0,25λ. Εικόνα 4.3 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 5 στοιχείων και d=0,25λ. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 58

59 (1β) DoA για n=5, d=0,5λ Εικόνα 4.4 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 5 στοιχείων και d=0,5λ. Εικόνα 4.5 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 5 στοιχείων και d=0,5λ Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 59

60 (1γ) DoA για n=5, d=0,75λ Εικόνα 4.6 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 5 στοιχείων και d=0,75λ Εικόνα 4.7 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 5 στοιχείων και d=0,75λ. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 60

61 (1δ) DoA για n=5, d=1λ Εικόνα 4.8 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 5 στοιχείων και d=1λ. Εικόνα 4.9 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 5 στοιχείων και d=1λ. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 61

62 Ακολουθούν τα διαγράμματα των δεικτών MAE, RMSE και MAPE συναρτήσει της απόστασης των στοιχείων συγκεντρωτικά και για τις τέσσερις περιπτώσεις κεραίας με d=0.25λ, d=0.5λ, d=0.75λ και d=1λ, όπως υπολογίστηκαν εκτός του module MATLAB, με βάση τους τύπους (3.4)-(3.6). Τα στατιστικά αποτελέσματα υπολογίστηκαν επί χιλίων δειγμάτων δοκιμής. Εικόνα 4.10 MAE συναρτήσει απόστασης στοιχείων (d=0.25λ, 0.5λ, 0.75λ, 1λ) για DoA. Στατιστικά αποτελέσματα σε 1000 δείγματα. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 62

63 Εικόνα 4.11 RMSE συναρτήσει απόστασης στοιχείων (d=0.25λ, 0.5λ, 0.75λ, 1λ) για DoA. Στατιστικά αποτελέσματα σε 1000 δείγματα. Εικόνα 4.12 MAPE συναρτήσει απόστασης στοιχείων (d=0.25λ, 0.5λ, 0.75λ, 1λ) για DoA. Στατιστικά αποτελέσματα σε 1000 δείγματα. Σαν γενική παρατήρηση το δίκτυο δίδει ακριβή πρόβλεψη με στοιχειοκεραία στις οποίες η απόσταση μεταξύ των στοιχείων είναι μικρότερη των 0.75λ. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 63

64 4.2 ΑΠΟΤΕΛΕΣΜΑΤΑ ΓΙΑ ΤΗΝ ΕΥΡΕΣΗ ΤΗΣ ΑΠΟΣΤΑΣΗΣ ΤΗΣ ΠΗΓΗΣ Τα αποτελέσματα που ακολουθούν αφορούν το νευρωνικό δίκτυο που χρησιμοποιήθηκε για την εύρεση της απόστασης r s της πηγής του σήματος. Για το training set πάρθηκαν τιμές για το θε[ 30, 30 ] και για την απόσταση από 1m-10m με βήμα 1m, από 10m-100m με βήμα 10m, από 100m-600m με βήμα 25m. Για την προσομοίωση πάρθηκαν επίσης τιμές για θε[ 30, 30 ] και το r s ε[3m, 600m]. Τα αποτελέσματα αφορούν τρείς περιπτώσεις στοιχειοκεραιών με n=3, n=5 και n=7 στοιχεία. Στην κάθε περίπτωση στοιχειοκεραίας δίνονται αποτελέσματα για τέσσερις διαφορετικές αποστάσεις στοιχείων d=0.25λ, d=0.5λ, d=0,75λ και d=1λ. Σε όλες τις περιπτώσεις για την υλοποίηση του νευρωνικού δικτύου, στα κρυμμένα στρώματα, χρησιμοποιήθηκαν 100 κρυφοί νευρώνες (hidden nodes). Η έξοδος όπως προαναφέρθηκε είναι μια, και είναι η απόσταση r s της πηγής του σήματος. Όσον αφορά το πλήθος των εισόδων, για την κάθε περίπτωση στοιχειοκεραίας (3,5,7 στοιχεία), όπως φαίνεται και παρακάτω από τις εικόνες της αρχιτεκτονικής του εκάστοτε νευρωνικού δικτύου που χρησιμοποιήθηκε, είναι διαφορετικό. Δηλαδή: Για στοιχειοκεραία τριών στοιχείων οι είσοδοι του νευρωνικού είναι 2. Για στοιχειοκεραία πέντε στοιχείων οι είσοδοι του νευρωνικού είναι 12. Για στοιχειοκεραία εφτά στοιχείων οι είσοδοι του νευρωνικού είναι 30. (1) Στοιχειοκεραία με 3 στοιχεία Εικόνα 4.13 Αρχιτεκτονική του Νευρωνικού δικτύου για στοιχειοκεραία 3 στοιχειών. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 64

65 (1α) n=3, d=0,25λ Εικόνα 4.14 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 3 στοιχείων και d=0,25λ. Εικόνα 4.15 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 3 στοιχείων και d=0,25λ. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 65

66 (1β) n=3, d=0,5λ Εικόνα 4.16 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 3 στοιχείων και d=0,5λ. Εικόνα 4.17 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 3 στοιχείων και d=0,5λ Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 66

67 (1γ) n=3, d=0,75λ Εικόνα 4.18 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 3 στοιχείων και d=0,75λ. Εικόνα 4.19 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 3 στοιχείων και d=0,75λ Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 67

68 (1δ) n=3, d=1λ Εικόνα 4.20 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 3 στοιχείων και d=1λ. Εικόνα 4.21 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 3 στοιχείων και d=1λ Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 68

69 (2) Στοιχειοκεραία με 5 στοιχεία (2α) n=5, d=0,25λ Εικόνα 4.22 Αρχιτεκτονική του Νευρωνικού δικτύου για στοιχειοκεραία 5 στοιχειών. Εικόνα 4.23 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 5 στοιχείων και d=0,25λ. Εικόνα 4.24 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 5 στοιχείων και d=0,25λ Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 69

70 (2β) n=5, d=0,5λ Εικόνα 4.25 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 5 στοιχείων και d=0,5λ. Εικόνα 4.26 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 5 στοιχείων και d=0,5λ Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 70

71 (2β) n=5, d=0,75λ Εικόνα 4.27 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 5 στοιχείων και d=0,75λ. Εικόνα 4.28 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 5 στοιχείων και d=0,75λ Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 71

72 (2δ) n=5, d=1λ Εικόνα 4.29 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 5 στοιχείων και d=1λ. Εικόνα 4.30 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 5 στοιχείων και d=0,1λ Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 72

73 (3) Στοιχειοκεραία με 7 στοιχεία (3α) n=7, d=0,25λ Εικόνα 4.31 Αρχιτεκτονική του Νευρωνικού δικτύου για στοιχειοκεραία 7 στοιχειών. Εικόνα 4.32 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 7 στοιχείων και d=0,25λ. Εικόνα 4.33 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 7 στοιχείων και d=0,25λ Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 73

74 (4β) n=7, d=0,5λ Εικόνα 4.34 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 7 στοιχείων και d=0,5λ. Εικόνα 4.35Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 7 στοιχείων και d=0,5λ Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 74

75 (3γ) n=7, d=0,75λ Εικόνα 4.36 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 7 στοιχείων και d=0,75λ. Εικόνα 4.37 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 7 στοιχείων και d=0,75λ Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 75

76 (3δ) n=7, d=1λ Εικόνα 4.38 Διάγραμμα MSE συναρτήσει των εποχών εκπαίδευσης για στοιχειοκεραία 7 στοιχείων και d=1λ. Εικόνα 4.39 Ιστόγραμμα δειγμάτων συναρτήσει του σφάλματος για στοιχειοκεραία 7 στοιχείων και d=1λ Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 76

77 Ακολουθούν τα διαγράμματα των δεικτών MAE, RMSE και MAPE συγκεντρωτικά και για τις τρεις περιπτώσεις 3,5 και 7 στοιχείων κεραίας με αποστάσεις στοιχείων d=0.25λ, d=0.5λ, d=0.75λ και d=1λ. Εικόνα 4.40 Διάγραμμα MAE συναρτήσει της απόστασης των στοιχείων για στοιχειοκεραία για n=3,5,7. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 77

78 Εικόνα 4.41 Διάγραμμα RMSE συναρτήσει της απόστασης των στοιχείων για στοιχειοκεραία για n=3,5,7. Εικόνα 4.42 Διάγραμμα MAPE συναρτήσει της απόστασης των στοιχείων για στοιχειοκεραία n=3,5,7. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 78

79 4.3 ΣΥΜΠΕΡΑΣΜΑΤΑ ΜΕΛΛΟΝΤΙΚΗ ΕΡΓΑΣΙΑ Σύμφωνα με τα αποτελέσματα που έχουν προκύψει από την προσομοίωση τόσο για τη DoA όσο και για την εύρεση της απόσταση της πηγής, προκύπτει το συμπέρασμα ότι η μεθοδολογία που εφαρμόστηκε για την ειδική επεξεργασία των σημάτων και την εκπαίδευση των δικτύων είναι αποτελεσματική. Τα Νευρωνικά δίκτυα που δημιουργήθηκαν έχουν ικανοποιητική απόδοση και οι δείκτες MAE, RMSE και MAPE αποδεικνύουν ότι τα ΑΝΝs και για την γωνία θ αλλά και για την απόσταση r s προσεγγίζουν πολύ καλά τις πραγματικές τιμές. Τα ειδικότερα συμπεράσματα είναι τα εξής: 1. Τις βέλτιστες αποδόσεις φαίνεται να έχει το δίκτυο για την κεραία των πέντε στοιχείων. Οι δείκτες σύγκλισης κατά την εκπαίδευση αλλά και την φάση ελέγχου καθώς και τα διαγράμματα διασποράς σφαλμάτων είναι καλύτερα για όλες τις τιμές απόστασης μεταξύ των στοιχείων, σε σχέση με τα αντίστοιχα των δικτύων για τρία και επτά στοιχεία. 2. Για όλα τα δίκτυα το μικρότερο σφάλμα κατά τον προσδιορισμό απόστασης της κινητής μονάδας παρουσιάζεται για απόσταση μεταξύ των στοιχείων της κεραίας ίση με 0.5λ Το αποτελέσματα αποδεικνύουν ότι μπορούμε να προσδιορίσουμε με ικανοποιητική ακρίβεια την θέση της κινητής μονάδας και η μεθοδολογία χρήσης Νευρωνικών δικτύων για τον εντοπισμό των χρηστών θα μπορούσε να ενσωματωθεί σε ένα ευφυές κεραιοσύστημα με δυνατότητα δημιουργίας κατευθυντικής δέσμης, για τον χρήστη που εξυπηρετείται, τέτοια ώστε να μειώνει τις παρεμβολές μεταξύ των κινητών μονάδωνπαρεμβολέων και να αυξάνει το SNR (Signal Noise Ratio, SNR). Μια πρόταση για μελλοντική εργασία θα μπορούσε να είναι η δημιουργία ενός συστήματος το οποίο θα χρησιμοποιεί ένα μόνο νευρωνικό δίκτυο, το οποίο θα δίνει σαν έξοδο του την γωνία θ και την απόσταση r s. Η δομή ενός τέτοιου συστήματος θα μπορούσε να είναι η παρακάτω. Εικόνα 4.43 Σύστημα εύρεσης Θέσης μονάδας με χρήση ενός μόνο ΝΝ. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης - ΠΜΣ Ραδιοηλεκτρολογίας 79