ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΟΜΕΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΜΟΝΑΔΑ ΕΠΕΞΕΡΓΑΣΙΑΣ ΣΗΜΑΤΟΣ ΚΑΙ ΒΙΟΪΑΤΡΙΚΗΣ ΤΕΧΝΟΛΟΓΙΑΣ «Εκτίμηση συναισθηματικής σύζευξης με οπτικές (2D/3D) διεγέρσεις bullying μέσω βαθιάς μάθησης και Αποσύνθεσης Σμήνους σε δεδομένα EEG υψηλής ανάλυσης (256 καναλιών)» ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ των Μπαλτατζή Βασιλείου, ΑΕΜ 7727, Μπίντση Κυριακής-Μαργαρίτας, ΑΕΜ 7731 Επιβλέπων καθηγητής: Ρέκανος Ιωάννης Θεσσαλονίκη, Μάρτιος 2017

2

3 Περίληψη Το bullying αποτελεί ένα διαχρονικό φαινόμενο και το πρώτο, αλλά ταυτόχρονα πολύ δύσκολο, βήμα για την αντιμετώπισή του είναι η αναγνώριση του φαινομένου. Η σύνδεση του συγκεκριμένου φαινομένου με τον ανθρώπινο εγκέφαλο και δη με το πεδίο των συναισθημάτων και της ενσυναίσθησης θεωρείται δεδομένη. Στην παρούσα διπλωματική εργασία χρησιμοποιήθηκε πείραμα καταγραφής της εγκεφαλικής δραστηριότητας του ατόμου κατά τη θέαση οπτικών διεγέρσεων δύο και τριών διαστάσεων με στόχο την εκτίμηση της συναισθηματικής σύζευξης με το ερέθισμα. Στην υπάρχουσα βιβλιογραφία, η ανάλυση του εγκεφαλογραφήματος για προβλήματα εκτίμησης συναισθημάτων και ταξινόμησης συνήθως γίνεται με εξαγωγή χαρακτηριστικών από τα πεδία του χρόνου και της συχνότητας, τα οποία χρησιμοποιούνται σε αλγορίθμους μηχανικής μάθησης. Ωστόσο, εδώ προτείνεται η χρήση ενός συνελικτικού νευρωνικού δικτύου με στόχο την αναγνώριση προτύπων στα ακατέργαστα δεδομένα, δηλαδή τις ίδιες τις κυματομορφές του ηλεκτροεγκεφαλογραφήματος. Τα δεδομένα του ηλεκτροεγκεφαλογραφήματος μετασχηματίζονται σε μορφή εικόνας, καθώς αυτή είναι η μορφή δεδομένων εισόδου που δέχονται τα συνελικτικά νευρωνικά δίκτυα. Για το σκοπό αυτό, χρησιμοποιείται η Αποσύνθεση Σμήνους, με την οποία το σήμα κάθε ηλεκτροδίου αναλύεται σε απλούστερες συχνοτικά συνιστώσες. Έτσι, τα δεδομένα εισόδου παίρνουν τη μορφή: C x T x OC, όπου C είναι τα 256 κανάλια, Τ τα δείγματα στο πεδίο του χρόνου και OC, οι συνιστώσες του κάθε ηλεκτροδίου. Τα συνελικτικά νευρωνικά δίκτυα που χρησιμοποιήθηκαν είχαν σχετικά μικρό βάθος, καθώς στόχος ήταν η διατήρηση χαμηλού χρόνου εκπαίδευσης και υπολογιστικής πολυπλοκότητας αλλά και η επιβεβαίωση της πεποίθησης ότι η Αποσύνθεση Σμήνους θα δώσει στο δίκτυο τη δυνατότητα να αναγνωρίσει πιο εύκολα πρότυπα στις κυματομορφές, μετά το διαχωρισμό των διαφόρων συχνοτικών περιεχομένων. Τα αποτελέσματα έδειξαν ότι η βαθιά μάθηση και τα συνελικτικά νευρωνικά δίκτυα υπερτερούν σημαντικά των αλγορίθμων της μηχανικής μάθησης. 3

4 Abstract Bullying is an everlasting phenomenon and the first, but simultaneously very difficult, step towards the solution is its detection. The connection between bullying and the human brain and specifically with emotions has been scientifically proven. In this thesis, an experiment that records brain activity during two-dimensional and three-dimensional visual stimuli is used with the purpose of an estimation of the subject s emotional entanglement with the stimuli. In relevant literature, EEG analysis for the problems of estimation of emotions and classification is usually approached with feature selection from time and frequency domains, which are then utilized in machine learning algorithms. However, the use of a convolutional neural network is proposed here with the purpose of pattern recognition on raw data, which are the original EEG waveforms. The EEG data are transformed in an image like format, since convolutional neural networks receive inputs mostly in image formats. For this reason, swarm decomposition is used and this each electrode s signal is decomposed into simpler oscillatory components. Therefore, the CNN input data have the following structure: C x T x OC, where C are the 256 channels, T are temporal samples and OC each electrode s components. The CNN structures that were used have relatively small depth, since the target was to retain training time and computational complexity to low levels but also to confirm the allegation that swarm decomposition will enable the network to recognize patterns on the waveforms more easily, after the distinction of the oscillatory components. The results indicate that deep learning and convolutional neural networks outmatch significantly machine learning algorithms. 4

5 Ευχαριστίες Θα θέλαμε να ευχαριστήσουμε τον επιβλέποντα Καθηγητή Ιωάννη Ρέκανο για την εμπιστοσύνη που μας έδειξε, καθώς και το μέντορά μας, Καθηγητή Λεόντιο Χατζηλεοντιάδη, η συνεχής καθοδήγηση του οποίου μας έδωσε τη δυνατότητα να πετύχουμε τόσα πολλά πράγματα, τα οποία χωρίς αυτόν δε θα είχαν γίνει πραγματικότητα. Επίσης, θα θέλαμε να κάνουμε μια ιδιαίτερη αναφορά στο Εργαστήριο Επεξεργασίας Σήματος και Βιοϊατρικής Τεχνολογίας, και ειδικότερα στο Γιώργο Αποστολίδη, για τη βοήθειά τους και στο φίλο μας Στέφανο που μας παρείχε την, απαραίτητη για τη διεκπεραίωση της εργασίας, κάρτα γραφικών NVIDIA. Τέλος, αφιερώνουμε αυτή την εργασία στις οικογένειες μας που μας στήριξαν με κάθε δυνατό τρόπο καθ όλη τη διάρκεια των φοιτητικών μας χρόνων. 5

6 6

7 Περιεχόμενα Περίληψη... 3 Abstract... 4 Ευχαριστίες... 5 Κατάλογος εικόνων... 9 Κατάλογος Πινάκων Εισαγωγή Σκοπός της εργασίας Διάρθρωση της εργασίας Εγκέφαλος και ηλεκτροεγκεφαλογραφία Ανατομία του ανθρώπινου εγκεφάλου Δομή και λειτουργικότητα νευρώνων Νευρώνες καθρέπτες (Mirror Neurons) Το ηλεκτροεγκεφαλογράφημα (ΗΕΓ) Εγκεφαλικοί ρυθμοί Θεωρητικό υπόβαθρο Αποσύνθεση Σμήνους (Swarm Decomposition- SWD) Περιγραφή της μεθόδου Βαθιά μάθηση (Deep Learning) Ταξινόμηση Μετρικές αξιολόγησης Τεχνητά νευρωνικά δίκτυα (Artificial Neural Networks) Συνελικτικά νευρωνικά δίκτυα - ΣΝΔ (Convolutional Neural Networks) Συνελικτικό επίπεδο (Convolutional layer) Συναρτήσεις ενεργοποίησης (Activation functions) Επίπεδo κανονικοποίησης (Normalization layer) Επίπεδο χωρικής υποδειγματοληψίας (Pooling layer) Πλήρως συνδεδεμένo επίπεδo (Fully connected layer) Υπολογιστικές απαιτήσεις Πειραματική διαδικασία Συσκευή καταγραφής ηλεκτροεγκεφαλογραφήματος

8 4.2 Συμμετέχοντες Πειραματικό πρωτόκολλο Παρουσίαση της μεθόδου Προεπεξεργασία δεδομένων (Pre-processing) Εφαρμογή Αποσύνθεσης Σμήνους Ομαδοποίηση καναλιών Αλγόριθμος k-means Αλγόριθμος Ιεραρχικής ομαδοποίησης Δομή του ΣΝΔ Παρουσίαση Αποτελεσμάτων Ανακεφαλαίωση & Συμπεράσματα Βιβλιογραφία

9 Κατάλογος εικόνων Σχήμα 2.1-1: (α) Εγκάρσια τομή του ανθρώπινου εγκεφάλου και χαρακτηριστικές δομές. (β) Λοβοί και αύλακες-σχισμές του εγκεφάλου Σχήμα 2.2-1: Δομή του νευρικού κυτάρου (νευρώνας) Σχήμα 2.3-1: Στιγμιότυπα Λειτουργικής Απεικόνισης Μαγνητικού Συντονισμού (fmri) Σχήμα 2.3-2: Τεχνικές νευροαπεικόνισης και το εύρος λειτουργίας τους στο πεδίο του χώρου και του χρόνου. [140] Σχήμα 2.3-3: Ο εγκεφαλογράφος 256 καναλιών HCGSN (HydroCel Geodesic Sensor Net) Σχήμα 2.3-4: Πολυκαναλικό σήμα EEG 20 καναλιών Σχήμα 2.3-5: (α) Οι θέσεις τοποθέτησης των ηλεκτροδίων και οι αποστάσεις μεταξύ τους σύμφωνα με το αρχικό σύστημα (β) Οι θέσεις τοποθέτησης των ηλεκτροδίων σύμφωνα με το εκτεταμένο σύστημα (Οι θέσεις Τ7,Ρ7,Τ8 ΚΑΙ Ρ8 που μετονομάστηκαν απεικονίζονται με μαύρο χρώμα Σχήμα 2.4-1: Απεικόνιση των πέντε βασικών ρυθμών του ΗΕΓ: δ (1-4 Hz), θ (4-8 Hz), α (8-13 Hz), β (13-30 Hz), και γ (>30 Hz) Σχήμα : Εφαρμογή της Αποσύνθεσης Σμήνους σε ένα ηχητικό σήμα στο χρόνο (αριστερά) και στη συχνότητα (δεξιά). Η πρώτη κυματομορφή είναι το αρχικό σήμα, οι επόμενες δύο είναι τα oscillatory modes στα οποία αναλύεται και η τελευταία το υπόλοιπο του σήματος (residual) Σχήμα : Πίνακας σύγχισης (confusion matrix) Σχήμα : ROC καμπύλη Σχήμα : Αριστερά: Παράδειγμα όγκου εισόδου με κόκκινο (π.χ. μία 32x32x3 CIFAR-10 εικόνα), και ένα παράδειγμα όγκου νευρώνων στο πρώτο Συνελικτικό επίπεδο. Κάθε νευρώνας σε ένα convolutional layer είναι συνδεδεμένος μόνο με μία τοπική περιοχή χωρικά του όγκου εισόδου, αλλά κατά το πλήρες βάθος. Σημειώνεται ότι υπάρχει πολλαπλοί νευρώνες (5 σε αυτό το παράδειγμα) κατά το βάθος, όλοι εκ των οποίων εφαρμόζονται στην ίδια περιοχή της εισόδου. Δεξιά: Οι νευρώνες παραμένουν ίδιοι με αυτούς των τυπικών Νευρωνικών Δικτύων: υπολογίζουν ένα γινόμενο (dot product) των βαρών με την είσοδο ακολουθούμενο από μία μηγραμμικότητα, με την διαφορά ότι η συνδεσιμότητα τους είναι τώρα περιορισμένη τοπικά στον χώρο

10 Σχήμα : Είσοδος/Έξοδος συνελικτικού επιπέδου με 96 φίλτρα πυρήνων μεγέθους 7x7x3, βήματος 3 και γεμίσματος Σχήμα : Παράδειγμα συνελικτικού επιπέδου. Όλοι οι όγκοι (ο όγκος εισόδου με μπλε, οι όγκοι των βαρών με κόκκινο και ο όγκος εξόδου με πράσινο) οπτικοποιούνται με κάθε επίπεδο διαφορετικού βάθους να απεικονίζεται στους πίνακες της κάθε γραμμής. Ο όγκος εισόδου έχει W1=5, H1=5, D1=3 και οι παράμετροι του συνελικτικού επιπέδου είναι K=2, F-3, S-2, P=1. Τα φίλτρα είναι δύο, μεγέθους 3x3 και εφαρμόζονται με stride 2. Έτσι, ο όγκος εξόδου έχει χωρικό μέγεθος 3. Επιπλέον, παρατηρείται ότι padding P=1 εφαρμόζεται στον όγκο εισόδου, κάνοντας τα εξωτερικά σύνορα του όγκου εισόδου Σχήμα : Η πιο συνηθισμένη μέθοδος pooling είναι το max, που παρουσιάζεται εδώ με stride 2, δηλαδή λαμβάνεται το μέγιστο από κάθε επιμέρους μικρό τετράγωνο, διαστάσεων 2x Σχήμα 4.1-1: Τοπολογία των 256 καναλιών Σχήμα 4.2-1: Συμμετέχοντας κατά τη διάρκεια της πειραματικής διαδικασίας Σχήμα : Γεωδεσικό σύστημα καταγραφής Σχήμα 5.2-1: Εφαρμογή της Αποσύνθεσης Σμήνους σε ένα EEG σήμα στο χρόνο (αριστερά) και στη συχνότητα (δεξιά). Η πρώτη κυματομορφή είναι το αρχικό σήμα, οι επόμενες τρεις είναι οι συχνοτικές συνιστώσες στα οποία αναλύεται και η τελευταία το υπόλοιπο του σήματος (residual) Σχήμα : Ομαδοποίηση των 256 καναλιών σε 19 ομάδες με χρήση του αλγορίθμου k- means. Τα μέλη κάθε ομάδας παρουσιάζονται με διαφορετικό χρώμα, ενώ με x σημειώνεται το κέντρο της κάθε ομάδας Σχήμα : Αριστερά: δενδρόγραμμα ιεραρχικής ομαδοποίησης(αριστερά) και ομαδοποίηση που προκύπτει από αυτό (δεξιά) Σχήμα 5.4-1: Η δομή του ΣΝΔ που χρησιμοποιήθηκε με τ=

11 Κατάλογος Πινάκων Περιεχόμενα... 7 Πίνακας 2-1: Οι 19 θέσεις ηλεκτροδίων του αρχικού συστήματος και οι αντίστοιχες περιοχές της κεφαλής [4] Πίνακας 5.1: Παράμετροι που χρησιμοποιήθηκαν κατά την Αποσύνθεση Σμήνους Πίνακας 6.1: Πίνακας σύγχυσης, μετρικές αξιολόγησης και ROC καμπύλη για την περίπτωση δεδομένων χωρίς Αποσύνθεση Σμήνους και χωρίς ομαδοποίηση καναλιών Πίνακας 6.2: Πίνακας σύγχυσης, μετρικές αξιολόγησης και ROC καμπύλη για την περίπτωση δεδομένων χωρίς Αποσύνθεση Σμήνους και ομαδοποίηση καναλιών με K-means Πίνακας 6.3: Πίνακας σύγχυσης, μετρικές αξιολόγησης και ROC καμπύλη για την περίπτωση δεδομένων με Αποσύνθεση Σμήνους και χωρίς ομαδοποίηση καναλιών Πίνακας 6.4: Πίνακας σύγχυσης, μετρικές αξιολόγησης και ROC καμπύλη για την περίπτωση δεδομένων με Αποσύνθεση Σμήνους και ομαδοποίηση καναλιών με K-means Πίνακας 6.5: Πίνακας σύγχυσης, μετρικές αξιολόγησης και ROC καμπύλη για την περίπτωση δεδομένων 4 κλάσεων με Αποσύνθεση Σμήνους και ομαδοποίηση καναλιών με K-means

12 12

13 1 Εισαγωγή Η ανάπτυξη της τεχνολογίας έχει κάνει δυνατή τη «σύζευξη» των θετικών επιστημών και της ιατρικής με εντυπωσιακά αποτελέσματα, δημιουργώντας τον κλάδο της βιοϊατρικής. Ένα από τα πεδία έρευνας που συγκεντρώνει τεράστιο ενδιαφέρον είναι η μελέτη του ανθρώπινου εγκεφάλου. Σε αυτό το πεδίο συνδυάζονται η ιατρική γνώση της φυσιολογίας του εγκεφάλου με τις υπολογιστικές δυνατότητες των ηλεκτρονικών υπολογιστών και τα κατάλληλα μαθηματικά και υπολογιστικά εργαλεία έτσι ώστε να γίνει εφικτή η όσο το δυνατόν πληρέστερη κατανόηση του ανθρώπινου εγκεφάλου. Ένα τέτοιο παράδειγμα είναι η αναγνώριση συναισθήματος με βάση το ηλεκτροεγκεφαλογράφημα όπου χρησιμοποιώντας σήματα προερχόμενα από το ηλεκτροεγκεφαλογράφημα, επιχειρείται να αναγνωριστεί η συναισθηματική κατάσταση ενός συμμετέχοντα, ο οποίος έχει εκτεθεί σε κάποιο ερέθισμα, το οποίο είναι συνήθως εικόνα [1] ή ήχος [2] ή και τα δύο [3]. Στην παρούσα εργασία γίνεται μια προσπάθεια αναγνώρισης συναισθήματος όταν το ερέθισμα είναι οπτικές διεγέρσεις δύο και τριών διαστάσεων που σχετίζονται με το φαινομένο του bullying. Το συγκεκριμένο φαινόμενο συνδέεται στενά με την εγκεφαλική δραστηριότητα και πολλοί ειδικοί [4] θεωρούν ότι η επίλυση του προβλήματος μπορεί να επέλθει με τη μελέτη των εγκεφαλικών αποκρίσεων κατά τη διάρκεια του φαινομένου. 1.1 Σκοπός της εργασίας Σκοπός της παρούσας εργασίας είναι η χρήση καινοτόμου συνδυασμού μεθόδων τόσο για τη διέγερση του ανθρώπινου εγκεφάλου όσο και την ανάλυση των σημάτων του ηλεκτροεγκεφαλογραφήματος με στόχο την εκτίμηση της συναισθηματικής σύζευξης που επιτεύχθηκε. Συγκεκριμένα, για τη διέγερση χρησιμοποιούνται οπτικά ερεθίσματα (βίντεο) όχι μόνο δύο διαστάσεων αλλά και τριών, έτσι ώστε να επιτευχθεί ακόμη ισχυρότερη σύζευξη του υποκειμένου με το ερέθισμα. Όσον αφορά την υπολογιστική πλευρά της εργασίας, διερευνήθηκε η δυνατότητα χρήσης συνελικτικών νευρωνικών δικτύων αντί των συνηθισμένων αλγορίθμων μηχανικής μάθησης για το πρόβλημα της ταξινόμησης. Για το μετασχηματισμό των δεδομένων σε μορφή αντίστοιχη εικόνας προτείνεται η χρήση Αποσύνθεσης Σμήνους για την ανάλυση του σήματος κάθε καναλιού σε απλούστερες συχνοτικά συνιστώσες και η χρήση αλγορίθμων ομαδοποίησης για την επαναδιάταξη των καναλιών ώστε να περιλαμβάνεται η χωρική πληροφορία. 13

14 Πραγματοποιείται, επομένως, ένας συνδυασμός μεθόδων που δεν έχει εφαρμοστεί ξανά στη σχετική βιβλιογραφία. 1.2 Διάρθρωση της εργασίας Το υπόλοιπο αυτής της διπλωματικής εργασίας χωρίζεται σε 6 ενότητες που καταλαμβάνουν τα Κεφάλαια 2-7, αντίστοιχα. Συγκεκριμένα: Στο Κεφάλαιο 2 παρουσιάζονται βασικές έννοιες που αφορούν τον εγκέφαλο και το εγκεφαλογράφημα έτσι ώστε να γίνει μια εισαγωγή σε αυτό το πεδίο έρευνας. Στο Κεφάλαιο 3 παρουσιάζεται το θεωρητικό υπόβαθρο που είναι απαραίτητο στον αναγνώστη για τις έννοιες που παρουσιάζονται στη συνέχεια όπως βασικές έννοιες της Αποσύνθεσης Σμήνους καθώς και της βαθιάς μάθησης. Στο Κεφάλαιο 4 περιγράφεται η πειραματική διαδικασία ενώ στο Κεφάλαιο 5 η μέθοδος που χρησιμοποιήθηκε. Στο Κεφάλαιο 6 παρουσιάζονται και σχολιάζονται τα αποτελέσματα που προέκυψαν κατά τη διάρκεια αυτής της μελέτης. Τα τελικά συμπεράσματα της διπλωματικής εργασίας και κατευθύνσεις για περαιτέρω έρευνα παρουσιάζονται στο Κεφάλαιο 7. 14

15 2 Εγκέφαλος και ηλεκτροεγκεφαλογραφία 2.1 Ανατομία του ανθρώπινου εγκεφάλου Ο ανθρώπινος εγκέφαλος αποτελεί μαζί με το νωτιαίο μυελό το κεντρικό νευρικό σύστημα (ΚΝΣ) του ανθρώπινου σώματος [5]. Δέχεται αισθητήρια σήματα, πραγματοποιεί τις διαδικασίες της αντίληψης, της σκέψης και της λήψης αποφάσεων και προσδιορίζει τις κινητικές αποκρίσεις. Η κύρια λειτουργική μονάδα του ανθρώπινου εγκεφάλου είναι ο νευρώνας. Οι νευρώνες είναι σχεδιασμένοι ώστε να δέχονται πληροφορία, να λαμβάνουν αποφάσεις και να μεταδίδουν πληροφορία σε άλλους νευρώνες. Ο εγκέφαλος αποτελείται από δύο ημισφαίρια τα οποία χωρίζονται μεταξύ τους από την επιμήκη σχισμή. Βρίσκονται μέσα στο κρανίο και προστατεύονται από τα οστά του. Η εξωτερική τους επιφάνεια είναι ο φλοιός και έχει πάχος 1-4mm. Ο εγκέφαλος μπορεί να διαιρεθεί σε πέντε μέρη: τον τελικό, το διάμεσο, το μέσο, τον οπίσθιο και τον έσχατο εγκέφαλο (Σχήμα 2.1-1(α)). Σχήμα 2.1-1: (α) Εγκάρσια τομή του ανθρώπινου εγκεφάλου και χαρακτηριστικές δομές. (β) Λοβοί και αύλακες-σχισμές του εγκεφάλου 15

16 Ο τελικός εγκέφαλος αποτελείται κυρίως από τα δύο εγκεφαλικά ημισφαίρια και τους συνδέσμους των ημισφαιρίων. Κάθε ημισφαίριο αποτελείται από τέσσερις λοβούς (μετωπιαίος, βρεγματικός, ινιακός, κροταφικός) (Σχήμα (β)), τη λευκή ουσία και τα βασικά γάγγλια. Ο μετωπιαίος λοβός είναι υπεύθυνος για τους μηχανισμούς προσοχής, τη συμπεριφορά και την επίλυση προβλημάτων, μεταξύ άλλων λειτουργιών. Ο βρεγματικός λοβός περιλαμβάνει τα κέντρα αντίληψης των αισθήσεων, τον έλεγχο της κίνησης και τη λήψη αποφάσεων. Οι κροταφικοί λοβοί είναι υπεύθυνοι για την επεξεργασία των ακουστικών σημάτων και τη γλώσσα. Ο ινιακός λοβός εμπλέκεται με το σύστημα ελέγχου της όρασης. Ο διάμεσος εγκέφαλος βρίσκεται εσώτερα και αποτελείται μεταξύ άλλων από το θάλαμο, ο οποίος μεσολαβεί κατά τη μεταφορά πληροφορίας από τα αισθητηριακά συστήματα προς το φλοιό, και αντίστροφα, και τον υποθάλαμο, ο οποίος είναι υπεύθυνος για ορμονικές και συμπεριφορικές λειτουργίες. Μεταξύ του φλοιού και του υποθαλάμου βρίσκεται το μεταιχμιακό σύστημα, το οποίο περιλαμβάνει μεταξύ άλλων τον ιππόκαμπο και την αμυγδαλή και σχετίζεται με τον έλεγχο των συναισθημάτων. Ο μέσος εγκέφαλος περιλαμβάνει το τετράδυμο πέταλο και τα εγκεφαλικά σκέλη. Ο οπίσθιος εγκέφαλος αποτελείται από τη γέφυρα και την παρεγκεφαλίτιδα. Ο έσχατος εγκέφαλος περιλαμβάνει τον προμήκη μυελό. Ο προμήκης μυελός, η γέφυρα και ο μέσος εγκέφαλος αποτελούν το εγκεφαλικό στέλεχος. 2.2 Δομή και λειτουργικότητα νευρώνων Τα νευρικά κύτταρα, ή νευρώνες, είναι τα κύρια δομικά και λειτουργικά μέρη του εγκεφάλου. Κάθε νευρώνας αποτελείται από το σώμα, τους δενδρίτες και τον νευράξονα (Σχήμα 2.2-1). Το σώμα είναι το μεταβολικό κέντρο του κυττάρου και περιέχει τον πυρήνα. Οι δενδρίτες είναι επέκταση του σώματος και δέχονται ερεθίσματα από άλλα κύτταρα και τα μεταβιβάζουν στο σώμα. Ο άξονας διαδίδει σε άλλους νευρώνες τα ερεθίσματα που δημιουργούνται στη συμβολή του άξονα με το σώμα. 16

17 Σχήμα 2.2-1: Δομή του νευρικού κυτάρου (νευρώνας) Η επικοινωνία μεταξύ δύο νευρικών κυττάρων ή μεταξύ νευρικού κυττάρου και μυϊκού ή αδενικού ιστού γίνεται μέσω των συνάψεων. Τα νευρικά κύτταρα είναι διεγέρσιμα κύτταρα, δηλαδή αντιδρούν αλλά και παράγουν ηλεκτρισμό [6]. Στην κατάσταση ηρεμίας, τα διεγέρσιμα κύτταρα έχουν ένα διαμεμβρανικό δυναμικό, το οποίο αποκαλείται «παραμένον» ή δυναμικό ηρεμίας. Πιο συγκεκριμένα, το εσωτερικό του κυττάρου βρίσκεται σε δυναμικό περίπου -80mV, σε σχέση με το εξωτερικό μέρος του κυττάρου, το οποίο οφείλεται στις διαφορετικές συγκεντρώσεις ιόντων στα διαλύματα εκατέρωθεν της μεμβράνης. Όταν το κύτταρο διεγερθεί κατάλληλα, τότε αλλάζει η πολικότητα της διαμεμβρανικής διαφοράς δυναμικού και παίρνει την +40mV («ενεργό» δυναμικό) Νευρώνες καθρέπτες (Mirror Neurons) Οι νευρώνες καθρέφτες είναι μια κατηγόρια νευρώνων που ενεργοποιούνται όταν ο άνθρωπος εκτελεί μια πράξη ή παρατηρεί κάποιον άλλο να εκτελεί αυτή την πράξη [7]. Συνεπώς, ο νευρώνας «καθρεφτίζει» τη συμπεριφορά του άλλου, σαν να εκτελούσε την πράξη ο ίδιος. Η λειτουργία των νευρώνων καθρεφτών έχει συνδεθεί με την ενσυναίσθηση, καθώς πολλαπλές έρευνες έχουν δείξει ενεργοποίηση του συστήματος καθρεφτών σε πειράματα σχετιζόμενα με την ενσυναίσθηση. Τα χαμηλά επίπεδα ενσυναίσθησης, της ικανότητας δηλαδή του ανθρώπου να αντιλαμβάνεται τι αισθάνονται οι άλλοι άνθρωποι και να μπορεί ο ίδιος να μπει στη θέση τους, σε εφήβους 17

18 και παιδιά είναι το σημαντικότερο αίτιο του φαινομένου του bullying. Φαίνεται, λοιπόν, η ύπαρξη συσχέτισης μεταξύ του bullying και της εγκεφαλικής δραστηριότητας του ανθρώπου. 2.3 Το ηλεκτροεγκεφαλογράφημα (ΗΕΓ) Η ηλεκτρική δραστηριότητα του εγκεφάλου παρατηρήθηκε για πρώτη φορά από το Βρετανό Richard Caton το 1875 [8]. Το 1929 ο Γερμανός ψυχίατρος Hans Berger ανακάλυψε τους δύο βασικούς φυσιολογικούς ρυθμούς που παρουσιάζουν τα σήματα της ηλεκτρικής δραστηριότητας του ανθρώπινου εγκεφάλου, τους οποίους ονόμασε άλφα και βήτα. Τότε εμφανίστηκε για πρώτη φορά και ο όρος (ηλεκτρο)-εγκεφαλογράφημα (ΗΕΓ) για την περιγραφή αυτών των σημάτων και κατασκευάστηκαν οι πρώτοι εγκεφαλογράφοι, δηλαδή συσκευές καταγραφής της ηλεκτρικής δραστηριότητας του ανθρώπινου εγκεφάλου. Η πιο συνηθισμένη μέθοδος απεικόνισης της εγκεφαλικής δραστηριότητας είναι η Λειτουργική Απεικόνιση Μαγνητικού Συντονισμού (ΛΑΜΣ - fmri), η οποία βασίζεται στην ιδέα ότι οι ενεργοποιημένοι νευρώνες προκαλούν αλλαγές στην τοπική ροή του αίματος και των επιπέδων οξυγόνωσης και συνεπώς μετρά αιμοδυναμικές αλλαγές. Σχήμα 2.3-1: Στιγμιότυπα Λειτουργικής Απεικόνισης Μαγνητικού Συντονισμού (fmri) Οι εικόνες που προκύπτουν από τη ΛΑΜΣ έχουν πολύ καλή αναλυτικότητα στο πεδίο του χώρου (1-3mm) (Σχήμα 2.3-1). Ωστόσο, η αναλυτικότητα στο πεδίο του χρόνου είναι αρκετά χαμηλή (περίπου 1sec). Η ηλεκτροεγκεφαλογραφία είναι μια τεχνική αποτύπωσης της ηλεκτρικής δραστηριότητας του ανθρώπινου εγκεφάλου, η οποία έχει διακριτική ικανότητα στο πεδίο του χρόνου μικρότερη από 100msec. Για την ακρίβεια, 18

19 μοντέρνα συστήματα καταγραφής μπορεί να φτάσουν ακόμη και τα 4msec. Το Σχήμα παρουσιάζει αυτές τις τεχνικές νευροαπεικόνισης και το εύρος λειτουργίας τους στο πεδίο του χώρου και του χρόνου. Σχήμα 2.3-2: Τεχνικές νευροαπεικόνισης και το εύρος λειτουργίας τους στο πεδίο του χώρου και του χρόνου. [140] Δομικά στοιχεία ενός ηλεκτροεγκεφαλογράφου είναι ένα σύνολο ηλεκτροδίων και ένα μέσο απεικόνισης της καταγραφής. Ο αριθμός των ηλεκτροδίων μπορεί να ποικίλει και κυμαίνεται από 14 μέχρι και 256. Το ΗΕΓ δηλαδή πρόκειται για ένα πολυκαναλικό σήμα, όπου ο αριθμός των καναλιών ισοδυναμεί με τον αριθμό των ηλεκτροδίων. Στις περιπτώσεις συστημάτων με πολλά ηλεκτρόδια, αυτά συνήθως βρίσκονται προσαρμοσμένα σε ένα πλέγμα με σχήμα καπέλου (electrode cap), το οποίο τοποθετείται στο κεφάλι του ατόμου που λαμβάνει μέρος στο πείραμα (Σχήμα 2.3-3). 19

20 Σχήμα 2.3-3: Ο εγκεφαλογράφος 256 καναλιών HCGSN (HydroCel Geodesic Sensor Net) Η απεικόνιση της καταγραφής αλλά και άλλων σχετικών πληροφοριών γίνεται συνήθως στην οθόνη ενός ηλεκτρονικού υπολογιστή με κάποιο κατάλληλο λογισμικό. Η μορφή των σημάτων φαίνεται στο Σχήμα Σχήμα 2.3-4: Πολυκαναλικό σήμα EEG 20 καναλιών 20

21 Πέρα από τα δύο βασικά εξαρτήματα που αναφέρθηκαν, σε ένα σύστημα καταγραφής ενδέχεται να ενσωματώνονται και άλλα εξαρτήματα, όπως διαφορικοί ενισχυτές χαμηλού θορύβου και υψηλού λόγου απόρριψης κοινού σήματος, καθώς τα μετρούμενα σήματα είναι αρκετά μικρά σε πλάτος (της τάξης των μv). Κατά τη διαδικασία καταγραφής του ΗΕΓ μπορούν να εντοπιστούν και άλλα ηλεκτρικά σήματα τα οποία δεν πηγάζουν από εγκεφαλική δραστηριότητα στο φλοιό. Τα σήματα της δραστηριότητας αυτής, ως ανεπιθύμητα, χαρακτηρίζονται με τον όρο παρεμβολές (artifacts) και οφείλονται τόσο σε βιολογικούς όσο και περιβαλλοντικούς παράγοντες. Μπορούν να προκληθούν από την κίνηση των ματιών είτε από την κίνηση της γλώσσας. Επίσης, μπορεί να οφείλονται στην καρδιακή λειτουργία είτε σε δυναμικά που αναπτύσσονται λόγω της κίνησης των μυών. Ωστόσο, εξωγενείς παράγοντες όπως μετακίνηση ή κακή επαφή των ηλεκτροδίων και παράσιτα μπορούν να επηρεάσουν την καταγραφή. Είναι φανερό επομένως ότι μαζί με το σήμα εμφανίζεται και θόρυβος υπό τη μορφή σημάτων που δεν περιέχουν χρήσιμη πληροφορία. Ο τρόπος αντιμετώπισης αυτών των παρεμβολών είναι συνήθως διαφόρων ειδών φίλτρα, όπως υψιπερατά φίλτρα με συχνότητα αποκοπής 0.5 Hz (όπως στην παρούσα μελέτη) αλλά κι ένα ζωνοπερατό φίλτρο 50 ή 60 Hz (ανάλογα τη χώρα) για την απόσβεση των παρεμβολών από το εναλλασσόμενο ρεύμα των γραμμών μεταφοράς. Η τοποθέτηση των ηλεκτροδίων στην επιφάνεια του κρανίου γίνεται με τη χρήση ειδικής προσαρμοζόμενης κάσκας και με βάση καθορισμένη τοπολογία, η οποία αναφέρεται ως σύστημα [9]. Οι θέσεις των ηλεκτροδίων σύμφωνα με το αρχικό σύστημα είναι 19 και απεικονίζονται στο Σχήμα Το σύστημα ακολουθεί δύο άξονες, τον πρόσθιο ή οβελιαίο άξονα, και τον εγκάρσιο άξονα που ενώνει τους δύο ακουστικούς πόρους (θέσεις Α1 και Α2). Το σημείο στο οποίο τέμνονται οι δύο άξονες ονομάζεται Cz. Οι ποσοστιαίες απεικονίσεις 10 % και 20 %, από τις οποίες προέρχεται και η ονομασία του συστήματος, αναφέρονται στις αποστάσεις που απέχουν οι διάφορες θέσεις των ηλεκτροδίων από τον έξω ακουστικό πόρο Α2 (δηλαδή το 10 % της απόστασης Α1-Α2) και μεταξύ των ηλεκτροδίων (20 % της απόστασης Α1-Α2, π.χ., C3-Cz κ.τ.λ.), αντίστοιχα. Συνολικά, οι θέσεις των ηλεκτροδίων σύμφωνα με το αρχικό σύστημα και οι περιοχές τις κεφαλής, στις οποίες βρίσκονται, παρουσιάζονται στον Πίνακα

22 Σχήμα 2.3-5: (α) Οι θέσεις τοποθέτησης των ηλεκτροδίων και οι αποστάσεις μεταξύ τους σύμφωνα με το αρχικό σύστημα (β) Οι θέσεις τοποθέτησης των ηλεκτροδίων σύμφωνα με το εκτεταμένο σύστημα (Οι θέσεις Τ7,Ρ7,Τ8 ΚΑΙ Ρ8 που μετονομάστηκαν απεικονίζονται με μαύρο χρώμα. Πίνακας 2-1: Οι 19 θέσεις ηλεκτροδίων του αρχικού συστήματος και οι αντίστοιχες περιοχές της κεφαλής [4]. Περιοχή κεφαλής Πρόσθια μετωπιαία Μετωπιαία Κεντρική Κροταφική Βρεγματική Ινιακή Θέσεις Ηλεκτροδίων Fp1, Fp2 F7, F3, Fz, F4, F8 C3, Cz, C4 Τ3, Τ5, Τ4, Τ6 P3, Pz, P4 Ο1, Ο2 22

23 Οι μονοί αριθμοί χαρακτηρίζουν τις θέσεις που βρίσκονται στο αριστερό εγκεφαλικό ημισφαίριο, ενώ, αντίθετα, οι ζυγοί αριθμοί αυτές που βρίσκονται στο δεξί ημισφαίριο. Ο δείκτης z αντιστοιχεί στις θέσεις κατά μήκος του οβελιαίου άξονα. Τα γράμματα (Fp, F, C, T, P και O) καταδεικνύουν την περιοχή του κεφαλιού στην οποία βρίσκεται η εκάστοτε θέση. Ο χαρακτηρισμός αρχικό που προσδόθηκε στο σύστημα χρησιμοποιήθηκε για να το διαχωρίσει από το πιο πρόσφατο εκτεταμένο σύστημα το οποίο Τ5, Τ4, και Τ6, μετονομάστηκαν σε Τ7, P7, T8, και P8, αντίστοιχα. Σχετικά με το δυναμικό αναφοράς του ΗΕΓ, δύο είναι οι κύριες μέθοδοι που έχουν προταθεί, η μονοπολική και η διπολική. Συγκεκριμένα: Διπολική: Σύμφωνα με τη διπολική μέθοδο καταγραφής, κάθε κανάλι (σήμα ΗΕΓ) καταγράφει τη διαφορά δυναμικού μεταξύ δύο γειτονικών ηλεκτροδίων. Για παράδειγμα, το κανάλι Fz-Cz καταγράφει τη διαφορά δυναμικού μεταξύ των ηλεκτροδίων στις θέσεις Fz και Cz. Μονοπολική: Σύμφωνα με τη μονοπολική μέθοδο καταγραφής κάθε κανάλι καταγράφει τη διαφορά του δυναμικού του εκάστοτε ηλεκτροδίου από το δυναμικό ενός συγκεκριμένου ηλεκτροδίου αναφοράς. Έχουν προταθεί διάφορες θέσεις για την τοποθέτηση του ηλεκτροδίου αναφοράς. Συχνά χρησιμοποιούνται οι θέσεις κατά μήκος του οβελιαίου άξονα (π.χ., Cz), ώστε να αποφευχθεί η πόλωση των σημάτων ως προς ένα από τα δύο ημισφαίρια. Ακόμη συχνότερα, το ηλεκτρόδιο αναφοράς τοποθετείται σε έναν από τους δύο λοβούς των αυτιών (θέσεις Α1 ή Α2) ή στην περιοχή του μαστοειδούς οστού πίσω από τα αυτιά, ενώ μπορεί να χρησιμοποιηθεί ως δυναμικό αναφοράς και ο μέσος όρος του δυναμικού των δύο αυτών ηλεκτροδίων. Οι παραπάνω μέθοδοι αναφοράς συνιστούν τις κύριες πρακτικές που υιοθετούνται κατά τη διάρκεια των καταγραφών ΗΕΓ. Ωστόσο, στην περίπτωση της μονοπολικής καταγραφής, έχουν προταθεί και άλλες προσεγγίσεις, οι οποίες εφαρμόζονται συνήθως κατά την επεξεργασία των σημάτων ΗΕΓ, ήτοι μετά την καταγραφή και αποθήκευσή τους. 2.4 Εγκεφαλικοί ρυθμοί Το ΗΕΓ πρακτικά αποτελεί μια υπέρθεση απλούστερων κυματομορφών που αναφέρονται ως εγκεφαλικοί ρυθμοί. Στη συνέχεια παρουσιάζονται οι πέντε συμβατικοί ρυθμοί του ΗΕΓ, οι οποίοι απεικονίζονται στο Σχήμα 2.4-1: 23

24 Ο ρυθμός Δέλτα (δ) (1-4 Hz): Πρόκειται για τον πιο αργό ρυθμό και εμφανίζεται σε νεογνά αλλά και σε ενήλικες κατά τη διάρκεια του ύπνου. Ο ρυθμός Θήτα (θ) (4-8 Hz): Είναι ο δεύτερος πιο αργός ρυθμός μετά το ρυθμό δ. Είναι συνηθισμένος σε μικρά παιδιά και η παρουσία του μειώνεται με την πάροδο της ηλικίας. Γενικά, έχει συνδεθεί με καταστάσεις αδράνειας και καταπίεσης αντιδράσεων. Ο ρυθμός Άλφα (α) (8-13 Hz): Είναι ο κατεξοχήν ρυθμός που παρατηρείται σε ενήλικες σε κατάσταση εγρήγορσης, κατά το κλείσιμο των ματιών. Ο ρυθμός Βήτα (β) (13-30 Hz): Αποτελεί μαζί με το ρυθμό α τους δύο φυσιολογικούς ρυθμούς που παρατηρούνται σε ενήλικες σε κατάσταση εγρήγορσης. Σχετίζεται με καταστάσεις έντονης συγκέντρωσης, ενώ η πλήρης απουσία αυτού του ρυθμού υποδεικνύει μη φυσιολογικό φαινόμενο, ακόμη και στις μικρές ηλικίες. Ο ρυθμός Γάμμα (γ) (>30 Hz): Είναι ο γρηγορότερος ρυθμός του ΗΕΓ και παρατηρείται κατά τη διάρκεια διεγέρσεων που έχουν σχέση με τη μνήμη και την ακοή. Σχήμα 2.4-1: Απεικόνιση των πέντε βασικών ρυθμών του ΗΕΓ: δ (1-4 Hz), θ (4-8 Hz), α (8-13 Hz), β (13-30 Hz), και γ (>30 Hz). 24

25 3 Θεωρητικό υπόβαθρο 3.1 Αποσύνθεση Σμήνους (Swarm Decomposition- SWD) Η Ευφυΐα Σμήνους (Swarm Intelligence - SI) στη μηχανική αναφέρεται στις ιδιότητες των τεχνητών συστημάτων των οποίων ο σχεδιασμός είναι εμπνευσμένος από την αποτελεσματικότητα των διεργασιών που εμφανίζονται σε κάποιες φυσικές ομάδες. Το κύριο χαρακτηριστικό των συστημάτων που βασίζονται στην ευφυΐα Σμήνους είναι η συλλογική συμπεριφορά, η οποία προέρχεται από τις αλληλεπιδράσεις μεταξύ των ατόμων καθώς και μεταξύ των ατόμων και του περιβάλλοντος. Η Αποσύνθεση Σμήνους (Swarm Decomposition - SWD) αποτελεί μία καινοτόμο προσέγγιση στην αποσύνθεση μη-στάσιμων σημάτων βασισμένη στην Ευφυΐα Σμήνους [10]. Ο πυρήνας της ανάλυσης μη-στάσιμων σημάτων είναι η αποσύνθεση του σήματος επί ενός συνόλου συναρτήσεων, των συνιστωσών του σήματος, που εντοπίζονται τόσο στο χρόνο όσο και στη συχνότητα. Η κύρια ταξινόμηση των μεθόδων ανάλυσης των μηστάσιμων σημάτων περιλαμβάνει την ατομική αποσύνθεση και τις κατανομές ενέργειας, που αποκαλούνται επίσης τετραγωνικές παραστάσεις χρόνου-συχνότητας. Μία αξιοσημείωτη μέθοδο αποτελεί η αποσύνθεση EMD (empirical mode decomposition), στην οποία οι συνιστώσες του σήματος, δηλαδή τα IMFs (intrinsic mode functions), αποφασίζονται a posteriori διατηρώντας την φυσική έννοια της αποσύνθεσης σε μηστάσιμες και μη γραμμικές περιπτώσεις. Η Αποσύνθεση Σμήνους είναι μία μέθοδος ατομικής αποσύνθεσης, όπου οι συνιστώσες του σήματος προκύπτουν a posteriori. Η λογική πίσω από την ιδέα αυτή είναι η εκμετάλλευση των πλεονεκτημάτων του EMD με παράλληλη χρήση μιας αυστηρής μαθηματικής μεθοδολογίας, και όχι μίας εμπειρικής. Ακρογωνιαίος λίθος της Αποσύνθεσης Σμήνους είναι το Φιλτράρισμα Σμήνους (Swarm Filtering - SwF), μία προσέγγιση επεξεργασίας οραματισμένη από το κυνήγι Σμήνουςθηράματος. Με κατάλληλη παραμετροποίηση, η έξοδος των επαναλαμβανόμενων εφαρμογών του Φιλτραρίσματος Σμήνους έχει ως αποτέλεσμα μία μεμονωμένη συχνοτική συνιστώσα του σήματος εισόδου (oscillatory mode, OC). Για τον έλεγχο της μεθόδου, οι σχέσεις μεταξύ των παραμέτρων και των αποκρίσεων του Φιλτραρίσματος Σμήνους εξάγονται μέσω ενός γενετικού αλγορίθμου (genetic algorithm, GA). Η Αποσύνθεση Σμήνους αποτελείται από επιτυχείς εφαρμογές επαναλαμβανόμενων Φιλτραρισμάτων Σμήνους υπό διαφορετικές παραμέτρους, έτσι ώστε να εξαχθούν οι υπάρχουσες συνιστώσες. 25

26 3.1.1 Περιγραφή της μεθόδου Η Αποσύνθεση Σμήνους βασίζεται στην σωστή παραμετροποίηση του Φιλτραρίσματος Σμήνους, ώστε να οδηγήσει στις υπάρχουσες συχνοτικές συνιστώσες (OCs) ενός πολυσυχνοτικού σήματος εισόδου, s[n], n = 0,...,L 1. Ειδικότερα, η Αποσύνθεση Σμήνους αποτελείται από μία επαναληπτική εκτέλεση μιας διαδικασίας ολίσθησης, όπου σε κάθε επανάληψη η κυρίαρχη συχνοτική συνιστώσα αρχικά εικάζεται, και στη συνέχεια λαμβάνεται από συνεχείς εφαρμογές του Φιλτραρίσματος Σμήνους. Επιπλέον, η συχνοτική συνιστώσα στοιχίζεται και αφαιρείται από το υπόλοιπο της εισόδου. Η Αποσύνθεση Σμήνους τερματίζεται όταν το σήμα εισόδου που έχει απομείνει δεν περιέχει καμία συχνοτική συνιστώσα με επαρκή ενέργεια. Αν xit[n] είναι η ακολουθία κατά την it th q επανάληψη της διαδικασίας ολίσθησης και ω dom η συχνότητα η οποία εικάζεται ότι είναι η συχνότητα της κυρίαρχης συχνοτικής συνιστώσας της xit[n]. Ο δείκτης q συμβολίζει την q th της συχνότητας αυτής κατά τη διάρκεια της Αποσύνθεσης Σμήνους, αφού μια συχνοτική συνιστώσα μπορεί να ταυτοποιηθεί ως κυρίαρχη συχνότητα σε περισσότερες από μία επαναλήψεις της q διαδικασίας ολίσθησης. Η συχνότητα ω dom ορίζεται ως αυτή με την μέγιστη φασματική πυκνότητα ενέργειας. Είναι πολύ σημαντική η εξομάλυνση του φάσματος ενέργειας προτού βρεθούν οι υψηλότερες κορυφές, ώστε να αποφευχθούν οι παρεμβολές. Για αυτό το λόγο χρησιμοποιείται το φίλτρο του Welch. Έτσι, είναι απαραίτητες τέσσερις παράμετροι: το κατώφλι της επιλογής κορυφών (P th ), το παράθυρο του φίλτρου (welch_window), τον δείκτη επικάλυψης (welch_noverlap) καθώς και ο αριθμός των διακριτών σημείων μετασχηματισμού Fourier που θα χρησιμοποιηθούν στην εκτίμηση της φασματικής πυκνότητας ισχύος (welch_nfft). [2] Με χρήση των παραπάνω προκύπτει η συχνότητα ω dom. q Από την συχνότητα αυτή προκύπτουν ο αριθμός μελών του Σμήνους Μ και η παράμετρος που ελέγχει την ευελιξία του Σμήνους από τις όπου ω η κανονικοποιημένη συχνότητα. M(ω ) = [33.46ω ,1], δ(ω ) = 1.5ω ω 0.01, Η επαναλαμβανόμενη εκτέλεση του Φιλτραρίσματος Σμήνους (Αλγόριθμος 1) έχει ως αποτέλεσμα τις συχνοτικές συνιστώσες του σήματος εισόδου. Ο αλγόριθμος τερματίζεται όταν το αποτέλεσμα δύο διαδοχικών επαναλήψεων αποκλίνει λιγότερο από ένα κατώφλι 26

27 (StDth). Στο Σχήμα φαίνεται η εφαρμογή Αποσύνθεσης Σμήνους σε ένα ηχητικό σήμα στο χρόνο και στη συχνότητα. Αλγόριθμος 1 Iterative SwF 1: procedure IterativeSwF(x it[n],m,δ,std th) 2: x[n] x it[n] 3: y 0[n] x 4: j 0 5: repeat 6: j j + 1 7: y j [n] SwF(x[n],M, δ) 8: x[n] y j [n] 9: StD n y j [n] y j 1 [n] 2 y j 1 [n] 2 10: until StD < StD th 11: return x it[n] y j [n] 12: end procedure Σχήμα : Εφαρμογή της Αποσύνθεσης Σμήνους σε ένα ηχητικό σήμα στο χρόνο (αριστερά) και στη συχνότητα (δεξιά). Η πρώτη κυματομορφή είναι το αρχικό σήμα, οι επόμενες δύο είναι τα oscillatory modes στα οποία αναλύεται και η τελευταία το υπόλοιπο του σήματος (residual). 3.2 Βαθιά μάθηση (Deep Learning) Η βαθιά μάθηση (deep learning) χαρακτηρίζεται ως ένας κλάδος των αλγορίθμων μηχανικής μάθησης (machine learning) οι οποίοι [11]: 27

28 χρησιμοποιούν μια αλληλουχία πολλών επιπέδων με μη γραμμικές μονάδες επεξεργασίας με στόχο την εξαγωγή χαρακτηριστικών και διάφορους μετασχηματισμούς. Κάθε διαδοχικό επίπεδο χρησιμοποιεί ως είσοδο την έξοδο του προηγούμενου επιπέδου. Οι αλγόριθμοι μπορεί να είναι είτε πρόβλεψης (supervised) είτε περιγραφής (unsupervised) και οι εφαρμογές περιλαμβάνουν ανάλυση προτύπων (περιγραφή) και ταξινόμηση (πρόβλεψη). βασίζονται στην unsupervised μάθηση πολλαπλών επιπέδων από χαρακτηριστικά ή αναπαραστάσεις των δεδομένων. Σύνθετα χαρακτηριστικά εξάγονται από απλούστερα χαρακτηριστικά σχηματίζοντας έτσι μια ιεραρχική αναπαράσταση. είναι μέρος του ευρύτερου πεδίου μηχανικής μάθησης για εκμάθηση αναπαραστάσεων δεδομένων εκπαιδεύονται σε πολλαπλά επίπεδα αναπαραστάσεων που αντιστοιχούν σε διαφορετικούς βαθμούς αφαιρετικότητας Για προβλήματα πρόβλεψης, οι αλγόριθμοι βαθιάς μάθησης παραλείπουν την εξαγωγή χαρακτηριστικών, καθώς μεταφράζουν τα δεδομένα σε συμπαγείς ενδιάμεσες αναπαραστάσεις με τρόπο παρόμοιο με ανάλυση κυρίων συνιστωσών (Principal Component Analysis - PCA) και εξάγουν πολυεπίπεδες δομές, στις οποίες παραλείπεται περιττή πληροφορία [11] Ταξινόμηση Στην ορολογία της μηχανικής μάθησης (machine learning) [12], η ταξινόμηση (classification) ορίζεται ως ένα πρόβλημα πρόβλεψης (supervised learning), στο οποίο στόχος είναι να αναγνωριστεί σε ποια κατηγορία ανήκει μια νέα παρατήρηση (observation), με βάση ένα σετ εκπαίδευσης (training set) δεδομένων, το οποίο περιέχει παρατηρήσεις, για τις οποίες είναι γνωστή η κατηγορία στην οποία ανήκουν. Το σύνολο των κατηγοριών δεν είναι αυθαίρετο αλλά ξεκάθαρα ορισμένο από την αρχή του προβλήματος. Χαρακτηριστικά παραδείγματα ταξινόμησης είναι η κατηγοριοποίηση ενός ως επιθυμητή ή ανεπιθύμητη αλληλογραφία ή η πρόβλεψη για το αν ο όγκος ενός ασθενούς είναι καλοήθης ή κακοήθης, με βάση ένα σύνολο από χαρακτηριστικά του ασθενούς, όπως το φύλο και η παρουσία ή η απουσία ορισμένων συμπτωμάτων. 28

29 Για την αξιολόγηση του ταξινομητή χρησιμοποιείται ένα σύνολο μετρικών το οποίο αναλύεται στο επόμενο κεφάλαιο Μετρικές Αξιολόγησης Μετρικές αξιολόγησης Ένα στοιχείο που αφορά την ταξινόμηση είναι ως προς ποιο μέγεθος θα συγκρίνουμε τους ταξινομητές μεταξύ τους. Είναι βοηθητικό για τη συνέχεια να ορίσουμε εδώ τον πίνακα σύγχυσης (confusion matrix) (Σχήμα ). Όπως φαίνεται ο πίνακας σύγχυσης είναι ένας πίνακας όπου κάθε γραμμή δείχνει την κλάση στην οποία όντως ανήκει ένα στοιχείο ενώ κάθε στήλη την κλάση στην οποία ταξινομήθηκε [13] [14]. Μ αυτό τον τρόπο τα περιεχόμενα κάθε κελιού έχουνε τα εξής ονόματα: TP (true positives): στοιχεία τα οποία ανήκαν στη «θετική» κλάση και ταξινομήθηκαν σωστά FN (false negatives): στοιχεία τα οποία ανήκαν στην «αρνητική» κλάση και ταξινομήθηκαν λάθος TP (false positives): στοιχεία τα οποία ανήκαν στη «θετική» κλάση και ταξινομήθηκαν λάθος ΤN (true negatives): στοιχεία τα οποία ανήκαν στην «αρνητική» κλάση και ταξινομήθηκαν σωστά Σχήμα : Πίνακας σύγχισης (confusion matrix) 29

30 Η πιο συνηθισμένη μετρική αξιολόγησης είναι η ακρίβεια (accuracy) του ταξινομητή, η οποία δείχνει το ποσοστό των παρατηρήσεων που ταξινομήθηκαν σωστά σε σχέση με το σύνολο των παρατηρήσεων. Accuracy = TP + TN FP + FN + TP + TN Παρ όλα αυτά μια καλή τιμή της ακρίβειας δε σημαίνει απαραίτητα ότι έχουμε ένα καλό μοντέλο. Σε περίπτωση για παράδειγμα που έχουμε μεγάλη διαφορά στις παρατηρήσεις που υπάρχουν στην κάθε κλάση, ας πούμε 95 στη μία, 5 στην άλλη, αν ταξινομήσουμε όλα τα δείγματα στην πρώτη κλάση, έχουμε ακρίβεια 95%. Παρ όλα αυτά έχουμε ένα πολύ κακό μοντέλο. Χρησιμοποιώντας κάποιες από τις παρακάτω μετρικές μπορούν να ξεπεραστούν αυτοί οι περιορισμοί του accuracy. Άλλη μετρική είναι η ανάκληση (recall), η οποία δείχνει το ποσοστό των παρατηρήσεων μιας κλάσης που ταξινομήθηκαν σωστά. Recall = TP FP + TP = TN FN + TN Η αξιοπιστία (precision) είναι το ποσοστό των παρατηρήσεων που ταξινομήθηκαν σε μια κλάση και ανήκουν σε αυτήν προς το ποσοστό των παρατηρήσεων που ταξινομήθηκαν σε αυτή την κλάση. Precision = TP FN + TP = TN FP + TN Η καμπύλη λειτουργικών χαρακτηριστικών δέκτη (receiver operating characteristic curve - ROC) είναι μια γραφική αναπαράσταση η οποία απεικονίζει την αποδοτικότητα ενός προβλήματος δύο κλάσεων, καθώς μεταβάλλεται το επίπεδο διάκρισης των κλάσεων. Η καμπύλη δημιουργείται σχεδιάζοντας το true positive rate (TPR) συναρτήσει του false positive rate (FPR) στα διάφορα επίπεδα διάκρισης των κλάσεων (Σχήμα ). 30

31 Σχήμα : ROC καμπύλη Η περιοχή κάτω από την καμπύλη λειτουργικών χαρακτηριστικών δέκτη (area under curve - AUC) χρησιμοποιείται ως ένα αποτελεσματικό κριτήριο για τη σχεδίαση ταξινομητών. Αυτό συμβαίνει γιατί μεγαλύτερες τιμές της AUC υποδεικνύουν, κατά μέσο όρο, καλύτερες επιδόσεις του ταξινομητή. [13] Τεχνητά νευρωνικά δίκτυα (Artificial Neural Networks) Κάποιες από τις πιο πετυχημένες μεθόδους βαθιάς μάθησης περιλαμβάνουν τεχνητά νευρωνικά δίκτυα (Artificial Neural Networks - ANN) [15]. Η δομή τους βασίζεται σε ένα μεγάλο πλήθος τεχνητών νευρώνων, οι οποίοι μιμούνται τον τρόπο με τον οποίο λειτουργεί ένας ανθρώπινος εγκέφαλος και συνδέονται μεταξύ τους με άξονες. Κάθε νευρώνας συνδέεται με πολλούς άλλους και οι συνδέσεις αυτές μπορεί να είναι διεγερτικές ή κατασταλτικές και να επηρεάζουν έτσι την κατάσταση ενεργοποίησης των νευρώνων με τους οποίους είναι συνδεδεμένοι. 31

32 3.2.3 Συνελικτικά νευρωνικά δίκτυα - ΣΝΔ (Convolutional Neural Networks) Τα συνελικτικά νευρωνικά δίκτυα - ΣΝΔ (CNNs/ Conv Nets) παρουσιάζουν πολλές ομοιότητες με τα τεχνητά νευρωνικά δίκτυα ΤΝΔ (AΝΝs) και μπορούν να ανταπεξέλθουν με μεγάλη ακρίβεια σε προβλήματα ταξινόμησης εικόνας [16]. Η αρχιτεκτονική τους και οι μέθοδοι τους είναι αρκετά συναφείς με τις ήδη υπάρχουσες μεθόδους μοντελοποίησης των τεχνητών νευρωνικών δικτύων. Τα ΣΝΔ αποτελούνται από τεχνητούς νευρώνες με υπό-μάθηση (learnable) παραμέτρους. Οι πιο γνωστές παράμετροι είναι τα βάρη (weights) και οι πολώσεις (bias). Κάθε νευρώνας δέχεται ως είσοδο ένα διάνυσμα (Χ), και εξάγει το εσωτερικό γινόμενο των βαρών (W) του με την είσοδο, προστιθέμενης μιας προαιρετικής πόλωσης (b), εφαρμόζοντας προαιρετικά, μια μη-γραμμική συνάρτηση f. Ολόκληρο το δίκτυο αποτελεί μια διαφορίσιμη συνάρτηση. Από τα εικονοστοιχεία της εισόδου μέχρι τις εκτιμήσεις/προβλέψεις κατάταξης στην έξοδο προκειμένου να μπορεί να εφαρμοσθεί η συνάρτηση οπισθοδιάδοσης των σφαλμάτων (Backward propagation of errors). Τέλος, τα ΣΝΔ εξακολουθούν να έχουν μια συνάρτηση σφάλματος στο τελευταίο επίπεδο και όλες οι μεθοδολογίες που έχουν αναπτυχθεί για την διαδικασία της μάθησης των τεχνητών νευρωνικών δικτύων εφαρμόζονται και στα ΣΝΔ. Η διαφορά μεταξύ των ΤΝΔ και ΣΝΔ έγκειται στο ότι η αρχιτεκτονική των δεύτερων κάνει την ρητή παραδοχή ότι οι είσοδοι είναι εικόνες, γεγονός που μας επιτρέπει να εισάγουμε κάποιες ιδιότητες στην αρχιτεκτονική. Οι ιδιότητες αυτές κάνουν την διαδικασία της διάδοσης (forward propagation) πιο αποτελεσματική στην υλοποίηση και μειώνουν ευρέως τις παραμέτρους του συστήματος. Τα τυπικά τεχνητά νευρωνικά δίκτυα (ΝΝs) λαμβάνουν ένα διάνυσμα εισόδου και το μετασχηματίζουν μέσα από μια συστοιχία κρυφών επιπέδων (hidden layers) σε ένα διάνυσμα εξόδου. Κάθε κρυφό επίπεδο αποτελείται από ένα σύνολο νευρώνων, όπου κάθε νευρώνας είναι πλήρως συνδεδεμένος με όλους τους νευρώνες του προηγούμενου επιπέδου, και λειτουργεί ανεξάρτητα από τους νευρώνες του ίδιου επιπέδου. Το τελευταίο, πλήρως συνδεδεμένο, επίπεδο ονομάζεται επίπεδο εξόδου και στα προβλήματα ταξινόμησης χρησιμοποιείται για να προβάλει τα εξαγόμενα χαρακτηριστικά του δείγματος εισόδου στις κλάσεις κατηγοριοποίησης. Ο κύριος λόγος που τα τυπικά ΝΝ δεν μπορούν να χρησιμοποιηθούν για προβλήματα ταξινόμησης εικόνας είναι επειδή, υποθέτοντας μια εικόνα μεγέθους 32x32x3 ως είσοδο, ένας πλήρως συνδεδεμένος, με την είσοδο, νευρώνας θα αποτελούνταν από (32x32x3=) 32

33 3072 βάρη. Μπορεί αυτός ο αριθμός να φαίνεται διαχειρίσιμος αλλά η δομή αυτή δεν μπορεί να κλιμακωθεί σε μεγαλύτερες εικόνες. Μία εικόνα με αξιοσέβαστο μέγεθος, π.χ. 227x227x3, θα οδηγούσε σε νευρώνες που έχουν 227*227*3 = βάρη. Επιπλέον, σε ένα κρυφό επίπεδο δεν θα είχαμε σίγουρα μόνο έναν νευρώνα, και σίγουρα θα χρειαζόμασταν περισσότερα από ένα επίπεδα. Επομένως, οι υπό-μάθηση παράμετροι θα αυξάνονταν δραματικά δημιουργώντας αχανή δίκτυα, μη πρακτικά και επιρρεπή στην υπέρ- εκπαίδευση. Επιπλέον, τα συγκεκριμένα δίκτυα θα αγνοούσαν της αυξημένη συσχέτιση που υπάρχει μεταξύ των γειτονικών εικονοστοιχείων σε σχέση με πιο απόμακρα, κάτι το οποίο αποτελεί κύριο χαρακτηριστικό γνώρισμα των φυσικών εικόνων. Γι' αυτό το λόγο, ένα διαφορετικό μοτίβο σχεδίασης έπρεπε να χρησιμοποιηθεί. Τα ΣΝΔ εκμεταλλεύονται το γεγονός ότι η είσοδος αποτελείται από εικόνες και περιορίζουν την αρχιτεκτονική σε έναν πιο λογικό τρόπο. Συγκεκριμένα, οι στρώσεις (layers) ενός ΣΝΔ έχει τους νευρώνες διατεταγμένους σε τρεις διαστάσεις: πλάτος, μήκος, βάθος (με την λέξη βάθος εδώ να αναφέρεται στην τρίτη διάσταση ενός όγκου ενεργοποίησης, όχι στο βάθος (depth) ενός νευρώνικου δικτύου, δηλαδή στον συνολικό αριθμό στρώσεων του). Όπως αναφέρθηκε και παραπάνω, ένα απλό ΣΝΔ αποτελείται από μία αλληλουχία στρώσεων (layers). Κάθε στρώση μετασχηματίζει έναν όγκο ενεργοποίησης σε έναν άλλον μέσω μίας συνάρτησης διαφοροποίησης. Χρησιμοποιούνται πέντε θεμελιώδη είδη στρώσεων προκειμένου να δομηθεί ένα ΣΝΔ: Συνελικτικά επίπεδα / Convolutional Layers. Συναρτήσεις ενεργοποίησης / Activation functions. Επίπεδα κανονικοποίησης / Normalization layers. Επίπεδα χωρικής υποδειγματοληψίας / Pooling Layers. Πλήρως συνδεδεμένα επίπεδα / Fully-Connected Layers. Κάθε επίπεδο είναι παραμετροποιήσιμο μέσω των υπέρ-παραμέτρων του. Στην συνέχεια αυτού του κεφαλαίου ακολουθεί η ανάλυση των επιπέδων καθώς και οι λεπτομέρειες των υπερ-παραμέτρων και των συνδέσεων τους. 33

34 Συνελικτικό επίπεδο (Convolutional layer) Το συνελικτικό επίπεδο είναι το δομικό στοιχείο των ΣΝΔ. Η είσοδος ενός τυπικού νευρώνα του συνελικτικού επιπέδου είναι ένας 3D όγκος δεδομένων. Οι παράμετροι του επιπέδου αυτού αποτελούνται από έναν αριθμό υπο-μάθηση (learnable) φίλτρων. Κάθε φίλτρο είναι μικρό χωρικά (κατά μήκος και κατά πλάτος), αλλά εκτείνεται σε όλο το βάθος της εικόνας εισόδου. Για παράδειγμα, ένα τυπικό φίλτρο του πρώτου επιπέδου ενός ΣΝΔ ενδέχεται να έχει μέγεθος 5x5x3 (5 pixel μήκος και πλάτος, και 3,αφού οι εικόνες έχουν βάθος 3, τα χρωματικά κανάλια). Κατά τη διαδικασία της διάδοσης (forward pass), κάθε φίλτρο σαρώνεται κατά ύψος και πλάτος της εισόδου πραγματοποιώντας 3D εσωτερικά γινόμενα με τα δεδομένα που βρίσκονται κάθε φορά στο δεκτικό του πεδίο και παράγει έναν 2D πίνακα ενεργοποίησης (activation map), ο οποίος δίνει την απόκριση του φίλτρου αυτού σε κάθε χωρική θέση. Διαισθητικά, το δίκτυο θα μάθει τα φίλτρα που ενεργοποιούνται όταν συναντούν κάποιο τύπο οπτικού χαρακτηριστικού όπως η άκρη κάποιου προσανατολισμού ή μια κηλίδα κάποιου χρώματος στο πρώτο επίπεδο, ή τελικά κάποιο μοτίβο σε υψηλότερα επίπεδα του δικτύου. Αν υπάρχει ένα ολόκληρο σετ φίλτρων, κάθε ένα από αυτά δημιουργεί έναν 2D πίνακα ενεργοποίησης και τοποθετώντας τους πίνακες αυτούς κατά τη διάσταση του βάθους, παράγουμε τον όγκο εξόδου. Όταν ασχολούμαστε με δεδομένα εισόδου πολλών διαστάσεων, όπως εικόνες, δεν είναι πρακτικό να συνδέουμε νευρώνες με όλους τους νευρώνες του προηγούμενου επιπέδου. Αντί αυτού κάθε νευρώνας συνδέεται μόνο με μία τοπική περιοχή του όγκου εισόδου. Η χωρική έκταση της σύνδεσης αυτής αποτελεί μία υπερ-παράμετρο που ονομάζεται δεκτικό πεδίο (receptive field) του νευρώνα (ισοδύναμα αυτό είναι το μέγεθος του φίλτρου). Η έκταση της συνδεσιμότητας κατά μήκος του άξονα βάθους είναι πάντοτε ίση με το βάθος του όγκου εισόδου. Αξίζει, εδώ, να σημειωθεί η ασυμμετρία στην αντιμετώπιση των χωρικών διαστάσεων (ύψος και πλάτος) και την διάσταση του βάθους: Οι συνδέσεις είναι τοπικές στον χώρο (κατά μήκος και κατά πλάτος), αλλά πάντοτε εκτείνονται κατά το πλήρες βάθος του όγκου εισόδου. 34

35 Σχήμα : Αριστερά: Παράδειγμα όγκου εισόδου με κόκκινο (π.χ. μία 32x32x3 CIFAR-10 εικόνα), και ένα παράδειγμα όγκου νευρώνων στο πρώτο Συνελικτικό επίπεδο. Κάθε νευρώνας σε ένα convolutional layer είναι συνδεδεμένος μόνο με μία τοπική περιοχή χωρικά του όγκου εισόδου, αλλά κατά το πλήρες βάθος. Σημειώνεται ότι υπάρχει πολλαπλοί νευρώνες (5 σε αυτό το παράδειγμα) κατά το βάθος, όλοι εκ των οποίων εφαρμόζονται στην ίδια περιοχή της εισόδου. Δεξιά: Οι νευρώνες παραμένουν ίδιοι με αυτούς των τυπικών Νευρωνικών Δικτύων: υπολογίζουν ένα γινόμενο (dot product) των βαρών με την είσοδο ακολουθούμενο από μία μη-γραμμικότητα, με την διαφορά ότι η συνδεσιμότητα τους είναι τώρα περιορισμένη τοπικά στον χώρο. Χωρική Διάταξη. Τρεις είναι οι υπερ-παράμετροι που ελέγχουν το μέγεθος του όγκου εξόδου: 1. Το βάθος (depth) του όγκου εξόδου αντιστοιχεί στον αριθμό των φίλτρων που χρησιμοποιούνται, το καθένα εκ των οποίων εκπαιδεύεται ώστε να αναζητεί κάτι διαφορετικό στην είσοδο. Ένα σετ νευρώνων που έχουν την ίδια περιοχή αναζήτησης ως είσοδο αναφέρονται ως στήλη βάθους (depth column/fibre). 2. To stride είναι η υπέρ-παράμετρος που καθορίζει πόσο πυκνή θα είναι η δειγματοληψία της εισόδου. Με άλλα λόγια, το stride καθορίζει πόσες χωρικές μονάδες (π.χ. pixels) θα μετακινείται το δεκτικό πεδίο του συνελικτικού επιπέδου οριζοντίως και καθέτως. Θέτοντας το stride ίσο με 1, το δεκτικό πεδίο θα μετακινείται κατά μια μονάδα οδηγώντας σε πυκνή σάρωση της εισόδου, το οποίο οδηγεί σε πιο ομαλές αναπαραστάσεις της εισόδου στην έξοδο, αλλά επίσης και μεγαλύτερες σε όγκο. Μεγαλύτερα stride θα προκαλούν πιο αραιή σάρωση της εισόδου, δίνοντας μικρότερες εξόδους αλλά ταυτόχρονα πιο τραχιές. 3. Το zero-padding είναι η υπέρ-παράμετρος που χρησιμοποιείται για να γεμίσει με μηδενικά το περίγραμμα της εισόδου. Αυτό το χαρακτηριστικό του γεμίσματος με μηδενικά μπορεί να βοηθήσει σημαντικά εάν θέλουμε να διατηρήσουμε τις χωρικές διαστάσεις της εισόδου και να εφαρμόσουμε ένα συγκεκριμένο μέγεθος πυρήνα για την σάρωση των χαρακτηριστικών. 35

36 Γνωρίζοντας τις υπέρ-παραμέτρους του συνελικτικού επιπέδου, μπορούμε να υπολογίσουμε τις χωρικές διαστάσεις της εξόδου (O) ως συνάρτηση των διαστάσεων της εισόδου (W), των διαστάσεων του δεκτικού πεδίου του συνελικτικού επιπέδου(f), του stride(s) και του zero-padding(p) από την εξίσωση O = W F + 2P S + 1 (1) Ας υποθέσουμε έναν εισαγόμενο όγκο μεγέθους 224x224x3. Το συνελικτικό επίπεδο θα έχει stride της τάξης των 3ων pixel (το δεκτικό πεδίο θα μεταφέρεται 3 pixel οριζοντίως ή καθέτως, τα υπόλοιπα (7-3=) 4 pixel θα αλληλεπικαλύπτονται) και pad 0. Το μέγεθος της εξόδου κατά πλάτος και ύψος, κάνοντας χρήση της εξ. 1, θα είναι O = = Δεδομένου ότι δεν μπορούμε να έχουμε μη-ακέραια μεγέθη πινάκων, πρέπει να γεμίσουμε με μηδενικά το περίγραμμα της εισόδου. Αλλάζοντας λοιπόν το pad στο 1 προκύπτουν οι διαστάσεις της εξόδου ως: O=74. Έτσι, πλέον γνωρίζουμε πως κάθε φίλτρο εξάγει έναν χάρτη χαρακτηριστικών μεγέθους 74x74 και δεδομένου πως έχουμε 96 εξ' αυτών, ο συνολικός χάρτης χαρακτηριστικών θα είναι 74x74x96, όπου κάθε στήλη κατά το βάθος του όγκου αποτελεί το αποτέλεσμα εφαρμογής των παραπάνω φίλτρων στην ίδια ακριβώς χωρική τοποθεσία του όγκου εισόδου. Μία αναπαράσταση των όγκων εισόδου/εξόδου φαίνεται στo Σχήμα Σχήμα : Είσοδος/Έξοδος συνελικτικού επιπέδου με 96 φίλτρα πυρήνων μεγέθους 7x7x3, βήματος 3 και γεμίσματος 1 Σύνοψη του συνελικτικού επιπέδου. Δέχεται ως είσοδο έναν όγκο μεγέθους: W1 x Η1 x D1 Απαιτεί πέντε (5) υπέρ-παραμέτρους: o N: To πλήθος των συνελικτικών πυρήνων / φίλτρων. o F1 x F2: το χωρικό μέγεθος των συνελικτικών πυρήνων (ύψος x πλάτος). 36

37 o S: Το βήμα μετατόπισης του δεκτικού πεδίου των πυρήνων o P: To ποσό γεμίσματος με μηδενικά κατά το ύψος και πλάτος του όγκου εισαγωγής. o Την χρήση ή όχι πολώσεων. Τα βάρη οργανώνονται σε έναν 4D πίνακα μεγέθους: F1 x F2 x D1 x N. Οι πολώσεις οργανώνονται σε έναν 4D πίνακα (απλοποιείται σε διάνυσμα) μεγέθους: 1x1x1xN. Εξάγει έναν όγκο χαρακτηριστικών μεγέθους W2 x Η2 x D2 όπου: W 2 = W 1 F₁ + 2 P S H 2 = H 1 F₂ + 2 P S D 2 = N Κάθε φίλτρο αποτελείται από F1 x F2 x D1 βάρη και 1 πόλωση. Κάθε συνελικτικό επίπεδο αποτελείται από (F1 x F2 x D1 +1) x N υπό-μάθηση παραμέτρους. Μια, κατά το βάθος, στήλη του όγκου εξόδου (1x1xN) εμπεριέχει το αποτέλεσμα κάθε φίλτρου όταν εφαρμόζεται στην ίδια χωρική υπό-περιοχή. Στον όγκο εξόδου, η n-οστή βαθμίδα περιέχει τον χάρτη χαρακτηριστικών (H2 x W2 ) που είναι το αποτέλεσμα της εφαρμογής του n-οστού φίλτρου σε ολόκληρη την είσοδο. 37

38 Σχήμα : Παράδειγμα συνελικτικού επιπέδου. Όλοι οι όγκοι (ο όγκος εισόδου με μπλε, οι όγκοι των βαρών με κόκκινο και ο όγκος εξόδου με πράσινο) οπτικοποιούνται με κάθε επίπεδο διαφορετικού βάθους να απεικονίζεται στους πίνακες της κάθε γραμμής. Ο όγκος εισόδου έχει W1=5, H1=5, D1=3 και οι παράμετροι του συνελικτικού επιπέδου είναι K=2, F-3, S-2, P=1. Τα φίλτρα είναι δύο, μεγέθους 3x3 και εφαρμόζονται με stride 2. Έτσι, ο όγκος εξόδου έχει χωρικό μέγεθος 3. Επιπλέον, παρατηρείται ότι padding P=1 εφαρμόζεται στον όγκο εισόδου, κάνοντας τα εξωτερικά σύνορα του όγκου εισόδου 0. Οπισθοδιάδοση (Backpropagation). Η προς τα πίσω διάδοση μίας συνελικτικής διαδικασίας (τόσο για τα δεδομένα όσο και για τα βάρη) είναι επίσης μία συνέλιξη. Αυτό προκύπτει εύκολα στην περίπτωση ενός παραδείγματος μία διάστασης (δε θα αναλυθεί παραπάνω εδώ). 38

39 Συναρτήσεις ενεργοποίησης (Activation functions) Κάθε νευρώνας εμπεριέχει μια συνάρτηση ενεργοποίησης η οποία πραγματοποιεί έναν μη γραμμικό μετασχηματισμό στην έξοδο του. Προκειμένου να εφαρμοστεί η οπισθοδιάδοση των σφαλμάτων, μια μη-γραμμική συνάρτηση πρέπει να είναι διαφορίσιμη και γενικώς είναι μια καλή πρακτική η συνάρτηση ενεργοποίησης να είναι φραγμένη. Συνηθισμένες συναρτήσεις ενεργοποίησης. Μερικές ήδη γνωστές συναρτήσεις ενεργοποίησης που χρησιμοποιούνται στα νευρωνικά δίκτυα είναι οι σιγμοειδείς, συναρτήσεις υπερβολικής εφαπτομένης και οι συναρτήσεις τόξου εφαπτομένης. Ωστόσο, βρέθηκε πειραματικά πως οι συγκεκριμένες συναρτήσεις έχουν μειωμένη απόδοση όταν εφαρμόζονται σε ένα ΣΝΔ συγκρινόμενες με τις μονάδες γραμμικής ανόρθωσης (ReLU). Συγκεκριμένα, η σιγμοειδής, γνωστή και ως λογική συνάρτηση, δίνεται από την εξίσωση σ(x) = e x Η συνάρτηση διάδοσης υπερβολικής εφαπτομένης (tanh) δίνεται από την εξίσωση tanh(x) = ex e x e x + e x Τέλος, η συνάρτηση διάδοσης της ReLu ορίζεται ως f(x) = max (0, x) Επίπεδo κανονικοποίησης (Normalization layer) Το επίπεδο κανονικοποίησης τοπικής απόκρισης είναι εμπνευσμένο από την νευροβιολογία και πραγματοποιεί ενός είδους πλευρική αναστολή. Η πλευρική αναστολή είναι μια ιδιότητα που βρέθηκε πως υφίσταται στους οπτικούς νευρώνες των θηλαστικών. Συγκεκριμένα, ένας διεγειρόμενος νευρώνας μπορεί να προκαλέσει μείωση 39

40 της δραστηριότητας γειτονικών νευρώνων. Ένα ακόμα υποτιμημένο χαρακτηριστικό είναι πως η πλευρική αναστολή μπορεί να συμβεί σε μη γειτονικούς νευρώνες. Προτάθηκε από τους Alex Krizhevsky, Ilya Sutskever και Geoffrey E. Hinton με το AlexNet. Στα ΣΝΔ, το επίπεδο κανονικοποίησης τοπικής απόκρισης εφαρμόζεται ως ένα ενδιάμεσο επίπεδο μεταξύ των συνελικτικών επιπέδων και είναι ικανό να πραγματοποιήσει πλευρική αναστολή. [17] Επίπεδο χωρικής υποδειγματοληψίας (Pooling layer) Αυτό το είδος των επιπέδων χρησιμοποιείται για να μειώσει τους όγκους εισόδου εφαρμόζοντας μια συνάρτηση υποδειγματοληψίας κατά ύψος και πλάτος των όγκων εισόδου. Με αυτόν τον τρόπο, επιτυγχάνεται: 1. Η μείωση των διαστάσεων των παραγόμενων διανυσματικών χώρων. 2. Η μείωση της πιθανότητας υπερεκπαίδευσης (overfitting). 3. Επί του πρακτέου μείωση του όγκου της υπό-επεξεργασίας πληροφορίας. Πιο συνηθισμένη περίπτωση είναι να χρησιμοποιούνται αυτά τα επίπεδα μεταξύ διαδοχικών συνελικτικών επιπέδων με υπέρ-παραμέτρους της μορφής: μέγεθος πυρήνα 2x2 και βήμα 2, οι οποίες οδηγούν στην αφαίρεση του 75% του συνολικού διανυσματικού χώρου των χαρτών των χαρακτηριστικών των δειγμάτων που εμφανίζονται στην είσοδο. Αυτή η επιθετική μείωση είναι χρήσιμη επειδή μειώνει το overfitting στην ταξινόμηση μικρών σετ δεδομένων με έντονες διαφορές μεταξύ των κατηγοριών τους. Σε προβλήματα όμως όπου οι κατηγορίες είναι σημαντικά περισσότερες, η χρήση των επιπέδων χωρικής υπό-δειγματοληψίας μπορεί να καταστήσει αδύνατη την διακριτοποίηση των κατηγοριών στα τελικά επίπεδα απόφασης. Πιο γενικά, το επίπεδο χωρικής υποδειγματοληψίας: Δέχεται ως είσοδο έναν όγκο μεγέθους: W1 x Η1 x D1 Απαιτεί δύο (2) υπέρ-παραμέτρους: o F1 x F2 : την χωρική έκταση. o S: το βήμα μετατόπισης του δεκτικού πεδίου (stride). Εξάγει έναν όγκο χαρακτηριστικών μεγέθους W2 x Η2 x D2 όπου: W 2 = W 1 F₁ S

41 Η 2 = Η 1 F₂ S + 1 D 2 = D₁ Δεν εισάγει παραμέτρους αφού εφαρμόζει μία προκαθορισμένη συνάρτηση επί της εισόδου. Δεν είναι συνήθης η χρήση zero-padding στα επίπεδα αυτά. Στην πράξη, οι εκδοχές των pooling layer που χρησιμοποιούνται είναι δύο: το επίπεδο με F=3, S=2 (αποκαλείται overlapping pooling), καθώς και το επίπεδο με F=2, S=2. Για μεγέθη με μεγαλύτερες τιμές δεκτικού πεδίου τα αποτελέσματα είναι καταστρεπτικά. Πολλές συναρτήσεις έχουν προταθεί για την επίτευξη της χωρικής υπό-δειγματοληψίας. Μερικές εξ' αυτών είναι η εξαγωγή του τοπικού μεγίστου εκ των υπό- περιοχών (maxpooling), η εξαγωγή του μέσου όρου των υπό-περιοχών (average pooling) καθώς και μια πρόσφατα προτεινόμενη και υποσχόμενη μέθοδος που ονομάζεται στοχαστική χωρική υποδειγματοληψία (Stochastic pooling). [18] Ιστορικά συνηθιζόταν να χρησιμοποιείται το average pooling, αλλά πλέον προτιμάται η χρήση του max pooling (Σχήμα , καθώς έχει αποδειχθεί ότι δουλεύει καλύτερα στην πράξη. Σχήμα : Η πιο συνηθισμένη μέθοδος pooling είναι το max, που παρουσιάζεται εδώ με stride 2, δηλαδή λαμβάνεται το μέγιστο από κάθε επιμέρους μικρό τετράγωνο, διαστάσεων 2x2. 41

42 Πλήρως συνδεδεμένo επίπεδo (Fully connected layer) Τα πλήρως συνδεδεμένα επίπεδα τοποθετούνται στα τελικά επίπεδα των ΣΝΔ. Στην πράξη αυτά τα δίκτυα αποτελούν μια σύνθεση επιπέδων εσωτερικού γινομένου και μιας συνάρτησης ενεργοποίησης. Το μοντέλο απόφασης του ΣΝΔ καθορίζεται στα πλήρως συνδεδεμένα επίπεδα. Κάθε νευρώνας των πλήρως συνδεμένων επιπέδων διατηρεί συνδέσεις με όλους τους νευρώνες του προηγούμενου επιπέδου, όπως ισχύει και στα τυπικά τεχνητά νευρωνικά δίκτυα. Λόγω αυτής της συνδεσιμότητας, οι υπό-μάθηση παράμετροι που εμπεριέχονται σε αυτά τα επίπεδα αποτελούν ένα σεβαστό ποσοστό των συνολικών ελεύθερων παραμέτρων των ΣΝΔ. Για παράδειγμα, υποθέτοντας ένα πλήρως συνδεδεμένο επίπεδο 4096 νευρώνων και έναν όγκο εισόδου μεγέθους [6x6x256], το συγκεκριμένο επίπεδο θα εμπεριέχει (6x6x256x4096 = ) 37.7 εκατομμύρια βάρη (και 4096 πολώσεις) Υπολογιστικές απαιτήσεις Ένας μεγάλος προβληματισμός που προκύπτει γενικότερα με τα βαθιά νευρωνικά δίκτυα, αλλά και ειδικότερα με τα συνελικτικά νευρωνικά δίκτυα είναι ο χρόνος που απαιτείται ώστε να συγκλίνει η εκπαίδευση τους. Η ύπαρξη χιλιάδων κόμβων σε κάθε επίπεδο, καθώς και ο μεγάλος αριθμός παρατηρήσεων που χρησιμοποιούνται, σημαίνουν ότι το δίκτυο μπορεί να χρειαστεί από ώρες μέχρι και εβδομάδες για να εκπαιδευτεί σε μια Κεντρική Μονάδα Επεξεργασίας - CPU (ακόμη και υψηλής ποιότητας). Για αυτό το λόγο οι σύγχρονες προσπάθειες εκπαίδευσης μοντέλων βαθιάς μάθησης πραγματοποιούνται χρησιμοποιώντας παράλληλες διεργασίες σε κάρτες γραφικών (GPU). Τα περισσότερα από αυτά τα προγράμματα έχουν γραφεί χρησιμοποιώντας CUDA [19], η οποία δημιουργήθηκε απο την NVIDIA για να χρησιμοποιείται στις κάρτες γραφικών της. Σε όλα τα πειράματα που έγιναν για αυτή την εργασία χρησιμοποιήθηκε η κάρτα γραφικών της NVIDIA GeForce GTX 970 [20]. Αυτή η GPU έχει 1664 πυρήνες CUDA, 4 GB RAM και Compute Capability 5.2. Η ταχύτητα που προσφέρεται από την κάρτα γραφικών είναι πολύ χρήσιμη όταν αναζητά κανείς τις σωστές παραμέτρους για το νευρωνικό δίκτυο και χρειάζεται να γίνουν πολλαπλές προσπάθειες εκπαίδευσης του δικτύου. Για την αξιοποίηση της κάρτας γραφικών, οι αλγόριθμοι βαθιάς μάθησης πρέπει να έχουν προγραμματιστεί σε CUDA, η οποία χρησιμοποιεί C++. Ωστόσο, υπάρχουν αρκετές διαθέσιμες βιβλιοθήκες οι οποίες υλοποιούν τη λειτουργικότητας της CUDA μαζί με επιπλέον δυνατότητες ειδικά για 42

43 μηχανική μάθηση. Η παρούσα εργασία χρησιμοποιεί MATLAB R2016b και τα ενσωματωμένα Neural Network Toolbox και Parallel Computing Toolbox για την υλοποίηση των αλγορίθμων βαθιάς μάθησης. Αξίζει να σημειωθεί ότι για τη χρήση του Parallel Computing Toolbox και την υλοποίηση οποιουδήποτε αλγορίθμου μάθησης στο MATLAB είναι αναγκαία η ύπαρξη κάρτας γραφικών με Compute Capability >

44 44

45 4 Πειραματική διαδικασία 4.1 Συσκευή καταγραφής ηλεκτροεγκεφαλογραφήματος Σε κάθε ένα από τα πειράματα, η καταγραφή της ηλεκτροεγκεφαλικής δραστηριότητας πραγματοποιήθηκε με χρήση της συσκευής Clinical Geodesic EEG System 400 [21], η οποία επιτρέπει την ταυτόχρονη καταγραφή 256 καναλιών ΗΕΓ με συχνότητα δειγματοληψίας 250 Hz (Σχήμα 4.1-2). Η τοπολογία των καναλιών φαίνεται στο Σχήμα 4.1-1, ενώ ακολουθείται η τυποποίηση το συστήματος 10/20 που αναλύθηκε προηγουμένως. Η καταγραφή των καναλιών έγινε ως προς ηλεκτρόδιο αναφοράς Cz. Σχήμα 4.1-1: Τοπολογία των 256 καναλιών 45

46 4.2 Συμμετέχοντες Στην πειραματική διαδικασία συμμετείχαν 18 υγιή άτομα ηλικίας εκ των οποίων 11 ήταν άνδρες και 7 γυναίκες. Τα σήματα που προέκυψαν από το υποκείμενο #8 παρουσίασαν προβληματική καταγραφή και για το λόγο αυτό, το συγκεκριμένο υποκείμενο αφαιρέθηκε από τη συνέχεια της έρευνας, με αποτέλεσμα ο αριθμός των συμμετεχόντων να μειώνεται σε 17. Η συμμετοxή τους ήταν εθελοντική και ανώνυμη, ενώ διατηρούσαν το δικαίωμα να αποχωρήσουν από την πειραματική διαδικασία σε οποιαδήποτε στιγμή. Στο Σχήμα φαίνεται ένας συμμετέχοντας κατά τη διάρκεια της πειραματικής διαδικασίας. Σχήμα 4.2-1: Συμμετέχοντας κατά τη διάρκεια της πειραματικής διαδικασίας 4.3 Πειραματικό πρωτόκολλο Στα πλαίσια του πειραματικού πρωτοκόλλου, χρησιμοποιήθηκαν δύο τύποι οπτικής διέγερσης, ήτοι βίντεο 2 διαστάσεων (2D) και βίντεο τριών διαστάσεων (3D εικονική πραγματικότητα). Για την οπτική διέγερση 2D χρησιμοποιήθηκαν βίντεο [22] [23] [24] [25] τα οποία δημιουργήθηκαν από το «Χαμόγελο του Παιδιού» [26] και από τους 46

47 μαθητές του Γυμνασίου Λυκείου Πολεμίου στην Πάφο. Τόσο στη διέγερση 2D, όσο και στη διέγερση 3D χρησιμοποιήθηκαν βίντεο που σχεδιάστηκαν και δημιουργήθηκαν στο Αρσάκειο Λύκειο Θεσσαλονίκης [27], με σκοπό τη χρησιμοποίησή τους στο συγκεκριμένο πείραμα. Από όλες τις οπτικές διεγέρσεις αφαιρέθηκε ο ήχος, με στόχο η συναισθηματική απόκριση των υποκειμένων να προκύπτει μόνο από το οπτικό περιεχόμενο των διεγέρσεων και όχι από πιθανή σύζευξη με τη μουσική. Οι διεγέρσεις περιείχαν ερεθίσματα συναισθηματικού περιεχομένου (bul), καθώς και ερεθίσματα ουδέτερου συναισθηματικά περιεχομένου. Θεωρήθηκαν τρεις πειραματικές καταστάσεις με σκοπό να παρέχουν κατάλληλα ηλεκτροφυσιολογικά στοιχεία: Κατάσταση οπτικής διέγερσης δύο διαστάσεων (2D): Το ερέθισμα προβλήθηκε σε οθόνη υπολογιστή. Τα πρώτα 20 δευτερόλεπτα εστίαζαν το βλέμμα τους σε μαύρο φόντο. Στη συνέχεια, παρακολουθούσαν 14 περιστατικά (trials) bullying, ανάμεσα στα οποία παρεμβάλλονταν σκηνές ουδετέρου συναισθηματικά περιεχομένου. Κατάσταση οπτικής διέγερσης τριών διαστάσεων (3D): Το ερέθισμα προβλήθηκε σε κινητό, με χρήση λογισμικού προβολής βίντεο τριών διαστάσεων και μάσκας εικονικής πραγματικότητας [28]. Τα πρώτα 20 δευτερόλεπτα εστίαζαν το βλέμμα τους σε μαύρο φόντο. Στη συνέχεια, παρακολουθούσαν 15 περιστατικά (trials) bullying, ανάμεσα στα οποία παρεμβάλλονταν σκηνές ουδετέρου συναισθηματικά περιεχομένου. Σχήμα : Γεωδεσικό σύστημα καταγραφής. 47

48 48

49 5 Παρουσίαση της μεθόδου 5.1 Προεπεξεργασία δεδομένων (Pre-processing) Η αρχική προεπεξεργασία που έγινε είναι φιλτράρισμα στα Hz, artifact detection, bad channel replacement, baseline correction και segmentation. Στη συνέχεια, πραγματοποιήθηκε ειδική προεπεξεργασία για τα συγκεκριμένα ερευνητικά ενδιαφέροντα. Συγκεκριμένα, έγινε επεξεργασία των δεδομένων, ώστε να έρθουν σε κατάλληλη μορφή για να εφαρμοστεί η Αποσύνθεση Σμήνους και στη συνέχεια να εισαχθούν ως είσοδος στο ΣΝΔ. Σε αυτό το επίπεδο υπάρχουν σήματα 256 x 256 x 14 x 17 (κανάλια x δείγματα x trials x υποκείμενο) για το πείραμα Π1 και 256 x 192 x 16 x 17 (κανάλια x δείγματα x trials x υποκείμενο) Αρχικά, γίνεται κανονικοποίηση κάθε σήματος με αφαίρεση της μέσης τιμής τους και διαίρεση με τη μέγιστη τιμή του. Στη συνέχεια, εφαρμόζεται ένα ζωνοπερατό φίλτρο στα 7-30 Hz, ώστε να κοπούν οι πολύ χαμηλές συχνότητες, οι οποίες προκαλούν προβλήματα στη λειτουργία της Αποσύνθεσης Σμήνους. Έπειτα, γίνεται ένα downsampling στα 128 δείγματα, με στόχο τον καλύτερο διαχωρισμό των κορυφών του σήματος, ώστε να επιταχυνθεί η Αποσύνθεση Σμήνους. 5.2 Εφαρμογή Αποσύνθεσης Σμήνους Μετά από αυτή την προεπεξεργασία σε καθένα από αυτά τα σήματα εφαρμόζεται SWD με τις παρακάτω παραμέτρους: 49

50 Πίνακας 5.1: Παράμετροι που χρησιμοποιήθηκαν κατά την Αποσύνθεση Σμήνους SWD Parameters Values Pth 0.2 StDth Welch_nfft 64 Welch_window 64 Welch_no_overlap 32 Από κάθε σήμα προκύπτει ένα πλήθος συχνοτικών συνιστωσών. Από αυτά επιλέγονται τα τρία πρώτα, ενώ τα υπόλοιπα απορρίπτονται. Στο Σχήμα φαίνεται η εφαρμογή Αποσύνθεσης Σμήνους, σε χρόνο και συχνότητα, του σήματος ΗΕΓ από το 102 ο κανάλι του πρώτου trial του πρώτου υποκειμένου του πειράματος. Σχήμα 5.2-1: Εφαρμογή της Αποσύνθεσης Σμήνους σε ένα EEG σήμα στο χρόνο (αριστερά) και στη συχνότητα (δεξιά). Η πρώτη κυματομορφή είναι το αρχικό σήμα, οι επόμενες τρεις είναι οι συχνοτικές συνιστώσες στα οποία αναλύεται και η τελευταία το υπόλοιπο του σήματος (residual). Τα σήματα, λοιπόν, που προκύπτουν έχουν διαστάσεις 256 x 128 x 3 x i (κανάλια x δείγματα x OC x αύξων αριθμός που λειτουργεί ως δείκτης των παρατηρήσεων εισόδου του ΣΝΔ). 50

51 5.3 Ομαδοποίηση καναλιών Τα ΣΝΔ αποτελούν ένα είδος νευρωνικών δικτύων τα οποία χρησιμοποιούνται κυρίως όταν τα δεδομένα εισόδου είναι εικόνες. Συνεπώς, παρουσιάζει ιδιαίτερο ενδιαφέρον η προσπάθεια να μετασχηματίσουμε τα δεδομένα του ηλεκτροεγκεφαλογραφήματος, ώστε όχι μόνο να έρθουν σε μορφή κατάλληλη για να εισαχθούν σε ένα ΣΝΔ αλλά να μπορούμε να εκμεταλλευτούμε και όλα τα πλεονεκτήματα που παρουσιάζουν τα ΣΝΔ. Στόχος μας λοιπόν είναι να εξάγουμε πληροφορία τόσο από τη χρονική όσο και από τη χωρική διάσταση. Στην περίπτωση των εικόνων υπάρχει η έννοια της διάταξης στο χώρο και διαδοχικά pixel της εικόνας αναπαριστούν περιοχές του πραγματικού αντικειμένου, που έχουν μεταξύ τους ανάλογη απόσταση. Για κάθε trial θα μπορούσε να θεωρηθεί ένας τρισδιάστατος πίνακας/εικόνα C x τ x i, με άξονα καναλιών μεγέθους C, άξονα χρόνου μεγέθους τ και άξονα OC μεγέθους i. Τα συνελικτικά φίλτρα, επομένως, που έχουν διάσταση μεγαλύτερη του 1 στον άξονα των καναλιών θα συνελίσσονται με τα γειτονικά κανάλια, ενσωματώνοντας έτσι τη χωρική πληροφορία μεταξύ των ηλεκτροδίων. Η χωρική αυτή πληροφορία ενδέχεται να είναι πολύ χρήσιμη, καθώς ένα μεμονωμένο κανάλι μπορεί να χάσει τη δραστηριότητα μιας υποβόσκουσας εγκεφαλικής δομής την οποία η συνέλιξη με τα κανάλια της γειτονικής περιοχής θα αναγνωρίσει. Έτσι, λοιπόν, προκύπτει το πρόβλημα της αναπαράστασης των γειτονικών καναλιών με τέτοιο τρόπο ώστε η εφαρμογή των συνελικτικών φίλτρων να συμβαδίζει με την ανατομική πραγματικότητα. Μπορούμε να θεωρήσουμε κάθε ηλεκτρόδιο ως ένα pixel τοποθετημένο σε σχέση με τα άλλα ηλεκτρόδια κατά το μήκος και πλάτος του κρανίου. Ο μεγάλός αριθμός ηλεκτροδίων (256) που έχουμε καλύπτει το σύνολο της έκτασης του κρανίου και δε χρειάζεται συμπλήρωση με μηδενικά ή με παρεμβολές στα pixel που δεν αντιστοιχούν σε ηλεκτρόδια. Αντιθέτως, η μέθοδος που χρησιμοποιείται σε αυτή την εργασία, η οποία βασίζεται στο [29], προτείνει την ομαδοποίηση των καναλιών σύμφωνα με τις μεταξύ τους αποστάσεις. Η ομαδοποίηση που εφαρμόζεται είναι τέτοια ώστε κανένα ηλεκτρόδιο να μην ανήκει σε παραπάνω από μία ομάδα και το άθροισμα των αποστάσεων μεταξύ των ηλεκτροδίων που ανήκουν στην ίδια ομάδα να ελαχιστοποιείται. Με αυτό τον τρόπο, μπορεί να οριστεί ένα επίπεδο συνέλιξης το ενσωματώνει τη χωρική πληροφορία ηλεκτροδίων που βρίσκονται πάνω από παρόμοιες περιοχές του εγκεφάλου. Για την ομαδοποίηση των ηλεκτροδίων χρησιμοποιήθηκαν δύο αλγόριθμοι, o k-means και η ιεραρχική ομαδοποίηση. 51

52 5.3.1 Αλγόριθμος k-means Ο k-means είναι ένας αλγόριθμος διαχωρισμού δεδομένων που αναθέτει καθεμιά από τις n παρατηρήσεις σε ακριβώς μία από τις k ομάδες, όπου ο αριθμός k των ομάδων ορίζεται από το χρήστη, πριν την εκκίνηση του αλγορίθμου. Στην αρχή, επιλέγονται k αρχικά κέντρα βάρους και κάθε σημείο του συνόλου δεδομένων αποδίδεται στο πιο κοντινό από αυτά. Κάθε σύνολο σημείων που αποδίδεται σε ένα κέντρο βάρους συνιστά μια ομάδα. Το κέντρο βάρους κάθε ομάδας στη συνέχεια επαναπροσδιορίζεται με βάση τα σημεία που αποδίδονται στην ομάδα. Η διαδικασία επαναλαμβάνεται μέχρι τα κέντρα βάρους να παραμένουν σταθερά. Πιο συγκεκριμένα, ο αλγόριθμος περιγράφεται παρακάτω: Αλγόριθμος k-means 1: Επίλεξε k σημεία ως αρχικά κέντρα βάρους 2: Επανάλαβε 3: Σχημάτισε k ομάδες, αποδίδοντας κάθε σημείο στο πλησιέστερο κέντρο βάρους του. 4: Υπολόγισε ξανά το κέντρο βάρους κάθε ομάδας 5: Μέχρι να μην αλλάζουν τα κέντρα βάρους. Το πλησιέστερο κέντρο βάρους για κάθε σημείο προσδιορίζεται από ένα μέτρο εγγύτητας. Το μέτρο αυτό μπορεί να είναι η ευκλείδεια απόσταση, η Manhattan απόσταση, το μέτρο συνημίτονου κ.ά., ανάλογα με το σύνολο των δεδομένων. Για παράδειγμα, το μέτρο συνημίτονου είναι περισσότερο κατάλληλο για έγγραφα. Για τον προσδιορισμό του κέντρου βάρους, ανάλογα με τη μετρική απόστασης, χρησιμοποιείται μια αντικειμενική συνάρτηση που ελαχιστοποιεί ή μεγιστοποιεί κάποιο μέγεθος. Για το συγκεκριμένο πρόβλημα, χρησιμοποιήθηκε η ευκλείδεια απόσταση, καθώς τα ηλεκτρόδια έχουν συντεταγμένες και γεωμετρική διάταξη στο χώρο. Ως αριθμός ομάδων επιλέχθηκε k=19, σύμφωνα με τις 19 περιοχές που ορίζει το σύστημα Άξια αναφοράς είναι η επιλογή των αρχικών θέσεων των κέντρων βάρους, καθώς αυτές θα καθορίσουν το που θα συγκλίνει εν τέλει ο αλγόριθμος. Συνήθως, τα κέντρα επιλέγονται τυχαία. Αυτό όμως μπορεί να οδηγήσει στη δημιουργία ομάδων που δεν είναι συμπαγείς. Για την αποφυγή αυτού του προβλήματος, συνηθίζεται να εκτελείται πολλές φορές ο αλγόριθμος, κάθε φορά με άλλα αρχικά κέντρα βάρους. Στο τέλος, επιλέγονται οι ομάδες 52

53 με τη μεγαλύτερη συνοχή μεταξύ των μελών [14]. Στην παρούσα εργασία χρησιμοποιείται αυτή η μεθοδολογία και στο Σχήμα φαίνεται μια ενδεικτική ομαδοποίηση που προέκυψε. Ωστόσο, χρησιμοποιήθηκε και μια δεύτερη μέθοδος επιλογής των αρχικών κέντρου βάρους. Συγκεκριμένα, ως αρχικά κέντρα βάρους χρησιμοποιήθηκαν οι συντεταγμένες των ηλεκτροδίων που θεωρούνται αντιπροσωπευτικά για κάθε μία από τις περιοχές που ορίζει το σύστημα Η ομαδοποίηση που προέκυψε, ουσιαστικά, επιβεβαίωσε την ορθότητα της επιλογής των ομάδων από την πρώτη μέθοδο. Σχήμα : Ομαδοποίηση των 256 καναλιών σε 19 ομάδες με χρήση του αλγορίθμου k-means. Τα μέλη κάθε ομάδας παρουσιάζονται με διαφορετικό χρώμα, ενώ με x σημειώνεται το κέντρο της κάθε ομάδας. 53

54 5.3.2 Αλγόριθμος Ιεραρχικής ομαδοποίησης Η ιεραρχική ομαδοποίηση παράγει ένα σετ από εμφωλευμένες ομάδες, οργανωμένες ως ιεραρχικό δέντρο. Οι ομάδες αυτές μπορούν να οπτικοποιηθούν σαν δενδρόγραμμα, το οποίο απεικονίζει τις αλληλουχίες των διαχωρισμών ή ενώσεων, όπως φαίνεται στο Σχήμα Σχήμα : Αριστερά: δενδρόγραμμα ιεραρχικής ομαδοποίησης(αριστερά) και ομαδοποίηση που προκύπτει από αυτό (δεξιά) Δε χρειάζεται να γίνεται εξ αρχής υπόθεση για τον αριθμό των ομάδων. Αυτός καθορίζεται από το επίπεδο στο οποίο θα «κόψουμε» το δενδρόγραμμα. Υπάρχουν δύο βασικοί τύποι ιεραρχικής ομαδοποίησης, η ιεραρχική ομαδοποίηση συνάθροισης και η ιεραρχική ομαδοποίηση διαχωρισμού. Στην πρώτη περίπτωση, κάθε σημείο στην αρχή είναι μία ομάδα και σε κάθε βήμα, συνενώνεται το πλησιέστερο ζευγάρι ομάδων μέχρι να μείνει μόνο μία (ή k) ομάδα(ες). Στη δεύτερη περίπτωση, όλα τα σημεία στην αρχή ανήκουν σε μια ομάδα και σε κάθε βήμα αποσχίζεται ένα σημείο, μέχρι να γίνουν όλα τα σημεία από μια (ή k) ομάδα(ες). Στην παρούσα εργασία χρησιμοποιείται η ιεραρχική ομαδοποίηση συνάθροισης με k=19. Η γενική περίπτωση του αλγορίθμου περιγράφεται παρακάτω: 54

55 Αλγόριθμος Agglomerative Hierarchical Clustering 1: Υπολόγισε τον πίνακα απόστασης 2: Όρισε κάθε σημείο να είναι μία ομάδα 3: Επανάλαβε 4: Συνένωσε τις δύο κοντινότερες ομάδες 5: Ανανέωσε τον πίνακα απόστασης 6: Μέχρι να μείνει μόνο μία ομάδα Το πλεονέκτημα της ιεραρχικής ομαδοποίησης συγκριτικά με τον k-means είναι ότι ακόμη και μετά το διαχωρισμό των ηλεκτροδίων σε 19 ομάδες, παραμένει και η συνολική διάταξή τους βάσει αποστάσεων. Αυτό είναι πολύ σημαντικό, καθώς τα 256 θα πρέπει να μπουν όλα στα σειρά πριν δοθούν ως είσοδος στο ΣΝΔ. Έτσι, ο k-means θα δώσει τη δυνατότητα συνελίξεων στα κανάλια της κάθε ομάδας, αλλά η ιεραρχική ομαδοποίηση όχι μόνο στα κανάλια της κάθε ομάδας, αλλά και στις γειτονικές ομάδες. Παρά τη θεωρητική αυτή υπόθεση η αξιολόγηση των δύο διαφορετικών αλγορίθμων ομαδοποίησης έδειξε ότι οι ομάδες που δημιουργήθηκαν από τον K-means είχαν ισχυρότερες σχέσεις μεταξύ των μελών της εκάστοτε ομάδας και ασθενέστερες μεταξύ των ομάδων, σε σχέση με τις ομάδες που προέκυψαν από την ιεραρχική ομαδοποίηση. Συνεπώς, στη συνέχεια της εργασίας χρησιμοποιείται η ομαδοποίηση του K-means. 5.4 Δομή του ΣΝΔ Για το Συνελικτικό Νευρωνικό Δίκτυο η δομή που ακολουθήθηκε είναι: ένα συνελικτικό επίπεδο, ακολουθούμενο από ένα επίπεδο χωρικής υποδειγματοληψίας και στη συνέχεια ένα πλήρως συνδεδεμένο επίπεδο και μία λογιστική παλινδρόμηση (logistic regression) για ταξινόμηση. Πιο αναλυτικά, το συνελικτικό επίπεδο είναι ορισμένο να έχει 30 φίλτρα διαστάσεων 8 x 8. Αυτό σημαίνει ότι κάθε φίλτρο εφαρμόζεται κατά μήκος οχτώ καναλιών και οχτώ χρονικών δειγμάτων. Το επίπεδο αυτό ακολουθείται από ένα επίπεδο χωρικής δειγματοληψίας (max-pooling layer) με ένα πίνακα 3 x 3 κατά τους άξονες του χρόνου και των καναλιών. Για παράδειγμα, χρησιμοποιώντας ένα χρονικό παράθυρο τ = 128, 55

56 ένα δείγμα εισόδου είναι x R 256x128. Ένα φίλτρο στο συνελικτικό επίπεδο μετασχηματίζει το x λοιπόν σε x R 249x121, όπου η διάσταση του χρόνου δίνεται από (128-8)+1 = 121 και η χωρική διάσταση δίνεται από (256-8)+1 = 249. Το συνελικτικό επίπεδο ακολουθείται από ένα επίπεδο χωρικής δειγματοληψίας για το οποίο ισχύει F=3 και S=2. Οπότε η έξοδος που βγάζει θα δίνεται για την χρονική διάσταση από (121-3)/2 + 1 = 60 και στην χωρική από (239-3)/2 + 1 = 124 δηλαδή το x θα μετασχηματίζεται σε x R 124x60. Το επίπεδο διαδέχεται ένα πλήρως συνδεδεμένο επίπεδο 2 κόμβων ή 4 κόμβων (ανάλογα με το πρόβλημα). Οι κόμβοι αυτοί χρησιμοποιούνται σε μία λογιστική παλινδρόμηση (softmax) έτσι ώστε να ταξινομηθεί το αποτέλεσμα. Ο αριθμός των κόμβων εξόδου είναι είτε 2 είτε 4, ανάλογα με το ζητούμενο του προβλήματος. Κάθε επίπεδο χρησιμοποιεί ReLu συνάρτηση ενεργοποίησης. Η συνάρτηση σφάλματος που χρησιμοποιήθηκε για όλα τα αποτελέσματα ορίζεται cross entropy (λογιστική) συνάρτηση σφάλματος (standard cross entropy loss function). Αρχικά, το δείγμα χωρίστηκε σε 75% για εκπαίδευση (training and validation set) και 25% για έλεγχο (test set). Η εκπαίδευση του δικτύου έγινε χρήση 10-fold cross validation, όπου σε κάθε επανάληψη το 90% του δείγματος εκπαίδευσης χρησιμοποιούταν για την εκπαίδευση του δικτύου (training set), ενώ το 10% για την επιβεβαίωση της εκπαίδευσης (validation set). Στη συνέχεια, οι παρατηρήσεις του δείγματος ελέγχου ταξινομήθηκαν με βάση το μοντέλο που προέκυψε από την εκπαίδευση του δείγματος εκπαίδευσης. Η δομή του ΣΝΔ φαίνεται στο Σχήμα

57 Σχήμα 5.4-1: Η δομή του ΣΝΔ που χρησιμοποιήθηκε με τ=

58 58

59 6 Παρουσίαση Αποτελεσμάτων Μετά την περιγραφή του θεωρητικού και τεχνικού υποβάθρου για την ανάλυση των σημάτων και της πειραματικής διαδικασίας, θα παρουσιαστούν τα αποτελέσματα. Η αξιολόγηση πραγματοποιήθηκε με τη χρήση των μετρικών που παρουσιάστηκαν στο Κεφάλαιο Μετρικές Αξιολόγησης. Αρχικά, ως είσοδος στο ΣΝΔ δόθηκαν δεδομένα στα οποία δεν είχε εφαρμοστεί Αποσύνθεση Σμήνους, με στόχο τα αποτελέσματα που θα επέστρεφαν να χρησιμοποιηθούν ως μέτρο σύγκρισης για τις περιπτώσεις των δεδομένων με Αποσύνθεση Σμήνους. Στην περίπτωση αυτή τα δεδομένα εισόδου έχουν διαστάσεις 256x192x1. Οι πρώτες δύο διαστάσεις αντιστοιχούν στα κανάλια και στα δείγματα, αντίστοιχα. Η τρίτη διάσταση, στα δεδομένα που έχει εφαρμοστεί Αποσύνθεση Σμήνους είναι 3 και αναφέρεται στο πλήθος των συχνοτικών συνιστωσών ανά κανάλι. Σε αυτή την περίπτωση όμως, η τρίτη διάσταση ισούται με 1, καθώς υπάρχει μόνο 1 σήμα ανά κανάλι. Επίσης, σε κάθε περίπτωση χρησιμοποιήθηκαν δεδομένα τόσο ομαδοποιημένων καναλιών όσο και μη ομαδοποιημένων. Οι δομές συνελικτικών νευρωνικών δικτύων που χρησιμοποιήθηκαν, περιλάμβαναν μέχρι το πολύ 3 φορές το σετ {Συνελικτικό Επίπεδο ReLU Επίπεδο Δειγματοληψίας}. Αυτό εφαρμόστηκε σαν κανόνας, καθώς περισσότερες επαναλήψεις των συγκεκριμένων επιπέδων αυξάνουν σημαντικά την υπολογιστική πολυπλοκότητα του δικτύου αλλά και το χρόνο που απαιτείται για την εκπαίδευσή του. 59

60 Δεδομένα Χωρίς Αποσύνθεση Σμήνους, Χωρίς ομαδοποίηση καναλιών Παρατηρείται ότι για το δεδομένο μέγεθος του ΣΝΔ, δεν επιτυγχάνεται εκπαίδευση του δικτύου και εν τέλει η πρόβλεψη που γίνεται είναι αντίστοιχη της τυχαίας επιλογής. Το πρόβλημα αυτό θα μπορούσε, ενδεχομένως, να επιλυθεί με τη χρήση ενός πιο πολύπλοκου δικτύου, με περισσότερα επίπεδα, τα οποία θα μπορούσαν να διακρίνουν πιο λεπτομερή πρότυπα που εμφανίζονται. Ωστόσο, κάτι τέτοιο θα αύξανε απαγορευτικά το χρόνο εκπαίδευσης και το υπολογιστικό κόστος. Πίνακας 6.1: Πίνακας σύγχυσης, μετρικές αξιολόγησης και ROC καμπύλη για την περίπτωση δεδομένων χωρίς Αποσύνθεση Σμήνους και χωρίς ομαδοποίηση καναλιών Training Validation Set Accuracy = Test Set Accuracy = Precision bul = Precision nobul = NaN Recall bul = 1 Recall nobul = 0 AUC =

61 Δεδομένα Χωρίς Αποσύνθεση Σμήνους, Ομαδοποίηση καναλιών με K-means Παρατηρείται ότι και στην περίπτωση που τα κανάλια ομαδοποιούνται δεν επιτυγχάνεται εκπαίδευση του ΣΝΔ και πάλι η πρόβλεψη που γίνεται είναι αντίστοιχη της τυχαίας επιλογής. Πίνακας 6.2: Πίνακας σύγχυσης, μετρικές αξιολόγησης και ROC καμπύλη για την περίπτωση δεδομένων χωρίς Αποσύνθεση Σμήνους και ομαδοποίηση καναλιών με K-means Training Validation Set Accuracy = Test Set Accuracy = Precision bul = NaN Precision nobul = Recall bul = 0 Recall nobul = 1 AUC =

62 Δεδομένα Με Αποσύνθεση Σμήνους, Χωρίς Ομαδοποίηση καναλιών Στην περίπτωση αυτή παρατηρείται ότι το δίκτυο εκπαιδεύεται και μάλιστα πετυχαίνει αρκετά καλή ακρίβεια (80%) στο σετ εκπαίδευσης. Ωστόσο, στο τεστ σετ υπάρχει μια συνολική πτώση στις μετρικές και η ακρίβεια πέφτει στο 50%. Φαίνεται συνεπώς ότι προκύπτει overfitting, καθώς το δίκτυο έχει προσαρμοστεί τέλεια στις περιπτώσεις που εκπαιδεύτηκε και αδυνατεί να γενικεύσει για διαφορετικές περιπτώσεις. Πίνακας 6.3: Πίνακας σύγχυσης, μετρικές αξιολόγησης και ROC καμπύλη για την περίπτωση δεδομένων με Αποσύνθεση Σμήνους και χωρίς ομαδοποίηση καναλιών Training Validation Set Accuracy = 0.8 Test Set Accuracy = Precision bul = Precision nobul = Recall bul = Recall nobul = AUC =

63 Δεδομένα Με Αποσύνθεση Σμήνους, Ομαδοποίηση καναλιών με K-means Στην περίπτωση αυτή το σύνολο των μετρικών έχει πολύ καλές τιμές και μάλιστα η ακρίβεια του μοντέλου στο τεστ σετ φτάνει το 93%. Πίνακας 6.4: Πίνακας σύγχυσης, μετρικές αξιολόγησης και ROC καμπύλη για την περίπτωση δεδομένων με Αποσύνθεση Σμήνους και ομαδοποίηση καναλιών με K-means Training Validation Set Accuracy = Test Set Accuracy = Precision bul = Precision nobul = Recall bul = Recall nobul = AUC =

64 Για την περίπτωση που σημειώθηκαν καλά αποτελέσματα έγινε προσέγγιση και ενός προβλήματος 4 κλάσεων. Συγκεκριμένα έγινε διάκριση σε δεδομένα που αντιστοιχούσαν σε ερέθισμα bullying (bul) και σε ουδέτερο συναισθηματικά ερέθισμα (nobul), αλλά και σε ερέθισμα 2D από το πρώτο πείραμα Τ1 και σε ερέθισμα 3D από το δεύτερο πείραμα Τ2. Έτσι, προέκυψαν οι 4 συνδυασμοί κλάσεις {bult1, nobult1, bult2, nobult2}. Δεδομένα 4 κλάσεων Με Αποσύνθεση Σμήνους, Ομαδοποίηση καναλιών με K-means Παρατηρείται, ότι τα καλά επίπεδα των μετρικών και συνεπώς του ταξινομητή διατηρούνται για αυτή τη δομή των δεδομένων εισόδου, ακόμα και στην περίπτωση του προβλήματος των 4 κλάσεων. Όπως είναι φυσιολογικό η διάκριση των δεδομένων σε 4 κλάσεις αντί για 2 αυξάνει τη δυσκολία για τον ταξινομητή. Ωστόσο, ακρίβεια επιπέδου 88% είναι πάρα πολύ καλή για πρόβλημα 4 κλάσεων. Πίνακας 6.5: Πίνακας σύγχυσης, μετρικές αξιολόγησης και ROC καμπύλη για την περίπτωση δεδομένων 4 κλάσεων με Αποσύνθεση Σμήνους και ομαδοποίηση καναλιών με K-means Training Validation Set Accuracy = Test Set Accuracy = Precision bult1 = Precision nobult1 = Precision bult2 = Precision nobult2 = Recall bult1 = Recall nobult1 = Recall bult2 = Recall nobult2 =