Διπλωματική Εργασία. Φασματική και Χωρική Ταξινόμηση Υπερφασματικών Απεικονίσεων με Χρήση Τεχνικών Μηχανικής Εκμάθησης

Transcript

1 Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Διπλωματική Εργασία Φασματική και Χωρική Ταξινόμηση Υπερφασματικών Απεικονίσεων με Χρήση Τεχνικών Μηχανικής Εκμάθησης Κυριακίδης Σάββας-Ιωάννης Α.Ε.Μ.: 7196 Επιβλέπων Καθηγητής: Δρ. Ιωάννης Θεοχάρης Φεβρουάριος 2015

2

3 Περίληψη Η παρούσα διπλωματική εργασία αφορά την υλοποίηση και την εφαρμογή ενός νέου αλγορίθμου για την βασισμένη σε εικονοστοιχεία ταξινόμηση υπερφασματικών απεικονίσεων. Ο αλγόριθμος που υλοποιήθηκε ονομάζεται SpatialBoost και αποτελεί μια επέκταση του ευρέως διαδεδομένου AdaBoost ώστε να αξιοποιείται, εκτός της φασματικής πληροφορίας κάθε εικονοστοιχείου, η χωρική πληροφορία των κλάσεων των γειτονικών εικονοστοιχείων της εικόνας. Ο αλγόριθμος αυτός παίρνει ως είσοδο κάποια ταυτοποιημένα δεδομένα εκπαίδευσης και δουλεύει επαναληπτικά, εκπαιδεύοντας σε κάθε γύρο έναν αριθμό από μηχανές διανυσμάτων υποστήριξης (ή SVM), οι οποίες εκπαιδεύονται στην φασματική πληροφορία του εικονοστοιχείου και στην χωρική πληροφορία που προκύπτει από τις ετικέτες κλάσεων των γειτόνων του εικονοστοιχείου, για έναν αριθμό από γειτονιές. Το τελικό συμπέρασμα εξάγεται συνδυάζοντας τα αποτελέσματα των επιμέρους ταξινομητών SVM με κατάλληλους συντελεστές βαρύτητας. Έπειτα χρησιμοποιείται ο εκπαιδευμένος ταξινομητής για την ταξινόμηση των μη ταυτοποιημένων δεδομένων. Η απόδοση του αλγορίθμου δοκιμάστηκε σε δύο ειδικά υπερφασματικά σετ δεδομένων που δημιουργήθηκαν από δορυφορικές λήψεις και χρησιμοποιούνται για την δοκιμή και σύγκριση των αλγορίθμων μηχανικής εκμάθησης. Τα αποτελέσματα που προκύπτουν συγκρίνονται με τα αποτελέσματα ταξινόμησης από τον SVM και τον AdaBoost όπου διαπιστώνεται η υπεροχή του αλγορίθμου έναντι στους προαναφερθέντες και επομένως δικαιολογείται η εισαγωγή της χωρικής πληροφορίας για την ταξινόμηση. Λέξεις κλειδιά: μηχανική εκμάθηση, ταξινόμηση, υπερφασματικές απεικονίσεις, boosting, μηχανές διανυσμάτων υποστήριξης, χωρική πληροφορία i

4 ii

5 Ευχαριστίες Θα ήθελα καταρχήν να ευχαριστήσω την οικογένειά μου και ειδικότερα τους γονείς μου για την ανεκτίμητη υποστήριξή τους κατά τη διάρκεια των σπουδών μου. Η πίστη τους στις δυνατότητές μου αποτέλεσε αρωγό σε όλους τους στόχους και τα όνειρά μου και για αυτό τους αφιερώνω την παρούσα εργασία. Θα ήθελα επίσης να ευχαριστήσω τον καθηγητή κ. Ιωάννη Θεοχάρη για την υποστήριξη και την καθοδήγησή του καθ όλη τη διάρκεια της εκπόνησης της εργασίας. Ήταν πάντα διαθέσιμος να μου προσφέρει την εμπειρία του και τις γνώσεις του για την βαθύτερη κατανόηση του τομέα της μηχανικής εκμάθησης. Με εμπιστεύτηκε για την εκπόνηση ενός έργου σε ένα τομέα άγνωστο και αυτή η πρόκληση διεύρυνε τους ορίζοντες και το επιστημονικό μου υπόβαθρο και με έκανε να αγαπήσω αυτόν τον τομέα. Τέλος θα ήθελα να ευχαριστήσω όλους τους φίλους και τους ανθρώπους που γνώρισα κατά τη διάρκεια των φοιτητικών μου χρόνων στη Θεσσαλονίκη, που με την παρουσία τους έκαναν τα χρόνια αυτά μια πραγματικά αξέχαστη εμπειρία, προσδίδοντας την απαιτούμενη ισορροπία που με βοήθησε να ανταπεξέλθω στις δυσκολίες. iii

6 iv

7 Περιεχόμενα Κεφάλαιο 1 Εισαγωγή Περιγραφή του προβλήματος Διάρθρωση της εργασίας... 4 Κεφάλαιο 2 Υπερφασματικές Απεικονίσεις και Ταξινόμηση Φυσική Απορρόφηση εκπομπή Σκέδαση Υπερφασματικές Απεικονίσεις Περιγραφή των συστημάτων υπερφασματικών απεικονίσεων Ιδιότητες των συστημάτων υπερφασματικής τηλεπισκόπησης Άλλα είδη φασματικών απεικονίσεων Ταξινόμηση υπερφασματικών απεικονίσεων Κεφάλαιο 3 Μηχανές Διανυσμάτων Υποστήριξης Ιστορική αναδρομή Γραμμικά διαχωρίσιμες κλάσεις Μη γραμμικά διαχωρίσιμες κλάσεις Η μέθοδος των συναρτήσεων πυρήνα Προβλήματα ταξινόμησης πολλών κλάσεων Μέθοδος one against all Μέθοδος one against one Μηχανές διανυσμάτων υποστήριξης με χρήση κατευθυνόμενου άκυκλου γράφου Μέθοδος κωδικοποίησης διόρθωσης σφαλμάτων Η μέθοδος των Weston και Watkins Η μέθοδος των Crammer και Singer Σύγκριση των μεθόδων Πιθανοτικές έξοδοι μηχανών διανυσμάτων υποστήριξης SVM και υπερφασματικές απεικονίσεις Κεφάλαιο 4 Συνδυασμός ταξινομητών μέσω της μεθόδου boosting Εισαγωγή Ο αλγόριθμος AdaBoost v

8 4.2.1 Το φράγμα του σφάλματος γενίκευσης Η έννοια του περιθωρίου Ο αλγόριθμος AdaBoost ως πρόβλημα ελαχιστοποίησης Επέκταση του AdaBoost για προβλήματα πολλών κλάσεων Boosting και μηχανές διανυσμάτων υποστήριξης Κεφάλαιο 5 Ο αλγόριθμος SpatialBoost Εισαγωγή Η αρχική μορφή του αλγορίθμου SpatialBoost Ο SpatialBoost για υπερφασματικά δεδομένα Επέκταση του SpatialBoost για προβλήματα πολλών κλάσεων Χρήση γειτονιών μεταβλητής ακτίνας Μηχανές διανυσμάτων υποστήριξης ως ασθενείς ταξινομητές Ο ψευδοκώδικας του αλγορίθμου SpatialBoost και Bootstrap Aggregating Κεφάλαιο 6 Πειραματικά αποτελέσματα Σετ δεδομένων Indiana Pines Περιγραφή του σετ δεδομένων Πρώτο σετ εκπαίδευσης Δεύτερο σετ εκπαίδευσης Σετ δεδομένων του Πανεπιστημίου της Pavia Σετ εκπαίδευσης με τυχαία δειγματοληψία προτύπων από κάθε κλάση Πρότυπο σετ εκπαίδευσης Κεφάλαιο 7 Συμπεράσματα και προτάσεις για μελλοντική έρευνα vi

9 Κατάλογος Σχημάτων Σχήμα 2.1 Το ηλεκτρομαγνητικό φάσμα και ο διαχωρισμός του σε ζώνες... 6 Σχήμα 2.2 Αλληλεπιδράσεις φωτός και ύλης... 6 Σχήμα 2.3 Απορρόφηση και εκπομπή φωτονίου... 7 Σχήμα 2.4 Βασικά στοιχεία του φασματοσκοπίου... 9 Σχήμα 2.5 Φασματικές υπογραφές ορισμένων υλικών στην επιφάνεια της Γης... 9 Σχήμα 2.6 Παράδειγμα φασματικού κύβου και φασματικών υπογραφών Σχήμα 2.7 Παράδειγμα μεικτής φασματικής υπογραφής Σχήμα 2.8 Διαφορές μεταξύ των μεθόδων φασματικών απεικονίσεων Σχήμα 2.9 Διαγράμματα ροής της εκμάθησης με και χωρίς επίβλεψη Σχήμα 3.1 Ταξινόμηση γραμμικά διαχωρίσιμων κλάσεων Σχήμα 3.2 Ταξινόμηση μη γραμμικά διαχωρίσιμων κλάσεων Σχήμα 3.3 Μετασχηματισμός δεδομένων σε χώρο όπου είναι εφικτός ο διαχωρισμός τους Σχήμα 3.4 Κατευθυνόμενος άκυκλος γράφος για πρόβλημα 4 κλάσεων 34 Σχήμα 4.1 Σχηματικό διάγραμμα του αλγορίθμου AdaBoost Σχήμα 4.2 Παράδειγμα ταξινόμησης με τον αλγόριθμο AdaBoost Σχήμα 5.1 Γειτονιές ακτίνας r vii

10 Σχήμα 6.1 Εικόνα αναφοράς του IPS Σχήμα 6.2 Ψευδόχρωμη απεικόνιση της περιοχής Σχήμα 6.3 Το αρχικό και το τελικό σετ εκπαίδευσης Σχήμα 6.4 Χάρτες ταξινόμησης (α) Σετ εκπαίδευσης (β) SVM (γ) AdaBoost (δ) SpatialBoost (ε) SpatialBoost + Bagging (στ) Πρότυπη κατάτμηση Σχήμα 6.5 Σφάλματα εκπαίδευσης και δοκιμής ενός μοντέλου SpatialBoost Σχήμα 6.6 Είδος ταξινομητή που επιλέγεται σε κάθε επανάληψη Σχήμα 6.7 Δείγματα εκπαίδευσης Σχήμα 6.8 Χάρτες ταξινόμησης (α) Σετ εκπαίδευσης (β) SVM (γ) AdaBoost (δ) SpatialBoost (ε) Πρότυπη κατάτμηση Σχήμα 6.9 Σφάλματα εκπαίδευσης και δοκιμής του SpatialBoost Σχήμα 6.10 Είδος ταξινομητή που επιλέγεται σε κάθε επανάληψη Σχήμα 6.11 Η περιοχή σε ψευδόχρωμη απεικόνιση Σχήμα 6.12 Η πρότυπη κατάτμηση και οι κλάσεις της εικόνας Σχήμα 6.13 Το αρχικό και το τελικό σύνολο εκπαίδευσης Σχήμα 6.14 Χάρτες ταξινόμησης (α) Σετ εκπαίδευσης (β) SVM (γ) AdaBoost (δ) SpatialBoost (ε) SpatialBoost + Bagging (στ) Η πρότυπη κατάτμηση Σχήμα 6.15 Σφάλματα εκπαίδευσης και δοκιμής του SpatialBoost Σχήμα 6.16 Είδος ταξινομητή που επιλέγεται σε κάθε επανάληψη Σχήμα 6.17 Το πρότυπο σετ εκπαίδευσης Σχήμα 6.18 Χάρτες ταξινόμησης (α) Σετ εκπαίδευσης (β) SVM (γ) AdaBoost (δ) SpatialBoost (ε) Πρότυπη κατάτμηση viii

11 Σχήμα 6.19 Σφάλματα ταξινόμησης του SpatialBoost Σχήμα 6.20 Ταξινομητές που επιλέγονται σε κάθε επανάληψη ix

12 x

13 Κατάλογος Πινάκων Πίνακας 4.1 Ο αλγόριθμος AdaBoost Πίνακας 4.2 Ο αλγόριθμος AdaBoost.M Πίνακας 4.3 Ο αλγόριθμος AdaBoostSVM Πίνακας 5.1 Αλγόριθμος εκπαίδευσης SpatialBoost Πίνακας 5.2 Αλγόριθμος δοκιμής SpatialBoost Πίνακας 5.3 Αλγόριθμος εκπαίδευσης τροποποιημένου SpatialBoost Πίνακας 5.4 Αλγόριθμος δοκιμής τροποποιημένου SpatialBoost Πίνακας 5.5 SpatialBoost με Bagging Πίνακας 6.1 Αριθμός δειγμάτων εκπαίδευσης και δοκιμής ανά κλάση Πίνακας 6.2 Συγκριτικά αποτελέσματα ταξινόμησης των αλγορίθμων Πίνακας 6.3 Αριθμός δειγμάτων εκπαίδευσης και δοκιμής ανά κλάση Πίνακας 6.4 Ακρίβεια ταξινόμησης των αλγορίθμων ανά κλάση Πίνακας 6.5 Αριθμός δειγμάτων εκπαίδευσης και δοκιμής ανά κλάση Πίνακας 6.6 Συγκριτικά αποτελέσματα ταξινόμησης των αλγορίθμων Πίνακας 6.7 Ακρίβειες των μοντέλων που δημιουργήθηκαν στις επαναλήψεις bagging Πίνακας 6.8 Αριθμός δειγμάτων στα σετ εκπαίδευσης και δοκιμής Πίνακας 6.9 Συγκριτικά αποτελέσματα ταξινόμησης των αλγορίθμων. 101 xi

14 xii

15 Κεφάλαιο 1 Εισαγωγή 1.1 Περιγραφή του προβλήματος Η ύπαρξη των χρωμάτων είναι η πιο απλή παρατήρηση της αλληλεπίδρασης μεταξύ ύλης και φωτός. Το φως ταξιδεύει μέσα στο χώρο και όταν συναντά την επιφάνεια ενός σώματος αλληλοεπιδρά με αυτό. Το αποτέλεσμα είναι η δημιουργία του χρώματος των διάφορων αντικειμένων, το οποίο προκύπτει μέσα από την απορρόφηση και την ανάκλαση τμημάτων του ορατού φάσματος. Οι άνθρωποι, αντιλαμβανόμαστε αυτού του είδους την αλληλεπίδραση, μέσω της όρασης, που αποτελεί το πιο βασικό αισθητήριο σύστημα. Επομένως, είναι φυσικό να προκύψουν ερωτήματα σχετικά με το αν υπάρχουν και άλλες μορφές αλληλεπιδράσεων μεταξύ ύλης και φωτός που δεν γίνονται αντιληπτές μέσω της ανθρώπινης όρασης, καθώς είναι γνωστό ότι μπορούμε να αντιληφθούμε μόνο ένα κομμάτι του ηλεκτρομαγνητικού φάσματος. Απάντηση σε αυτό το ερώτημα έρχεται να δώσει η επιστήμη της φασματικής απεικόνισης. Η φασματική απεικόνιση στην ουσία περιλαμβάνει ένα σύστημα από αισθητήρες, οι οποίοι είναι ικανοί να ανιχνεύουν την ύπαρξη ακτινοβολίας και σε περιοχές εκτός του ορατού φάσματος. Συνδυάζοντας πολλούς τέτοιους αισθητήρες μπορεί να προκύψει πληροφορία για κάθε αντικείμενο σχετικά με τη συμπεριφορά του σε ολόκληρο ή σε τμήματα του φάσματος. Υπάρχουν αρκετές μέθοδοι φασματικής απεικόνισης, από τις οποίες οι πιο διαδεδομένες είναι η πολυφασματική απεικόνιση (multispectral imaging) και η υπερφασματική απεικόνιση (hyperspectral imaging). Η υπερφασματική απεικόνιση αποτελεί εξέλιξη της πολυφασματικής και η διαφορά τους εστιάζεται στο είδος και τον αριθμό των ζωνών του φάσματος που χρησιμοποιούνται στις εφαρμογές. Πιο συγκεκριμένα, η πολυφασματική απεικόνιση χρησιμοποιεί αισθητήρες που καταγράφουν ακτινοβολίες σε λίγες στενές και διακριτές 1

16 2 Κεφάλαιο 1 περιοχές του φάσματος, συνήθως σε τμήμα του ορατού και σε τμήματα του υπέρυθρου. Αντίθετα η υπερφασματική απεικόνιση αξιοποιεί αισθητήρες σε στενές αλλά διαδοχικές περιοχές του φάσματος, καλύπτοντας έτσι μεγάλο εύρος, με αποτέλεσμα να μπορεί να προκύψει η φασματική υπογραφή του αντικειμένου. Τις τελευταίες δεκαετίες η υπερφασματική απεικόνιση αποτελεί πεδίο ενεργούς έρευνας και ανάπτυξης. Παράλληλα, με την εξέλιξη των εναέριων αισθητήριων συστημάτων και των συστημάτων καταγραφής εικόνων, η υπερφασματική απεικόνιση διαδραματίζει κυρίαρχο ρόλο στην τηλεπισκόπηση. Η λεγόμενη υπερφασματική τηλεπισκόπηση (hyperspectral remote sensing) αξιοποιείται σε τεράστιο εύρος εφαρμογών, όπως για παράδειγμα η διαχείριση πόρων, η γεωργία, η ορυκτολογία, η κάλυψη γης, η παρατήρηση του περιβάλλοντος και η παρακολούθηση. Καθόσον η τεχνολογία εξελίσσεται, αυξάνεται συνεχώς και ο όγκος των δεδομένων που έχουμε στη διάθεσή μας προς αξιοποίηση. Επίσης, είναι αναγκαίο να υπάρχουν αυτοματοποιημένες τεχνικές επιτήρησης του περιβάλλοντος και της γης καθώς σε αυτές τις περιπτώσεις η ανθρώπινη παρέμβαση είναι είτε ανέφικτη είτε πολυέξοδη. Επομένως, είναι απαραίτητη η ανάπτυξη ευφυών υπολογιστικών συστημάτων για την αποδοτική και αποτελεσματική επεξεργασία των δεδομένων τηλεπισκόπησης. Η μεγάλη ποικιλομορφία των φασματικών υπογραφών, μας επιτρέπει να τις χρησιμοποιήσουμε ως μοναδικό χαρακτηριστικό για κάθε κλάση κάλυψης γης. Κατ επέκταση, μπορούμε να εφαρμόσουμε τεχνικές μηχανικής εκμάθησης για την ταξινόμηση, την ομαδοποίηση και την παλινδρόμηση σε υπερφασματικά δεδομένα. Από μεθοδολογική άποψη, η ανάλυση των υπερφασματικών δεδομένων δεν είναι μια απλή διαδικασία. Η πολυπλοκότητα οφείλεται σε αρκετούς παράγοντες, όπως είναι η χωρική μεταβλητότητα της φασματικής υπογραφής κάθε κλάσης κάλυψης γης, τα διάφορα ατμοσφαιρικά φαινόμενα (θόρυβος, σκιά) και η λεγόμενη κατάρα της διαστατικότητας (curse of dimensionality). Ειδικότερα στην εκμάθηση υπό επίβλεψη (supervised learning), δηλαδή στην εκμάθηση όπου είναι διαθέσιμα ορισμένα ταυτοποιημένα δεδομένα εκπαίδευσης, ένα βασικό πρόβλημα είναι ο μικρός λόγος των διαθέσιμων δειγμάτων εκπαίδευσης προς τον αριθμό των χαρακτηριστικών, όπου συγκεκριμένα στα υπερφασματικά δεδομένα είναι πολύ μεγάλος λόγω του μεγάλου αριθμού των διαθέσιμων συχνοτήτων του φάσματος.

17 Εισαγωγή Μια ικανοποιητική λύση στο τελευταίο πρόβλημα είναι η χρήση μηχανών διανυσμάτων υποστήριξης (support vector machines) για την ταξινόμηση των υπερφασματικών απεικονίσεων. Έχει διαπιστωθεί ότι σε αρκετές περιπτώσεις οι SVMs έχουν μεγαλύτερη ακρίβεια ταξινόμησης από άλλες ευρέως διαδεδομένες τεχνικές αναγνώρισης προτύπων όπως τα νευρωνικά δίκτυα. Επιπλέον, πλεονεκτούν σε προβλήματα με ετερογενείς κλάσεις για τις οποίες είναι διαθέσιμα ελάχιστα δείγματα εκπαίδευσης. Τέλος, συγκεκριμένα για το πεδίο της ταξινόμησης υπερφασματικών απεικονίσεων, οι SVMs έχουν αποδειχτεί ότι είναι αποδοτικοί για την ανάλυση υπερφασματικών δεδομένων στην αρχική τους μορφή χωρίς να υπάρχει ανάγκη για μείωση των χαρακτηριστικών. Τα παραπάνω πλεονεκτήματα των μηχανών διανυσμάτων υποστήριξης, μπορούν να ενσωματωθούν υπό το πλαίσιο του αλγορίθμου AdaBoost ώστε να προκύψουν βελτιωμένα αποτελέσματα. Οι αλγόριθμοι της εκμάθησης συνόλου (ensemble learning), όπως είναι ο AdaBoost, χρησιμοποιούν πολλαπλούς ασθενείς ταξινομητές και συνδυάζουν τις προβλέψεις τους για να αποκτήσουν καλύτερα τελικά αποτελέσματα. Ωστόσο, οι δύο αυτοί αλγόριθμοι έχουν το μειονέκτημα ότι εξ ορισμού λαμβάνουν υπόψη τους μόνο την φασματική υπογραφή κάθε εικονοστοιχείου και αγνοούν πιθανή πληροφορία που μπορεί να υπάρχει σε γειτονικά εικονοστοιχεία σχετικά με την ετικέτα της κλάσης. Έτσι, τα αποτελέσματα που προκύπτουν από τους παραπάνω αλγορίθμους είναι επιδεκτικά σε σφάλματα λόγω θορύβου που οφείλεται στους αισθητήρες ή στις συνθήκες καταγραφής ή λόγω διαφορετικής φασματικής υπογραφής μιας κλάσης τοπικά. Από όλα τα παραπάνω προκύπτει αβίαστα η αξία και η χρησιμότητα ανάπτυξης ενός αλγορίθμου που θα αξιοποιεί εκτός από την φασματική και την χωρική πληροφορία των υπερφασματικών δεδομένων. Στην εργασία αυτή, ο αλγόριθμος που υλοποιείται είναι ο SpatialBoost (Avidan, 2006) ο οποίος τροποποιείται κατάλληλα ώστε να μπορεί να χειριστεί δεδομένα πολλαπλών κλάσεων και γειτονιών μεταβλητής ακτίνας. 3

18 Κεφάλαιο Διάρθρωση της εργασίας Η εργασία αυτή είναι οργανωμένη σε έξι κεφάλαια. Στο κεφάλαιο 2, παρουσιάζονται εν συντομία τα φυσικά φαινόμενα στα οποία βασίζονται οι υπερφασματικές απεικονίσεις, η δομή αυτών των συστημάτων και η τεχνική ταξινόμησης υπερφασματικών δεδομένων. Στο κεφάλαιο 3, γίνεται μια παρουσίαση των μηχανών διανυσμάτων υποστήριξης και μια λεπτομερής περιγραφή των βασικών ιδιοτήτων τους και των μαθηματικών σχέσεων που τις ορίζουν. Στο κεφάλαιο 4, γίνεται αναφορά στη θεωρία των αλγορίθμων εκμάθησης συνόλου και ειδικότερα του AdaBoost, του οποίου παρουσιάζονται οι κύριες ιδιότητες και ορισμένες διαφορετικές υλοποιήσεις. Στο κεφάλαιο 5, παρουσιάζεται ο αλγόριθμος SpatialBoost και οι τροποποιήσεις που έγιναν ώστε να ταξινομεί με βέλτιστο τρόπο υπερφασματικά δεδομένα. Στο κεφάλαιο 6, παρουσιάζονται και αναλύονται τα πειραματικά αποτελέσματα από την εφαρμογή του αλγορίθμου σε δύο υπερφασματικά σετ δεδομένων και συγκρίνεται η απόδοση του με τις μηχανές διανυσματικής υποστήριξης και τον AdaBoost. Τέλος στο κεφάλαιο 7, παρατίθενται συνοπτικά τα καταληκτικά συμπεράσματα που προέκυψαν από την παρούσα διπλωματική εργασία και προτείνονται κάποιες ιδέες για περαιτέρω έρευνα. 4

19 Κεφάλαιο 2 Υπερφασματικές Απεικονίσεις και Ταξινόμηση Στο κεφάλαιο αυτό, γίνεται μια παρουσίαση του φυσικού υποβάθρου που απαιτείται για την κατανόηση του φαινομένου της αλληλεπίδρασης φωτός-ύλης, καθώς και οι βασικές αρχές των φασματικών απεικονίσεων. Παρουσιάζονται διάφορα είδη φασματικών απεικονίσεων και αναλύουμε την λειτουργία και τη δομή ενός τυπικού συστήματος υπερφασματικής τηλεπισκόπησης. Επιπλέον κάνουμε μια εισαγωγή στην ταξινόμηση υπερφασματικών απεικονίσεων, η οποία θα αποτελέσει τη βάση για την ανάλυση των αλγορίθμων στα επόμενα κεφάλαια. 2.1 Φυσική Το φως αποτελεί ένα είδος ηλεκτρομαγνητικού κύματος. Όπως επισήμανε ο Einstein, υπακούει στην αρχή του κυματοσωματιδιακού δυϊσμού της ύλης που συνίσταται στο γεγονός ότι όλες οι θεμελιώδεις οντότητες της φύσης παρουσιάζουν και κυματική και σωματιδιακή συμπεριφορά. Τα κυριότερα χαρακτηριστικά ενός ηλεκτρομαγνητικού κύματος είναι η συχνότητα και το μήκος κύματος. Η ενέργεια ενός ηλεκτρομαγνητικού κύματος, δεδομένης της συχνότητας και του μήκους κύματος δίνεται από τη σχέση: E = h f (2.1) και καθώς: f = c (2.2) λ E = h c (2.3) λ όπου h είναι η σταθερά του Planck, f η συχνότητα του κύματος, λ είναι το μήκος κύματος και c είναι η ταχύτητα του φωτός. 5

20 Κεφάλαιο 2 Το σύνολο των διαφορετικών μηκών κύματος αποτελεί το ηλεκτρομαγνητικό φάσμα, το οποίο παρουσιάζεται στο Σχήμα 2.1. Το ηλεκτρομαγνητικό φάσμα χωρίζεται σε διάφορες ζώνες, ανάλογα με τη συχνότητα του κύματος και τις πιθανές εφαρμογές σε κάθε ζώνη. Σχήμα 2.1 Το ηλεκτρομαγνητικό φάσμα και ο διαχωρισμός του σε ζώνες Όταν το φως διαδίδεται στο κενό, δεν έχει απώλειες και ισχύουν οι εξισώσεις (2.1) έως (2.3). Όταν όμως διαδίδεται σε άλλα μέσα, τότε παρατηρούνται τέσσερα διαφορετικά φαινόμενα: η απορρόφηση, η ανάκλαση, η σκέδαση και η εκπομπή, όπως απεικονίζονται στο Σχήμα 2.2. Κάθε ένα από αυτά τα φαινόμενα, εξαρτάται από τη συχνότητα ή το μήκος κύματος, τις ιδιότητες του μέσου (μοριακή δομή) και τη χρονική διάρκεια της αλληλεπίδρασης. Σχήμα 2.2 Αλληλεπιδράσεις φωτός και ύλης 6

21 Υπερφασματικές Απεικονίσεις και Ταξινόμηση Απορρόφηση εκπομπή Θεωρούμε ένα κβαντισμένο σύστημα που βρίσκεται στη θεμελιώδη κατάσταση δηλαδή την κατάσταση χαμηλότερης δυνατής ενέργειας. Εάν το σύστημα διεγερθεί από κάποιας μορφής ακτινοβολία όπως είναι το φως ή η θερμότητα, ένα ηλεκτρόνιο από την θεμελιώδη κατάσταση μπορεί να αλλάξει ενεργειακή στάθμη, εφόσον η ενέργεια που απορροφάται είναι μεγαλύτερη ή ίση του ενεργειακού χάσματος μεταξύ της θεμελιώδους και της κατάστασης διέγερσης. Αυτό το φαινόμενο λέγεται απορρόφηση. Όταν το σύστημα βρίσκεται στη θεμελιώδη κατάσταση τα άτομα τείνουν να παραμείνουν σε χαμηλές ενεργειακές στάθμες. Έτσι, μετά από κάποιο χρονικό διάστημα, όταν έχει απορροφηθεί ένα ποσό ενέργειας και υπάρχει μετάβαση από τη θεμελιώδη κατάσταση σε μια κατάσταση διέγερσης, το ηλεκτρόνιο επιστρέφει στην θεμελιώδη κατάσταση και παράλληλα εκπέμπεται ένα φωτόνιο, με ενέργεια ίση με το ενεργειακό χάσμα μεταξύ των δύο καταστάσεων. Η διαδικασία αυτή απεικονίζεται στο Σχήμα 2.3. Απορροφάται ένα φωτόνιο με ενέργεια ΔΕ = h v (όπου v η συχνότητα του φωτονίου) και το ηλεκτρόνιο αλλάζει ενεργειακή κατάσταση. Στη συνέχεια το ηλεκτρόνιο επιστρέφει στην θεμελιώδη κατάσταση και εκπέμπεται το φωτόνιο. Σχήμα 2.3 Απορρόφηση και εκπομπή φωτονίου Σκέδαση Με τον όρο σκέδαση του φωτός αναφερόμαστε στο φαινόμενο κατά το οποίο ένα σύστημα απορροφά την ενέργεια ενός φωτονίου και στη συνέχεια εκπέμπει το φωτόνιο με διαφορετικά χαρακτηριστικά. Αυτά τα χαρακτηριστικά είναι το μήκος κύματος, η φάση, η κατεύθυνση και η πόλωση και μπορεί να διαφέρουν από την ακτινοβολία που εισέρχεται στο σύστημα. Η σκέδαση εξαρτάται κυρίως από τη φύση του συστήματος, άρα από το υλικό, από το 7

22 Κεφάλαιο 2 μέγεθός του σε σχέση με τα μήκη κύματος της εισερχόμενης ακτινοβολίας και από τον προσανατολισμό του στο χώρο. Λόγω των πολλών παραγόντων που επηρεάζουν το φαινόμενο, η σκέδαση χωρίζεται στις παρακάτω κατηγορίες ανάλογα με τον παράγοντα που κυριαρχεί: Σκέδαση Rayleigh Σκέδαση Raman Mie Stokes και Anti-Stokes Brillouin Compton 2.2 Υπερφασματικές Απεικονίσεις Περιγραφή των συστημάτων υπερφασματικών απεικονίσεων Η ανάλυση φασματικών απεικονίσεων αποτελεί έναν τομέα της φασματοσκοπίας. Η φασματοσκοπία ασχολείται με την έρευνα και τη μελέτη της δομής, της σύστασης και των ιδιοτήτων των φασμάτων της ύλης και των διάφορων ακτινοβολιών. Συγκεκριμένα στο πεδίο της τηλεπισκόπησης, η φασματοσκοπία ασχολείται με τη μελέτη του φάσματος του ηλιακού φωτός που διαχέεται από τα διάφορα υλικά στην επιφάνεια της Γης. Ένα σύστημα υπερφασματικών απεικονίσεων μπορεί να συλλέγει και να επεξεργάζεται πληροφορίες από ένα μεγάλο τμήμα του ηλεκτρομαγνητικού φάσματος. Βασικά στοιχεία ενός τέτοιου συστήματος είναι ένας αισθητήρας CCD, ένα φασματοσκόπιο που μετράει την ενέργεια της εισερχόμενης ακτινοβολίας και ένας υπολογιστής που αποθηκεύει και επεξεργάζεται τα δεδομένα. Ένα οπτικό στοιχείο διασκεδασμού μέσα στο φασματοσκόπιο όπως για παράδειγμα ένα πρίσμα, χωρίζει την εισερχόμενη ακτινοβολία σε πολλές στενές και διαδοχικές ζώνες και η ενέργεια της κάθε ζώνης καταγράφεται από ξεχωριστό ανιχνευτή (Smith, 2012). Χρησιμοποιώντας χιλιάδες τέτοιους ανιχνευτές τα φασματοσκόπια είναι ικανά για φασματικές μετρήσεις σε ζώνες πλάτους 0.01 μm και συνολικό εύρος μετρήσεων από 0.4 μm έως 2.4 μm, δηλαδή από το ορατό μέχρι τμήματα του μέσου υπέρυθρου φάσματος. Η δομή ενός κοινού φασματοσκοπίου παρουσιάζεται στο Σχήμα

23 Υπερφασματικές Απεικονίσεις και Ταξινόμηση Σχήμα 2.4 Βασικά στοιχεία του φασματοσκοπίου Στόχος των υπερφασματικών απεικονίσεων είναι η απόκτηση του φάσματος για κάθε εικονοστοιχείο της φωτογραφίας από μια περιοχή με σκοπό να διαχωριστούν οι διαφορετικές κατηγορίες υλικών, βλάστησης και ορυκτών σε αυτήν την περιοχή. Αυτός ο διαχωρισμός των υλικών είναι δυνατός, καθώς κάθε υλικό έχει μοναδικό «αποτύπωμα» στο ηλεκτρομαγνητικό φάσμα. Το «αποτύπωμα» αυτό, είναι γνωστό ως φασματική υπογραφή και εξαρτάται από τις φυσικές ιδιότητες του υλικού δηλαδή τη μοριακή δομή και το σχήμα του. Οι φασματικές υπογραφές μερικών κοινών υλικών στην επιφάνεια της Γης φαίνονται στο Σχήμα 2.5. Στην κορυφή του σχήματος φαίνονται οι ζώνες που χρησιμοποιούνται σε δύο διαδεδομένα πολυφασματικά συστήματα. Σχήμα 2.5 Φασματικές υπογραφές ορισμένων υλικών στην επιφάνεια της Γης Παρόλα αυτά, πολλοί αστάθμητοι παράγοντες, όπως η κλίση του Ηλίου, η εποχή και το γεωγραφικό πλάτος, η κατεύθυνση του συστήματος σε σχέση με το έδαφος και οι ατμοσφαιρικές συνθήκες μπορούν να επηρεάσουν την φασματική 9

24 Κεφάλαιο 2 υπογραφή κάθε υλικού. Επιπλέον, η επιφάνεια της Γης είναι μεταβλητή κατά τόπους από φασματική άποψη. Για παράδειγμα σε μια περιοχή από γρασίδι μπορεί να υπάρχουν περιοχές όπου το γρασίδι έχει αλλοιωθεί και επομένως δεν έχει ίδια φασματική υπογραφή με το μη αλλοιωμένο. Οι υπερφασματικές απεικονίσεις αποτελούνται από διαδοχικές φωτογραφίες του ίδιου θέματος τοποθετημένες η μία πάνω από την άλλη ώστε να σχηματιστεί ο λεγόμενος φασματικός κύβος (spectral cube). Για κάθε εικονοστοιχείο της φωτογραφίας, είναι διαθέσιμο το φάσμα αυτού του εικονοστοιχείου από το συνδυασμό των φωτογραφιών στην τρίτη διάσταση. Με άλλα λόγια, με τη συλλογή φωτογραφιών από εκατοντάδες διαδοχικές φασματικές ζώνες μπορούμε να εξάγουμε μια ολοκληρωμένη φασματική υπογραφή για το θέμα. Σχήμα 2.6 Παράδειγμα φασματικού κύβου και φασματικών υπογραφών Οι φασματικοί κύβοι, λοιπόν, είναι ανάλογοι με μια στοίβα από φωτογραφίες του ίδιου θέματος, όπου κάθε φωτογραφία έχει τραβηχτεί σε διαφορετική φασματική ζώνη. Κάθε εικονοστοιχείο του φασματικού κύβου, αντιπροσωπεύει το φάσμα του θέματος σε εκείνο το σημείο, όπως απεικονίζεται στο Σχήμα 2.6. Οι υπερφασματικές απεικονίσεις αποτέλεσαν επανάσταση για το πεδίο της τηλεπισκόπησης. Βρίσκουν εφαρμογή σε ένα πλήθος περιπτώσεων όπως η γεωργία, η ορυκτολογία, η κάλυψη γης, η επιτήρηση του περιβάλλοντος, οι 10

25 Υπερφασματικές Απεικονίσεις και Ταξινόμηση θαλάσσιες επιστήμες και η παρακολούθηση. Ο λόγος που τα συστήματα υπερφασματικών απεικονίσεων κυριαρχούν σε εφαρμογές τηλεπισκόπησης είναι η δυνατότητά τους να συνδυάζουν την χωρική ανάλυση των φωτογραφικών αισθητήρων με την φασματική ανάλυση των φασματοσκοπίων Ιδιότητες των συστημάτων υπερφασματικής τηλεπισκόπησης Σε αυτήν την ενότητα θα παρουσιαστούν εν συντομία οι βασικές ιδιότητες των συστημάτων υπερφασματικών απεικονίσεων που χρησιμοποιούνται σε εφαρμογές τηλεπισκόπησης. Χωρική ανάλυση: Περιγράφει το μέγεθος της περιοχής που καταγράφεται σε κάθε εικονοστοιχείο της απεικόνισης. Συνήθως τα εικονοστοιχεία καλύπτουν τετραγωνικές περιοχές με μήκος πλευράς από 1 έως 1000 μέτρα. Φασματική ανάλυση: Το πλάτος του μήκους κύματος των διαφορετικών φασματικών ζωνών που καταγράφονται. Σχετίζεται με τον αριθμό των φασματικών ζωνών που καταγράφονται. Ραδιομετρική ανάλυση: Ο αριθμός των διαφορετικών εντάσεων της ακτινοβολίας που μπορεί να ξεχωρίσει ο αισθητήρας. Τυπικά, ο αριθμός αυτός κυμαίνεται από 8 έως 14 bits, τα οποία ανταποκρίνονται στα επίπεδα της κλίμακας του γκρι σε κάθε ζώνη. Χρονική ανάλυση: Το χρονικό διάστημα μεταξύ των φωτογραφίσεων μιας περιοχής. Χρειάζεται κυρίως σε μελέτες χρονοσειρών ή σε εφαρμογές επιτήρησης αποψίλωσης δάσους. Από τις παραπάνω ιδιότητες, γίνεται εύκολα αντιληπτό ότι όσο μεγαλύτερη η χωρική ανάλυση του αισθητήρα, τόσο πιο εύκολος είναι ο διαχωρισμός των φασματικών υπογραφών των υλικών, καθώς όταν έχουμε μικρή ανάλυση ένα εικονοστοιχείο μπορεί να καλύπτει μεγάλη έκταση με αποτέλεσμα περισσότερα από ένα υλικά να συνεισφέρουν στην φασματική υπογραφή του εικονοστοιχείου. Το ίδιο ισχύει και με την φασματική ανάλυση, όπου μεγαλύτερη ανάλυση σημαίνει λεπτομερέστερη φασματική υπογραφή. Στο Σχήμα 2.7 φαίνεται ένα τέτοιο παράδειγμα όπου το φάσμα του εικονοστοιχείου είναι ο γραμμικός συνδυασμός των φασμάτων δύο άλλων υλικών που περιλαμβάνονται στην περιοχή που αφορά το εικονοστοιχείο. 11

26 Κεφάλαιο 2 Σχήμα 2.7 Παράδειγμα μεικτής φασματικής υπογραφής Άλλα είδη φασματικών απεικονίσεων Εκτός από την μέθοδο της υπερφασματικής απεικόνισης, που είναι και η πιο διαδεδομένη, υπάρχουν και άλλα είδη φασματικών απεικονίσεων. Στη συνέχεια θα γίνει μια σύντομη αναφορά σε αυτά τα είδη, στις διαφορές τους με τις υπερφασματικές απεικονίσεις και στους λόγους που τελικά δεν προτιμώνται για εφαρμογές τηλεπισκόπησης. Οι διαφορές μεταξύ των φασματικών απεικονίσεων παρουσιάζονται και σχηματικά στο Σχήμα 2.8. Με τον όρο πολυφασματική απεικόνιση, αναφερόμαστε σε συστήματα που καταγράφουν στοιχεία σε συγκεκριμένες ζώνες του ηλεκτρομαγνητικού φάσματος. Το μήκος κύματος της εισερχόμενης ακτινοβολίας χωρίζεται μέσω ζωνοδιαβατών φίλτρων τα οποία έχουν μεγαλύτερο εύρος ζώνης σε σχέση με τις υπερφασματικές απεικονίσεις. Επομένως, τα συστήματα αυτά έχουν χαμηλότερη φασματική ανάλυση από τα υπερφασματικά και λόγω του μικρού αριθμού των ζωνών δεν είναι διαθέσιμη η φασματική υπογραφή του εικονοστοιχείου με αποτέλεσμα να πρέπει να χρησιμοποιηθούν τεχνικές εξαγωγής χαρακτηριστικών για την ταξινόμηση πολυφασματικών απεικονίσεων. Ως παράδειγμα αναφέρουμε το πολυφασματικό σύστημα Landsat που καταγράφει 7 διακριτές φασματικές ζώνες σε αντίθεση με τις 224 διαδοχικές ζώνες του υπερφασματικού AVIRIS. Οι ultraspectral απεικονίσεις χρησιμοποιούν αισθητήρες με συμβολόμετρα, τα οποία παρέχουν πολύ μεγάλη φασματική ανάλυση. Ωστόσο, ως αντίβαρο για τον μεγάλο όγκο δεδομένων τα συστήματα αυτά έχουν συνήθως, αλλά όχι απαραίτητα, χαμηλή χωρική ανάλυση λίγων μόνο εικονοστοιχείων. 12

27 Υπερφασματικές Απεικονίσεις και Ταξινόμηση Σχήμα 2.8 Διαφορές μεταξύ των μεθόδων φασματικών απεικονίσεων 2.3 Ταξινόμηση υπερφασματικών απεικονίσεων Ο συνδυασμός υψηλής χωρικής και φασματικής ανάλυσης των υπερφασματικών απεικονίσεων μας παρέχει ένα απέραντο πλήθος δεδομένων προς ανάλυση και επεξεργασία. Το πρόβλημα για τους αναλυτές είναι η εύρεση κατάλληλης μεθόδου για την επεξεργασία των δεδομένων και τον αποτελεσματικό διαχωρισμό των διάφορων αντικειμένων παρά την πιθανή ύπαρξη θορύβων ή τις παρόμοιες φασματικές υπογραφές ορισμένων αντικειμένων. Μια τυπική διαδικασία ταξινόμησης υπερφασματικών απεικονίσεων περιλαμβάνει τα εξής βήματα: Προεπεξεργασία των δεδομένων Απεικόνιση της εικόνας Ορισμός των κλάσεων Καθορισμός του σετ εκπαίδευσης Εξαγωγή χαρακτηριστικών Ταξινόμηση Στη συνέχεια θα γίνει μια σύντομη περιγραφή των παραπάνω βημάτων. Προεπεξεργασία Η διαδικασία απόκτησης μιας απεικόνισης από τηλεπισκόπηση, περιλαμβάνει τη συμμετοχή ορισμένων παραγόντων που επιφέρουν σφάλματα 13

28 Κεφάλαιο 2 όπως για παράδειγμα θόρυβο, φασματικό κύβο που δεν είναι σωστά ευθυγραμμισμένος κλπ. Επομένως, προτού χρησιμοποιήσουμε τον φασματικό κύβο για την ανάλυση των δεδομένων, πρέπει να τροποποιήσουμε κάποιες πτυχές του κύβου ώστε να εξαλείψουμε τις ατέλειες που προέκυψαν κατά τη διαδικασία της μέτρησης. Συνήθως, τα υπερφασματικά σετ δεδομένων παρέχονται έτοιμα προς χρήση και η μόνη ενέργεια που απαιτείται εκ μέρους του αναλυτή είναι η διαγραφή από τον κύβο των ζωνών που περιέχουν θόρυβο. Σε περίπτωση που δεν ισχύει αυτό, ορισμένες μέθοδοι για προεπεξεργασία του κύβου είναι η ατμοσφαιρική διόρθωση (atmospheric correction), η ραδιομετρική βαθμονόμηση (radiometric calibration) και η στοίχιση της απεικόνισης (image registration). Απεικόνιση της εικόνας Αφότου είναι διαθέσιμος ο διορθωμένος φασματικός κύβος, το επόμενο βήμα είναι μια παρουσίαση της απεικόνισης σε τέτοια μορφή ώστε ο αναλυτής να μπορεί να ξεχωρίσει τις διαφορετικές κλάσεις αντικειμένων που απεικονίζονται και να επιλέξει τα δείγματα εκπαίδευσης από κάθε κλάση. Για αυτό το σκοπό, η φωτογραφία παρουσιάζεται σε ψευδόχρωμη απεικόνιση όπου χρησιμοποιούνται τρεις ζώνες για την απεικόνιση των αποχρώσεων του κόκκινου, του μπλε και του πράσινου. Ορισμός των κλάσεων Χρησιμοποιούμε την απεικόνιση που δημιουργήθηκε προηγουμένως για να ορίσουμε τις κλάσεις των αντικειμένων που μας ενδιαφέρει να διαχωρίσουμε. Αυτές οι κλάσεις μπορεί να περιλαμβάνουν για παράδειγμα διαφορετικά είδη βλάστησης, κτίρια, περιοχές με νερό, σκιά, άσφαλτο κλπ. Καθορισμός του σετ εκπαίδευσης Αυτό το βήμα είναι ίσως το πιο σημαντικό της διαδικασίας ταξινόμησης. Ο αναλυτής πρέπει να επιλέξει κατάλληλα δείγματα εκπαίδευσης ώστε να είναι αντιπροσωπευτικά για την κάθε κλάση. Για παράδειγμα, η φασματική υπογραφή κάποιας κλάσης μπορεί να διαφέρει από περιοχή σε περιοχή. Επομένως, πρέπει να επιλεχτούν κατάλληλα δείγματα εκπαίδευσης ώστε να περιλαμβάνονται όλες οι διαφορετικές φασματικές υπογραφές που περιγράφουν αυτήν την κλάση. 14

29 Υπερφασματικές Απεικονίσεις και Ταξινόμηση Εξαγωγή χαρακτηριστικών Με τον όρο εξαγωγή χαρακτηριστικών (feature extraction) αναφερόμαστε στη μέθοδο αναγνώρισης των πιο σημαντικών χαρακτηριστικών των δεδομένων. Στον φασματικό κύβο, τα εικονοστοιχεία αντιπροσωπεύουν τα διάφορα υλικά. Οι φασματικές υπογραφές όλων των εικονοστοιχείων στον κύβο αποτελούν τον χώρο των χαρακτηριστικών (feature space). Με την εξαγωγή των χαρακτηριστικών επιχειρούμε να βρούμε έναν υποχώρο των χαρακτηριστικών, που είναι ο βέλτιστος για την μοναδική περιγραφή των υλικών. Αυτό το βήμα είναι προαιρετικό και στοχεύει κυρίως στη μείωση του υπολογιστικού χρόνου καθώς μειώνεται η διάσταση και η πολυπλοκότητα των δεδομένων. Ταξινόμηση Ταξινόμηση ονομάζεται η διαδικασία αντιστοίχησης κάθε εικονοστοιχείου του φασματικού κύβου σε συγκεκριμένη κλάση, μέσω των στατιστικών ιδιοτήτων της συνάρτησης του φάσματος του εικονοστοιχείου. Υπάρχουν διάφορα κριτήρια και αλγόριθμοι που λαμβάνουν υπόψη τους διαφορετικές στατιστικές ιδιότητες ή χαρακτηριστικά με στόχο την καλύτερη δυνατή απόδοση. Μέσω της ταξινόμησης, στοχεύουμε στην δημιουργία ενός αυτοματοποιημένου συστήματος για την ταξινόμηση των δεδομένων και το αποτέλεσμα της διαδικασίας είναι ένας ψευδόχρωμος χάρτης στον οποίο κάθε χρώμα αναπαριστά τα εικονοστοιχεία της ίδιας κλάσης, δηλαδή εικονοστοιχεία με παρόμοια φασματικά χαρακτηριστικά. Ο τύπος της ομοιότητας ορίζεται από τον εκάστοτε αλγόριθμο ταξινόμησης που χρησιμοποιείται. Τα δεδομένα οργανώνονται σε διανύσματα χαρακτηριστικών (feature vectors) όπου κάθε στοιχείο του διανύσματος είναι ένα χαρακτηριστικό. Δηλαδή είναι της μορφής x = [x(1), x(2),, x(n)] όπου κάθε x(i), (i = 1 έως N) αντιπροσωπεύει ένα χαρακτηριστικό. Σε εφαρμογές υπερφασματικών απεικονίσεων, τα χαρακτηριστικά είναι οι εντάσεις της ακτινοβολίας στις φασματικές ζώνες που έχουμε στη διάθεσή μας. Επειδή ασχολούμαστε με φασματικούς κύβους, ο χώρος των χαρακτηριστικών είναι μια δισδιάστατη συλλογή από διανύσματα χαρακτηριστικών. Επομένως, το διάνυσμα χαρακτηριστικών x(i, j) του εικονοστοιχείου στη θέση (i, j) του κύβου περιλαμβάνει τις εντάσεις της ακτινοβολίας σε αυτή την θέση. Μέσω της 15

30 Κεφάλαιο 2 διαδικασίας της ταξινόμησης το διάνυσμα αντιστοιχίζεται σε μια κλάση ω j όπου j = 1 έως K και Κ ο αριθμός των κλάσεων. Μέχρι αυτό το σημείο υποθέτουμε ότι είναι διαθέσιμο ένα σύνολο δεδομένων εκπαίδευσης και η ταξινόμηση σχεδιάζεται ώστε να αξιοποιεί αυτήν την εκ των προτέρων πληροφορία και να εκπαιδεύει ένα σύστημα με βάση αυτά τα δεδομένα. Η διαδικασία αυτή είναι γνωστή ως μάθηση υπό επίβλεψη (supervised learning). Ωστόσο, αυτός δεν είναι ο μοναδικός τρόπος μάθησης. Υπάρχει ένα άλλο είδος προβλημάτων, όπου δεν είναι διαθέσιμες οι κλάσεις που ανήκουν τα δεδομένα εκπαίδευσης. Στόχος μας είναι να αναδείξουμε τις υποκείμενες ομοιότητες και να ομαδοποιήσουμε τα στατιστικά όμοια δεδομένα στην ίδια ομάδα. Αυτή η διαδικασία ονομάζεται μάθηση χωρίς επίβλεψη (unsupervised learning) ή ομαδοποίηση δεδομένων. Στο πλαίσιο της παρούσας εργασίας θα ασχοληθούμε μόνο με μάθηση υπό επίβλεψη. Σχήμα 2.9 Διαγράμματα ροής της εκμάθησης με και χωρίς επίβλεψη 16

31 Κεφάλαιο 3 Μηχανές Διανυσμάτων Υποστήριξης Στο κεφάλαιο αυτό, θα παρουσιάσουμε όλη τη θεωρία πίσω από τη λειτουργία των μηχανών διανυσμάτων υποστήριξης (SVM support vector machines). Θα ξεκινήσουμε κάνοντας μια σύντομη αναφορά στους ερευνητές που εφηύραν την μέθοδο των μηχανών διανυσμάτων υποστήριξης και θα παρουσιάσουμε το πρόβλημα ταξινόμησης δύο γραμμικά διαχωρίσιμων κλάσεων. Στη συνέχεια, θα επεκταθούμε εξετάζοντας την περίπτωση δύο μη γραμμικά διαχωρίσιμων κλάσεων και θα παρουσιάσουμε την μέθοδο των πυρήνων (kernels) η οποία δίνει λύση στο πρόβλημα. Τέλος, θα γενικεύσουμε τη θεωρία για την αντιμετώπιση προβλημάτων πολλών κλάσεων και θα γίνει αναφορά στην εφαρμογή των μηχανών διανυσμάτων υποστήριξης σε προβλήματα ταξινόμησης υπερφασματικών απεικονίσεων. 3.1 Ιστορική αναδρομή Οι μηχανές διανυσμάτων υποστήριξης, είναι μια σχετικά σύγχρονη προσέγγιση για την επίλυση προβλημάτων εκμάθησης υπό επίβλεψη και βασίζεται στη θεωρία που αναπτύχθηκε κυρίως από τους Vladimir Vapnik και Alexey Chervonenkis από τη δεκαετία του 60 μέχρι το μέσο της δεκαετίας του 90. Βασίζεται στην ιδέα ότι τα πρότυπα δύο κλάσεων μπορούν να διαχωριστούν από ένα υπερεπίπεδο το οποίο έχει τη μέγιστη δυνατή απόσταση από τα κοντινότερα σε αυτό πρότυπα των δύο κλάσεων. Το 1963, ο Vapnik και ο Lerner, συστήνουν τον αλγόριθμο γενικευμένου πορτραίτου (generalized portrait). Ο αλγόριθμος των μηχανών διανυσμάτων υποστήριξης αποτελεί επέκταση του αλγορίθμου γενικευμένου πορτραίτου για μη γραμμικά προβλήματα. Οι Aizerman, Braverman και Rozonoer, το 1964, παρουσιάζουν την γεωμετρική ερμηνεία των πυρήνων ως εσωτερικά γινόμενα στο χώρο των χαρακτηριστικών. Επίσης το 1964, οι Vapnik και Chervonenkis 17

32 Κεφάλαιο 3 εξελίσσουν περαιτέρω τον αλγόριθμο γενικευμένου πορτραίτου. Το 1974, οι Vapnik και Chervonenkis αναπτύσσουν την θεωρία Vapnik-Chervonenkis που είναι ένα είδος θεωρίας στατιστικής εκμάθησης και ο Vapnik συνεχίζει την εξέλιξή της με το βιβλίο του το Το 1992, με την δημοσίευση των Boser, Guyon και Vapnik, παρουσιάζονται οι μηχανές διανυσμάτων υποστήριξης που ενσωματώνουν τη θεωρία των πυρήνων για την επίλυση των μη γραμμικά διαχωρίσιμων προβλημάτων. Το 1995, οι Cortes και Vapnik, γενικεύουν τις μεθόδους βέλτιστων περιθωρίων για μη γραμμικά διαχωρίσιμα δεδομένα και συστήνουν τον ταξινομητή ήπιου περιθωρίου (soft margin classifier) (Cortes, και συν., 1995). Τέλος, το ίδιο έτος, ο Vapnik, επεκτείνει την μέθοδο των μηχανών διανυσμάτων υποστήριξης για προβλήματα παλινδρόμησης. 3.2 Γραμμικά διαχωρίσιμες κλάσεις Ξεκινάμε την ανάλυση της θεωρίας των μηχανών διανυσμάτων υποστήριξης, παρουσιάζοντας την πιο απλή περίπτωση, δηλαδή το πρόβλημα ταξινόμησης δύο κλάσεων οι οποίες είναι γραμμικά διαχωρίσιμες. Υποθέτουμε λοιπόν ότι τα δεδομένα εκπαίδευσης είναι N ζεύγη της μορφής (x 1, y 1 ), (x 2, y 2 ),, (x N, y N ) όπου x i R p τα διανύσματα των χαρακτηριστικών και y i { 1, 1} οι ετικέτες των κλάσεων. Καθώς αναφερόμαστε σε γραμμικά διαχωρίσιμες κλάσεις, μας ενδιαφέρει να βρούμε ένα υπερεπίπεδο, δηλαδή μια γραμμική συνάρτηση, από τα άπειρα που διαχωρίζουν τα δεδομένα, ώστε αυτός ο διαχωρισμός να γίνεται με βέλτιστο τρόπο. Το κριτήριο που καθορίζει αν είναι βέλτιστη η επιλογή του υπερεπιπέδου λέγεται περιθώριο (margin) και θα ασχοληθούμε με αυτό στη συνέχεια. Προς το παρών θα παρουσιάσουμε κάποια στοιχεία γραμμικής άλγεβρας που είναι απαραίτητα για την κατανόηση των εξισώσεων στη συνέχεια. Η εξίσωση που ορίζει ένα υπερεπίπεδο είναι ως γνωστόν: f(x) = w T x + w 0 = 0 (3.1) όπου w είναι το διάνυσμα που καθορίζει τη διεύθυνση του επιπέδου και w 0 η παράμετρος που καθορίζει την ακριβή θέση του στο χώρο. Ορισμένες βασικές ιδιότητες είναι: 18

33 Μηχανές Διανυσμάτων Υποστήριξης Για κάθε δύο σημεία x 1 και x 2 του υπερεπιπέδου, έχουμε w T (x 1 x 2 ) = 0 και w = w/ w είναι το μοναδιαίο κάθετο διάνυσμα στην επιφάνεια του επιπέδου Για κάθε σημείο x 0 του υπερεπιπέδου έχουμε w T x 0 = w 0 Η προσημασμένη απόσταση οποιουδήποτε σημείου x από το υπερεπίπεδο δίνεται από τη σχέση: w T 1 (x x 0 ) = w (wt x + w 0 ) 1 = f (x) f(x) (3.2) Επομένως η συνάρτηση f(x) είναι ανάλογη με την προσημασμένη απόσταση του σημείου x από το υπερεπίπεδο που δίνεται από την f(x) = 0. Το βέλτιστο υπερεπίπεδο διαχωρισμού χωρίζει τις δύο κλάσεις με τέτοιο τρόπο ώστε η απόσταση του υπερεπιπέδου από τα κοντινότερα σε αυτό στοιχεία των δύο κλάσεων να μεγιστοποιείται. Το υπερεπίπεδο αυτό, αφήνει περισσότερο χώρο σε κάθε πλευρά του, έτσι ώστε τα δεδομένα των δύο κλάσεων να μπορούν να κινηθούν λίγο πιο ελεύθερα με μικρότερο ρίσκο να ταξινομηθούν στην άλλη κλάση. Έτσι, βελτιώνουμε την απόδοση γενίκευσης του ταξινομητή (generalization performance) καθώς ένας ταξινομητής που έχει σχεδιαστεί με βάση το βέλτιστο υπερεπίπεδο είναι πιο αξιόπιστος όταν καλείται να αντιμετωπίσει άγνωστα δεδομένα. Πρέπει τώρα να θέσουμε το μαθηματικό πλαίσιο της παραπάνω διατύπωσης. Έχουμε λοιπόν το παρακάτω πρόβλημα βελτιστοποίησης: max M w, w 0, w = 1 (3.3) υπό τους περιορισμούς: y i (w T x i + w 0 ) M, i = 1,, N. Οι παραπάνω περιορισμοί ορίζουν ότι κάθε σημείο πρέπει να απέχει απόσταση τουλάχιστον M από το υπερεπίπεδο που καθορίζεται από τα w και w 0 καθώς απαιτείται w T x i + w 0 Μ για τα σημεία της κλάσης με ετικέτα 1 και w T x i + w 0 Μ για τα στοιχεία της κλάσης με ετικέτα -1. Επίσης 19

34 Κεφάλαιο 3 θέλουμε να μεγιστοποιείται η απόσταση M. Μπορούμε να απαλλαγούμε από την απαίτηση για w = 1 αν αντικαταστήσουμε τους περιορισμούς της σχέσης (3.3) με τους ακόλουθους: ή ισοδύναμα: 1 w y i(w T x i + w 0 ) M, (3.4) y i (w T x i + w 0 ) M w (3.5) Στη συνέχεια μπορούμε να θέσουμε w = 1/M στη σχέση (3.3) καθώς οι περιορισμοί ικανοποιούνται για κάθε θετικό πολλαπλάσιο των w, w 0. Επομένως, το πρόβλημα παίρνει την ισοδύναμη μορφή: min 1 2 w 2 w, w 0 (3.6) υπό τους περιορισμούς: y i (w T x i + w 0 ) 1, i = 1,, N. Συγκρίνοντας τους περιορισμούς της σχέσης (3.6) με την (3.2) γίνεται φανερό ότι μέσω των περιορισμών καθορίζεται μια ζώνη διαχωρισμού στις δύο 1 πλευρές εκατέρωθεν του υπερεπιπέδου με πάχος + 1 = 2/ w. Η w w ποσότητα αυτή ονομάζεται περιθώριο (margin). Επομένως, επιλέγουμε κατάλληλα τα w, w 0 ώστε να μεγιστοποιείται το περιθώριο, καθώς όσο μεγαλύτερο περιθώριο τόσο καλύτερη η ικανότητα γενίκευσης του ταξινομητή. Από υπολογιστική άποψη, αυτή η διαδικασία δεν είναι απλή. Επειδή όμως η συνάρτηση κόστους, δηλαδή η συνάρτηση που καλούμαστε να ελαχιστοποιήσουμε, είναι κυρτή τετραγωνική και οι περιορισμοί είναι γραμμικοί, μπορούμε να προσεγγίσουμε το πρόβλημα βελτιστοποίησης ως ένα πρόβλημα κυρτού προγραμματισμού (convex programming). Η λαγκρανζιανή συνάρτηση (Lagrange function) που καλείται να ελαχιστοποιηθεί ως προς τα w, w 0 είναι: N L P = 1 2 w 2 a i [y i (w T x i + w 0 ) 1] i=1 (3.7) 20

35 Μηχανές Διανυσμάτων Υποστήριξης Οι συνθήκες Karush-Kuhn-Tucker που πρέπει να ικανοποιούνται για την ελαχιστοποίηση της συνάρτησης (3.7) είναι: L P w = 0 (3.8) L P w 0 = 0 (3.9) a i 0, i = 1,, N (3.10) a i [y i (w T x i + w 0 ) 1] = 0, i = 1,, N (3.11) Από τις εξισώσεις (3.8) και (3.9) προκύπτουν: N w = a i y i x i I=1 N 0 = a i y i i=1 (3.12) (3.13) Αντικαθιστώντας τις εξισώσεις (3.12) και (3.13) στην (3.7) προκύπτει η δυϊκή αναπαράσταση του προβλήματος κατά Wolfe, δηλαδή πλέον έχουμε πρόβλημα μεγιστοποίησης της ακόλουθης συνάρτησης: N N N L D = a i i=1 1 2 a ia k y i y k x i T x k i=1 k=1 (3.14) Οι συνθήκες Karush-Kuhn-Tucker που πρέπει να ικανοποιεί το μέγιστο της συνάρτησης L D είναι οι εξισώσεις (3.10), (3.11), (3.12) και (3.13). Από την εξίσωση (3.11), παρατηρούμε ότι όταν το a i > 0, τότε y i (w T x i + w 0 ) = 1 επομένως τα x i βρίσκονται στο σύνορο της ζώνης γύρω από το υπερεπίπεδο διαχωρισμού, δηλαδή στα δύο υπερεπίπεδα w T x i + w 0 = ±1. Τα σημεία αυτά λέγονται διανύσματα υποστήριξης (support vectors) και για αυτό ο βέλτιστος ταξινομητής ονομάζεται μηχανή διανυσμάτων υποστήριξης (support vector machine). Παρατηρούμε από την σχέση (3.12) ότι το διάνυσμα w που καθορίζει τη διεύθυνση του υπερεπιπέδου διαχωρισμού είναι ο γραμμικός συνδυασμός των διανυσμάτων υποστήριξης. Οι πολλαπλασιαστές Lagrange a i στην ίδια σχέση, ζυγίζουν κάθε διάνυσμα υποστήριξης ανάλογα με την σημασία 21

36 Κεφάλαιο 3 του για τον καθορισμό της συνάρτησης διαχωρισμού. Αντίστοιχα, για y i (w T x i + w 0 ) > 1 προκύπτει ότι a i = 0, άρα αυτά τα x i βρίσκονται έξω από τη ζώνη διαχωρισμού των κλάσεων. Η παράμετρος w 0 μπορεί να υπολογιστεί χρησιμοποιώντας οποιαδήποτε από τις συνθήκες (3.11). Στην πράξη λαμβάνεται ως η μέση τιμή που προκύπτει από όλες αυτές τις συνθήκες. Ο λόγος που προτιμούμε να αντιμετωπίσουμε το πρόβλημα με τη μορφή της εξίσωσης (3.14), είναι ότι τα διανύσματα εκπαίδευσης υπεισέρχονται με τη μορφή εσωτερικών γινομένων. Αυτό είναι πολύ σημαντικό από υπολογιστική άποψη καθώς σημαίνει ότι η συνάρτηση κόστους δεν εξαρτάται από την διάσταση της εισόδου. Η ιδιότητα αυτή επιτρέπει να γίνουν οι απαραίτητες γενικεύσεις για την περίπτωση των μη γραμμικά διαχωρίσιμων κλάσεων. Σε αυτό το σημείο πρέπει να επισημάνουμε ότι η συνάρτηση κόστους της εξίσωσης (3.7) είναι αυστηρά κυρτή διότι ο αντίστοιχος εσσιανός πίνακας είναι θετικά ορισμένος. Το γεγονός αυτό σε συνδυασμό με την γραμμικότητα των περιορισμών εγγυάται ότι κάθε τοπικό ελάχιστο είναι και ολικό. Άρα στην περίπτωση μας το βέλτιστο υπερεπίπεδο διαχωρισμού είναι μοναδικό. Με βάση τα παραπάνω, ο κανόνας ταξινόμησης για ένα νέο πρότυπο x δίνεται από τη σχέση: G(x) = sign[f(x)] = sign[w T x + w 0 ] (3.15) Στο Σχήμα 3.1, παρατηρούμε ένα παράδειγμα διαχωρίσιμων κλάσεων στο δισδιάστατο χώρο και απεικονίζεται το βέλτιστο υπερεπίπεδο και τα διανύσματα υποστήριξης. 22

37 Μηχανές Διανυσμάτων Υποστήριξης Σχήμα 3.1 Ταξινόμηση γραμμικά διαχωρίσιμων κλάσεων 3.3 Μη γραμμικά διαχωρίσιμες κλάσεις Στην προηγούμενη ενότητα εξετάσαμε την περίπτωση όπου τα πρότυπα των δύο κλάσεων είναι δυνατόν να διαχωριστούν πλήρως από ένα υπερεπίπεδο. Ωστόσο, αυτό δεν είναι πάντα δυνατό. Πολύ συχνά, τα πρότυπα των δύο κλάσεων επικαλύπτονται στο χώρο. Λύση σε αυτό το πρόβλημα δίνει ο ταξινομητής ήπιου περιθωρίου (Cortes, και συν., 1995), ο οποίος εισάγει μια επιπλέον παράμετρο και τους αντίστοιχους περιορισμούς για τον υπολογισμό του βέλτιστου υπερεπιπέδου διαχωρισμού. Με βάση τη θεωρία που αναπτύχθηκε προηγουμένως, τα δεδομένα εκπαίδευσης τώρα ανήκουν σε τρεις διαφορετικές κατηγορίες. Σε αυτά που βρίσκονται εκτός της ζώνης διαχωρισμού των κλάσεων και είναι σωστά ταξινομημένα, για τα οποία ισχύει y i (w T x i + w 0 ) 1, σε αυτά που βρίσκονται μέσα στη ζώνη διαχωρισμού και είναι σωστά ταξινομημένα, για τα οποία έχουμε 0 y i (w T x i + w 0 ) < 1 και, τέλος, σε αυτά που είναι λάθος ταξινομημένα, δηλαδή βρίσκονται από την άλλη πλευρά του υπερεπιπέδου και για τα οποία ισχύει y i (w T x i + w 0 ) < 0. Μπορούμε να συνδυάσουμε και τις τρεις περιπτώσεις σε μια, εισάγοντας στον περιορισμό της σχέσης (3.6) τις μεταβλητές ξ i, i = 1,, N οι οποίες 23

38 24 Κεφάλαιο 3 ονομάζονται μεταβλητές χαλάρωσης (slack variables). Έτσι οι περιορισμοί παίρνουν τώρα την εξής μορφή: y i (w T x i + w 0 ) 1 ξ i (3.16) Οι μεταβλητές ξ i παίρνουν τιμές ίσες με 0 για την περίπτωση που τα δεδομένα είναι σωστά ταξινομημένα και εκτός ζώνης διαχωρισμού, τιμές στο διάστημα μεταξύ 0 και 1 για την περίπτωση που έχουμε σωστά ταξινομημένα δεδομένα εντός της ζώνης διαχωρισμού και τιμές μεγαλύτερες του 1 για την περίπτωση λάθος ταξινομημένων δεδομένων. Η τιμή της μεταβλητής ξ i είναι ανάλογη με το κατά πόσο βαθιά μέσα στη λάθος πλευρά του υπερεπιπέδου είναι η πρόγνωση της συνάρτησης f(x) = w T x + w 0. Ζητάμε να φράξουμε τον συνολικό αριθμό των προγνώσεων στην λάθος πλευρά του υπερεπιπέδου, επομένως φράσουμε το άθροισμα ξ i. Το πρόβλημα βελτιστοποίησης έχει πλέον την ακόλουθη μορφή 1 min w,w 0 2 w 2 υπό τους περιορισμούς: y i (w T x i + w 0 ) 1 ξ i (3.17) ξ i 0 ξ i const. Και σε αυτήν την περίπτωση, έχουμε ένα πρόβλημα ελαχιστοποίησης κυρτής τετραγωνικής συνάρτησης με γραμμικούς περιορισμούς, επομένως είναι πρόβλημα κυρτού προγραμματισμού. Προκειμένου το πρόβλημα να έχει μια πιο βολική από προγραμματιστική άποψη μορφή, μετασχηματίζεται στην ισοδύναμη μορφή: min w,w 0,ξ N 1 2 w 2 + C ξ i υπό τους περιορισμούς: y i (w T x i + w 0 ) 1 ξ i (3.18) ξ i 0 Συγκρίνοντας το πρόβλημα (3.18) με το (3.17) παρατηρούμε ότι ο τρίτος περιορισμός του (3.17) έχει ενσωματωθεί στην συνάρτηση κόστους του (3.18) και επιπλέον έχει εισαχθεί η παράμετρος C που είναι μια θετική σταθερά και ελέγχει τη σχετική επιρροή ανάμεσα στους δύο όρους της συνάρτησης κόστους. i=1

39 Μηχανές Διανυσμάτων Υποστήριξης Όσο μεγαλύτερη η τιμή της C τόσο μεγαλύτερη και η ποινή που δίνεται στα λάθος ταξινομημένα δείγματα. Μπορούμε να πούμε ότι η συνάρτηση κόστους ισορροπεί πλέον ανάμεσα σε δύο κριτήρια, την μεγιστοποίηση του περιθωρίου και την ελαχιστοποίηση του σφάλματος. Η λαγκρανζιανή συνάρτηση του (3.18) δίνεται από την ακόλουθη σχέση: N L P = 1 2 w 2 + C ξ i i=1 N a i [y i (w T x i + w 0 ) i=1 N (3.19) (1 ξ i ) ] μ i ξ i Οι συνθήκες Karush-Kuhn-Tucker που πρέπει να τηρεί το ελάχιστο της συνάρτησης (3.19) είναι: i=1 L P w = 0 (3.20) L P = 0 w 0 (3.21) L P = 0, i = 1,, N ξ i (3.22) a i [y i (w T x i + w 0 ) (1 ξ i )] = 0, i = 1,, N (3.23) μ i ξ i = 0, i = 1,, N (3.24) ξ i 0, i = 1,, N (3.25) μ i 0, i = 1,, N (3.26) Από τις εξισώσεις (3.20), (3.21) και (3.22) προκύπτουν αντίστοιχα: w = a i y i x i N N I=1 a i y i i=1 = 0 (3.27) (3.28) C μ i a i = 0 (3.29) 25

40 Κεφάλαιο 3 Αντικαθιστώντας τις εξισώσεις (3.27) έως (3.29) στην (3.19), προκύπτει η δυϊκή αναπαράσταση του προβλήματος κατά Wolfe, την οποία τώρα πρέπει να μεγιστοποιήσουμε: N N N υπό τους περιορισμούς: L D = a i i=1 1 2 a ia k y i y k x i T x k i=1 k=1 0 a i C (3.30) y i (w T x i + w 0 ) 1 ξ i Οι συνθήκες Karush-Kuhn-Tucker που πρέπει να ικανοποιούνται είναι οι (3.23) έως (3.29). Ο συνδυασμός των εξισώσεων (3.23) έως (3.30) αρκεί για τον μοναδικό χαρακτηρισμό του αρχικού και του δυϊκού προβλήματος. Η εξίσωση (3.27) δίνει την τιμή του διανύσματος w για το βέλτιστο υπερεπίπεδο διαχωρισμού. Επίσης, αξίζει να παρατηρήσουμε ότι οι πολλαπλασιαστές Lagrange a i των σημείων που βρίσκονται είτε εντός του περιθωρίου, είτε είναι λάθος ταξινομημένα, ισούνται με C όπως προκύπτει από τις εξισώσεις (3.24) και (3.29) για ξ i 0. Άρα, συμπεραίνουμε ότι αυτά τα σημεία έχουν τη μεγαλύτερη συνεισφορά για τη λύση w. Ο συνδυασμός αυτών των σημείων, με τα σημεία που βρίσκονται πάνω στα υπερεπίπεδα w T x i + w 0 = ±1 και είναι σωστά ταξινομημένα (για αυτά τα σημεία ισχύει 0 < a i < C, είναι το σύνολο των διανυσμάτων υποστήριξης. Στη συνέχεια επιλύοντας τις εξισώσεις της μορφής (3.23) υπολογίζονται οι τιμές για τα w 0 ο μέσος όρος των οποίων είναι η τελική τιμή που επιλέγουμε για το w 0. Αφότου έχουμε υπολογίσει τις λύσεις των w και w 0, η συνάρτηση ταξινόμησης για ένα άγνωστο πρότυπο x είναι και σε αυτήν την περίπτωση: G(x) = sign[f(x)] = sign[w T x + w 0 ] (3.31) Ωστόσο, η παράμετρος που πρέπει να ρυθμιστεί είναι η C καθώς εξαρτάται από τα δεδομένα του εκάστοτε προβλήματος. Συνήθως, η τιμή της καθορίζεται μέσω της μεθόδου cross-validation. 26

41 Μηχανές Διανυσμάτων Υποστήριξης Σχήμα 3.2 Ταξινόμηση μη γραμμικά διαχωρίσιμων κλάσεων 3.4 Η μέθοδος των συναρτήσεων πυρήνα Οι περιπτώσεις που περιεγράφηκαν ως τώρα, αφορούν περιπτώσεις όπου τα δεδομένα διαχωρίζονται στον αρχικό χώρο των χαρακτηριστικών από ένα υπερεπίπεδο, το οποίο ορίζεται από γραμμικές εξισώσεις που εφαρμόζονται στα δεδομένα εκπαίδευσης. Υπάρχουν όμως περιπτώσεις, στις οποίες τα δεδομένα είναι αρκετά επικαλυπτόμενα και ακόμα και η μέθοδος ήπιου περιθωρίου δεν αποδίδει ικανοποιητικά αποτελέσματα. Σε αυτές τις περιπτώσεις, επιθυμούμε να βρούμε μια μη γραμμική επιφάνεια διαχωρισμού των κλάσεων. Τη δυνατότητα αυτή μας δίνει η μέθοδος των συναρτήσεων πυρήνα (kernel functions), η οποία θα παρουσιαστεί στη συνέχεια της ενότητας. Σκοπός μας είναι, να μετασχηματίσουμε τα δεδομένα από τον αρχικό χώρο των χαρακτηριστικών διάστασης p σε έναν νέο χώρο H υψηλότερης διάστασης, στον οποίο είναι εφικτός ο γραμμικός διαχωρισμός των δεδομένων και μπορούν να εφαρμοστούν οι μέθοδοι που αναλύθηκαν στις προηγούμενες ενότητες, με σκοπό την εύρεση του βέλτιστου υπερεπιπέδου διαχωρισμού με παραμέτρους w H και w 0 R. Ένα τέτοιο παράδειγμα φαίνεται στο σχήμα 3.3. Πιο συγκεκριμένα έστω ότι έχουμε x R p και μια απεικόνιση Φ τέτοια ώστε: 27

42 Κεφάλαιο 3 x Φ(x) H όπου H ένας χώρος Hilbert 1. Το πρόβλημα βελτιστοποίησης (3.30) προκύπτει με αντικατάσταση των μετασχηματισμένων διανυσμάτων εισόδου: υπό τους περιορισμούς: L D N = a i i=1 N N 1 2 a ia k y i y k Φ(x i ) T Φ(x k ) i=1 k=1 0 a i C N a i y i = 0 i=1 (3.32) Στο σημείο αυτό, θα μπορούσαμε να λύσουμε το παραπάνω πρόβλημα βελτιστοποίησης κατά τα γνωστά, υπολογίζοντας τα εσωτερικά γινόμενα στον νέο χώρο, ωστόσο το μεγαλύτερο εμπόδιο σε αυτό το στάδιο είναι ο υπολογισμός της απεικόνισης Φ(x) που είναι υπολογιστικά ακριβός και σε αρκετές περιπτώσεις ανέφικτος. Μια κομψή και αποδοτική λύση στο πρόβλημα υπολογισμού των εσωτερικών γινομένων δίνουν οι συναρτήσεις πυρήνα. Το λεγόμενο τέχνασμα πυρήνα (kernel trick) χρησιμοποιεί μία συνάρτηση πυρήνα κ: R p R p R ώστε να μετασχηματιστούν έμμεσα τα δεδομένα από τον αρχικό χώρο R p στον νέο χώρο H χωρίς να απαιτείται η γνώση της απεικόνισης Φ(x). Ο μετασχηματισμός επιτυγχάνεται, καθώς μέσω της συνάρτησης πυρήνα μπορούν να υπολογιστούν οι τιμές των εσωτερικών γινομένων στον χώρο H. 1 Ως χώρος Hilbert ορίζεται ένας πλήρης γραμμικός χώρος εξοπλισμένος με μια πράξη εσωτερικού γινομένου. Ένας χώρος Hilbert πεπερασμένης διάστασης είναι ένας Ευκλείδειος χώρος. 28

43 Μηχανές Διανυσμάτων Υποστήριξης Σχήμα 3.3 Μετασχηματισμός δεδομένων σε χώρο όπου είναι εφικτός ο διαχωρισμός τους Οι συναρτήσεις πυρήνα ικανοποιούν τις συνθήκες του θεωρήματος του Mercer, το οποίο λέει ότι υπάρχει μια απεικόνιση Φ σε χώρο H τέτοια ώστε κ(x i, x j ) = Φ(x i ) T Φ(x j ), όπου x i, x j R p, αν και μόνο αν η κ είναι μία συμμετρική συνάρτηση για την οποία οι πίνακες Κ = [κ(x i, x j )] 1 i,j n, που σχηματίζονται από οποιοδήποτε πεπερασμένο υποσύνολο {x 1,, x n } του χώρου R p, είναι θετικά ημιορισμένοι. Επομένως, το πρόβλημα (3.32), με τη χρήση των συναρτήσεων πυρήνα, γράφεται στη μορφή: N L D = a i N N 1 2 a ia k y i y k κ(x i, x k ) i=1 i=1 k=1 υπό περιορισμούς: τους 0 a i C N a i y i = 0 (3.33) i=1 Το γεγονός ότι οι πίνακες των συναρτήσεων πυρήνα είναι θετικά ημιορισμένοι για κάθε σετ δεδομένων εκπαίδευσης, εξασφαλίζει ότι το πρόβλημα βελτιστοποίησης (3.33) είναι πάντα κυρτό. Αφότου έχουμε υπολογίσει τα a i η συνάρτηση απόφασης για ένα νέο πρότυπο δίνεται από τη σχέση: 29

44 Κεφάλαιο 3 N G(x) = sign[f(x)] = sign[ y i a i κ(x i, x) + w 0 ] i=1 (3.34) Η μορφή της συνάρτησης απόφασης εξαρτάται από το είδος της συνάρτησης πυρήνα που χρησιμοποιείται. Υπάρχουν αρκετές συναρτήσεις πυρήνα που χρησιμοποιούνται σε εφαρμογές αναγνώρισης προτύπων, από τις οποίες οι πιο διαδεδομένες είναι: Πολυώνυμα q βαθμού: κ(x, z) = (x T z + 1) q (3.35) Συναρτήσεις ακτινωτής βάσης (radial basis functions): x z 2 κ(x, z) = exp ( σ 2 ) (3.36) Υπερβολική εφαπτομένη: κ(x, z) = tanh(βx T z + γ) (3.37) Η συνάρτηση υπερβολικής εφαπτομένης είναι μια σιγμοειδής συνάρτηση. Αν επιλεγεί ως πυρήνας, η αρχιτεκτονική που προκύπτει είναι μια ειδική περίπτωση ενός νευρωνικού δικτύου δύο επιπέδων. Ένα σημαντικό πρόβλημα της μεθόδου των πυρήνων, είναι η εύρεση των βέλτιστων τιμών για την παράμετρο εξομάλυνσης C και τις παραμέτρους του εκάστοτε πυρήνα με σκοπό την ελαχιστοποίηση του σφάλματος πρόβλεψης. Για παράδειγμα, εάν επιλέξουμε ως πυρήνα μια συνάρτηση ακτινωτής βάσης, πρέπει να καθορίσουμε την τιμή της παραμέτρου C και την τιμή του σ του πυρήνα που καθορίζει το πλάτος της Gaussian συνάρτησης. Πρόσφατα, έχουν αναπτυχθεί διάφορες ενδιαφέρουσες τεχνικές για την αυτοματοποιημένη επιλογή των παραμέτρων (Melgani, και συν., 2004). Ωστόσο, το συγκεκριμένο ζήτημα εξακολουθεί να παραμένει άλυτο και αποτελεί μεγάλο πεδίο έρευνας. Αυτό το σύνολο παραμέτρων, που είναι γνωστές ως υπερπαράμετροι, είναι καθοριστικής σημασίας για τις ικανότητες γενίκευσης του ταξινομητή. Ο ρόλος της παραμέτρου C γίνεται πιο φανερός στο μετασχηματισμένο χώρο, καθώς πλήρης διαχωρισμός των δεδομένων είναι εφικτός εκεί. Μεγάλη τιμή για το C, συνεπάγεται μεγάλη ποινή για τα λάθος ταξινομημένα δεδομένα, 30

45 Μηχανές Διανυσμάτων Υποστήριξης με αποτέλεσμα το σύνορο του διαχωρισμού να είναι αρκετά «τραχύ» και να υπάρχει πιθανότητα υπερεκπαίδευσης (overfitting). Αντίθετα, μικρή τιμή για το C, οδηγεί σε μεγαλύτερο περιθώριο με αποτέλεσμα να έχουμε πιο ήπιο, σε σχέση με τις μεταβολές, σύνορο. Σε αυτό το σημείο πρέπει να επισημάνουμε ότι στους SVM η υπολογιστική πολυπλοκότητα είναι ανεξάρτητη από τη διάσταση του χώρου του πυρήνα και έτσι η κατάρα της διαστατικότητας παρακάμπτεται. Αυτό έχει άμεση επίδραση στις ιδιότητες γενίκευσης, και πράγματι οι SVM τείνουν να παρουσιάζουν καλή απόδοση γενίκευσης. 3.5 Προβλήματα ταξινόμησης πολλών κλάσεων Οι μηχανές διανυσμάτων υποστήριξης σχεδιάστηκαν με σκοπό την εφαρμογή τους σε προβλήματα ταξινόμησης δύο κλάσεων. Η επέκταση της θεωρίας που αναλύθηκε στις προηγούμενες ενότητες, ώστε να μπορούν να χρησιμοποιηθούν οι μηχανές διανυσμάτων υποστήριξης σε προβλήματα που υπάρχουν περισσότερες από δύο κλάσεις, παραμένει ανοιχτό θέμα στην έρευνα. Στην παρούσα ενότητα, θα παρουσιάσουμε τις πιο διαδεδομένες τεχνικές που έχουν αναπτυχθεί για την προσέγγιση του προβλήματος πολλών κλάσεων. Οι τεχνικές αυτές χωρίζονται σε δύο κατηγορίες. Στην πρώτη κατηγορία αντιμετωπίζεται το πρόβλημα πολλών κλάσεων ως σύνθεση πολλών προβλημάτων δύο κλάσεων, στα οποία χρησιμοποιείται η θεωρία των μηχανών διανυσμάτων υποστήριξης κατά τα γνωστά. Από την άλλη πλευρά στη δεύτερη κατηγορία, όλες οι κλάσεις ενσωματώνονται στο πρόβλημα βελτιστοποίησης ώστε η επίλυση του προβλήματος να γίνεται σε ένα βήμα. Οι μέθοδοι που θα παρουσιαστούν στη συνέχεια είναι, η κάθε μία έναντι των υπολοίπων (one against all), η μία έναντι μίας (one against one), η μηχανή διανυσμάτων υποστήριξης με χρήση κατευθυνόμενου άκυκλου γράφου (DAGSVM), η κωδικοποίηση διόρθωσης σφαλμάτων (error correcting coding), η μέθοδος των Weston-Watkins και τέλος η μέθοδος των Crammer-Singer. Στο τέλος θα ακολουθήσει μια σύντομη σύγκριση των παραπάνω μεθόδων Μέθοδος one against all Η πιο απλή επέκταση για μηχανές διανυσμάτων υποστήριξης πολλών κλάσεων είναι η μέθοδος one against all. Σε αυτή τη μέθοδο, κατασκευάζονται 31

46 Κεφάλαιο 3 k μοντέλα δυαδικών μηχανών διανυσμάτων υποστήριξης, όπου k ο αριθμός των κλάσεων του προβλήματος. Η i μηχανή διανυσμάτων υποστήριξης εκπαιδεύεται ως ένα δυαδικό πρόβλημα όπου τα πρότυπα της i κλάσης έχουν θετική ετικέτα, ενώ τα πρότυπα όλων των υπολοίπων κλάσεων έχουν αρνητική ετικέτα. Έτσι, προσπαθούμε να βρούμε ένα βέλτιστο διαχωριστικό επίπεδο f i (x) = 0 μεταξύ της i κλάσης και όλων των υπολοίπων. Τα νέα πρότυπα ταξινομούνται σύμφωνα με τον εξής κανόνα: κλάση του x arg max i=1,..,k f i(x) Το βασικό πρόβλημα αυτής της μεθόδου είναι ότι μπορεί να οδηγήσει σε απροσδιόριστες περιοχές όπου περισσότερες από μία f i (x) είναι θετικές. Ένα άλλο μειονέκτημα, είναι ότι κάθε δυαδικός ταξινομητής ασχολείται συνήθως με ένα ασύμμετρο πρόβλημα καθώς τα πρότυπα με αρνητική ετικέτα είναι πολλά παραπάνω από τα αυτά με θετική ετικέτα. Επίσης, δεν έχει βρεθεί κάποιο φράγμα για το σφάλμα γενίκευσης αυτής της μεθόδου και ο χρόνος εκπαίδευσης αυξάνεται γραμμικά ανάλογα με τον αριθμό των κλάσεων Μέθοδος one against one Μια άλλη πολύ διαδεδομένη μέθοδος αποσύνθεσης του προβλήματος σε πολλά δυαδικά, είναι η μέθοδος one against one. Η μέθοδος αυτή κατασκευάζει k(k 1)/2 δυαδικούς ταξινομητές, από τους οποίους ο κάθε ένας εκπαιδεύεται σε δεδομένα από κάθε πιθανό ζευγάρι κλάσεων. Η τελική απόφαση για την κλάση κάθε προτύπου προκύπτει από την πλειοψηφία. Κάθε δυαδικός ταξινομητής δίνει μια ψήφο για την προβλεπόμενη κλάση και στο τέλος διαλέγεται η κλάση με τις περισσότερες ψήφους. Σε περίπτωση που δύο κλάσεις έχουν ίδιο αριθμό ψήφων τότε χρησιμοποιείται κάποια στρατηγική επίλυσης ισοπαλίας (tie break). Η πιο συνηθισμένη, αν και δεν έχει τεκμηριωθεί η ορθότητά της, είναι η επιλογή της κλάσης με το μικρότερο δείκτη. Ένα μειονέκτημα αυτής της μεθόδου είναι ο μεγάλος αριθμός των ταξινομητών που πρέπει να εκπαιδευτούν, με αποτέλεσμα να επηρεάζεται ανάλογα ο χρόνος εκπαίδευσης σε μεγάλα προβλήματα. 32

47 Μηχανές Διανυσμάτων Υποστήριξης Μηχανές διανυσμάτων υποστήριξης με χρήση κατευθυνόμενου άκυκλου γράφου Η τρίτη μέθοδος που παρουσιάζουμε είναι η μέθοδος εκπαίδευσης μηχανών διανυσμάτων υποστήριξης σε δομή κατευθυνόμενου άκυκλου γράφου όπως συστήθηκε στο (Platt, και συν., 2000). Στη φάση εκπαίδευσης, η μέθοδος αυτή είναι ίδια με την μέθοδο one against one, στην οποία εκπαιδεύονται k(k 1)/2 δυαδικά μοντέλα για κάθε ζεύγος κλάσεων. Ωστόσο στη φάση δοκιμής, χρησιμοποιείται ένας δυαδικός κατευθυνόμενος άκυκλος γράφος, ο οποίος έχει k(k 1)/2 εσωτερικούς κόμβους και k φύλλα. Κάθε κόμβος είναι μια δυαδική μηχανή διανυσμάτων υποστήριξης. Ξεκινώντας από την ρίζα του γράφου, για μία είσοδο x, γίνεται μια πρόγνωση για την κλάση στην οποία ανήκει η είσοδος. Ανάλογα με την έξοδο της συνάρτησης απόφασης καθορίζεται αν θα ακολουθηθεί το αριστερό η το δεξί μονοπάτι μετά τον κόμβο. Η διαδικασία συνεχίζεται παρόμοια στον επόμενο κόμβο. Η κλάση στην οποία ταξινομείται η είσοδος είναι η κλάση που προκύπτει από το φύλλο στο οποίο καταλήγει η διαδικασία. Η διαδικασία που περιεγράφηκε στην προηγούμενη παράγραφο, είναι ισοδύναμη με την επεξεργασία μιας λίστας στην οποία κάθε κόμβος διαγράφει ένα στοιχείο της λίστας. Η λίστα αρχικοποιείται με στοιχεία όλες τις κλάσεις ταξινομημένες με τυχαίο τρόπο. Κάθε είσοδος εισέρχεται στον κόμβο ρίζα, ο οποίος αντιστοιχεί στο πρόβλημα διαχωρισμού μεταξύ του πρώτου και του τελευταίου στοιχείου της λίστας. Όταν ο κόμβος επιλέξει μία από τις δύο κλάσεις, η άλλη κλάση διαγράφεται από τη λίστα και η διαδικασία συνεχίζεται με τον έλεγχο για το πρώτο και τελευταίο στοιχείο της καινούργιας λίστας. Η διαδικασία τερματίζει όταν απομείνει μόνο ένα στοιχείο στη λίστα. Η διαδικασία αυτή παρουσιάζεται σχηματικά στο Σχήμα 3.4. Έτσι, για ένα πρόβλημα με k κλάσεις, χρειάζονται μόνο k 1 ταξινομητές για την ταξινόμηση μιας νέας εισόδου. 33

48 Κεφάλαιο 3 Σχήμα 3.4 Κατευθυνόμενος άκυκλος γράφος για πρόβλημα 4 κλάσεων Το πλεονέκτημα αυτής της μεθόδου είναι ότι παρουσιάζει ένα φράγμα για το σφάλμα γενίκευσης, το οποίο φράγμα μάλιστα είναι ανεξάρτητο από την διάσταση της εισόδου. Δεν έχει βρεθεί κάτι αντίστοιχο θεωρητικά για τις μεθόδους one against all και one against one Μέθοδος κωδικοποίησης διόρθωσης σφαλμάτων Η μέθοδος αυτή είναι εμπνευσμένη από τα συστήματα κωδικοποίησης που χρησιμοποιούνται στις επικοινωνίες και υιοθετήθηκε για πρώτη φορά στο (Dietterich, και συν., 1995). Για ένα πρόβλημα ταξινόμησης k κλάσεων χρησιμοποιείται ένα πλήθος l ταξινομητών, όπου το l επιλέγεται κατά βούληση του αναλυτή. Κάθε κλάση αναπαρίσταται από μια δυαδική κωδική λέξη μήκους l. Κατά τη διάρκεια εκπαίδευσης του i ταξινομητή, η ετικέτα της κλάσης y i, επιλέγεται να είναι είτε 1 είτε -1. Έτσι σχηματίζεται ένας πίνακας M διάστασης k l όπου κάθε γραμμή αντιστοιχεί στην δυαδική ετικέτα της κάθε κλάσης. Όταν παρουσιάζεται ένα νέο πρότυπο χωρίς ετικέτα, η έξοδος κάθε ταξινομητή καταγράφεται, καταλήγοντας έτσι σε μια δυαδική κωδική λέξη για το πρότυπο. Στη συνέχεια υπολογίζεται η απόσταση Hamming, δηλαδή το πλήθος των θέσεων στις οποίες δύο κωδικές λέξεις διαφέρουν, ανάμεσα σε αυτήν την κωδική λέξη και τις κωδικές λέξεις που αντιστοιχούν σε κάθε κλάση και το πρότυπο ταξινομείται στην κλάση που αντιστοιχεί στην ελάχιστη απόσταση. Όταν έχουμε l = k και τα στοιχεία της κύριας διαγωνίου του πίνακα M είναι ίσα με 1 και όλα τα υπόλοιπα είναι ίσα με -1, η μέθοδος ισοδυναμεί με την περίπτωση one against all. 34

49 Μηχανές Διανυσμάτων Υποστήριξης Η μέθοδος των Weston και Watkins Η μέθοδος αυτή, ενσωματώνει τις κλάσεις στο πρόβλημα βελτιστοποίησης, εκπαιδεύοντας έτσι μόνο έναν ταξινομητή. Η ιδέα είναι παρόμοια με την μέθοδο one against all. Κατασκευάζονται k κανόνες δύο κλάσεων στους οποίους η mστη συνάρτηση απόφασης χωρίζει τα πρότυπα της m κλάσης από τις υπόλοιπες. Επομένως, υπάρχουν k συναρτήσεις απόφασης, αλλά όλες είναι διαθέσιμες από τη λύση ενός και μόνο προβλήματος. Το πρόβλημα βελτιστοποίησης των εξισώσεων (3.18) έχει πλέον την παρακάτω μορφή: υπό τους περιορισμούς: w yi min w,w 0,ξ k 1 2 w m 2 m + C ξ i m=1 N i=1 m y i T x i + w 0,yi w m T x i + w 0,m + 2 ξ i m ξ i m 0, i = 1,, N m {1,, k} \y i (3.38) Η συνάρτηση απόφασης του προβλήματος (3.38) είναι ίδια με την περίπτωση one against all, δηλαδή: arg max m=1,..,k w m T x i + w 0,m (3.39) Ακολουθώντας την διαδικασία της παραγράφου 3.3, βρίσκουμε τη συνάρτηση Lagrange του προβλήματος, τη δυϊκή αναπαράστασή του κατά Wolfe και τις συνθήκες Karush-Kuhn-Tucker που πρέπει να ικανοποιούνται. Για λόγους συντομίας αυτή η διαδικασία παραλείπεται. Ωστόσο ο ενδιαφερόμενος αναγνώστης μπορεί να παραπεμφθεί στο (Weston, και συν., 1998) όπου προτείνεται η μέθοδος Η μέθοδος των Crammer και Singer Ο αλγόριθμος που προτάθηκε από τους Crammer και Singer, αντιμετωπίζει το πρόβλημα ταξινόμησης πολλών κλάσεων σε ένα βήμα, ενσωματώνοντας τις κλάσεις στο πρόβλημα βελτιστοποίησης (Crammer, και συν., 2001). Παράλληλα αποσκοπεί στην επίτευξη μεγαλύτερης ακρίβειας και παρέχει μεθόδους περιορισμού του μεγέθους του προβλήματος βελτιστοποίησης προκειμένου αυτό να επιλύεται απλούστερα και γρηγορότερα. Το πρόβλημα βελτιστοποίησης που επιλύει η μέθοδος είναι: 35

50 Κεφάλαιο 3 υπό περιορισμούς: τους min w,w 0,ξ w yi k 1 2 w m 2 + C ξ i m=1 N i=1 T x i w m T x i e i m ξ i (3.40) ξ i 0, i = 1,, N m {1,, k} \y i Όπου e i m 1 δ yi,mκαι: δ yi,m { 1 όταν y i = m 0 όταν y i m (3.41) Η συνάρτηση απόφασης είναι: 36 arg max m=1,..,k w m T x i (3.42) Παρατηρούμε ότι η κύρια διαφορά μεταξύ των μεθόδων Weston-Watkins και Crammer-Singer είναι ότι στο πρόβλημα (3.40) χρησιμοποιούνται μόνο N μεταβλητές χαλάρωσης ξ i. Αυτό συμβαίνει διότι, αντί να χρησιμοποιούμε τις τιμές ξ i m ως το κενό μεταξύ δύο διαχωριστικών επιπέδων, εδώ υπολογίζουμε το μέγιστο k τέτοιων μεταβλητών: ξ i = max (( max (w m T x i + e m i ) w T yi x i ), 0) (3.43) m=1,..,k Μία ακόμη διαφορά είναι ότι το πρόβλημα 3.40 δεν περιλαμβάνει μεταβλητές w 0,m Σύγκριση των μεθόδων Σε αυτήν την ενότητα θα γίνει μια σύντομη σύγκριση των μεθόδων που παρουσιάστηκαν στις προηγούμενες παραγράφους αναφορικά με το σφάλμα ταξινόμησης και την ταχύτητα εκπαίδευσης και δοκιμής. Οι συγκρίσεις βασίζονται σε πειράματα που έγιναν για τη μελέτη της συμπεριφοράς των μεθόδων σε διάφορα σετ δεδομένων, με χρήση διαφορετικών πυρήνων και διαφορετικών παραμέτρων (Hsu, και συν., 2002). Από πλευράς ταχύτητας εκπαίδευσης, οι μέθοδοι one against one και DAGSVM είναι οι πιο γρήγορες. Μάλιστα έχει διαπιστωθεί ότι είναι από 2.2 έως 11.5 φορές πιο γρήγορες από τη μέθοδο one against all για ορισμένα σετ δεδομένων (Platt, και συν., 2000). Επίσης, η μέθοδος DAG είναι λίγο πιο

51 Μηχανές Διανυσμάτων Υποστήριξης γρήγορη από την one against one αναφορικά με την ταχύτητα δοκιμής, αλλά και οι δύο μέθοδοι είναι πιο γρήγορες από τις υπόλοιπες. Σε ότι έχει να κάνει με την ακρίβεια εκμάθησης, η μέθοδος one against all έχει τα χειρότερα αποτελέσματα, ενώ οι μέθοδοι one against one, DAGSVM και Crammer-Singer έχουν σε αυτήν την περίπτωση καλή απόδοση. Τέλος, σχετικά με τον αριθμό των διανυσμάτων υποστήριξης, η μέθοδος των Weston και Watkins εμφανίζει τους μικρότερους αριθμούς ενώ για την μέθοδο των Crammer και Singer δεν μπορεί να υπάρξει ασφαλές συμπέρασμα καθώς ο αριθμός αυτός φαίνεται να εξαρτάται από το εκάστοτε πρόβλημα. Συνοψίζοντας τα παραπάνω, διαπιστώνουμε ότι οι μέθοδοι one against one και DAGSVM είναι ίσως καταλληλότερες για πρακτικά προβλήματα. Στο πλαίσιο αυτής της διπλωματικής εργασίας, χρησιμοποιήθηκε η βιβλιοθήκη LIBSVM που υλοποιεί τις μηχανές διανυσμάτων υποστήριξης με τη μέθοδο one against one (Chang, και συν., 2008). 3.6 Πιθανοτικές έξοδοι μηχανών διανυσμάτων υποστήριξης Σε αρκετές εφαρμογές χρειάζεται να επιστρέφεται η εκ των υστέρων πιθανότητα (posterior probability) για κάθε κλάση ως αποτέλεσμα της ταξινόμησης. Δηλαδή αντί να επιστρέφεται μια τιμή για την κλάση που ανήκει το πρότυπο, όπως συμβαίνει στις πρότυπες μηχανές διανυσμάτων υποστήριξης, θέλουμε να επιστρέφεται η πιθανότητα να ανήκει το πρότυπο σε κάθε κλάση, δηλαδή μια τιμή Pr(y i x), y i = 1,, k, όπου k ο αριθμός των κλάσεων. Μια πρώτη προσέγγιση σε αυτό το πρόβλημα έγινε στο (Platt, 1999). Ο Platt προτείνει να προσεγγιστούν οι πιθανότητες μέσω μιας σιγμοειδούς συνάρτησης: Pr(y = 1 x) = P A,B (f) όπου f = f(x) = w T x + w exp(af + B), (3.44) 37

52 Κεφάλαιο 3 Ορίζουμε ότι f i είναι η εκτίμηση του f(x i ). Το διάνυσμα με τις βέλτιστες τιμές των παραμέτρων z = (A, B ) επιλέγεται μέσω της επίλυσης του ακόλουθου προβλήματος μέγιστης πιθανοφάνειας (maximum likelihood): N min F(z) = (t i log(p i ) + (1 t i ) log(1 p i )), z=(a,b) i=1 p i = P A,B (f i ), N N και t i = + + 2, για y i = +1, i = 1,, N 1 { N + 2, για y i = 1 (3.45) (3.46) Όπου Ν ο αριθμός των δειγμάτων εκπαίδευσης, N + ο αριθμός των δειγμάτων που ανήκουν στην κλάση +1 και Ν ο αριθμός των δειγμάτων που ανήκουν στην κλάση -1. Ο Platt χρησιμοποιεί τον αλγόριθμο Levenberg-Marquardt για την επίλυση του προβλήματος (3.45). Αυτή η επιλογή έχει το πλεονέκτημα της απλής υλοποίησης. Ωστόσο, όπως διαπιστώθηκε (Lin, και συν., 2007), δεν είναι η πιο σωστή καθώς η υλοποίηση μέσω του συγκεκριμένου αλγορίθμου υπάρχει περίπτωση να μην συγκλίνει σε κάποιο ελάχιστο. Για αυτό το λόγο, αποδεικνύουν ότι το πρόβλημα (3.45) είναι κυρτό καθώς ο εσσιανός πίνακας είναι θετικά ημιορισμένος και αξιοποιώντας αυτήν την ιδιότητα χρησιμοποιούν τον αλγόριθμο του Newton σε συνδυασμό με οπισθοδρόμηση (backtracking line search) για την επίλυση του προβλήματος. Εφόσον ο εσσιανός πίνακας του προβλήματος είναι θετικά ορισμένος τότε εγγυάται η σύγκλιση του αλγορίθμου σε ελάχιστο. Η προσέγγιση των Lin και Weng είναι αυτή που υλοποιείται στη βιβλιοθήκη LIBSVM που χρησιμοποιήθηκε στην παρούσα διπλωματική. Επίσης, οι Wu, Lin και Weng, επεκτείνουν την παραπάνω προσέγγιση για προβλήματα πολλών κλάσεων (Wu, και συν., 2004) και αυτή η μέθοδος επίσης ενσωματώνεται στη βιβλιοθήκη LIBSVM. 38

53 Μηχανές Διανυσμάτων Υποστήριξης 3.7 SVM και υπερφασματικές απεικονίσεις Τα προβλήματα ταξινόμησης υπερφασματικών απεικονίσεων, είναι από τη φύση τους δύσκολα να αντιμετωπιστούν από στατιστικούς ταξινομητές λόγω της μεγάλης διάστασης εισόδου των δεδομένων. Το πιο συχνό εμπόδιο που συναντάται στην ταξινόμηση υπερφασματικών απεικονίσεων είναι η κατάρα της διαστατικότητας και η έκφανσή της μέσω του φαινομένου του Hughes. To φαινόμενο Hughes, σημαίνει ότι η ακρίβεια της ταξινόμησης σε συνάρτηση με των αριθμό των χαρακτηριστικών που χρησιμοποιούνται, φτάνει ένα μέγιστο και από ένα σημείο και μετά συνεχώς μειώνεται όσο προστίθενται επιπλέον χαρακτηριστικά. Για την αποφυγή αυτού του φαινομένου, στα προβλήματα ταξινόμησης συνήθως εισάγεται ένα βήμα επιλογής ή εξαγωγής χαρακτηριστικών (feature selection/feature extraction) προκειμένου να μειωθεί η διάσταση του χώρου εισόδου και ταυτόχρονα να χρησιμοποιηθούν τα χαρακτηριστικά που έχουν την περισσότερη πληροφορία για τον διαχωρισμό των κλάσεων. Σχετικά με το παραπάνω ζήτημα, οι μηχανές διανυσμάτων υποστήριξης αποδεικνύονται πολλά υποσχόμενες κυρίως επειδή επιδεικνύουν χαμηλή ευαισθησία στην κατάρα της διαστατικότητας σε σχέση με άλλες παραδοσιακές μεθόδους ταξινόμησης. Η βασική εξήγηση για αυτήν την ιδιότητα, είναι ότι επειδή βασίζονται στο γεωμετρικό κριτήριο της μεγιστοποίησης του περιθωρίου για τον διαχωρισμό των κλάσεων, δεν χρειάζεται τελικά να εκτιμηθούν οι στατιστικές κατανομές των κλάσεων προκειμένου να γίνει η ταξινόμηση. Μια ακόμη ιδιότητα των μηχανών διανυσμάτων υποστήριξης είναι η καλή ικανότητα γενίκευσης που παρουσιάζουν λόγω της αραιής αναπαράστασης της συνάρτησης απόφασης. Στη συνέχεια θα προσπαθήσουμε να αναλύσουμε θεωρητικά τις παραπάνω ιδιότητες των μηχανών διανυσμάτων υποστήριξης. Σε αντίθεση με τις πιο διαδεδομένες τεχνικές μηχανικής εκμάθησης οι SVMs δεν εξαρτώνται από την διάσταση του χώρου εισόδου. Μπορούν να λύσουν προβλήματα στατιστικής όπως παλινδρόμηση, αναγνώριση προτύπων και εκτίμηση πυκνότητας σε χώρους υψηλής διάστασης. Πιο συγκεκριμένα, όπως αναλύθηκε στην ενότητα 3.4, ο χώρος εισόδου μετασχηματίζεται μέσω των πυρήνων σε έναν χώρο υψηλότερης διάστασης, στον οποίο αναζητείται μια συνάρτηση διαχωρισμού που μεγιστοποιεί το περιθώριο μεταξύ των δύο κλάσεων. Ας δούμε λοιπόν, κάποιες ιδιότητες των δεδομένων σε χώρους υψηλής διάστασης. 39

54 Κεφάλαιο 3 Αφού αναφερόμαστε σε δεδομένα που έχουν ληφθεί από τηλεπισκόπηση είναι λογικό να υποθέσουμε ότι τα δείγματα ακολουθούν κανονική κατανομή. Στους υπερφασματικούς χώρους τα δεδομένα που ακολουθούν κανονική κατανομή τείνουν να συγκεντρώνονται στα άκρα της συνάρτησης πυκνότητας πιθανότητας με ουσιαστικά κανένα δείγμα στο κέντρο αυτής. Με άλλα λόγια, αύξηση της διάστασης του χώρου σημαίνει ότι ο χώρος αδειάζει, με αποτέλεσμα να δημιουργείται ένα φαινόμενο «φυγόκεντρου δύναμης» τέτοιο ώστε τα δεδομένα να συγκεντρώνονται στα άκρα της κατανομής, τα οποία είναι πολύ πιθανό να βρίσκονται σε κοντινή απόσταση από το σύνορο διαχωρισμού μεταξύ των κλάσεων. Αυτή η στατιστική ιδιότητα, είναι ενδιαφέρουσα υπό το πλαίσιο των μηχανών διανυσμάτων υποστήριξης, οι οποίες καθορίζουν τη συνάρτηση διαχωρισμού βάσει των διανυσμάτων υποστήριξης, δηλαδή των δειγμάτων που βρίσκονται κοντά στο σύνορο. Επομένως όσο μεγαλύτερος είναι ο αριθμός των δειγμάτων κοντά στο σύνορο τόσο πιο ακριβείς προβλέψεις μπορούμε να έχουμε. (Melgani, και συν., 2004) Είναι γνωστό ότι όσο αυξάνεται η διάσταση του χώρου των δεδομένων, αυξάνονται και οι αποστάσεις μεταξύ των δειγμάτων. Επομένως, οι στατιστικοί ταξινομητές χρειάζονται μεγαλύτερο εύρος για την εκτίμηση των στατιστικών ιδιοτήτων των δειγμάτων, καθώς οι γειτονιές τους είναι άδειες. Ως αποτέλεσμα, οι συγκεκριμένες μέθοδοι υπόκεινται σε μείωση της ακρίβειας πρόγνωσης. Ωστόσο, το πρόβλημα αυτό δεν υφίσταται για τις μηχανές διανυσμάτων υποστήριξης καθώς η μεθοδολογία τους δεν βασίζεται στην εκτίμηση των στατιστικών ιδιοτήτων στους υπερφασματικούς χώρους. Με άλλα λόγια οι μηχανές διανυσμάτων υποστήριξης, δεν ασχολούνται με το πρόβλημα εκτίμησης πυκνότητας, το οποίο μπορεί να οδηγήσει στο φαινόμενο Hughes, αλλά εκμεταλλεύονται τις γεωμετρικές ιδιότητες των δεδομένων για να βρουν την κατάλληλη συνάρτηση διαχωρισμού. (Melgani, και συν., 2004) Επιπλέον, το γεγονός ότι οι μηχανές διανυσμάτων υποστήριξης είναι στην ουσία ένα πρόβλημα μεγιστοποίησης του περιθωρίου μεταξύ των κλάσεων, οδηγεί στην εκπαίδευση μοντέλων με καλή ικανότητα γενίκευσης. Στο πλαίσιο των υπερφασματικών απεικονίσεων, αυτή η ιδιότητα μας δίνει τη δυνατότητα να εξάγουμε ένα μοντέλο με ικανοποιητική ακρίβεια πρόγνωσης ακόμα και όταν ελάχιστα δεδομένα εκπαίδευσης είναι διαθέσιμα. Παρόλα αυτά, επειδή τα υπερφασματικά δεδομένα χαρακτηρίζονται από χωρική μεταβλητότητα των 40

55 Μηχανές Διανυσμάτων Υποστήριξης φασματικών υπογραφών, προκειμένου να αξιοποιηθεί η ικανότητα γενίκευσης των ταξινομητών απαιτείται και καλός ορισμός του σετ δεδομένων εκπαίδευσης. Σε πειραματικό επίπεδο έχουν γίνει αρκετές μελέτες που επιβεβαιώνουν τα παραπάνω θεωρητικά συμπεράσματα. Πιο συγκεκριμένα, έχει παρατηρηθεί ότι οι μηχανές διανυσμάτων υποστήριξης παρουσιάζουν καλύτερη απόδοση από τους ταξινομητές k-nn και τα νευρωνικά δίκτυα με συναρτήσεις ακτινωτής βάσης, αναφορικά με την ακρίβεια ταξινόμησης, τους χρόνους υπολογισμού και την ευρωστία σε αλλαγές των παραμέτρων. Επίσης, διαπιστώθηκε ότι οι μηχανές διανυσμάτων υποστήριξης παρουσιάζουν καλύτερη απόδοση από τις παραδοσιακές τεχνικές ταξινόμησης οι οποίες περιλαμβάνουν το βήμα εξαγωγής/επιλογής χαρακτηριστικών (Melgani, και συν., 2004). Σε ότι έχει να κάνει με την ευαισθησία των μηχανών διανυσμάτων υποστήριξης στο φαινόμενο Hughes, έχει διαπιστωθεί πειραματικά ότι αυτοί οι ταξινομητές δεν επηρεάζονται από την κατάρα της διαστατικότητας και επομένως είναι κατάλληλοι για εφαρμογές ταξινόμησης υπερφασματικών απεικονίσεων χωρίς να απαιτείται βήμα μείωσης χαρακτηριστικών (Gualtieri, και συν., 1998). Επίσης έχει διαπιστωθεί ότι η ιδιότητα αυτή διατηρείται ανεξάρτητα από την επιλογή του πυρήνα, με τον πυρήνα ακτινωτής βάσης να παρουσιάζει τα καλύτερα αποτελέσματα (Fauvel, και συν., 2006). Ορισμένες μελέτες, παρουσιάζουν ενστάσεις για το κατά πόσον δεν επηρεάζονται οι μηχανές διανυσμάτων υποστήριξης από το φαινόμενο Hughes. Μάλιστα υποστηρίζεται ότι το φαινόμενο εμφανίζεται πάντα, αλλά σε μεγαλύτερο βαθμό όταν το πλήθος των δειγμάτων εκπαίδευσης είναι μικρό (Pal, και συν., 2010). Για αυτό το λόγο προτείνεται να υπάρχει πάντα ένα βήμα μείωσης χαρακτηριστικών πριν την διαδικασία ταξινόμησης. Ωστόσο, έχει διαπιστωθεί ότι η αύξηση στην ακρίβεια που επιτυγχάνεται με την χρήση τεχνικών μείωσης χαρακτηριστικών είναι τόσο μικρή που ουσιαστικά είναι ασήμαντη και μάλιστα λαμβάνοντας υπόψη το υπολογιστικό φορτίο που απαιτούν αυτές οι τεχνικές, δεν δικαιολογείται τελικά η χρήση τους σε συνδυασμό με τις μηχανές διανυσμάτων υποστήριξης (Melgani, και συν., 2004). 41

56 42 Κεφάλαιο 3

57 Κεφάλαιο 4 Συνδυασμός ταξινομητών μέσω της μεθόδου boosting Στο κεφάλαιο αυτό, θα παρουσιαστεί η έννοια της ενίσχυσης (boosting) μέσα από τον αλγόριθμο AdaBoost, ο οποίος αποτελεί πλέον συνώνυμο της έννοιας. Θα παρουσιαστεί ο αλγόριθμος για δυαδικά προβλήματα ταξινόμησης καθώς και κάποιες βασικές ιδιότητές του που έχουν να κάνουν με την έννοια του περιθωρίου, το σφάλμα γενίκευσης και την ελαχιστοποίηση της εκθετικής συνάρτησης απωλειών (exponential loss). Επίσης θα παρουσιάσουμε την πιο δημοφιλή επέκταση του αλγορίθμου AdaBoost, ώστε να χρησιμοποιείται σε προβλήματα ταξινόμησης πολλών κλάσεων και θα εξετάσουμε πώς μπορεί να συνδυαστεί το boosting με μηχανές διανυσματικής υποστήριξης. 4.1 Εισαγωγή Η έννοια της ενίσχυσης (boosting) ταξινομητών είναι μια γενική προσέγγιση για τη βελτίωση της απόδοσης ενός ταξινομητή και πρόκειται για μια από τις πιο ισχυρές τεχνικές μηχανικής εκμάθησης, μαζί με τις μηχανές διανυσμάτων υποστήριξης, που προέκυψαν από τη δεκαετία του 1990 και έπειτα. Θεωρητικά, το boosting μπορεί να χρησιμοποιηθεί για να μειωθεί σημαντικά το σφάλμα ενός ασθενούς ταξινομητή (weak classifier), για τον οποίο η μόνη απαίτηση είναι να έχει σταθερό σφάλμα λίγο μικρότερο από την τυχαία πρόγνωση. Υπάρχει λοιπόν μια επαναληπτική διαδικασία, σε κάθε επανάληψη της οποίας χρησιμοποιείται ο ασθενής ταξινομητής ως ταξινομητής βάσης, αλλά εφαρμόζεται σε διαφορετικό υποσύνολο του συνόλου εκπαίδευσης, σύμφωνα με μια κατανομή που υπολογίζεται επαναληπτικά. Σε κάθε γύρο της επανάληψης, η σταθμισμένη κατανομή που υπολογίζεται δίνει έμφαση στα δείγματα που είναι πιο δύσκολα να ταξινομηθούν, επομένως ο ασθενής ταξινομητής αναγκάζεται να παράγει μοντέλα που κάνουν λιγότερα σφάλματα σε αυτά. 43

58 Κεφάλαιο 4 Ο τελικός ταξινομητής προκύπτει ως γραμμικός συνδυασμός των εξόδων των ασθενών ταξινομητών. Αποδεικνύεται ότι για ένα μεγάλο πλήθος επαναλήψεων, το σφάλμα ταξινόμησης του τελικού συνδυασμού των ταξινομητών, στο σύνολο εκπαίδευσης, μπορεί να γίνει αυθαίρετα μικρό. Επομένως, χρησιμοποιώντας έναν ασθενή ταξινομητή ως βάση, είναι εφικτό ένα αρκετά χαμηλό σφάλμα εκπαίδευσης, με κατάλληλη διαχείριση του συνόλου εκπαίδευσης ανάλογα με την απόδοση της ακολουθίας των ήδη σχεδιασμένων ταξινομητών. Μπορούμε λοιπόν να πούμε ότι ο αλγόριθμος προσαρμόζεται ώστε οι επόμενοι ασθενείς ταξινομητές να επικεντρώνονται στα δείγματα που δεν ταξινομήθηκαν σωστά από τους προηγούμενους. Στη συνέχεια αυτού του κεφαλαίου θα ασχοληθούμε με τον αλγόριθμο AdaBoost (adaptive boosting) ο οποίος έχει γίνει ταυτόσημος με την έννοια του boosting. Οι δημιουργοί του Yoav Freund και Robert Schapire, τιμήθηκαν με το βραβείο Goedel το 2003 για αυτή τη δουλειά τους. 4.2 Ο αλγόριθμος AdaBoost Αρχικά παρουσιάζεται ο ψευδοκώδικας του αλγορίθμου AdaBoost στην βασική του μορφή για προβλήματα ταξινόμησης δύο κλάσεων. Δεδομένα: (x 1, y 1 ),, (x m, y m ) όπου x i Χ και y i { 1, 1} Αρχικοποίηση: D 1 (i) = 1/m για κάθε i = 1,, m Για t = 1,, T: 1. Εκπαίδευσε τον ασθενή ταξινομητή χρησιμοποιώντας την κατανομή D t 2. Επέστρεψε την ασθενή υπόθεση h t : Χ { 1, 1} 3. Υπολόγισε το σφάλμα της υπόθεσης h t : 4. Υπολόγισε: m ε t = D t (i)[y i h t (x i )] i=1 a t = 1 2 ln 1 ε t ε t 44

59 Συνδυασμός ταξινομητών μέσω της μεθόδου boosting 5. Ενημέρωσε την κατανομή των βαρών D t για κάθε i = 1,, m: D t+1 (i) = D t(i) exp( a i y i h t (x i )) Z t όπου Z t μια παράμετρος κανονικοποίησης επιλεγμένη ώστε το D t+1 να είναι κατανομή. Επέστρεψε την τελική υπόθεση: H(x) = sign ( a t h t (x)) T Πίνακας 4.1 Ο αλγόριθμος AdaBoost t=1 Ως είσοδο στον αλγόριθμο θεωρούμε ότι έχουμε m δείγματα εκπαίδευσης (x 1, y 1 ), (x 2, y 2 ),, (x m, y m ) όπου τα x i είναι διανύσματα στο χώρο τον χαρακτηριστικών Χ και οι ετικέτες τους παίρνουν τιμές στο σύνολο y i { 1, 1}. Σε κάθε γύρο της επανάληψης t = 1,, T, υπολογίζεται μια κατανομή D t επί των δειγμάτων και ο ασθενής ταξινομητής εκπαιδεύεται στα δεδομένα και στη συνέχεια δοκιμάζεται σε αυτά ώστε να επιστραφεί η αδύναμη υπόθεση h t : Χ { 1, 1} η οποία στην ουσία είναι το αποτέλεσμα της ταξινόμησης των δειγμάτων εκπαίδευσης από τον ασθενή ταξινομητή. Στόχος του ασθενούς ταξινομητή είναι να βρει μια υπόθεση h t με το μικρότερο δυνατό σφάλμα ε t σε σχέση με την κατανομή D t. Η τελική υπόθεση είναι το πρόσημο του γραμμικού συνδυασμού των ασθενών υποθέσεων, δηλαδή: H(x) = sign(f(x)) = sign ( a t h t (x)) T t=1 (4.1) Μπορούμε να πούμε ότι αυτός ο τύπος αποτελεί στην ουσία μια σταθμισμένη πλειοψηφική ψήφο των ασθενών υποθέσεων, κάθε μια από τις οποίες έχει βάρος a t. Παρατηρούμε ότι όσο το σφάλμα του ασθενούς ταξινομητή ελαττώνεται, η τιμή της παραμέτρου a t αυξάνεται. Αυτό σημαίνει ότι οι ταξινομητές με το μικρότερο σφάλμα στο σύνολο εκπαίδευσης έχουν τη μεγαλύτερη βαρύτητα για την διαμόρφωση της τελικής υπόθεσης. Η διαδικασία αυτή παρουσιάζεται σχηματικά στο Σχήμα

60 Κεφάλαιο 4 Η τροποποίηση του συνόλου εκπαίδευσης που αναφέραμε στην προηγούμενη παράγραφο, επιτυγχάνεται μέσω των βαρών D t (i) για κάθε δείγμα εκπαίδευσης. Αρχικά όλα τα βάρη παίρνουν την τιμή D 1 (i) = 1/m ώστε τα δείγματα εκπαίδευσης να έχουν ίδια βαρύτητα και ο ταξινομητής να τα αντιμετωπίζει ισότιμα. Σε κάθε διαδοχική επανάληψη, τα βάρη αλλάζουν και ο ασθενής ταξινομητής εφαρμόζεται στα δεδομένα λαμβάνοντας υπόψη τις νέες τιμές των βαρών. Στο γύρο t τα βάρη των δειγμάτων που ταξινομήθηκαν εσφαλμένα στον γύρο t 1 αυξάνονται ενώ τα βάρη των δειγμάτων που ταξινομήθηκαν σωστά μειώνονται. Έτσι με την πάροδο των επαναλήψεων τα δείγματα που είναι δύσκολο να ταξινομηθούν σωστά αποκτούν όλο και μεγαλύτερη βαρύτητα. Επομένως, με αυτόν τον τρόπο κάθε ασθενής ταξινομητής αναγκάζεται να επικεντρωθεί στα «δύσκολα» δείγματα. Σχήμα 4.1 Σχηματικό διάγραμμα του αλγορίθμου AdaBoost Ο AdaBoost είναι πολύ διαδεδομένος και θεωρείται ως ο καλύτερος offthe-shelf ταξινομητής. Μερικά από τα πολλά πλεονεκτήματά του είναι ότι είναι απλός στην υλοποίηση και γρήγορος από υπολογιστική άποψη, η μοναδική παράμετρος που πρέπει να καθοριστεί είναι ο αριθμός των επαναλήψεων T, δεν απαιτεί εκ των προτέρων γνώση του ασθενούς ταξινομητή και επομένως μπορεί να εφαρμοστεί με οποιοδήποτε αλγόριθμο ταξινόμησης, δεν είναι επιρρεπής σε υπερεκπαίδευση όπως θα αναλύσουμε στη συνέχεια και μπορεί να εντοπίζει 46

61 Συνδυασμός ταξινομητών μέσω της μεθόδου boosting ακραίες τιμές αφού επικεντρώνεται σε δείγματα που ταξινομούνται δυσκολότερα. Από την άλλη πλευρά το βασικότερο μειονέκτημα του AdaBoost είναι ότι είναι ευαίσθητος σε θόρυβο και εξωκείμενες τιμές (outliers). Αυτό συμβαίνει διότι ο αλγόριθμος δίνει βαρύτητα σε δείγματα που ταξινομούνται λάθος και επομένως όταν τα δεδομένα περιέχουν θόρυβο η ακρίβεια του αλγορίθμου δεν είναι καλή. Στο Σχήμα 4.2 παρουσιάζεται ένα παράδειγμα ταξινόμησης ενός μη γραμμικά διαχωρίσιμου προβλήματος με τον αλγόριθμο AdaBoost. Σχήμα 4.2 Παράδειγμα ταξινόμησης με τον αλγόριθμο AdaBoost Το φράγμα του σφάλματος γενίκευσης Διαισθητικά, προκειμένου ένας ταξινομητής να είναι αποδοτικός και ακριβής στις προβλέψεις του πρέπει να τηρεί τρεις συνθήκες: να έχει εκπαιδευτεί σε αρκετά δείγματα εκπαίδευσης, να παρέχει ένα ικανοποιητικό μοντέλο για αυτά τα δείγματα, με την έννοια ότι θέλουμε χαμηλό σφάλμα εκπαίδευσης και τέλος το μοντέλο αυτό να είναι απλό. Η τελευταία συνθήκη, ότι δηλαδή το απλούστερο μοντέλο είναι και το καλύτερο, αναφέρεται συχνά στη βιβλιογραφία ως το ξυράφι του Occam (Occam s razor). (Schapire, 2013) Προκειμένου να κατανοήσουμε τον AdaBoost, χρησιμοποιούμε την ομώνυμη θεωρία που αναπτύχθηκε από τους Vapnik και Chervonenkis, οι οποίοι έθεσαν τα θεμέλια για τη σχεδίαση αποδοτικών αλγορίθμων μηχανικής εκμάθησης. Πιο συγκεκριμένα, καθόρισαν τα άνω όρια του σφάλματος γενίκευσης ενός ταξινομητή, τα οποία μπορούν να διατυπωθούν με βάση τις τρεις 47

62 Κεφάλαιο 4 συνθήκες που αναφέραμε προηγουμένως και ταυτόχρονα παρουσίασαν με μαθηματικούς όρους την έννοια της απλότητας ενός μοντέλου (διάσταση Vapnik-Chervonenkis). (Schapire, 2013) Θεμελιώνοντας τον αλγόριθμο AdaBoost, υποθέσαμε ότι κάθε ασθενής αλγόριθμος μπορεί να ενισχύσει την ακρίβειά του, εφόσον έχει λίγο μικρότερο σφάλμα από την τυχαία πρόγνωση. Ο περιορισμός αυτός, ονομάζεται συνθήκη ασθενούς εκμάθησης (weak learning condition) και μαθηματικά ορίζει ότι το σφάλμα κάθε ασθενούς ταξινομητή πρέπει να είναι μικρότερο από το σφάλμα της τυχαίας πρόγνωσης, το οποίο είναι 1/2 για δυαδικά προβλήματα, πλην μια μικρή θετική ποσότητα, δηλαδή: ε t < 1 γ, γ > 0 (4.2) 2 Η συνθήκη (4.2) αρκεί από μόνη της για να παραχθεί μια τελική υπόθεση με χαμηλό σφάλμα γενίκευσης. Χρησιμοποιώντας αυτήν την συνθήκη αποδεικνύεται ότι το σφάλμα εκπαίδευσης της τελικής υπόθεσης είναι άνω φραγμένο από μια εκθετική συνάρτηση που εξαρτάται από τα σφάλματα των ασθενών υποθέσεων (Schapire, 2013). Στη συνέχεια παρουσιάζεται το θεώρημα που εισήγαγαν οι Freund και Schapire σχετικά με το φράγμα του σφάλματος της τελικής υπόθεσης: Θεώρημα 1 (Freund, και συν., 1996): Έστω ότι έχουμε έναν ασθενή ταξινομητή ο οποίος όταν καλείται από τον AdaBoost, παράγει υποθέσεις με σφάλματα ε 1, ε 2,, ε Τ. Τότε το σφάλμα ε fin της τελικής υπόθεσης H που προκύπτει από τον AdaBoost, είναι άνω φραγμένο από την ποσότητα: T T ε fin 2 T ε t (1 ε t ) 2 exp ( 2 γ t ) t=1 t=1 (4.3) Επίσης, αποδεικνύεται ότι το σφάλμα συγκλίνει στο μηδέν σε O(log m) επαναλήψεις (Schapire, 2013). Έχοντας αποκτήσει ένα άνω φράγμα για το σφάλμα εκπαίδευσης της τελικής υπόθεσης, χρησιμοποιώντας τη θεωρία Vapnik-Chervonenkis σχετικά με τη διάσταση της τελικής υπόθεσης, μπορεί κανείς να εξάγει το φράγμα για το σφάλμα γενίκευσης της τελικής υπόθεσης, δηλαδή για το σφάλμα ταξινόμησης σε όλα τα δεδομένα (Schapire, 2013). 48

63 Συνδυασμός ταξινομητών μέσω της μεθόδου boosting Σε αυτό το σημείο πρέπει να επισημάνουμε ότι με το πέρασμα των επαναλήψεων, το σφάλμα εκπαίδευσης συνεχώς μειώνεται και συγκλίνει στο μηδέν, αλλά η πολυπλοκότητα του συνδυασμένου μοντέλου αυξάνεται γραμμικά (Schapire, 2013). Επομένως, όσο προοδεύουν οι επαναλήψεις μπορεί αρχικά το σφάλμα δοκιμής να μειώνεται αλλά από κάποιο σημείο και μετά θα αρχίσει να αυξάνεται καθώς το μοντέλο έχει γίνει αρκετά πολύπλοκο. Έχει, δηλαδή, υπερεκπαιδευτεί στα δεδομένα εκπαίδευσης. Ο AdaBoost είναι δυνατόν να υποστεί υπερεκπαίδευση αλλά έχει την τάση να αντιστέκεται στο φαινόμενο Η έννοια του περιθωρίου Σε αυτήν την ενότητα θα αναλύσουμε τους λόγους για τους οποίους ο AdaBoost παρουσιάζει ευρωστία απέναντι στο φαινόμενο της υπερεκπαίδευσης. Μέχρι στιγμής στη θεωρία που παρουσιάστηκε, αναφερθήκαμε μόνο στο σφάλμα εκπαίδευσης το οποίο πρακτικά μηδενίζεται μετά από έναν αριθμό επαναλήψεων. Ωστόσο, το σφάλμα εκπαίδευσης παρουσιάζει μόνο την ακρίβεια του ταξινομητή και αποκρύπτει την πληροφορία που έχει να κάνει με το πόσο βέβαιες είναι οι προγνώσεις. Στο (Schapire, και συν., 1998), διαπιστώθηκε ότι ο λόγος που το σφάλμα δοκιμής του AdaBoost συνεχίζει να μειώνεται παρόλο που το σφάλμα εκπαίδευσης έχει γίνει μηδέν, είναι ότι η βεβαιότητα (confidence) των προγνώσεων αυξάνεται συνεχώς με το πέρασμα των επαναλήψεων. Για αυτό το λόγο εισήγαγαν την έννοια του περιθωρίου. Το περιθώριο ενός δείγματος εκπαίδευσης x με ετικέτα y ορίζεται ως εξής (Theodoridis, και συν., 2009): margin (x,y) = yf(x) T t=1 a t = y T t=1 a th t (x) T t=1 a t (4.4) Το περιθώριο παίρνει τιμές στο διάστημα [-1,1] και είναι θετικό όταν η πρόγνωση του συνδυασμού των ταξινομητών είναι σωστή και αρνητικό όταν είναι λάθος. Καθώς η τελική υπόθεση είναι μια σταθμισμένη ψήφος των ασθενών ταξινομητών, το περιθώριο ορίζεται ως η διαφορά των ταξινομητών που έχουν σωστή πρόγνωση με τους ταξινομητές που έχουν λάθος πρόγνωση. Όταν το περιθώριο έχει τιμή κοντά στο 0, αυτό σημαίνει ότι η πρόγνωση για το συγκεκριμένο δείγμα δεν είναι αξιόπιστη. Αν όμως η τιμή του περιθωρίου είναι κοντά στο 1, αυτό σημαίνει ότι οι περισσότεροι ασθενείς ταξινομητές «ψήφισαν» για τη συγκεκριμένη πρόγνωση, άρα μπορούμε να είμαστε σίγουροι ότι είναι 49

64 Κεφάλαιο 4 σωστή. Επομένως το περιθώριο αποτελεί ένα καλό μέτρο της βεβαιότητας των προγνώσεων. Έχει διαπιστωθεί ότι περαιτέρω μείωση του σφάλματος δοκιμής από το σημείο που μηδενίζεται το σφάλμα εκπαίδευσης είναι άμεσα συσχετισμένη με την επιθετική αύξηση του περιθωρίου των δειγμάτων που έχουν χαμηλό ή αρνητικό περιθώριο (Schapire, 2013). Αυτό συμβαίνει διότι ο AdaBoost επικεντρώνεται σε δείγματα τα οποία οι ασθενείς ταξινομητές συχνά ταξινομούν εσφαλμένα, άρα έχουν και μικρό περιθώριο. Επομένως, ο AdaBoost τείνει να αυξάνει τα περιθώρια όλων των δειγμάτων εκπαίδευσης και, κατ επέκταση, όσο υψηλότερη είναι η ακρίβεια των ασθενών υποθέσεων τόσο μεγαλύτερα θα είναι τα περιθώρια (Schapire, 2013). Στο σημείο αυτό, αφού είδαμε ότι τα περιθώρια σχετίζονται με την βελτίωση του σφάλματος γενίκευσης, μπορούμε να εξάγουμε ένα άνω φράγμα για το σφάλμα γενίκευσης το οποίο βασίζεται μόνο στα περιθώρια των δειγμάτων εκπαίδευσης και είναι ανεξάρτητο από τον αριθμό των επαναλήψεων (Schapire, 2013). Το φράγμα αυτό εξασφαλίζει ότι ο AdaBoost δεν θα υποστεί υπερεκπαίδευση, όσο μεγάλος κι αν είναι ο αριθμός των επαναλήψεων, εφόσον τηρούνται οι ακόλουθες δύο συνθήκες: οι ασθενείς ταξινομητές να έχουν σφάλμα λίγο μικρότερο της τυχαίας πρόγνωσης και το σετ εκπαίδευσης να είναι μεγάλο σε σχέση με την πολυπλοκότητα των ασθενών μοντέλων ώστε να έχουμε μεγάλες τιμές στα περιθώρια (Schapire, 2013). Στη συνέχεια παρουσιάζουμε το θεώρημα που θέτει το άνω φράγμα του σφάλματος γενίκευσης σε σχέση με τα περιθώρια των δειγμάτων εκπαίδευσης. Θεώρημα 2 (Schapire, και συν., 1998): Έστω D μια κατανομή στον χώρο X { 1,1} και S ένα σύνολο m δειγμάτων που λήφθηκαν τυχαία από το D. Υποθέτουμε ότι ο χώρος των ταξινομητών βάσης H είναι πεπερασμένος και έστω δ > 0. Τότε, με πιθανότητα τουλάχιστον 1 δ πάνω στα τυχαία δείγματα του συνόλου S, κάθε συνάρτηση f C 2 ικανοποιεί το ακόλουθο φράγμα για κάθε θ > 0: 2 Ορίζουμε ως κυρτό σώμα C του χώρου H, το σύνολο των απεικονίσεων που προκύπτουν ως ένας σταθμισμένος μέσος όρος των ταξινομητών του H, δηλαδή: 50 C {f: x a h h(x) a h 0; a h = 1} h H h

65 Συνδυασμός ταξινομητών μέσω της μεθόδου boosting P D [yf(x) 0] P S [yf(x) θ] + O ( 1 m log H (log m θ 2 + log 1 δ ) 1 2 ) (4.5) Ο αλγόριθμος AdaBoost ως πρόβλημα ελαχιστοποίησης Σε αυτήν την ενότητα θα παρουσιάσουμε την προσέγγιση των Friedman, Hastie και Tibshirani (Hastie, και συν., 2008), που απέδειξαν ότι ο AdaBoost μπορεί να χρησιμοποιηθεί για την ελαχιστοποίηση της εκθετικής συνάρτησης κόστους. Αρκετοί αλγόριθμοι μηχανικής εκμάθησης, προκύπτουν από προβλήματα ελαχιστοποίησης μιας συνάρτησης κόστους. Συνήθως, η συνάρτηση αυτή επιλέγεται ώστε να είναι ένα ικανοποιητικό μέτρο του διαχωρισμού των δεδομένων. Είδαμε για παράδειγμα στο κεφάλαιο 3, ότι οι μηχανές διανυσμάτων υποστήριξης ελαχιστοποιούν μια τετραγωνική συνάρτηση που είναι αντιστρόφως ανάλογη με το πλάτος της ζώνης διαχωρισμού μεταξύ των κλάσεων. Αποδείχτηκε λοιπόν ότι και ο AdaBoost ελαχιστοποιεί μια τέτοια συνάρτηση κόστους, αν και αρχικά δεν είχε σχεδιαστεί για αυτό το σκοπό. Η συνάρτηση κόστους που ελαχιστοποιεί ο AdaBoost, είναι η λεγόμενη εκθετική συνάρτηση απωλειών (exponential loss): m 1 m exp( y if(x i )) i=1 (4.6) όπου το F(x i ) ορίζεται όπως στην εξίσωση (4.1). Επιλέγουμε τη συγκεκριμένη συνάρτηση κόστους διότι είναι αρκετά διαδεδομένη για προβλήματα μηχανικής εκμάθησης. Συνήθως ο στόχος ελαχιστοποίησης του σφάλματος ταξινόμησης απαιτεί τη βελτιστοποίηση ενός προβλήματος που δεν είναι συνεχές, διαφορίσιμο ή εύκολα ελαχιστοποιήσιμο αλλά μπορεί να προσεγγιστεί με μια ομαλή και κυρτή αντικειμενική συνάρτηση όπως είναι η εκθετική συνάρτηση απωλειών (Schapire, 2013). Επίσης παρατηρώντας την εξίσωση (4.4), συμπεραίνουμε ότι σχετίζεται άμεσα με το περιθώριο και παίρνει μεγάλες τιμές για δείγματα που ταξινομούνται λάθος και μικρότερες για δείγματα που ταξινομούνται σωστά (Theodoridis, και συν., 2009). Επομένως η ελαχιστοποίησή της οδηγεί σε τελική υπόθεση με μικρότερο σφάλμα. 51

66 Κεφάλαιο 4 Στη συνέχεια θα αποδείξουμε ότι οι παράμετροι a t και h t που επιλέγει σε κάθε επανάληψη ο AdaBoost είναι οι ίδιοι που επιλέγονται για την ελαχιστοποίηση της συνάρτησης κόστους (4.6). Επιλύουμε το πρόβλημα σταδιακά, δημιουργώντας σε κάθε βήμα ένα νέο μοντέλο και η βελτιστοποίηση γίνεται ως προς αυτό το μοντέλο, το οποίο έπειτα προστίθεται στο συνδυασμό των μοντέλων των προηγούμενων βημάτων. Έχουμε την εξής αναδρομή: F t (x) = F t 1 (x) + a t h t (x) (4.7) Αντικαθιστώντας την εξίσωση (4.7), στην (4.6) προκύπτει το ακόλουθο πρόβλημα βελτιστοποίησης: m (a t, h t ) = arg min exp ( y i (F t 1 (x i ) + a t h t (x i ))) a t,h t i=1 (4.8) Η εξίσωση (4.8) ισοδυναμεί με την παρακάτω μορφή: m (a t, h t ) = arg min w t i exp( y i a t h t (x i )) a t,h t i=1 όπου w i t : w i t = exp( y i F t 1 (x i )) (4.10) Η λύση του προβλήματος (4.9) ως προς την παράμετρο h t δίνεται από την εξίσωση: (4.9) m h t = arg min w t i I(y i h t (x i )) h t i=1 (4.11) όπου I( ) η συνάρτηση που επιστρέφει 0 ή 1 ανάλογα με το αν το όρισμά της είναι ψευδές ή αληθές, αντίστοιχα. Αντικαθιστώντας την λύση (4.11) στο πρόβλημα (4.9) και επιλύοντας για a t μετά από μερικές πράξεις προκύπτει ότι η βέλτιστη τιμή για το a t είναι : a t = 1 2 ln 1 ε t ε t (4.12) όπου ε t : ε t = m i=1 w i t I(y i h t (x i )) m t i=1 w i (4.13) 52

67 Συνδυασμός ταξινομητών μέσω της μεθόδου boosting Έτσι το μοντέλο της επόμενης επανάληψης προκύπτει από τη σχέση (4.7) και τα βάρη w i t+1 έχουν την εξής ανανεωμένη τιμή: w i t+1 = w i t exp( a i y i h t (x i )) (4.14) Από τις σχέσεις (4.11) έως (4.14) παρατηρούμε ότι η τιμή της παραμέτρου a t, του σφάλματος ε t, των βαρών w i t και της συνάρτησης h t βρίσκονται σε πλήρη αντιστοιχία με τις τιμές που ορίζονται στον αλγόριθμο του AdaBoost. Το συμπέρασμα αυτό οδήγησε στη γενίκευση του AdaBoost ώστε να εφαρμοστεί σε πληθώρα προβλημάτων μηχανικής εκμάθησης όπως για παράδειγμα σε εφαρμογές παλινδρόμησης. Σε αυτό το σημείο θα ήταν εύλογο να αναρωτηθεί κάποιος εάν η καλή απόδοση του AdaBoost οφείλεται αποκλειστικά στο ότι ελαχιστοποιεί την εκθετική συνάρτηση κόστους. Αν αυτό ίσχυε, θα μπορούσε να βρεθεί κάποιος αλγόριθμος που ελαχιστοποιεί την συνάρτηση (4.6) πιο επιθετικά από ότι ο AdaBoost με αποτέλεσμα να παραχθούν καλύτερα αποτελέσματα. Ωστόσο, πρέπει να επισημάνουμε ότι η ακρίβεια ταξινόμησης δεν είναι άμεση συνέπεια της ελαχιστοποίησης της εκθετικής συνάρτησης. Για παράδειγμα είναι δυνατόν ένας αλγόριθμος να ελαχιστοποιεί την εκθετική συνάρτηση αλλά να έχει μεγαλύτερο σφάλμα ταξινόμησης από τον AdaBoost. Το επιχείρημα αυτό ερευνήθηκε στο (Schapire, 2013) και διαπιστώθηκε ότι πράγματι η απόδοση του AdaBoost δεν μπορεί να αποδοθεί εξ ολοκλήρου στην ελαχιστοποίηση της συνάρτησης κόστους. 4.3 Επέκταση του AdaBoost για προβλήματα πολλών κλάσεων Ο αλγόριθμος AdaBoost, όπως παρουσιάστηκε στην αρχική του μορφή ήταν σχεδιασμένος για προβλήματα ταξινόμησης δύο κλάσεων. Ωστόσο οι περισσότερες εφαρμογές στην πραγματικότητα περιλαμβάνουν περισσότερες από δύο κλάσεις και για αυτό ήταν αναγκαίο να γίνει επέκταση του αλγορίθμου ώστε να μπορεί να χρησιμοποιείται σε προβλήματα πολλών κλάσεων. Μια στρατηγική που θα μπορούσε να υλοποιηθεί είναι η αποσύνθεση του προβλήματος σε πολλά δυαδικά και η ξεχωριστή αντιμετώπιση κάθε δυαδικού με τη χρήση της μεθόδου κωδικοποίησης διόρθωσης σφαλμάτων (Dietterich, και συν., 1995). 53

68 Κεφάλαιο 4 Μια άλλη στρατηγική περιλαμβάνει την κατάλληλη τροποποίηση του αλγορίθμου ώστε να αντιμετωπίζει απευθείας προβλήματα πολλών κλάσεων. Έτσι, παρουσιάστηκαν από τους Schapire και Freund δύο δημοφιλείς επεκτάσεις του AdaBoost για προβλήματα πολλών κλάσεων, ο AdaBoost.M1 και ο AdaBoost.M2 (Freund, και συν., 1996). Η διαφορά των δύο αλγορίθμων έγκειται στο ότι ο AdaBoost.M2 έχει πιο χαλαρή απαίτηση για το σφάλμα της ασθενούς υπόθεσης και επομένως έχει μεγαλύτερο εύρος σχετικά με την επιλογή του ταξινομητή βάσης. Ωστόσο, επειδή στην παρούσα εργασία θα χρησιμοποιήσουμε μηχανές διανυσμάτων υποστήριξης ως ταξινομητές βάσης, οι οποίες από τη φύση τους είναι ισχυρές τεχνικές ταξινόμησης και ικανοποιούν την απαίτηση του AdaBoost.M1, αλλά και επειδή ο AdaBoost.M1 είναι ευκολότερος στην υλοποίηση στη συνέχεια θα ασχοληθούμε μόνο με αυτήν την επέκταση. Ακολουθεί ο ψευδοκώδικας του αλγορίθμου AdaBoost.M1: Δεδομένα: (x 1, y 1 ),, (x m, y m ) όπου x i Χ και y i Y = {1,, k} Αρχικοποίηση: D 1 (i) = 1/m για κάθε i = 1,, m Για t = 1,, T: 1. Εκπαίδευσε τον ασθενή ταξινομητή χρησιμοποιώντας την κατανομή D t 2. Επέστρεψε την ασθενή υπόθεση h t : Χ Y 3. Υπολόγισε το σφάλμα της υπόθεσης h t : ε t = D t (i) i:h t (x i ) y i 4. Αν ε t > 1/2 τότε θέσε T = t 1 και τερμάτισε την επανάληψη 5. Υπολόγισε:β t = ε t 1 ε t 6. Ενημέρωσε την κατανομή των βαρών D t για κάθε i = 1,, m: D t+1 (i) = D t(i) Z t Επέστρεψε την τελική υπόθεση: h fin (x) = arg max y Y Πίνακας 4.2 Ο αλγόριθμος AdaBoost.M1 { β t αν h t (x i ) = y i 1 αλλιώς t:h t (x)=y log 1 β t 54

69 Συνδυασμός ταξινομητών μέσω της μεθόδου boosting Παρατηρούμε ότι η λογική του αλγορίθμου είναι η ίδια με την περίπτωση δύο κλάσεων. Σε αυτήν την περίπτωση έχουμε έναν ασθενή ταξινομητή πολλών κλάσεων που επιστρέφει μια υπόθεση ώστε να ελαχιστοποιείται το σφάλμα σε σχέση με την κατανομή των βαρών. Τα βάρη που λαμβάνονται υπόψη στο άθροισμα του σφάλματος είναι τα βάρη των δειγμάτων που ταξινομήθηκαν εσφαλμένα. Μία διαφορά μεταξύ των δύο αλγορίθμων έγκειται στο ότι ο AdaBoost μειώνει τα βάρη των δειγμάτων που είναι σωστά ταξινομημένα και αυξάνει αυτά των λάθος ταξινομημένων, ενώ ο AdaBoost.M1 απλά μειώνει τα βάρη των σωστά ταξινομημένων δειγμάτων. Μια ακόμα διαφορά των δύο αλγορίθμων είναι ότι ο AdaBoost.M1 επιστρέφει ως έξοδο την ετικέτα κλάσης του δείγματος για την οποία μεγιστοποιείται το άθροισμα των βαρών των ασθενών υποθέσεων που προβλέπουν αυτήν την ετικέτα. Και σε αυτήν την περίπτωση όμως μεγαλύτερη βαρύτητα έχουν οι ασθενείς ταξινομητές με το μικρότερο σφάλμα. Οι παράμετροι a t και β t συνδέονται με τη σχέση: a t = log 1/β t. Το βασικό πρόβλημα αυτής της επέκτασης είναι ότι δεν μπορεί να χρησιμοποιηθεί όταν οι ασθενείς υποθέσεις έχουν σφάλμα μεγαλύτερο από ½. Το αναμενόμενο σφάλμα μιας τυχαίας πρόγνωσης είναι 1 1/k όπου k ο αριθμός των ετικετών. Όταν έχουμε δύο κλάσεις η απαίτηση του AdaBoost.M1 είναι το σφάλμα να είναι λίγο καλύτερο από την τυχαία πρόγνωση. Ωστόσο για περισσότερες από δύο κλάσεις η απαίτηση αυτή είναι πιο περιοριστική και δεν είναι πάντα δυνατόν να ικανοποιηθεί. (Freund, και συν., 1996) Αποδεικνύεται (Freund, και συν., 1996)ότι ισχύει το παρακάτω θεώρημα για το φράγμα του σφάλματος εκπαίδευσης: Θεώρημα 3 (Freund, και συν., 1996): Έστω ότι έχουμε έναν ασθενή ταξινομητή ο οποίος όταν καλείται από τον AdaBoost.M1, παράγει υποθέσεις με σφάλματα ε 1, ε 2,, ε Τ. Υποθέτουμε ότι κάθε ε t 1/2. Τότε το σφάλμα ε fin της τελικής υπόθεσης h fin που προκύπτει από τον AdaBoost, είναι άνω φραγμένο από την ποσότητα: T T ε fin 2 T ε t (1 ε t ) 2 exp ( 2 γ t ) t=1 t=1 (4.15) 55

70 Κεφάλαιο 4 Η μέθοδος boosting στην οποία χρησιμοποιείται μια κατανομή από βάρη για κάθε πρότυπο ονομάζεται ενίσχυση μέσω νέας στάθμισης (boosting by reweighting). Υπάρχουν όμως περιπτώσεις όπου ο ασθενής ταξινομητής δεν είναι σχεδιασμένος να δέχεται ως είσοδο την κατανομή των βαρών D t. Σε αυτήν την περίπτωση αντί να δώσουμε ως είσοδο στον ταξινομητή τα βάρη των δειγμάτων, πραγματοποιούμε μια νέα δειγματοληψία του συνόλου των δεδομένων εκπαίδευσης ώστε να αντανακλώνται τα βάρη. Το νέο σετ εκπαίδευσης έχει το ίδιο μέγεθος με το παλιό ωστόσο η δειγματοληψία γίνεται από το αρχικό σετ με τέτοιο τρόπο ώστε η πιθανότητα να επιλεγεί κάθε δείγμα είναι ανάλογη με το βάρος του. Η μέθοδος αυτή ονομάζεται ενίσχυση μέσω νέας δειγματοληψίας (boosting by resampling). (Seiffert, και συν., 2008). Σε αυτό το σημείο να αναφέρουμε ότι υπάρχουν πολλές παραλλαγές του AdaBoost ανάλογα με την εφαρμογή που χρησιμοποιούνται, την συνάρτηση κόστους που ελαχιστοποιούν ή τέλος τον τρόπο που ανανεώνονται τα βάρη, όπως ο AdaBoost.R που χρησιμοποιείται για προβλήματα παλινδρόμησης, ο Real AdaBoost, ο LogitBoost, ο Gentle AdaBoost και ο BrownBoost. 4.4 Boosting και μηχανές διανυσμάτων υποστήριξης Στην ανάλυση που κάναμε ως εδώ, υποθέσαμε ότι μπορεί να χρησιμοποιηθεί οποιοσδήποτε αλγόριθμος ταξινόμησης ως ταξινομητής βάσης αρκεί να τηρείται η απαίτηση για το σφάλμα των ασθενών υποθέσεων. Έτσι είναι εύλογο να προτείνει κάποιος τη χρήση μηχανών διανυσμάτων υποστήριξης ως ταξινομητή βάση, ώστε η υψηλή ακρίβειά τους να ενισχυθεί ακόμα περισσότερο μέσω του αλγορίθμου AdaBoost. Παρόλα αυτά, έχει διαπιστωθεί ότι η χρήση ενός ισχυρού ταξινομητή όπως είναι οι μηχανές διανυσμάτων υποστήριξης, ως ταξινομητή βάσης δεν επιφέρει μεγάλη βελτίωση στα αποτελέσματα της ταξινόμησης. Μάλιστα έχει παρατηρηθεί ότι η απόδοση του συνδυασμού των ταξινομητών μειώνεται όσο αυξάνεται ο αριθμός των επαναλήψεων (Garcia, και συν., 2007). Επομένως, προκειμένου να συνδυαστούν αρμονικά αυτοί οι δύο αλγόριθμοι, χρειάζεται να γίνει μια εξασθένιση των μηχανών διανυσμάτων υποστήριξης που θα χρησιμοποιηθούν ως ταξινομητές βάσης. Στην παράγραφο αυτή θα παρουσιάσουμε δύο μεθόδους που έχουν προταθεί στη βιβλιογραφία για αυτό το σκοπό. Η πρώτη προσέγγιση είναι αυτή που παρουσιάστηκε στο (Garcia, και συν., 2007). Επιτυγχάνουν εξασθένηση του μοντέλου του SVM με το να διαλέγουν 56

71 Συνδυασμός ταξινομητών μέσω της μεθόδου boosting ένα υποσύνολο του συνόλου εκπαίδευσης για την εκπαίδευση του SVM. Η μέθοδος αυτή λειτουργεί χωρίς πρόβλημα εφόσον το σφάλμα εκπαίδευσης σε ολόκληρο το σύνολο παραμένει μικρότερο από 1/2. Πιο συγκεκριμένα, διαγράφουν από το αρχικό σύνολο δεδομένων εκπαίδευσης τα δείγματα που είναι τα λιγότερο αντιπροσωπευτικά, δηλαδή αυτά που έχουν το χαμηλότερο βάρος. Έτσι, το νέο σύνολο εκπαίδευσης J S ορίζεται από τη σχέση 1 μ όπου μ το ποσοστό των δειγμάτων που δεν περιλαμβάνονται j J D j στο νέο σύνολο και J το σύνολο με το μικρότερο αριθμό στοιχείων. Έχοντας επιλέξει το υποσύνολο εκπαίδευσης και την κατανομή των βαρών που αντιστοιχεί σε αυτό, εκπαιδεύεται ένα μοντέλο SVM με βάση αυτό το υποσύνολο. Μπορούμε να χρησιμοποιήσουμε τον εξασθενημένο SVM ως ταξινομητή βάσης στον AdaBoost. Πειραματικά διαπιστώθηκε ότι η απόδοση αυτής της μεθόδου για το συνδυασμό boosting + SVM είναι συγκρίσιμη με αυτή του απλού SVM. Ωστόσο η μέθοδος πλεονεκτεί στο ότι το τελικό μοντέλο είναι πιο απλό και ο χρόνος εκπαίδευσης είναι μικρότερος επειδή χρησιμοποιούνται λιγότερα δεδομένα εκπαίδευσης. (Garcia, και συν., 2007) Η δεύτερη προσέγγιση προτάθηκε στο (Li, και συν., 2005). Χρησιμοποιεί αποκλειστικά SVM με πυρήνα ακτινωτής βάσης (RBF) και εκτός από την εξασθένηση του SVM έχει τα πλεονεκτήματα της αυτοματοποιημένης επιλογής της παραμέτρου του πυρήνα και παρουσιάζει καλύτερη απόδοση γενίκευσης. Επίσης παρέχει έναν τρόπο τερματισμού του AdaBoost ώστε να αποφεύγεται η υπερεκπαίδευση. Όπως αναφέρθηκε στο Kεφάλαιο 3, οι SVM με πυρήνα RBF απαιτούν τον προσδιορισμό των τιμών των παραμέτρων C του SVM και σ του πυρήνα. Αυτές οι δύο παράμετροι είναι κρίσιμες για τη διαμόρφωση του τελικού μοντέλου. Παρόλο που η απόδοση του SVM δεν είναι ικανοποιητική όταν χρησιμοποιείται μικρή τιμή για το C, έχει διαπιστωθεί πειραματικά ότι όταν το C παίρνει τιμές σε ένα διάστημα σχετικά κοντά στην ιδανική τιμή, τότε η απόδοση του SVM εξαρτάται κυρίως από την τιμή του σ (Li, και συν., 2005). Επομένως, θέτοντας την παράμετρο C σε μια σταθερή τιμή, μπορούμε να καθορίσουμε την απόδοση του SVM ρυθμίζοντας μόνο την παράμετρο σ του πυρήνα. Το πρόβλημα που τίθεται επομένως είναι το πώς θα εντοπίσουμε την κατάλληλη τιμή για το σ. Μία λύση θα ήταν να χρησιμοποιηθεί σε όλες τις 57

72 58 Κεφάλαιο 4 επαναλήψεις ένα σταθερό προεπιλεγμένο σ το οποίο έχει προκύψει μέσω crossvalidation προτού αρχίσει η διαδικασία του AdaBoost. Ωστόσο αυτή η επιλογή μπορεί να οδηγήσει σε πολύ ισχυρούς ή πολύ ασθενείς SVMs και έτσι το boosting είτε δεν μπορεί να εφαρμοστεί είτε δεν προσφέρει καμία ουσιαστική βελτίωση. Μια άλλη λύση, είναι να προσδιοριστεί η ιδανική τιμή για το σ κάνοντας cross-validation σε κάθε επανάληψη. Το μειονέκτημα αυτής της μεθόδου είναι ότι το υπολογιστικό κόστος είναι μεγάλο. Ο αλγόριθμος που προτείνουν οι Li et al., δεν χρησιμοποιεί σταθερή τιμή για το σ αλλά ορίζει ένα διάστημα που κινείται η τιμή, η οποία προσαρμόζεται με το πέρασμα των επαναλήψεων. Ο AdaBoostSVM, ξεκινάει ορίζοντας μια μεγάλη τιμή για το σ, η οποία αντιστοιχεί σε ασθενή SVM καθώς οι γκαουσιανές συναρτήσεις που δημιουργούνται στα πρότυπα έχουν μεγάλη ακτίνα. Η τιμή αυτή χρησιμοποιείται για τους SVM, για όσες επαναλήψεις είναι δυνατόν, δηλαδή μέχρι το σφάλμα κάποιου να γίνει μεγαλύτερο από 1/2. Όταν αυτό συμβεί, η τιμή του σ μειώνεται έτσι ώστε να προκύψει πιο ισχυρός SVM. Η διαδικασία αυτή επαναλαμβάνεται μέχρι το σ να ξεπεράσει την τιμή που έχει καθοριστεί ως κατώτατο όριο στην αρχή του αλγορίθμου. Με αυτήν την τεχνική, δημιουργείται ένα σύνολο από μέτρια ακριβείς SVM οι οποίοι πιθανώς έχουν ασυσχέτιστα σφάλματα ταξινόμησης και επομένως είναι κατάλληλοι για boosting. Στη συνέχεια παρουσιάζεται ο ψευδοκώδικας του αλγορίθμου AdaBoostSVM. Δεδομένα: (x 1, y 1 ),, (x m, y m ) όπου x i Χ και y i { 1, 1} Η αρχική τιμή του σ, σ ini, η τελική σ min και το βήμα μείωσης σ step Αρχικοποίηση: D 1 (i) = 1/m για κάθε i = 1,, m και σ = σ ini Όσο σ > σ min επανάλαβε: 1. Εκπαίδευσε τον ασθενή SVM χρησιμοποιώντας την κατανομή D t 2. Επέστρεψε την ασθενή υπόθεση h t : Χ { 1, 1} 3. Υπολόγισε το σφάλμα της υπόθεσης h t : m ε t = D t (i)[y i h t (x i )] i=1 4. Αν ε t > 1/2 θέσε σ = σ σ step και πήγαινε στο βήμα 1 5. Υπολόγισε: a t = 1 2 ln 1 ε t ε t 6. Ενημέρωσε την κατανομή των βαρών D t για κάθε i = 1,, m:

73 Συνδυασμός ταξινομητών μέσω της μεθόδου boosting D t+1 (i) = D t(i) exp( a i y i h t (x i )) Z t όπου Z t μια παράμετρος κανονικοποίησης επιλεγμένη ώστε το D t+1 να είναι κατανομή. Επέστρεψε την τελική υπόθεση: H(x) = sign ( a t h t (x)) Πίνακας 4.3 Ο αλγόριθμος AdaBoostSVM Ο αλγόριθμος AdaBoostSVM εκτός από μια μέθοδο για το συνδυασμό μηχανών διανυσμάτων υποστήριξης με τον AdaBoost, έχει το πλεονέκτημα ότι δεν χρειάζεται ακριβή προσδιορισμό της τιμής του σ. Αρκεί να δοθεί μόνο ένα διάστημα στο οποίο κινείται η τιμή. Επίσης, με τον καθορισμό της ελάχιστης τιμής για το σ, που πρέπει να είναι μια τιμή για την οποία ο SVM που προκύπτει δεν θα υπερεκπαιδεύεται, παρέχεται ένας τρόπος τερματισμού των επαναλήψεων του AdaBoost, το οποίο μέχρι σήμερα παραμένει ανοιχτό θέμα. T t=1 Σε ότι έχει να κάνει με τις αρχικές τιμές των παραμέτρων C, σ step, σ ini, σ min οι συγγραφείς προτείνουν να ακολουθείται η εξής διαδικασία: Το σ min προκύπτει ως η μέση ελάχιστη απόσταση μεταξύ των δειγμάτων και το σ ini παίρνει τιμή 10 με 15 φορές μεγαλύτερη από το σ min. Η τιμή του σ step που σχετίζεται με τον αριθμό των επαναλήψεων, διαπιστώνεται πειραματικά ότι έχει αμελητέα επιρροή στο τελικό αποτέλεσμα και επομένως δεν μας απασχολεί ιδιαίτερα η τιμή της. Τέλος η τιμή για το C μπορεί να προκύψει από cross-validation σε έναν απλό SVM πριν την έναρξη της επαναληπτικής διαδικασίας και παραμένει σταθερή κατά τη διάρκειά της. Πειραματικά, διαπιστώθηκε ότι ο AdaBoostSVM έχει καλύτερη απόδοση από τον AdaBoost με νευρωνικά δίκτυα ως ασθενείς ταξινομητές, και συγκρίσιμη απόδοση με τον απλό SVM. Επίσης ο συγκεκριμένος αλγόριθμος επιτυγχάνει καλύτερη απόδοση από τον SVM όταν έχουμε προβλήματα με μη ισορροπημένα δεδομένα. (Li, και συν., 2005) Παρατηρούμε ότι ο ψευδοκώδικας του AdaBoostSVM όπως παρουσιάστηκε από τους συγγραφείς (Πίνακας 4.3) είναι για προβλήματα δύο κλάσεων. Επειδή όμως στην παρούσα εργασία ασχολούμαστε με ταξινόμηση υπερφασματικών απεικονίσεων, δηλαδή με προβλήματα πολλών κλάσεων 59

74 Κεφάλαιο 4 απαιτείται η επέκταση του αλγορίθμου ώστε να μπορούν να αντιμετωπιστούν τέτοια προβλήματα. Προκειμένου αυτό να γίνει εφικτό ο αλγόριθμος επεκτείνεται στην βάση του AdaBoost.M1, δηλαδή το μόνο που αλλάζει ουσιαστικά είναι ότι οι ασθενείς υποθέσεις ορίζονται πλέον ως απεικονίσεις h t : Χ Y, τα βάρη ορίζονται μέσω της σχέσης β t = ε t και η τελική υπόθεση 1 ε t προκύπτει ως h fin (x) = arg max log 1 t:h t (x)=y. Επίσης λόγω του ότι η β t βιβλιοθήκη LIBSVM χρησιμοποιεί ως παράμετρο του RBF πυρήνα την y Y ισοδύναμη παράμερο γ = 1 σ 2 προσαρμόζουμε τον αλγόριθμο ανάλογα και όπου σ min έχουμε πλέον γ max και σε κάθε επανάληψη αυξάνεται η τιμή του γ. 60

75 Κεφάλαιο 5 Ο αλγόριθμος SpatialBoost Στο κεφάλαιο αυτό θα παρουσιάσουμε τον αλγόριθμο SpatialBoost. Αρχικά θα γίνει μια σύντομη εισαγωγή στην έννοια της ταξινόμησης με βάση τη χωρική πληροφορία και θα παρουσιαστούν ορισμένες διαφορετικές προσεγγίσεις που υπάρχουν στη βιβλιογραφία. Στη συνέχεια θα παρουσιαστεί ο αλγόριθμος SpatialBoost στην αρχική του μορφή στην οποία εισήχθηκε. Τέλος θα παρουσιάσουμε και θα αναλύσουμε τον αλγόριθμο SpatialBoost μαζί με τις τροποποιήσεις που προτείνουμε ώστε να χειρίζεται ικανοποιητικά προβλήματα ταξινόμησης υπερφασματικών απεικονίσεων. 5.1 Εισαγωγή Οι τεχνικές που αναλύσαμε στα προηγούμενα κεφάλαια αφορούν την περίπτωση της ταξινόμησης με βάση τα εικονοστοιχεία και εξ ορισμού επεξεργάζονται τα δεδομένα μόνο στον χώρο των φασματικών χαρακτηριστικών, δηλαδή ως είσοδος στον εκάστοτε ταξινομητή δίνεται η φασματική υπογραφή του κάθε εικονοστοιχείου. Σε απλές εφαρμογές όπου δεν υπάρχει χωρική συσχέτιση μεταξύ των δεδομένων, η ταξινόμηση αποκλειστικά βάσει των χαρακτηριστικών τους δίνει ικανοποιητικό αποτέλεσμα και δεν απαιτείται η εξαγωγή περαιτέρω πληροφορίας για την βελτίωση των αποτελεσμάτων. Ωστόσο σε εφαρμογές ταξινόμησης υπερφασματικών δεδομένων, πολλές φορές αντιμετωπίζουμε προβλήματα ταυτόσημων υπογραφών κλάσεων που δεν είναι διαχωρίσιμες μόνο μέσω της φασματικής πληροφορίας, αλλά και προβλήματα που σχετίζονται με το θόρυβο και οδηγούν σε εξωκείμενες τιμές. Διαισθητικά, αντιλαμβανόμαστε ότι η ενσωμάτωση με κάποιο τρόπο της πληροφορίας για την κλάση των γειτονικών εικονοστοιχείων μπορεί να αποφέρει σημαντική βελτίωση στην ακρίβεια ταξινόμησης. Για παράδειγμα, έστω ότι λόγω 61

76 62 Κεφάλαιο 5 θορύβου αλλοιώνεται η φασματική υπογραφή κάποιου εικονοστοιχείου με αποτέλεσμα ο ταξινομητής που βασίζεται στη φασματική πληροφορία να το ταξινομεί σε λάθος κλάση. Χρησιμοποιώντας τις εκτιμώμενες ετικέτες για τις κλάσεις των γειτονικών εικονοστοιχείων, τα οποία δεν έχουν προσβληθεί από θόρυβο και έχουν καθαρή φασματική υπογραφή με αποτέλεσμα να ταξινομούνται σωστά, μπορούμε να διορθώσουμε την εκτίμηση για το αρχικά λάθος ταξινομημένο εικονοστοιχείο. Το αντικείμενο της φασματικής και χωρικής ταξινόμησης (spectral-spatial classification) υπερφασματικών απεικονίσεων είναι αρκετά σύγχρονο και δημοφιλές διότι έχει διαπιστωθεί ότι τα συστήματα που βασίζονται σε αυτή τη μέθοδο είναι πιο αποτελεσματικά και εύρωστα από ότι αυτά που αξιοποιούν μόνο τη φασματική πληροφορία. Στη βιβλιογραφία έχουν προταθεί αρκετές τεχνικές φασματικής και χωρικής ταξινόμησης και στη συνέχεια θα αναφερθούμε σε ορισμένες από αυτές ώστε να μπορεί ο αναγνώστης να αποκτήσει μια γενική εικόνα του πεδίου. Οι (Tarabalka, και συν., 2009) συστήνουν μια μέθοδο που συνδυάζει τα αποτελέσματα από την ταξινόμηση μέσω μιας μηχανής διανυσμάτων υποστήριξης με την κατάτμησης της εικόνας μέσω ομαδοποίησης. Δηλαδή χρησιμοποιούνται τεχνικές εκμάθησης τόσο υπό επίβλεψη όσο και χωρίς επίβλεψη. Πιο συγκεκριμένα, αρχικά η υπερφασματική απεικόνιση χωρίζεται σε ομογενείς περιοχές μέσω κάποιου αλγόριθμου ομαδοποίησης, ο οποίος ομαδοποιεί τα εικονοστοιχεία που παρουσιάζουν μεγάλη ομοιότητα μεταξύ τους. Παράλληλα, ανεξάρτητα με το προηγούμενο βήμα, εκπαιδεύεται μια μηχανή διανυσμάτων υποστήριξης για την ταξινόμηση της απεικόνισης χρησιμοποιώντας την φασματική υπογραφή των εικονοστοιχείων ως χαρακτηριστικά. Ο συνδυασμός φασματικής και χωρικής πληροφορίας προκύπτει αντιστοιχίζοντας σε κάθε εικονοστοιχείο μιας περιοχής την ετικέτα που απαντάται τις περισσότερες φορές στα εικονοστοιχεία εντός της περιοχής. Τέλος, πραγματοποιείται και βήμα ομαλοποίησης της απεικόνισης μετά την ταξινόμηση, ώστε να απαλειφθεί τυχόν θόρυβος. Οι (Li, και συν., 2012) προτείνουν την ενσωμάτωση της χωρικής πληροφορίας στο πρόβλημα βελτιστοποίησης του SVM. Ειδικότερα, προσθέτουν έναν επιπλέον όρο στο αριστερό μέλος των περιορισμών (3.17) ο οποίος είναι θετικός όταν το άθροισμα των εκτιμώμενων ετικετών των γειτόνων είναι θετικό, δηλαδή όταν οι περισσότεροι γείτονες ανήκουν στην κλάση +1 και αρνητικός όταν οι περισσότεροι γείτονες ανήκουν στην κλάση -1. Όταν ο όρος

77 Ο αλγόριθμος SpatialBoost είναι ίσος με το μηδέν τότε έχουμε την περίπτωση του απλού προβλήματος SVM. Ο όρος πολλαπλασιάζεται με μια παράμετρο γ που καθορίζει την βαρύτητα της χωρικής πληροφορίας για τη διαμόρφωση του τελικού αποτελέσματος. Η συνάρτηση κόστους του προβλήματος δεν αλλάζει, αλλά προστίθεται ο όρος αυτός στην συνάρτηση απόφασης για τα δεδομένα χωρίς ετικέτα. Η αρχική εκτίμηση για τις ετικέτες προκύπτει από ταξινόμηση με χρήση του απλού SVM. Στη συνέχεια, αφού ταξινομείται η εικόνα με τον τροποποιημένο SVM, μπορούν να χρησιμοποιηθούν οι εκτιμήσεις των ετικετών σε επιπλέον βήμα ταξινόμησης με τον τροποποιημένο SVM και έτσι μπορεί να προκύψει μια αναδρομική διαδικασία. Στο τέλος της διαδικασίας, εισάγεται ένα βήμα ομαλοποίησης της απεικόνισης προκειμένου να μειωθεί τυχόν θόρυβος. Οι (Nishii, και συν., 2005), προτείνουν μια μέθοδο βασισμένη στον αλγόριθμο AdaBoost ώστε να αξιοποιεί τόσο τη φασματική όσο και τη χωρική πληροφορία. Ως ασθενείς ταξινομητές χρησιμοποιούνται οι μέσοι όροι των λογαρίθμων των εκ των υστέρων πιθανοτήτων των εικονοστοιχείων και των γειτονιών τους. Ξεκινώντας από το κεντρικό εικονοστοιχείο υπολογίζεται ο λογάριθμος της εκ των υστέρων πιθανότητάς του για κάθε κλάση και αντιστοιχίζεται στην κλάση με τη μέγιστη τιμή. Στο επόμενο βήμα, υπολογίζεται ο μέσος όρος των λογαρίθμων των εκ των υστέρων πιθανοτήτων των εικονοστοιχείων που αντιστοιχούν στη γειτονιά πρώτης τάξης του κεντρικού εικονοστοιχείου και αυτό ταξινομείται πάλι στην κλάση με τη μέγιστη τιμή. Χρησιμοποιώντας την μέθοδο του προσθετικού μοντέλου, εντοπίζεται μια παράμετρος c ώστε ο συνδυασμός των δύο συναρτήσεων ταξινόμησης (του κεντρικού και της γειτονιάς πρώτης τάξης) να ελαχιστοποιεί την εκθετική συνάρτηση απωλειών. Η διαδικασία συνεχίζεται και για γειτονιές μεγαλύτερης τάξης μέχρι η παράμετρος c να γίνει αρνητική και μοιάζει αρκετά με την λογική που περιγράψαμε στην παράγραφο Η διαδικασία γίνεται σε ένα βήμα, από την άποψη ότι αρχικά υπολογίζονται οι μέσοι όροι των λογαρίθμων των εκ των υστέρων πιθανοτήτων για ένα μεγάλο πλήθος ακτινών γειτονιών και το πρόβλημα βελτιστοποίησης αντιμετωπίζεται συνολικά ως προς αυτές τις συναρτήσεις ταξινόμησης, εντοπίζοντας δηλαδή τις παραμέτρους ώστε ο συνδυασμός τους να ελαχιστοποιεί την εκθετική συνάρτηση απωλειών. Σε μια επέκταση της παραπάνω μεθόδου, οι (Kawaguchi, και συν., 2007), χρησιμοποιούν τον αλγόριθμο αυτό επαναληπτικά, όπου σε κάθε επανάληψη οι εκ των υστέρων πιθανότητες των εικονοστοιχείων, είναι αυτές που προέκυψαν από το μοντέλο του προηγούμενου γύρου. Οι αρχικές τιμές των εκ των υστέρων πιθανοτήτων 63

78 Κεφάλαιο 5 των εικονοστοιχείων μπορούν να προκύψουν είτε μέσω SVM, είτε μέσω του αλγορίθμου AdaBoost. 5.2 Η αρχική μορφή του αλγορίθμου SpatialBoost Ο αλγόριθμος στον οποίο βασιστήκαμε στα πλαίσια της παρούσας εργασίας για να δημιουργήσουμε ένα αποδοτικό σχήμα ταξινόμησης υπερφασματικών απεικονίσεων είναι ο SpatialBoost (Avidan, 2006). Ο SpatialBoost προέκυψε ως μια προσπάθεια επέκτασης του AdaBoost, ώστε να αξιοποιεί χωρική πληροφορία προκειμένου να χρησιμοποιηθεί σε εφαρμογές κατάτμησης εικόνας. Τέτοιου είδους εφαρμογές αντιμετωπίζονται ως δυαδικά προβλήματα ταξινόμησης, στα οποία θέλουμε να ξεχωρίσουμε τα εικονοστοιχεία που ανήκουν στο κύριο θέμα από τα εικονοστοιχεία που ανήκουν στο φόντο της εικόνας. Αφότου εκπαιδευτεί ο ταξινομητής από ένα σύνολο δεδομένων εκπαίδευσης, εφαρμόζεται στα δεδομένα χωρίς ετικέτα για να προκύψει ο διαχωρισμός. Ο αλγόριθμος που προκύπτει επομένως αφορά προβλήματα δύο κλάσεων. Το πλαίσιο του αλγορίθμου SpatialBoost, παραμένει ίδιο με αυτό του AdaBoost. Έχουμε δηλαδή ένα επαναληπτικό σχήμα με ταξινομητές βάσης που εκπαιδεύονται στα δείγματα εκπαίδευσης και σε κάθε επανάληψη προσαρμόζονται τα βάρη των προτύπων ώστε οι ταξινομητές να επικεντρώνονται σε αυτά που είναι πιο δύσκολο να ταξινομηθούν. Το σχήμα αυτό, όπως έχει γίνει γνωστό ως τώρα, ελαχιστοποιεί την εκθετική συνάρτηση απωλειών. Στόχος μας είναι η ελαχιστοποίηση της συνάρτησης (4.6) και επομένως κάθε ταξινομητής που βοηθάει να επιτευχθεί αυτός ο στόχος μπορεί να χρησιμοποιηθεί στα πλαίσια του αλγορίθμου AdaBoost. Συνεπώς, μπορούμε να εισάγουμε έναν επιπλέον ταξινομητή βάσης σε κάθε επανάληψη, ο οποίος αξιοποιεί την χωρική πληροφορία με την μορφή των εκτιμώμενων ετικετών των γειτόνων ενός εικονοστοιχείου. Έτσι, σε κάθε επανάληψη εκπαιδεύουμε πλέον δύο ασθενείς ταξινομητές, τον ταξινομητή δεδομένων (data classifier) ο οποίος ταξινομεί κάθε εικονοστοιχείο ξεχωριστά με βάση το διάνυσμα χαρακτηριστικών του και τον χωρικό ταξινομητή (spatial classifier) ο οποίος χρησιμοποιεί ως διάνυσμα χαρακτηριστικών τις τρέχουσες εκτιμήσεις για τις 64

79 Ο αλγόριθμος SpatialBoost ετικέτες των γειτόνων του εικονοστοιχείου υπό εξέταση. Από τους δύο ταξινομητές επιλέγεται αυτός που έχει το μικρότερο σφάλμα στα δείγματα εκπαίδευσης. Τελικά, η έξοδος του αλγορίθμου είναι ένας γραμμικός συνδυασμός από data και spatial ταξινομητές οι οποίοι συνεργάζονται για την ελαχιστοποίηση της συνάρτησης (4.6). Έτσι με αυτήν την μικρή προσθήκη μπορεί πλέον ο AdaBoost να αξιοποιεί και χωρική πληροφορία. Παρουσιάζεται ο ψευδοκώδικας του αλγορίθμου εκπαίδευσης SpatialBoost (Πίνακας 5.1) και αφότου έχει δημιουργηθεί ένα μοντέλο το δοκιμάζουμε στα δεδομένα χωρίς ετικέτα με τον αλγόριθμο δοκιμής (Πίνακας 5.2). Δεδομένα: Σετ εκπαίδευσης {x i, y i } N i=1 Αριθμός επαναλήψεων T όπου x i X και y i { 1,1} Έξοδος: Η τελική υπόθεση Η(x) 1. Αρχικοποίησε τα βάρη {w i } N i=1 σε 1/N 2. Αρχικοποίησε τα εκτιμώμενα περιθώρια {y i} N i=1 σε 0 3. Για t = 1,, T a. Κανονικοποίησε τα {w i } N i=1 ώστε να είναι κατανομή b. Θέσε x i = {y j x j Nbr(x i )} c. Εκπαίδευσε τον ασθενή ταξινομητή δεδομένων h t στο σύνολο {x i, y i } N i=1 με βάρη {w i } N i=1 όπου h t : X { 1,1} d. Εκπαίδευσε τον ασθενή χωρικό ταξινομητή h t στο σύνολο {x i, y i } N i=1 με βάρη {w i } N i=1 N e. Θέσε ε = w i h t (x i ) y i i=1 N i=1 f. Θέσε ε = w i h t (x i ) y i 1 όταν ε < ε g. Θέσε λ t = { 0 αλλιώς h. Θέσε err = λ t ε + (1 λ t )ε όπου h t : X { 1,1} i. Υπολόγισε το βάρος του ασθενούς ταξινομητή a t = 1 1 err ln 2 err j. Ενημέρωσε την κατανομή των βαρών των δειγμάτων w i = w i exp(a t (λ t h t (x i ) y i + (1 λ t ) h t (x i ) y i )) k. Ενημέρωσε τα περιθώρια των δειγμάτων y i = y i + a t (λ t h t (x i ) + (1 λ t )h t (x i )) 65

80 Κεφάλαιο 5 4. Η τελική υπόθεση δίνεται ως sign(h(x)) όπου H(x) = T t=1 a t (λ t h t (x) + (1 λ t )h t (x)) Πίνακας 5.1 Αλγόριθμος εκπαίδευσης SpatialBoost N Δεδομένα: Σετ δοκιμής {x i } i=1 Η τελική υπόθεση Η(x) N Έξοδος: Οι ετικέτες {y i } i=1 1. Αρχικοποίησε τα εκτιμώμενα περιθώρια {y i} N i=1 σε 0 2. Για t = 1,, T a. Θέσε x i = {y j x j Nbr(x i )} b. Ενημέρωσε τα περιθώρια των δειγμάτων y i = y i + a t (λ t h t (x i ) + (1 λ t )h t (x i )) 3. Επέστρεψε το sign(y i) Πίνακας 5.2 Αλγόριθμος δοκιμής SpatialBoost Στο σημείο αυτό θα κάνουμε κάποια σχόλια για τους παραπάνω αλγορίθμους. Πρώτα απ όλα παρατηρούμε ότι χρειαζόμαστε μια συνάρτηση Nbr(x) η οποία δέχεται ως είσοδο ένα δείγμα x και επιστρέφει μια λίστα με τους γείτονες του δείγματος. Καθώς ασχολούμαστε με ταξινόμηση εικόνων τα δείγματα είναι εικονοστοιχεία και επομένως οι γείτονες είναι τα γειτονικά εικονοστοιχεία σε μια σταθερή γειτονιά με προκαθορισμένη ακτίνα. Ο συγγραφέας επιλέγει ως γειτονιές το παράθυρο 3 3 ή 5 5 γύρω από το κεντρικό εικονοστοιχείο, όμως όπως θα δούμε παρακάτω αυτό μπορεί να τροποποιηθεί ώστε να επιλέγονται περισσότερες από μία γειτονιές ανάλογα με τις ανάγκες του προβλήματος. Στο βήμα (k) του αλγορίθμου εκπαίδευσης βλέπουμε ότι για κάθε πρότυπο εκπαίδευσης καταγράφουμε μια τιμή η οποία λέγεται περιθώριο του προτύπου. Το περιθώριο αυτό, έχει παρόμοια έννοια με αυτήν που περιεγράφηκε στην παράγραφο Η διαφορά είναι ότι εδώ το περιθώριο είναι ένα μέτρο της βεβαιότητας για το κατά πόσον το πρότυπο εκτιμάται ότι ανήκει στην κλάση +1 εφόσον το περιθώριο είναι θετικό ή στην κλάση -1 εφόσον το περιθώριο είναι αρνητικό. Δηλαδή, θετικό περιθώριο δεν δηλώνει ότι η ταξινόμηση είναι σωστή, 66

81 Ο αλγόριθμος SpatialBoost καθώς σε αυτήν την περίπτωση το περιθώριο δεν πολλαπλασιάζεται με την ετικέτα της κλάσης y i όπως συμβαίνει στην εξίσωση (4.4). Στον αλγόριθμο SpatialBoost τα περιθώρια των γειτονικών προτύπων εκπαίδευσης αποτελούν το διάνυσμα χαρακτηριστικών x i που χρησιμοποιείται για την εκπαίδευση του ασθενούς χωρικού ταξινομητή, όπως παρατηρούμε στο βήμα (b). Το διάνυσμα χαρακτηριστικών x i έχει διάσταση n 1 όπου n ο αριθμός των γειτόνων. Παρατηρούμε ότι τα χωρικά χαρακτηριστικά κάθε προτύπου δεν είναι πληροφορία που προϋπάρχει αλλά δημιουργούνται και ενημερώνονται σε κάθε επανάληψη. Κατά συνέπεια, στην διαδικασία δοκιμής, πρέπει για κάθε πρότυπο δοκιμής να σχηματίσουμε το αντίστοιχο διάνυσμα χαρακτηριστικών από τα περιθώρια των γειτονικών προτύπων, ώστε να δοκιμαστεί ο χωρικός ταξινομητής, για τα οποία όμως δεν είναι διαθέσιμες οι πραγματικές ετικέτες. Αυτός είναι λοιπόν ο λόγος που τόσο στην εκπαίδευση όσο και στη δοκιμή δεν χρησιμοποιούνται οι πραγματικές ετικέτες για τον υπολογισμό του περιθωρίου αλλά οι εκτιμήσεις τους. Σε αυτό το σημείο, πρέπει να παρατηρήσουμε ότι τα περιθώρια δεν φράσσονται σε κάποιο διάστημα, αλλά μπορούν να αυξάνονται και να μειώνονται απεριόριστα, πράγμα που μπορεί να προκαλέσει προβλήματα κατά την ταξινόμηση από τον ασθενή ταξινομητή ειδικότερα εάν αυτός βασίζεται σε γεωμετρικά κριτήρια για τη διαμόρφωση της συνάρτησης απόφασης όπως συμβαίνει στις μηχανές διανυσμάτων υποστήριξης. Η παράμετρος λ t που χρησιμοποιείται, πρόκειται στην ουσία για έναν τρόπο επιλογής μεταξύ του ταξινομητή δεδομένων και του χωρικού ταξινομητή. Όταν έχει την τιμή 1 επιλέγεται ο ταξινομητής δεδομένων, ενώ όταν είναι 0 επιλέγεται ο χωρικός ταξινομητής και από το αντίστοιχο σφάλμα προκύπτει το βάρος του ασθενούς ταξινομητή που τελικά επιλέγεται και ενημερώνονται τα βάρη των προτύπων τα οποία ταξινομήθηκαν εσφαλμένα. Τέλος, πρέπει να επισημάνουμε, ότι παρόλο που δεν σημειώνεται σχετικά από τον συγγραφέα, οι ασθενείς ταξινομητές σε κάθε επανάληψη πρέπει να τηρούν την προϋπόθεση το σφάλμα τους να είναι λίγο μικρότερο από 1/2. Επειδή, σε αυτήν την περίπτωση εκπαιδεύονται δύο ταξινομητές, μας ενδιαφέρει το σφάλμα τουλάχιστον ενός από τους δύο να είναι μικρότερο από 1/2. Εφόσον αυτό δεν ισχύει, η διαδικασία τερματίζει και το τελικό μοντέλο προκύπτει από το συνδυασμό των ταξινομητών που επιλέχτηκαν μέχρι την προηγούμενη επανάληψη. 67

82 Κεφάλαιο 5 Εφαρμόζοντας τον αλγόριθμο σε προβλήματα κατάτμησης εικόνας, προκύπτουν ορισμένα συμπεράσματα για τη λειτουργία του. Πρώτα απ όλα, το μέγεθος της γειτονιάς που επιλέγεται παίζει σημαντικό ρόλο για το τελικό αποτέλεσμα. Είναι σημαντικό η γειτονιά να έχει τέτοιο μέγεθος ώστε να έχει νόημα η χωρική πληροφορία των εικονοστοιχείων που περιλαμβάνονται σε αυτή. Δεύτερον, σχετικά μεγάλος αριθμός επαναλήψεων, βελτιώνει το τελικό αποτέλεσμα καθώς έτσι ευνοείται η διάδοση της πληροφορίας στα εικονοστοιχεία. Τέλος όταν ο αλγόριθμος εφαρμόζεται σε δεδομένα που δεν έχει κάποια ουσία η χωρική τοποθέτηση των προτύπων, η συμπεριφορά του είναι ίδια με αυτή του AdaBoost, επιλέγεται δηλαδή σε κάθε επανάληψη μόνο ο ταξινομητής δεδομένων. 5.3 Ο SpatialBoost για υπερφασματικά δεδομένα Ο αλγόριθμος που παρουσιάσαμε στην προηγούμενη παράγραφο, σχεδιάστηκε για προβλήματα κατάτμησης εικόνων στα οποία πρέπει να διαχωριστούν τα εικονοστοιχεία που ανήκουν στο κύριο θέμα της εικόνας από τα εικονοστοιχεία που ανήκουν στο φόντο. Έχει σχεδιαστεί δηλαδή για δυαδικά προβλήματα ταξινόμησης. Καθώς ο αλγόριθμος αξιοποιεί τη χωρική πληροφορία, η οποία όπως είδαμε μπορεί να επιφέρει σημαντική βελτίωση της ακρίβειας ταξινόμησης σε υπερφασματικά δεδομένα, αλλά και επειδή έχει όλες τις σημαντικές ιδιότητες του AdaBoost, τα παραπάνω καθιστούν το συγκεκριμένο σχήμα αρκετά ενδιαφέρον ώστε να ερευνηθεί η απόδοσή του σε εφαρμογές ταξινόμησης υπερφασματικών απεικονίσεων. Ωστόσο, σε τέτοιου είδους εφαρμογές, οι κλάσεις συνήθως είναι περισσότερες από δύο. Επομένως, το πιο βασικό ζήτημα είναι η επέκταση του αλγορίθμου ώστε να αντιμετωπίζει προβλήματα πολλών κλάσεων. Επιπλέον, είδαμε ότι ο αλγόριθμος όπως αρχικά συστήθηκε, δεν περιλαμβάνει κάποια πρόβλεψη ώστε το μέγεθος της γειτονιάς που επιλέγεται να προσαρμόζεται ανάλογα με το σφάλμα στα δεδομένα, αλλά αντίθετα παραμένει σταθερό σε όλες τις επαναλήψεις. Τέλος, παρόλο που ο αλγόριθμος μπορεί να χρησιμοποιήσει οποιαδήποτε μέθοδο ταξινόμησης ως ασθενή ταξινομητή, στα πλαίσια της παρούσας εργασίας επιλέξαμε ως ασθενείς ταξινομητές τις μηχανές διανυσμάτων υποστήριξης, προκειμένου να αξιοποιήσουμε τα πλεονεκτήματά τους στην ταξινόμηση υπερφασματικών δεδομένων. Προκειμένου λοιπόν να ενσωματωθούν σωστά στο πλαίσιο του αλγορίθμου έγιναν οι κατάλληλες 68

83 Ο αλγόριθμος SpatialBoost τροποποιήσεις. Στην συνέχεια της παρούσας ενότητας, θα παρουσιάσουμε αναλυτικά κάθε μία από τις τροποποιήσεις που έγιναν προκειμένου να έχουμε ένα ολοκληρωμένο σχήμα ταξινόμησης υπερφασματικών απεικονίσεων Επέκταση του SpatialBoost για προβλήματα πολλών κλάσεων Το βασικότερο πρόβλημα της υλοποίησής μας, ήταν η επέκταση του SpatialBoost για προβλήματα πολλών κλάσεων. Λαμβάνοντας υπόψη ότι ως ασθενείς ταξινομητές χρησιμοποιούμε μηχανές διανυσμάτων υποστήριξης, επομένως η απαίτηση το σφάλμα του ασθενούς ταξινομητή να είναι μεγαλύτερο από 1/2 τηρείται, η λογική της επέκτασης είναι η ίδια με αυτήν της επέκτασης από τον δυαδικό AdaBoost στον AdaBoost.M1. Επομένως, οι διαφορές εστιάζονται στον τρόπο ενημέρωσης των βαρών, στην τελική υπόθεση του αλγορίθμου αλλά και στην επέκταση της έννοιας του περιθωρίου. Σε ότι έχει να κάνει με τα βάρη, παρατηρούμε ότι στη δυαδική έκδοση του SpatialBoost, αυξάνονται τα βάρη των προτύπων που έχουν ταξινομηθεί εσφαλμένα, ενώ τα βάρη των σωστά ταξινομημένων παραμένουν ίδια, καθώς ο παράγοντας h t (x i ) y i γίνεται μηδέν. Στην επέκτασή μας, ακολουθούμε τη λογική του AdaBoost.M1 δηλαδή μειώνονται τα βάρη των σωστά ταξινομημένων προτύπων, ενώ τα βάρη των εσφαλμένα ταξινομημένων παραμένουν ίδια. Οι δύο διαδικασίες είναι ισοδύναμες καθώς μετά την ενημέρωση των βαρών, η κατανομή κανονικοποιείται, ώστε το άθροισμα των βαρών να ισούται με τη μονάδα. Η τελική υπόθεση που προκύπτει από τον SpatialBoost πολλών κλάσεων, δεν είναι πλέον το πρόσημο του γραμμικού συνδυασμού των ασθενών υποθέσεων, αλλά είναι το άθροισμα των βαρών των ασθενών υποθέσεων με τη μεγαλύτερη τιμή για κάθε προβλεπόμενη ετικέτα ενός συγκεκριμένου προτύπου. Δηλαδή, έστω ότι για ένα πρότυπο οι διάφοροι ασθενείς ταξινομητές προβλέπουν 3 διαφορετικές ετικέτες, αθροίζουμε τα βάρη των ταξινομητών που προβλέπουν κάθε μία από αυτές, έχουμε δηλαδή τρία αθροίσματα, και επιλέγουμε την ετικέτα που αντιστοιχεί στο μέγιστο άθροισμα. Η μεγαλύτερη δυσκολία που συναντήσαμε στον σχεδιασμό του SpatialBoost πολλών κλάσεων ήταν η επέκταση του περιθωρίου κάθε προτύπου ώστε να ανταποκρίνεται στην περίπτωση πολλών κλάσεων. Το περιθώριο εξ 69

84 Κεφάλαιο 5 ορισμού είναι έννοια που συναντάμε στα δυαδικά προβλήματα και ορίζεται μέσω της εξίσωσης (4.4). Σε αυτά τα προβλήματα, οι ετικέτες των κλάσεων που είναι +1 και -1 όταν πολλαπλασιάζονται με την εκτίμηση της ετικέτας που είναι πάλι +1 ή -1 δίνουν ένα μέτρο για το κατά πόσο είμαστε σίγουροι ότι η ετικέτα που προβλέπεται για κάθε πρότυπο είναι σωστή. Σε προβλήματα πολλών κλάσεων όμως, οι ετικέτες είναι αύξοντες αριθμοί χωρίς κανένα μαθηματικό νόημα. Επομένως, ο πολλαπλασιασμός των ετικετών με τις εκτιμήσεις τους δεν προφέρει κάτι αξιόλογο. Μία λύση στο παραπάνω πρόβλημα είναι αυτή που προτείνεται στην επέκταση πολλών κλάσεων του αλγορίθμου BrownBoost (McDonald, και συν., 2003). Στον BrownBoost, ο οποίος αρχικά συστήθηκε για δυαδικά προβλήματα, χρησιμοποιούνται τα περιθώρια στο στάδιο της ενημέρωσης των βαρών των προτύπων. Η μέθοδος που προτείνουν οι συγγραφείς περιλαμβάνει τη χρήση ενός πίνακα κωδικοποίησης ώστε να αντιστοιχίζονται οι ετικέτες των κλάσεων με τις γραμμές του πίνακα. Πιο συγκεκριμένα, κάθε γραμμή του πίνακα κωδικοποίησης Μ έχει στοιχεία από το σύνολο { 1,0,1} και αντιστοιχεί σε μια ετικέτα. Ο πίνακας M λοιπόν, έχει διάσταση k l, όπου k ο αριθμός των κλάσεων. Οι στήλες του πίνακα αφορούν τα δυαδικά προβλήματα τα οποία μας ενδιαφέρει να διαχωρίσει ο ταξινομητής. Ανάλογα με την μέθοδο αποσύνθεσης του προβλήματος που επιλέγουμε, προκύπτουν διάφορες μορφές για τον πίνακα M. Για παράδειγμα εάν ακολουθούμε τη στρατηγική one-against-all τα στοιχεία της διαγωνίου του πίνακα έχουν τιμή +1 ενώ όλα τα υπόλοιπα παίρνουν τιμή 1. Έτσι, ο πίνακας είναι διάστασης k k και ορίζουμε ότι θέλουμε να διαχωρίσουμε κάθε κλάση από όλες τις υπόλοιπες. Ανάλογα, θα μπορούσε να χρησιμοποιηθεί η στρατηγική one-against-one. (McDonald, και συν., 2003) Η χρήση του πίνακα κωδικοποίησης προϋποθέτει την δυνατότητα ο ασθενής ταξινομητής να επιστρέφει τις εκ των υστέρων πιθανότητες για κάθε πρότυπο. Θέλουμε δηλαδή εκτός από την εκτιμώμενη ετικέτα, να επιστρέφεται για κάθε κλάση μια τιμή που το μέγεθός της δηλώνει το βαθμό βεβαιότητας ώστε το πρότυπο να ανήκει σε αυτήν την κλάση. Συνήθως, οι αλγόριθμοι που έχουν αυτή τη δυνατότητα, επιστρέφουν τις πιθανότητες στο διάστημα [0,1] αλλά μπορούν εύκολα να κλιμακοποιηθούν ώστε να κινούνται στο διάστημα [ 1,1]. 70

85 Ο αλγόριθμος SpatialBoost Λαμβάνοντας υπόψη τα παραπάνω, συμπεραίνουμε ότι τώρα για κάθε πρότυπο έχουμε k περιθώρια, ένα για κάθε κλάση. Έστω, λοιπόν, ότι έχουμε το πρότυπο (x i, y i ) όπου y i {y 1,, y k } οι ετικέτες των κλάσεων και έστω ότι {λ 1 i,, λ k i } η γραμμή του πίνακα Μ που αντιστοιχεί στην ετικέτα y i, με λ j i = { 1, 1}, j = 1,, k. Έστω ότι h t,j (x i ) η εκ των υστέρων πιθανότητα του προτύπου i για την κλάση j, τότε το περιθώριο για την κλάση j δίνεται από την εξής σχέση: margin (xi,y i ),j = λ j i T t=1 a t h t,j (x i ) T t=1 a t (5.1) Ο παραπάνω ορισμός βρίσκεται σε πλήρη αντιστοιχία με την εξίσωση (4.4) καθώς παρατηρούμε ότι τα k περιθώρια του προτύπου είναι θετικά όταν αυτό έχει ταξινομηθεί σωστά, ενώ είναι αρνητικά όταν έχει ταξινομηθεί εσφαλμένα. Το πλάτος του περιθωρίου δηλώνει το βαθμό βεβαιότητας για την ορθότητα της ταξινόμησης. Η εξίσωση (5.1) ναι μεν αποτελεί την επέκταση του περιθωρίου για προβλήματα πολλών κλάσεων, αλλά όπως είδαμε ο SpatialBoost χρησιμοποιεί διαφορετικά την έννοια του περιθωρίου. Επειδή δεν είναι διαθέσιμες οι ετικέτες των προτύπων αλλά οι εκτιμήσεις τους, παρατηρούμε ότι στο βήμα (k) του αλγορίθμου εκπαίδευσης (Πίνακας 5.1) στον όρο a t (λ t h t (x i ) + (1 λ t )h t (x i )) δεν υπάρχει ο πολλαπλασιασμός με την πραγματική ετικέτα y i του προτύπου. Αντίθετα το βάρος a t πολλαπλασιάζεται απλά με την εκτίμηση της ετικέτας h t, h t που είναι τιμές από το διάστημα { 1,1}. Έτσι, θετικό περιθώριο σημαίνει ότι το σύνολο των ασθενών υποθέσεων προβλέπει ότι το πρότυπο ανήκει στην κλάση +1 ενώ αρνητικό δεν ανήκει σε αυτήν, άρα ανήκει στην κλάση 1. Όσο μεγαλύτερο είναι το μέτρο του περιθωρίου τόσο πιο σίγουροι είμαστε για την εκτίμηση. Προκειμένου να επεκτείνουμε αυτή τη σχέση για όταν έχουμε πολλές κλάσεις, υπολογίζουμε πάλι k περιθώρια ανά πρότυπο, ένα για κάθε κλάση και χρησιμοποιούμε τις εκ των υστέρων πιθανότητες και τον πίνακα κωδικοποίησης. Tο περιθώριο του προτύπου (x i, y i ) για την κλάση j στην επανάληψη t, προκύπτει: 71

86 Κεφάλαιο 5 y ji = y ji + a t (λ t h t,j (x i ) + (1 λ t )h t,j (x i i )) λ (5.2) j Η διαφορά σε αυτήν την περίπτωση είναι, πρώτον, ότι οι υποθέσεις h t, h t είναι πιθανότητες που κυμαίνονται στο διάστημα [0,1] και δεύτερον, ότι σε κάθε επανάληψη η δυαδική ετικέτα λ j i προκύπτει από το σε ποια γραμμή του πίνακα αντιστοιχεί η εκτιμώμενη ετικέτα της κλάσης στην οποία ταξινομείται το πρότυπο από την ασθενή υπόθεση 3. Με αυτόν τον τρόπο, για κάθε πρότυπο, θα είναι θετικό το περιθώριο της κλάσης στην οποία ταξινομήθηκε και αρνητικά όλα τα υπόλοιπα. Παρατηρούμε ότι η διαδικασία είναι ισοδύναμη με αυτήν του αλγορίθμου SpatialBoost (Πίνακας 5.1) για την περίπτωση δύο κλάσεων και μάλιστα παρέχει πιο αξιόπιστα αποτελέσματα, καθώς για τον υπολογισμό του περιθωρίου χρησιμοποιούμε τις πιθανότητες που επιστρέφει ο ταξινομητής και όχι μόνο την εκτιμώμενη δυαδική ετικέτα. Επίσης στα πλαίσια της εφαρμογής περιορίζουμε τα περιθώρια στο διάστημα [ 1,1] διαιρώντας σε κάθε επανάληψη το αποτέλεσμα της εξίσωσης (5.2) με το a t ως την τρέχουσα επανάληψη Χρήση γειτονιών μεταβλητής ακτίνας Στην αρχική έκδοση του SpatialBoost, είδαμε ότι το διάνυσμα χαρακτηριστικών που δίνεται ως είσοδος στο χωρικό ταξινομητή αποτελείται από τα περιθώρια των γειτονικών εικονοστοιχείων. Τα εικονοστοιχεία αυτά, στην αρχική έκδοση του αλγορίθμου, λαμβάνονται από μια σταθερή γειτονιά, η οποία είναι προκαθορισμένη και δεν αλλάζει. Ωστόσο, στις πραγματικές εφαρμογές και ειδικότερα στις υπερφασματικές απεικονίσεις, είναι χρήσιμη η δυνατότητα να προσαρμόζεται η ακτίνα της γειτονιάς σε κάθε επανάληψη, καθώς τα περιθώρια μεταβάλλονται με το πέρασμα των επαναλήψεων και επομένως διαφορετικές γειτονιές έχουν διαφορετικά χαρακτηριστικά. Χρησιμοποιούμε την ακόλουθη σχέση για να ορίσουμε το σύνολο της γειτονιάς ακτίνας r ενός κεντρικού προτύπου x i (Nishii, και συν., 2005): 3 Στην εξίσωση 5.2 δεν πρέπει να υπάρξει σύγχυση μεταξύ του λ t και του λ j i. Το πρώτο είναι η παράμετρος επιλογής μεταξύ του ταξινομητή δεδομένων και του χωρικού ενώ το δεύτερο είναι η δυαδική ετικέτα. Παρακάτω που παραθέτουμε τον ψευδοκώδικα του SpatialBoost πολλών κλάσεων χρησιμοποιούνται διαφορετικές ονομασίες για αυτές τις δύο παραμέτρους. 72

87 Ο αλγόριθμος SpatialBoost U r (x i ) = {x j D d(x i, x j ) = r} (5.3) όπου D το σύνολο εκπαίδευσης. Η απόσταση d είναι η ευκλείδεια απόσταση μεταξύ των δύο εξεταζόμενων εικονοστοιχείων. Στο Σχήμα 5.1 απεικονίζονται μερικές γειτονιές για διάφορες ακτίνες. Σχήμα 5.1 Γειτονιές ακτίνας r Στον αλγόριθμό μας, οι γειτονιές διαφορετικής ακτίνας εισάγονται με την μορφή επιπλέον χωρικών ταξινομητών καθένας από τους οποίους εκπαιδεύεται στα περιθώρια των εικονοστοιχείων που ανήκουν στην αντίστοιχη γειτονιά. Ειδικότερα, δίνουμε ως είσοδο στον αλγόριθμο μια μέγιστη τιμή για την ακτίνα r = r max και σε κάθε επανάληψη εκτός από τον ταξινομητή δεδομένων, εκπαιδεύεται ένας χωρικός ταξινομητής για κάθε ακτίνα στο διάστημα [0, r max ]. Το διάνυσμα χαρακτηριστικών κάθε χωρικού ταξινομητή, είναι τα περιθώρια των εικονοστοιχείων που περιλαμβάνονται στην αντίστοιχη γειτονιά. Για παράδειγμα, αν ορίσουμε r max = 10, τότε θα εκπαιδεύονται 7 χωρικοί ταξινομητές σε κάθε επανάληψη, ένας για κάθε μία από τις ακτίνες r = {1, 2, 2, 5, 8, 3, 10}. Αφού εκπαιδευτούν οι χωρικοί ταξινομητές και ο ταξινομητής δεδομένων, υπολογίζουμε το σφάλμα εκπαίδευσής τους και επιλέγουμε αυτόν με το μικρότερο. 73

88 Κεφάλαιο Μηχανές διανυσμάτων υποστήριξης ως ασθενείς ταξινομητές Οι μηχανές διανυσμάτων υποστήριξης είναι ένας ισχυρός αλγόριθμος ταξινόμησης, τη λειτουργία του οποίου και τα πλεονεκτήματα που έχει όταν χρησιμοποιείται για ταξινόμηση υπερφασματικών απεικονίσεων αναλύσαμε στο κεφάλαιο 3. Στην παράγραφο 4.4 είδαμε μία μέθοδο ώστε να μπορούν να ενσωματωθούν οι μηχανές διανυσμάτων υποστήριξης στον αλγόριθμο AdaBoost. Στη συνέχεια, θα προσαρμόσουμε αυτή τη μέθοδο στον αλγόριθμό μας ώστε να χρησιμοποιήσουμε τις μηχανές διανυσμάτων υποστήριξης ως ασθενείς ταξινομητές. Καταρχήν, πρέπει να αναφέρουμε ότι χρησιμοποιούμε μηχανές διανυσμάτων υποστήριξης με πυρήνα ακτινωτής βάσης, καθώς είδαμε ότι έχουν καλύτερη απόδοση σε υπερφασματικά δεδομένα συγκριτικά με άλλα είδη πυρήνων και είναι εύκολη η ρύθμισή τους επειδή η απόδοσή τους επηρεάζεται κυρίως από την τιμή της παραμέτρου σ. Επίσης το γεγονός ότι οι μηχανές διανυσμάτων υποστήριξης είναι εύρωστες απέναντι στο φαινόμενο Hughes βοηθάει στο να μπορούμε να επιλέξουμε γειτονιές με μεγάλες ακτίνες. Θα έχει γίνει κατανοητό σε αυτό το σημείο ότι σε κάθε επανάληψη εκπαιδεύουμε έναν ταξινομητή δεδομένων και μια ομάδα χωρικών ταξινομητών, το πλήθος των οποίων εξαρτάται από την μέγιστη ακτίνα για τις γειτονιές που δίνουμε ως είσοδο στον αλγόριθμο. Κανονικά, θα έπρεπε να ρυθμιστεί το σ ξεχωριστά για κάθε έναν από τους ταξινομητές. Παρόλα αυτά, επειδή οι χωρικοί ταξινομητές εκπαιδεύονται στα περιθώρια των γειτονικών εικονοστοιχείων, τα οποία έχουν παρόμοια στατιστική και κατανομή στο χώρο για τις διάφορες γειτονιές, επιλέξαμε να χρησιμοποιήσουμε μία κοινή τιμή για το σ σε όλους τους χωρικούς ταξινομητές. Αντίστοιχα, για τον ταξινομητή δεδομένων που εκπαιδεύεται με τα φασματικά χαρακτηριστικά, χρησιμοποιούμε ξεχωριστό σ. Επομένως, έχουμε τώρα να ρυθμίσουμε δύο παραμέτρους, το σ του ταξινομητή δεδομένων και το σ των χωρικών ταξινομητών. Η λογική που ακολουθείται είναι ίδια με αυτήν του αλγορίθμου AdaBoostSVM (Πίνακας 4.3). Το μόνο που απαιτείται από τον προγραμματιστή είναι να εισάγει, για κάθε σ, μια αρχική, μια τελική τιμή και ένα βήμα μείωσης. Σε κάθε επανάληψη, ανάλογα με το αν η ασθενής υπόθεση προκύπτει από ταξινομητή δεδομένων ή χωρικό ταξινομητή, ελέγχουμε αν το σφάλμα είναι μεγαλύτερο από 1/2 και αν αυτό ισχύει τότε μειώνουμε το 74

89 Ο αλγόριθμος SpatialBoost αντίστοιχο σ και ο αλγόριθμος μεταβαίνει στην επόμενη επανάληψη. Η διαδικασία συνεχίζεται μέχρις ότου ένα από τα δύο σ ξεπεράσει την τελική τιμή Ο ψευδοκώδικας του αλγορίθμου Έχοντας αναλύσει τις αλλαγές που έγιναν στην αρχική μορφή του SpatialBoost προκειμένου να μπορεί να ταξινομεί υπερφασματικά δεδομένα, συγκεντρώνουμε τα παραπάνω στοιχεία και παρουσιάζουμε ακολούθως τον ψευδοκώδικα εκπαίδευσης της τροποποιημένης έκδοσης του SpatialBoost. N Δεδομένα: Σετ εκπαίδευσης {x i, y i } i=1 {1,, k} όπου x i X και y i Y = Μέγιστη ακτίνα r max Παράμετροι σ ini,data, σ min,data, σ step,data, σ ini,spatial, σ min,spatial, σ step,spatial Ο πίνακας κωδικοποίησης M. Κάθε υπόθεση h t (x i ), h t,r (x i,r ) αντιστοιχεί σε μια γραμμή δυαδικών ετικετών {λ i 1,, λ i k }, όπου λ j i = { 1,1}, j = 1,, k. Αρχικοποίηση: {w i } N i=1 = 1/N {y i} N i=1 =0 1. Όσο (σ data > σ min,data ΚΑΙ σ spatial > σ min,spatial επανάλαβε: N a. Κανονικοποίησε τα {w i } i=1 ώστε να είναι κατανομή b. Εκπαίδευσε τον ασθενή SVM δεδομένων στο σύνολο {x i, y i } N N i=1 με βάρη {w i } i=1 c. Επέστρεψε την ασθενή υπόθεση h t : X Y και τις εκ των υστέρων πιθανότητες p t (j x), x X, j = 1,, k d. Υπολόγισε το σφάλμα της υπόθεσης h t : ε t = i:ht (x i ) y i w i e. Για r = 1,, r max : i. Θέσε x i,r = {y j x j Nbr(x i, r)} ii. Εκπαίδευσε τον ασθενή χωρικό SVM στο σύνολο N {x i,r, y i } i=1 με βάρη N {wi } i=1 iii. Επέστρεψε την ασθενή υπόθεση h t,r : X Y και τις εκ των υστέρων πιθανότητες p t,r (j x), x X, j = 1,, k 75

90 Κεφάλαιο 5 iv. Υπολόγισε το σφάλμα της υπόθεσης h t,r : ε t,r = i:ht,r (x i,r ) y i w i f. err = min ε = min[ε t, ε t,1,, ε t,rmax ] και ind = {j err = ε(j) } g. Αν err > 1/2 τότε: i. Αν ind = 1 θέσε σ data = σ data σ step,data και πήγαινε στο 1. ii. Αν ind > 1 θέσε σ spatial = σ spatial σ step,spatial και πήγαινε στο 1. h. Υπολόγισε το βάρος της ασθενούς υπόθεσης β t = err 1 err t = log 1/β t i. Επέλεξε την υπόθεση H t που αντιστοιχεί στο ελάχιστο σφάλμα err από το σύνολο των ασθενών υποθέσεων {h t, h t,1,, h t,rmax } και τις αντίστοιχες πιθανότητες P t από το σύνολο {p t, p t,1,, p t,rmax } j. Ενημέρωσε την κατανομή των βαρών των δειγμάτων w i = w i { β t αν H t (i) = y i 1 αλλιώς k. Ενημέρωσε τα περιθώρια των δειγμάτων για j = 1,, k y ji = y ji + a t λ j i P t (j i) 2. Επέστρεψε την τελική υπόθεση: h fin (x) = arg max y Y t:h t (x)=y Πίνακας 5.3 Αλγόριθμος εκπαίδευσης τροποποιημένου SpatialBoost Σε αντιστοιχία με την αρχική έκδοση του SpatialBoost, παραθέτουμε και τον αλγόριθμο δοκιμής του τροποποιημένου SpatialBoost. a t N Δεδομένα: Σετ δοκιμής {x i } i=1 Οι επιλεγμένες ασθενείς υποθέσεις H t και οι αντίστοιχες εκ των υστέρων πιθανότητες P t Τα βάρη των υποθέσεων a t Ο συνολικός αριθμός επαναλήψεων εκπαίδευσης T Ο πίνακας κωδικοποίησης M Η μέγιστη ακτίνα r max 76

91 Ο αλγόριθμος SpatialBoost Αρχικοποίηση: {y i} N i=1 =0 1. Για t = 1,, T a. Για r = 1,, r max i. Θέσε x i,r = {y j x j Nbr(x i, r)} b. Ενημέρωσε τα περιθώρια των δειγμάτων για j = 1,, k y ji = y ji + a t λ i j P t (j i) 2. Επέστρεψε την τελική υπόθεση: h fin (x) = arg max y Y t:h t (x)=y Πίνακας 5.4 Αλγόριθμος δοκιμής τροποποιημένου SpatialBoost Στο σημείο αυτό θα επεξηγήσουμε κάποια σημεία του αλγορίθμου τα οποία πιθανώς δεν γίνονται κατανοητά μέσω του ψευδοκώδικα. Πρώτα απ όλα, σε κάθε επανάληψη εκπαιδεύονται, όπως είπαμε, ένας ταξινομητής δεδομένων και μια ομάδα από χωρικούς ταξινομητές. Υπολογίζονται τα σφάλματά τους και επιλέγεται τελικά αυτός με το μικρότερο σφάλμα επί του συνόλου εκπαίδευσης. Με βάση την ασθενή υπόθεση που επιλέγεται ενημερώνεται η κατανομή των βαρών των προτύπων και τα περιθώρια. Παρατηρούμε ότι πλέον για κάθε πρότυπο έχουμε Κ περιθώρια, όπου K ο αριθμός των κλάσεων. Επομένως το διάνυσμα χαρακτηριστικών x i,r του χωρικού ταξινομητή για ακτίνα γειτονιάς r έχει διάσταση 1 (K n), όπου n ο αριθμός των γειτονικών εικονοστοιχείων σε αυτή τη γειτονιά. Η τελική πρόβλεψη για την κλάση του προτύπου προκύπτει ως η ετικέτα που μεγιστοποιεί το άθροισμα των βαρών των ασθενών υποθέσεων που επιλέχθηκαν σε κάθε επανάληψη. Επισημαίνουμε εδώ την χρήση ξεχωριστού αλγορίθμου για τα πρότυπα δοκιμής καθώς πρέπει να υπολογιστούν τα περιθώρια για αυτά προκειμένου να δοκιμαστούν οι διάφοροι χωρικοί ταξινομητές που επιλέχθηκαν SpatialBoost και Bootstrap Aggregating Πολλές φορές τα αποτελέσματα ταξινόμησης υπερφασματικών απεικονίσεων παρουσιάζουν διακύμανση ανάλογα με το σύνολο εκπαίδευσης που έχει επιλεχθεί. Προκειμένου να μειωθούν τα σφάλματα ταξινόμησης που οφείλονται στη διακύμανση, μπορούμε να χρησιμοποιήσουμε την μέθοδο a t 77

92 Κεφάλαιο 5 Bootstrap Aggregating ή Bagging η οποία σχεδιάστηκε για με σκοπό την βελτίωση της ακρίβειας και της ευστάθειας των αλγορίθμων εκμάθησης που παρουσιάζουν ιδιαίτερη διακύμανση (Breiman, 1996). Το Bagging στην ουσία αποτελεί μια μέθοδο εκμάθησης συνόλου όπως είναι ο AdaBoost. Η διαδικασία είναι αρκετά απλή. Από το σύνολο δεδομένων εκπαίδευσης D που περιέχει n δείγματα εκπαίδευσης, επιλέγουμε τυχαία και με επανατοποθέτηση ένα ποσοστό s δειγμάτων. Εκπαιδεύουμε το μοντέλο με αυτό το υποσύνολο εκπαίδευσης και το δοκιμάζουμε στο σύνολο δοκιμής. Επαναλαμβάνουμε αυτή τη διαδικασία για όσα βήματα θέλουμε και στο τέλος συνδυάζουμε τα αποτελέσματα των μοντέλων για τη δημιουργία της τελικής υπόθεσης με έναν απλό πλειοψηφικό κανόνα. Δηλαδή η ετικέτα κάθε προτύπου είναι η ετικέτα που προβλέπεται από τα περισσότερα μοντέλα. Το μοντέλο το οποίο εκπαιδεύεται στο υποσύνολο εκπαίδευσης μπορεί να είναι οποιοσδήποτε αλγόριθμος μηχανικής εκμάθησης, επομένως μπορούμε να χρησιμοποιήσουμε τον τροποποιημένο SpatialBoost προκειμένου να βελτιωθούν τα αποτελέσματα που επιστρέφει. Ο αλγόριθμος ταξινόμησης με τη μέθοδο Bagging δίνεται στην συνέχεια. Δεδομένα: Σετ εκπαίδευσης D train Σετ δοκιμής D test Αριθμός επαναλήψεων B Ποσοστό υποδειγματοληψίας s, s [0,1] 1. Για b = 1,, B a. Όρισε το υποσύνολο εκπαίδευσης S επιλέγοντας τυχαία s n δείγματα με επανατοποθέτηση από το αρχικό σύνολο D train b. Εκπαίδευσε τον τροποποιημένο SpatialBoost χρησιμοποιώντας το υποσύνολο εκπαίδευσης S c. Δοκίμασε το μοντέλο h fin,b που προκύπτει στο σύνολο δοκιμής D test 2. Υπολόγισε την τελική υπόθεση Η χρησιμοποιώντας τον κανόνα πλειοψηφίας στις προβλέψεις των υποθέσεων h fin,1,, h fin,b. Πίνακας 5.5 SpatialBoost με Bagging 78

93 Κεφάλαιο 6 Πειραματικά αποτελέσματα Στο κεφάλαιο αυτό θα εφαρμόσουμε τους αλγορίθμους που αναλύσαμε σε όλα τα προηγούμενα κεφάλαια προκειμένου να δούμε την απόδοσή τους σε πραγματικά υπερφασματικά δεδομένα. Για το σκοπό αυτό θα χρησιμοποιηθούν δύο υπερφασματικά σετ δεδομένων, με διαφορετικό περιεχόμενο το καθένα καθώς το ένα αφορά αγροτική περιοχή και το άλλο αστική περιοχή, διαφορετικές χωρικές αναλύσεις και διαφορετικό αριθμό ζωνών. Θα συγκριθεί η απόδοση του αλγορίθμου SpatialBoost με την απόδοση του SVM και του AdaBoost και θα αναλυθεί η συμπεριφορά του σε σχέση με τα σφάλματα ταξινόμησης, τους ταξινομητές που επιλέγονται και την εκμάθηση που γίνεται. Όλοι οι κώδικες των αλγορίθμων καθώς και οι κώδικες για τα πειράματα γράφτηκαν και εκτελέστηκαν σε περιβάλλον MATLAB. Τα πειράματα εκτελέστηκαν σε υπολογιστή με επεξεργαστή Intel Core i7 2670QM 2.2 GHz και μνήμη 4 GB. 6.1 Σετ δεδομένων Indiana Pines Περιγραφή του σετ δεδομένων To σετ δεδομένων Indiana Pines, δημιουργήθηκε από τον υπερφασματικό αισθητήρα AVIRIS (Airborne Visible/Infrared Imaging Spectrometer). Τα δεδομένα καταγράφηκαν από ένα αεροπλάνο του Jet Propulsion Laboratory της NASA, το οποίο πέταγε σε ύψος ποδιών πάνω από μια αγροτική έκταση στην Indiana των ΗΠΑ. Η εικόνα έχει διάσταση εικονοστοιχεία και η χωρική ανάλυση είναι 20 μέτρα ανά εικονοστοιχείο. Η συνολική απεικόνιση περιλαμβάνει 220 φασματικές ζώνες από τις οποίες αφαιρούνται 20 ζώνες που αφορούν το φάσμα του νερού. Το σετ δεδομένων περιλαμβάνει 16 κλάσεις, οι περισσότερες από τις οποίες αντιπροσωπεύουν διαφορετικά είδη 79

94 Κεφάλαιο 6 καλλιεργειών. Στο Σχήμα 6.1 απεικονίζονται αυτές οι 16 κλάσεις και στο Σχήμα 6.2 βλέπουμε μια ψευδόχρωμη απεικόνιση της εικόνας. Για το συγκεκριμένο σετ δεδομένων θα παρουσιάσουμε δύο σειρές πειραμάτων για δύο διαφορετικά σετ εκπαίδευσης. Το ένα σετ εκπαίδευσης έχει αρκετά δείγματα προκειμένου να μπορεί να χρησιμοποιηθεί ο SpatialBoost σε συνδυασμό με τη μέθοδο bagging και το άλλο έχει λίγα δείγματα οπότε χρησιμοποιούμε τον SpatialBoost χωρίς bagging. Σχήμα 6.1 Εικόνα αναφοράς του IPS Σχήμα 6.2 Ψευδόχρωμη απεικόνιση της περιοχής Πρώτο σετ εκπαίδευσης Προκειμένου να δημιουργηθεί το σετ εκπαίδευσης, σε πρώτο στάδιο επιλέχθηκαν τυχαία 5% των προτύπων από τα δείγματα αναφοράς κάθε κλάσης. Εξαίρεση αποτελούν οι τρεις μικρότερες κλάσεις, δηλαδή alfalfa, grass/pasturemowed και oats, για τις οποίες επιλέχθηκαν τυχαία 2 πρότυπα. Επειδή για την 80

95 Πειραματικά αποτελέσματα εκπαίδευση του SpatialBoost χρειαζόμαστε για κάθε πρότυπο εκπαίδευσης και τους γείτονές του προκειμένου να υπολογιστούν τα περιθώριά τους, τα πρότυπα αυτά αποτελούν τα κεντρικά εικονοστοιχεία από τα οποία θα προκύψει το βασικό σετ εκπαίδευσης. Έτσι, στην επόμενη φάση εισάγουμε στο παραπάνω σετ εκπαίδευσης τους γείτονες των εικονοστοιχείων που επιλέχθηκαν, όπου αυτοί ανήκουν στις γειτονιές μέχρι τη γειτονιά μέγιστης ακτίνας που επιλέγεται. Στο συγκεκριμένο σετ δεδομένων, επειδή η εικόνα δεν έχει μεγάλη ανάλυση και έχουμε στενές κλάσεις οι οποίες έχουν ελάχιστο πλάτος 2 εικονοστοιχεία, περιοριζόμαστε σχετικά με το μέγεθος της μεγαλύτερης γειτονιάς επομένως επιλέγουμε σαν μέγιστη ακτίνα r max = 2. Όλα τα υπόλοιπα δείγματα στην εικόνα αποτελούν το σετ δοκιμής. Καταγράφεται το πλήθος των δειγμάτων εκπαίδευσης και δοκιμής ανά κλάση (Πίνακας 6.1). Η θέση των κεντρικών εικονοστοιχείων και το σετ εκπαίδευσης απεικονίζονται στο Σχήμα 6.3. Κλάση Όνομα N center N train N test N total 1 Alfalfa Corn-no till Corn-min till Corn Grass/Pasture Grass/Trees Grass/Pasturemowed Hay-windrowed Oats Soybeans-no till Soybeans-min till Soybeans-clean till Wheat Woods Bldg-grass-treedrive Stone-steel towers Total Πίνακας 6.1 Αριθμός δειγμάτων εκπαίδευσης και δοκιμής ανά κλάση 81

96 Κεφάλαιο 6 Σχήμα 6.3 Το αρχικό και το τελικό σετ εκπαίδευσης Οι αλγόριθμοι μηχανική εκμάθησης που θα συγκριθούν μεταξύ τους είναι ο SVM, ο AdaBoost, ο SpatialBoost και ο SpatialBoost με Bagging. Πριν ξεκινήσουμε τη διαδικασία εκπαίδευσης των μοντέλων πρέπει να καθορίσουμε τις παραμέτρους που απαιτούνται από τον κάθε αλγόριθμο. Για τον SVM, χρησιμοποιούμε πυρήνα ακτινωτής βάσης και οι βέλτιστες παράμετροι υπολογίστηκαν μέσω 10 folded cross-validation με τιμές C = 64, γ = 2 1. Για τον AdaBoost, η μόνη παράμετρος που πρέπει να καθοριστεί είναι ο αριθμός των επαναλήψεων, T. Εμείς, θέτουμε έναν σχετικά μεγάλο αριθμό επαναλήψεων T = 30, αλλά δεν παίζει κανένα ρόλο καθώς μετά από 15 επαναλήψεις το σφάλμα του ασθενούς ταξινομητή γίνεται μεγαλύτερο από 1/2 και η διαδικασία τερματίζεται. Ως ασθενή ταξινομητή χρησιμοποιούμε SVM με πυρήνα RBF και θέτουμε σταθερές τιμές για τις παραμέτρους C = 64, γ = 0.1. Η τιμή για το γ επιλέγεται ούτως ώστε ο SVM να είναι ασθενής και να έχει περιθώρια βελτίωσης της απόδοσής του μέσω του AdaBoost. Για τον SpatialBoost επιλέξαμε τις εξής τιμές για τις παραμέτρους των ασθενών ταξινομητών: γ ini,data =0.1, γ max,data = 0.5, γ step,data = 0.2, γ ini,spatial = 0.001, γ max,spatial = 0.005, γ step,spatial = 0.002, C = 64. Επίσης θέσαμε ένα μέγιστο όριο επαναλήψεων T = 40 ώστε να τερματίζεται η διαδικασία σε περίπτωση που οι ασθενείς ταξινομητές είναι αρκετά ισχυροί και το σφάλμα τους δεν γίνεται ποτέ μεγαλύτερο από 1/2. Τέλος, για τον SpatialBoost με Bagging, οι τιμές των παραμέτρων των ασθενών ταξινομητών είναι οι ίδιες με πριν, και θέτουμε B = 20 επαναλήψεις bootstrap και σε κάθε επανάληψη επιλέγουμε για το υποσύνολο εκπαίδευσης 70% από τα κεντρικά εικονοστοιχεία και τους γείτονές τους. Τα αποτελέσματα της ταξινόμησης ανά κλάση καθενός από τους παραπάνω αλγορίθμους παρουσιάζονται στον πίνακα που ακολουθεί όπου σημειώνεται και η απόλυτη και μέση ακρίβεια κάθε αλγορίθμου. 82

97 Πειραματικά αποτελέσματα Όνομα κλάσης SVM AdaBoost SpatialBoost SpatialBoost + Bagging OA AA Alfalfa Corn-no till Corn-min till Corn Grass/Pasture Grass/Trees Grass/Pasturemowed Haywindrowed Oats Soybeans-no till Soybeans-min till Soybeans-clean till Wheat Woods Bldg-grasstree-drive Stone-steel towers Πίνακας 6.2 Συγκριτικά αποτελέσματα ταξινόμησης των αλγορίθμων Από τον παραπάνω πίνακα παρατηρούμε ότι τα καλύτερα αποτελέσματα επιστρέφει ο συνδυασμός SpatialBoost + Bagging, αν και η ενίσχυση που προσφέρει το bagging δεν είναι η αρκετά υψηλή δεδομένου του υπολογιστικού κόστους που συνεπάγεται. Αυτό συμβαίνει διότι δεν υπάρχει αρκετή διακύμανση μεταξύ των επιμέρους μοντέλων που επιστρέφει ο SpatialBoost για τα υποσύνολα εκπαίδευσης. Επίσης παρατηρούμε ότι ο AdaBoost με SVM ως αδύναμο ταξινομητή επιστρέφει συγκρίσιμα αποτελέσματα με τον απλό SVM 83

98 Κεφάλαιο 6 και αυτό είναι αναμενόμενο αφότου το γ του πυρήνα παραμένει σταθερό και δεν ρυθμίζεται με τις επαναλήψεις. Το σημαντικό που πρέπει να προσέξουμε εδώ είναι ότι η εισαγωγή της χωρικής πληροφορίας πράγματι ενισχύει την ακρίβεια ταξινόμησης. Αν και στο συγκεκριμένο σετ εκπαίδευσης η ενίσχυση δεν είναι πολύ μεγάλη, λόγω του ότι ο αρχικός ταξινομητής δεδομένων επιστρέφει καθαρή εικόνα με λίγα σφάλματα. Αυτό συμβαίνει διότι το σετ εκπαίδευσης είναι αρκετά μεγάλο με αποτέλεσμα να δημιουργούνται καλά μοντέλα από τους ταξινομητές δεδομένων και όπως θα δούμε παρακάτω όταν οι ταξινομητές δεδομένων έχουν μεγαλύτερο σφάλμα η ενίσχυση της απόδοσης είναι καλύτερη. Στο Σχήμα 6.4 απεικονίζονται οι χάρτες ταξινόμησης για κάθε έναν από τους αλγορίθμους που δοκιμάστηκαν. Σχήμα 6.4 Χάρτες ταξινόμησης (α) Σετ εκπαίδευσης (β) SVM (γ) AdaBoost (δ) SpatialBoost (ε) SpatialBoost + Bagging (στ) Πρότυπη κατάτμηση Παρατηρούμε ότι οι χάρτες ταξινόμησης του SpatialBoost και του SpatialBoost + Bagging έχουν ελάχιστο θόρυβο. Ωστόσο, βλέπουμε επίσης ότι σε περιοχές που πολλά εικονοστοιχεία έχουν ταξινομηθεί εσφαλμένα από τον φασματικό SVM, ο αλγόριθμος «μπερδεύεται» από την λάθος χωρική πληροφορία που υπάρχει και ταξινομεί λάθος και πρότυπα που τυχόν έχουν 84

99 Πειραματικά αποτελέσματα ταξινομηθεί σωστά από τον φασματικό SVM με αποτέλεσμα να δημιουργούνται συμπαγείς περιοχές εσφαλμένων εικονοστοιχείων. Στη συνέχεια θα αναλύσουμε περισσότερο τη λειτουργία του SpatialBoost. Χρησιμοποιούμε ενδεικτικά ένα μοντέλο που δημιουργήθηκε κατά διάρκεια των επαναλήψεων της διαδικασίας bagging, προκειμένου να δούμε τι συμβαίνει με το σφάλμα ταξινόμησης στα σετ εκπαίδευσης και δοκιμής καθώς και ποιοι ταξινομητές, δεδομένων ή χωρικοί, επιλέγονται σε κάθε επανάληψη. Στο Σχήμα 6.5 απεικονίζονται τα σφάλματα ταξινόμησης στο σετ εκπαίδευσης και δοκιμής. Παρατηρούμε ότι το σφάλμα εκπαίδευσης, μετά από μόλις 3 επαναλήψεις γίνεται ίσο με μηδέν. Παρόλα αυτά το σφάλμα δοκιμής συνεχίζει να μειώνεται περαιτέρω από το σημείο που μηδενίστηκε το σφάλμα εκπαίδευσης. Στο Σχήμα 6.6 φαίνονται οι ταξινομητές που επιλέγονται σε κάθε επανάληψη. Με 1 σημειώνεται ο ταξινομητής δεδομένων ενώ για τιμές μεγαλύτερες του 1 έχουμε χωρικούς ταξινομητές. Δεδομένου ότι θέσαμε r max = 2 σε κάθε επανάληψη εκπαιδεύονται μόνο δύο χωρικοί ταξινομητές. Από το σχήμα συμπεραίνουμε ότι για το συγκεκριμένο μοντέλο δεν χρησιμοποιήθηκε ο ταξινομητής που αντιστοιχεί στη γειτονιά με ακτίνα 2 αλλά μόνο αυτός για r = 1. Επίσης συγκρίνοντας το Σχήμα 6.5 με το Σχήμα 6.6 παρατηρούμε ότι η καμπύλη στο σφάλμα δοκιμής οφείλεται στο ότι στην επανάληψη 5 επιλέχθηκε ταξινομητής δεδομένων ο οποίος έχει χαμηλότερη ακρίβεια. Σχήμα 6.5 Σφάλματα εκπαίδευσης και δοκιμής ενός μοντέλου SpatialBoost 85

100 Κεφάλαιο 6 Σχήμα 6.6 Είδος ταξινομητή που επιλέγεται σε κάθε επανάληψη Δεύτερο σετ εκπαίδευσης Για το σχηματισμό αυτού του σετ εκπαίδευσης, ακολουθούμε την ίδια διαδικασία με προηγουμένως μόνο τώρα που για τα κεντρικά εικονοστοιχεία επιλέγουμε τυχαία το 3% των προτύπων από κάθε κλάση. Για τις τρεις μικρότερες κλάσεις επιλέγουμε πάλι δύο τυχαία πρότυπα. Στη συνέχεια εισάγουμε στο σετ εκπαίδευσης τους γείτονες των κεντρικών εικονοστοιχείων οι οποίοι περιλαμβάνονται μέχρι τη γειτονιά με r max = 2 και τα υπόλοιπα δείγματα στην εικόνα χρησιμοποιούνται για τη δοκιμή του μοντέλου. Ο λόγος που χρησιμοποιούμε μικρότερο σετ εκπαίδευσης είναι διότι θέλουμε να εξετάσουμε τη συμπεριφορά του αλγορίθμου SpatialBoost όταν χρησιμοποιούνται λίγα δεδομένα εκπαίδευσης και όταν ο αρχικός ταξινομητής δεδομένων έχει μεγάλο σφάλμα. Μας ενδιαφέρει λοιπόν να δούμε, αν και κατά πόσον βοηθάει, σε αυτήν την περίπτωση, η χωρική πληροφορία στην βελτίωση της ακρίβειας ταξινόμησης. Στον ακόλουθο πίνακα καταγράφεται το πλήθος των δειγμάτων εκπαίδευσης και δοκιμής ανά κλάση και τα δείγματα εκπαίδευσης απεικονίζονται στο Σχήμα

101 Πειραματικά αποτελέσματα Κλάση Όνομα N train N test N total 1 Alfalfa Corn-no till Corn-min till Corn Grass/Pasture Grass/Trees Grass/Pasturemowed Hay-windrowed Oats Soybeans-no till Soybeans-min till Soybeans-clean till Wheat Woods Bldg-grass-treedrive Stone-steel towers Total Πίνακας 6.3 Αριθμός δειγμάτων εκπαίδευσης και δοκιμής ανά κλάση Σχήμα 6.7 Δείγματα εκπαίδευσης Επειδή ο αριθμός των δειγμάτων εκπαίδευσης είναι σχετικά μικρός δεν έχει νόημα να εφαρμόσουμε τον αλγόριθμο SpatialBoost σε συνδυασμό με τη μέθοδο Bagging. Για να προκύψουν τα υποσύνολα εκπαίδευσης που απαιτούνται για κάθε επανάληψη Bagging πρέπει να γίνει δειγματοληψία του ήδη μικρού σετ εκπαίδευσης. Επομένως, τα υποσύνολα που θα δημιουργηθούν θα έχουν μικρό 87

102 Κεφάλαιο 6 πλήθος δειγμάτων με αποτέλεσμα να μην είναι αρκετά αντικειμενικά και τα μοντέλα που θα εκπαιδευτούν με αυτά θα παρουσιάζουν μεγάλο σφάλμα ταξινόμησης. Συνεπώς, με αυτό το σετ εκπαίδευσης θα χρησιμοποιήσουμε τον SpatialBoost χωρίς Bagging και θα συγκρίνουμε την απόδοσή του ξανά με τον SVM και τον AdaBoost. Προκειμένου να υπολογίσουμε τις παραμέτρους του πυρήνα του SVM κάνουμε 10 folded cross-validation και προκύπτουν οι βέλτιστες τιμές: C = 64, γ = 2 2. Για τον AdaBoost, θέτουμε πάλι T = 30, αλλά και σε αυτήν την περίπτωση, μετά από 13 επαναλήψεις το σφάλμα του ασθενούς ταξινομητή γίνεται μεγαλύτερο από 1/2 και η διαδικασία τερματίζεται. Ως ασθενή ταξινομητή χρησιμοποιούμε SVM με πυρήνα RBF και θέτουμε σταθερές τιμές για τις παραμέτρους C = 64, γ = 0.1. Οι παράμεροι που δίνονται ως είσοδοι στον SpatialBoost είναι οι ίδιοι με προηγουμένως, καθώς παρατηρούμε ότι αυτά τα διαστήματα ικανοποιούν τις απαιτήσεις για αρχικά ασθενείς SVM οι οποίοι σταδιακά γίνονται πιο ισχυροί. Επομένως έχουμε: γ ini,data =0.1, γ max,data = 0.5, γ step,data = 0.2, γ ini,spatial = 0.001, γ max,spatial = 0.005, γ step,spatial = 0.002, C = 64. Επίσης, θέσαμε ένα μέγιστο όριο επαναλήψεων T = 40 ώστε να τερματίζεται η διαδικασία σε περίπτωση που οι ασθενείς ταξινομητές είναι αρκετά ισχυροί και το σφάλμα τους δεν γίνεται ποτέ μεγαλύτερο από 1/2. Ο Πίνακας 6.4 συγκεντρώνει αναλυτικά τα αποτελέσματα ταξινόμησης από κάθε αλγόριθμο για κάθε κλάση και σημειώνεται η μέση και η απόλυτη ακρίβεια κάθε αλγορίθμου. 88 Όνομα κλάσης SVM AdaBoost SpatialBoost OA AA Alfalfa Corn-no till Corn-min till Corn Grass/Pasture Grass/Trees Grass/Pasturemowed Haywindrowed

103 Πειραματικά αποτελέσματα Oats Soybeans-no till Soybeans-min till Soybeans-clean till Wheat Woods Bldg-grasstree-drive Stone-steel towers Πίνακας 6.4 Ακρίβεια ταξινόμησης των αλγορίθμων ανά κλάση Εξετάζοντας τον παραπάνω πίνακα, βλέπουμε ότι και πάλι ο SpatialBoost επιτυγχάνει καλύτερα αποτελέσματα, από τον SVM και τον AdaBoost που βασίζονται αποκλειστικά σε φασματικά χαρακτηριστικά, τόσο σε όρους απόλυτης ακρίβεια όσο και στην ταξινόμηση της κάθε κλάσης ξεχωριστά. Ωστόσο υστερεί σε μέση ακρίβεια και αυτό οφείλεται στη χαμηλή ακρίβεια που παρουσιάζει στις τρεις μικρότερες κλάσεις (Alfalfa, Grass/Pasture-mowed, Oats). Μάλιστα βλέπουμε ότι για την κλάση Oats κανένα δείγμα του σετ δοκιμής δεν ταξινομείται σωστά με αποτέλεσμα να χάνεται αυτή η κλάση και να πέφτει η μέση ακρίβεια. Επίσης, παρατηρούμε ότι ο SpatialBoost υστερεί σε ακρίβεια στην κλάση Stone-steel-towers που και αυτή έχει μικρό αριθμό δειγμάτων. Συμπεραίνουμε ότι για τα παραπάνω προβλήματα του SpatialBoost οφείλεται το μικρό εμβαδό αυτών των κλάσεων αλλά και το ότι βρίσκονται αρκετά κοντά, είναι σχεδόν ενωμένες, με περιοχές άλλων κλάσεων. Επομένως, οι χωρικοί ταξινομητές ακόμα και για τις μικρές γειτονιές που έχουν επιλεχθεί, ταξινομούν εσφαλμένα τα κεντρικά εικονοστοιχεία καθώς τα γειτονικά ανήκουν σε άλλη κλάση ή συνορεύουν με δείγματα άλλης κλάσης. Στην εικόνα που ακολουθεί απεικονίζονται οι χάρτες ταξινόμησης των αλγορίθμων. 89

104 Κεφάλαιο 6 Σχήμα 6.8 Χάρτες ταξινόμησης (α) Σετ εκπαίδευσης (β) SVM (γ) AdaBoost (δ) SpatialBoost (ε) Πρότυπη κατάτμηση Παρατηρώντας το Σχήμα 6.8, βλέπουμε ότι ο SpatialBoost αφαιρεί αρκετά ικανοποιητικά το θόρυβο που σχετίζεται με εικονοστοιχεία που έχουν παρόμοιο φάσμα με αυτά κάποιας άλλης κλάσης. Για παράδειγμα, βλέπουμε ότι το εσωτερικό της κλάσης Soybeans-min-till έχει καθαριστεί εντελώς εκεί όπου υπάρχουν μεμονωμένα εσφαλμένα εικονοστοιχεία. Αντίθετα, σε περιοχές όπου η πυκνότητα των λάθος ταξινομημένων εικονοστοιχείων είναι μεγάλη η χωρική λογική οδηγεί στο να ταξινομηθούν λάθος και τυχόν σωστά ταξινομημένα εικονοστοιχεία. Ένα τέτοιο παράδειγμα έχουμε στο κομμάτι της κλάσης Cornno-till που σημειώνεται με κόκκινο κύκλο στην εικόνα (ε) του σχήματος Σχήμα 6.8. Στο Σχήμα 6.9, παρατηρούμε πώς εξελίσσονται τα σφάλματα εκπαίδευσης και δοκιμής του SpatialBoost για το δεύτερο σετ εκπαίδευσης. Παρατηρούμε ότι αν και αρχικά το σφάλμα εκπαίδευσης αυξάνεται, από την τρίτη επανάληψη και έπειτα είναι ίσο με μηδέν. Από την άλλη πλευρά το σφάλμα δοκιμής συνεχίζει να μειώνεται μέχρι που συγκλίνει στην τελική του τιμή μετά από 15 επαναλήψεις. Η μικρή διακύμανση που παρουσιάζεται στην 23 η επανάληψη οφείλεται στην αλλαγή της τιμής της παραμέτρου γ spatial του πυρήνα καθώς τότε γίνεται το σφάλμα του χωρικού ταξινομητή μεγαλύτερο από 1/2. Στο 90

105 Πειραματικά αποτελέσματα Σχήμα 6.10 φαίνονται οι ταξινομητές που επιλέχθηκαν σε κάθε επανάληψη. Βλέπουμε ότι αρχικά επιλέγονται δύο ταξινομητές δεδομένων και στην τρίτη επανάληψη επιλέγεται για πρώτη φορά χωρικός ταξινομητής και το σφάλμα εκπαίδευσης μηδενίζεται. Επίσης, σε αυτήν την περίπτωση χρησιμοποιούνται και οι δύο χωρικοί ταξινομητές. Σχήμα 6.9 Σφάλματα εκπαίδευσης και δοκιμής του SpatialBoost Σχήμα 6.10 Είδος ταξινομητή που επιλέγεται σε κάθε επανάληψη 91

106 Κεφάλαιο Σετ δεδομένων του Πανεπιστημίου της Pavia Η εικόνα του Πανεπιστημίου της Pavia απεικονίζει μια αστική περιοχή η οποία καταγράφηκε από τον αισθητήρα ROSIS-03, σε μια πτήση 8 Ιουλίου του 2002 το μεσημέρι. Η περιοχή περιλαμβάνει ένα τμήμα των εγκαταστάσεων του Πανεπιστημίου της Pavia στην Ιταλία. Η εικόνα έχει διάσταση και χωρική ανάλυση 1.3 μέτρα ανά εικονοστοιχείο. Η αρχική καταγραφή της εικόνας περιλαμβάνει 115 φασματικές ζώνες από 0.43 έως 0.86 μm. Ωστόσο, για την εκτέλεση των πειραμάτων πρέπει να αφαιρεθούν 12 ζώνες που περιέχουν θόρυβο και χρησιμοποιούνται οι 103 που απομένουν. Τα δεδομένα χωρίζονται σε 9 διαφορετικές κλάσεις. Η περιοχή σε ψευδόχρωμη απεικόνιση φαίνεται στο Σχήμα 6.11 ενώ η πρότυπη κατάτμησή της με τις 9 κλάσεις στο Σχήμα Το σετ δεδομένων συνοδεύεται από ένα πρότυπο σύνολο δειγμάτων εκπαίδευσης προκειμένου να συγκρίνεται η απόδοση των διάφορων τεχνικών μηχανικής εκμάθησης ως προς αυτό το σύνολο. Όμως, λόγω της ιδιομορφίας αυτού του συνόλου εκπαίδευσης δεν είναι δυνατό να εφαρμοστεί η τεχνική bagging καθώς είναι μικρός ο αριθμός των δειγμάτων και σε ορισμένες περιπτώσεις αυτά δεν συνοδεύονται από ικανοποιητικό αριθμό γειτόνων. Επομένως, θα δοκιμάσουμε ένα επιπλέον σετ εκπαίδευσης το οποίο προκύπτει με τυχαία δειγματοληψία για να δοκιμάσουμε τον SpatialBoost με bagging. Συνοψίζοντας τα παραπάνω, θα παρουσιάσουμε στη συνέχεια δύο σειρές πειραμάτων για τα δύο διαφορετικά σετ εκπαίδευσης. Σχήμα 6.11 Η περιοχή σε ψευδόχρωμη απεικόνιση 92

107 Πειραματικά αποτελέσματα Σχήμα 6.12 Η πρότυπη κατάτμηση και οι κλάσεις της εικόνας Σετ εκπαίδευσης με τυχαία δειγματοληψία προτύπων από κάθε κλάση Στην πρώτη σειρά πειραμάτων που θα παρουσιάσουμε, χρησιμοποιούμε ένα σετ εκπαίδευσης που προέκυψε από τυχαία δειγματοληψία προτύπων από κάθε κλάση. Σε πρώτη φάση επιλέγονται τυχαία 20 εικονοστοιχεία από κάθε κλάση, εκτός από την κλάση Meadows η οποία έχει πολύ περισσότερα δείγματα από τις υπόλοιπες και για να είναι ισορροπημένο το σύνολο εκπαίδευσης επιλέγουμε τυχαία 70 εικονοστοιχεία από αυτή. Στη συνέχεια προκειμένου να αξιοποιήσουμε τη χωρική πληροφορία προσθέτουμε στο σύνολο εκπαίδευσης τους γείτονες των εικονοστοιχείων που επιλέχθηκαν προηγουμένως. Επειδή η εικόνα έχει μεγάλη ανάλυση, μας επιτρέπει να χρησιμοποιήσουμε μεγάλη ακτίνα για τις γειτονίες, ακόμα και για τα εικονοστοιχεία της κλάσης Trees που είναι κατανεμημένα σε πολλές μικρές περιοχές. Συνεπώς, επιλέγουμε r max = 8. Με βάση αυτήν την επιλογή για την γειτονιά μέγιστης ακτίνας, σε κάθε επανάληψη του SpatialBoost εκπαιδεύονται, εκτός από τον ταξινομητή δεδομένων, 5 χωρικοί ταξινομητές για τις γειτονιές με r = {1, 2, 2, 5, 8}. Τα υπόλοιπα δείγματα που απομένουν αποτελούν το σύνολο δοκιμής. Ο Πίνακας 6.5 δείχνει το πλήθος των δειγμάτων εκπαίδευσης και δοκιμής ανά κλάση. Η θέση των 93

108 Κεφάλαιο 6 κεντρικών εικονοστοιχείων και το σετ εκπαίδευσης που προκύπτει από αυτά και τα γειτονικά εικονοστοιχεία απεικονίζονται στο Σχήμα Κλάση Όνομα N center N train N test N total 1 Asphalt Meadows Gravel Trees Metal sheets 6 Bare soil Bitumen Bricks Shadows Total Πίνακας 6.5 Αριθμός δειγμάτων εκπαίδευσης και δοκιμής ανά κλάση Σχήμα 6.13 Το αρχικό και το τελικό σύνολο εκπαίδευσης 94

109 Πειραματικά αποτελέσματα Όπως και στο σετ Indiana Pines, έτσι και τώρα οι αλγόριθμοι που θα συγκρίνουμε είναι ο SVM με πυρήνα ακτινωτής βάσης, ο AdaBoost με SVM ως ασθενή ταξινομητή, ο SpatialBoost και ο SpatialBoost με Bagging. Για την ταξινόμηση με τον SVM, επιλέχθηκαν μέσω 10 folded cross-validation οι παράμετροι C = 2048, γ = Επειδή στον AdaBoost χρησιμοποιούμε SVM ως ταξινομητή βάσης και θέλουμε να τον εξασθενίσουμε προκειμένου να έχει αποτέλεσμα η ενίσχυση, χρησιμοποιούμε C = 2048 και γ = Για τον SpatialBoost επιλέξαμε τις εξής τιμές για τις παραμέτρους των ασθενών ταξινομητών: γ ini,data = 0.01, γ max,data = 0.2, γ step,data = 0.1, γ ini,spatial = , γ max,spatial = 0.002, γ step,spatial = 0.001, C = Επίσης ορίζουμε ένα μέγιστο όριο για τις επαναλήψεις, T = 40 ώστε να τερματίζεται η διαδικασία σε περίπτωση που οι ασθενείς ταξινομητές είναι αρκετά ισχυροί και το σφάλμα τους δεν γίνεται ποτέ μεγαλύτερο από 1/2. Τέλος, όσον αφορά τον SpatialBoost με Bagging, οι τιμές των παραμέτρων των ασθενών ταξινομητών είναι οι ίδιες την περίπτωση του απλού SpatialBoost, και θέτουμε B = 20 επαναλήψεις bootstrap και σε κάθε επανάληψη επιλέγουμε για το υποσύνολο εκπαίδευσης 70% από τα κεντρικά εικονοστοιχεία και τους γείτονές τους. Στον πίνακα που ακολουθεί καταγράφονται τα αποτελέσματα ταξινόμησης από τους παραπάνω αλγορίθμους. Όνομα κλάσης SVM AdaBoost SpatialBoost SpatialBoost + Bagging OA AA Asphalt Meadows Gravel Trees Metal sheets Bare soil Bitumen Bricks Shadows Πίνακας 6.6 Συγκριτικά αποτελέσματα ταξινόμησης των αλγορίθμων Παρατηρώντας τον παραπάνω πίνακα μπορούν να προκύψουν ορισμένα χρήσιμα συμπεράσματα. Καταρχήν, οι μέθοδοι SpatialBoost και SpatialBoost 95

110 Κεφάλαιο 6 με Bagging υπερέχουν τόσο σε απόλυτη και μέση ακρίβεια όσο και στην ακρίβεια στις περισσότερες από τις κλάσεις. Οι μόνες κλάσεις στις οποίες υστερούν σε ακρίβεια σε σχέση με έναν ταξινομητή που χρησιμοποιεί μόνο φασματική πληροφορία είναι οι Trees και Shadows. Αυτές οι δύο κλάσεις έχουν την ιδιαιτερότητα ότι σαν περιοχές είναι στενές με μικρό εμβαδό. Έτσι, για κάποιο εικονοστοιχείο που ανήκει σε αυτές ο χωρικός ταξινομητής δέχεται πληροφορία για τα γειτονικά εικονοστοιχεία που είναι πιθανό να μην ανήκουν σε αυτήν την κλάση. Επομένως, ο ταξινομητής «μπερδεύεται» και ταξινομεί εσφαλμένα τα εικονοστοιχεία υπό εξέταση ώστε να ταιριάζουν με την κλάση των γειτονικών. Επίσης, παρατηρούμε ότι ο AdaBoost με SVM για ασθενή ταξινομητή, υστερεί συγκριτικά με τον απλό SVM, όταν δεν ρυθμίζεται η παράμετρος γ του πυρήνα των ασθενών SVM. Στο Σχήμα 6.14 παρουσιάζονται οι χάρτες ταξινόμησης για κάθε έναν από τους αλγορίθμους που δοκιμάσαμε. Εξετάζοντας τους χάρτες, γίνεται αντιληπτό αμέσως ότι η χωρική πληροφορία δημιουργεί χάρτες ταξινόμησης με καθαρές συμπαγείς περιοχές από δείγματα που ανήκουν στην ίδια κλάση. Αυτό μπορεί να σημαίνει δύο πράγματα. Σε περιοχές όπου έχουμε μεγάλη πυκνότητα από σωστά ταξινομημένα πρότυπα, τα τυχόν λάθος «φιλτράρονται» μέσω της διαδικασίας εκμάθησης και παίρνουν την σωστή ετικέτα. Αντίθετα, σε περιοχές όπου έχουμε περισσότερα εσφαλμένα πρότυπα, αυτή η λάθος πληροφορία οδηγεί το μοντέλο να ταξινομεί και τα ορθά ταξινομημένα εικονοστοιχεία στη λάθος κλάση στην οποία ανήκουν οι γείτονες. 96

111 Πειραματικά αποτελέσματα Σχήμα 6.14 Χάρτες ταξινόμησης (α) Σετ εκπαίδευσης (β) SVM (γ) AdaBoost (δ) SpatialBoost (ε) SpatialBoost + Bagging (στ) Η πρότυπη κατάτμηση Προκειμένου να αναλύσουμε την λειτουργία του SpatialBoost, επιλέγουμε τυχαία ένα από τα μοντέλα που δημιουργήθηκαν κατά τις επαναλήψεις του bagging. Στο Σχήμα 6.15 απεικονίζονται τα σφάλματα ταξινόμησης του μοντέλου. Παρατηρούμε ότι το σφάλμα εκπαίδευσης γίνεται 0 μετά από 4 επαναλήψεις, ενώ το σφάλμα δοκιμής αποκτά την ελάχιστη τιμή του στην 6 η επανάληψη. Η εκπαίδευση συνεχίζεται και παρατηρούμε ότι πιθανώς να υπάρχει υπερεκπαίδευση στο συγκεκριμένο μοντέλο καθώς το σφάλμα δοκιμής αυξάνεται λίγο. Το άλμα του σφάλματος δοκιμής που παρατηρείται στην 21 η επανάληψη οφείλεται στην αλλαγή της τιμής του γ spatial. Στο Σχήμα

112 Κεφάλαιο 6 βλέπουμε ότι αρχικά επιλέγεται ως γνωστόν ο ταξινομητής δεδομένων ενώ στις επόμενες επαναλήψεις επιλέγονται κυρίως χωρικοί ταξινομητές. Ο μόνος χωρικός ταξινομητής που δεν επιλέγεται ποτέ σε αυτό το μοντέλο είναι αυτός που αντιστοιχεί στη γειτονιά με ακτίνα r = 2. Σχήμα 6.15 Σφάλματα εκπαίδευσης και δοκιμής του SpatialBoost Σχήμα 6.16 Είδος ταξινομητή που επιλέγεται σε κάθε επανάληψη 98

113 Πειραματικά αποτελέσματα Τέλος στον πίνακα που ακολουθεί παρουσιάζονται οι τιμές της απόλυτης ακρίβειας των μοντέλων από τις επαναλήψεις bagging προκειμένου να αποκτήσουμε μια ιδέα για το πόση βελτίωση προσφέρει τελικά το bagging. Υπενθυμίζουμε ότι η απόλυτη ακρίβεια της τελικής υπόθεσης από τον αλγόριθμο SpatialBoost + bagging είναι 95.42%. Αριθμός OA Επανάληψης Πίνακας 6.7 Ακρίβειες των μοντέλων που δημιουργήθηκαν στις επαναλήψεις bagging Πρότυπο σετ εκπαίδευσης Για την επόμενη και τελευταία σειρά πειραμάτων θα χρησιμοποιήσουμε το πρότυπο σετ εκπαίδευσης, το οποίο είναι αυτό που χρησιμοποιείται για την σύγκριση της απόδοσης διάφορων τεχνικών μηχανικής εκμάθησης. Ο αριθμός των δειγμάτων στα σύνολα εκπαίδευσης και δοκιμής ανά κλάση παρουσιάζεται στον αμέσως επόμενο πίνακα. Το σετ εκπαίδευσης απεικονίζεται στο Σχήμα Επειδή αποτελείται από συμπαγείς κλειστές περιοχές, δηλαδή για κάθε 99

114 Κεφάλαιο 6 εικονοστοιχείο είναι διαθέσιμα και τα γειτονικά, μπορούμε να το χρησιμοποιήσουμε απευθείας στον αλγόριθμο SpatialBoost. Επιλέγουμε r max = 8. Το μόνο πρόβλημα με αυτό το σετ είναι ο μικρός αριθμός δειγμάτων που δεν επιτρέπει να γίνει bagging. Κλάση Όνομα N train N test N total 1 Asphalt Meadows Gravel Trees Metal sheets 6 Bare soil Bitumen Bricks Shadows Total Πίνακας 6.8 Αριθμός δειγμάτων στα σετ εκπαίδευσης και δοκιμής Σχήμα 6.17 Το πρότυπο σετ εκπαίδευσης 100

115 Πειραματικά αποτελέσματα Θα χρησιμοποιήσουμε το παραπάνω σετ εκπαίδευσης, για να συγκρίνουμε την απόδοση του SVM, του AdaBoost και του SpatialBoost. Πρώτα όμως πρέπει να καθορίσουμε τις παραμέτρους που απαιτούνται από κάθε αλγόριθμο. Μέσω 10 folded cross-validation προκύπτουν οι βέλτιστες τιμές για το C = 2048 και γ = 1. Για τον AdaBoost, κατά τα γνωστά εξασθενούμε τον SVM που χρησιμοποιούμε ως ταξινομητή βάσης και γι αυτό χρησιμοποιούμε C = 2048 και γ = 0.5 για Τ = 20 επαναλήψεις. Τέλος για τον SpatialBoost έχουμε: γ ini,data = 0.1, γ max,data = 2, γ step,data = 1, γ ini,spatial = , γ max,spatial = 0.002, γ step,spatial = 0.001, C = 2048 και μέγιστο αριθμό επαναλήψεων Τ = 40. Όνομα κλάσης SVM AdaBoost SpatialBoost OA AA Asphalt Meadows Gravel Trees Metal sheets Bare soil Bitumen Bricks Shadows Πίνακας 6.9 Συγκριτικά αποτελέσματα ταξινόμησης των αλγορίθμων Ο Πίνακας 6.9 παρουσιάζει τα αποτελέσματα ταξινόμησης από τους διάφορους αλγορίθμους. Και σε αυτό το σετ εκπαίδευσης επιβεβαιώνεται ότι ο SpatialBoost έχει καλύτερα αποτελέσματα από τους άλλους δύο αλγορίθμους, οι οποίοι ταξινομούν τα πρότυπα μόνο με βάση τα φασματικά χαρακτηριστικά τους. Επίσης εδώ παρατηρούμε ξανά την αδυναμία του SpatialBoost στις κλάσεις με μικρό εμβαδό, δηλαδή Trees και Shadows. Τέλος παρατηρούμε για ακόμα μια φορά την αδυναμία του AdaBoost να ξεπεράσει την ακρίβεια του απλού SVM, άρα διαπιστώνουμε ότι δεν έχει κανένα νόημα να χρησιμοποιούμε SVM ως ασθενή ταξινομητή χωρίς να περιλαμβάνεται προσαρμοστική ρύθμιση των παραμέτρων του. 101

116 Κεφάλαιο 6 Στο Σχήμα 6.18 απεικονίζονται οι χάρτες ταξινόμησης των ταξινομητών που προέκυψαν. Σχήμα 6.18 Χάρτες ταξινόμησης (α) Σετ εκπαίδευσης (β) SVM (γ) AdaBoost (δ) SpatialBoost (ε) Πρότυπη κατάτμηση Είναι χαρακτηριστική η περιοχή στον άσπρο κύκλο στην εικόνα (δ) της οποίας όλα τα εικονοστοιχεία ταξινομούνται σε λάθος κλάση επειδή ο αρχικός ταξινομητής δεδομένων έχει σε εκείνη την περιοχή μεγάλη πυκνότητα από λάθος ταξινομημένα εικονοστοιχεία. Στο Σχήμα 6.19 απεικονίζονται τα σφάλματα ταξινόμησης του μοντέλου. Παρατηρούμε ότι το σφάλμα εκπαίδευσης μηδενίζεται μετά την τρίτη 102