Ανίχνευση ανθρώπου και παρακολούθηση της κίνησης του (Human detection and tracking)

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΔΠΜΣ ΗΛΕΚΤΡΟΝΙΚΗ ΚΑΙ ΕΠΕΞΕΡΓΑΣΙΑ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ Ανίχνευση ανθρώπου και παρακολούθηση της κίνησης του (Human detecton and trackng) ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΒΛΑΧΟΣΤΑΘΗ ΣΩΤΗΡΗ (Α.Μ. 117) ΜΕΤΑΠΤΥΧΙΑΚΟΥ ΦΟΙΤΗΤΗ ΤΟΥ ΔΠΜΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΕΠΕΞΕΡΓΑΣΙΑΣ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΕΠΙΒΛΕΠΩΝ: ΚΑΘΗΓΗΤΗΣ Σ. ΦΩΤΟΠΟΥΛΟΣ ΠΑΤΡΑ, Ιούνιος

2 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΔΠΜΣ ΗΛΕΚΤΡΟΝΙΚΗ ΚΑΙ ΕΠΕΞΕΡΓΑΣΙΑ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΠΙΣΤΟΠΟΙΗΣΗ Πιστοποιείται ότι η διπλωματική εργασία με θέμα : Ανίχνευση και παρακολούθηση ανθρώπου (people detecton and trackng) του Μεταπτυχιακού φοιτητή του τμήματος Ηλεκτρονικής και Επεξεργασίας της Πληροφορίας ΒΛΑΧΟΣΤΑΘΗ ΣΩΤΗΡΗ (Α.Μ. 117) παρουσιάστηκε δημόσια και εξετάσθηκε στο τμήμα φυσικής και στο τομέα ηλεκτρονικής του πανεπιστημίου Πατρών στις... Η τριμελής Επιτροπή Καθηγητής Καθηγητής Καθηγητής Φωτόπουλος Σπ. Οικονόμου Γεωρ. Αναστασόπουλος Βασ. Πάτρα, Ιούνιος

3 ΕΥΧΑΡΙΣΤΙΕΣ Σε αυτό το σημείο θα ήθελα να εκφράσω τις ευχαριστίες μου σε όλους του καθηγητές που με δίδαξαν και με καθοδήγησαν καθ όλη την διάρκεια του μεταπτυχιακού προγράμματος και ιδιαίτερα τον καθηγητή κ. Σπύρο Φωτόπουλο, επιβλέποντα τις διπλωματικής μου εργασίας και τον υπ.διδάκτορα Δημήτρη Kαστανιώτη για την βοήθεια τους στην υλοποίηση αυτής της διπλωματικής. 3

4 Περιεχόμενα 1 ΑΝΑΓΝΩΡΙΣΗ ΑΝΤΙΚΕΙΜΕΝΟΥ ΕΙΚΟΝΑΣ ΜΕΘΟΔΟΙ ΕΞΑΓΩΓΗΣ ΧΑΡΑΚΤΗΡΙΣΤΙΚΩΝ ΕΙΚΟΝΑΣ ΙΣΤΟΓΡΑΜΜΑ ΠΡΟΣΑΝΑΤΟΛΙΣΜΕΝΩΝ ΚΛΙΣΕΩΝ (HOG) Ανάλυση της μεθόδου ΜΕΘΟΔΟΙ ΑΝΙΧΝΕΥΣΗΣ ΕΙΣΑΓΩΓΗ ΜΗΧΑΝΕΣ ΥΠΟΣΤΗΡΙΞΗΣ ΔΙΑΝΥΣΜΑΤΩΝ (SVM) SVM ταξινομητής για γραμμικά διαχωρίσιμα πρότυπα Μη γραμμικές SVM ΑΛΓΟΡΙΘΜΟΙ ΠΑΡΑΚΟΛΟΥΘΗΣΗΣ ΑΝΤΙΚΕΙΜΕΝΟΥ ΧΑΡΑΚΤΗΡΙΣΤΙΚΑ ΠΡΟΤΥΠΑ ΚΙΝΗΣΕΩΝ ΚΑΙ ΠΑΡΑΤΗΡΗΣΗΣ Πρότυπα κίνησης (Μoton models) Πρότυπα παρατήρησης (Observaton models) SEQUENTIAL MONTE CARLO PARTICLE FILTERING Αλγόριθμος SIR ΕΦΑΡΜΟΓΗ ΤΟΥ ΑΛΓΟΡΙΘΜΟΥ PARTICLE FILTERING ΓΙΑ ΠΑΡΑΚΟΛΟΥΘΗΣΗ ΚΙΝΗΣΗΣ ΒΑΣΙΣΜΕΝΟΥ ΣΤΗΝ ΕΝΤΑΣΗ ΙΣΤΟΓΡΑΜΜΑΤΟΣ ΜΙΑΣ ΕΛΛΕΙΠΤΙΚΗΣ ΟΡΙΟΘΕΤΗΜΕΝΗΣ ΠΕΡΙΟΧΗΣ ΜΕΘΟΔΟΛΟΓΙΑ ΥΛΟΠΟΙΗΣΗΣ ΜΕΘΟΔΟΛΟΓΙΑ ΑΝΙΧΝΕΥΣΗΣ ΤΑΞΙΝΟΜΗΣΗΣ ΜΕΘΟΔΟΛΟΓΙΑ ΠΑΡΑΚΟΛΟΥΘΗΣΗΣ ΒΙΒΛΙΟΓΡΑΦΙΑ ΠΑΡΑΡΤΗΜΑ

5 5

6 Περίληψη Η διάδοση της χρήσης των υπολογιστών σε όλο και περισσότερους τομείς της καθημερινής μας ζωής, καθώς και η τεχνολογική εξέλιξη στην επιστήμη των υπολογιστών είχε σαν φυσικό επακόλουθο τη δημιουργία αλγορίθμων που έχουν στόχο την ανίχνευση και την αναγνώριση ανθρώπων με ακρίβεια καθώς και την παρακολούθηση τους. Τέτοιοι αλγόριθμοι εφαρμόζονται κυρίως σε συστήματα οπτικής επιτήρησης που είναι ζωτικής σημασίας σε διάφορους τομείς της καθημερινότητας. Αντικείμενο της παρούσας διπλωματικής εργασίας είναι η υλοποίηση ενός συστήματος ανίχνευσης, με τη χρήση του αλγόριθμου Hstogram of Orented Gradent (HOG), ταξινόμησης με χρήση Supported Vector Machnes και παρακολούθησης ανθρώπου σε ακολουθία εικόνων, με χρήση αλγορίθμων υπολογιστικής όρασης όπως είναι ο αλγόριθμος φιλτραρίσματος σωματιδίων (Partcle Flterng). Abstract The wdespread use of computers n more and more areas of our everyday lfe and the technologcal development n computer scence as a natural consequence was the creaton of algorthms that am to detect and dentfy people accurately and montor them. Such algorthms, are appled manly n vsual survellance systems and s of vtal mportance n varous areas of everyday lfe. The subject of ths thess s to mplement a detecton system usng the algorthm Hstogram of Orented Gradent (HOG) as well, sort usng Supported Vector Machnes and the human trackng n mage sequence, usng computer vson algorthms such as Partcle Flterng algorthm. Λέξεις κλειδιά: αναγνώριση αντικειμένου, ταξινόμηση αντικειμένου, hog, detecton, trackng, partcle flterng. 6

7 1 Αναγνώριση αντικειμένου εικόνας 1.1 Μέθοδοι εξαγωγής χαρακτηριστικών εικόνας H ανίχνευση αντικειμένων χρησιμοποιείται αφενός στην όραση υπολογιστών αφ ετέρου στην επεξεργασία εικόνας και ασχολείται με την ανίχνευση αντικειμένων μιας συγκεκριμένης κατηγορίας (όπως είναι οι άνθρωποι, τα κτίρια, ή τα αυτοκίνητα) σε ψηφιακές εικόνες και βίντεο. Ένας από τους τομείς της ανίχνευσης αντικειμένων είναι και η ανίχνευση ανθρώπου. Η ανίχνευση αντικειμένων έχει εφαρμογές σε πολλούς τομείς της υπολογιστικής όρασης, συμπεριλαμβανομένης της ανάκτησης εικόνας και επιτήρησης βίντεο. Για την ανίχνευση αντικειμένων και πιο συγκεκριμένα ανθρώπων, υπάρχουν αρκετές αναφορές στη βιβλιογραφία. Οι Pope & Lowe [20] δημιουργώντας μοντέλα με την εμφάνιση των αντικειμένων υπό διαφορετικές οπτικές γωνίες, προσπάθησαν να ανιχνεύσουν αντικείμενα. Οι Gavrla and Phlomn [10] χρησιμοποιώντας σαν χαρακτηριστικό το σχήμα, προσπάθησαν να ανιχνεύσουν πεζούς σε πραγματικό χρόνο. Οι Mohan, Papageorgou & Poggo [13] προσπάθησαν να ανιχνεύσουν την κατηγορία «άνθρωπος» με χαρακτηριστικό τα ανθρώπινα μέλη του σώματος. Κατηγοριοποιώντας αυτές τις προσεγγίσεις σε κατηγορίες θα είχαμε μια κατηγορία που βασίζεται στα μέρη που αποτελούν το αντικείμενο. Δηλαδή η αναγνώριση περιοχών της εικόνας, ως μέρη που απαρτίζουν το αντικείμενο, προσδιορίζουν την ύπαρξή του. Παραδείγματος χάριν ένα ζευγάρι από ρόδες, ένα τιμόνι, η μια σέλα και ενός άξονα που ενώνει τις ρόδες, σε συνδυασμό με την απουσία μηχανής, μας υποδηλώνει ότι το προς εξέταση αντικείμενο είναι ένα ποδήλατο. Η δεύτερη κατηγορία συλλέγει και κωδικοποιεί πληροφορίες σε μία εικόνα που σχετίζονται με το σχήμα, την υφή, αλλά και με οποιοδήποτε άλλο χαρακτηριστικό που μπορεί να περιγράψει το αντικείμενό μας. Για την ανίχνευση ανθρώπων, έχουν χρησιμοποιηθεί μέθοδοι και τεχνικές που μπορούν να ενταχθούν και στις δύο κατηγορίες που αναφέραμε στην 7

8 προηγούμενη παράγραφο. Οι S. Ioffe & D.A. Forsyth, [11], πρότειναν την ανίχνευση ανθρώπων, εντοπίζοντας πιθανά ανθρώπινα μέρη, μέσω τμηματοποίησης της εικόνας. Με συνδυασμό των κομματιών αυτών ελέγχεται η κατασκευή ή μη ανθρώπινου σώματος και αντίστοιχα η ύπαρξη του ή όχι. Βασικά προβλήματα αυτής της προσπάθειας ήταν η έλλειψη ιδανικής τμηματοποίησης της εικόνας και η ενδεχόμενη και πολύ πιθανή απουσία βασικών κομματιών του ανθρώπινου σώματος λόγω της ποικιλότητας του ρουχισμού ή της ύπαρξης κάποιου εμποδίου. Τα προβλήματα αυτά προσπάθησαν να αντιμετωπίσουν οι Sprague & Luo [14] εισάγοντας τα mxtures of trees και οι Mkolajczyk et al [15] χρησιμοποιώντας ένα συνδυασμό ιστογραμμάτων κατεύθυνσης με δυαδικής κατωφλίωσης τιμές της κλίσης. Όσον αφορά τη δεύτερη κατηγορία, σε αρκετές περιπτώσεις ανίχνευσης ανθρώπων, χρησιμοποιείται ως βασικό χαρακτηριστικό αυτό της κίνησης, συνδυαζόμενο κατάλληλα με πληροφορία από την ένταση της εικόνας. Για παράδειγμα οι Vola et al [13] κατασκεύασαν έναν ανιχνευτή κινούμενου ανθρώπου χρησιμοποιώντας πληροφορία από την ανθρώπινη κίνηση και συνδυάζοντας την με την ανθρώπινη εμφάνιση. Ο Mc Connell [16] πρότεινε ιστογράμματα κατά την κλίση των ακμών σε γειτονικές χωρικές περιοχές για αναγνώριση προτύπων, μία τεχνική που αργότερα επεκτάθηκε σε ιστογράμματα κατά κατεύθυνση παραγωγού εικόνας από τους Freeman and Roth [12]. Οι Freeman and Roth χρησιμοποίησαν την τεχνική αυτή σε ένα σύστημα αναγνώρισης χεριών. Υπολόγισαν πολύ αποτελεσματικά το ιστόγραμμα 36 διαφορετικών κατευθύνσεων της παραγωγού εικόνας και στη συνέχεια προκάλεσαν θόλωση κατά την φορά της κύριας κατεύθυνσης, ώστε να παρέχουν ανεξαρτησία σε μικρές μεταβολές της κατεύθυνσης. Παρ όλα αυτά, όλες αυτές οι προσεγγίσεις κατάφεραν να βελτιστοποιηθούν με τη χρήση του αλγορίθμου Μετασχηματισμού κλιμακωτά αναλλοίωτων χαρακτηριστικών SIFT που δημιουργήθηκε από τον Lowe [17] και αφόρα τον εντοπισμό και την περιγραφή τοπικών χαρακτηριστικών. Μερικά χρόνια αργότερα παρουσιάστηκε από τον Herbert Bay ο αλγόριθμος επιταχυνθέντων ισχυρών χαρακτηριστικών που θεωρείται ένας αλγόριθμος ανίχνευσης τοπικών χαρακτηριστικών. Συνοπτικά, υπολογιστικά είναι πιο γρήγορος από τον SIFT και θεωρείται πιο ανθεκτικός στις διάφορες παραμορφώσεις από ότι ο SIFT. Μια πιο εξελιγμένη μέθοδος του αλγόριθμου SIFT που επιτρέπει τον προσδιορισμό αξιόπιστων χαρακτηριστικών που έχουν υποστεί πολύ μεγάλες στρεβλώσεις είναι ο Affne-SIFT (ASIFT). [3] Ένας ακόμη αλγόριθμος που χρησιμοποιείται ευρέως για την ανίχνευση αντικειμένων και κυρίως ανθρώπων είναι το ιστόγραμμα προσανατολισμένων κλίσεων (Hstogram of Orented Gradents - HOG) [1, 9] που παρουσίασαν N.Dalal και B.Trggs και είναι περιγραφείς χαρακτηριστικών, που στοχεύουν στην ανίχνευση αντικειμένων σε μια σκηνή. Αυτή η τεχνική μετράει εμφανίσεις των κλίσεων προσανατολισμού σε εντοπισμένα τμήματα μιας εικόνας. Είναι μέθοδος παρόμοια με εκείνη του ιστογράμματος προσανατολισμού ακμών (edge orentaton hstograms), αλλά διαφέρει στο ότι υπολογίζεται σε ένα πυκνό πλέγμα από ομοιόμορφα κατανεμημένα κελιά και χρησιμοποιεί επικάλυψη των τοπικών αντιθέσεων για μεγαλύτερη ακρίβεια. Η μέθοδος αυτή θα παρουσιαστεί εκτενώς στην παρούσα εργασία. 8

9 Μια συνοπτική περιγραφή των αλγορίθμων εξαγωγής χαρακτηριστικών φαίνεται στον παρακάτω Σχήμα 1. [4] ΑΛΓΟΡΙΘΜΟΙ ΧΑΡΑΚΤΗΡΙΣΤΙΚΑ ΠΛΕΟΝΕΚΤΗΜΑΤΑ ΜΕΙΟΝΕΚΤΗΜΑΤΑ Scale Invarant Feature Transform (SIFT) 1999 ΕΝΤΟΠΙΖΕΙ & ΠΕΡΙΓΡΑΦΕΙ ΤΟΠΙΚΑ ΧΑΡΑΚΤΗΡΙΣΤΙΚΑ ΕΙΚΟΝΕΣ ΑΝΤΙΣΤΟΙΧΕΙ ΧΑΡΑΚΤΗΡΙΣΤΙΚΑ ΓΝΩΡΙΣΜΑΤΑ & ΣΥΝΤΑΣΣΕΙ ΕΥΡΕΤΗΡΙΑ ΕΥΜΕΤΑΒΛΗΤΟΣ ΣΕ ΠΑΡΑΜΟΡΦΩΣΕΙΣ ΠΡΟΣΑΝΑΤΟΛΙΣΜΟΥ ΦΩΤΙΣΜΟΥ & ΣΥΣΧΕΤΙΣΜΕΝΕΣ ΣΤΡΕΒΛΩΣΕΙΣ ΜΕΓΑΛΟΣ ΥΠΟΛΟΓΙΣΤΙΚΟΣ ΧΡΟΝΟΣ ΕΚΧΩΡΗΣΗ ΠΡΟΣΑΝΑΤΟΛΙΣΜΟΥ Speeded Up Robust Features (SURF) 2006 ΙΣΧΥΡΟΣ ΑΝΙΧΝΕΥΤΗΣ ΤΟΠΙΚΩΝ ΧΑΡΑΚΤΗΡΙΣΤΙΚΩΝ ΤΟΠΙΚΟΙ ΠΕΡΙΓΡΑΦΕΙΣ ΑΝΤΙΣΤΟΙΧΙΣΗ ΧΑΡΑΚΤΗΡΙΣΤΙΚΩΝ ΜΙΚΡΟΣ ΧΡΟΝΟΣ ΥΠΟΛ/ΣΜΟΥ ΛΙΓΑ ΣΗΜΕΙΑ ΧΑΡΑΚΤΗΡΙΣΤΙΚΩΝ ΣΕ ΠΕΡΙΟΧΕΣ ΜΙΚΡΗΣ ΑΝΤΙΘΕΣΗΣ ΠΡΟΒΛΗΜΑ ΣΤΗΝ ΠΡΟΟΠΤΙΚΗ ΠΑΡΑΜΟΡΦΩΣΗ AFFINE-SIFT (ASIFT) 2011 ΠΡΟΣΟΜΟΙΩΝΟΝΤΑΙ ΟΛΕΣ ΟΙ ΠΙΘΑΝΕΣ ΣΤΡΕΒΛΩΣΕΙΣ ΣΥΓΚΡΙΣΗ ΤΩΝ ΕΙΚΟΝΩΝ ΠΡΟΣΟΜΟΙΩΣΗΣ ΜΕ SIFT ΦΙΛΤΡΑΡΙΣΜΑ ΛΑΝΘΑΣΜΕΝΩΝ ΑΝΤΙΣTΟΙΧΙΩΝ ΚΑΜΙΑ ΜΕΤΑΒΟΛΗ ΣΤΙΣ ΧΑΡΑΚΤΗΡΙΣΤΙΚΈΣ ΤΟΥ 6 ΣΥΝΟΛΙΚΑ- ΠΑΡΑΜΕΤΡΟΥΣ ΣΕ ΣΧΕΣΗ ΜΕ ΤΙΣ 4 ΠΑΡΑΜΕΤΡΟΥΣ ΤΟΥ SIFT ΜΕΓΑΛΥΤΕΡΟΣ ΧΡΟΝΟΣ ΥΠΟΛΟΓΙΣΜΟΥ ΣΕ ΣΧΕΣΗ ΜΕ ΤΟΝ SIFT Hstogram Orented Gradent (HOG) 2005 of ΥΠΟΛΟΓΙΖΕΙ ΒΑΘΜΩΣΗ ΙΣΤΟΓΡΑΜΜΑΤΩΝ ΔΗΜΙΟΥΡΓΙΑ ΙΣΤΟΓΡΑΜΜΑΤΟΣ ΚΕΛΙΩΝ ΤΗΝ ΠΕΡΙΓΡΑΦΕΙ ΤΟ ΣΚΛΗΡΟ ΣΧΗΜΑ ΤΟΥ ΑΝΤΙΚΕΙΜΕΝΟΥ ΔΕΝ ΕΙΝΑΙ ΕΥΜΕΤΑΒΛΗΤΟΣ ΣΕ ΔΙΑΦΟΡΕΣ ΠΑΡΑΜΟΡΦΩΣΕΙΣ BLOCK ΠΕΡΙΓΡΑΦΕΙΣ Σχήμα 1: Συνολική παρουσίαση των μεθόδων εξαγωγής χαρακτηριστικών 9

10 Στην παρούσα εργασία χρησιμοποιήσαμε το ιστόγραμμα προσανατολισμένων κλίσεων ως μέθοδο εξαγωγής χαρακτηριστικών. 1.2 Ιστόγραμμα προσανατολισμένων κλίσεων (HOG) Τα ιστογράμματα προσανατολισμένων κλίσεων (ή Ιστογράμματα Βάθμωσης) [20] είναι περιγραφείς χαρακτηριστικών αρκετά διαδεδομένοι και χρησιμοποιούνται ευρέως στην τεχνητή όραση και στην ανάλυση εικόνας, στοχεύοντας στην ανίχνευση αντικειμένων σε μια σκηνή εικόνας. Αυτή η τεχνική μετράει τις εμφανίσεις βάθμωσης προσανατολισμού σε εντοπισμένα τμήματα μιας εικόνας και θυμίζει τεχνικές όπως είναι εκείνη του ιστογράμματος προσανατολισμού ακμών (edge orentaton hstograms), ή του μετασχηματισμού χαρακτηριστικών ανεξαρτήτων κλίμακας (Scale Invarant Feature Transformaton-SIFT) ή ακόμα και την τεχνική πλαισίων σχημάτων (Shape Contexts), αλλά διαφέρει στο ότι υπολογίζεται σε ένα πυκνό πλέγμα από ομοιόμορφα κατανεμημένα κελιά και χρησιμοποιεί επικάλυψη των τοπικών αντιθέσεων για μεγαλύτερη ακρίβεια. Οι N. Dalal και B.Trggs, ερευνητές του Γαλλικού εθνικού Ινστιτούτου έρευνας στην επιστήμη των υπολογιστών & Ελέγχου, πρώτοι παρουσίασαν αυτή τη μέθοδο σε μια εργασία τους για την τεχνητή όραση και την αναγνώριση προτύπων, στο CVPR συνέδριο [1]. Στην εργασία τους, ο αλγόριθμος τους επικεντρώθηκε στο πρόβλημα της ανίχνευσης πεζών σε στατικές εικόνες, αν και από τότε επέκτειναν τις δοκιμές τους για να συμπεριλάβουν την ανίχνευση ανθρώπων σε ταινίες και βίντεο καθώς και σε μια ποικιλία κοινών ζώων και οχημάτων σε στατικές εικόνες Ανάλυση της μεθόδου Η ιδέα πίσω από αυτή τη μέθοδο είναι ότι το σχήμα και η εμφάνιση ενός τοπικού αντικειμένου μέσα σε μια εικόνα μπορεί να περιγραφεί από το πώς κατανέμονται οι εντάσεις των κλίσεων ή των ακμών κατεύθυνσης. Οι περιγραφείς αυτοί μπορούν να εφαρμοστούν διαιρώντας την εικόνα σε μικρές περιοχές οι οποίες συνδέονται μεταξύ τους, τα λεγόμενα κελιά (cells). Για κάθε τέτοιο κελί δημιουργείται ένα ιστόγραμμα βάθμωσης για τα pxels μέσα σε αυτό το κελί. Ο συνδυασμός αυτών των ιστογραμμάτων στη συνέχεια θα αποτελέσει των περιγραφέα. Για βελτιωμένη ακρίβεια, τα τοπικά ιστογράμματα μπορούν να κανονικοποιηθούν. Αυτό μπορεί να επιτευχθεί υπολογίζοντας ένα μέτρο της έντασης σε μια μεγαλύτερη περιοχή της εικόνας, το λεγόμενο block, και στη συνέχεια χρησιμοποιώντας αυτή την τιμή κανονικοποιούνται όλα τα κελιά σε αυτό το block. Αυτή η εξομάλυνση επιτρέπει μεγαλύτερη αμεταβλητότητα σε αλλαγές φωτισμού και σκίασης. Ο HOG περιγραφέας διατηρεί μερικά βασικά πλεονεκτήματα έναντι άλλων μεθόδων. Δεδομένου ότι ο HOG περιγραφέας λειτουργεί σε εντοπισμένα κελιά, η μέθοδος υποστηρίζει αμεταβλητότητα σε γεωμετρικούς και φωτομετρικούς 10

11 μετασχηματισμούς εκτός από τον προσανατολισμό του αντικειμένου. Τέτοιες αλλαγές θα εμφανιστούν μόνο σε μεγαλύτερες χωρικά περιοχές. Επιπλέον, όπως αναφέρεται στην επιστημονική βιβλιογραφία, η χωρική δειγματοληψία, η δειγματοληψία προσανατολισμού και η ισχυρή τοπική φωτομετρική κανονικοποίηση επιτρέπει στην ατομική κίνηση του σώματος των πεζών να αγνοηθεί, εφόσον διατηρούν περίπου όρθια θέση. Συνεπώς, ο HOG αλγόριθμος θεωρείται ιδιαίτερα κατάλληλος για ανίχνευση ανθρώπων σε εικόνες. Input Image Compute Gradents Accumulate weghted votes nto spatal & orentaton cells Normalze contrast wthn overlappng blocks of cells Collect HOGs for all blocks over detecton wndow Σχήμα 2 : Βασικά στάδια υλοποίησης ενός αλγορίθμου HOG Παρουσίαση του αλγορίθμου HOG: Ο ανιχνευτής που χρησιμοποιήθηκε για την υλοποίηση αυτής της εργασία είναι βασισμένος στο βασικό ανιχνευτή που πρότειναν οι N. Dalal και B.Trggs στην εργασία τους [1] και έχει τα παρακάτω χαρακτηριστικά: [-1 0 1] φίλτρο βάθμωσης Γραμμική κλίση με ψήφο 9 bns προσανατολισμού από (lnear gradent votng nto 9 orentaton bns n ) Αριθμός pxels ανά κελί: 8x8 pxels Αριθμός cells ανά block: 4 (2x2 cells) 11

12 L2-Norm ομαλοποίηση μπλοκ (block normalzaton) Πιο συγκεκριμένα για να καταλήξουμε στο διάνυσμα του HOG περιγραφέα, η κάθε εικόνα 64 x128 που χρησιμοποιήθηκε για την κατασκευή του διανύσματος διαιρέθηκε σε κελία που το κάθε ένα από αυτά τα κελία αποτελείται από 8x8 pxels. Έπειτα σε κάθε κελί εφαρμόστηκαν τα παρακάτω βήματα. Βήμα 1 Ο - Υπολογισμός του Διανύσματος Βάθμωσης Πολλοί ανιχνευτές χαρακτηριστικών στην προ-επεξεργασία εικόνας εξασφαλίζουν κανονικοποιημένες χρωματικές και γάμμα τιμές. Όπως προτείνουν οι Dalal και Trggs, οι παραπάνω παράγοντες μπορούν να παραληφθούν κατά τον υπολογισμό HOG περιγραφέων. Όπως φαίνεται και από τα παραπάνω χαρακτηριστικά, αυτό συμβαίνει και στον αλγόριθμο που υλοποιήσαμε, διότι η ακόλουθη εξομάλυνση περιγραφέων επιτυγχάνει ουσιαστικά το ίδιο αποτέλεσμα. Έτσι λοιπόν ως πρώτο υπολογιστικό βήμα ορίζεται ο υπολογισμός του διανύσματος βάθμωσης (gradent vector) για κάθε 8x8 pxels που απαρτίζουν το κάθε κελί. Λαμβάνοντας υπόψη ότι η βάθμωση μιας συνάρτησης εικόνας 2D, f (x, y), ορίζεται ως ένα διάνυσμα το μέτρο του οποίου υπολογίζεται ως: M ( x, y) mag( f ) gx g y 2 2 (1) και του οποίου η κατεύθυνση δίδεται από τη γωνία α g 1 y a( x, y) tan gx (2) η οποία μετράται σε σχέση με τον Χ-άξονα και είναι μια εικόνα στο ίδιο μέγεθος με το πρωτότυπο που δημιουργείται από τη διαίρεση στοιχείων (array) της gy εικόνα από την εικόνα gx. 12

13 Σχήμα 3α Σχήμα 3β Σχήμα 3 (α,β): Υπολογισμός διανυσμάτων κλίσεων σε κάθε κελί της εικόνας. Στην εικόνα 2β φαίνονται πιο καθαρά τα διανύσματα κλίσεων. Η μέθοδος υπολογισμού των τιμών βάθμωσης (gradent values) απαιτεί οι χρωματικές τιμές ή οι τιμές έντασης φωτεινότητας (αν πρόκειται για ασπρόμαυρες εικόνες) της εικόνας να φιλτραριστούν με τα διακριτά φίλτρα μάσκες παραγώγισης και για τις δύο διαστάσεις: [ 1,0,1] και [ 1,0,1] T. Επειδή η απόδοση του ανιχνευτή είναι ευαίσθητη στον τρόπο με τον οποίο υπολογίζονται οι τιμές βάθμωσης, οι Dalal και Trggs χρησιμοποίησαν διάφορους τρόπους υπολογισμού τους, ελέγχοντας κάθε φορά είτε διάφορα μονοδιάστατα φίλτρα σημείου όπως [-1,0,1], [-1,1], είτε 3x3 φίλτρα Sobel και 2x2 διαγώνια φίλτρα καταλήγοντας ότι ένα απλό μονοδιάστατο κεντροθετημένο φίλτρο βάθμωσης [ 1,0,1] έχει καλύτερη απόδοση και για το λόγο αυτό εφαρμόστηκε στον αλγόριθμο HOG που χρησιμοποιήθηκε για την εργασία αυτή.[1] Σχήμα 4α Σχήμα 4β Σχήμα 4 (α,β): Υπολογισμός των τιμών της βάθμωσης (gradent) της εικόνας ως προς τον άξονα Χ (Σχήμα 4α) και ως προς τον άξονα Υ (Σχήμα 4β). 13

14 Σημείωση: Οι Dalal και Trggs δοκίμασαν και άλλες, πιο πολύπλοκες μάσκες, όπως 3x3 μάσκες Sobel ή διαγώνιες μάσκες, αλλά αυτές οι μάσκες παρουσίασαν γενικά χαμηλότερες επιδόσεις στα ανθρώπινα πειράματα ανίχνευσης εικόνας. [2] Βήμα 2 ο - Δημιουργία Ιστογραμμάτων Προσανατολισμού της Βάθμωσης Το δεύτερο βήμα του υπολογισμού περιλαμβάνει τη δημιουργία ιστογραμμάτων προσανατολισμού της βάθμωσης σε κάθε κελί. Κάθε ένα από τα pxels μέσα στο εσωτερικό του κελιού προσθέτει στο ιστόγραμμα το μέτρο της βάθμωσης αφού έχει αποδειχθεί πως σε πραγματικές δοκιμές δίνει τα καλύτερα αποτελέσματα. Άλλες επιλογές θα μπορούσαν να περιλαμβάνουν την τετραγωνική ρίζα ή το τετράγωνο μεγέθους της βάθμωσης όμως η εφαρμογή τους μειώνει την απόδοση του αλγορίθμου HOG.[1] Πιο συγκεκριμένα μέσα σε κάθε κελί υπολογίζεται το διάνυσμα βάθμωσης για κάθε pxel. Τα διανύσματα βάθμωσης που δημιουργούνται (8x8 pxels για κάθε κελί) τα βάζουμε σε ένα ιστόγραμμα προσανατολισμού της βάθμωσης 9 κάδων (bns). Έτσι σε κάθε κάδο (bn) του ιστογράμματος προσανατολισμού της βάθμωσης συσσωρεύετε το μέτρο της βάθμωσης. όπως φαίνεται στο Σχήμα 6. Σχήμα 5 Διακρίνονται τα κελία (cells) των 8x8 pxels μιας εικόνας 64x128. Τα κανάλια του ιστογράμματος προσανατολισμού της βάθμωσης μπορούν να κατανεμηθούν ομοιόμορφα είτε από 0 μέχρι 360 μοίρες είτε από 0 μέχρι

15 ανάλογα με το αν η βάθμωση είναι προσημασμένη ή χωρίς πρόσημο αντίστοιχα. Τα κανάλια του ιστογράμματος προσανατολισμού της βάθμωσης κατανέμονται από μοίρες (σε 9 κάδους (bns) των 20 μοιρών/bns ) αφού όπως αναφέρουν οι Dalal and Trggs ο αριθμός των bns επηρεάζει την απόδοση του περιγραφέα, η οποία αυξάνει μέχρι και τον αριθμό των εννέα bns. Πάνω από τα 9 bns δεν παρουσιάζονται αξιοσημείωτες μεταβολές στην απόδοση του και μειώνεται η απόδοση του αλγορίθμου όταν χρησιμοποιούνται κανάλια ιστογράμματος από μοίρες. [1] Σχήμα 6 Σχήμα 6 :Η δημιουργία Ιστογράμματος Προσανατολισμού της Βάθμωσης για ένα συγκεκριμένο κελί C1 μιας εικόνας χρησιμοποιώντας τα διανύσματα βάθμωσης των 8x8 pxels του C1 cell. 15

16 Βήμα 3 ο Ομαδοποίηση κελιών-κανονικοποίηση Προκειμένου να ληφθούν υπόψη οι αλλαγές του φωτισμού και της αντίθεσης, οι δυνάμεις της βάθμωσης πρέπει να είναι τοπικά κανονικοποιημένες. Αυτό απαιτεί την ομαδοποίηση των κελιών σε μεγαλύτερα και χωρικά συνδεδεμένα τμήματα blocks-. Σχήμα 7. Σχήμα 7 : Στο παραπάνω σχήμα διακρίνονται τα γεωμετρικά τμήματα περιγραφέων HOG. Υπάρχουν δυο βασικές γεωμετρίες block τμημάτων, τα ορθογώνια τμήματα HOG (R-HOG) όπως εφαρμόστηκαν και στον αλγόριθμο HOG που υλοποιήθηκε σε αυτή την εργασία, και τα κυκλικά τμήματα HOG (C-HOG) όπως διακρίνονται στο Σχήμα 7. Τα R-HOG τμήματα είναι γενικά τετράγωνα πλέγματα που εκπροσωπούνται από τρεις παραμέτρους, τον αριθμό των κελιών, τον αριθμό των pxels ανά κελί και τον αριθμό των καναλιών ανά κελί ιστογράμματος. Τα R-HOG τμήματα υπολογίζονται σε πυκνά πλέγματα σε κάποια ενιαία κλίμακα χωρίς προσανατολισμένη ευθυγράμμιση. Τα κυκλικά τμήματα HOG (C-HOG) μπορούν να βρεθούν σε δυο παραλλαγές: εκείνα με ένα ενιαίο κεντρικό κελί και αυτά με ένα διαγώνια διαιρούμενο κεντρικό κελί. Επιπλέον αυτά τα κυκλικά τμήματα μπορούν να περιγραφούν με τέσσερις παραμέτρους: τον αριθμό των γωνιακών και ακτινωτών δοχείων (bns), την ακτίνα του κεντρικού δοχείου και τον παράγοντα επέκτασης της ακτίνας. Με βάση τους Dalal & Trggs τα βέλτιστα αποτελέσματα βρέθηκαν για block των 3x3 cell, cell των 6x6 pxel, ιστόγραμμα βάθμωσης 9 bns. 16

17 Αυτά τα τμήματα συνήθως επικαλύπτονται, γεγονός που σημαίνει ότι κάθε κελί συνεισφέρει περισσότερο από μια φορά στον τελικό περιγραφέα. Για την κανονικοποίηση των τμημάτων προτείνονται επίσης διάφορα σχήματα, που περιλαμβάνουν το μη κανονικοποιημένο διάνυσμα που περιέχει όλα τα ιστογράμματα ενός τμήματος, τις νόρμες του και μια μικρή σταθερά e. Ο υπολογισμός των κανονικοποιημένων τιμών μπορεί να γίνεται με έναν από τους παρακάτω τρόπους: L norm : f 2 v e (5) L2-hys: Χρησιμοποιείται η L2-norm με clppng (περιορίζοντας τις μέγιστες τιμές του v σε 0.2) και γίνεται πάλι κανονικοποίηση. (6) L norm : f 1 v ( v e) 1 (7) L sqrt : f 1 v ( v ) e 1 (8) Όπου: v = το μη κανονικοποιημένο διάνυσμα που περιέχει όλα τα ιστογράμματα ενός block τμήματος. π.χ για block 2x2 cells και ιστόγραμμα 9 bns θα έχει τιμή 4 cells x 9 bns = 36. v = είναι οι k-νόρμες για k = 1, 2 k e = μια μικρή σταθερά (η ακριβής τιμή της είναι ασήμαντη) 17

18 Βήμα 4 ο Συλλογή HOG από όλα τα blocks και συνένωση τους Στο τελικό βήμα συλλέγονται οι HOG περιγραφείς από όλα τα block από ένα πυκνό πλέγμα επικαλυπτόμενων block που καλύπτουν το παράθυρο ανίχνευσης, σε ένα συνδυασμένο διάνυσμα που θα χρησιμοποιηθεί στον ταξινομητή SVM. Ως HOG περιγραφέας θεωρείται το διάνυσμα των συστατικών των κανονικοποιημένων κελιών ιστογράμματος από όλες τις περιοχές των block τμημάτων όπως αυτό διακρίνεται στο Σχήμα 8. Σχήμα 8 Σχήμα 8 Δημιουργία του διανύσματος ενός HOG περιγραφέα. Για την καλύτερη κανονικοποίηση στο μέτρο της βαθμωσης, τα κελιά ομαδοποιούνται σε μεγαλύτερα χωρικά τμήματα (blocks). Διακρίνεται η ομαδοποίηση της εικόνας σε block των 2x2 cells καθώς και η επικάλυψη των block. Επίσης διακρίνεται η συνένωση των ιστογραμμάτων βάθμωσης των block σε ένα διάνυσμα που ονομάζεται HOG περιγραφέας. 18

19 Για μια εικόνα 64x128 σε 16x16 pxels / block με επικάλυψη block 50% (50% block overlappng) θα έχουμε συνολικά 7 x 15 = 105 blocks. Oπου κάθε block αποτελείται από 2x2 cells των 8x8 pxels. Οι διαστάσεις του HOG περιγραφέα θα είναι: ο αριθμός των blocks * ο αριθμός των κελίων ανά block * τον αριθμό των bns ανά ιστόγραμμα. (3) Όπου ο αριθμός των blocks υπολογίζεται ως: (Πλάτος του παραθύρου ανίχνευσης /διασκελισμό block στον Χ άξονα (8pxels)-1) * (Ύψος του παραθύρου ανίχνευσης /διασκελισμό block στον Υ άξονα (8 pxels) -1) (4) Εφαρμόζοντας τα παραπάνω για τον HOG περιγραφέα που χρησιμοποιήθηκε για εικόνα 64x128 θα έχουμε: HOG descrptor length = #Blocks * #CellsPerBlock * #BnsPerCell = (64/8-1) * (128/8-1) * (2*2) * 9 = 7 * 15 * 4 * 9 = 3780 CellSze: [8 8] BlockSze: [2 2] BlockOverlap: [1 1] NumBns: 9 UseSgnedOrentaton: 0 BnCenters: [18x1 double] Σχήμα 9 19

20 Σχήμα 9. Στα παραπάνω σχήματα διακρίνονται τα χαρακτηριστικά HOG που δημιουργούνται από τις όλες συνιστώσες των ιστογραμμάτων βάθμωσης, μιας εικόνας 64x128 με συγκεκριμένα χαρακτηριστικά (cell sze, Block sze, Number of Bns όπως προτείνουν οι Dalal and Trggs). Το τελικό βήμα στην αναγνώριση αντικειμένων με τη χρήση HOG περιγραφέων, είναι να τροφοδοτήσει αυτούς τους περιγραφείς σε κάποιο σύστημα αναγνώρισης το οποίο βασίζεται στην μάθηση με πλήρη επίβλεψη. 20

21 2 Μέθοδοι ανίχνευσης 2.1 Εισαγωγή Στο κεφάλαιο αυτό γίνεται μια ανασκόπηση των μεθόδων ταξινόμησης και εστιάζει στη μέθοδο ταξινόμησης Μηχανών Διανυσμάτων Υποστήριξης SVM [18] που είναι δυαδικός ταξινομητής που αναζητά τη βέλτιστη λύση. Ένα τετοιο συστημα αφού εκπαιδευτεί από εικόνες που περιέχουν κάποιο συγκεκριμένο αντικείμενο, είναι σε θέση να παίρνει αποφάσεις σχετικά με την παρουσία ενός αντικειμένου, σε πρόσθετες εικόνες δοκιμής. Στις μεθόδους μηχανικής μάθησης με επίβλεψη, ο αλγόριθμος μάθησης δέχεται ως εισόδους την γνώση που ήδη υπάρχει για τα δεδομένα εκπαίδευσης και για το πρόβλημα που εξετάζουμε, επεξεργάζεται τον χώρο της υπόθεσης και επιστρέφει ως αποτέλεσμα την τελική υπόθεση δημιουργώντας ένα μοντέλο. Γι αυτό το λόγο τα δεδομένα εισόδου που αποτελούν όλη την προηγούμενη γνώση, (δηλαδή τα δεδομένα εκπαίδευσης και ο χώρος υπόθεσης) πρέπει να αναπαριστώνται αποδοτικά ώστε να επιτρέπουν την αποδοτική χρήση και παραγωγή της νέας γνώσης. Κατά την εξέταση κάθε στοιχείου του χώρου της υπόθεσης, ο αλγόριθμος χρησιμοποιεί κατάλληλους τελεστές για να προχωρήσει στον χώρο της αναζήτησης δηλ. για να μεταβάλλει την τρέχουσα υπόθεση. Διαφορετικοί αλγόριθμοι μάθησης αναπαριστούν την γνώση με διαφορετικό τρόπο. Οι πιο συνηθισμένοι αλγόριθμοι ταξινόμησης είναι τα δέντρα απόφασης (decson trees), οι κανόνες απόφασης (decson rules), οι ταξινομητές κοντινότερου γείτονα (nearest neghbors classfers), οι μηχανές διανυσμάτων υποστήριξης (support vector machnes), οι Bayesan Classfers, οι ταξινομητές Nave Bayes, οι Dscrmnant Functons και τα τεχνητά νευρωνικά δίκτυα (Artfcal Neural Networks). Μια συνοπτική περιγραφή των μεθόδων ταξινόμησης που αναφέρθηκαν δίνονται παρακάτω [6]. 21

22 Ταξινομητές Κοντινότερων Γειτόνων (Nearest Neghbors classfers) Ο συγκεκριμένος ταξινομητής είναι η απλούστερη μέθοδος ταξινόμησης καθώς είναι μη παραμετρική. Ο ταξινομητής k- κοντινότερων γειτόνων (k-nn) παράγει τη βάση της γνώσης του αποθηκεύοντας όλα τα δεδομένα εκπαίδευσης. Για την ταξινόμηση ενός νέου παραδείγματος χρησιμοποιούνται τα αποθηκευμένα δεδομένα για να βρεθεί ένα συγκεκριμένο πλήθος (k) των πιο όμοιων παραδειγμάτων εκπαίδευσης (κοντινότεροι γείτονες), σύμφωνα με μια μετρική απόστασης. Το νέο παράδειγμα ανατίθεται στην κατηγορία που είναι επικρατέστερη μεταξύ των κοντινότερων γειτόνων του. Ο αριθμός k είναι συνήθως ένας μικρός περιττός αριθμός (π.χ. 5 ή 7).[25, 26] Δέντρα Απόφασης και Κανόνες Απόφασης (Decson Trees and Rules) Οι αλγόριθμοι, για την κατασκευή των δέντρων και των κανόνων απόφασης επιλέγουν χαρακτηριστικά και κατάλληλα υποσύνολα των τιμών τους και τα χρησιμοποιούν ως δομικά στοιχεία της υπόθεσης (πρότερο) ενός συνδυαστικού κανόνα. Λαμβάνοντας υπ όψιν ένα χαρακτηριστικό Α καθώς και τις τιμές του υ(1) υ(m), τα δέντρα και οι κανόνες απόφασης σχηματίζουν προτάσεις όπως για παράδειγμα Α = υ(j) ή Α S {υ(1),, υ(m)}. Τα συνεχή χαρακτηριστικά είτε είναι διακριτά από πρίν ή, οι όροι όπως Α > υ(j), Α υ(j), ή υ(1) Α > υ(2) σχηματίζονται κατά τη διάρκεια της εκπαίδευσης. Η προηγούμενη κατάσταση ενός κανόνα σχηματίζεται συνήθως από τη σύζευξη τέτοιων προτάσεων π.χ. αν το Α είναι διακριτό χαρακτηριστικό τότε οι προτάσεις σχηματίζονται ως εξής D = (A S), όπου S {υ(1),, υ(m)}. Ένας κανόνας απόφασης έχει την εξής μορφή D1 D2 Dl C0. Σχήμα 10 Η Δομή Ενός Δυαδικού Δέντρου Απόφασης Ένα δέντρο απόφασης αποτελεί μια ειδική κατηγορία ενός συνόλου κανόνων απόφασης. Αποτελείται από εσωτερικούς κόμβους οι οποίοι αντιστοιχούν στα χαρακτηριστικά (attrbutes), ακμές οι οποίες αντιστοιχούν σε υποσύνολα τιμών των χαρακτηριστικών και τερματικούς κόμβους οι οποίοι αντιστοιχούν στις 22

23 κατηγορίες (class labels). Κάθε μονοπάτι το οποίο ξεκινάει από τη ρίζα του δέντρου και καταλήγει σε ένα τερματικό κόμβο αντιστοιχεί σε έναν κανόνα απόφασης. Οι υποθέσεις (χαρακτηριστικό-σύνολο_τιμών_χαρακτηριστικού) που υπολογίζονται σε κάθε εσωτερικό κόμβο συνδέονται μέσω σύζευξης (conjuncton). Για παράδειγμα, το μονοπάτι που έχει επισημανθεί στο παραπανω σχήμα (Σχήμα 10) αντιστοιχεί στον ακόλουθο κανόνα: A > υ(1) Β = γ(7) _ C1. Κάθε δέντρο απόφασης μπορεί να μετασχηματιστεί σε τόσους κανόνες όσα και τα φύλλα του δέντρου. Αντίθετα, δεν μπορεί κάθε σύνολο κανόνων απόφασης να μετατραπεί σε ένα δέντρο απόφασης. Η αναπαράσταση της γνώσης με δέντρα απόφασης μπορεί να γενικευτεί αξιολογώντας σε κάθε κόμβο μια αυθαίρετη συνάρτηση διάφορων χαρακτηριστικών αντί για ένα μοναδικό χαρακτηριστικό. Αν κάθε εσωτερικός κόμβος έχει το πολύ δύο «παιδιά» (successors), τότε το δέντρο καλείται δυαδικό. Με βάση την αρχή της μηχανικής μάθησης, προτιμάμε τα απλούστερα δέντρα γιατί οι κανόνες που περιγράφουν είναι πιο γενικοί και ως εκ τούτου έχουν καλύτερη γενικευτική ικανότητα.[27, 28] Bayesan Ταξινομητές (Bayesan Classfers) Οι Bayesan ταξινομητές ή ταξινομητές κατά Bayes βασίζονται στον υπολογισμό της εκ των υστέρων πιθανότητας όπως υπολογίζεται από τον κανόνα του Bayes και μοντελοποιούν την πιθανοτική σχέση μεταξύ του συνόλου χαρακτηριστικών και της κατηγορίας. Συγκεκριμένα, δοθέντος των τιμών των χαρακτηριστικών ενός νέου παραδείγματος, στόχος του Bayesan ταξινομητή είναι να υπολογίσει τις υπό συνθήκη πιθανότητες για όλες τις πιθανές κατηγορίες. Ο Bayesan ταξινομητής ελαχιστοποιεί την αναμενόμενη πιθανότητα σφάλματος (error rate) και υπό αυτήν την έννοια είναι βέλτιστος. Καθώς όμως οι ακριβείς ταξινομητές είναι δύσκολο να εξασφαλιστούν (εκτός αν τα δεδομένα εκπαίδευσης καλύπτουν πλήρως τον χώρο των χαρακτηριστικών και δεν υπάρχει καθόλου θόρυβος), συγκεκριμένες προσεγγίσεις και υποθέσεις πρέπει να χρησιμοποιηθούν κατά τον υπολογισμό των υπό συνθήκη πιθανοτήτων. Ο ταξινομητής Nave Bayes υποθέτει την υπό συνθήκη ανεξαρτησία των χαρακτηριστικών δεδομένης της κατηγορίας. Αυτή η ισχυρή υπόθεση συνήθως εξασφαλίζει αξιόπιστες εκτιμήσεις των υπό συνθήκη πιθανοτήτων οι οποίες απαιτούνται για ταξινόμηση, ακόμα και από πολύ μικρά σύνολα δεδομένων. Οι υλοποιήσεις του ταξινομητή Nave Bayes συχνά υποθέτουν ότι χρησιμοποιούνται μόνο διακριτά χαρακτηριστικά, επομένως τα συνεχή χαρακτηριστικά πρέπει να διακριτοποιηθούν εκ των προτέρων. Μια γενίκευση του ταξινομητή Nave Bayes αποτελούν τα Bayesan δίκτυα πεποίθησης (Bayesan belef networks). Η συγκεκριμένη μέθοδος χρησιμοποιεί άκυκλους γράφους για να μοντελοποιήσει τις εξαρτήσεις ανάμεσα στα χαρακτηριστικά των παραδειγμάτων και τις κατηγορίες. Υποθέτει έμμεσα την υπόσυνθήκη ανεξαρτησία μεταξύ κόμβων (χαρακτηριστικών) οι οποίοι δεν συνδέονται απευθείας. Η τοπολογία ενός Bayesan δικτύου μπορεί να δίνεται εκ των προτέρων (ως τμήμα του υπόβαθρου των γνώσεων για το πρόβλημα), ή μπορεί να κατασκευαστεί από τα δεδομένα. Οι υπό συνθήκη εξαρτήσεις, υπολογίζονται και αυτές από τα δεδομέν ενώ η τοπολογία άκυκλου γράφου εξασφαλίζει τον αποτελεσματικό υπολογισμό των υπό συνθήκη πιθανοτήτων για 23

24 όλες τις κατηγορίες.τα Bayesan δίκτυα πεποίθησης μπορούν να χρησιμοποιηθούν για να μοντελοποιήσουν κατανομές πιθανότητας.[25] Διακρίνουσες Συναρτήσεις (Dscrmnant Functons) Στόχος των μεθόδων ταξινόμησης που βασίζονται σε παραμετρικές διακρίνουσες συναρτήσεις είναι η εκτίμηση των παραμέτρων των διακρινουσών συναρτήσεων των οποίων η δομή είναι εκ των προτέρων καθορισμένη. Η συνάρτηση αυτή είναι ουσιαστικά ένα υπερεπίπεδο το οποίο διαχωρίζει κατάλληλα τον χώρο των χαρακτηριστικών των δειγμάτων. Αν έχουμε περισσότερες από δύο κατηγορίες, χρειαζόμαστε μια ξεχωριστή υπερεπιφάνεια για κάθε ζεύγος κατηγοριών. Οι διακρίνουσες συναρτήσεις μπορούν να είναι γραμμικές, τετραγωνικές, πολυωνυμικές κτλ. Στην περίπτωση των γραμμικών συναρτήσεων η αντίστοιχη υπερεπιφάνεια είναι ένα υπερεπίπεδο που διχοτομεί μεταξύ δύο κατηγοριών. Οι συντελεστές του υπερεπιπέδου καθορίζονται με τέτοιον τρόπο ώστε να μειώνεται το ποσοστό σφάλματος ταξινόμησης. Συχνά χρησιμοποιείται η γραμμική διακρίνουσα συνάρτηση Fscher, η οποία υποθέτει ότι τα παραδείγματα εκπαίδευσης κάθε κατηγορίας ακολουθούν την κανονική κατανομή. Μεγιστοποιεί την (Ευκλείδεια) απόσταση ανάμεσα στα παραδείγματα των δύο κατηγοριών και υπολογίζει ένα βέλτιστο όριο ταξινόμησης μεταξύ των κατηγοριών. Εναλλακτικά μπορούν να χρησιμοποιηθούν συναρτήσεις πυρήνα (kernel functons) οι οποίες έχουν ως στόχο τον μετασχηματισμό των δειγμάτων σε ένα νέο χώρο ορίζοντας νέες συναρτήσεις βάσης (kernel space) όπου η διακριτική ικανότητα του μηχανισμού ταξινόμησης να είναι σημαντικά αυξημένη. [23,24] Τεχνητά Νευρωνικά Δίκτυα (Artfcal Neural Networks - ANN) Τα τεχνητά νευρωνικά δίκτυα μιμούνται τα βιολογικά νευρωνικά δίκτυα αναθέτοντας τις λειτουργίες των νεύρων σε ένα απλό στοιχείο (νευρώνας) το οποίο είναι ικανό μόνο να αθροίζει την είσοδό του και να κανονικοποιεί την έξοδό του. Οι νευρώνες είναι διασυνδεδεμένοι σε αυθαίρετα σύνθετα τεχνητά νευρωνικά δίκτυα. Για ταξινόμηση συνήθως χρησιμοποιούνται νευρωνικά δίκτυα εμπρόσθιας τροφοδότησης πολλών επιπέδων. Οι νευρώνες οργανώνονται σε επίπεδα: ένα επίπεδο εισόδου (το οποίο αντιστοιχεί στα χαρακτηριστικά), ένα ή περισσότερα κρυμμένα επίπεδα και ένα επίπεδο εξόδου (το οποίο αντιστοιχεί στις κατηγορίες). Στόχος του αλγορίθμου μάθησης είναι να καθορίσει τα βάρη των συνδέσεων μεταξύ των νευρώνων (τα οποία χρησιμοποιούνται για να υπολογίσουμε σταθμισμένα αθροίσματα σε κάθε νευρώνα) με στόχο να μειώσει το ποσοστό σφάλματος ταξινόμησης. Για την ταξινόμηση ενός νέου παραδείγματος οι τιμές των χαρακτηριστικών εφαρμόζονται στις εισόδου στους νευρώνες εισόδου του ANN. Αυτές οι τιμές σταθμίζονται σύμφωνα με συνδέσεις μεταξύ των νευρώνων και τα σταθμισμένα αθροίσματά τους υπολογίζονται σε κάθε νευρώνα του επόμενου επιπέδου νευρώνων. Τα κανονικοποιημένα αποτελέσματα στους νευρώνες εξόδου καθορίζουν το αποτέλεσμα της ταξινόμησης (κατηγορία) [21, 22] 24

25 Μηχανές Διανυσμάτων Υποστήριξης (Support Vector Machnes - SVM) Οι Μηχανές Διανυσμάτων Υποστήριξης αποτελούν μία από τις πιο ακριβείς προσεγγίσεις διακρινουσών συναρτήσεων για ταξινόμηση. O ταξινομητής SVM προσπαθεί να βρει ένα υπερεπίπεδο απόφασης το οποίο να διαχωρίζει το σύνολο των παραδειγμάτων εκπαίδευσης με τέτοιο τρόπο ώστε τα παραδείγματα που ανήκουν στην ίδια κατηγορία να είναι στη ίδια πλευρά του υπερεπιπέδου. Μεταξύ όλων των πιθανών υπερεπιπέδων αναζητά εκείνο για το οποίο η απόσταση από το κοντινότερο παράδειγμα είναι μέγιστη, δηλ. αναζητά το υπερεπίπεδο μέγιστου περιθωρίου (maxmal margn hyperplane) [6, 7]. Η μέθοδος αυτή θα αναλυθεί εκτενέστερα στην επόμενη παράγραφο. 2.2 Μηχανές Υποστήριξης Διανυσμάτων (SVM) H μέθοδος των Μηχανών Διανυσμάτων Υποστήριξης SVM (Support Vector Machne), έχει εδραιωθεί ως μια από τις πιο διαδεδομένες μεθόδους ταξινόμησης, αποτελώντας συνήθως τη βέλτιστη επιλογή για προβλήματα, όπως η ταξινόμηση κειμένων (text categorzaton), η αναγνώριση γραφής (handwrtng recognton) και η ταξινόμηση δεδομένων έκφρασης γονίδιων (gene expresson data).. Η αρχή των μηχανών υποστήριξης διανυσμάτων έγκειται στο εξής: αν υποθέσουμε ότι κάποια σημεία δεδομένων ανήκουν σε μια κλάση από δυο κλάσεις συνολικά, στόχος είναι να αποφασισθεί σε ποια από αυτές τις κλάσεις, θα υπάγεται ένα νέο σημείο δεδομένων. Λαμβάνοντας υπόψη ένα σύνολο παραδειγμάτων εκπαίδευσης, κάθε ένα χαρακτηρίζεται ότι ανήκει σε μια από τις δυο κατηγορίες, ένας αλγόριθμος εκπαίδευσης SVM δημιουργεί ένα μοντέλο το οποίο αποδίδει νέα παραδείγματα στη μια κατηγορία ή στην άλλη. Ένα SVM μοντέλο είναι μια αναπαράσταση των παραδειγμάτων, όπως τα σημεία στο χώρο, χαρτογραφημένα έτσι ώστε τα παραδείγματα των επιμέρους κατηγοριών να χωρίζονται από ένα σαφές κενό, όσο το δυνατόν πιο ευρύτερο γίνεται. Στη συνέχεια νέα παραδείγματα χαρτογραφούνται στον ίδιο χώρο και αναμένεται να ανήκουν σε μια κατηγορία, με βάση σε ποια πλευρά του χάσματος υπάγονται [5,18] SVM ταξινομητής για γραμμικά διαχωρίσιμα πρότυπα Θεωρώντας ότι τα δεδομένα του συνόλου εκπαίδευσης είναι γραμμικά διαχωρίσιμα, υποθέτουμε ένα σύνολο εκπαίδευσης S={{x,y}, =1,2,,m}, όπου x є Rⁿ είναι το διάνυσμα εισόδου και η μεταβλητή y δείχνει την κλάση (τάξη) του αντίστοιχου διανύσματος με y є{-1,1}. 25

26 Data from class +1 (squares) and class -1 (crosses) Σχήμα 11 : Τα δεδομένα απεικονίζονται στο σχήμα 1, όπου τετράγωνα ξεχωρίζουν για τα σημεία με την ετικέτα Y =+1 και σταυροί ξεχωρίζουν για τα σημεία με την ετικέτα Y = -1. Τώρα έχουμε εκπαιδεύσει ένα ταξινομητή Support Vector Machne σε αυτό το σύνολο δεδομένων. Χρησιμοποιούμε την πιο απλή λειτουργία του πυρήνα, δηλαδή το εσωτερικό T γινόμενο σημεία X, X (Γραμμικό πυρήνα K( X, X ) X * X ) j j j Ζητούμενο λοιπόν είναι να βρεθεί μια συνάρτηση f(x) που θα ταξινομεί σωστά το διάνυσμα εισόδου x. Επειδή τα δεδομένα αυτά μπορούν να διαχωριστούν γραμμικά στον χώρο Rn, θα υπάρχει ένα υπερεπίπεδο που θα τα ταξινομεί αποτελεσματικά, δηλαδή διανύσματα της ίδιας κλάσης θα βρίσκονται στην ίδια πλευρά του υπερεπιπέδου. Η εξίσωση του υπερεπιπέδου αυτού περιγράφεται από τη σχέση: w x + b = 0 (9) όπου w є Rⁿ είναι ένα διάνυσμα κάθετο στο υπερεπίπεδο και b є R. Χρησιμοποιώντας την συνάρτηση: f(x) = sgn(w x + b) (10) μπορεί να ταξινομηθεί ένα πρότυπο x που δεν ανήκει απαραίτητα στο σύνολο εκπαίδευσης. 26

27 SVM wth lnear kernel: decson boundary (black) plus Support Vectors (red) Σχήμα 12: Το όριο απόφασης που προκύπτει φαίνεται στο παραπάνω σχήμα. Η γραμμή που απεικονίζεται με μαύρο χωρίζει την τάξη +1 από την τάξη -1 (αυτό είναι το πραγματικό όριο αποφάσεως). Η γραμμή που απεικονίζεται με πράσινο χωρίζει τα σημεία σε απόσταση +1 από το όριο απόφασης, ενώ η μπλέ γραμμή αφορά τα σημεία σε απόσταση -1. Όλα τα παραδείγματα που απεικονίζονται με κόκκινο χρώμα είναι τα διανύσματα υποστήριξης. Φορείς υποστήριξης είναι τα παραδείγματα σε απόσταση +1 ή -1 από την όριο απόφασης και όλα τα παραδείγματα που δεν μπορούν να ταξινομηθούν σωστά. Τα στοιχεία που εμφανίζονται μπορούν να ταξινομηθούν σωστά χρησιμοποιώντας ένα γραμμικό πυρήνα. Είναι λοιπόν απεριόριστος ο αριθμός των επιπέδων που διαχωρίζουν με αποτελεσματικό τρόπο τα διανύσματα του συνόλου εκπαίδευσης. Η μέθοδος SVM προσπαθεί να υπολογίσει το επίπεδο που επιτυγχάνει μέγιστο εύρος όταν τα διανύσματα εισόδου διαχωρίζονται για να ελαχιστοποιηθεί η πιθανότητα λάθους (κακής ταξινόμησης), όπως φαίνεται στο παρακάτω σχήμα. 27

28 SVM wth lnear kernel: decson boundary (black) plus Support Vectors (red) Σχήμα 13: Προσθέτοντας ένα επιπλέον X11 σημείο με την ετικέτα -1 έχουμε ένα νέο σύνολο δεδομένων που δεν μπορεί να διαχωριστεί γραμμικά. Το SVM χειρίζεται την υπόθεση επιτρέποντας σημεία εκπαίδευσης να ταξινομηθούν εσφαλμένα. Εκπαιδεύοντας τον SVM για αυτό το τροποποιημένο σύνολο δεδομένων βλέπουμε ότι υπάρχουν σημεία που δεν μπορεί να ταξινομηθούν σωστά. Η απόφαση όριο φαίνεται στην παραπάνω εικόνα. Για να υπολογιστεί το επίπεδο μέγιστου εύρους πρέπει να ελαχιστοποιηθεί η συνάρτηση: ½ w ² (11) όπου w είναι η Ευκλείδεια νόρμα του διανύσματος w, έτσι ώστε να ισχύει η συνθήκη: y ( w x b) 1 0, 1...1(12) Το γεωμετρικό εύρος που επιτυγχάνεται μετά την επίλυση των παραπάνω εξισώσεων ισούται με: γ = 1 / w (13) Στην πράξη είναι σύνηθες, τα δεδομένα εισόδου να μην είναι γραμμικώς διαχωρίσιμα και να μην υπάρχει υπερ-επίπεδο που να επιτυγχάνει τον ακριβή διαχωρισμό των δεδομένων, όπως φαίνεται στο Σχήμα 12. Η επίλυση λοιπόν περιπτώσεων γραμμικού διαχωρισμού δεν είναι δυνατή αφού αυτή προϋποθέτει 28

29 τον διαχωρισμό δεδομένων χωρίς κανένα λάθος στην εκπαίδευση του αλγορίθμου δηλαδή στηρίζεται στην εύρεση ενός επιπέδου με «σκληρά» όρια. Για να αντιμετωπίστεί το συγκεκριμένο πρόβλημα διαχειριζόμαστε την λύση για τα γραμμικώς διαχωρίσιμα δεδομένα εισόδου με τέτοιο τρόπο ώστε να είναι πλέον επιτρεπτά τα λάθη στην εκπαίδευση, να γίνουν δηλαδή «διάτρητα» τα όρια του υπέρ-επιπέδου. Για το λόγο αυτό, εισάγουμε στους περιορισμούς της συνάρτησης 12 μία μεταβλητή η οποία προσδιορίζει την απόσταση του σημείου από το υπερεπίπεδο σε περίπτωση λάθους και είναι 0 και μάλιστα σε περίπτωση σωστής ταξινόμησης =0. Με την εισαγωγή των συγκεκριμένων μεταβλητών πρέπει πλέον να αλλάξουμε και την προς ελαχιστοποίηση συνάρτηση. Το άθροισμα αποτελεί ένα όριο για τον αριθμό των σφαλμάτων εκπαίδευσης. Με τις αλλαγές που έγιναν, το πρόβλημα ελαχιστοποίησης διατυπώνεται πλέον ως εξής: ελαχιστοποίηση N w C (14) με περιορισμούς y ( w x b) 1 0, 1...1(15) Η συνάρτηση ελαχιστοποίησης αποτελεί δομικό σφάλμα (structural rsk) και αποτελείται από δύο όρους: ο πρώτος όρος δείχνει την πολυπλοκότητα του μοντέλου, ενώ ο δεύτερος όρος είναι το εμπειρικό σφάλμα [37]. Η παράμετρος C επιλέγεται από τον χρήστη για να χρησιμοποιηθεί στην φάση της εκπαίδευσης. Θέτοντας μικρή τιμή στην παραμέτρο, για να βρεθεί υπερεπίπεδο με βέλτιστο εύρος, ο αλγόριθμος αναγκάζεται να μεγιστοποιήσει την απόσταση w, το εύρος δηλαδή, αδιαφορώντας για τα σφάλματα εκπαίδευσης. Αντίθετα, μία μεγάλη τιμή της παραμέτρου τείνει να ελαχιστοποιήσει το εμπειρικό σφάλμα, εις βάρος βέβαια της μεγιστοποίησης του εύρους [18]. Τόσο για τα γραμμικά διαχωρίσιμα και γραμμικά μη διαχωρίσιμα δεδομένα, έχουμε να αντιμετωπίσουμε ένα πρόβλημα ελαχιστοποίησης συνάρτησης, συνοδευόμενο από μια σειρά περιορισμών. Για την επίλυση αυτού του προβλήματος είναι αναγκαίο να εργαστούμε με διανύσματα μεγάλης διάστασης. Χρησιμοποιώντας την θεωρία Lagrange ώστε να αποφύγουμε τους δύσκολους υπολογισμούς και να απλοποιήσουμε το πρόβλημα βελτιστοποίησης, πολλαπλασιάζουμε την κάθε ανισότητα με έναν μη-αρνητικό πολλαπλασιαστή a (πολλαπλασιαστές Lagrange) και στην συνέχεια την αφαιρούμε από την συνάρτηση κόστους. Εφαρμόζοντας για την περίπτωση των γραμμικά διαχωρίσιμων δεδομένων, καταλήγουμε στην ελαχιστοποίηση της ακόλουθης συνάρτησης κόστους: L w a y ( w x b) a (16) 2 Οι περιοριστικές συνθήκες είναι a 0. Ελαχιστοποιώντας ως προς w και b και απαιτώντας συγχρόνως να απαλείφονται τα a με μηδενισμό των μερικών πρώτων παραγώγων θα λύσουμε το δυαδικό 29

30 πρόβλημα του προηγουμένου. Δηλαδή, θα μεγιστοποιήσουμε την σχέση (16) ως προς a απαιτώντας την απαλοιφή των w,b με μηδενισμό των μερικών πρώτων παραγώγων, τηρώντας όμως τους περιορισμούς a 0. Μηδενίζοντας λοιπόν τις παραγώγους έχουμε: L / w = 0 w a y x (17) N L / b = 0 a y 0(18) N Αντικαθιστώντας τις (9), (10) στην (8) και λαμβάνοντας υπ όψιν και τις νέες περιοριστικές συνθήκες, καταλήγουμε στην διατύπωση του ακόλουθου προβλήματος: μεγιστοποίηση με περιορισμούς a y a j y j x x j a,, j 1...1(19) 2, j 1 a 0, a y 0, 1...1(20) Οι σχέσεις (19), (20) περιγράφουν το προς βελτιστοποίηση πρόβλημα στην επίλυση του οποίου στοχεύει η μεθοδολογία SVM για την περίπτωση των γραμμικά διαχωρίσιμων δεδομένων. Εφαρμόζοντας πάλι την θεωρία Lagrange στις σχέσεις (14), (15) και μηδενίζοντας όπως πριν τις παραγώγους καταλήγουμε στην ακόλουθη διατύπωση του προβλήματος: μεγιστοποίηση y a y j x x j a (21) 2 με περιορισμούς 1 0 a C, a y 0, 1...1(22) Διαπιστώνουμε λοιπόν ότι η διατύπωση του προβλήματος είναι ίδια με την προηγούμενη, με την διαφορά ότι στους περιορισμούς για τους πολλαπλασιαστές Lagrange προβλέπεται ένα άνω όριο στην τιμή τους, που είναι η παράμετρος C. Επιπλέον θα πρέπει να τονισθεί, ότι οι μεταβλητές που εισήχθησαν νωρίτερα για την επίλυση του, δεν εμφανίζονται πλέον πουθενά στην τελική μορφή του προβλήματος. [5,18,19] 30

31 2.1.2 Μη γραμμικές SVM Γενικεύοντας την παραπάνω μεθοδολογία και για περιπτώσεις που τα δεδομένα δεν είναι γραμμικά, πρέπει να εφαρμόστεί μία μη γραμμική απεικόνιση F:Rⁿ H, έτσι ώστε να απεικονίστουν τα δεδομένα εισόδου σ έναν χώρο μεγαλύτερης διάστασης. Με τον τρόπο αυτόν τα μη γραμμικά δεδομένα εισόδου μεταφέρονται σε έναν άλλο χώρο, που ενδεχομένως να είναι πλέον γραμμικά διαχωρίσιμα και άρα μπορεί να εφαρμοστεί η λύση που παρουσιάστηκε στην προηγούμενη παράγραφο για τα γραμμικώς διαχωρίσιμα δεδομένα εισόδου. Αυτό απεικονίζεται γραφικά στο παρακάτω σχήμα Σχήμα 14: Απεικόνιση των δεδομένων εισόδου σε νέο χώρο με χρήση συνάρτησης f Η διαφορά με τη γραμμικά διαχωρίσιμη περίπτωση είναι ότι αντί για το διάνυσμα εισόδου χρησιμοποιούμε σε όλες τις παραπάνω σχέσεις το διάνυσμα F(x). Καταλήγουμε λοιπόν όπως και για την περίπτωση των μη γραμμικών SVM στην επίλυση του ακόλουθου προβλήματος: μεγιστοποίηση a y a j y j F( x ) F( x j ) a,, j 1...1(23) 2, j με περιορισμούς 1 0 a C, a y 0, 1...1(24) υπολογίζοντας τώρα αντί για το εσωτερικό γινόμενο x xj, το γινόμενο F( x ) F( x j ). Ο υπολογισμός του γινομένου αυτού είναι ιδιαίτερα χρονοβόρος, ειδικά αν πρόκειται για διανύσματα μεγάλης διάστασης, με αποτέλεσμα να αυξάνεται η υπολογιστική πολυπλοκότητα [37]. Η συγκεκριμένη μορφή μας ωθεί στο να χρησιμοποιήσουμε, αντί του παραπάνω εσωτερικού γινομένου μία συνάρτηση πυρήνα (kernel) K( x x ) τέτοια ώστε: j K( x x ) F( x ) F( x )(25) j j 31

32 με την προϋπόθεση ο πυρήνας αυτός να ικανοποιεί το θεώρημα του Mercer. Σύμφωνα με το συγκεκριμένο θεώρημα, κάθε συμμετρική, θετικά ορισμένη συνάρτηση Κ(x1,x2) θεωρείται πυρήνας, υπάρχει δηλαδή μια απεικόνιση Φ τέτοια ώστε να είναι δυνατό: K( x x ) ( x ) ( x ) (26) όπου ( x1) ( x2) είναι το εσωτερικό γινόμενο των ( x1 ) και ( x2) και δεν χρειαζόμαστε να υπολογίσουμε πλέον την απεικόνιση F, μιας και αυτή δεν συμμετέχει πλέον πουθενά στην επίλυση του προβλήματος. Με την χρήση της συνάρτησης Κ μειώνεται η πολυπλοκότητα των απαραίτητων υπολογισμών, αφού δεν απαιτείται πλέον η μεταφορά των δεδομένων σε χώρο μεγαλύτερης διάστασης καθώς και ο υπολογισμός των εσωτερικών γινομένων. Η απεικόνιση των δεδομένων γίνεται πλέον εμμέσως κατά την διάρκεια της εκπαίδευσης [18] και αναγκαία είναι μόνο η κατάλληλη επιλογή του πυρήνα K. Δεν υπάρχει κάποια θεωρία σχετική με την επιλογή βέλτιστου πυρήνα, μιας και η σωστή επιλογή σχετίζεται άμεσα με τα δεδομένα του συνόλου εκπαίδευσης. Οι πιο γνωστοί πυρήνες είναι οι ακόλουθοι: 1) γκαουσιανός RBF: Κ(x, y)= e -γ x-y ² (27) 2) σιγμοειδής: K(x, y)= tanh( γ x y + 1) (28) 3) πολυωνυμικός: K(x, y)= (x y + 1)p (29) 4) γραμμικός: K(x, y) = x y (30) όπου γ είναι μια σταθερά και p ο βαθμός του πολυωνύμου. 32

33 SVM wth RBF kernel, wdth 8: decson boundary (black) plus Support Vectors (red) Σχήμα 15: Προσθέτοντας το νέο σημείο έχει δημιουργηθεί ένα πιο δύσκολο σύνολο δεδομένων που δεν μπορεί πλέον να διαχωριστεί από ένα απλό γραμμικό πυρήνα. Χρειάζεται λοιπόν μια πιο ισχυρή λειτουργία πυρήνα, όπως είναι η Radal Bass Functon (RBF) του πυρήνα. Ο πυρήνας RBF έχει μια σχετική παράμετρο, το πλάτος του πυρήνα. Θα δείξουμε τώρα το όριο απόφασης που λαμβάνεται από ένα SVM με RBF πυρήνα για 3 διαφορετικές τιμές του πλάτους του πυρήνα. Φαίνεται λοιπόν το όριο αποφάσεως που λαμβάνεται από ένα SVM με Radal Bass Functon πυρήνα, με πλάτος πυρήνα 8. Το SVM ερμηνεύει το νέο σημείο ως αποδεικτικό στοιχείο για μιαδιασπορά σημείων της κλάσης -1 και η SVM χτίζει ένα μικρό «νησιωτικό» γύρω από το νέο σημείο. 33

34 SVM wth RBF kernel, wdth 1: decson boundary (black) plus Support Vectors (red) Σχήμα 16: Φαίνεται το όριο αποφάσεως που λαμβάνεται από ένα SVM με ακτινικό πυρήνα λειτουργίας βάσης, όπου το πλάτος του πυρήνα 1. Το όριο απόφασης είναι πλέον πολύ κοντά στο να συντριβεί, δεδομένου ότι ένα μικρότερο πλάτος του πυρήνα επιτρέπει στο όριο αποφάσεων να είναι πιο κυρτό. 34

35 SVM wth RBF kernel, wdth 36: decson boundary (black) plus Support Vectors (red) Σχήμα 17: Φαίνεται το όριο αποφάσεως που λαμβάνεται από ένα SVM με ακτινικό πυρήνα λειτουργίας βάσης, όπου το πλάτος του πυρήνα είναι 36. Αυτό δίνει ένα όριο απόφασης παρόμοιο με εκείνο που φαίνεται στην εικόνα 8 για τα SVM με γραμμικό πυρήνα. Πρέπει να σημειωθεί ότι ο γραμμικός πυρήνας που αναφέρεται στη σχέση (30) στην ουσία αναφέρεται στην περίπτωση των γραμμικών SVM. Οι συγκεκριμένες παράμετροι μαζί με την παράμετρο C που αναφέραμε προηγουμένως επιλέγονται από τον χρήστη για να χρησιμοποιηθούν στη φάση της εκπαίδευσης και γίνεται αντιληπτό ότι διαφορετικά ζευγάρια τιμών αυτών των παραμέτρων οδηγούν σε διαφορετικά αποτελέσματα εκπαίδευσης και κατ επέκταση σε διαφορετικές επιδόσεις ταξινόμησης. Για τον λόγο αυτό, απαιτείται ιδιαίτερη προσοχή στην επιλογή των τιμών, ώστε να επιλεχθούν αυτές που παρέχουν την καλύτερη επίδοση [5,18,19]. 35

36 3 Αλγόριθμοι παρακολούθησης αντικειμένου Παρακολούθηση αντικειμένου σε βίντεο ή σε ακολουθία εικόνων είναι η διαδικασία για τον εντοπισμό ενός κινούμενου αντικειμένου (ή πολλαπλά αντικείμενα) στην πάροδο του χρόνου, χρησιμοποιώντας μια vdeo-κάμερα ή μια ακολουθία εικόνων. Η οπτική παρακολούθηση διαδραματίζει έναν κρίσιμο ρόλο στις πολυάριθμες εφαρμογές όρασης, συμπεριλαμβανομένης της ευφυούς επιτήρησης, της ανθρώπινης ανάλυσης κινήσεων καθώς και της τηλεοπτικής επεξεργασίας αλληλεπίδρασης. Τέτοιες εφαρμογές όρασης συναντιούνται: Στην αλληλεπίδραση ανθρώπου-υπολογιστή Στην ασφάλεια και την επιτήρηση Στην επικοινωνία και συμπίεση βίντεο Στον έλεγχο της κυκλοφορίας Στην ιατρική απεικόνιση Σε εφαρμογές βίντεο μοντάζ. Ο οπτικός εντοπισμός παραμένει ένα ενδιαφέρον πρόβλημα δεδομένου ότι οι αποτελεσματικοί και αποδοτικοί αλγόριθμοι συνεπάγονται την ανάγκη να αποτελέσουν την παραλλαγή εμφάνισης που προκαλείται από την αλλαγή φωτισμού, την ποικιλία θέσης, τη θαμπάδα λόγω κίνησης. Ένα χαρακτηριστικό σύστημα εντοπισμού αποτελείται από τρία συστατικά: την αναπαράσταση αντικειμένου το δυναμικό πρότυπο και τον μηχανισμό αναζήτησης. Μία ποικιλία αλγορίθμων εντοπισμού εφαρμόζονται για την αντιμετώπιση αυτών των δυσκολιών και ανάλογα σε ποιο μέρος ενός συστήματος εντοπισμού εφαρμόζονται διακρίνονται σε παραγωγικούς (generatve), χαρακτηριστικούς 36

37 (dscrmnatve), ντετερμινιστικούς (determnstc) ή στοχαστικούς (stochastc) αλγόριθμους. [32] Με βάση τα παραπάνω, οι αλγόριθμοι εντοπισμού μπορούν να ταξινομηθούν με ποικίλους τρόπους. Η αντιπροσώπευση αντικειμένου είναι ένα βασικό στοιχείο σ ένα σύστημα εντοπισμού, δεδομένου ότι από αυτό εξαρτάται απευθείας ο εντοπισμός του. δηλ., πώς να ταιριάξει η εμφάνιση του αντικειμένου, παρ όλους τους παράγοντες που επηρεάζονται. Επιπλέον, καθορίζει επίσης ποια αντικειμενική λειτουργία μπορεί να χρησιμοποιηθεί για την έρευνα του στόχου ενδιαφέροντος σε καρέ εικόνας. Οι αλγόριθμοι εντοπισμού που αφορούν την αντιπροσώπευση του αντικειμένου μπορούν να ταξινομηθούν σε δύο βασικές κατηγορίες. Στους παραγωγικούς (generatve algorthms) και στους χαρακτηριστικούς αλγόριθμους (dscrmnatve algorthms). [29] Οι παραγωγικοί μέθοδοι εντοπισμού, διαμορφώνουν τις εμφανίσεις των αντικειμένων χρησιμοποιώντας την ένταση ή τα χαρακτηριστικά γνωρίσματα τους και προβλέπουν τη θέση του αντικειμένου ψάχνοντας την περιοχή εικόνας ενός προτύπου που μοιάζει περισσότερο στο στόχο παρακολούθησης. Τα πρότυπα αναφοράς είναι βασισμένα στα ιστογράμματα έντασης pxel και χρώματος και χρησιμοποιούνται για την οπτική παρακολούθηση. [30] Τέτοιες μέθοδοι αποδίδουν καλά όταν δεν υπάρχει καμία δραστική αλλαγή της εμφάνισης αντικειμένου και όταν το υπόβαθρο δεν είναι μπερδεμένο (cluttered). Οι χαρακτηριστικοί αλγόριθμοι θέτουν την παρακολούθηση αντικειμένου ως δυαδικό πρόβλημα ταξινόμησης μέσα σε μια τοπική περιοχή εικόνας στην οποία ο στόχος είναι να χωριστεί το αντικείμενο παρακολούθησης από το υπόβαθρο. Ενώ οι παραγωγικές μέθοδοι διαμορφώνουν μόνο την εμφάνιση στόχων, οι χαρακτηριστικοί αλγόριθμοι εκμεταλλεύονται τις οπτικές πληροφορίες και από το στόχο και από το υπόβαθρο. Ένα δυναμικό πρότυπο, είτε προκαθορίζεται είτε μαθαίνεται από συγκεκριμένα δεδομένα εκπαίδευσης (tranng data), χρησιμοποιείται δε συχνά για να προβλέψει τις πιθανές καταστάσεις στόχων (π.χ. παράμετροι κινήσεων) προκειμένου να μειωθεί το διάστημα αναζήτησης και το υπολογιστικό φορτίο. Οι αλγόριθμοι εντοπισμού αντικειμένων μπορεί να χαρακτηριστούν είτε ως προσδιοριστικοί (determnstc) ή ως στοχαστικοί (stochastc) ανάλογα τον μηχανισμό αναζήτησής τους. Οι Ντετερμινιστικοί (determnstc) αλγόριθμοι συνήθως παρακολουθούν το αντικείμενο εκτελώντας μια επαναληπτική έρευνα για μια ομοιότητα μεταξύ της εικόνας και του τρέχοντος προτύπου. Οι αλγόριθμοι που χρησιμοποιούν την ντετερμινιστική μέθοδο είναι: αφαίρεσης του υπόβαθρου ( Hekkla & Slven, Stauffer & Grmson McIvor Lu et al, 2001 ), διαφοράς μεταξύ πλαισίων ( Lpton et al, Collns et al, 2000 ), οπτικής ροής (Meyer 37

38 et al. 1998), εξαγωγής χρώματος του δέρματος (Cho et al, Phung et al,2003). Από την άλλη οι στοχαστικές μέθοδοι χρησιμοποιούν το χώρο καταστάσεων για να διαμορφώσουν την υποκείμενη δυναμική του συστήματος παρακολούθησης. Τέτοιοι αλγόριθμοι είναι το φίλτρο Kalman (Broda & Chellappa, Arulampalam et al, 2002) και το φίλτρο σωματιδίων (Isard & Black, Ktagawa, Gordon et αϊ, Rstc et al, 2004). Το φίλτρο Kalman είναι μια κοινή προσέγγιση για την αντιμετώπιση με παρακολούθηση στόχου στο πιθανοτικό (probablstc) πλαίσιο. Σε ένα γραμμικό μοντέλο - Gaussan με γραμμική μέτρηση, υπάρχει πάντα μόνο ένας τρόπος στη μεταγενέστερη συνάρτηση πυκνότητας πιθανότητας (Propablty Densty Functon - PDF). Το φίλτρο Kalman μπορεί να χρησιμοποιηθεί για να διαδώσει και να ενημερώσει τη μέση τιμή και συνδιακύμανση της κατανομής αυτού του μοντέλου ( Arulampalam et al, 2002 ). Αλλά δεν μπορεί να επιλύσει τo πρόβλημα εντοπισμού όταν το μοντέλο είναι μη γραμμικό και μη Gaussan (Tanzak, 1987). Για μη γραμμικά ή μη Gaussan προβλήματα είναι αδύνατο να αξιολογήσει τις κατανομές αναλυτικά. Έτσι πολλοί αλγόριθμοι έχουν προταθεί για να τους προσεγγίσουν. Το εκτεταμένο φίλτρο Kalman μπορεί να αντιμετωπίσει αυτό το πρόβλημα, αλλά παρουσιάζει αδυναμίες, όταν η μη γραμμικότητα και μη Gaussan δεν μπορούν να προσεγγιστούν με ακρίβεια. Για να ξεπεραστούν αυτά τα προβλήματα, έχει εισαχθεί από πολλούς ερευνητές το φίλτρο σωματιδίων (partcle flterng) και έχει γίνει ένας δημοφιλής αλγόριθμος για την εκτίμηση του προβλήματος της μη γραμμικής και μη - Gaussan πλαισίου εκτίμησης. [8, 31] 3.1 Χαρακτηριστικά πρότυπα κινήσεων και παρατήρησης Πρότυπα κίνησης (Μoton models) Οι τεχνικές που χρησιμοποιούνται για να χρησιμοποιηθούν και να παρακολουθήσουν έναν δεδομένο στόχο εξαρτώνται από τους σκοπούς της παρακολούθησης του και ιδίως από τα αντικείμενα που κατέχουν ορισμένα χαρακτηριστικά όπως: αυτοκίνητα, άνθρωποι, πρόσωπα ορισμένα χαρακτηριστικά με μια συγκεκριμένη ιδιότητα, π.χ. κινούμενα αυτοκίνητα, περπατώντας άνθρωποι, ομιλούντα πρόσωπα, πρόσωπο ενός δεδομένου προσώπου τα αντικείμενα φύσης εκ των προτερων άγνωστα (pror unknown) αλλά συγκεκριμένου ενδιαφέροντος, όπως η κίνηση αντικειμένων. Για να χαρακτηριστεί ένας στόχος, επιλέγεται πρώτα ένα διάστημα χαρακτηριστικών γνωρισμάτων (feature space). Τα μοντέλο αντικειμένου αναφοράς (στόχος) αντιπροσωπεύεται από την Probablty Densty Functon (PDF) γι άυτό το διάστημα χαρακτηριστικών γνωρισμάτων. Παραδείγματος χάριν, το πρότυπο αναφοράς μπορεί να είναι το χρώμα PDF του στόχου [33]. Σε ένα άλλο καρέ εικόνας (frame), ο στόχος μπορεί να καθοριστεί από μια κάποια 38

39 θέση και χαρακτηριστεί από την PDF. Και τα δύο PDFs υπολογίζονται από δεδομένα και συγκρίνονται από μια λειτουργία ομοιότητας. Τα τοπικά μέγιστα στη λειτουργία ομοιότητας δείχνουν την παρουσία αντικειμένων στο δεύτερο πλαίσιο εικόνας που έχει μια αντιπροσώπευση παρόμοια με το πρότυπο αναφοράς που καθορίζεται στο πρώτο πλαίσιο. Τα παραδείγματα των λειτουργιών ομοιότητας είναι η απόσταση Bhattacharyya και η απόσταση Κullback-Lebler κτλ.[36] Λαμβάνοντας υπόψη την παρακολούθηση ενός διευκρινισμένου αντικειμένου ή μιας περιοχής ενδιαφέροντος για ακολουθίες εικόνας, χρησιμοποιούνται διαφορετικά πρότυπα αντικειμένου. Αρκετοί αλγόριθμοι χρησιμοποιούν μόνο την αδύνατη υπόθεση για την ακριβή διαμόρφωση αντικειμένου και δεν είναι ιδιαίτερα περιοριστικοί για τους τύπους αντικειμένων. Μια λογική προσέγγιση στην περιοχή ενδιαφέροντος μπορεί να είναι μια έλλειψη [35] ή ένα ορθογώνιο. Τα πρότυπα αντικειμένου (κίνηση) που χρησιμοποιούνται γενικά ποικίλλουν από τα γενικά τυχαία πρότυπα περιπάτων [33,34 ], τα σταθερά πρότυπα επιτάχυνσης [9] ή άλλα συγκεκριμένα πρότυπα. Προκειμένου να σχεδιαστούν οι αλγόριθμοι που ισχύουν για αρκετά μεγάλη ομάδα αντικειμένων, συμπεριλαμβανομένων των ανθρώπων, των προσώπων, των οχημάτων, κ.λπ., [1] ένα αδύνατο πρότυπο κατάσταση εξέλιξης υιοθετείται, όπως είναι τα αμοιβαία ανεξάρτητα γκαουσσιανά τυχαία πρότυπα περιπάτων (mutually random ndependent Gaussan Random Walk models). Αυτά τα πρότυπα αυξάνονται με μικρά τυχαία ομοιόμορφα συστατικά για να «εγκλωβίσουν» τα (σπάνια) γεγονότα όπως είναι τα άλματα στην ακολουθία εικόνας. Μικτής κατάστασης μοντέλα κινήσης [35] μπορούν να χρησιμοποιηθούν για να υπερνικήσει τα μερικά και πλήρη occlusons. [36] Πρότυπα παρατήρησης (Observaton models) Τα πρότυπα παρατήρησης για την παρακολούθηση αντικειμένου στις ακολουθίες εικόνων είναι συνήθως μη γραμμικά και μπορούν να είναι είτε παραμετρικά (π.χ. μίγμα Gaussans) είτε μη παραμετρικά (non-parametrc) (π.χ. ιστόγραμμα). Μερικά από τα συχνά χρησιμοποιημένα πρότυπα παρατήρησης είναι βασισμένα στο χρώμα, τη μορφή ή/και στην κίνηση. Συνήθως, τα πρότυπα πιθανότητας κάθε χαρακτηριστικού συνθήματος (cue) κατασκευάζονται [33, 34]. Αυτά τα χαρακτηριστικά συνθήματα είναι υποτιθέμενα αμοιβαία ανεξάρτητα, έχοντας κατά νου ότι οποιοσδήποτε συσχετισμός που μπορεί να υπάρξει μεταξύ, π.χ., το χρώμα, η κίνηση και ο ήχος ενός αντικειμένου είναι πιθανό να είναι αδύνατος. Η προσαρμογή των χαρακτηριστικών συνθημάτων είναι ουσιαστική στη διάκριση των διαφορετικών αντικειμένων που καθιστούν την παρακολούθηση ικανή στην εμφάνιση παραλλαγών λόγω των μεταβολών φωτισμού και θέσεων.[36] 39

40 3.2 Sequental Monte Carlo Partcle flterng Το φιλτράρισμα σωματιδίων (partcle flterng) είναι μια γενική Monte Carlo μέθοδος δειγματοληψίας, βασισμένη στον κανόνα Bayes όπου η βασική ιδέα της μεθόδου είναι η χρήση δειγμάτων (partcles) για την αναπαράσταση του μοντέλου του συστήματος αντί για χρήση Gaussan κατανομών (ή οποιουδήποτε άλλου μαθηματικού μοντέλου) και η διάδοση μόνο των επικρατέστερων δειγμάτων. Η μέθοδος αυτή χρησιμοποιείται για την εξαγωγή συμπερασμάτων σε μοντέλα κατάστασης-χώρου όπου η κατάσταση ενός συστήματος εξελίσσεται εγκαίρως και η πληροφορία για την κατάσταση λαμβάνεται μέσω θορυβωδών μετρήσεων που γίνονται σε κάθε βήμα. Σε ένα γενικό διακριτού χρόνου πρότυπο κατάστασης-χώρου, η κατάσταση ενός συστήματος εξελίσσεται σύμφωνα με τη σχέση: x f ( x v )(31) k k k1, k1 όπου: x k είναι ένα διάνυσμα που αντιπροσωπεύει την κατάσταση του συστήματος στο χρόνο κ, v είναι το διάνυσμα κατάστασης θορύβου, k 1 f k είναι μια ενδεχομένως μη-γραμμική και χρονικά εξαρτημένη λειτουργία που περιγράφει την εξέλιξη του διανύσματος κατάστασης f k, vk 1 Η κατάσταση του διανύσματος x k υποτίθεται ότι είναι κρυφή ή μη παρατηρήσιμη. Πληροφορίες σχετικά με κατάσταση του διανύσματος λαμβάνονται μόνο μέσω θορυβωδών μετρήσεων του, z k, και επιτυγχάνονται από την εξίσωση: z h ( x n )(32) k k k, k όπου: hk είναι πιθανώς μη-γραμμική και χρονό-εξαρτώμενη συνάρτηση που περιγράφει την διαδικασία μέτρησης και x k nk είναι το διάνυσμα θορύβου. Βέλτιστo φιλτράρισμα (Optmal flterng): Το πρόβλημα φιλτραρίσματος αφορά την εκτίμηση του διανύσματος κατάστασης σε χρόνο k, δεδομένων όλων των μετρήσεων μέχρι και του συμπεριλαμβανομένου χρόνου k, τις οποίες συμβολίζουμε με z1: k. 40

41 Σε ένα Bayesan σκηνικό, αυτό το πρόβλημα μπορεί να τυποποιηθεί με τον υπολογισμό της κατανομής ( xk z1: k) και μπορεί να γίνει σε δύο επαναληπτικά βήματα: Στο στάδιο πρόβλεψης όπου η κατανομή p( xk z1: k 1) q( xk x0: k 1, z1: k ) υπολογίζεται από το φιλτράρισμα διανομής ( xk 1 z1: k1) τη χρονική στιγμή k 1. p( x z ) Zp( x x ) p( x z ) d (33 a) k 1: k1 k k1 k1 1: k1 x k όπου p( xk 1 z1: k 1) θεωρείται ότι είναι γνωστή λόγω της αναδρομής και p( xk xk 1) δίνεται από την εξίσωση 1. 1 Η κατανομή p( xk z1: k 1) μπορεί να θεωρηθεί ως μια προηγούμενη πάνω από τη xk πριν από την παραλαβή της πιο πρόσφατη μέτρησης Z k. Στο στάδιο της ενημέρωσης, η προηγούμενη έχει ενημερωθεί με το νέο ZK μέτρησης, χρησιμοποιώντας τον κανόνα του Bayes για την απόκτηση της εκ των υστέρων x k : p( x z ) p( z x ) p( x z )(33 b) k 1: k k k k 1: k1 Σε γενικές γραμμές, οι υπολογισμοί στα στάδια πρόβλεψης και ενημέρωσης (εξισώσεις 33α-33b) δεν μπορούν να πραγματοποιηθούν αναλυτικά, εξ ού και η ανάγκη για προσεγγιστικών μεθόδων, όπως η δειγματοληψία Monte Carlo. Σε ορισμένες περιορισμένες περιπτώσεις, ωστόσο, οι υπολογισμοί στις εξισώσεις 33α-33b μπορoύν να πραγματοποιηθούν αναλυτικά, όπως θα δούμε στη συνέχεια. Το φίλτρο Kalman: Εάν η διανομή φιλτράρισματος τη χρονική στιγμή k-1, p( x z ) k1 1: k 1, είναι Gaussan, το φιλτράρισμα διανομής κατά την επόμενη p( x z ) χρονική στιγμή, k 1: k μπορεί να δειχθεί επίσης ότι είναι Γκαουσιανή (Gaussan), εάν πληρούνται οι δυο ακόλουθες προϋποθέσεις: f h k, είναι (1) η κατάσταση εξέλιξης και οι λειτουργίες μέτρησης, k και γραμμικές, (2) o θόρυβος της κατάστασης και ο θόρυβος μέτρησης, vk και n k, είναι Γκαουσσιανός ( Gaussan). Στην περίπτωση αυτή, η κατάσταση και η μέτρηση εξισώσεις μειώνουν τις ακόλουθες μορφές: x (34) k fkxk 1 vk 1 41

42 zk Hkxk nk όπου vk 1 και nk είναι Γκαουσσιανός (Gaussan) τυχαίες μεταβλητές και Fk και H k είναι οι μήτρες εξέλιξης της κατάστασης και μέτρησης που υποτίθεται ότι είναι γνωστές. Ο υπολογισμός των εξισώσεων της πρόβλεψης και ενημέρωσης σε αυτή την περίπτωση της γραμμικής Γκαουσσιανής (Gaussan) οδηγεί στον αλγόριθμο φίλτρου Kalman. Αυτή είναι μια προσέγγιση διακριτών βαρών. (35) Σκοπός μας τώρα είναι να εξάγουμε την σχέση ενημέρωσης των βαρών. Διαδοχική δειγματοληψίας σημασία (SIS): Όταν η πρόβλεψη και τα βήματα ανανέωσης του βέλτιστου φιλτραρίσματοςδεν είναι αναλυτικώς διαχειρίσιμα, πρέπει κανείς να καταφύγει σε προσεγγιστικές μεθόδους, όπως η Μόντε Κάρλο δειγματοληψία. Η διαδοχική δειγματοληψία σημασίας (Sequental Importance Samplng - SIS) είναι η πιο βασική μέθοδος Monte Carlo που χρησιμοποιείται για αυτό το σκοπό. Κατά τον υπολογισμό του αλγόριθμου SIS, είναι χρήσιμο να εξετάσουμε την πλήρη εκ των υστέρων κατανομή κατά το χρόνο k - 1, p( x0: k1 z1: k 1), αντί για το φιλτράρισμα διανομής, ( xk 1 z1: k 1), η οποία είναι ακριβώς η οριακή της πλήρους εκ των υστέρων διανομής σε σχέση με xk 1. Η ιδέα στο SIS είναι η προσέγγιση εκ των υστέρων διανομής τη χρονική στιγμή k - 1, p( x0: k1 z1: k 1), με ένα σταθμισμένο σύνολο δειγμάτων { x 0: k 1, wk 1 } N = 1, που ονομάζονται επίσης σωματίδια (partcles), και επαναλαμβανόμενα ανανεώνουν αυτά τα σωματίδια για να ληφθεί μία προσέγγιση ως προς την εκ των υστέρων διανομή στο επόμενο χρονικό βήμα: p( x z ) 0: k 1: k Ο αλγόριθμος SIS βασίζεται στη δειγματοληψία σημασίας (mportance samplng). Με τη δειγματοληψία σημασίας, μπορούμε να προσεγγίσουμε μια διανομή στόχο p (x), χρησιμοποιώντας δείγματα που ελήφθησαν από μια διανομή πρόταση q (x). Η Δειγματοληψία Σημασίας χρησιμοποιείται γενικά όταν είναι δύσκολο να πάρεις δείγμα απ 'ευθείας από την κατανομή του ίδιου του στόχου, αλλά είναι πολύ πιο εύκολο να πάρεις δείγμα από τη πρόταση διανομής. Για να αντισταθμιστεί η διαφορά μεταξύ του στόχου και της πρότασης διανομών, πρέπει να σταθμιστεί κάθε δείγμα x από w π ( x ) / q ( x ) όπου π (x) είναι μια λειτουργία που είναι ανάλογη με p (x) (δηλαδή p (x) π (x)) και ότι ξέρουμε πώς να αξιολογηθεί. Εφαρμόζοντας τον αλγόριθμο αυτό σε εκ των υστέρων διανομή τη χρονική στιγμή k - 1, οι αποδόσεις δειγματοληψίας σημασίας θα είναι: N 0: k1 1: k1 k1 x0: k 1 1 p( x z ) w (36) 42

43 Όπου x 0: k 1 είναι μια δέλτα συνάρτηση με κέντρο x0: k 1 και αφορούν μια προσέγγιση διακριτών βαρών. Αφού η βασική ιδέα στον αλγόριθμο SIS είναι η ανανέωση των σωματιδίων x 0: k1 w και των βαρών τους k 1 έτσι ώστε να προσεγγίζουν την εκ των υστέρων κατανομή κατά το επόμενο χρονικό βήμα: p( x0: k z1: k). Για να γίνει αυτό, πρέπει πρώτα να υποθέσουμε ότι η κατανομή πρότασης σε τη χρονική στιγμή k μπορεί να παραγοντοποιηθεί ως εξής: q( x z ) q( x x, z ) q( x z )(37) 0: k 1: k k 0: k1 1: k 0: k1 1: k1 x 0: k1 έτσι ώστε να μπορούμε απλά να αυξήσουμε κάθε σωματίδιο σε χρόνο k - 1 σε μια νέα κατάσταση xk σε χρόνο δειγματοληψίας από το q( xk x0: k 1, z1: k ), να ανανεωθούν τα βάρη wk 1, σύμφωνα με τον αλγόριθμο δειγματοληψίας σημασίας, τα βάρη των σωματιδίων σε χρόνο k θα πρέπει να είναι: w k p x0: k Z1: k q( x Z ) (38) 0: k 1: k Αποδεικνύεται ότι είναι δυνατόν να εκφράσουμε την παραπάνω εξίσωση 9 w επαναληπτικά σε σχέση με την k 1 : p( z x ) p( x x ) w (39) k k k k1 k wk 1 q( xk x0: k1, z1: k ) { w } N στη συνέχεια κανονικοποιούνται για να αθροιστούν σε 1. Τα βάρη k 1 q( xk xk 1, zk ) Αν υποθέσουμε ότι έτσι ώστε η πρόταση στο επόμενο χρονικό βήμα εξαρτάται μόνο από την πιο πρόσφατη κατάσταση και την πιο πρόσφατη μέτρηση, τότε χρειάζεται μόνο να αποθηκευτεί το xk 1 xk 1 και να δημιουργηθεί το σωματίδιο το επόμενο χρονικό βήμα από την κατανομή q( xk xk 1, zk ). Έτσι, στην περίπτωση αυτή, οι ανανεωμένες εξισώσεις απλοποιούνται όπως φαίνεται παρακάτω: x q( x x, z )(40) k k k 1 k w p( zk xk ) p( xk xk 1) k wk 1 (41) q( xk xk 1, zk ) 43

44 Το πρόβλημα εκφυλισμού: Στην πράξη, η επανάληψη των εξισώσεων ενημέρωσης 40 και 41 οδηγεί στο πρόβλημα εκφυλισμού, όπου μόνο μερικά από τα σωματίδια θα έχουν ένα σημαντικό βάρος, και όλα τα άλλα σωματίδια θα έχουν πολύ μικρά βάρη. Ο εκφυλισμός συνήθως μετριέται με την εκτίμηση του πραγματικού μεγέθους του δείγματος: N eff 1 2 (42) ( w ) 1 k Neff Όπου μικρότερο σημαίνει μεγαλύτερη διακύμανση για τα βάρη και ως εκ τούτου περισσότερο εκφυλισμό. Επαναδειγματοληψία (Resamplng): Η βασική ιδέα της επαναδειγματοληψίας (resamplng) είναι να αποβάλλονται δείγματα που έχουν μικρά βάρη και δίνεται περισσότερη σημασία στα δείγματα που έχουν μεγάλα βάρη. Έτσι σχηματίζεται (με αντικατάσταση) ένα νέο σύνολο από Ν σωματίδια από τη διακριτή προσέγγιση της διανομής φιλτραρίσματος p( xk z 1: k) [ή από το πλήρη εκ των υστέρων κατανομή (posteror dstrbuton)] εάν κάποιος ενδιαφέρεται να υπολογίσει την πλήρη εκ των υστέρων κατανομή] που παρέχεται από τα βάρη σωματιδίων p( xk z 1: ). N p( x z ) w (43) k 1: k 1 k Η επαναδειγματοληψία εκτελείται κάθε φορά που το αποτελεσματικό μέγεθος δείγματος Neff πέσει κάτω από ένα ορισμένο όριο. Δεδομένου ότι επαναδειγματοληψία γίνεται με αντικατάσταση, ένα σωματίδιο με ένα μεγάλο βάρος, είναι πιθανό να συντάσσεται πολλαπλές φορές και αντίστροφα, σωματίδια με πολύ μικρά βάρη δεν είναι πιθανό να συντάσσονται καθόλου. Επειδή τα βάρη των νέων σωματιδίων θα είναι όλα ίσα με 1 / Ν, η επαναδειγματοληψία (resamplng) ουσιαστικά ασχολείται με το πρόβλημα εκφυλισμού με τέτοιο τρόπο ώστε να απαλλαγούμε από τα σωματίδια με πολύ μικρό βάρος. Έτσι όμως, δημιουργείται, ένα νέο πρόβλημα που ονομάζεται: πρόβλημα της εξαθλίωσης του δείγματος. Επειδή τα σωματίδια με μεγάλα βάρη μπορεί να συντάσσονται πολλές φορές κατά τη διάρκεια της επαναδειγματοληψίας, τα σωματίδια που έχουν μικρά βάρη, είναι πιθανό να μην συντάσσονται καθόλου. Έτσι η ποικιλομορφία των σωματιδίων θα τείνει να μειώνεται μετά από ένα βήμα επαναδειγματοληψίας (resamplng). Στην ακραία περίπτωση, όλα τα σωματίδια μπορεί να " καταρρεύσουν " σε ένα ενιαίο σωματίδιο. Αυτό θα επηρεάσει αρνητικά την ποιότητα της προσέγγισης στην εξίσωση 43, καθώς ένα σωματίδιο θα προσπαθεί να εκπροσωπεί μια ολόκληρη διανομή με ένα μικρότερο αριθμό διακριτών δειγμάτων (στο όριο ενός μόνο σωματιδίου, το ένα θα πρέπει να k 44

45 αντιπροσωπεύει την πλήρη κατανομή με μια και μοναδική εκτίμηση για το σημείο). Παρακάτω θα αναφερθεί ένας πιθανός τρόπος να αντιμετωπισθεί το πρόβλημα εξαθλίωσης του δείγματος αλλά πρώτα θα αναλυθεί ένας δημοφιλής αλγόριθμος φιλτραρίσματος σωματιδίων που χρησιμοποιεί επαναδειγματοληψία (resamplng). Σχήμα 18: Απεικόνιση της μεθόδου Partcle Flterng Αλγόριθμος SIR Οι περισσότεροι αλγόριθμοι φιλτραρίσματος σωματιδίων είναι παραλλαγές του βασικού αλγορίθμου SIS. Ο αλγόριθμος SIR μπορεί να θεωρηθεί ως μια παραλλαγή του αλγόριθμου SIS, όπου η πρόταση διανομής q( xk xk 1, zk ) θεωρείται ότι είναι η μεταβατική κατάσταση διανομής p( xk xk 1) εφαρμόζοντας επανάδειγματοληψία σε κάθε επανάληψη. Έτσι, στον αλγόριθμο SIR, οι εξισώσεις ενημέρωσης για τα σωματίδια (Εξισώσεις στον αλγόριθμο SIS) γίνονται: x ~ p( x x ) (44) k k k 1 w p( z x ) (45) k k k Αυτές οι ενημερωμένες εκδόσεις, στη συνέχεια ακολουθούνται από ένα βήμα resamplng (επανάδειγματοληψίας) σε κάθε επανάληψη. Ο όρος wk 1 εξαφανίζεται στην εξίσωση ενημέρωσης βάρους όπως φαίνεται στην εξίσωση (40), διότι μετά το resamplng τη χρονική στιγμή k - 1, όλα τα βάρη wk 1 ισούνται με 1 / Ν. Το κύριο πλεονέκτημα του αλγορίθμου SIR απαιτεί μόνο δειγματοληψία από την κατανομή p( xk xk 1) και την αξιολόγηση p( zk x k) (επιπλέον της resamplng σε κάθε επανάληψη). Μειονεκτήματά του είναι: 45