Εκτίµηση άγνωστων κατανοµών πιθανότητας

Transcript

1 KE 3 Αναγνώριση Προτύπων και Ανάλυση Εικόνας Εκτίηση άγνωστων κατανοών πιθανότητας ΤήαΕπιστήης και Τεχνολογίας Τηλεπικοινωνιών Πανεπιστήιο Πελοποννήσου 7 coas Tsaatsous Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Περιεχόενα Βιβλιογραφία Περιεχόενα Ενότητας Εισαγωγή Παραετρικές έθοδοι εκτίησης κατανοών πιθανότητας Μη παραετρικές έθοδοι Ο απλοϊκός ταξινοητής Bayes aïve Bayes Cassfer Οταξινοητής των -πλησιέστερων γειτόνων - Cassfer Βιβλιογραφία: Παπαάρκος [5]: Κεφάλαιο 7 Duda [4]: Chater 3 Theodords []: Chater Bow []: Chater 7 coas Tsaatsous

2 Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Εισαγωγή Ηεφαρογή της ταξινόησης σύφωνα ε τονκανόνατου Bayes απαιτεί τη γνώση των κατανοών πιθανότητας ω,,,,m Αν οι ανωτέρω κατανοές δεν είναι γνωστές πρέπει να εκτιηθούν από ένα σύνολο διανυσάτων {,,, } για τα οποία είναι γνωστές οι κλάσεις στις οποίες ανήκουν Υπάρχουν δύο βασικές κατηγορίες εκτίησης κατανοών πιθανότητας: Παραετρικές. Η ορφή της συνάρτησης κατανοής π.χ. Gaussan, Rayegh, Poson είναι γνωστή και χρειάζεται να εκτιηθούν οι παράετροι της Μη παραετρικές. εν υπάρχει καία γνώση της ορφής της κατανοής. Αυτή απλά εκτιάται από τα δεδοένα εκπαίδευσης 7 coas Tsaatsous Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Κανόνας του Bayes Ο κανόνας ταξινόησης του Bayes ας λέει: εδοένου του ταξινόησε το σύφωνα ε τον κανόνα: P ω > P ω j j όπου Pω είναι η εκ των υστέρων a-osteror πιθανότητα το να ανήκει στην κλάση ω. P ω ω P ω M ω P ω 7 coas Tsaatsous

3 Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Παραετρικές έθοδοι ε κάποιες περιπτώσεις η ορφή των κατανοών πιθανότητας είναι γνωστή και χρειάζεται απλά να εκτιηθούν οι παράετροι της κατανοής την πολυδιάστατη κατανοή Gauss Ν, οι παράετροι,. τη ονοδιάστατη εκθετική κατανοή οιπαράετροι α, λ. τη πολυδιάστατη κατανοή Bernou το διάνυσα θ. τις ανωτέρω περιπτώσεις η εκτίηση των συναρτήσεων κατανοής πιθανότητας πραγατοποιείται ε την εκτίηση των αγνώστων παραέτρων Υπάρχουν διάφορες έθοδοι παραετρικής εκτίησης. Οι πιο συχνά χρησιοποιούενες αναλύονται στη συνέχεια 7 coas Tsaatsous Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Μέθοδος έγιστης πιθανοφάνειας Η έθοδος της εγίστης πιθανοφάνειας ML Mamum Lehood ε δεδοένο ένα σύνολο από διανύσατα παρατήρησης {,,, } που ανήκουν στην κλάση ω, επιλέγει τις παραέτρους θ της κατανοής ω ώστε να εγιστοποιείται η συνολική πιθανότητα των διανυσάτων παρατήρησης Παράδειγα: Το σχήα ας δείχνει το ιστόγραα τωντιών παρατηρήσεων για τις οποίες γνωρίζουε ότι ακολουθούν την κανονική κατανοή ε άγνωστεςτιές για το, και σ. Επιλέξτε τις τιές και σ σύφωνα ε τον κανόνα της έγιστης πιθανοφάνειας Υπόδειξη: Για κανονικές κατανοές Ν,σ ισχύουν τα κατωτέρω: σ π P σ P > + P < σ.5 z dz 7 coas Tsaatsous 3

4 Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Μέθοδος έγιστης πιθανοφάνειας Η έθοδος της εγίστης πιθανοφάνειας ML Mamum Lehood ε δεδοένο ένα σύνολο από διανύσατα παρατήρησης {,,, } που ανήκουν στην κλάση ω, επιλέγει τις παραέτρους θ της κατανοής ω ώστε να εγιστοποιείται η συνολική πιθανότητα των διανυσάτων παρατήρησης Παράδειγα: Το σχήα ας δείχνει το ιστόγραα τωντιών παρατηρήσεων για τις οποίες γνωρίζουε ότι ακολουθούν την κανονική κατανοή ε άγνωστεςτιές για το, και σ. Επιλέξτε τις τιές και σ σύφωνα ε τον κανόνα της έγιστης πιθανοφάνειας Υπόδειξη: Για κανονικές κατανοές Ν,σ ισχύουν τα κατωτέρω: σ π P σ P > + P < σ.5 z dz 7 coas Tsaatsous Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Μέθοδος έγιστης πιθανοφάνειας II 6 Hstogram of sames dstrbuton δ bn ength.5.6 Sames dstrbuton number of sames normazed frequency of aearence ,..5,.5.4, vaue of vaue of 7 coas Tsaatsous 4

5 Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Μέθοδος έγιστης πιθανοφάνειας III Έστω ότι τα διανύσατα είναι γνωστά και θ : ; θ Έστω X {,,... } Ορίζουε τη συνάρτηση : X ; θ,,...,,..., εταξύ τους ανεξάρτητα Έστω γνωστή υπό την αίρεση ενός αγνώστου διανύσατος παραέτρων : ; θ Π Η συνάρτηση X ; θ είναι γνωστή ως Πιθανοφάνεια Lehood τουθ ως προς το σύνολο X το σύνολο των διανυσάτων παρατήρησης ; θ 7 coas Tsaatsous Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Μέθοδος έγιστης πιθανοφάνειας IV Υπολογισός των άγνωστων παραέτρων. ιάλεξε το διάνυσα παραέτρων που εγιστοποιεί την πιθανοφάνεια : ˆ θ ML : arg ma Π συνάρτηση. Ν θ ; θ Η συνάρτηση n είναι ια ονοτονική L θ n X ; θ n ˆ θ ML L θ : θ ; ; θ ; θ θ θ 7 coas Tsaatsous 5

6 6 7 coas Tsaatsous Παράδειγα Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - α α α α π A A A A L L L C L T T ML T T... e ; ; n ;,...,,, Π Αν Υπόδειξη : άγνωστο, : : 7 coas Tsaatsous Έστω οι τιές παρατήρησης {,,, } που είναι γνωστό ότι προέρχονται από την κατανοή Να εκτιηθεί η τιή τηςπαραέτρου θ ε τηέθοδο της εγίστης πιθανοφάνειας Παράδειγα II Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - < e θ θ

7 Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Μέθοδος της έγιστης εκ των υστέρων πιθανότητας Η έθοδος της εγίστης εκ των υστέρων πιθανότητας MAP Mamum Aosteror Probabty θεωρεί ότι το διάνυσα παραέτρων θ είναι ένα τυχαίο διάνυσα ε γνωστή κατανοή πιθανότητας θ. Με δεδοένο ένα σύνολο από διανύσατα παρατήρησης X {,,, } ηεκτίηση του διανύσατος θ πραγατοποιείται ε εγιστοποίηση της συνάρτησης της εκ των υστέρων πιθανότητας: θ X Από τον κανόνα του Bayes έχουε: θ X θ X θ X > θ X θ θ X X 7 coas Tsaatsous Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Μέθοδος της έγιστης εκ των υστέρων πιθανότητας II Υπολογισός του διανύσατος παραέτρων θ: ˆ θ ˆ θ MAP MAP arg ma θ X or θ : θ X θ θ Αν θ είναι οοιόορφη ευρεία τότε ˆ θ MAP θ ML ή αρκετά 7 coas Tsaatsous 7

8 Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Παράδειγα Έστω ότι ζητάε ναεκτιήσουε τοέσο διάνυσα ιας πολυδιάστατης κανονικής κατανοής,σi, για την οποία γνωρίζουε ότι το διάνυσα της έσης τιής ακολουθεί επίσης κανονική κατανοή,σ I: :,, unnown, X e σ π σ θ MAP : n Π or ˆ ˆ MAP MAP {,..., } σ + σ σ For >>, or for σ σ + σ ˆ ML σ ˆ σ 7 coas Tsaatsous Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Μεικτά οντέλα Τα εικτά οντέλα mture modes προσεγγίζουν ια άγνωστη κατανοή πιθανότητας συνδυάζοντας πολλές κατανοές. Αποδεικνύεται ότι ε συνδυασό κατανοών πορεί να προσεγγίσουε οποιαδήποτε άγνωστη κατανοή M J j P, j j j P j d j Εργαζόενοι όπως και πριν ε παραετρική οντελοποίηση έχουε: j; θ Οστόχοςείναιηεκτίηση των θ και P, P,..., P j δεδοένου του συνόλου X,,..., { } 7 coas Tsaatsous 8

9 Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Μεικτά οντέλα II Μπορούε ναεφαρόσουε τηέθοδο εγίστης πιθανοφάνειας όπως και πριν: Θ ˆ arg ma P ; θ, P,..., P Η διαφορά είναι ότι τώρα χρειάζεται να εκτιηθούν οι εκ των προτέρων πιθανότητες P j, j,,,j για τις επιέρους κατανοές οι οποίες δεν είναι άεσα παρατηρήσιες από το σύνολο X. Το ανωτέρω πρόβληα είναι ένα χαρακτηριστικό πρόβληα η πλήρους συνόλου δεδοένων ncomete data set ot Π θ, P,..., P j Μια πολύ διαδεδοένη έθοδος για την επίλυση τέτοιων προβληάτων είναι ο αλγόριθος EM Eectaton Mamzaton j 7 coas Tsaatsous Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Οαλγόριθος ΕΜ Γενική θεώρηση: Έστω y το πλήρες σύνολο δεδοένων y Y R τα οποία δεν είναι άεσα παρατηρήσια Αντίθετα παρατηρήσιος είναι ο υπόχωρος g y X R, m wth P ; θ, ob < m, ε y; θ, y Προφανώς για το η παρατηρήσιο έρος των διανυσάτων y πορεί να έχει οποιαδήποτε τιή Ο αλγόριθος ΕΜ συπληρώνει τα ελλειπή δεδοένα αναθέτοντας σε αυτά τις πιθανότερες τιές αναενόενες το προηγούενο παράδειγα οιεκτιήσειςγιατιςεκτων προτέρων πιθανότητες P j, j,,,j βασίζονται στην τρέχουσα εκτίηση των παραέτρων θ. 7 coas Tsaatsous 9

10 Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Οαλγόριθος ΕΜ II Έστω: Y Y όλα τα y που αντιστοιχούν σε ένα συγκεκριένο ; θ Y y y; θ d y Αυτό που ζητάε να υπολογίσουε είναι: n y y ; θ ˆ θml : θ Αλλά δυστυχώς τα y δεν είναι παρατηρήσια Ο αλγόριθος ΕΜ εγιστοποιεί την αναενόενη τιή γιαταy δεδοένων των και της τρέχουσας των αγνώστων παραέτρων θ. 7 coas Tsaatsous Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Οαλγόριθος ΕΜ III Ο αλγόριθος εκτελείται σε δυο βήατα: Εύρεση της αναενόενης τιής Qθ;θt για τις τιές των y δεδοένων των Χ {,,, } και της τρέχουσας εκτίησης για τις παραέτρους θt. E-ste: Q θ ; θ t E[ n y ; θ X ; θ t] y Εύρεση της νέας εκτίησης θt+ για τις άγνωστες παραέτρους ε εγιστοποίηση της αναενόενης τιής Μ-ste: Q θ ; θ t θ t + : θ 7 coas Tsaatsous

11 Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Οαλγόριθος ΕΜ στην προσέγγιση κατανοών Ο αλγόριθος ΕΜ εφαρόζεται στην εκτίηση των αγνώστων κατανοών ε χρήσηεικτών οντέλων: Πλήρη δεδοένα:, j,,,..., j η κατανοή απότηνοποίαδηιουργείται το διάνυσα. Παρατηρήσια είναιόνο τα και όχι οι τιές j, j ; θ j ; θ P j,,,..., Θεωρώντας ότι τα διανύσατα παρατήρησης είναι εταξύ τους ανεξάρτητα λαβάνουε τη λογαριθική ορφή της συνάρτησης πιθανοφάνειας ως ακολούθως: L θ n j ; θ P j 7 coas Tsaatsous Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Οαλγόριθος ΕΜ στην προσέγγιση κατανοών ΙΙ Άγνωστες παράετροι: Θ E-ste: Q Θ ; Θ t E [ J j P j T T T T T [ θ, P ], P [ P, P,..., Pj ] n ; Θ t j ; θ P n j ] ; j θ P j E [ ] M-ste: Q Q, j,,..., J θ P j Θ J j; t Pj P j ; Θ t ; Θ t j; θ t Pj P ; Θ t j 7 coas Tsaatsous

12 Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Μη παραετρικές έθοδοι τις η παραετρικές εθόδους η συναρτήσεις πυκνότητας πιθανότητας δεν έχουν ια προδιαγεγραένη ορφή. Μπορούν να είναι απλά το ιστόγραα τωνεκτιήσεων πιθανότητας σε ένα εύρος τιών των διανυσάτων παρατήρησης h h n h ˆ ˆ ˆ + P tota ˆ ˆ ˆ h h, - ˆ Αν η είναισυνεχής, εφόσον h, ˆ όταν,, 7 coas Tsaatsous Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Μέθοδος παραθύρων Parzen ιαιρούε το πολυδιάστατο χώρο σε υπερκύβους: Ορίζουε τησυνάρτηση ϕ j otherwse ηλαδή ένα υπερκύβο ε πλευρά και κεντραρισένο στο ˆ h ϕ h Υπάρχει ένα πρόβληα: * * αριθός σηείων όγκος ε πλευρά συνεχής ϕ ασυνεχής h - και κεντραρισ ένο στο Για εξοάλυνση ορίζουε τα παράθυρα Parzen έσω κάποιων συναρτήσεων πυρήνα erne functons παράδειγα Ν,I: ϕ s smooth ϕ, ϕ d εντός του κύβου 7 coas Tsaatsous

13 Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Μέθοδος παραθύρων Parzen ΙΙ Μεταβλητότητα: Όσο ικρότερο είναι το h τόσο εγαλύτερη είναι η διασπορά h., h.8, Όσο εγαλύτεροτοντόσοκαλύτερη η ακρίβεια της εκτίησης 7 coas Tsaatsous Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Μέθοδος παραθύρων Parzen ΙΙI Εφαρογή της εθόδου στη ταξινόηση ε τονκανόναbayes: ω P ω λ λ >< ω P ω λ λ θ ϕ h h >< ϕ h h θ 7 coas Tsaatsous 3

14 Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Μέθοδος - II Μέθοδος Parzen Ο όγκος του κάθε υπερκύβου Οαριθός των σηείων εντός κάθε υπερκύβου κυαίνεται Μέθοδος - Οαριθός των σηείων διατηρείται σταθερός Οόγκοςαυξάνεται V V >< θ V V 7 coas Tsaatsous Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Η κατάρα της διάστασης curse of dmensonaty Ο απλοϊκός ταξινοητής Bayes ε όλες τις εθόδους η παραετρικής εκτίησης όσο περισσότερα σηεία Ν λαβάνονται σε κάθε υπερκύβο τόσο καλύτερη εκτίηση έχουε γιατη συνάρτηση πυκνότητας πιθανότητας Αν στη ονοδιάστατη περίπτωση οι παρατηρήσεις είναι απλά εονωένες τιές και όχι διανύσατα απαιτούνται σηεία σε κάθε διάστηα εύρουςh τότε στη πολυδίαστατη περίπτωση διανύσατα ήκους απαιτούνται Ν σηεία για καλή εκτίηση. Ηεκθετικήαύξησητωναπαιτούενων σηείων ε τηναύξησητης διάστασης του διανύσατος ονοάζεται κατάρα της διάστασης 7 coas Tsaatsous 4

15 Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - R Ο απλοϊκός ταξινοητής Bayes ΙΙ Έστω και ότι επιθυούε ναεκτιήσουε τιςκατανοές ω,,, M. Για αποτελεσατική εκτίηση χρειάζονται σηεία διανύσατα παρατήρησης. Υποθέτοντας ότι όλα τα στοιχεία των διανυσάτων είναι εταξύ τους ανεξάρτητα,,, mutuay ndeendent. Τότε: ω j ω j ε αυτή την περίπτωση απαιτούνται σηεία για κάθε συνάρτηση πυκνότητας πιθανότητας. Εποένως ένας συνολικός αριθός της τάξης των σηείων είναι αρκετός. Ηανωτέρωεκτίηση οδηγεί στο απλοϊκό ταξινοητή Bayes δηλαδή εφαρογή της ταξινόησης Bayes ε βάση την απλοϊκή εκτίηση της κατανοής 7 coas Tsaatsous Εισαγωγή Παραετρικές έθοδοι Μη παραετρικές έθοδοι Οαπλοϊκόςταξινοητής Bayes Οταξινοητής - Οταξινοητής - Έστω ένα διάνυσα εισόδου. Επιλέγουε τα πλησιέστερα σε αυτό διανύσατα παρατήρησης από το σύνολο των Από τα αυτά διανύσατα τα ανήκουνστηνκατηγορίαω. Ανέθεσε το σύφωνα ε τον κανόνα: ω : > j j την απλούστερη περίπτωση!!! Για εγάλο αριθό δειγάτων Ν η προσέγγιση αυτή δεν απέχει πολύ από τον βέλτιστο ταξινοητή κανόνας Bayes. Έστω P B ηπιθανότητασφάλατος ταξινόησης ε τον κανόνα Bayes και P η αντίστοιχη πιθανότητα στον ταξινοητή -ΝΝ. Ισχύει: P P B M PB PB PB M P P P B B + P 7 coas Tsaatsous 5