Αναγνώριση Προτύπων (Pattern Recognition) Εκτίµηση Παραµέτρων (Parameter Estimation) Π. Τσακαλίδης ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΡΗΤΗΣ ΤΜΗΜΑ ΕΠΙΣΤΗΜΗΣ ΥΠΟΛΟΓΙΣΤΩΝ

Transcript

1 Αναγνώριση Προτύπν Patter Recogitio Εκτίµηση Παραµέτρν Parameter Estimatio Π. Τσακαλίδης ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΡΗΤΗΣ ΤΜΗΜΑ ΕΠΙΣΤΗΜΗΣ ΥΠΟΛΟΓΙΣΤΩΝ

2 Εκτίµηση Παραµέτρν ΟΜπεϋζιανός ταξινοµητής δεν µπορεί να χρησιµοποιηεί όταν δεν είναι γνστές οι συναρτήσεις πυκνότητας πιανότητας i & P i. Οι κατανοµές µπορούν να εκτιµηούν εάν υπάρχουν επαρκή δεδοµένα ύσκολο! Εάν είναι γνστή η µορφή της κατανοµής, για παράδειγµα κανονική, αλλά όχι οι παράµετροι της, π.χ. η µέση τιµή και η διασπορά της, το πρόβληµα ανάγεται σε αυτό της εκτίµησης τν παραµέτρν.

3 Εκτίµηση Παραµέτρν Υπάρχουν δύο βασικές τεχνικές:. Εκτίµηση Μέγιστης Πιανοφάνειας Maimum Lielihood Estimatio. Εκτίµηση παραµέτρν κατά Bayes Bayesia Parameter Estimatio

4 Εκτίµηση Μέγιστης Αληοφάνειας Υποέτουµεότι παίρνουµε τυχαία επιλεγµένα δείγµατα από µια δεδοµένη κατανοµή της οποίας οι παράµετροι είναι άγνστοι. Συµβολίζουµε το σύνολο τν παραµέτρν µε το διάνυσµα. Εάν για παράδειγµα γνρίζουµε ότι η κατανοµή είναι κανονική αλλά δεν ξέρουµε τον µέσο και τη διασπορά της, τότε µ, Σ µ,..., µ, σ,..., σ,cov, ; m,,... d; m f d d m d + d d + παράµετροι

5 Πρόβληµα MLE Για κάε µία από τις κλάσεις, υπολόγισε το διάνυσµα παραµέτρν χρησιµοποιώντας ένα σύνολο δεδοµένν εκπαίδευσης {,, } το οποίο έχει ανεξάρτητα δείγµατα i.i.d: Πιανοφάνεια του αναφορικά µε το δείγµα Ηεκτίµηση µεγίστης πιανοφάνειας του είναι εκείνη η τιµή που µεγιστοποιεί την παραπάν συνάρτηση. ιαισητικά, αντιστοιχεί στην τιµή του που «συµφνεί» όσο το δυνατό καλύτερα µεταδείγµατα.

6 Συνάρτηση Πιανοφάνειας

7 Λογάριµος της Πιανοφάνειας Log-Lielihood Το που µεγιστοποιεί την συνάρτηση πιανοφάνειας, µεγιστοποιεί επίσης και τον λογάριµό της, µε τον οποίο µπορούµε πολλές φορές να δουλέψουµε ευκολότερα: l l l Το που µεγιστοποιεί αυτή τη συνάρτηση µπορεί να υπολογισεί έτοντας την παράγγο του ς προς ίση µετοµηδέν, και λύνοντας την εξίσση ς προς. ˆ arg mal l l ML

8 Περίπτση κανονικής κατανοµής µε άγνστοµ κ µ ~ Nµ, Σ Οεκτιµητής µέγιστης πιανοφάνειας του µ ικανοποιεί: Πολλαπλασιάζοντας από αριστερά µε Σ και λύνοντας, παίρνουµε: [ ] l l l µ Σ µ µ Σ µ Σ µ t d π ˆ µ Σ Ειδικές Περιπτώσεις Κανονική Κατανοµή ML ˆ µ ηλαδή είναι ο αριµητικός µέσος όρος τν δειγµάτν εκπαίδευσης!

9 Περίπτση κανονικής κατανοµής µεαγνώστουςµ και σ :, µ, σ + l l l l π P P l P l Ειδικές Περιπτώσεις Κανονική Κατανοµή

10 Λαµβάνοντας υπ όψην όλα τα δείγµατα : Συνδυάζοντας τις και, παίρνουµε: ˆ ˆ ; ˆ µ σ µ + ˆ ˆ ˆ ˆ ˆ Ειδικές Περιπτώσεις Κανονική Κατανοµή

11 Ειδικές Περιπτώσεις Κανονική Κατανοµή Bias Ο ML εκτιµητής για τη διασπορά σ µεροληπτεί biased E ˆ µ σ σ Ένας στοιχειώδης αµερόληπτος εκτιµητής για τον πίνακα συνδιασποράς, Σ, είναι: t C ˆ µ µ Samle covariace matri

12 Εκτίµηση κατά Bayes Σε αντίεση µε τον MLE, όπου κάναµε την υπόεση ότι οι άγνστες παράµετροι έχουν σταερές τιµές, ο εκτιµητής κατά Bayes BE υποέτει ότι οι άγνστες παράµετροι είναι τυχαίες µεταβλητές και ακολουούν µία εκ τν προτέρν γνστή σ.π.π. Εποµένς, ο BE υπολογίζει µια κατανοµή τν τιµών του και όχι τις τιµές αυτές κα αυτές. Ο BE παρέχει περισσότερη πληροφορία, όµς συχνά είναι δύσκολο να υπολογισεί. Ηύπαρξηµετρήσεν εκπαίδευσης traiig data επιτρέπει την µετατροπή της εκ τν προτέρν πληροφορίας σε εκ τν υστέρν σ.π.π. φαινόµενο της εκµάησης Bayesia learig όπου κάε νέα παρατήρηση οξύνει την εκ τν υστέρν σ.π.π.

13 Μπεϋζιανή Εκµάηση για προβλήµατα ταξινόµησης προτύπν. Ουπολογισµόςτνεκτνυστέρνσ.π.π. αποτελεί τη βάση της Μπεϋζιανής ταξινόµησης. Στόχος: Υπολογισµός τν P i, δεδοµένου του συνόλου δειγµάτν εκπαίδευσης {,, c }, όπου τα δείγµατα στο σύνολο j αντιστοιχούν στην κλάση j, j,,c. Για κάε νέο, αταξινόµητο δείγµα,, o κανόνας του Bayes δίνει: c j j j i i i P P P,,, Εκτίµηση κατά Bayes

14 Υποέτουµε ότι Οι εκ τν προτέρν P i είναι γνστές, οπότε P i P i. Μόνο τα δείγµατα του συνόλου i έχουν πληροφορία για τη σ.π.π. i, i προκύπτουν c ανεξάρτητα προβλήµατα εκτίµησης τν i, i, η οποία µπορεί να γραφεί και ς i. Εκτίµηση κατά Bayes c j j j j i i i i i P P P,,, Αυτή τη συνάρτηση έλουµε να εκτιµήσουµε γράφεται και ς i

15 Γενική Μεοδολογία Εκτίµησης κατά Bayes Για κάε κλάση, γνρίζουµετηµορφή της σ.π.π., αλλά η τιµή του διανύσµατος παραµέτρν είναι άγνστη. Έχουµε κάποιααρχικήγνώσηγιατο µετηµορφή της εκ τν προτέρν a riori σ.π.π.. Για κάε κλάση, διαέτουµε ένα σύνολο {,, } από στατιστικώς ανεξάρτητα δείγµατα. Τότε: d Σχέση κλειδί: Συνδέει την δεσµευµένη σ.π.π. µε την εκ τν υστέρν σ.π.π. του διανύσµατος τν παραµέτρν. ηλώνει ότι η είναι ένας γραµµικός συνδιασµός τν µε βάρη τις. Άν η έχει ένα απότοµο µοναδικό µέγιστο στο * τότε

16 Για τον υπολογισµό της, έχουµε ότι: Λόγ της ανεξαρτησίας τν δειγµάτν εκπαίδευσης, Αν η είναι επικεντρµένη γύρ από το * µε µεγάλη κορυφή σε αυτό το σηµείο, και αν η * δεν είναι, τότε και η έχει µεγάλη κορυφή στο *, και εποµένς α είναι Αλλά το σηµείο *, όπς περιγράφεται παραπάν, είναι ο εκτιµητής µέγιστης πιανοφάνειας του!! Γενική Μεοδολογία Εκτίµησης κατά Bayes d

17 Ένα έµα που ενδιαφέρει είναι αυτό του υπολογισµού και της σύγκλισης της ακολουίας τν σ.π.π., όπου επαναφέραµε τον δείκτη του αριµού τν δειγµάτν εκπαίδευσης στο σύνολο. Εποµένς, Η παραπάν σχέση δηµιουργεί µία ακολουία σ.π.π.,,,,,, Αναδροµική Μπεϋζιανή µεοδολογία εκµάησης, Bayesia recursive or icremetal learig. Μπεϋζιανή Εκµάηση Bayesia Learig d

18 Μπεϋζιανή Εκµάηση Κανονική κατανοµή Πρόβληµα: Υπολογισµός τν σ.π.π. και όταν υποέτουµε ότι µνµ,σ δηλ. µ και µnµ,σ. Το µ είναι η εκ τν προτέρν καλύτερη γνώση µας για το µ και το σ δηλώνει την αβεβαιότητά µας. σ Προκύπτει ότι µ σ Νµ,σ, όπου: Το µ αντιπροσπεύει την καλύτερη γνώση µας για το µ µετά την παρατήρηση δειγµάτν εκπαίδευσης και το σ µετράει την αβεβαιότητά µας. Επίσης, Νµ, σ +σ. µ σ ˆ µ σ ˆ µ + + σ σ σ σ, σ + σ + σ µ, Καώς σ if, έχουµε µ ˆ µ για κάε, δηλαδή επιστρέφουµε στην εκτίµηση µέγιστης πιανοφάνειας. Καώς if, έχουµε σ σ δηλαδή για αρκετά µεγάλο αριµό δειγµάτν εκπαίδευσης, η ακρίβεια της εκτίµησης του µ δεν εξαρτάται από την αβεβαιότητα της εκ τν προτέρν γνώσης µας, σ.

19 Μπεϋζιανή Εκµάηση Κανονική κατανοµή Καώς if, η εκ τν υστέρν σ.π.π. µ γίνεται όλο και περισσότερο συγκεντρµένη γύρ από το µέσο της. Το φαινόµενο αυτό ονοµάζεται Μπεϋζιανή εκµάηση Bayesia learig.