Αναγνώριση Προτύπων. Εκτίμηση Παραμέτρων (Parameter Estimation)

Transcript

1 Αναγνώριση Προτύπων Εκτίμηση Παραμέτρων Parameter Estimatio Χριστόδουλος Χαμζάς Τα περιεχόμενα των παρουσιάσεων προέρχονται κυρίως από τις παρουσιάσεις του αντίστοιχου διδακτέου μαήματος του κα. Παναγιώτη Τσακαλίδη, Τμ. Επιστήμης Υπολογιστών, Παν. Κρήτης. Το πρωτογενές υλικό βρίσκεται στην σελίδα htt:// και βασίζεται στο βιβλίο: Patter Classificatio, R.O. uda, P.E. Hart,.G. Stor, Wiley, 2 d Ed., 2 Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών

2 Εκτίμηση Παραμέτρων Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 2

3 Υπάρχουν επίσης δύο τεχνικές μάησης. Εκπαίδευση με επίβλεψη suervised learig Υπάρχει αρχικό δείγμα στο οποίο γνωρίζουμε σε ποια κατηγορία ανήκει το καένα π.χ. έχουμε ένα δείγμα από χαρακτηριστικά στο οποίο ξέρουμε ποια είναι από λαυράκια και ποια είναι από σολωμούς 2. Εκπαίδευση δίχως επίβλεψη usuervised learig εν υπάρχει αρχικό δείγμα εκπαίδευσης απλά ξέρουμε ότι τα δείγματα μας προέρχονται από γνωστές κατηγορίες π.χ. χ έχουμε ένα δείγμα από χαρακτηριστικά και απλά ξέρουμε ότι προέρχονται μόνο από λαυράκια και από σολωμούς Το πρόβλημα αυτό α το αφήσουμε για άλλο μάημα.

4 Εκτίμηση Παραμέτρων 2 Τα αποτελέσματα και των 2 τεχνικών είναι περίπου ίδια αλλά η εωρητική προσέγγιση του προβλήματος είναι διαφορετική.η εκτίμηση μεγίστης πιανοφάνειας εωρεί τις τιμές των αγνώστων παραμέτρων «άγνωστες σταερές» και προσπαεί να βρεί ποιες είναι αυτές ώστε να μεγιστοποιείται η πιανότητα να πάρουμε το συγκεκριμένο «δείγμα» τιμών. 2. Η εκτίμηση παραμέτρων κατά Bayes, αντίετα εωρεί ότι οί άγνωστοι παράμετροι είναι τυχαίες μεταβλητές με γνωστή από πριν αρχική πυκνότητα κατανομής rior και το δείγμα τιμών που έχουμε λάβει μας οδηγεί σε βελτίωση osterior της αρχικής μας κατανομής. Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 4

5 Εκτίμηση Μέγιστης Αληοφάνειας Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 5

6 Πρόβλημα MLE Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 6

7 Παράδειγμα με νόμισμα Ρίχνουμε ένα νόμισμα Ν φορές και παρατηρούμε το αποτέλεσμα. Ποια είναι η εκτίμηση της πιανότητας να έχουμε «γράμματα»?

8 Συνάρτηση Πιανοφάνειας Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 8

9 Λογάριμος της Πιανοφάνειας Log-Lielihood Lielihood Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 9

10 Ειδικές Περιπτώσεις Κανονική κατανομή Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών

11 Ειδικές Περιπτώσεις Κανονική κατανομή Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών

12 Ειδικές Περιπτώσεις Κανονική κατανομή Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 2

13 Ειδικές Περιπτώσεις Κανονική κατανομή Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 3

14 Εκτίμηση κατά Bayes Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 4

15 Εκτίμηση κατά Bayes Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 5

16 Εκτίμηση κατά Bayes Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 6

17 Γενική μεοδολογία εκτίμησης κατά Bayes Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 7

18 Γενική μεοδολογία εκτίμησης κατά Bayes Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 8

19 Μπεϋζιανή εκμάηση Bayesia Learig Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 9

20 Μπεϋζιανή εκμάηση Κανονική Κατανομή Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 2

21 Μπεϋζιανή εκμάηση Κανονική Κατανομή Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 2

22 ΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ άδ ί έ Πετάμε ένα νόμισμα Ν φορές και παρατηρούμε φορές κεφάλι. Ποια είναι η πιανότητα να φέρουμε κεφάλι; Μεγίστη Πιανοφάνεια Παράδειγμα : Εκτίμηση Παραμέτρων Μεγίστη Πιανοφάνεια Για να πάρουμε την συγκεκριμένη σειρά δεδομένων με κάποιο έχουμε πιανότητα και συνεπώς Άρα, l l l, N l N P l P N N N N N P Εκτιμητής Bayes Αναδρομική Εκτίμηση x N = x d x N έχουμε και συνεπώς, γράμματα εάν κεφάλι εάν ομως γνωστό ariori, /N.5 =N=2 d N N N ή ά 2 για K=4, N=2 Εκ των προτέρων a-riori Πιανότητα ή ά ό ή ή γιά,8.5 2 u u Ae Πλήρης άγνοια, ομοιόμορφη κατανομή στο [,] Ή Αναμένεται να είναι δίκαιο νόμισμα, Κανονική στο [,] 22

23 ΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ άδ ί έ Παράδειγμα : Εκτίμηση Παραμέτρων Έχουμε δεδομένα από μία ομοιόμορφη κατανομή U,, δηλαδή, x= U,=/ για x. Τα δεδομένα που έχουμε είναι ={4,7,2,8} και έλουμε να εκτιμήσουμε πρώτα το και μετά το x. μ χ μ {,,, } μ μή μ ρ μ Εκτίμηση του Μεγίστη Πιανοφάνεια Για να πάρουμε την συγκεκριμένη σειρά δεδομένων με κάποιο έχουμε πιανότητα ώ 8 / x ˆ /.,, d x x και συνεπώς Εκτιμητής Bayes Αναδρομική Εκτίμηση 8 } max{ αλλού x /, u x 7 / 4 / 2 2 x ύ x 8 / 7 / x x ] max[ / x 23

24 Παράδειγμα συν.: Αναδρομική Εκτίμηση Παραμέτρων Άρα έχουμε με τα 4 σημεία ότι ο εκτιμητής του x της μεγίστης πιανοφάνειας είναι η τιμή =8, άρα x = U,8, ενώ ο εκτιμητής Bayes κόκκινη γραμμή του x είναι x x d ιότι για x 8, x ~/8, για 8 x, x ~ /. 24

25 ιαφορές ML και Bayes εκτιμητών Υπολογιστική πολυπλοκότητα ML πιο κατανοητό αποτέλεσμα Bayes δεν οδηγεί απαραίτητα στο παραμετρικό μοντέλο που υποέσαμε δες τελευταίο παράδειγμα Bayes χρησιμοποιεί καλύτερα τα δεδομένα εκπαίδευσης Bayes χρειάζεται και την εκ των προτέρων κατανομή συνήως δεν είναι γνωστή 25

26 Curse of imetioality Εάν για την καλή εκτίμηση των παραμέτρων μιας μονοδιάστατης df χρειάζονται Ν δείγματα, για την εκτίμηση της df σε d διαστάσεις χρειάζονται N d δείγματα 26

27 Απλοποιημένος Εκτιμητής Bayes Στην περίπτωση αυτή υποέτουμε ότι τα d χαρακτηριστικά ενός προτύπου x=x,x 2,,x d είναι στατιστικά ανεξάρτητα Άρα x i d x Η τεχνική αυτή εφαρμόζεται όταν το d είναι μεγάλο curse of dimesioality και ο αριμός Ν των δεδομένων εκπαίδευσης είναι σχετικά μικρός. Συνήως υποέτουμε ότι τα df των x, x 2,, x d είναι ή ς μ, 2,, d κανονικές κατανομές και προσπαούμε να εκτιμήσουμε την μέση τιμή και την διασπορά τους μ,σ 2 27 i

28 Παράδειγμα Έστω δεδομένα που δημιουργούνται από την παρακάτω df x i d 2 2 d 2 ex x i T x Με i=2, d=5 και μ =[ ] Τ, μ 2 =[ ]Τ,8,2,,5,,9,,5,2,,2,7,,3,2,,8,,2,2,,,8,2,, 2,5,,7,2,,5,3,2,9,,2,2,2,6,2,,2,,,8,,2,,2,7 i 28

29 MIXTURE MOELS Μία τυχαία df μπορεί να παρασταεί σαν άροισμα γνωστών df. J x Pj x j J j όπου P j, xjdx j x- Μία συνήης επιλογή για τις xj είναι η κανονική Nμ j,σ j Άρα δεδομένου ενός δείγματος τιμών προσπαούμε να εκτιμήσουμε τους συντελεστές Pj και τις παραμέτρους των xj Ένας δημοφιλής αλγόριμος που υπολογίζει τις παραμέτρους μέσα από μία επαναληπτική διαδικασία είναι ο ΕΜ δες Θεοδωρίδη, 4-η έκδοση, κεφ,