HMY 795: Αναγνώριση Προτύπων. Διάλεξη 2

Transcript

1 HMY 795: Αναγνώριση Προτύπων Διάλεξη 2 Επισκόπηση θεωρίας πιθανοτήτων

2 Θεωρία πιθανοτήτων Τυχαία μεταβλητή: Μεταβλητή της οποίας δε γνωρίζουμε με βεβαιότητα την τιμή (αντίθετα με τις ντετερμινιστικές μεταβλητές) Η περιγραφή τυχαίων μεταβλητών γίνεται με πιθανοτικά μέτρα p(b=r)=0.4, p(b=b)=0.6 Δύο τυχαίες μεταβλητές: Χρώμα κουτιού, είδος φρούτου

3 Θεωρία πιθανοτήτων Περιθωριακή πιθανότητα (Marginal Probability) Συνδυασμένη πιθανότητα (Joint Probability) Εξαρτημένη πιθανότητα (Conditional Probability)

4 Θεωρία πιθανοτήτων Κανόνας αθροίσματος (Sum Rule) Κανόνας γινομένου (Product Rule)

5 Θεωρία πιθανοτήτων Sum Rule Product trule Ο κανόνας του Bayes posterior (likelihood prior)/ (normalizing constant)

6 Θεωρία πιθανοτήτων Ανεξάρτητες μεταβλητές p ( X, Y ) = p ( X ) p ( Y ) p( Y X ) = p( Y )

7 p(b = r) = 4/10, p(b = b) = 6/10 p(f = a B = r) = 1/4 p(f = o B = r) = 3/4 p(f = a B = b) = 3/4 p(f = o B = b) = 1/4 Θεωρία πιθανοτήτων

8 Θεωρία πιθανοτήτων 11 9 pf ( = a) = pf ( = a B= r) + pf ( = a B= bpb ) ( = b) = PF ( = o) = p(f = o B = r)p(b = r) 2 p(b = r F = o) = = p(f = o) 3

9 Συναρτήσεις πυκνότητας πιθανότητας p ( x) = P'( x)

10 Συναρτήσεις πυκνότητας πιθανότητας x=g(y)

11 Αναμενόμενη τιμή Expected value: Μέση τιμή μιας οποιασδήποτε συνάρτησης τυχαίας μεταβλητής x, f(x) Conditional Expectation (discrete) Approximate Expectation (discrete and continuous) Ex {} = μ k Ex { } = M k E{( x μ) } = m k 2 2 m2 = E{( x μ) } = σ k Μέση τιμή τ.μ. Ροπή (moment) τάξης k Κεντρική ροπή (central moment) τάξης k Διασπορά, σ: Τυπική απόκλιση (standard deviation)

12 Διασπορά (variance) Διασπορά και συνδιασπορά Διασπορά τυχαίας μεταβλητής: Συνδιασπορά (covariance) Τυχαίες μεταβλητές Τυχαία διανύσματα (random vectors) Ανεξάρτητες: Μηδενική συνδιακύμανση

13 Bayesian probability Κλασική θεώρηση (frequentist) πιθανότητας: Συχνότητα τυχαίων, επαναλαμβανόμενων γεγονότων Τι συμβαίνει σε περιπτώσεις που ένα (αβέβαιο) γεγονός δεν είναι επαναλαμβανόμενο? Μπορούμε να συλλέξουμε στοιχεία και να ποσοτικοποιήσουμε την αβεβαιότητα ενός γεγονότος, γενικεύοντας την έννοια της κλασικής πιθανότητας: Μπεϋζιανή (Bayesian) πιθανότητα Bayesian probability bilit : a measure of a state tt of knowledge Βάση: Κανόνας Bayes Η πιθανότητα ενός γεγονότος εξαρτάται από την εκ των προτέρων (a priori) πιθανότητα του γεγονότος καθώς και από τα στοιχεία που μας δίνουν τα παρατηρούμενα δεδομένα Π.χ. στο πρόβλημα γραμμικής παλινδρόμησης (regression) posterior (likelihood prior)/ (normalizing constant) Prior p(w): Εκ των προτέρων γνώση του συστήματος p(d w): πιθανοφάνεια (likelihood) των δεδομένων D={t 1,t 2,,t N } (εξαρτημένη πιθανότητα) Σταθερά:

14 Bayesian probability posterior (likelihood prior)/ (normalizing constant) Frequentist: η αβεβαιότητα των παραμέτρων καθορίζεται λαμβάνοντας υπόψη την κατανομή όλων των πιθανών συνόλων δεδομένων Bayesian: η αβεβαιότητα καθορίζεται από ένα μόνο σύνολο δεδομένων Frequentist : Maximum likelihood estimation μεγιστοποίηση της πιθανοφάνειας p(d w) ως προς w Bayesian: Εκτίμηση της εκ των υστέρων κατανομής των παραμέτρων p(w D) Maximum a posteriori: Μεγιστοποίηση της εκ των υστέρων (posterior) πιθανότητας, δηλ. του p(d w)p(w) )

15 Η κανονική κατανομή Πολλές τυχαίες μεταβλητές στην πράξη προσεγγίζουν την κανονική κατανομή Κεντρικό οριακό θεώρημα (Cetral limit theorem) Αν Χ 1,Χ 2,,Χ Ν τυχαίες μεταβλητές με σχεδόν οποιεσδήποτε pdf (αρκεί Μ k < για κάποιο k>2), με {(μ 1,σσ 1 ), (μ 2,σσ 2 ), (μ Ν,σσ Ν )}τότε ),} το άθροισμα τους Χ=Σα i Χ i ακολουθεί Γκαουσιανή κατανομή με n n μ = αμ, σ = ασ Πολύ ισχυρό i i i i t= 1 t= 1

16 Η πολυμεταβλητή κανονική κατανομή Για ένα τυχαίο διάνυσμα x με D στοιχεία: Σ: πίνακας συνδιακύμανσης

17 Εκτίμηση των παραμέτρων κανονικής τ.μ. Έστω ότι έχουμε Ν μετρήσεις μιας τ.μ. για την οποία γνωρίζουμε ότι ακολουθεί κανονική κατανομή και θέλουμε να υπολογίσουμε τη μέση τιμή και τη διασπορά της Αν οι παρατηρήσεις είναι ανεξάρτητες μεταξύ τους: Likelihood function

18 Εκτίμηση των παραμέτρων κανονικής τ.μ. Log likelihood Ορισμός. Αμερόληπτη (unbiased) εκτίμηση μιας τυχαίας μεταβλητής: Η εκτίμηση της οποίας η αναμενόμενη τιμή ισούται με την πραγματική τιμή της τ.μ.

19 Προσαρμογή καμπύλης συνέχεια

20 ML estimation Μπορούμε να υπολογίσουμε τις τιμές των w, β με τη μέθοδο της μέγιστης πιθανοφάνειας (ML) Για ανεξάρτητα δείγματα Η μεγιστοποίηση της ανωτέρω είναι ισοδύναμη με την ελαχιστοποίηση του αθροίσματος των ελάχιστων τετραγώνων δηλ. για Γκαουσιανό θόρυβο, οι εκτιμήσεις ML και LS είναι ισοδύναμες Για την ακρίβεια (precision) του θορύβου

21 Predictive distribution

22 MAP estimation Ενδιάμεσο βήμα μεταξύ εκτίμησης ML και Bayesian Ορίζουμε την a priori κατανομή για τους συντελεστές w Πρέπει να μεγιστοποιήσουμε μ την εκ των υστέρων πιθανότητα,, δηλ: Παρομοίως με πριν, ισοδύναμο με το να ελαχιστοποιήσουμε την Ισοδυναμία με κανονικοποίηση (regularization)!

23 Bayesian estimation MAP, ML: point estimates (σημεία μόνο, όχι κατανομές) Έστω ότι τα α, β είναι γνωστά Μπορούμε να υπολογίσουμε αναλυτικά την κατανομή

24 Bayesian estimation