HMY 795: Αναγνώριση Προτύπων Διάλεξη 2 Επισκόπηση θεωρίας πιθανοτήτων
Τυχαίες μεταβλητές: Βασικές έννοιες Τυχαία μεταβλητή: Μεταβλητή της οποίας δε γνωρίζουμε με βεβαιότητα την τιμή (σε αντίθεση με τις ντετερμινιστικές μεταβλητές) Η περιγραφή τυχαίων μεταβλητών γίνεται με πιθανοτικά μέτρα Για μια τυχαία μεταβλητή, η συνάρτηση κατανομής πιθανότητας (probability distribu`on func`on ή cumula`ve distribu`on func`on - cdf) ορίζεται ως: Αν η τ.μ. είναι συνεχής τότε η συνάρτηση πυκνότητας πιθανότητας (probability density func`on pdf) ορίζεται ως: και ισχύει: 2
Τυχαίες μεταβλητές: Βασικές έννοιες Για διακριτές τυχαίες μεταβλητές (discrete random variables) η συνάρτηση κατανομής πιθανότητας ορίζεται ως: όπου p X (x) είναι η συνάρτηση μάζας πιθανότητας (probability mass func`on) της διακριτής τ.μ. X: Η συνάρτηση μάζας πιθανότητας ικανοποιεί τις ακόλουθες συνθήκες: όπου S είναι το σύνολο όλων των πιθανών τιμών της τ.μ. Χ, S=(x 1,,x N }
Τυχαίες μεταβλητές: Βασικές έννοιες H συνδυασμένη συνάρτηση κατανομής πιθανότητας (joint probability distribu`on func`on) μεταξύ δύο τυχαίων μεταβλητών ορίζεται ως: Ανεξάρτητες τυχαίες μεταβλητές: Στη γενική περίπτωση για Ν ανεξάρτητες τ.μ.: Αναμενόμενη τιμή (expected value) τυχαίας μεταβλητής: Για οποιαδήποτε συνάρτηση της τ.μ. Χ: Για διακριτές τ.μ.: Μέση τιμή τ.μ.: Ροπή (Moment) τάξης k: Μέση τετραγωνική τιμή (Mean square) - Ροπή τάξης 2: Κεντρική ροπή τάξης k: 4
Τυχαίες μεταβλητές: Βασικές έννοιες Διασπορά (variance): Κεντρική ροπή τάξης 2. Τυπική απόκλιση (standard devia`on) Ασυσχέτιστες (uncorrelated) τυχαίες μεταβλητές X και Υ: Δύο ανεξάρτητες τ.μ. είναι και ασυσχέτιστες - το αντίστροφο δεν ισχύει κατ ανάγκη Η συνδιασπορά (covariance) μεταξύ δύο τ.μ. ορίζεται ως: Αν δύο τ.μ. είναι ασυσχέτιστες, η συνδιασπορά μεταξύ τους είναι μηδενική Επίσης: Η ποσότητα: ονομάζεται συντελεστής συσχέτισης (correla`on coefficient) μεταξύ των τ.μ. Χ, Υ και πάντα είναι απολύτως μικρότερος του 1. Για δύο ασυσχέτιστες τ.μ. ο συντελεστής συσχέτισης είναι μηδενικός. 5
Θεωρία πιθανοτήτων - παράδειγμα Περιθωριακή πιθανότητα (Marginal Probability) Συνδυασμένη πιθανότητα (Joint Probability) Εξαρτημένη πιθανότητα (Condi`onal Probability)
Θεωρία πιθανοτήτων - παράδειγμα Κανόνας αθροίσματος (Sum Rule) Κανόνας γινομένου (Product Rule)
Βασικοί κανόνες θεωρίας πιθανοτήτων Κανόνας αθροίσματος (Sum Rule) Κανόνας γινομένου (Product Rule) Ο κανόνας του Bayes Διακριτές τ.μ. Συνεχείς τ.μ.
Θεωρία πιθανοτήτων - παράδειγμα Δύο τυχαίες μεταβλητές: Χρώμα κουτιού, είδος φρούτου p(b=r)=0.4, p(b=b)=0.6
Θεωρία πιθανοτήτων - παράδειγμα p(b = r) = 4/10, p(b = b) = 6/10 p(f = a B = r) = 1/4 p(f = o B = r) = 3/4 p(f = a B = b) = 3/4 p(f = o B = b) = 1/4
Θεωρία πιθανοτήτων - παράδειγμα p(f = a) = p(f = a B = r) p(b = r) + p(f = a B = b) p(b = b) = 11 20 P(F = o) = 9 20 p(f = o B = r)p(b = r) p(b = r F = o) = = 2 p(f = o) 3
Η κανονική κατανομή Πολλές τυχαίες μεταβλητές στην πράξη προσεγγίζουν την κανονική κατανομή Κεντρικό οριακό θεώρημα (Central limit theorem) Αν Χ 1,Χ 2,,Χ Ν τυχαίες µεταβλητές µε σχεδόν οποιεσδήποτε pdf (αρκεί για κάποιο k>2), µε {(µ 1,σ 1 ), (µ 2,σ 2 ), (µ Ν,σ Ν ),} τότε το άθροισµα τους Χ=Σα i Χ i ακολουθεί κανονική κατανοµή µε
Τυχαία διανύσματα Συχνά χρειάζεται να περιγράψουμε πιθανοτικά τις ιδιότητες ενός συνόλου από τυχαίες μεταβλητές: τυχαία διανύσματα Παράδειγμα: Στο βασικό πρόβλημα γραμμικής παλινδρόμησης που θα εξετάσουμε όπου w το διάνυσμα των άγνωστων συντελεστών (π.χ. προσαρμογή καμπύλης), λόγω της στοχαστικότητας του θορύβου θα δούμε πως και οι εκτιμήσεις του w είναι τυχαίες μεταβλητές, οπότε θα τις μεταχειριστούμε ως τυχαίο διάνυσμα Με άλλα λόγια, αν επαναλάβουμε την εκτίμηση με άλλα σύνολα δεδομένων (άρα και θορύβου) δεν παίρνουμε το ίδιο αποτέλεσμα για το w!
Τυχαία διανύσματα Για ένα τυχαίο διάνυσμα Χ η συνάρτηση κατανομής πιθανότητας ορίζεται ως: Η αντίστοιχη συνάρτηση πυκνότητας πιθανότητας ορίζεται ως: και: Η περιθωριακή συνάρτηση πυκνότητας για το στοιχείο x i ορίζεται ως: Η συνδυασμένη συνάρτηση κατανομής πιθανότητας μεταξύ δύο τυχαίων διανυσμάτων Χ και Υ ορίζεται ως: Παρόμοια, η συνδυασμένη συνάρτηση πυκνότητας πιθανότητας μεταξύ δύο τυχαίων διανυσμάτων ορίζεται ως:
Τυχαία διανύσματα Η αναμενόμενη τιμή ενός τυχαίου διανύσματος Χ ορίζεται ως: η ισοδύναμα χρησιμοποιώντας την περιθωριακή πυκνότητα του στοιχείου x i : Ο πίνακας συνδιασποράς (covariance matrix) ενός τυχαίου διανύσματος Χ ορίζεται ως: Διαγώνια στοιχεία Σ ii : διασπορά του στοιχείου i Μη διαγώνια στοιχεία Σ ij : συνδιασπορά μεταξύ των στοιχείων i, j Ο πίνακας συνδιασποράς είναι συμμετρικός και θετικά ημιορισμένος Αν τα στοιχεία ενός τυχαίου διανύσματος είναι ασυσχέτιστα, ο πίνακας συνδιασποράς του είναι διαγώνιος (γιατί?)
Τυχαία διανύσματα Παρόμοια, ο πίνακας αυτοσυσχέτιστης (autocorrela`on matrix) ενός τυχαίου διανύσματoς Χ ορίζεται ως: Ο πίνακας διασυνδιασποράς (cross- covariance matrix, διαστάσεις nxm) μεταξύ δύο τυχαίων διανυσμάτων Χ (nx1) και Υ (mx1) ορίζεται ως: Cov{X,Y} = E{(X µ X )(Y µ Y ) Τ } Δύο τυχαία διανύσματα Χ και Υ λέγονται ανεξάρτητα αν: Δύο τυχαία διανύσματα Χ και Υ λέγονται ασυσχέτιστα αν: Δύο τυχαία διανύσματα Χ και Υ διαστάσεων nx1 λέγονται ορθογώνια αν:
Η πολυμεταβλητή κανονική κατανομή Ενα τυχαίο διάνυσμα X διαστάσεων Νx1 λέγεται ότι ακολουθεί την πολυδιάστατη (Γκαουσιανή) κατανομή αν η αντίστοιχη συνδυασμένη σππ των στοιχείων του είναι: Μέση τιμή μ Πίνακας συνδιασποράς Σ συμμετρικός, θετικά ημιορισμένος Διαγώνια στοιχεία: Διασπορά του στοιχείου Μη διαγώνια στοιχεία: Συνδιασπορά μεταξύ xi και xj: Αν τα στοιχεία του διανύσματος είναι ανεξάρτητες τ.μ.: Σ διαγώνιος Ελλειψοειδές με κύριους άξονες που καθορίζονται από τις ιδιοτιμές και τα ιδιοδιανύσματα του πίνακα Σ Πολυδιάστατο κεντρικό οριακό θεώρημα: το διανυσματικό άθροισμα αμοιβαία ανεξάρτητων Ν- διάστατων τυχαίων διανυσμάτων προσεγγίζει τη Ν- διάστατη κανονική κατανομή
Η δισδιάστατη κανονική κατανομή Για Ν=2, αν ρ=cov{x 1,x 2 )/σ 1 σ 2 (συντελεστής συσχέτισης, ρ <1) Για x 1, x 2 ασυσχέτιστες - > ρ=0 και οι κύριοι άξονες γίνονται παράλληλοι στους άξονες x 1 και x 2. Σε αυτή την περίπτωση. Αρα στην περίπτωση κανονικών τυχαίων μεταβλητών, όταν αυτές είναι ασυσχέτιστες είναι και ανεξάρτητες, το οποίο δεν ισχύει γενικά για οποιεσδήποτε τυχαίες μεταβλητές Για ρ=1 η κατανομή γίνεται μονοδιάστατη κανονική κατανομή Για Σ=σ 2 Ι παίρνουμε κυκλικές ισουψείς καμπύλες (contours) Οποιοσδήποτε γραμμικός μετασχηματισμός του Χ Ακολουθεί επίσης κανονική κατανομή, δηλ αν
Αυξανόμενο ρ Η δισδιάστατη κανονική κατανομή
Bayesian probability Κλασική θεώρηση (frequen`st) πιθανότητας: Συχνότητα τυχαίων, επαναλαμβανόμενων γεγονότων Τι συμβαίνει σε περιπτώσεις που ένα (αβέβαιο) γεγονός δεν είναι επαναλαμβανόμενο? Μπορούμε να συλλέξουμε στοιχεία και να ποσοτικοποιήσουμε την αβεβαιότητα ενός γεγονότος, γενικεύοντας την έννοια της κλασικής πιθανότητας: Μπεϋζιανή (Bayesian) πιθανότητα Κανόνας Bayes Η πιθανότητα ενός γεγονότος εξαρτάται από την εκ των προτέρων (a priori) πιθανότητα του γεγονότος καθώς και από τα στοιχεία που μας δίνουν τα παρατηρούμενα δεδομένα Π.χ. στο πρόβλημα γραμμικής παλινδρόμησης (regression) Posterior = (likelihood prior)/ (normalizing constant) Prior p(w): Εκ των προτέρων γνώση του συστήματος p(d w): πιθανοφάνεια (likelihood) παρατήρησης των δεδομένων D={t 1,t 2,,t N } για συγκεκριμένη τιμή του διανύσματος των συντελεστών w (εξαρτημένη πιθανότητα) Σταθερά:
Bayesian probability Posterior = (likelihood prior)/ (normalizing constant) Frequen`st: η αβεβαιότητα των παραμέτρων καθορίζεται λαμβάνοντας υπόψη την κατανομή όλων των πιθανών συνόλων δεδομένων Bayesian: η αβεβαιότητα καθορίζεται από ένα μόνο σύνολο δεδομένων Πως μπορούμε να εκτιμήσουμε την τιμή των συντελεστών w από τα δεδομένα D? Maximum likelihood es`ma`on μεγιστοποίηση της πιθανοφάνειας p(d w) ως προς w Maximum a posteriori es`ma`on: Μεγιστοποίηση της εκ των υστέρων (posterior) πιθανότητας, δηλ. του p(d w)p(w) Bayesian: Εκτίμηση της εκ των υστέρων κατανομής των παραμέτρων p(w D)
Εκτίμηση των παραμέτρων κανονικής τ.μ. Εστω ότι έχουμε Ν μετρήσεις μιας τ.μ. για την οποία γνωρίζουμε ότι ακολουθεί κανονική κατανομή και θέλουμε να υπολογίσουμε τη μέση τιμή και τη διασπορά της Αν οι παρατηρήσεις είναι ανεξάρτητες μεταξύ τους: Συνάρτηση πιθανοφάνειας - Likelihood func`on
Εκτίμηση των παραμέτρων κανονικής τ.μ. Log- likelihood Ορισμός. Αμερόληπτη (unbiased) εκτίμηση μιας τυχαίας μεταβλητής: Η εκτίμηση της οποίας η αναμενόμενη τιμή ισούται με την πραγματική τιμή της τ.μ.
Προσαρμογή καμπύλης - συνέχεια
Προσαρμογή καμπύλης - ML es[ma[on Μπορούμε να υπολογίσουμε τις τιμές των w, β με τη μέθοδο της μέγιστης πιθανοφάνειας (ML) Για ανεξάρτητα δείγματα Η μεγιστοποίηση της ανωτέρω είναι ισοδύναμη με την ελαχιστοποίηση του αθροίσματος των ελάχιστων τετραγώνων δηλ. για Γκαουσιανό θόρυβο, οι εκτιμήσεις ML και LS είναι ισοδύναμες Για την ακρίβεια (precision) του θορύβου
Predic`ve distribu`on
MAP es[ma[on Ενδιάμεσο βήμα μεταξύ εκτίμησης ML και Bayesian Ορίζουμε την a priori κατανομή για τους συντελεστές w Πρέπει να μεγιστοποιήσουμε την εκ των υστέρων πιθανότητα, δηλ: Παρομοίως με πριν, ισοδύναμο με το να ελαχιστοποιήσουμε την Ισοδυναμία με κανονικοποίηση (regulariza`on)!
Bayesian es[ma[on MAP, ML: point es`mates (σημεία μόνο, όχι κατανομές) Εστω ότι τα α, β είναι γνωστά Θα δούμε αργότερα πως μπορούμε να υπολογίσουμε αναλυτικά την κατανομή Likelihood Posterior
Bayesian es`ma`on