Αναγνώριση Προτύπων Σημερινό Μάθημα Μη Παραμετρικός Υπολογισμός πυκνότητας με εκτίμηση Ιστόγραμμα Παράθυρα Parzen Εξομαλυμένη Kernel Ασκήσεις 1
Μη Παραμετρικός Υπολογισμός πυκνότητας με εκτίμηση Κατά τη θεωρία του Bayes υποθέταμε ότι γνωρίζαμε τη συνάρτηση πιθανοφάνειας p(x/ω i ). Υπάρχουν όμως περιπτώσεις που χρειάζεται να εκτιμήσουμε τη συνάρτηση πυκνότητας πιθανότητας από τα δεδομένα ΕΚΤΙΜΗΣΗ Ιστόγραμμα Η πιο απλή μορφή μη παραμετρικής εκτίμησης πυκνότητας είναι το ιστόγραμμα εκτίμησης πυκνότητας είναι το ιστόγραμμα Χωρίζει το δειγματοχώρο σε μικρές περιοχές και προσεγγίζει την πυκνότητα από το πλήθος των δειγμάτων που εμπίπτουν στην κάθε περιοχή. 2
Ιστόγραμμα Μειονεκτήματα Το τελικό σχήμα της συνάρτησης πυκνότητας πιθανότητας εξαρτάται από το σημείο εκκίνησης των περιοχών Η φαινομενική συνέχεια στα δεδομένα εξαρτάται από την επιλογή των περιοχών Σε προβλήματα πολλών διαστάσεων θα απαιτούνται πολλά δείγματα αλλιώς ο σχηματισμός θα είναι ελλιπής. Γενική διατύπωση εκτίμησης Η πιθανότητα ένα διάνυσμα x, με κατανομή p(x), να ανήκει σε μια περιοχή R είναι: P = p( x') dx' R Αν υποθέσουμε ότι Ν είναι τα δείγματα της κατανομής, η πιθανότητα να ανήκουν k σηνπεροχήr στην περιοχή R, είναι: P( k) P k k k = (1 ) P 3
Γενική διατύπωση εκτίμησης Από τις ιδιότητες των διωνυμικών κατανομών έχουμε: k E = P Var k = E P P(1 P) = Που σημαίνει ότι όταν Ν η κατανομή γίνεται πιο αιχμηρή, άρα μπορούμε να θεωρήσουμε ότι μία καλή εκτίμηση της P είναι το μέσο των σημείων που εμπίπτουν στην R: P k k 2 Γενική διατύπωση εκτίμησης Αν υποθέσουμε ότι η περιοχή R είναι τόσο μικρή που η p(x) δεν αλλάζει: R p ( x') dx' p( x) V Και συνδυάζοντας με το προηγούμενο αποτέλεσμα: P = p x dx p x V ( ') ' ( ) R k p x k ( ) P V Ο υπολογισμός είναι πιο ακριβής όσο αυξάνει το πλήθος των δειγμάτων Ν και μικραίνει ο όγκος V 4
Γενική διατύπωση εκτίμησης Στην προηγούμενη σχέση ο συνολικός αριθμός δειγμάτων Ν είναι σταθερός Για να βελτιωθεί η ακρίβεια στην εκτίμηση του p(x) μπορούμε να ελαχιστοποιήσουμε τον όγκο (σχεδόν 0), αλλά τότε η περιοχή R θα γίνει τόσο μικρή που δεν θα περιέχει πρακτικά δείγματα Άρα θα πρέπει να γίνει ένας συμβιβασμός ώστε το V να είναι αρκετά μεγάλο για να περιέχει αρκετά δείγματα και αρκετά μικρό ώστε να στηρίζεται η υπόθεση ότι το p(x) παραμένει σταθερό εντός της R Γενική διατύπωση εκτίμησης Στην πράξη δύο προσεγγίσεις ακολουθούνται: Μπορούμε να επιλέξουμε μια σταθερή τιμή για τον όγκο V και να υπολογίσουμε τα περιεχόμενα δείγματα από τα δεδομένα (Εκτίμηση Πυκνότητας Kernel) Μπορούμε να ορίσουμε σταθερό αριθμό δειγμάτων k και να υπολογίσουμε τον αντίστοιχο όγκο V από τα δεδομένα (k earest eighbours) Αποδεικνύεται ότι και οι δύο πιο πάνω προσεγγίσεις συγκλίνουν στην πραγματική τιμή της συνάρτησης πυκνότητας πιθανότητας όταν, δεδομένου ότι ο όγκος V συρρικνώνεται και το k μεγαλώνει με το, 5
Παράθυρα Parzen Αν υποθέσουμε ότι η περιοχή R που περικλείει k δείγματα είναι ένας κύβος πλευράς h κεντραρισμένος στο σημείο εκτίμησης x, ο όγκος είναι V=h D. Για να βρούμε τον αριθμό των δειγμάτων στην περιοχή ορίζουμε την Kernel συνάρτηση: 1 u < j = D j 1/ 2 1,..., K( u) = 0 αλλιως Παράθυρα Parzen Αυτή η συνάρτηση, μοναδιαίου υπερκύβου κεντραρισμένο στο x, ονομάζεται παράθυρο Parzen Η ποσότητα K((x x (n )/h) ισούται με τη μονάδα αν το σημείο x (n βρίσκεται μέσα στον κύβο. 6
Ο συνολικός αριθμός δειγμάτων μέσα στον κύβο είναι: k = Και αν αντικαταστήσουμε στην έκφραση εκτίμησης η της πυκνότητας πιθανότητας: Παράθυρα Parzen n= 1 x x K h ( n p( x) = 1 h D n= 1 x x K h ( n Παράθυρα Parzen Άσκηση Βάσει των δεδομένων που ακολουθούν, χρησιμοποίησε τα παράθυρα Parzen να υπολογίσετε τη συνάρτηση πυκνότητας πιθανότητας στα σημεία y=3,10,15. Χρησιμοποιήστε h=4 X = (1 (2 ( { x, x,..., x } = { 4,5,5,6,12,14,15,15,16,17} 7
Παράθυρα Parzen Λύση Αν παραστήσουμε τα δεδομένα σε έναν άξονα, έχουμε: Εξομαλυμένη Kernel Το παράθυρο Parzen παρουσιάζει κάποια μειονεκτήματα: Ασυνέχεια Λαμβάνει υπόψη εξίσου όλα τα σημεία ανεξάρτητα απόστασης τους από το x Για το λόγο αυτό χρησιμοποιείται μια εξομαλυμένη Kernel, που ικανοποιεί τη συνθήκη: K( x) dx = 1 R 8
Εξομαλυμένη Kernel Συνήθως η εξομαλυμένη Kernel έχει ακτινική συμμετρία και μοιάζει στη μορφή με τη Gaussian 1 1 K( x) = exp x ( ) Τ x D / 2 2π 2 Τότε η έκφραση εκτίμησης της συνάρτησης πυκνότητας παραμένει η ίδια όπως με τα παράθυρα Parzen ( n 1 p( x) = h D n= 1 x x K h Εξομαλυμένη Kernel Οι εξομαλυμένες συναρτήσεις Kernel μπορούν να θεωρηθούν ως άθροισμα εξογκωμάτων τοποθετημένων στα δεδομένα. Η συνάρτηση ρηηκαθορίζει ρζ το σχήμα και το h το πλάτος. 9
Επιλογή του εύρους ζώνης Το h καλείται παράμετρος εξομάλυνσης ή εύρους ζώνης. Η επιλογή του είναι κρίσιμη καθώς μεγάλη τιμή θα υπερ εξομαλύνει ενώ μικρή τιμή θα δυσκολεύει την προσέγγιση Επιλογή του εύρους ζώνης 10
Άσκηση Σχηματίστε ένα μονοδιάστατο παράθυρο Parzen γιαναεκτιμήσετε την πυκνότητα συνάρτησης p y από τα δείγματα: y (i) : 2.5, 2.8, 3.4, 4.2, 4.5, 4.7, 5.2, 5.6, 7.5 Χρησιμοποιήστε συνάρτηση τετραγωνικού παραθύρου με h1 h=1. y (i) : 2.5, 2.8, 3.4, 4.2, 4.5, 4.7, 5.2, 5.6, 7.5 Σύμφωνα με όσα έχουμε πει είναι: Λύση 1 x x p( x) = K D h n 1 h ( n = 11
Άσκηση Έστω P η πιθανότητα να συμβεί το Α, τότε η πιθανότητα να συμβεί το Α k φορές σε Ν ανεξάρτητα πειράματα δίνεται από τη διώνυμη κατανομή: Δίξ Δείξτε ότι Ε[k]=P k και var[k]=p(1 P) Λύση Θα χρησιμοποιήσουμε τη διώνυμη ταυτότητα Τότε 12
Λύση Επειδή ισχύει Έχουμε: Λύση Και τελικά: 13