Θεωρία Λήψης Αποφάσεων

Transcript

1 Θεωρία Λήψης Αποφάσεων Ενότητα 9: Αβεβαιότητα Στατιστική Μάθηση Μέγιστη Πιθανοφάνεια Μπεληγιάννης Γρηγόριος Σχολή Οργάνωσης και Διοίκησης Επιχειρήσεων Τμήμα Διοίκησης Επιχειρήσεων Αγροτικών Προϊόντων & Τροφίμων (Δ.Ε.Α.Π.Τ.)

2 Αβεβαιότητα - Στατιστική Μάθηση - Μέγιστη Πιθανοφάνεια Υποενότητα 1

3 Σκοποί 1 ης υποενότητας Να να γνωρίσουν και να κατανοήσουν οι φοιτητές τις βασικές έννοιες της αβεβαιότητας, της στατιστικής μάθησης και της μεθόδου απόφασης μέγιστης πιθανοφάνειας Να μπορέσουν οι φοιτητές να επιλύουν ασκήσεις σχετικές με αβεβαιότητα, στατιστική μάθηση και τη μέθοδο απόφασης μέγιστης πιθανοφάνειας 3

4 Περιεχόμενα 1 ης υποενότητας Δράση υπό αβεβαιότητα Χειρισμός της αβέβαιης γνώσης Ορθολογικές αποφάσεις Ατομικά συμβάντα Πλήρεις συνδυασμένες κατανομές πιθανότητας Υπολογισμός υπό συνθήκη πιθανοτήτων Ανεξαρτησία Ο Κανόνας του Bayes Στατιστική μάθηση Εκτίμηση μέγιστης πιθανοφάνειας 4

5 Δράση υπό αβεβαιότητα (1/2) Οι αλγόριθμοι σχεδόν ποτέ δεν έχουν πρόσβαση στην πλήρη αλήθεια σχετικά με το περιβάλλον τους Κανένα πλάνο δεν εγγυάται ότι θα πετύχει το στόχο Πλάνο Α 90 : Ξεκίνα 90 λεπτά νωρίτερα για να προλάβεις την πτήση Το πλάνο Α 90 θα μας πάει στο αεροδρόμιο εγκαίρως, εφόσον το αυτοκίνητό μου δεν πάθει βλάβη ή μείνει από βενζίνη, δεν έχουμε εμείς ατύχημα, δεν υπάρξουν άλλα ατυχήματα σε κάποια από τις σήραγγες, το αεροπλάνο δε φύγει νωρίτερα, και " 5

6 Δράση υπό αβεβαιότητα (2/2) Η ενδεδειγμένη δράση η ορθολογική απόφαση εξαρτάται τόσο από τη σχετική σημαντικότητα των διάφορων στόχων, όσο και από την πιθανότητα και το βαθμό κατά τον οποίο θα επιτευχθούν οι στόχοι αυτοί 6

7 Χειρισμός της αβέβαιης γνώσης (1/5) Η διάγνωση ανεξάρτητα από το αν αφορά την ιατρική, την επισκευή αυτοκινήτων, ή οτιδήποτε άλλο είναι μια διεργασία που περιλαμβάνει σχεδόν πάντοτε αβεβαιότητα Διαγνωστικοί κανόνες (έχουμε το σύμπτωμα, ψάχνουμε την αιτία) p Σύμπτωμα(p, Πονόδοντος) Ασθένεια(p, Κοιλότητα) Λανθασμένος κανόνας p Σύμπτωμα(p, Πονόδοντος) Ασθένεια(p, Κοιλότητα) Ασθένεια(p, Ουλίτιδα) Ασθένεια(p, Απόστημα) 7

8 Χειρισμός της αβέβαιης γνώσης (2/5) Αιτιολογικοί κανόνες (έχουμε την αιτία, ψάχνουμε το σύμπτωμα) p Ασθένεια(p, Κοιλότητα) Σύμπτωμα(p, Πονόδοντος) Επίσης λανθασμένος κανόνας 8

9 Χειρισμός της αβέβαιης γνώσης (3/5) Η λογική πρώτης τάξης αποτυγχάνει για τρεις κύριους λόγους: «Τεμπελιά» Απαιτείται υπερβολικά πολλή δουλειά για την παράθεση σε λίστα του πλήρους συνόλου προαπαιτήσεων ή συνεπειών που απαιτούνται για να εξασφαλίσουμε έναν κανόνα χωρίς εξαιρέσεις, και επίσης είναι πολύ δύσκολη η χρήση τέτοιων κανόνων 9

10 Χειρισμός της αβέβαιης γνώσης (4/5) Θεωρητική άγνοια Δεν υπάρχει πλήρης θεωρία για το αντίστοιχο πεδίο Πρακτική άγνοια Ακόμα και αν γνωρίζουμε όλους τους κανόνες, μπορεί να βρεθούμε σε αβεβαιότητα για κάποιο συγκεκριμένο περιστατικό, επειδή δεν έχουν εκτελεστεί ή δεν μπορούν να εκτελεστούν όλοι οι απαιτούμενοι έλεγχοι 10

11 Χειρισμός της αβέβαιης γνώσης (5/5) Βαθμός πεποίθησης: [0,1] Θεωρία πιθανοτήτων Η πιθανότητα μας παρέχει έναν τρόπο για να συναθροίσουμε την αβεβαιότητα που προέρχεται από την τεμπελιά ή την άγνοιά μας Εκ των προτέρων πιθανότητες Πριν τη λήψη μιας μαρτυρίας Εκ των υστέρων πιθανότητες Μετά τη λήψη μιας μαρτυρίας 11

12 Ορθολογικές αποφάσεις (1/2) Αποτελέσματα Πλήρως καθορισμένες καταστάσεις Υπάρχουν διάφορα δυνατά αποτελέσματα Προτιμήσεις / Πιθανότητες Θεωρία Χρησιμοτήτων Κάθε κατάσταση έχει ένα βαθμό ωφέλειας Θεωρία Αποφάσεων = Θεωρία Πιθανοτήτων + Θεωρία Χρησιμοτήτων 12

13 Ορθολογικές αποφάσεις (2/2) Αρχή της Μέγιστης Αναμενόμενης Χρησιμότητας Ένας πράκτορας είναι ορθολογικός αν και μόνο αν επιλέγει την ενέργεια που παρέχει την υψηλότερη αναμενόμενη χρησιμότητα, λαμβανόμενη ως το μέσο όρο για όλα τα δυνατά αποτελέσματα της ενέργειας 13

14 Βασική Σημειογραφία Πιθανοτήτων (1/3) Τυχαία μεταβλητή Μια μεταβλητή που αναφέρεται σε ένα «τμήμα» του κόσμου για το οποίο η «κατάσταση» είναι αρχικά άγνωστη Κοιλότητα: Ο κάτω αριστερός φρονιμίτης μου έχει κοιλότητα Θα γράφουμε πάντα τα ονόματα των τυχαίων μεταβλητών με κεφαλαίο το πρώτο γράμμα Παρόλα αυτά, θα χρησιμοποιούμε και πάλι πεζά γράμματα για τις τιμές που έχουν οι άγνωστες τυχαίες μεταβλητές: P(a)= 1 P( a) 14

15 Βασική Σημειογραφία Πιθανοτήτων (2/3) Πεδίο τιμών π.χ.(αληθές, ψευδές) Δυϊκές, Διακριτές, Συνεχείς 15

16 Βασική Σημειογραφία Πιθανοτήτων (3/3) Για τη δυϊκή τυχαία μεταβλητή Κοιλότητα με πεδίο τιμών το (αληθές, ψευδές): Η πρόταση Κοιλότητα = αληθές θα γράφεται και ως κοιλότητα Η πρόταση Κοιλότητα = ψευδές θα γράφεται και ως κοιλότητα Για την διακριτή τυχαία μεταβλητή Καιρός με πεδίο τιμών το (λιακάδα, βροχή, συννεφιά, χιόνι): Η πρόταση Καιρός = χιόνι θα γράφεται και ως χιόνι 16

17 Ατομικά Συμβάντα Το ατομικό συμβάν είναι ένας πλήρης καθορισμός της κατάστασης του κόσμου για τον οποίο η μέθοδος (ο πράκτορας) είναι αβέβαιος Για παράδειγμα, αν ο κόσμος αποτελείται μόνο από τις Boolean μεταβλητές Κοιλότητα και Πονόδοντος, τότε υπάρχουν μόνο τέσσερα διακριτά ατομικά συμβάντα π.χ. η πρόταση Κοιλότητα = αληθές Πονόδοντος = ψευδές 17

18 Ιδιότητες ατομικών συμβάντων (1/2) 1. Είναι αμοιβαία αποκλειόμενα Για παράδειγμα δεν μπορούν να ισχύουν ταυτόχρονα τα συμβάντα κοιλότητα πονόδοντος και κοιλότητα πονόδοντος 2. Το σύνολό τους είναι εξαντλητικό Η διάζευξη όλων των ατομικών συμβάντων είναι αληθής 3. Οποιοδήποτε ατομικό συμβάν καλύπτει την αλήθεια ή το ψεύδος για κάθε πρόταση, είτε αυτή είναι απλή είτε σύνθετη Για παράδειγμα, το ατομικό συμβάν κοιλότητα πονόδοντος καλύπτει την αλήθεια της πρότασης κοιλότητα και το ψεύδος της κοιλότηταπονόδοντος 18

19 Ιδιότητες ατομικών συμβάντων (2/2) 4. Οποιαδήποτε πρόταση είναι λογικά ισοδύναμη με τη διάζευξη όλων των ατομικών συμβάντων που συμπεραίνουν την αλήθεια αυτής της πρότασης Για παράδειγμα, το κοιλότητα είναι ισοδύναμο με τo κοιλότητα πονόδοντος κοιλότητα πονόδοντος 19

20 Εκ των προτέρων πιθανότητα (1/2) Ρ(Κοιλότητα = αληθές)=0.1 ή Ρ(κοιλότητα)=0.1 P(Καιρός = λιακάδα)=0.7 ή P(λιακάδα)=0.7 P(Καιρός = βροχή)=0.2 ή P(βροχή)=0.2 P(Καιρός = συννεφιά)=0.08 ή P(συννεφιά)=0.08 P(Καιρός = χιόνι)=0.02 ή P(χιόνι)=0.02 Κατανομή πιθανότητας Ρ(Καιρός) = (0.7, 0.2, 0.08, 0.02) Συνδυασμένη κατανομή πιθανότητας Ρ(Καιρός, Κοιλότητα) 20

21 Εκ των προτέρων πιθανότητα (2/2) Πλήρης συνδυασμένη κατανομή πιθανότητας Περιγράφει το πλήρες σύνολο των συνδυασμών των τυχαίων μεταβλητών που χρησιμοποιούνται για την περιγραφή του κόσμου 21

22 Πυκνότητα Πιθανότητας Έστω Χ = Αυριανή θερμοκρασία τότε π.χ. P(X = x) = U[18, 26](x) (ομοιόμορφη κατανομή) P(X=20,5) = U[18, 26](20,5)=1/(26 18) = 0,125 Υπολογίζουμε πιθανότητα για περιοχές τιμών 22

23 Υπό συνθήκη πιθανότητα π.χ. Ρ(κοιλότητα πονόδοντος) = 0,8 P( a b) P( a b) P( b) Κανόνας γινομένου: Ρ(α b) = Ρ(α b)ρ(b) = Ρ(b a)ρ(a) 23

24 Αξιώματα Kolmogorov (1/3) 1. Όλες οι πιθανότητες έχουν τιμή μεταξύ του 0 και του 1. Για οποιαδήποτε πρόταση α: 0 Ρ(α) 1 2. Οι κατανάγκην αληθείς (δηλαδή έγκυρες) προτάσεις έχουν πιθανότητα 1, ενώ οι κατανάγκην ψευδείς (δηλαδή μη ικανοποιήσιμες) προτάσεις έχουν πιθανότητα 0: Ρ(αληθές) = 1, Ρ(ψευδές) = 0 24

25 Αξιώματα Kolmogorov (2/3) 3. Η πιθανότητα της διάζευξης δίνεται από τον τύπο: Ρ(a b) = Ρ(a)+ Ρ(b) Ρ(a b) Από το 3 ο αξίωμα προκύπτει ότι: Η πιθανότητα μιας πρότασης είναι ίση με το άθροισμα των πιθανοτήτων των ατομικών συμβάντων στα οποία ισχύει αυτή η πρόταση: 25

26 Αξιώματα Kolmogorov (3/3) P( a) e i e( a) P( e όπου e(α) το σύνολο των ατομικών συμβάντων στα οποία ισχύει το α i ) Είναι παράλογο ένας αλγόριθμος να έχει μια κατάσταση πεποίθησης που παραβιάζει τα αξιώματα του Kolmogorov 26

27 Πλήρεις Συνδυασμένες Κατανομές Πιθανότητας (1/2) Έστω ένα πεδίο που αποτελείται μόνο από τις τρεις Boolean μεταβλητές Πονόδοντος, Κοιλότητα, και Λαβίδα: Μεταβλητές πονόδοντος πονόδοντος λαβίδα λαβίδα λαβίδα λαβίδα κοιλότητα 0,108 0,012 0,072 0,008 κοιλότητα 0,016 0,064 0,144 0,576 27

28 Πλήρεις Συνδυασμένες Κατανομές Πιθανότητας (2/2) Μπορούμε να υπολογίσουμε την πιθανότητα χωρίς συνθήκη οποιασδήποτε πρότασης (περιθώριος πιθανότητα) π.χ. P(κοιλότητα πονόδοντος) = 0,108+ 0, ,072+ 0, , ,064 = 0,28 28

29 Θεώρημα Ολικής Πιθανότητας P ( Y) P( Y,z) z ή ισοδύναμα P ( Y) P( Y z) P( z) z 29

30 30 Υπολογισμός υπό συνθήκη πιθανοτήτων ) ( πονόδοντος) (κοιλότητα πονόδοντος) (κοιλότητα πονόδοντος P P P ) ( πονόδοντος) κοιλότητα ( πονόδοντος) κοιλότητα ( πονόδοντος P P P

31 Ανεξαρτησία (1/4) Έστω ότι εμπλουτίζουμε το οδοντιατρικό μας πεδίο με την τυχαία μεταβλητή Καιρός Η πλήρης κατανομή γίνεται Ρ(Πονόδοντος, Λαβίδα, Κοιλότητα, Καιρός) η οποία έχει 32 καταχωρίσεις (επειδή η μεταβλητή Καιρός έχει τέσσερις τιμές) Προφανώς δε θεωρούμε ότι ο καιρός παίζει ρόλο στα οδοντιατρικά μας προβλήματα 31

32 Ανεξαρτησία (2/4) Προσπαθούμε να υπολογίσουμε τις καταχωρήσεις της νέας πλήρους κατανομής: Ρ(πονόδοντος, λαβίδα, κοιλότητα, Καιρός = συννεφιά)= Ρ(Καιρός = συννεφιά πονόδοντος, λαβίδα, κοιλότητα) Ρ(πονόδοντος, λαβίδα, κοιλότητα) Θεωρούμε ότι: Ρ(Καιρός = συννεφιά πονόδοντος, λαβίδα, κοιλότητα) = Ρ(Καιρός = συννεφιά) 32

33 Ανεξαρτησία (3/4) οπότε: Ρ(πονόδοντος, λαβίδα, κοιλότητα, Καιρός = συννεφιά) = Ρ(Καιρός = συννεφιά) Ρ(πονόδοντος, λαβίδα, κοιλότητα) 33

34 Ανεξαρτησία (4/4) Ισοδύναμες δηλώσεις, για δύο ανεξάρτητες μεταβλητές Χ και Υ: P( Χ Υ ) = P( Χ ) P( Υ Χ ) = P( Υ ) P( Χ, Υ ) = P( Χ ) P( Υ ) Η πλήρης κατανομή σπάει σε πολλές μικρότερες: P(Χ 1, Χ 2,, Χ n ) = P(Χ 1 ) P(Χ 2 ) P(Χ n ) 34

35 35 Ο Κανόνας του Bayes Από τις σχέσεις: P(a b) = P(a b)p(b) P(a b) = P(b a)p(a) παίρνουμε: Γενικότερα: ) ( ) ( ) ( ) ( a P b P b a P a b P ) ( ) ( ) ( ) ( X Y Y X X Y P P P P ), ( ), ( ), ( ), ( e P e P e P e P X Y Y X X Y

36 Αιτιολογική και Διαγνωστική Γνώση Συνήθως προσπαθούμε να υπολογίσουμε «διαγνωστικές» πιθανότητες, ενώ γνωρίζουμε τις «αιτιολογικές» Παράδειγμα: Αιτία: Μηνιγγίτιδα, P(m)=1/50000 Σύμπτωμα: Δύσκαμπτος λαιμός, P(s)=1/20 P(s m)=0,5 P( s m) P( m) 0,51/ P( m s) P( s) 1/ 20 0,

37 Συνδυασμός μαρτυριών (1/2) P(Κοιλότητα πονόδοντος λαβίδα) = P(πονόδοντος λαβίδα Κοιλότητα) P(Κοιλότητα) Οι μεταβλητές Πονόδοντος και Λαβίδα δεν είναι ανεξάρτητες Εάν πονά το δόντι, τότε είναι περισσότερες οι πιθανότητες η λαβίδα να σκαλώσει πάνω του και αντιστρόφως 37

38 Συνδυασμός μαρτυριών (2/2) Οι μεταβλητές Πονόδοντος και Λαβίδα είναι όμως ανεξάρτητες με δεδομένη την τιμή της Κοιλότητα! P(πονόδοντος λαβίδα Κοιλότητα) = P(πονόδοντος Κοιλότητα) P(λαβίδα Κοιλότητα) 38

39 Υπό συνθήκη ανεξαρτησία Οι μεταβλητές Χ και Υ είναι υπό συνθήκη ανεξάρτητες, με δεδομένη την τιμή της Ζ: P(X, Y Z) = P(X Z) P(Y Z) P(X Y, Z) = P(X Z) και P(Y X, Z) = P(Y Z) Κατά συνέπεια: P(Πονόδοντος, Λαβίδα, Κοιλότητα) = = P(Πονόδοντος, Λαβίδα Κοιλότητα) P(Κοιλότητα) = = P(Πονόδοντος Κοιλότητα) P(Λαβίδα Κοιλότητα) P(Κοιλότητα) 39

40 Απλοϊκό μοντέλο Bayes Προβλήματα στα οποία υπάρχει μια μεταβλητή Αιτία και πολλές μεταβλητές Επίδρασης, οι οποίες είναι υπό συνθήκη ανεξάρτητες μεταξύ τους με δεδομένη την Αιτία Ονομάζεται απλοϊκό γιατί χρησιμοποιείται ως παραδοχή και όταν δεν πρέπει P(Αιτία, Επίδραση 1,, Επίδραση n ) = P(Αιτία) Π i (Επίδραση i Αιτία) 40

41 Στατιστική Μάθηση (1/2) Υποθέσεις Πιθανοτικές θεωρίες σχετικά με τον τρόπο λειτουργίας του πεδίου Δεδομένα Στιγμιότυπα τιμών για κάποιες ή και για όλες τις τυχαίες μεταβλητές που περιγράφουν το πεδίο 41

42 Στατιστική Μάθηση (2/2) Παράδειγμα Γλυκό Surprise, δύο γεύσεις: κεράσι και λεμόνι Πέντε πολύ μεγάλες σακούλες, ΙΔΙΕΣ! h1: 100% κεράσι h2: 75% κεράσι + 25% λεμόνι h3: 50% κεράσι + 50% λεμόνι h4: 25% κεράσι + 75% λεμόνι h5: 100% λεμόνι Τυχαία μεταβλητή Η, τιμές: h 1,, h 5 (υποθέσεις) Δεδομένα: D 1, D 2, D N 42

43 Μάθηση κατά Bayes Υπολογίζει την πιθανότητα κάθε υπόθεσης, με βάση τα δεδομένα: P(h i d) = P(d h i )P(h i ) εξαρτάται από την εκ των προτέρων πιθανότητα Πιθανοφάνεια δεδομένων: P(d h i ) d h P h P i d j j Ανεξάρτητα και ομοιόμορφα κατανεμημένα δεδομένα (ακολουθούν την ίδια κατανομή) i 43

44 Παράδειγμα Έστω ότι η τρέχουσα σακούλα είναι τύπου 3 Έστω ότι ανοίξαμε τα πρώτα 10 γλυκά (όλα λεμόνι), τότε: P(d h 3 ) είναι

45 Μέγιστη εκ των υστέρων (πιθανότητα) Maximum a Posteriori MAP Χρησιμοποιείται για την πρόβλεψη μόνο της πιο πιθανής υπόθεσης h MAP = max i ( P(hi d) )= max i ( P(d h i )P(h i )) Προσεγγιστικές προβλέψεις Όσο περισσότερα δεδομένα έχουμε, τόσο περισσότερο η πρόβλεψη MAP με την πρόβλεψη Bayes συγκλίνουν 45

46 Μέγιστη πιθανοφάνεια maximum likelihood ML Απλοποίηση της μεθόδου MAP Θεωρούμε ομοιόμορφη εκ των προτέρων κατανομή πιθανότητας h ML = max i ( P(hi d) )= max i ( P(d h i )P(h i )= = max i ( P(d h i )) όταν δεν έχουμε κανέναν (εκ των προτέρων) λόγο να προτιμήσουμε κάποια υπόθεση 46

47 Μάθηση μέγιστης πιθανοφάνειας Βήματα: 1.Γράφουμε μια παράσταση για την πιθανοφάνεια των δεδομένων ως συνάρτηση των παραμέτρων 2.Γράφουμε την παράγωγο της λογαριθμικής πιθανοφάνειας ως προς την κάθε παράμετρο 3.Βρίσκουμε τις τιμές των παραμέτρων έτσι ώστε οι παράγωγοι να έχουν τιμή μηδέν 47

48 Παράδειγμα 1 ο (1/2) Έστω ότι η πιθανότητα να τραβήξουμε γεύση κεράσι εξαρτάται μόνο από την παράμετρο θ που ουσιαστικά αποτελεί την πιθανότητα να έχουμε τραβήξει κεράσι Συμβολίζουμε την τυχαία υπόθεση ότι έχουμε τραβήξει από κάποια σακούλα με h θ Θεωρούμεότιόλεςοιυποθέσειςείναιεξίσου πιθανές εκ των προτέρων Μέθοδος εκτίμησης μέγιστης πιθανοφάνειας 48

49 49 Παράδειγμα 1 ο (2/2) N j l c P d j h h P 1 ) (1 d N j j l c h d P h P h L 1 1 log log log log d d N c l c c l c d h dl 0 1 ) (d

50 Παράδειγμα 2 ο (1/3) Έστω ότι η πιθανότητα να τραβήξουμε κεράσι και κόκκινο περιτύλιγμα εξαρτάται από τρεις παραμέτρους: θ, θ 1, θ 2 Επιπλέον δεδομένα: c γλυκά κεράσι r c με κόκκινο περιτύλιγμα g c με μη κόκκινο περιτύλιγμα l γλυκά λεμόνι r l με κόκκινο περιτύλιγμα g l με μη κόκκινο περιτύλιγμα 50

51 Παράδειγμα 2 ο (2/3) l r c g r g c l 1 1 l c P( d h θ,θ,θ ) L=[c logθ + l log(1 θ)] + [r c log θ 1 + g c log (1 θ 1 )] + [r l logθ 2 + g l log(1 θ 2 )] 51

52 Παράδειγμα 2 ο (3/3) Βρείτε την εκτίμηση μέγιστης πιθανοφάνειας για τις εξής παραμέτρους θ: η πιθανότητα να τραβήξουμε γλυκό με γεύση κεράσι θ 1 : η πιθανότητα να τραβήξουμε γλυκό κεράσι με κόκκινο περιτύλιγμα θ 2 : η πιθανότητα να τραβήξουμε γλυκό λεμόνι με κόκκινο περιτύλιγμα 52

53 Τέλος Υποενότητας 1

54 Ασκήσεις εκτίμησης μέγιστης πιθανοφάνειας Υποενότητα 2

55 Σκοποί 2 ης υποενότητας Να μάθουν οι φοιτητές να επιλύουν ασκήσεις σχετικές με την εκτίμηση μέγιστης πιθανοφάνειας 55

56 Περιεχόμενα 2 ης υποενότητας 1 η Άσκηση: εκτίμηση μέγιστης πιθανοφάνειας 2 η Άσκηση: εκτίμηση μέγιστης πιθανοφάνειας 3 η Άσκηση: εκτίμηση μέγιστης πιθανοφάνειας 4 η Άσκηση: εκτίμηση μέγιστης πιθανοφάνειας 56

57 Άσκηση 1 η (1/2) Έστω n δείγματα x 1, x 2,, x n που επιλέγονται ανεξάρτητα με βάση την ακόλουθη συνάρτηση πυκνότητας πιθανότητας: p x i / e 0 x i x i 0 ύ 57

58 Άσκηση 1 η (2/2) Δείξτε ότι η εκτίμηση μέγιστης πιθανοφάνειας για την άγνωστη παράμετρο θ ισούται με: ˆ 1 MLE n όπου μ n η μέση τιμή των n δειγμάτων 58

59 Άσκηση 2 η (1/2) Έστω n δείγματα x 1, x 2,, x n που επιλέγονται ανεξάρτητα με βάση την ακόλουθη συνάρτηση πυκνότητας πιθανότητας: p x i / x i ύ 59

60 Άσκηση 2 η (2/2) Δείξτε ότι η εκτίμηση μέγιστης πιθανοφάνειας για την άγνωστη παράμετρο θ ισούται με τη μέγιστη τιμή των n δειγμάτων, δηλαδή ˆ max x, x,..., x MLE 1 2 n 60

61 Άσκηση 3 η (1/2) Έστω n δείγματα x 1, x 2,, x n που επιλέγονται ανεξάρτητα με βάση την ακόλουθη συνάρτηση πυκνότητας πιθανότητας: p x i / 2 x i 0 e x i x i 0,1 ύ 61

62 Άσκηση 3 η (2/2) Δείξτε ότι η εκτίμηση μέγιστης πιθανοφάνειας για την άγνωστη παράμετρο θ ισούται με: ˆ MLE όπου μ n η μέση τιμή των n δειγμάτων 2 n 62

63 Άσκηση 4 η (1/2) Έστω θ η πιθανότητα ενός δίκαιου νομίσματος να έρθει γράμματα Αν το νόμισμα ριχθεί n φορές και έχουν έρθει γράμματα n g φορές να βρεθεί ότι η εκτίμηση μέγιστης πιθανοφάνειας της παραμέτρου θ ισούται με ˆMLE n g n 63

64 Άσκηση 4 η (2/2) Υπόδειξη: η πιθανότητα να έχουμε ng φορές γράμματα σε n ρίψεις του νομίσματος ισούται με n n! n! n! g g n g 1 nn g 64

65 Τέλος Υποενότητας 2

66 Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στo πλαίσιo του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο Πανεπιστήμιο Πατρών» έχει χρηματοδοτήσει μόνο την αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους. 66

67 Σημειώματα

68 Σημείωμα Ιστορικού Εκδόσεων Έργου Το παρόν έργο αποτελεί την έκδοση 1.0. Έχουν προηγηθεί οι κάτωθι εκδόσεις: 68

69 Σημείωμα Αναφοράς Copyright Πανεπιστήμιο Πατρών, Γρηγόριος Μπεληγιάννης. «Θεωρία Λήψης Αποφάσεων. Αβεβαιότητα Στατιστική Μάθηση Μέγιστη Πιθανοφάνεια». Έκδοση: 1.0. Πάτρα Διαθέσιμο από τη δικτυακή διεύθυνση:

70 Σημείωμα Αδειοδότησης Το παρόν υλικό διατίθεται με τους όρους της άδειας χρήσης Creative Commons Αναφορά, Μη Εμπορική Χρήση Παρόμοια Διανομή 4.0 [1] ή μεταγενέστερη, Διεθνής Έκδοση. Εξαιρούνται τα αυτοτελή έργα τρίτων π.χ. φωτογραφίες, διαγράμματα κ.λ.π., τα οποία εμπεριέχονται σε αυτό και τα οποία αναφέρονται μαζί με τους όρους χρήσης τους στο «Σημείωμα Χρήσης Έργων Τρίτων». [1] nc sa/4.0/ Ως Μη Εμπορική ορίζεται η χρήση: που δεν περιλαμβάνει άμεσο ή έμμεσο οικονομικό όφελος από την χρήση του έργου, για το διανομέα του έργου και αδειοδόχο που δεν περιλαμβάνει οικονομική συναλλαγή ως προϋπόθεση για τη χρήση ή πρόσβαση στο έργο που δεν προσπορίζει στο διανομέα του έργου και αδειοδόχο έμμεσο οικονομικό όφελος (π.χ. διαφημίσεις) από την προβολή του έργου σε διαδικτυακό τόπο Ο δικαιούχος μπορεί να παρέχει στον αδειοδόχο ξεχωριστή άδεια να χρησιμοποιεί το έργο για εμπορική χρήση, εφόσον αυτό του ζητηθεί. 70