Στοιχεία της θεωρίας εκτίμησης παραμέτρων

Transcript

1 Κεφάλαιο 4 Στοιχεία της θεωρίας εκτίμησης παραμέτρων 4. Το πρόβλημα της εκτίμησης παραμέτρων Στο πρόβλημα της εκτίμησης παραμέτρων υποθέτουμε πως έχουμε στη διάθεσή μας ένα πεπερασμένο σύνολο από μετρήσεις το οποίο αναπαριστούμε από ένα διάνυσμα x = [x[0 x[... x[ 2 x[ T, (4.) καθώς και ένα παραμετρικό μοντέλο το οποίο περιγράφει ικανοποιητικά τη διαδικασία με την οποία έχουν προκύψει οι μετρήσεις αυτές, και το οποίο γενικά περιγράφεται από μια συνάρτηση πυκνότητας πιθανότητας f(x; θ), όπου θ είναι στη γενική περίπτωση ένα διάνυσμα από άγνωστες παραμέτρους τις τιμές των οποίων θέλουμε να υπολογίσουμε. Ως ένα απλό παράδειγμα ενός παραμετρικού μοντέλου για = μπορούμε να θεωρήσουμε τη συνάρτηση πυκνότητας πιθανότητας ( f(x; θ) = exp ) (x θ)2. (4.2) 2πσ 2 2σ2 Για κάθε συγκεκριμένη τιμή της παραμέτρου θ R, η συνάρτηση πυκνότητας πιθανότητας που προκύπτει ορίζει ένα μοντέλο. Ο σκοπός μας είναι η εύρεση του καλύτερου δυνατού μοντέλου, με βάση κάποιο κριτήριο, που θα περιγράφει τις διαθέσιμες μετρήσεις x. Υπενθυμίζουμε πως στην περίπτωση όπου η παράμετρος θ λαμβάνει τιμές από ένα πεπερασμένο σύνολο διακριτών τιμών, τότε έχουμε ένα πρόβλημα ανίχνευσης. Στο κεφάλαιο αυτό κάνουμε μια εισαγωγή στις κυριότερες έννοιες της θεωρίας εκτίμησης. Μια περισσότερο λεπτομερής προσέγγιση του θέματος μπορεί να βρεθεί στα [Kay93, [Poo94, [Tre0 Παράδειγμα 4. Ένα σύστημα radar εκπέμπει ένα ηλεκτρομαγνητικό σήμα g(t) το οποίο προσπίπτει σε ένα αεροπλάνο και στη συνέχεια ανακλάται και λαμβάνεται από το δέκτη του συστήματος. Το σήμα το οποίο λαμβάνεται αποτελεί μια παραμορφωμένη εκδοχή του αρχικού σήματος. Ένα (απλοϊκό) μοντέλο για το λαμβανόμενο σήμα δίνεται από τη σχέση x(t) = g(αt τ) + w(t), (4.3) 65

2 66 ΚΕΦΑΛΑΙΟ 4. ΣΤΟΙΧΕΙΑ ΤΗΣ ΘΕΩΡΙΑΣ ΕΚΤΙΜΗΣΗΣ ΠΑΡΑΜΕΤΡΩΝ όπου παρατηρούμε μια χρονική κλιμάκωση (που περιγράφεται από τη σταθερά α που πολλαπλασιάζει τον χρόνο t), μια χρονική καθυστέρηση τ και την εισαγωγή προσθετικού θορύβου w(t). Οι παράμετροι που μας ενδιαφέρουν εδώ είναι η σταθερά α καθώς και η χρονική μετατόπιση τ. Έτσι, μπορούμε να ορίσουμε το διάνυσμα των άγνωστων παραμέτρων ως θ = [α τ T. Οι τιμές των παραμέτρων αυτών περιέχουν σημαντική πληροφορία. Πιο συγκεκριμένα, η σταθερά α σχετίζεται μέσω της μετατόπισης Doppler με την ταχύτητα του αεροπλάνου και η σταθερά τ σχετίζεται με την απόσταση του αεροπλάνου από το σύστημα radar. 4.2 Βασικά στοιχεία της θεωρίας εκτίμησης 4.2. Ορισμοί Για να ορίσουμε διάφορες χρήσιμες έννοιες της θεωρίας εκτίμησης, ξεκινάμε θεωρώντας πως έχουμε μετρήσεις x[0, x[,..., x[, όπου κάθε μέτρηση x[n λαμβάνει τιμές από ένα σύνολο X n. Τα σύνολα αυτά μπορούν στη γενική περίπτωση να είναι διαφορετικά, καλύπτοντας έτσι την περίπτωση διαφορετικού είδους μετρήσεων. Ωστόσο, συνήθως θεωρούμε πως όλες οι μετρήσεις λαμβάνουν τιμές από το ίδιο σύνολο X, δηλαδή x[n X, n = 0,,...,. Θεωρούμε τώρα την ομαδοποίηση όλων των μετρήσεων σε ένα διάνυσμα x = [x[0 x[... x[ 2 x[ T X. (4.4) Θεωρούμε επίσης μια συνάρτηση πυκνότητας πιθανότητας με πεδίο ορισμού το X η οποία περιγράφει τις σχετικές πιθανότητες εμφάνισης κάθε διανύσματος μετρήσεων. Η συνάρτηση πυκνότητας πιθανότητας αυτή εξαρτάται από ένα σύνολο παραμέτρων θ, και καλείται παραμετρικό μοντέλο για το πρόβλημα εκτίμησης που εξετάζουμε. Τη συμβολίζουμε ως f X (x; θ), και την αντίστοιχη τυχαία μεταβλητή ως X. Είναι σημαντικό να υπενθυμίσουμε πως οι άγνωστες παράμετροι θ λαμβάνουν τιμές από ένα σύνολο Θ το οποίο είναι απαραίτητα συνεχές. Ένας εκτιμητής ˆθ(x) είναι μια συνάρτηση από το σύνολο X, δηλαδή το χώρο στον οποίο έχουμε τις μετρήσεις μας, στο σύνολο Θ, δηλαδή στο χώρο στον οποίο λαμβάνουν τιμές οι άγνωστες παράμετροι του μοντέλου. Έτσι, για κάθε διάνυσμα μετρήσεων x X που λαμβάνει ως είσοδο, ο εκτιμητής μας δίνει στην έξοδο ένα διάνυσμα θ Θ το οποίο περιέχει τιμές για τις παραμέτρους οι οποίες εξηγούν τις μετρήσεις. Με την έννοια αυτή, ο εκτιμητής είναι μια απεικόνιση ˆθ : X Θ. Συνήθως, για λόγους απλούστερου συμβολισμού γράφουμε ˆθ αντί για ˆθ(x). Στην πράξη ενδιαφερόμαστε για τα στατιστικά χαρακτηριστικά ενός εκτιμητή ˆθ(x), δηλαδή για τα χαρακτηριστικά που έχει η έξοδός του όταν λαμβάνουμε υπόψιν μας όλα τα πιθανά διανύσματα εισόδου/μετρήσεων x. Για να μελετήσουμε τα στατιστικά χαρακτηριστικά ενός εκτιμητή, τον αντιμετωπίζουμε ως μια τυχαία μεταβλητή η οποία προκύπτει θεωρώντας πως οι μετρήσεις στην είσοδό του είναι τυχαίες μεταβλητές με συνάρτηση πυκνότητας πιθανότητας την f X (x; θ). Έτσι, ορίζουμε την πόλωση (bias) ενός βαθμωτού εκτιμητή ˆθ ως την τιμή bˆθ(θ) = E [ˆθ θ, (4.5)

3 4.2. ΒΑΣΙΚΑ ΣΤΟΙΧΕΙΑ ΤΗΣ ΘΕΩΡΙΑΣ ΕΚΤΙΜΗΣΗΣ 67 όπου έχουμε χρησιμοποιήσει τον παραπάνω συμβολισμό για να δηλώσουμε την εξάρτηση της πόλωσης τόσο από την τιμή θ όσο και από τον εκτιμητή ˆθ, ωστόσο στην πράξη όταν είναι σαφές σε ποιο εκτιμητή αναφερόμαστε θα χρησιμοποιούμε τον απλούστερο συμβολισμό b(θ). Η πόλωση εκφράζει το συστηματικό σφάλμα το οποίο κάνει ένας εκτιμητής στον υπολογισμό της άγνωστης παραμέτρου. Ένας εκτιμητής ˆθ ο οποίος δεν εισάγει συστηματικό σφάλμα στον υπολογισμό της άγνωστης παραμέτρου την οποία εκτιμά, η ισοδύναμα η πόλωση του είναι μηδέν (b(θ) = 0) για όλες τις τιμές της παραμέτρου θ που μας ενδιαφέρουν, θα ονομάζεται αμερόληπτος (unbiased) εκτιμητής. Το μέσο τετραγωνικό σφάλμα ενός βαθμωτού εκτιμητή ˆθ δίνεται από τη σχέση MSE(ˆθ) = E [(ˆθ θ) 2 = Var [ˆθ + b 2 (θ). (4.6) Παρατηρούμε πως για έναν αμερόληπτο εκτιμητή το μέσο τετραγωνικό σφάλμα που εισάγει ταυτίζεται με τη διασπορά του. Στην περίπτωση όπου ο εκτιμητής μας υπολογίζει πολλαπλές παραμέτρους, και έχει τη μορφή διανύσματος ορίζουμε ένα διάνυσμα από πολώσεις για κάθε στοιχείο του i ως ˆθ = [ˆθ... ˆθp T, (4.7) {b(θ)} i = b(θ i ) = E [ˆθi {θ} i (4.8) όπου {θ} i είναι το i-οστό στοιχείο του διανύσματος θ με τις πραγματικές τιμές των παραμέτρων. Όμοια, ορίζουμε έναν πίνακα από μέσα τετραγωνικά σφάλματα E [(ˆθ θ)(ˆθ θ) T = E [(ˆθ µ + b(θ))(ˆθ µ + b(θ)) T [ = E [(ˆθ µ)(ˆθ µ) T + E (ˆθ µ) b T (θ) + b T (θ)e [(ˆθ µ) T + b(θ)b T (θ) = Cˆθ + b(θ)b T (θ) (4.9) όπου με µ έχουμε συμβολίσει το διάνυσμα με τις μέσες τιμές των στοιχείων του διανυσματικού εκτιμητή και Cˆθ = E [(ˆθ µ)(ˆθ µ) T είναι ο πίνακας συνδιασποράς του διανυσματικού εκτιμητή. (4.0) Άλλη μια χρήσιμη έννοια στη θεωρία εκτίμησης είναι αυτή του συνεπή (consistent) εκτιμητή. Ένας εκτιμητής ˆθ για μια παράμετρο με πραγματική τιμή θ, θα ονομάζεται συνεπής όταν καθώς το πλήθος των μετρήσεων τις οποίες χρησιμοποιεί τείνει στο άπειρο τότε η αντίστοιχη ακολουθία εκτιμήσεων συγκλίνει στην τιμή θ, όπου με τον όρο σύγκλιση εννοούμε σύγκλιση ως προς πιθανότητα. Πιο συγκεκριμένα, η σύγκλιση ως προς πιθανότητα σημαίνει πως για οσοδήποτε μικρά ϵ > 0 και δ > 0, μπορούμε να βρούμε ένα αρκετά μεγάλο πλήθος μετρήσεων ϵ,δ έτσι ώστε για όλα τα ϵ,δ να έχουμε Pr{ ˆθ θ < ϵ} > δ, (4.)

4 68 ΚΕΦΑΛΑΙΟ 4. ΣΤΟΙΧΕΙΑ ΤΗΣ ΘΕΩΡΙΑΣ ΕΚΤΙΜΗΣΗΣ ΠΑΡΑΜΕΤΡΩΝ όπου ως ˆθ έχουμε συμβολίσει τον εκτιμητή που χρησιμοποιεί μετρήσεις. Ο συνήθης συμβολισμός που χρησιμοποιούμε για να δείξουμε πως ο εκτιμητής ˆθ συγκλίνει ως προς πιθανότητα στην τιμή θ είναι ο p ˆθ θ (4.2) Παράδειγμα 4.2 Για να επεξηγήσουμε καλύτερα τις έννοιες που αναπτύξαμε στα προηγούμενα, εξετάζουμε το ακόλουθο παράδειγμα. Θεωρούμε πως λαμβάνουμε μετρήσεις της μορφής x[n = θ 0 + w[n, (4.3) όπου θ 0 είναι μια άγνωστη σταθερά την οποία θέλουμε να εκτιμήσουμε και ο όρος w[n αναπαριστά το θόρυβο μέτρησης που λαμβάνει τυχαίες τιμές σύμφωνα με μια κανονική κατανομή με μηδενική μέση τιμή και διασπορά σ 2, δηλαδή w[n (0, σ 2 ). Επίσης, θεωρούμε πως τα δείγματα του θορύβου είναι ανεξάρτητα. Στην περίπτωση αυτή, αν θεωρήσουμε ένα διάνυσμα μετρήσεων x = [x[0 x[ x[ T, (4.4) το παραμετρικό μοντέλο θα περιγράφεται από την από κοινού συνάρτηση πυκνότητας πιθανότητας των μετρήσεων του διανύσματος x, η οποία κάνοντας χρήση της στοχαστικής ανεξαρτησίας των μετρήσεων θα δίνεται ως το γινόμενο των επιμέρους συναρτήσεων πυκνότητας πιθανότητας, δηλαδή f X (x; θ 0 ) = = f(x[n; θ 0 ) ( exp ) 2πσ 2 2σ (x[n θ 0) 2 2. (4.5) Θεωρούμε τώρα τον εκτιμητή ˆθ(x) = x[n, (4.6) δηλαδή το μέσο όρο των μετρήσεων του διανύσματος x. Για να διαπιστώσουμε αν ο εκτιμητής αυτός είναι αμερόληπτος, θα πρέπει να υπολογίσουμε την αναμενόμενη τιμή του με βάση τη συνάρτηση πυκνότητας πιθανότητας f X (x; θ 0 ). Θα έχουμε έτσι [ E [ˆθ(x) = E x[n = E [x[n = θ 0 = θ 0, (4.7) δηλαδή ο εκτιμητής μας είναι αμερόληπτος. Στη συνέχεια μας ενδιαφέρει να υπολογίσουμε το μέσο τετραγωνικό σφάλμα το οποίο έχει ο εκτιμητής μας. Σύμφωνα με τα προηγούμενα, το μέσο τετραγωνικό σφάλμα του εκτιμητή θα είναι ίσο με τη διασπορά του καθώς ο εκτιμητής είναι αμερόληπτος. Για

5 4.2. ΒΑΣΙΚΑ ΣΤΟΙΧΕΙΑ ΤΗΣ ΘΕΩΡΙΑΣ ΕΚΤΙΜΗΣΗΣ 69 τη διασπορά του εκτιμητή θα έχουμε Var [ˆθ(x) = Var [ = Var [x[n = σ2 2 2 [ x[n = Var x[n 2 = σ2, (4.8) όπου έχουμε κάνει χρήση της ιδιότητας της διασποράς να συμπεριφέρεται γραμμικά για ανεξάρτητες τυχαίες μεταβλητές. Από την έκφραση αυτή μπορούμε να παρατηρήσουμε πως η διασπορά του εκτιμητή, και ισοδύναμα το μέσο τετραγωνικό σφάλμα του, μειώνονται καθώς ο εκτιμητής χρησιμοποιεί περισσότερες μετρήσεις. Ας προσπαθήσουμε τώρα να εξετάσουμε αν ο εκτιμητής μας είναι συνεπής. Αρχικά, διαπιστώνουμε πως καθώς ο εκτιμητής μας είναι στην ουσία ένας γραμμικός συνδυασμός από κανονικές τυχαίες μεταβλητές, τότε και η κατανομή του εκτιμητή θα είναι επίσης Gauss και μάλιστα με μέση τιμή και διασπορά όπως υπολογίστηκαν νωρίτερα, δηλαδή ˆθ(x) (θ 0, σ 2 /). Για να είναι ο εκτιμητής μας συνεπής, θα πρέπει καθώς το πλήθος των μετρήσεων αυξάνεται, η πιθανότητα ο εκτιμητής μας να λαμβάνει τιμές πολύ κοντά στη μέση του τιμή θ 0 να πλησιάζει την τιμή. Για να το δείξουμε αυτό, θεωρούμε την ανισότητα Chebyshev που στην περίπτωσή μας λαμβάνει τη μορφή { Pr ˆθ(x) θ 0 k σ } k, (4.9) 2 για κάθε k > 0. Τη σχέση αυτή μπορούμε να τη γράψουμε σε μια πιο χρήσιμη μορφή ως { Pr ˆθ(x) θ 0 k σ } k { 2 Pr ˆθ(x) θ 0 k σ } k { 2 Pr ˆθ(x) θ 0 < k σ } k. (4.20) 2 Επομένως, για οσοδήποτε μικρά ϵ και δ, μπορούμε να θέσουμε k / δ ώστε για πλήθος μετρήσεων > ϵ 2 δ να ικανοποιήσουμε τις απαιτήσεις. Επομένως ο εκτιμητής μας είναι συνεπής. σ2 (4.2) Κριτήριο ελάχιστης διασποράς Για το πρόβλημα της εκτίμησης παραμέτρων ενδιαφερόμαστε για την εύρεση εκτιμητών που έχουν καλή απόδοση, και αν είναι δυνατόν, βέλτιστη απόδοση με βάση κάποιο κριτήριο. Ένα ευρέως χρησιμοποιούμενο κριτήριο για την απόδοση ενός εκτιμητή είναι το μέσο τετραγωνικό σφάλμα το οποίο πετυχαίνει, και το οποίο δίνεται από τη Σχέση (4.6). Θα θέλαμε επομένως να μπορούμε να σχεδιάζουμε εκτιμητές οι οποίοι να ελαχιστοποιούν το μέσο τετραγωνικό σφάλμα. Ωστόσο, κάτι τέτοιο δεν μπορεί

6 70 ΚΕΦΑΛΑΙΟ 4. ΣΤΟΙΧΕΙΑ ΤΗΣ ΘΕΩΡΙΑΣ ΕΚΤΙΜΗΣΗΣ ΠΑΡΑΜΕΤΡΩΝ να γίνει σε όλες τις περιπτώσεις. Για παράδειγμα, ας θεωρήσουμε πως επιθυμούμε να βελτιώσουμε τον εκτιμητή του προηγούμενου παραδείγματος, τροποποιώντας τη Σχέση (4.6) ως θ = α x[n, (4.22) όπου α μια παράμετρος την οποία επιθυμούμε να επιλέξουμε με τέτοιο τρόπο ώστε να ελαχιστοποιήσουμε το μέσο τετραγωνικό σφάλμα του νέου εκτιμητή. Υπολογίζουμε έτσι την έκφραση που δίνει το μέσο τετραγωνικό σφάλμα συναρτήσει της παραμέτρου α, ως MSE( θ) = α2 σ 2 + (α )2 θ0 2, (4.23) και υπολογίζοντας την παράγωγό της και θέτοντας την ίση με μηδέν, υπολογίζουμε τη βέλτιστη τιμή για την παράμετρο α ως α 0 = θ 2 0 θ σ 2 /. (4.24) Παρατηρούμε έτσι πως η βέλτιστη τιμή της παραμέτρου α εξαρτάται από την τιμή της σταθεράς θ 0 την οποία επιθυμούμε να εκτιμήσουμε. Επομένως, δεν μπορούμε στην πράξη να υλοποιήσουμε τον εκτιμητή θ. Παρόμοια προβλήματα εμφανίζονται και σε γενικότερα προβλήματα εκτίμησης όταν προσπαθούμε να υπολογίσουμε εκτιμητές που ελαχιστοποιούν το μέσο τετραγωνικό σφάλμα. Για το λόγο αυτό, ο βασικός κορμός της θεωρίας εκτίμησης έχει στραφεί προς την κατεύθυνση της αναζήτησης εκτιμητών που είναι αμερόληπτοι και ελαχιστοποιούν τη διασπορά, δηλαδή ελαχιστοποιούν το μέσο τετραγωνικό σφάλμα ανάμεσα σε όλους τους αμερόληπτους εκτιμητές. Οι εκτιμητές αυτοί ονομάζονται αμερόληπτοι εκτιμητές ελάχιστης διασποράς (Minimum Variance Unbiased estimators, MVU estimators). Ένα ερώτημα που τίθεται στην πράξη είναι αν ένας αμερόληπτος εκτιμητής ελάχιστης διασποράς υπάρχει για ένα συγκεκριμένο πρόβλημα που μελετάμε. Αν και σε πολλά προβλήματα μπορούμε να υπολογίσουμε έναν τέτοιο εκτιμητή, στη γενική περίπτωση ενδέχεται να υπάρχουν περισσότεροι του ενός εκτιμητές (π.χ. ένας εκτιμητής ˆθ ο οποίος είναι αμερόληπτος και έχει ελάχιστη διασπορά όταν η παράμετρος θ ανήκει σε ένα διάστημα και ένας εκτιμητής ˆθ 2 o οποίος είναι αμερόληπτος και έχει ελάχιστη διασπορά όταν η παράμετρος θ ανήκει σε ένα διάστημα 2 ), ή ακόμα και να μην υπάρχει κανένας αμερόληπτος εκτιμητής ελάχιστης διασποράς. Επιπρόσθετα, σε ορισμένες περιπτώσεις προβλημάτων εκτίμησης ενδέχεται να μπορούμε να αποδείξουμε πως ένας αμερόληπτος εκτιμητής ελάχιστης διασποράς υπάρχει, ωστόσο να μην έχουμε κάποια μέθοδο για να τον υπολογίσουμε. Για να δώσουμε μια πρακτική λύση σε ορισμένα δύσκολα προβλήματα εκτίμησης για τα οποία δεν μπορούμε να υπολογίσουμε έναν αμερόληπτο εκτιμητή ελάχιστης διασποράς, μια συνήθης πρακτική είναι να περιορίζουμε την κλάση των εκτιμητών τους οποίους εξετάζουμε (π.χ. θεωρώντας μόνο γραμμικούς εκτιμητές), και να βρίσκουμε έναν βέλτιστο εκτιμητή εντός της κλάσης εκτιμητών που εξετάζουμε. 4.3 Φράγμα Cramér-Rao Ο προφανής στόχος για το σχεδιασμό ενός εκτιμητή είναι η ελαχιστοποίηση του μέσου τετραγωνικού σφάλματος. Ωστόσο, όπως είδαμε στα προηγούμενα, κάτι τέτοιο είναι συνήθως ανέφικτο καθώς

7 4.3. ΦΡΑΓΜΑ CRAMÉR-RAO 7 f X (x[0; θ 0 ) θ 0 Σχήμα 4.: Γραφική παράσταση του μοντέλου f X (x[0; θ 0 ) για τις περιπτώσεις σ 2 = και σ 2 = /0 η πόλωση του εκτιμητή εξαρτάται από την τιμή της άγνωστης παραμέτρου θ. Έτσι, συνήθως περιοριζόμαστε στη μελέτη των αμερόληπτων εκτιμητών. Στην κλάση των αμερόληπτων εκτιμητών το μέσο τετραγωνικό σφάλμα ταυτίζεται με τη διασπορά του εκτιμητή. Επομένως, ο στόχος μας είναι η ελαχιστοποίηση της διασποράς. Η εύρεση ενός αμερόληπτου εκτιμητή ελάχιστης διασποράς (Minimum Variance Unbiased Estimator, MVUE) είναι σε αρκετές περιπτώσεις εφικτή. Ωστόσο, κάποιος μπορεί να θέσει το ερώτημα αν υπάρχει κάποιο φράγμα στην ακρίβεια την οποία μπορεί να πετύχει ένας αμερόληπτος εκτιμητής. Πράγματι, σε πολλές περιπτώσεις μπορούμε να υπολογίσουμε ένα φράγμα στη διασπορά το οποίο περιορίζει την ακρίβεια για όλους τους αμερόληπτους εκτιμητές. Το φράγμα αυτό ονομάζεται φράγμα Cramér-Rao και θα το μελετήσουμε στην παράγραφο αυτή. Παράδειγμα 4.3 Ας θεωρήσουμε πως λαμβάνουμε μια μέτρηση της μορφής x[0 = θ 0 + w[0, (4.25) όπου μας ενδιαφέρει η εκτίμηση της άγνωστης παραμέτρου θ 0 και το σφάλμα w[0 έχει λάβει μια τυχαία τιμή από την κατανομή (0, σ 2 ). Το ερώτημά μας είναι πόση πληροφορία έχουμε στη διάθεσή μας για την άγνωστη παράμετρο θ 0 με τη μέτρηση που έχουμε κάνει. Η γνώση μας αποτυπώνεται στο παραμετρικό μοντέλο, το οποίο στην περίπτωσή μας είναι το f X (x[0; θ 0 ) = ( exp ) 2πσ 2 2σ (x[0 θ 0) 2 2. (4.26) Στο Σχήμα 4. έχουμε σχεδιάσει το παραμετρικό αυτό μοντέλο ως προς την άγνωστη παράμετρο θ 0, υποθέτοντας πως η μέτρησή μας έχει λάβει την τιμή x[0 = 2. και για δύο τιμές της διασποράς, σ 2 = και σ 2 = /0. Αντιλαμβανόμαστε πως περισσότερη πληροφορία για την άγνωστη παράμετρο θ 0 έχουμε στην περίπτωση όπου το μοντέλο μας είναι περισσότερο συγκεντρωμένο, πράγμα το οποίο συμβαίνει για τη μικρότερη τιμή της διασποράς, δηλαδή για μικρότερη ισχύ του θορύβου. Για να το κατανοήσουμε αυτό καλύτερα, μπορούμε εύκολα να φανταστούμε μια γραφική παράσταση που θα ήταν σχεδόν ευθεία, δηλαδή πρακτικά ανεπηρέαστη από το θ 0, και η οποία δεν θα μας έδινε καμιά πληροφορία για αυτό. Αντίθετα, όσο περισσότερο συγκεντρωμένη είναι η γραφική παράσταση του μοντέλου μας, σχεδιασμένη ως προς τις τιμές της άγνωστης παραμέτρου, τόσο περισσότερη πληροφορία έχουμε για την τιμή της.

8 72 ΚΕΦΑΛΑΙΟ 4. ΣΤΟΙΧΕΙΑ ΤΗΣ ΘΕΩΡΙΑΣ ΕΚΤΙΜΗΣΗΣ ΠΑΡΑΜΕΤΡΩΝ Στην περίπτωση όπου θεωρούμε τη συνάρτηση πυκνότητας πιθανότητας f X (x[0; θ 0 ) ως συνάρτηση της άγνωστης παραμέτρου θ 0, και τις τιμές των μετρήσεων (εδώ μόνο της x[0) σταθερές, τότε χρησιμοποιούμε τον όρο πιθανοφάνεια της παραμέτρου θ 0. Όπως είδαμε στο προηγούμενο παράδειγμα, η μορφή της συνάρτησης πιθανοφάνειας μας αποκαλύπτει την ποσότητα της πληροφορίας που αυτή φέρει για την τιμή της άγνωστης παραμέτρου. Πιο συγκεκριμένα, όταν η συνάρτηση πιθανοφάνειας είναι απλωμένη, ομοιάζει δηλαδή με μια ομοιόμορφη κατανομή, τότε αυτή μας δίνει μικρή πληροφορία για την άγνωστη παράμετρο. Αντίθετα, όταν η συνάρτηση πιθανοφάνειας έχει μη-μηδενικές τιμές μόνο σε ένα μικρό διάστημα τιμών, τότε η πληροφορία που μας δίνει είναι μεγαλύτερη. Στην πράξη, ως ένα μέτρο για την πληροφορία που φέρει η συνάρτηση πιθανοφάνειας χρησιμοποιούμε την καμπυλότητα του λογαρίθμου της συνάρτησης πιθανοφάνειας. Αυτή ορίζεται ως το αρνητικό της δεύτερης παραγώγου του λογαρίθμου της συνάρτησης πιθανοφάνειας. Για τη συνάρτηση πιθανοφάνειας της Σχέσης (4.26), η εφαρμογή του φυσικού λογαρίθμου θα δώσει η οποία έχει πρώτη παράγωγο ως προς θ 0 ln f X (x[0; θ 0 ) = ln 2πσ 2 2σ 2 (x[0 θ 0) 2, (4.27) και το αρνητικό της δεύτερης παραγώγου θα γίνεται ϑ ln f X (x[0; θ 0 ) ϑθ 0 = σ 2 (x[0 θ 0) (4.28) ϑ2 ln f X (x[0; θ 0 ) ϑθ 2 0 = σ 2. (4.29) Παρατηρούμε πως καθώς η διασπορά του θορύβου μειώνεται, η τιμή της καμπυλότητας αυξάνεται. Αν και στην προηγούμενη σχέση η καμπυλότητα δεν εξαρτάται από τις μετρήσεις μας (εδώ μόνο τη μέτρηση x[0), στη γενική περίπτωση θα εξαρτάται. Έτσι, θεωρούμε την αναμενόμενη τιμή της καμπυλότητας η οποία θα δίνεται από τον τύπο [ ϑ 2 ln f X (x[0; θ 0 ) I(θ 0 ) = E, (4.30) και την οποία ονομάζουμε πληροφορία Fisher. Με βάση τα παραπάνω, μπορούμε να διατυπώσουμε το Θεώρημα Cramér-Rao. Θεώρημα Θεωρούμε πως η συνάρτηση πυκνότητας πιθανότητας f X (x; θ) ικανοποιεί τη συνθήκη κανονικότητας ϑθ 2 0 [ ϑ ln fx (x; θ) E = 0 για όλα τα θ, (4.3) ϑθ όπου η αναμενόμενη τιμή υπολογίζεται με βάση την f X (x; θ). Τότε, η διασπορά οποιουδήποτε αμερόληπτου εκτιμητή ˆθ θα ικανοποιεί την ανισότητα Var [ˆθ [ (4.32) E ϑ 2 ln f X (x;θ) ϑθ 2

9 4.3. ΦΡΑΓΜΑ CRAMÉR-RAO 73 όπου η αναμενόμενη τιμή υπολογίζεται και πάλι με βάση την f X (x; θ), ενώ η παράγωγος υπολογίζεται στην πραγματική τιμή της παραμέτρου θ = θ 0. Επιπρόσθετα, μπορούμε να βρούμε έναν αμερόληπτο εκτιμητή που έχει ελάχιστη διασπορά για όλες τις τιμές της παραμέτρου θ, αν και μόνο αν ϑ ln f X (x; θ) ϑθ = I(θ)(g(x) θ), (4.33) για κάποιες συναρτήσεις I( ) και g( ). Ο εκτιμητής αυτός, ο οποίος είναι ο αμερόληπτος εκτιμητής ελάχιστης διασποράς - MVUE, είναι ο ˆθ = g(x) και η διασπορά του δίνεται από την έκφραση /I(θ). Παράδειγμα 4.4 Επανερχόμαστε στο Παράδειγμα 4.2, όπου ενδιαφερόμαστε να εκτιμήσουμε τη σταθερά θ 0 λαμβάνοντας μετρήσεις σύμφωνα με τη σχέση x[n = θ 0 + w[n, (4.34) και w[n (0, σ 2 ). Επίσης, υπενθυμίζουμε πως ο θόρυβος είναι λευκός δηλαδή χρονικά ασυσχέτιστος. Όπως είχαμε δει και στο Παράδειγμα 4.2, θεωρώντας ένα πλήθος από μετρήσεις τις οποίες συλλέγουμε σε ένα διάνυσμα x, υπολογίζουμε το παραμετρικό μας μοντέλο ως f X (x; θ 0 ) = = = f(x[n; θ 0 ) ( exp 2πσ 2 exp (2πσ 2 ) /2 ( ) 2σ (x[n θ 0) 2 2 2σ 2 ) (x[n θ 0 ) 2. (4.35) Υπολογίζοντας τώρα το φυσικό λογάριθμο της σχέσης αυτής, βρίσκουμε ln (f X (x; θ 0 )) = ln ( (2πσ 2 ) /2) (x[n θ 2σ 2 0 ) 2. (4.36) Έτσι, η παράγωγος της τελευταίας συνάρτησης ως προς θ 0 θα είναι Ορίζοντας τώρα τη μέση τιμή των μετρήσεων ως ϑ ln (f X (x; θ 0 )) = 0 + (x[n θ ϑθ 0 σ 2 0 ) (4.37) x = μπορούμε να γράψουμε την προηγούμενη παράγωγο στη μορφή x[n, (4.38) ϑ ln (f X (x; θ 0 )) ϑθ 0 = σ 2 ( x θ 0). (4.39)

10 74 ΚΕΦΑΛΑΙΟ 4. ΣΤΟΙΧΕΙΑ ΤΗΣ ΘΕΩΡΙΑΣ ΕΚΤΙΜΗΣΗΣ ΠΑΡΑΜΕΤΡΩΝ Τώρα, η δεύτερη παράγωγος ως προς θ 0, θα είναι ϑ 2 ln (f X (x; θ 0 )) ϑθ 2 0 = σ 2. (4.40) Αφού η δεύτερη παράγωγος είναι σταθερά, τότε η αναμενόμενη τιμή της θα ταυτίζεται με τη σταθερά αυτή και έτσι από τη Σχέση (4.32) Θα έχουμε πως για οποιοδήποτε αμερόληπτο εκτιμητή ˆθ για την παράμετρο θ 0, θα είναι Var [ˆθ ( σ 2 ) = σ2. (4.4) Επίσης, αν συγκρίνουμε τη Σχέση (4.33) με τη Σχέση (4.39) διαπιστώνουμε πως ο εκτιμητής ελάχιστης διασποράς ταυτίζεται με το μέσο όρο των μετρήσεων, δηλαδή ˆθ = x. Ένας εκτιμητής ο οποίος είναι αμερόληπτος και η διασπορά του είναι ίση με το φράγμα Cramér - Rao, ονομάζεται αποδοτικός (efficient) εκτιμητής. Για παράδειγμα, στο προηγούμενο παράδειγμα, ο εκτιμητής μέσου όρου είναι αποδοτικός Πληροφορία Fisher Όπως έχουμε ήδη αναφέρει, την ποσότητα [ ϑ 2 ln f(x; θ) I(θ) = E, (4.42) ϑθ 2 την ονομάζουμε πληροφορία Fisher την οποία μας παρέχουν οι μετρήσεις x για την άγνωστη παράμετρο θ. Στην περίπτωση όπου έχουμε έναν αποδοτικό εκτιμητή, η διασπορά του δίνεται από τον αντίστροφο του I(θ), με την έννοια πως για περισσότερη πληροφορία έχουμε μικρότερη διασπορά και αντίστροφα. Η πληροφορία Fisher ικανοποιεί τις ιδιότητες που θα πρέπει να ικανοποιεί ένα μέτρο πληροφορίας, πιο συγκεκριμένα: Είναι πάντα θετική ή μηδέν, γεγονός το οποίο μπορούμε να το επαληθεύσουμε από τη σχέση [ [ (ϑ ) ϑ 2 2 ln f(x; θ) ln f(x; θ) E = E (4.43) ϑθ 2 ϑθ Η πληροφορία που περιέχεται σε ανεξάρτητες μετρήσεις, είναι το άθροισμα των επιμέρους πληροφοριών. Για παράδειγμα, όταν οι μετρήσεις μας είναι ανεξάρτητες γνωρίζουμε πως η από κοινού συνάρτηση πυκνότητας πιθανότητας δίνεται ως το γινόμενο των επιμέρους συναρτήσεων πυκνότητας πιθανότητας. Χρησιμοποιώντας την ιδιότητα του λογαρίθμου θα έχουμε το οποίο δίνει τη σχέση ln f(x; θ) = ln [ ϑ 2 ln f(x; θ) I(θ) = E ϑθ 2 f(x[n; θ) = = ln f(x[n; θ) (4.44) [ ϑ 2 ln f(x[n; θ) E. (4.45) ϑθ 2

11 4.4. ΕΠΑΡΚΕΙΣ ΣΤΑΤΙΣΤΙΚΕΣ 75 Έτσι, στην περίπτωση όπου οι ανεξάρτητες μετρήσεις έχουν και την ίδια κατανομή τότε όλοι οι όροι στο τελευταίο άθροισμα θα είναι ίσοι, δίνοντας I(θ) = i(θ), (4.46) δηλαδή κάθε μέτρηση μας προσθέτει μια σταθερή νέα ποσότητα πληροφορίας. Στην περίπτωση όπου οι μετρήσεις μας δεν είναι ανεξάρτητες, θα έχουμε I(θ) < i(θ). Στην ακραία περίπτωση όπου οι μετρήσεις είναι εντελώς εξαρτημένες, για παράδειγμα ακριβώς ίσες, θα έχουμε I(θ) = i(θ) που σημαίνει πως οι μετρήσεις μετά την πρώτη δεν φέρουν καθόλου πληροφορία. 4.4 Επαρκείς στατιστικές Στο Παράδειγμα 4.4 είδαμε πως για την εκτίμηση της παραμέτρου θ 0 χρησιμοποιώντας μετρήσεις στις οποίες έχει προστεθεί λευκός θόρυβος κανονικής κατανομής, ο εκτιμητής μέσου όρου ˆθ = x[n, (4.47) είναι ο αμερόληπτος εκτιμητής ελάχιστης διασποράς (MVUE). Παρατηρούμε πως ο εκτιμητής εξαρτάται από τις μετρήσεις μόνο μέσω του αθροίσματός τους. Με άλλα λόγια, αν δεν γνωρίζαμε απαραίτητα όλες τις επιμέρους τιμές των μετρήσεων, αλλά μόνο το άθροισμά τους (και το πλήθος τους) τότε θα μπορούσαμε να υπολογίσουμε το βέλτιστο εκτιμητή για την παράμετρο θ 0. Οποιαδήποτε συνάρτηση των μετρήσεων, εδώ για παράδειγμα το άθροισμα, ονομάζεται στατιστική. Για να εκφράσουμε το γεγονός πως για τη βέλτιστη εκτίμηση της παραμέτρου θ 0 αρκεί να γνωρίζουμε την τιμή του αθροίσματος των μετρήσεων, λέμε πως η στατιστική αυτή είναι μια επαρκής στατιστική για την εκτίμηση του θ 0. Γενικά, για ένα πρόβλημα εκτίμησης μπορούμε να έχουμε πολλά σύνολα στατιστικών τα οποία να είναι επαρκή για να λύσουμε βέλτιστα το πρόβλημα. Για παράδειγμα, το σύνολο S = {x[0, x[,..., x[ }, (4.48) δηλαδή ένα σύνολο από στατιστικές, όπου κάθε μια προκύπτει απλά από τη συνάρτηση f(x) = x στην αντίστοιχη μέτρηση, είναι πάντα επαρκές για κάθε πρόβλημα εκτίμησης, αφού εμπεριέχει όλη τη διαθέσιμη πληροφορία. Για το πρόβλημα του Παραδείγματος 4.4, ένα άλλο σύνολο από επαρκείς στατιστικές είναι το /2 S = x[n, /2 + x[n, (4.49) το οποίο αποτελείται από δύο επιμέρους αθροίσματα. Αντιλαμβανόμαστε επομένως πως για ένα πρόβλημα εκτίμησης ενδεχομένως να υπάρχουν πολλά σύνολα από επαρκείς στατιστικές. Ανάμεσα στα σύνολα αυτά, ένα σύνολο με ελάχιστο πλήθος στοιχείων ονομάζεται ελάχιστη επαρκής στατιστική. Για παράδειγμα, στο πρόβλημα του Παραδείγματος 4.4 η ελάχιστη επαρκής στατιστική είναι το άθροισμα όλων των μετρήσεων. Ένα χρήσιμο θεώρημα το οποίο μπορεί να μας βοηθήσει στην εύρεση μιας επαρκούς στατιστικής, είναι το ακόλουθο, το οποίο είναι γνωστό και ως θεώρημα παραγοντοποίησης eyman - Fisher.

12 76 ΚΕΦΑΛΑΙΟ 4. ΣΤΟΙΧΕΙΑ ΤΗΣ ΘΕΩΡΙΑΣ ΕΚΤΙΜΗΣΗΣ ΠΑΡΑΜΕΤΡΩΝ Θεώρημα 2 Αν καταφέρουμε να παραγοντοποιήσουμε τη συνάρτηση πυκνότητας πιθανότητας f(x; θ) στη μορφή f(x; θ) = g(t (x), θ) h(x), (4.50) όπου η συνάρτηση g( ) εξαρτάται από τις μετρήσεις x μόνο μέσω της T (x) και η συνάρτηση h( ) εξαρτάται μόνο από τις μετρήσεις και όχι από το θ, τότε η στατιστική T (x) είναι μια επαρκής στατιστική για το θ. Επίσης, αντίστροφα, αν έχουμε βρει μια επαρκή στατιστική T (x) για ένα πρόβλημα εκτίμησης, τότε μπορούμε να βρούμε και μια παραγοντοποίηση της f(x; θ) στη μορφή της Σχέσης (4.50). Ιδιαίτερο ενδιαφέρον έχει η περίπτωση όπου για την εκτίμηση των άγνωστων παραμέτρων υπάρχει ένα σύνολο από επαρκείς στατιστικές με πληθάριθμο μονάδα, δηλαδή η ελάχιστη επαρκής στατιστική είναι μια συνάρτηση T (x). Επιπρόσθετα, ενδιαφέρον παρουσιάζει η περίπτωση στην οποία υπάρχει μια μοναδική συνάρτηση της επαρκούς στατιστικής η οποία αντιστοιχεί σε έναν αμερόληπτο εκτιμητή για τις άγνωστες παραμέτρους. Στην περίπτωση αυτή, όταν δηλαδή E [f(t (x)) = E [g(t (x)) = θ 0 f(x) = g(x), (4.5) τότε η επαρκής στατιστική T (x) ονομάζεται πλήρης. Ένα εξαιρετικά χρήσιμο θεώρημα το οποίο μπορούμε να χρησιμοποιήσουμε για την εύρεση του αμερόληπτου εκτιμητή ελάχιστης διασποράς, αν γνωρίζουμε μια πλήρη και επαρκή στατιστική είναι το ακόλουθο, το οποίο είναι γνωστό και ως θεώρημα Rao - Blackwell - Lehmann - Scheffe. Θεώρημα 3 Αν θ είναι ένας (οποιοσδήποτε) αμερόληπτος εκτιμητής της παραμέτρου θ, και T (x) είναι μια επαρκής στατιστική για το θ, τότε ο εκτιμητής (υπό συνθήκη αναμενόμενη τιμή) ˆθ = E [ θ T (x) (4.52) είναι και αυτός ένας αμερόληπτος εκτιμητής για την παράμετρο θ με μικρότερη ή ίση διασπορά από τη διασπορά του εκτιμητή θ. Επιπρόσθετα, αν η επαρκής στατιστική T (x) είναι πλήρης, τότε ο εκτιμητής ˆθ είναι ο αμερόληπτος εκτιμητής ελάχιστης διασποράς (MVUE). Η χρησιμότητα του θεωρήματος αυτού επιδεικνύεται στη συνέχεια Μεθοδολογία εύρεσης εκτιμητών Στην παράγραφο αυτή, συνοψίζοντας τα αποτελέσματα τα οποία παρουσιάσαμε στα προηγούμενα, παρουσιάζουμε μια μεθοδολογία την οποία μπορούμε να ακολουθήσουμε προκειμένου να βρούμε τον αμερόληπτο εκτιμητή ελάχιστης διασποράς για ένα πρόβλημα εκτίμησης. Επίσης, δίνουμε ένα παράδειγμα στο οποίο εφαρμόζουμε τη μεθοδολογία αυτή. Η μεθοδολογία αποτελείται από τα ακόλουθα τρία βήματα:. Χρησιμοποιούμε το θεώρημα παραγοντοποίησης eyman - Fisher για να βρούμε μια ελάχιστη επαρκή στατιστική T (x).

13 4.4. ΕΠΑΡΚΕΙΣ ΣΤΑΤΙΣΤΙΚΕΣ Εξετάζουμε αν η στατιστική που βρήκαμε είναι πλήρης, δηλαδή αν υπάρχει μια μοναδική συνάρτηση του T (x) η οποία να μας δίνει έναν αμερόληπτο εκτιμητή. Αν όντως η επαρκής στατιστική είναι πλήρης, τότε μπορούμε να συνεχίσουμε. Διαφορετικά όχι. 3. Υπολογίζουμε τη συνάρτηση της επαρκούς στατιστικής η οποία μας δίνει έναν αμερόληπτο εκτιμητή για την παράμετρο που επιθυμούμε να εκτιμήσουμε. Τότε, ο εκτιμητής ˆθ = g(t (x)) (4.53) είναι ο αμερόληπτος εκτιμητής ελάχιστης διασποράς. Εναλλακτικά, για το βήμα αυτό, θα μπορούσαμε να χρησιμοποιήσουμε τον εκτιμητή της Σχέσης (4.52), ωστόσο στην πράξη ο υπολογισμός του είναι συνήθως δυσκολότερος από αυτόν της Σχέσης (4.53). Επεξηγούμε καλύτερα τη μεθοδολογία αυτή μέσα από το ακόλουθο παράδειγμα. Παράδειγμα 4.5 Ας θεωρήσουμε πως λαμβάνουμε μετρήσεις οι οποίες περιγράφονται από τη σχέση x[n = w[n, (4.54) όπου w[n είναι δείγματα από μια ομοιόμορφη κατανομή στο διάστημα [0, β), ή όπως συμβολίζουμε W U(0, β). Επίσης θεωρούμε πως τα δείγματα αυτά είναι στοχαστικά ανεξάρτητα. Ενδιαφερόμαστε να βρούμε έναν εκτιμητή για την αναμενόμενη τιμή της τυχαίας μεταβλητής W, η οποία είναι ίση με β/2. Αν θεωρήσουμε ως εκτιμητή το μέσο όρο των μετρήσεων ˆθ = x[n, (4.55) τότε εύκολα βρίσκουμε πως είναι αμερόληπτος, αφού E [x[n = β/2. Για τη διασπορά του εκτιμητή, υπολογίζουμε πρώτα τη διασπορά μιας μέτρησης ως + ( Var [x[n = f X (x; β) x β ) 2 dx 2 β Έτσι, η διασπορά του εκτιμητή μέσου όρου θα είναι ) (x 2 + β2 4 βx dx = 0 β = [ x 3 β β 3 + β2 4 x β x2 2 0 = ( ) β 3 β 3 + β3 4 β3 = β (4.56) Var [ˆθ = β2 Var [x[n = 2. (4.57) Προκειμένου να διαπιστώσουμε αν ο εκτιμητής μέσου όρου είναι ο βέλτιστος εκτιμητής ελάχιστης διασποράς, θα ακολουθήσουμε τη διαδικασία των τριών βημάτων που περιγράψαμε στα προηγούμενα.

14 78 ΚΕΦΑΛΑΙΟ 4. ΣΤΟΙΧΕΙΑ ΤΗΣ ΘΕΩΡΙΑΣ ΕΚΤΙΜΗΣΗΣ ΠΑΡΑΜΕΤΡΩΝ Μπορούμε να εκφράσουμε την ομοιόμορφη συνάρτηση πυκνότητας πιθανότητας μιας μέτρησης x[n ως f X (x[n; β) = (u(x[n) u(x[n β)), (4.58) β όπου u(x) η μοναδιαία βηματική συνάρτηση που ορίζεται ως για x 0 u(x) = 0 για x < 0 (4.59) Δεδομένου τώρα πως οι μετρήσεις μας είναι στοχαστικά ανεξάρτητες, η από κοινού συνάρτηση πυκνότητας πιθανότητας θα είναι f(x, β) = (u(x[n) u(x[n β)) = β β (u(x[n) u(x[n β)). (4.60) Παρατηρούμε τώρα πως για να είναι μη-μηδενική η συνάρτηση πυκνότητας πιθανότητας αυτή, θα πρέπει απαραίτητα όλοι οι όροι στο γινόμενο να είναι μη-μηδενική. Με άλλα λόγια, θα πρέπει όλες οι μετρήσεις x[n να βρίσκονται στο διάστημα [0, β), ή ισοδύναμα 0 x[n < β. Έτσι, μπορούμε να γράψουμε τη συνάρτηση πυκνότητας πιθανότητας στη μορφή για 0 x[n <, n = 0,,..., β f(x, β) = 0 αλλού. (4.6) Διαπιστώνοντας τώρα πως για να ισχύουν όλες οι ανισότητες της μορφής 0 x[n < β, αρκεί 0 min n (x[n) και max n (x[n) < β, μπορούμε να γράψουμε την τελευταία σχέση ως για 0 min β n (x[n) και max n (x[n) < β f(x, β) = 0 αλλού Έτσι, μπορούμε γράψουμε. (4.62) f(x, β) = u(β max β (x[n)) u(min(x[n)) n }{{}} n {{} g(t (x),β) h(x). (4.63) Επομένως, σύμφωνα με το θεώρημα παραγοντοποίησης eyman-fisher, η T (x) = max n (x[n) είναι μια επαρκής στατιστική για την εκτίμηση της σταθεράς β. Επίσης, μπορεί να αποδειχθεί πως η στατιστική αυτή είναι και πλήρης. Επομένως, ο επιθυμητός εκτιμητής θα δίνεται ως μια κατάλληλη συνάρτηση της T (x), έτσι ώστε ο εκτιμητής αυτός να είναι αμερόληπτος. Για να βρούμε τη συνάρτηση αυτή, θα υπολογίσουμε πρώτα την αναμενόμενη τιμή της στατιστικής T (x). Ξεκινάμε τον υπολογισμό της αναμενόμενης τιμής E [T (x) υπολογίζοντας τη συνάρτηση κατανομής (CDF) της τυχαίας μεταβλητής T την οποία ορίζουμε ίση με τη μέγιστη τιμή των μετρήσεων όταν αυτές θεωρούνται τυχαίες μεταβλητές.

15 4.4. ΕΠΑΡΚΕΙΣ ΣΤΑΤΙΣΤΙΚΕΣ 79 Για να υπολογίσουμε τη συνάρτηση κατανομής της τυχαίας μεταβλητής T, δηλαδή την πιθανότητα Pr{T a} ως προς την παράμετρο a, κάνουμε αρχικά τη διαπίστωση πως για 0 a < β μια μέτρηση θα λαμβάνει τιμή μικρότερη είτε ίση με a με πιθανότητα a/β και τιμή μεγαλύτερη με πιθανότητα (a β)/β. Επομένως, για τη συνάρτηση κατανομής της τυχαίας μεταβλητής T θα έχουμε 0 για a < 0 F T (a) = ( a β ) για 0 a < β. (4.64) για a β Έτσι, η συνάρτηση πυκνότητας πιθανότητας θα δίνεται ως η παράγωγος της συνάρτησης κατανομής, δηλαδή f T (a) = 0 για a < 0 β a για 0 a < β 0 για a > β (4.65) ενώ παρατηρούμε πως στο σημείο a = β η συνάρτηση κατανομής δεν είναι παραγωγίσιμη. Έτσι, η αναμενόμενη τιμή της τυχαίας μεταβλητής T θα είναι E [T = = + β 0 af T (a)da ( ) a da β β = [ a + β + 0 = + β ( ) 2 β = = E [X. (4.66) + Επομένως, ο αμερόληπτος εκτιμητής - συνάρτηση της επαρκούς στατιστικής T (x) = max n (x[n) - θα είναι ο εκτιμητής ˆθ = + 2 T (x) = + 2 max (x[n). (4.67) n Η διασπορά του παραπάνω εκτιμητή μπορεί να υπολογιστεί χρησιμοποιώντας τη συνάρτηση πυκνότητας πιθανότητας που υπολογίσαμε, και μπορεί να δειχθεί πως δίνεται από την έκφραση β Var [ˆθ 2 = 4( + 2). (4.68) Παρατηρούμε πως η διασπορά του βέλτιστου αμερόληπτου εκτιμητή της Σχέσης (4.67) είναι μικρότερη από τη διασπορά του επίσης αμερόληπτου εκτιμητή της Σχέσης (4.55). Μάλιστα, παρατηρούμε πως η

16 80 ΚΕΦΑΛΑΙΟ 4. ΣΤΟΙΧΕΙΑ ΤΗΣ ΘΕΩΡΙΑΣ ΕΚΤΙΜΗΣΗΣ ΠΑΡΑΜΕΤΡΩΝ διασπορά του εμπειρικού εκτιμητή μέσου όρου που δίνεται από τη Σχέση (4.57) μειώνεται με ένα ρυθμό /, ενώ η διασπορά του αμερόληπτου εκτιμητή ελάχιστης διασποράς που δίνεται από τη Σχέση (4.68) μειώνεται με ένα ρυθμό / 2, ως προς το πλήθος των μετρήσεων τις οποίες χρησιμοποιούμε. 4.5 Γραμμικά μοντέλα Η περίπτωση στην οποία οι μετρήσεις που λαμβάνουμε εξαρτώνται γραμμικά από τις παραμέτρους τις οποίες επιθυμούμε να εκτιμήσουμε παρουσιάζει ιδιαίτερο ενδιαφέρον στη θεωρία εκτίμησης, καθώς τότε μπορούμε συνήθως να υπολογίσουμε το βέλτιστο εκτιμητή. Ας θεωρήσουμε για παράδειγμα ένα σήμα συνεχούς χρόνου x(t) το οποίο επιθυμούμε να προσεγγίσουμε από ένα πολυώνυμο βαθμού p. Θεωρούμε επίσης έναν προσθετικό όρο που δηλώνει το σφάλμα της προσέγγισης, δηλαδή έχουμε x(t) = θ p t p + θ p 2 t p θ t + θ 0 + w(t). (4.69) Υποθέτουμε πως έχουμε στη διάθεσή μας τις μετρήσεις {x[t n } τις οποίες μπορούμε να αναπαραστήσουμε από ένα διάνυσμα x = [x[t 0 x[t x[t T. (4.70) Όμοια, μπορούμε να αναπαραστήσουμε τις τιμές του προσθετικού σφάλματος ως w = [w[t 0 w[t w[t T. (4.7) Επίσης, ορίζουμε και το διάνυσμα με τους συντελεστές του πολυωνύμου ως Τέλος, ορίζουμε τον πίνακα Vandermonde θ = [θ 0 θ θ p T. (4.72) H = t 0 t p 0 t t p t t p έτσι ώστε το διάνυσμα των μετρήσεών μας να γράφεται ως, (4.73) x = Hθ + w. (4.74) Σκοπός μας είναι η εκτίμηση των συντελεστών του πολυωνύμου χρησιμοποιώντας τις μετρήσεις του διανύσματος x και τον πίνακα H. Στην περίπτωση αυτή, όπου οι άγνωστες παράμετροι θ που επιθυμούμε να εκτιμήσουμε συνδέονται μέσω μιας σχέσης που έχει τη μορφή της Σχέσης (4.74) με τις μετρήσεις μας, θα λέμε πως έχουμε ένα γραμμικό μοντέλο. Παράδειγμα 4.6 Θωρούμε πως λαμβάνουμε μετρήσεις ενός σήματος x(t) το οποίο δίνεται ως ένα άθροισμα από P /2

17 4.5. ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ 8 (P άρτιος) ημιτονοειδή σήματα γνωστών συχνοτήτων, σύμφωνα με το μοντέλο P /2 x(t) = r p sin(ω p t + ϕ p ) + w(t). (4.75) p= Παρατηρούμε πως αν λάβουμε μετρήσεις του σήματος αυτού, αυτές θα εξαρτώνται γραμμικά από τα πλάτη r p αλλά μη-γραμμικά από τις αρχικές φάσεις ϕ p. Ωστόσο, μπορούμε να γράψουμε το προηγούμενο μοντέλο στην εναλλακτική μορφή P /2 x(t) = (A p cos(ω p t) + B p sin(ω p t)) + w(t), (4.76) p= κάνοντας χρήση της τριγωνομετρικής ταυτότητας sin(α + β) = sin(β) cos(α) + cos(β) sin(α). (4.77) Παρατηρούμε τώρα από τη Σχέση (4.76) πως μπορούμε να λάβουμε μετρήσεις οι οποίες θα εξαρτώνται γραμμικά από τις παραμέτρους A p και B p. Πιο συγκεκριμένα, μπορούμε να γράψουμε το μοντέλο μας στη μορφή x = Hθ + w, (4.78) όπου x = [x[t 0 x[t x[t T, (4.79) και H = cos(ω t 0 ) cos(ω P /2 t 0 ) sin(ω t 0 ) sin(ω P /2 t 0 ) cos(ω t ) cos(ω P /2 t ) sin(ω t ) sin(ω P /2 t ).... cos(ω t ) cos(ω P /2 t ) sin(ω t ) sin(ω P /2 t ). (4.80) Επίσης και θ = [ A A 2 A P /2 B B 2 B P /2 T (4.8) w = [w[t 0 w[t w[t T. (4.82) Επισημαίνουμε πως αφού εκτιμήσουμε τις παραμέτρους του διανύσματος θ, τότε μπορούμε να υπολογίσουμε και εκτιμήσεις για τις αρχικές παραμέτρους σύμφωνα με τις σχέσεις ˆr p = Â2 p + ˆB 2 p (4.83) και ˆϕ p = arctan ˆB p  p (4.84)

18 82 ΚΕΦΑΛΑΙΟ 4. ΣΤΟΙΧΕΙΑ ΤΗΣ ΘΕΩΡΙΑΣ ΕΚΤΙΜΗΣΗΣ ΠΑΡΑΜΕΤΡΩΝ 4.5. Γραμμικά μοντέλα με θόρυβο Gauss Θεωρούμε το μοντέλο x = Hθ + w, (4.85) όπου x είναι ένα διάνυσμα μετρήσεων με διαστάσεις και H είναι ένας γνωστός και ντετερμινιστικός πίνακας διαστάσεων p με p. Σκοπός μας είναι να υπολογίσουμε μια εκτίμηση για το διάνυσμα παραμέτρων θ, το οποίο έχει διαστάσεις p. Επίσης, θεωρούμε πως το διάνυσμα w αποτελείται από τυχαίες μεταβλητές κανονικής κατανομής οι οποίες είναι στοχαστικά ανεξάρτητες και με ίση διασπορά, δηλαδή w (0, σ 2 I). Επιπρόσθετα, θεωρούμε πως ο πίνακας H έχει τάξη p. Στην περίπτωση αυτή, ο βέλτιστος εκτιμητής του διανύσματος θ δίνεται από το ακόλουθο θεώρημα. Θεώρημα 4 Ο αμερόληπτος εκτιμητής ελάχιστης διασποράς (MVUE) του διανύσματος θ, όταν οι μετρήσεις μας δίνονται από το μοντέλο της Σχέσης (4.85) και ο θόρυβος w ακολουθεί την κατανομή (0, σ 2 I), δίνεται από τη σχέση ˆθ = ( H T H ) H T x. (4.86) Επίσης, ο πίνακας συνδιασπορών του ˆθ θα πιάνει το φράγμα Cramér-Rao, και θα δίνεται από τη σχέση E [(ˆθ θ)(ˆθ θ) T = Cˆθ = σ ( 2 H T H ). (4.87) Είναι εύκολο να γενικεύσουμε το προηγούμενο αποτέλεσμα ώστε να καλύψουμε και την περίπτωση όπου ο θόρυβος δεν είναι λευκός, αλλά όπως συνήθως αναφέρουμε έγχρωμος θόρυβος. Ας υποθέσουμε για παράδειγμα πως w (0, σ 2 C), όπου C I, είναι ένας γνωστός πίνακας. Στην περίπτωση αυτή μπορούμε να χρησιμοποιήσουμε μια τεχνική η οποία είναι γνωστή ως προ-λεύκανση (pre-whitening) και στην ουσία να μετασχηματίσουμε το μοντέλο μας σε ένα ισοδύναμο όπου όμως ο θόρυβος που θα υπεισέρχεται θα είναι λευκός. Πιο συγκεκριμένα, θεωρούμε τη διάσπαση Cholesky του πίνακα C C = D T D, (4.88) και στη συνέχεια χρησιμοποιούμε τον πίνακα D για να μετασχηματίσουμε το μοντέλο μας, σύμφωνα με τη σχέση x = Dx = (DH)θ + Dw = H θ + w, (4.89) όπου είναι εύκολο να δούμε τώρα πως ο νέος θόρυβος θα είναι λευκός, δηλαδή w (0, σ 2 I). Την περίπτωση όπου ο θόρυβος ο οποίος υπεισέρχεται στο μοντέλο μας ακολουθεί την κανονική κατανομή, είναι όμως έγχρωμος, καλύπτει το επόμενο θεώρημα. Θεώρημα 5 Ο αμερόληπτος εκτιμητής ελάχιστης διασποράς (MVUE) του διανύσματος θ, όταν οι μετρήσεις μας δίνονται από το μοντέλο της Σχέσης (4.85) και ο θόρυβος w ακολουθεί την κατανομή (0, σ 2 C), δίνεται από τη σχέση ˆθ = ( H T C H ) H T C x. (4.90) Επίσης, ο πίνακας συνδιασπορών του ˆθ θα πιάνει το φράγμα Cramér-Rao, και θα δίνεται από τη σχέση E [(ˆθ θ)(ˆθ θ) T = Cˆθ = σ ( 2 H T C H ). (4.9)

19 4.5. ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ 83 w(t) w(t) x(t) x(t) H(z ) + y(t) (α) (β) Σχήμα 4.2: Το πρόβλημα της ακύρωσης ηχούς (echo cancellation) σε μια τηλεφωνική συσκευή. (α) Ένα τηλέφωνο καταγράφει με το μικρόφωνό του ένα σήμα x(t) ενώ το ακουστικό του αναπαράγει ένα σήμα w(t). (β) Το μικρόφωνο του τηλεφώνου καταγράφει ένα μέρος του σήματος w(t), αφού πρώτα αυτό έχει περάσει από ένα γραμμικό σύστημα με συνάρτηση μεταφοράς H(z ). Παράδειγμα 4.7 Σε μια τηλεφωνική συσκευή, θεωρούμε ως w(t) το σήμα το οποίο αναπαράγεται από το ακουστικό της συσκευής (π.χ. φωνή του συνομιλητή μας) και ως x(t) το σήμα το οποίο καταγράφει το μικρόφωνο της συσκευής (Σχήμα 4.2(α)). Σε ορισμένες περιπτώσεις, το μικρόφωνο της συσκευής ενδέχεται να καταγράφει και ένα μέρος του σήματος w(t). Πιο συγκεκριμένα, το σήμα w(t) καταγράφεται από το μικρόφωνο του τηλεφώνου καθώς διαδίδεται ως ένα ακουστικό σήμα στο χώρο. Μπορούμε έτσι να υποθέσουμε πως το σήμα x(t) θα περιέχει μια συνεισφορά από το w(t) αφού πρώτα το τελευταίο σήμα έχει περάσει από ένα σύστημα το οποίο μοντελοποιεί το ακουστικό μονοπάτι από το ακουστικό ως το μικρόφωνο της συσκευής μας, όπως αναπαριστούμε στο Σχήμα 4.2(β). Προφανώς, είναι επιθυμητό το σήμα αυτό να μην το αποστείλουμε στη συσκευή του συνομιλητή μας γιατί τότε αυτός θα ακούσει τη δική του φωνή να επιστρέφει σε αυτόν. Αν υποθέσουμε πως η συνάρτηση μεταφοράς H(z ) περιγράφει ένα γραμμικό, χρονικά αμετάβλητο σύστημα με πεπερασμένη κρουστική απόκριση (Finite Impulse Response, FIR) τότε μπορούμε να γράψουμε για τις μετρήσεις που λαμβάνει το μικρόφωνο της συσκευής x[n = h 0 w[n + h w[n + + h p w[n p + + y[n = H(z )w[n + y[n (4.92) Σκοπός μας είναι εκτιμήσουμε τους συντελεστές του συστήματος H(z ) και να μπορέσουμε στη συνέχεια να αφαιρέσουμε (μια εκτίμηση για) τη συνεισφορά του σήματος w(t) στο y(t), από τη σχέση ŷ[n = x[n Ĥ(z )w[n. (4.93) Με βάση τις παραπάνω σχέσεις, μπορούμε να σχηματίσουμε ένα γραμμικό μοντέλο x = Hθ + w, (4.94)

20 84 ΚΕΦΑΛΑΙΟ 4. ΣΤΟΙΧΕΙΑ ΤΗΣ ΘΕΩΡΙΑΣ ΕΚΤΙΜΗΣΗΣ ΠΑΡΑΜΕΤΡΩΝ όπου x = [x[p x[ T, (4.95) w = [y[p y[ T, (4.96) θ = [h 0 h h p T, (4.97) και H = w[p w[p 2 w[0 w[p w[p w[ w[ w[ 2 w[ p. (4.98) Επομένως, θα μπορούσαμε να χρησιμοποιήσουμε τον εκτιμητή του Θεωρήματος 4 ή την πιο γενική μορφή του Θεωρήματος 5. Ωστόσο, το πρόβλημα είναι πως η κατανομή των στοιχείων του διανύσματος w δεν είναι απαραίτητα η κανονική κατανομή. Ως αποτέλεσμα, ο εκτιμητής που θα πάρουμε ενδέχεται να μην είναι βέλτιστος Βέλτιστοι γραμμικοί αμερόληπτοι εκτιμητές Σε αρκετές πρακτικές περιπτώσεις είναι συνηθισμένο να μην μπορούμε να βρούμε τον αμερόληπτο εκτιμητή ελάχιστης διασποράς. Για παράδειγμα, η συνάρτηση πυκνότητας πιθανότητας των μετρήσεων μπορεί να είναι άγνωστη. Στις περιπτώσεις αυτές, η θεωρητική προσέγγιση που βασίζεται στο φράγμα Cramér-Rao δεν μπορεί να μας βοηθήσει ιδιαίτερα. Έτσι, καταφεύγουμε στην εύρεση εκτιμητών που δεν είναι απαραίτητα βέλτιστοι, αλλά όπως αναφέρουμε υπό-βέλτιστοι (suboptimal). Ένας υπό-βέλτιστος εκτιμητής μπορεί να χρησιμοποιηθεί σε αρκετές πρακτικές περιπτώσεις, αρκεί το σφάλμα το οποίο κάνει να είναι εντός των επιτρεπτών ορίων που απαιτούνται από τη συγκεκριμένη εφαρμογή. Μια άλλη περίπτωση στην οποία καλούμαστε να χρησιμοποιήσουμε έναν υπό-βέλτιστο εκτιμητή είναι λόγω περιορισμών καθυστέρησης/υπολογιστικής πολυπλοκότητας, όπου γνωρίζουμε πιθανώς το βέλτιστο (ή απλά έναν καλύτερο) εκτιμητή, ωστόσο οι απαιτήσεις σε υπολογιστικές πράξεις καθιστούν μη-εφικτή τη χρήση του. Μια πολύ συνηθισμένη περίπτωση ενός υπό-βέλτιστου εκτιμητή, την οποία εξετάζουμε στην παράγραφο αυτή, είναι να περιορίσουμε την αναζήτησή μας μόνο σε εκτιμητές των οποίων ο μαθηματικός τύπος είναι ένας γραμμικός συνδυασμός των μετρήσεων τις οποίες λαμβάνουμε, τους οποίους ονομάζουμε γραμμικούς εκτιμητές. Έτσι, μπορούμε να επιλέξουμε τα βάρη - συντελεστές του γραμμικού συνδυασμού με κατάλληλο τρόπο ώστε να πετύχουμε να έχουμε έναν αμερόληπτο εκτιμητή, και επίσης να ελαχιστοποιούμε τη διασπορά του εκτιμητή. Στην περίπτωση όπου κάτι τέτοιο είναι δυνατό, τότε μιλάμε για έναν εκτιμητή ο οποίος είναι ο καλύτερος δυνατός ανάμεσα σε όλους τους αμερόληπτους γραμμικούς εκτιμητές. Τον εκτιμητή αυτό τον ονομάζουμε βέλτιστο γραμμικό αμερόληπτο εκτιμητή (best linear unbiased estimator, BLUE). Η γενική μορφή του θα είναι ˆθ = a n x[n, (4.99)

21 4.5. ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ 85 και οι συντελεστές a n θα πρέπει να επιλέγονται έτσι ώστε ο εκτιμητής μας να είναι αμερόληπτος και να έχει ελάχιστη διασπορά. Παράδειγμα 4.8 Ο βέλτιστος γραμμικός αμερόληπτος εκτιμητής (BLUE) θα ταυτίζεται με το βέλτιστο αμερόληπτο εκτιμητή (MVU) μόνο στην περίπτωση όπου ο δεύτερος, λόγω της φύσης του προβλήματος εκτίμησης, τυχαίνει να είναι γραμμικός. Στην περίπτωση αυτή ο περιορισμός της αναζήτησης μόνο γραμμικών εκτιμητών δεν μας αποκλείει τη βέλτιστη λύση. Στο Παράδειγμα 4.4 είδαμε πως ο βέλτιστος εκτιμητής για τον υπολογισμό μιας σταθερής παραμέτρου θ 0 στην οποία προστίθεται θόρυβος που ακολουθεί την κανονική κατανομή, δίνεται απλά ως ο μέσος όρος των μετρήσεων ˆθ = x[n. (4.00) Παρατηρούμε επομένως πως ο εκτιμητής μας είναι γραμμικός, αφού έχει τη μορφή της Σχέσης (4.99) για a n = /. Επομένως, για το πρόβλημα αυτό, αν περιοριστούμε στην αναζήτηση μόνο γραμμικών εκτιμητών τότε δεν θα χάσουμε κάτι, αφού ο βέλτιστος εκτιμητής (MVUE) ανήκει στην κλάση των γραμμικών εκτιμητών. Από την άλλη πλευρά, στο Παράδειγμα 4.5 είδαμε πως ο βέλτιστος εκτιμητής για τον υπολογισμό της μέσης τιμής μετρήσεων που ακολουθούν την ομοιόμορφη κατανομή στο διάστημα [0, β) είναι ο ˆθ = + 2 max (x[n), (4.0) n ο οποίος προφανώς είναι μη-γραμμικός. Μπορούμε να αποδείξουμε πως ο εκτιμητής μέσου όρου στην περίπτωση αυτή είναι ο βέλτιστος γραμμικός αμερόληπτος εκτιμητής (BLUE), ο οποίος όπως είδαμε στο Παράδειγμα 4.5 είναι υπό-βέλτιστος. Ο υπολογισμός του βέλτιστου γραμμικού αμερόληπτου εκτιμητή γίνεται με εύκολο τρόπο, αρκεί οι μετρήσεις μας να δίνονται από ένα γραμμικό μοντέλο. Στην περίπτωση αυτή, η συνάρτηση πυκνότητας πιθανότητας του θορύβου δεν επηρεάζει τη λύση μας. Ο υπολογισμός του εκτιμητή γίνεται από το ακόλουθο θεώρημα, το οποίο είναι γνωστό και ως θεώρημα Gauss-Markov. Θεώρημα 6 Όταν οι μετρήσεις τις οποίες λαμβάνουμε δίνονται από ένα γραμμικό μοντέλο της μορφής x = Hθ + w, (4.02) όπου ο πίνακας H είναι ένας γνωστός πίνακας με διαστάσεις p τον οποίο ονομάζουμε και πίνακα μέτρησης, θ είναι ένα διάνυσμα μεγέθους p το οποίο περιέχει τις παραμέτρους που θέλουμε να εκτιμήσουμε και w είναι το διάνυσμα του θορύβου, με διαστάσεις, του οποίου τα στοιχεία έχουν μηδενικές μέσες τιμές και ο πίνακας συνδιασπορών του είναι ο C, τότε ο βέλτιστος γραμμικός αμερόληπτος εκτιμητής δίνεται από την έκφραση ˆθ = ( H T C H ) H T C x. (4.03) Επίσης, οι διασπορές των εκτιμήσεων για τα στοιχεία του διανύσματος θ δίνονται από τα διαγώνια στοιχεία ενός πίνακα, όπως δείχνει η σχέση [ (H Var [ˆθi = T C H ), (4.04) i,i

22 86 ΚΕΦΑΛΑΙΟ 4. ΣΤΟΙΧΕΙΑ ΤΗΣ ΘΕΩΡΙΑΣ ΕΚΤΙΜΗΣΗΣ ΠΑΡΑΜΕΤΡΩΝ Χαρακτηρισμός Εξήγηση Αμερόληπτος (unbiased) Όταν E [ˆθ = θ 0 Συνεπής (conistent) Καθώς, να έχουμε ˆθ θ 0 Αποδοτικός (efficient) Αμερόληπτος, με διασπορά ίση με το φράγμα Cramér-Rao Εύρωστος (robust) Ο εκτιμητής δεν είναι ευαίσθητος στην PDF των μετρήσεων Πίνακας 4.: Χαρακτηρισμοί εκτιμητών όπου η έκφραση (H T C H) αποτελεί και τον πίνακα συνδιασπορών του διανύσματος θ. Παράδειγμα 4.9 Θεωρούμε πως λαμβάνουμε μετρήσεις της μορφής x[n = θ 0 + w[n, (4.05) όπου ο θόρυβος w είναι λευκός με μέση τιμή μηδέν και διασπορά σ 2, αλλά δεν έχουμε κάποια άλλη γνώση για τη συνάρτηση πυκνότητας πιθανότητας την οποία ακολουθεί. Προκειμένου να υπολογίσουμε το βέλτιστο γραμμικό αμερόληπτο εκτιμητή για το πρόβλημα αυτό, γράφουμε αρχικά το μοντέλο μας στη μορφή της Σχέσης (4.02), ως x = hθ 0 + w (4.06) όπου h = [ T. (4.07) Έτσι, χρησιμοποιώντας τη Σχέση (4.03), θα έχουμε ˆθ = ht ( σ 2 I ) h T ( σ 2 I ) h x = σ 2 x[n σ 2 = x[n, (4.08) δηλαδή πρόκειται για τον μέσο όρο των μετρήσεων. Η διασπορά του εκτιμητή αυτού θα δίνεται από τη Σχέση (4.04), δηλαδή Var [ˆθ = h ( T I ) h = = σ2 σ 2 σ 2 (4.09) Ο εκτιμητής της Σχέσης (4.08), αλλά και γενικότερα όλοι οι εκτιμητές που προκύπτουν από τη Σχέση (4.03), δεν εξαρτάται από την ακριβή μορφή της συνάρτησης πυκνότητας πιθανότητας των μετρήσεων παρά μόνο από τη μέση τιμή και τη διασπορά τους. Ωστόσο, η απόδοση του εκτιμητή - όπως τη μετρά η διασπορά του - βλέπουμε πως παραμένει σταθερή και δίνεται από τη Σχέση (4.04). Ένας τέτοιος εκτιμητής, ο οποίος καταφέρνει να έχει καλή απόδοση χωρίς να είναι πολύ ευαίσθητος σε διαφορετικές κατανομές μετρήσεων, ονομάζεται συνήθως εύρωστος (robust) εκτιμητής. Στον Πίνακα 4. συνοψίζουμε τους χαρακτηρισμούς των εκτιμητών που έχουμε δει.

23 4.6. ΕΚΤΙΜΗΣΗ ΜΕΓΙΣΤΗΣ ΠΙΘΑΝΟΦΑΝΕΙΑΣ Εκτίμηση μέγιστης πιθανοφάνειας Σε πολλές πρακτικές περιπτώσεις όπου ο αμερόληπτος εκτιμητής ελάχιστης διασποράς (MVUE) δεν υπάρχει ή δεν μπορεί να βρεθεί, καταφεύγουμε στη χρήση ενός εκτιμητή μέγιστης πιθανοφάνειας. Ο εκτιμητής αυτός μπορεί να υλοποιηθεί για μια μεγάλη ποικιλία προβλημάτων και επιπρόσθετα, όταν το πλήθος των μετρήσεων αυξάνεται, ο εκτιμητής μέγιστης πιθανοφάνειας έχει καλή απόδοση. Ο εκτιμητής μέγιστης πιθανοφάνειας, όπως άλλωστε δηλώνει και το όνομά του, ορίζεται ως η τιμή των άγνωστων παραμέτρων θ που μεγιστοποιούν τη συνάρτηση πιθανοφάνειας, δηλαδή ˆθ ML = arg max f(x; θ), (4.0) όπου υπενθυμίζουμε πως όταν αντικαθιστούμε τις πραγματικές μετρήσεις x στη συνάρτηση πυκνότητας πιθανότητας των μετρήσεων f(x; θ), και τη θεωρούμε ως συνάρτηση των αγνώστων παραμέτρων του διανύσματος θ, τότε χρησιμοποιούμε τον όρο πιθανοφάνεια. Το ακόλουθο παράδειγμα υπολογισμού ενός εκτιμητή μέγιστης πιθανοφάνειας είναι αρκετά χρήσιμο. Παράδειγμα 4.0 Θεωρούμε πως λαμβάνουμε μετρήσεις της μορφής x[n = θ 0 + w[n, (4.) όπου ο θόρυβος ακολουθεί μια κανονική κατανομή με μέση τιμή μηδέν και διασπορά ίση με την άγνωστη παράμετρο θ 0, δηλαδή W (0, θ 0 ). Επίσης, γνωρίζουμε πως η σταθερά θ 0 είναι θετική. Ενδιαφερόμαστε να υπολογίσουμε τον εκτιμητή μέγιστης πιθανοφάνειας για το πρόβλημα αυτό. Η συνάρτηση πιθανοφάνειας γράφεται ως ( ) f(x; θ 0 ) = exp (x[n θ (2πθ 0 ) /2 0 ) 2. (4.2) 2θ 0 Για να βρούμε το σημείο στο οποίο αυτή η συνάρτηση παρουσιάζει μέγιστο, υπολογίζουμε πρώτα τα κρίσιμα σημεία της τα οποία ορίζονται ως τα σημεία στα οποία η παράγωγός της είναι ίση με μηδέν. Επειδή ο λογάριθμος είναι μια γνησίως αύξουσα συνάρτηση, μελετάμε συνήθως το λογάριθμο της συνάρτησης πιθανοφάνειας ο οποίος έχει ακρότατα στα ίδια ακριβώς σημεία. Έτσι, η παράγωγος του λογαρίθμου της συνάρτησης πιθανοφάνειας θα είναι ϑ ln(f(x; θ 0 )) = + (x[n θ 0 ) + ϑθ 0 2θ 0 θ 0 2θ0 2 Θέτοντας την παράγωγο αυτή ίση με μηδέν έχουμε θ θ 0 (x[n θ 0 ) 2. (4.3) x 2 [n = 0, (4.4) η οποία είναι μια εξίσωση δευτέρου βαθμού ως προς θ 0 και έχει λύσεις που δίνονται από τη σχέση ˆθ = 2 ± x 2 [n + 4 (4.5)

24 88 ΚΕΦΑΛΑΙΟ 4. ΣΤΟΙΧΕΙΑ ΤΗΣ ΘΕΩΡΙΑΣ ΕΚΤΙΜΗΣΗΣ ΠΑΡΑΜΕΤΡΩΝ Από τις δύο λύσεις αυτές, επιλέγουμε ως επιτρεπτή μόνο την ˆθ = 2 + x 2 [n + 4 (4.6) η οποία είναι μη-αρνητική, και συμφωνεί έτσι με τη γνώση μας πως θ 0 > 0. Επίσης, είναι εύκολο να δούμε πως στο σημείο αυτό η συνάρτηση πιθανοφάνειας παρουσιάζει μέγιστο και όχι ελάχιστο, αφού η δεύτερη παράγωγος έχει αρνητική τιμή. Είναι σημαντικό να γνωρίζουμε τις ιδιότητες ενός εκτιμητή μέγιστης πιθανοφάνειας. Για παράδειγμα, αν στέψουμε την προσοχή μας στον εκτιμητή της Σχέσης (4.6), τότε θα δούμε πως ο εκτιμητής αυτός δεν είναι αμερόληπτος. Ωστόσο, για μεγάλο πλήθος μετρήσεων θα έχουμε πως x 2 [n = θ w 2 [n + 2w[nθ 0 = θ θ (4.7) Έτσι, αντικαθιστώντας το αποτέλεσμα αυτό στον εκτιμητή της Σχέσης (4.6) θα έχουμε πως για μεγάλο θα είναι: ˆθ = 2 + θ θ = 2 + ( θ ) 2 = 2 + θ = θ 0. (4.8) Δηλαδή, βλέπουμε πως μόνο για μεγάλο πλήθος μετρήσεων ο εκτιμητής μέγιστης πιθανοφάνειας συμπεριφέρεται ως αμερόληπτος. Τους εκτιμητές που έχουν την ιδιότητα αυτή, τους ονομάζουμε ασυμπτωτικά αμερόληπτους. Όπως θα δούμε, η διασπορά του εκτιμητή μέγιστης πιθανοφάνειας τείνει προς το φράγμα Cramér - Rao καθώς το πλήθος των μετρήσεων αυξάνεται. Ένας εκτιμητής που παρουσιάζει την ιδιότητα αυτή, ενώ ταυτόχρονα είναι αμερόληπτος ή ασυμπτωτικά αμερόληπτος, ονομάζεται ασυμπτωτικά αποδοτικός. Παράδειγμα 4. Μας ενδιαφέρει να δούμε αν ο εκτιμητής της Σχέσης (4.6), ο οποίος εκτιμά την παράμετρο θ 0 χρησιμοποιώντας μετρήσεις από το μοντέλο της Σχέσης (4.), είναι ασυμπτωτικά αποδοτικός. Αρχικά, θα υπολογίσουμε το φράγμα Cramér - Rao για τον υπολογισμό της παραμέτρου θ 0. Η παράγωγος της συνάρτησης πιθανοφάνειας έχει υπολογιστεί στη Σχέση (4.3) και είναι ϑ ln(f(x; θ 0 )) = + (x[n θ 0 ) + ϑθ 0 2θ 0 θ 0 2θ0 2 (x[n θ 0 ) 2. (4.9)

25 4.6. ΕΚΤΙΜΗΣΗ ΜΕΓΙΣΤΗΣ ΠΙΘΑΝΟΦΑΝΕΙΑΣ 89 Η δεύτερη παράγωγος της συνάρτησης πιθανοφάνειας θα είναι ϑ 2 ln(f(x; θ 0 )) ϑθ 2 0 = x[n x 2 [n + x[n 2θ0 2 θ 2 0 θ 3 0 θ 2 0 ( ) = 2 x[n + x[n x 2 [n θ 2 0 θ 3 0 = x 2 [n 2θ0 2 θ 3 0 (4.20) Χρησιμοποιώντας τώρα τη σχέση E [ x 2 [n = θ θ 0, (4.2) θα έχουμε [ ϑ 2 ln(f(x; θ 0 )) E ϑθ 2 0 = 2θ 2 0 = 2θ 2 0 (θ0 2 + θ 0 ) θ0 3 2(θ 0 + ) 2θ0 2 = 2θ 0 2 2θ 2 0 = ( 2θ 0 2) 2θ 2 0 = (2θ 0 + ) 2θ 2 0. (4.22) Έτσι, το φράγμα θα είναι Var [ˆθ0 = E [ ϑ 2 ln(f(x;θ 0 )) (2θ 0 +) 2θ 2 0 ϑθ 2 0 = θ 2 0 (θ 0 + /2) (4.23) Θα υπολογίσουμε τώρα τη διασπορά του εκτιμητή της Σχέσης (4.6). Για αυτό τον υπολογισμό, θα λάβουμε υπόψιν μας το γεγονός πως για μεγάλο πλήθος μετρήσεων έχουμε υψηλή συγκέντρωση των τιμών της σχέσης (4.6) γύρω από τη μέση τιμή της θ θ 0 και επομένως μπορούμε να χρησιμοποιήσουμε μια προσέγγιση της Σχέσης (4.6) η οποία αποτελεί μια γραμμικοποίηση γύρω από τη μέση τιμή. Λόγω της ισχυρής συγκέντρωσης των τιμών γύρω από τη μέση τιμή, η προσέγγιση που θα κάνουμε δεν θα εισάγει ιδιαίτερο σφάλμα. Πιο συγκεκριμένα, αν θεωρήσουμε ως v = x2 [n, τότε ο εκτιμητής της Σχέσης (4.6) θα γράφεται ως g(v) = 2 + v + 4 (4.24)