Εισαγωγή-Αµερόληπτοι Εκτιµητές

Transcript

1 Κεφάλαιο Εισαγωγή-Αµερόληπτοι Εκτιµητές. Στοιχεία Θεωρίας Το πρόβληµα που καλούµαστε να αντιµετωπίσουµε στο κοµµάτι της Στατιστικής που λέγεται εκτιµητική έχει ως εξής. Εστω ότι δίνονται δεδοµένα X = (X, X,..., X µε από κοινού πυκνότητα πιθανότητας f X (x, θ, που εξαρτάται από µία άγνωστη παράµετρο θ, η οποία ανήκει σε κάποιο σύνολο Θ. Το θ λέγεται άγνωστη παράµετρος και το Θ καλείται παραµετρικός χώρος. Σκοπός µας είναι, χρησιµοποιώντας τα δεδοµένα, να εκτιµήσουµε µία συνάρτηση του θ, έστω g( : Θ R k, k, η οποία ονοµάζεται παραµετρική συνάρτηση. Το τυχαίο διάνυσµα X αναφέρεται σαν δείγµα. Αν επιπλέον οι τυχαίες µεταβλητές X i, i =,,..., είναι ανεξάρτητες και ισόνοµες, δηλαδή έχουν την ίδια κατανοµή, τότε το X αναφέρεται σαν τυχαίο δείγµα. Ορισµός.. Μία συνάρτηση µόνο του δείγµατος καλείται στατιστική συνάρτηση Ορισµός.. Μία στατιστική συνάρτηση που χρησιµοποιείται για την εκτίµηση της τιµής της άγνωστης παραµέτρου θ (ή γενικότερα για την εκτίµηση της παραµετρικής συνάρτησης g(θ, όπου g( : Θ R k αναφέρεται σαν εκτιµητής του θ (ή του g(θ. Ορισµός..3 Ο εκτιµητής T = T (X ονοµάζεται αµερόληπτος εκτιµητής της παραµετρικής συνάρτησης g(θ, αν E θ T (X = g(θ, θ Θ. Ενα από τα πιο συνηθισµένα κριτήρια επιλογής εκτιµητών είναι το Μέσο Τετραγωνικό Σφάλµα του εκτιµητή T (X, συµβολικά ΜΤΣ(T, θ, που ορίζεται ως εξής,

2 ΚΕΦΑΛΑΙΟ. ΕΙΣΑΓΩΓΗ-ΑΜΕΡΟΛΗΠΤΟΙ ΕΚΤΙΜΗΤΕΣ Ορισµός..4 ΜΤΣ(T, θ = E θ (T (X g(θ Πρόταση..5 ΜΤΣ(T, θ = V ar θ (T (X + (E θ (T (X g(θ. Η ποσότητα b(t, θ = E θ (T (X g(θ καλείται µεροληψία ή συστηµατικό σφάλµα του εκτι- µητή T για την ποσότητα g(θ, οπότε, ΜΤΣ(T, θ = V ar θ (T (X + b (T, θ. Παρατήρηση..6 Αν T είναι αµερόληπτος εκτιµητής της παραµετρικής συνάρτησης g(θ, τότε ΜΤΣ(T, θ = V ar θ (T (X. Ορισµός..7 Ο εκτιµητής T ονοµάζεται καλύτερος του εκτιµητή T για την εκτί- µηση της παραµετρικής συνάρτησης g(θ, αν, ΜΤΣ(T, θ ΜΤΣ(T, θ, θ Θ και επιπλέον ΜΤΣ(T, θ 0 < ΜΤΣ(T, θ 0, για κάποιο θ 0 Θ. Ορισµός..8 Εάν ο εκτιµητής T είναι καλύτερος από τον T (ως προς το Μέσο Τετραγωνικό Σφάλµα για την g(θ, τότε ο T λέγεται µη αποδεκτός για την εκτίµηση της παραµετρικής συνάρτησης g(θ. Ορισµός..9 Ο T ονοµάζεται ϐέλτιστος εκτιµητής (ως προς το Μέσο Τετραγωνικό Σφάλµα για την g(θ, αν είναι καλύτερος από κάθε άλλο εκτιµητή της παραµετρικής συνάρτησης g(θ. Οι ακόλουθες προτάσεις µας ϐοηθάνε να ϐρούµε αµερόληπτους εκτιµητές τόσο για την µέση τιµή, όσο και για τη διασπορά µιας κατανοµής, όταν το δείγµα µας είναι τυχαίο. Πρόταση..0 Εστω X, X,..., X ένα τυχαίο δείγµα από µία κατανοµή µε πυκνότητα πιθανότητας f (x, θ, θ Θ και g(θ = µ η µέση τιµή της κατανοµής, τότε ο δειγµατικός µέσος X = X i, είναι αµερόληπτος εκτιµητής του µ. Πρόταση.. Εστω X, X,..., X ένα τυχαίο δείγµα από µία κατανοµή f (x, θ, θ Θ και g(θ = σ η διασπορά της κατανοµής, τότε η δειγµατική διασπορά S = (X i X είναι αµερόληπτος εκτιµητής του σ.. Ασκήσεις Ασκηση. Εστω X, X,..., X είναι ένα τυχαίο δείγµα από την U(0, θ, θ Θ = (0,, να ϐρεθεί αµερόληπτος εκτιµητής του θ και να υπολογιστεί το Μέσο Τετραγωνικό του Σφάλµα.

3 .. ΑΣΚΗΣΕΙΣ 3 (Υπόδειξη : Χρησιµοποιήστε την Πρόταση..0. Λύση Γνωρίζουµε ότι η µέση τιµή µίας οµοιόµορφης τυχαίας µεταβλητής στο διάστηµα (a, b (δηλαδή, όταν X U(a, b είναι EX = a + b, εποµένως, η µέση τιµή της κατανοµής µας είναι θ. Οµως, από την Πρόταση..0, επειδή έχουµε ένα τυχαίο δείγµα, ο δειγµατικός µέσος X είναι ένας αµερόληπτος εκτιµητής για την µέση τιµή της κατανοµής, δηλαδή, E θ X = θ E θ( X = θ, θ Θ, άρα ο T (X = X είναι αµερόληπτος εκτιµητής του θ. Λόγω της Παρατήρησης..6, για να ϐρούµε το Μέσο Τετραγωνικό Σφάλµα του T, αρκεί να υπολογίσουµε τη διασπορά του. Οπότε, (X ( V ar θ T = V ar θ ( X ( ( = V ar θ X i = V ar θ X i = 4 V ar θ X i = 4 θ = θ 3. Συνεπώς, ΜΤΣ(T, θ = V ar θ (T = θ 3. Ασκηση. Εστω X, X,..., X είναι ένα τυχαίο δείγµα από την U(0, θ, θ Θ = (0,, να ϐρεθεί αµερόληπτος εκτιµητής του θ. (Υπόδειξη : Χρησιµοποιήστε την Πρόταση... Λύση Γνωρίζουµε ότι η διασπορά µίας οµοιόµορφης τυχαίας µεταβλητής στο (a b διάστηµα (a, b (δηλαδή, όταν X U(a, b είναι V arx =, εποµένως, η διασπορά της κατανοµής µας είναι θ. Οµως, από την Πρόταση.., επειδή έχουµε ένα τυχαίο δείγµα, η δειγµατική διασπορά S είναι ένας αµερόληπτος εκτιµητής της διασποράς της κατανοµής, δηλαδή E θ S = θ E θ(s = θ, θ Θ, άρα ο T (X = S είναι αµερόληπτος εκτιµητής του θ. Παρατήρηση.. Ενας δεύτερος τρόπος εύρεσης αµερόληπτου εκτιµητή για το θ είναι ο εξής. Επειδή στην Ασκηση. αποδείξαµε ότι ο εκτιµητής T = T (X = X είναι αµερόληπτος εκτιµητής για το θ, είναι πιθανό ο T να είναι αµερόληπτος εκτιµητής για το θ. Οµως, E θ T = V ar θ T + (E θ T = θ 3 + θ = θ E θ (T = θ ( 3 E θ 3 + T = θ, θ Θ, 3 άρα ο 3 + T είναι αµερόληπτος εκτιµητής του θ.

4 4 ΚΕΦΑΛΑΙΟ. ΕΙΣΑΓΩΓΗ-ΑΜΕΡΟΛΗΠΤΟΙ ΕΚΤΙΜΗΤΕΣ Παρατηρήστε ότι αυτός είναι διαφορετικός από τον αµερόληπτο εκτιµητή του θ, που υπολογίστηκε στην Ασκηση., οπότε ϐγαίνει το συµπέρασµα ότι υπάρχουν περισσότεροι του ενός αµερόληπτοι εκτιµητές για την ίδια παραµετρική συνάρτηση g(θ. Ασκηση 3. Εστω X είναι µία παρατήρηση από την P(θ, θ Θ = (0,, να ϐρεθεί αµερόληπτος εκτιµητής του θ. (Υπόδειξη : Χρησιµοποιήστε την Πρόταση..0. Λύση Γνωρίζουµε ότι η µέση τιµή και η διασπορά µίας Poisso τυχαίας µεταβλητής µε παράµετρο λ (δηλαδή, όταν X P(λ είναι EX = V arx = λ, εποµένως, η µέση τιµή της κατανοµής µας είναι θ. Άρα, ένας αµερόληπτος ε- κτιµητής για το θ είναι ο X, οπότε είναι εύλογο να δοκιµάσω για αµερόληπτο εκτιµητή του θ, τον X. E θ (X = V ar θ X + (E θ X = θ + θ = E θ X + θ E θ (X = E θ X + θ E θ (X E θ X = θ E θ (X X = θ E θ (X(X = θ, θ Θ. Συνεπώς, ο T (X = X(X είναι ένας αµερόληπτος εκτιµητής του θ. Ασκηση 4. Εστω X είναι µία παρατήρηση από την P(θ, θ Θ = (0,, να θ θk ϐρεθεί αµερόληπτος εκτιµητής της g(θ = e για k = 0,,.... k! (Υπόδειξη : Χρησιµοποιήστε τον Ορισµό..3 του αµερόληπτου εκτιµητή. Λύση Στη συγκεκριµένη περίπτωση µας Ϲητείται να υπολογίσουµε έναν αµε- ϱόληπτο εκτιµητή για µία παραµετρική συνάρτηση g(θ η οποία είναι περίπλοκη, όµως µπορούµε να παρατηρήσουµε ότι g(θ = P θ (X = k, οπότε εδώ χρησιµοποιείται το εξής τέχνασµα. Θεωρούµε τη στατιστική συνάρτηση {, αν X = k T (X = 0, αν X k.. Εποµένως, E θ (T (X = P θ (T (X = + 0 P θ (T (X = 0 = P θ (T (X = = θ θk P θ (X = k = e, θ Θ. k! Συνεπώς ο εκτιµητής T (X είναι αµερόληπτος για την g(θ. Ασκηση 5. Εστω X, X,..., X είναι ανεξάρτητες τυχαίες µεταβλητές, όπου κάθε X i B( i, θ, i =,,...,. Να ϐρεθεί αµερόληπτος εκτιµητής του θ και να υπολογιστεί το Μέσο Τετραγωνικό του Σφάλµα. (Υπόδειξη : Χρησιµοποιήστε τον Ορισµό..3 του αµερόληπτου εκτιµητή. Λύση Επειδή οι X, X,..., X είναι ανεξάρτητες τυχαίες µεταβλητές, από τις αναπαραγωγικές ιδιότητες προκύπτει ότι η στατιστική συνάρτηση T = T (X = X i B( i, θ.

5 .. ΑΣΚΗΣΕΙΣ 5 Εποµένως, E θ T = ( i θ E θ Συνεπώς, ο εκτιµητής T = T (X = Ακόµα, λόγω της Παρατήρησης..6, ΜΤΣ(T, θ = V ar θ (T = V ar θ (X θ( θ ΜΤΣ(T, θ =. i T = θ, θ Θ. i X i είναι αµερόληπτος του θ. i X i i = i V ar θ ( X i Ασκηση 6. Αν οι ανεξάρτητες στατιστικές συναρτήσεις, T = T (X και T = T (X είναι αµερόληπτοι εκτιµητές της παραµέτρου θ, να ϐρεθεί εκείνη η συν- ϑήκη, ώστε η στατιστική συνάρτηση T = a T + a T να αποτελεί αµερόληπτο εκτιµητή του θ. (Υπόδειξη : Χρησιµοποιήστε τον Ορισµό..3 του αµερόληπτου εκτιµητή. Λύση Για να αποτελεί η T αµερόληπτο εκτιµητή του θ πρέπει E θ T (X = θ, θ Θ. Συνεπώς, E θ T = θ E θ (a T + a T = θ a E θ T + a E θ T = θ a θ + a θ = θ και η τελευταία πρέπει να ισχύει θ Θ, εποµένως η Ϲητούµενη συνθήκη είναι a + a =. Ασκηση 7. Αν τα τυχαία δείγµατα X = (X, X,..., X και Ỹ = (Y, Y,..., Y είναι ανεξάρτητα µεταξύ τους µε την ίδια άγνωστη µέση τιµή θ R και γνωστές διασπορές σ, σ αντίστοιχα.. είξτε ότι, η στατιστική συνάρτηση T c = T c (X, Ỹ = c X + ( cȳ, c R, είναι ένας αµερόληπτος εκτιµητής του θ.. Να ϐρεθεί ο καλύτερος εκτιµητής από τους T c, για την εκτίµηση του θ, ως προς το Μέσο Τετραγωνικό Σφάλµα.

6 6 ΚΕΦΑΛΑΙΟ. ΕΙΣΑΓΩΓΗ-ΑΜΕΡΟΛΗΠΤΟΙ ΕΚΤΙΜΗΤΕΣ (Υπόδειξη : Χρησιµοποιήστε τον Ορισµό..3 του αµερόληπτου εκτιµητή. Λύση. Για να είναι ο T c αµερόληπτος εκτιµητής του θ πρέπει να ισχύει, E θ T c = θ, θ θ. Οπότε, E θ T c = E θ (c X + ( cȳ = ce θ( X + ( ce θ (Ȳ = cθ + ( cθ = θ, θ θ. Συνεπώς, ο T c είναι ένας αµερόληπτος εκτιµητής του θ και αυτό συµβαίνει για κάθε c R.. Επειδή, αυτοί οι εκτιµητές T c ορίζουν µία οικογένεια αµερόληπτων εκτιµητών του θ, σε αυτό το ερώτηµα ψάχνουµε εκείνη την τιµή του c η οποία ελαχιστοποιεί το µέσο τετραγωνικό σφάλµα (ουσιαστικά τη διασπορά του αµερόληπτου εκτιµητή T c. V ar θ T c = V ar θ (c X + ( cȳ = c V ar θ ( X + ( c V ar θ (Ȳ = c σ + ( c σ = σ + σ c σ c + σ. Παρατηρούµε ότι η διασπορά του T c είναι ένα τριώνυµο ως προς c (της µορφής ac + bc + d, το οποίο ελαχιστοποιείται για c 0 = b a = σ σ +σ = σ σ +. σ Συνεπώς, ο καλύτερος εκτιµητής στην οικογένεια των αµερόληπτων εκτιµητών του θ, είναι ο T c0 = σ σ + σ X + σ σ + Ȳ. σ Ασκηση 8. Εστω µία παρατήρηση X, η οποία προέρχεται από την κατανοµή Beroulli µε άγνωστη πιθανότητα επιτυχίας θ Θ = (0,. Υπάρχει αµερόληπτος εκτιµητής της παραµετρικής συνάρτησης g(θ = θ ; (Υπόδειξη : Χρησιµοποιήστε τον Ορισµό..3 του αµερόληπτου εκτιµητή για να καταλήξετε σε άτοπο. Λύση Εστω T = T (X είναι ένας αµερόληπτος εκτιµητής για το θ. Εφ όσον η τυχαία µεταβλητή X έχει κατανοµή Beroulli, η πυκνότητα πιθανότητας δίνεται από τη σχέση, P (X = x = θ x ( θ x, x {0, }. Οπότε, E θ T = θ T (0P (X = 0 + T (P (X = = θ T (0( θ + T (θ = θ θ + (T (0 T (θ T (0 = 0 (. και η Σχέση (. ϑέλουµε να ισχύει θ (0,, άτοπο. Εποµένως δεν υπάρχει αµερόληπτος εκτιµητής για το θ.

7 .. ΑΣΚΗΣΕΙΣ 7 Ασκηση 9. Αν η τυχαία µεταβλητή X έχει πυκνότητα πιθανότητας, f X (x; θ = { θ( θ x, x {0,,...}, θ (0,. 0, διαφορετικά να δειχθεί ότι ο εκτιµητής, T (X = {, X = 0 0, X 0.. είναι ένας αµερόληπτος εκτιµητής του θ. Είναι αυτός ο εκτιµητής αποδεκτός ; (Υπόδειξη : Χρησιµοποιείστε τον Ορισµό..3 του αµερόληπτου εκτιµητή και για την αποδεκτικότητα συγκρίνετε τις τιµές που παίρνει ο εκτιµητής µε τις τιµές της υπό εκτίµηση παραµετρικής συνάρτησης. Λύση Κατ αρχάς παρατηρούµε ότι η X είναι µία διακριτή τυχαία µεταβλητή, άρα η πυκνότητα πιθανότητας f X (x; θ = P θ (X = x = θ( θ x. Οπότε, E θ T (X = P θ (T (X = + 0 P θ (T (X = 0 = P θ (T (X = = P θ (X = 0 = θ, θ (0,, δηλαδή η στατιστική συνάρτηση T (X είναι ένας αµερόληπτος εκτιµητής του θ. Οσον αφορά το ερώτηµα εάν αυτός ο εκτιµητής είναι αποδεκτός, µπορούµε να πούµε ότι προσπαθούµε να εκτιµήσουµε την άγνωστη παράµετρο θ, η οποία παίρνει τιµές σε ένα διάστηµα (0,, µε τη συνάρτηση T (X η οποία παίρνει µόνο δύο τιµές (0 και, κάτι που προφανώς δεν είναι καλό να το επιδιώκουµε, άρα ο αµερόληπτος εκτιµητής που ϐρήκαµε είναι µη αποδεκτός µόνο και µόνο για αυτήν την ερµηνεία που δόθηκε. Ασκηση 0. Αν X = (X, X,..., X είναι ένα τυχαίο δείγµα από κάποια κατανοµή µε µέση τιµή µ και διασπορά σ, να δειχθεί ότι,. Η στατιστική συνάρτηση a i X i είναι ένας αµερόληπτος εκτιµητής του µ όταν οι σταθερές a i ικανοποιούν τη συνθήκη a i =. (. Αν a i =, ϐρείτε για ποια a i ελαχιστοποιείται η V ar θ a i X i. Τι συµπεράσµατα ϐγάζετε ; (Υπόδειξη : Για το πρώτο ερώτηµα χρησιµοποιείστε τον Ορισµό..3 του α- µερόληπτου εκτιµητή, ενώ για το δεύτερο χρησιµοποιείστε πολλαπλασιαστές Lagrage. Λύση

8 8 ΚΕΦΑΛΑΙΟ. ΕΙΣΑΓΩΓΗ-ΑΜΕΡΟΛΗΠΤΟΙ ΕΚΤΙΜΗΤΕΣ. Για να είναι η στατιστική συνάρτηση µ, πρέπει Οµως, ( E a i X i = a i X i αµερόληπτος εκτιµητής του ( E a i X i = µ, µ. a i E θ (X i = µ a i µ = µ a i =. (. Ουσιαστικά ϑέλουµε να ελαχιστοποιήσουµε την V ar θ a i X i µε τη συνθήκη a i δηλαδή κατασκευάζουµε τη συνάρτηση, =, οπότε χρησιµοποιούµε πολλαπλασιαστές Lagrage, ( ( L = L(a,..., a, λ = V ar θ a i X i λ a i = = ( a i V ar θ X i λ a i ( a i σ λ a i ( = σ a i λ a i. Κατόπιν, παραγωγίζοντας την L, ως προς a,..., a και λ σχηµατίζουµε ένα σύστηµα + εξισώσεων µε + αγνώστους. L a = a σ λ = 0 ( L a = a σ λ = 0 (... L = a σ λ = 0 ( a ( L λ = a i = 0 ( + Λύνοντας τις Εξισώσεις ( (, ως προς a,..., a αντίστοιχα προκύπτει, a = a =... = a = λ σ (.

9 .. ΑΣΚΗΣΕΙΣ 9 και αντικαθιστώντας στην Εξίσωση ( + έχουµε, λ σ = 0 λ = σ. (.3 Εποµένως, λόγω της της Εξίσωσης (. συµπεραίνουµε ότι, a = a =... = a = Τελικά, ο Ϲητούµενος εκτιµητής είναι ο T (X = X i, δηλαδή ο γνωστός µας δειγµατικός µέσος. Το συµπέρασµα που προκύπτει είναι ότι σε ένα τυχαίο δείγµα, ο καλύτερος αµερόληπτος εκτιµητής (ο οποίος είναι γραµµική συνάρτηση του δείγµατος είναι ο δειγµατικός µέσος. Ασκηση. Θεωρούµε την τυχαία µεταβλητή X η οποία ακολουθεί την κατανοµή Poisso µε άγνωστη παράµετρο θ, θ Θ = (0,. Να δειχθεί ότι υπάρχει ακριβώς ένας αµερόληπτος εκτιµητής του θ. (Υπόδειξη : Χρησιµοποιείστε τον Ορισµό..3 του αµερόληπτου εκτιµητή και αναπτύξτε σε δυναµοσειρά τη συνάρτηση e θ. Οµως, Λύση Εστω T (X είναι ένας αµερόληπτος εκτιµητής του θ, δηλαδή E θ (T (X = θ E θ (T (X = θ, θ (0,. T (x θx x! e θ = θ x=0 x=0 Αναπτύσσοντας στην τελευταία εξίσωση την e θ σε δυναµοσειρά προκύπτει, x=0 T (x θx x! = θ x=0 T (0 + θ x x! x= x=0 T (x θ x = x! T (x θ x = x! x= x=0 θ x+ x! T (x θx x! = θeθ. x=0 T (x θ x = x! (x! θx, θ (0,. Επειδή το ανάπτυγµα σε δυναµοσειρά είναι µοναδικό πρέπει να ισχύει, x= θ x (x! T (0 = 0 και T (x x! =, x =,,... (x! ηλαδή, ο T (X = X είναι ο µοναδικός αµερόληπτος εκτιµητής του θ (λόγω της µοναδικότητας του αναπτύγµατος. Ασκηση. Αν ο T είναι αµερόληπτος εκτιµητής της παραµετρικής συνάρτησης g(θ, δείξτε ότι ο εκτιµητής S = at + b είναι αµερόληπτος για την παραµετρική

10 0 ΚΕΦΑΛΑΙΟ. ΕΙΣΑΓΩΓΗ-ΑΜΕΡΟΛΗΠΤΟΙ ΕΚΤΙΜΗΤΕΣ συνάρτηση ag(θ+b. Ισχύει το ίδιο για οποιαδήποτε συνάρτηση f, δηλαδή ο f(t είναι αµερόληπτος εκτιµητής της παραµετρικής συνάρτησης f(g(θ; (Υπόδειξη : Χρησιµοποιήστε για αντιπαράδειγµα την Άσκηση 3. Λύση Αφού ο T είναι αµερόληπτος εκτιµητής της παραµετρικής συνάρτησης g(θ, ισχύει ότι, E θ T = g(θ, θ Θ. Εποµένως, E θ S = E θ (at + b = ae θ T + b = ag(θ + b, θ Θ. ηλαδή, η πρόταση ισχύει. Για να απαντήσουµε στο δεύτερο ερώτηµα µπορούµε να δείξουµε ότι δεν ι- σχύει ϕέρνοντας ένα αντιπαράδειγµα. Παρατηρήστε ότι στην Άσκηση 3., ενώ ο T (X = X είναι αµερόληπτος εκτιµητής του θ, για την παραµετρική συνάρτηση f(θ = θ, η συνάρτηση f(t (X = X δεν είναι αµερόληπτος εκτιµητής της, αλλά ο T (X = X(X. Συνεπώς, αν ο T είναι αµερόληπτος εκτιµητής της παραµετρικής συνάρτησης g(θ, ο f(t δεν είναι αµερόληπτος εκτιµητής της f(g(θ, εκτός εάν η f είναι γραµµική συνάρτηση. Ασκηση 3. Εστω X = (X, X είναι ένα τυχαίο δείγµα από την κατανοµή B(, θ, θ (0,. Να δειχθεί ότι η κλάση των αµερόληπτων εκτιµητών του θ είναι C = {T (x, x : T (0, 0 = 0, T (, =, T (, 0 = T (0, }. (Υπόδειξη : Χρησιµοποιείστε τον Ορισµό..3 του αµερόληπτου εκτιµητή. Λύση Θεωρούµε ότι ο T = T (X, X είναι ένας αµερόληπτος εκτιµητής του θ, εποµένως θ (0,, E θ T = θ T (x, x P θ (X = x, X = x = θ x =0 x =0 T (0, 0P θ (X = 0, X = 0 + T (0, P θ (X = 0, X = + T (, 0P θ (X =, X = 0 + T (, P θ (X =, X = = θ T (0, 0P θ (X = 0P θ (X = 0 + T (0, P θ (X = 0P θ (X = + T (, 0P θ (X = P θ (X = 0 + T (, P θ (X = P θ (X = = θ T (0, 0( θ + T (0, ( θθ + T (0, θ( θ + T (, θ = θ {T (0, 0 T (0, T (, 0+T (, }θ +{T (0, +T (, 0 T (0, 0}θ+T (0, 0 = θ. (.4 Η Εξίσωση (.4 ϑέλουµε να ισχύει θ (0, εποµένως για να συµβαίνει αυτό αρκεί, T (0, 0 T (0, T (, 0 + T (, = T (, = T (0, + T (, 0 T (0, 0 = 0 T (0, = T (, 0 T (0, 0 = 0 T (0, 0 = 0 ηλαδή η κλάση των αµερόληπτων εκτιµητών του θ είναι, C = {T (x, x : T (0, 0 = 0, T (, =, T (, 0 = T (0, }.

11 Κεφάλαιο ΑΟΕ εκτιµητές. Στοιχεία Θεωρίας Επειδή, είναι γενικά δύσκολο να ϐρούµε τον ϐέλτιστο εκτιµητή (ϐλ. Ορισµό..9 στην κλάση όλων των εκτιµητών περιοριζόµαστε σε αυτήν των αµερόληπτων εκτι- µητών. Ορισµός.. Η στατιστική συνάρτηση T = T (X ονοµάζεται Αµερόληπτος Εκτι- µητής Ελάχιστης ιασποράς (ΑΟΕ για το g(θ εάν,. T είναι αµερόληπτος, δηλ. E θ T = g(θ, θ Θ.. V ar θ T V ar θ T, θ Θ και για κάθε άλλο αµερόληπτο εκτιµητή T του g(θ. Από τον Ορισµό.. ϕαίνεται ότι για να ϐρούµε ΑΟΕ εκτιµητή πρέπει να ελαττώσουµε όσον το δυνατόν περισσότερο τη διασπορά µίας στατιστικής συνάρτησης σε σχέση µε την προς εκτίµηση ποσότητα, δηλαδή είναι επιθυµητό να ϐρούµε ένα κάτω ϕράγµα για τη διασπορά των αµερόληπτων εκτιµητών αυτής της ποσότητας. Αυτό το κάτω ϕράγµα µας το προσφέρει το Θεώρηµα Cramer-Rao το οποίο ισχύει όταν επαληθεύονται οι παρακάτω συνθήκες. (Ι Ο παραµετρικός χώρος Θ είναι ανοικτό υποσύνολο του R. (Ι Το σύνολο S = : f {x X (Ι3 (Ι4 R θ f (x ; = X θdx θ R T (x θ f X T (x f (x ; θdx, θ Θ και κάθε στα- R X τιστική συνάρτηση T (X. (x ; θ > 0} δεν εξαρτάται από το θ. f X R (x ; θdx = θ (x ; θdx, θ Θ. (Ι5 Αν I(θ = E θ ( θ l f X (x ; θ, τότε 0 < I(θ <, θ Θ. Η ποσότητα I(θ ονοµάζεται αριθµός ή µέτρο πληροφορίας του Fisher.

12 ΚΕΦΑΛΑΙΟ. ΑΟΕ ΕΚΤΙΜΗΤΕΣ Θεώρηµα.. (Cramer-Rao Εστω X = (X, X,..., X ένα δείγµα µε από κοινού πυκνότητα πιθανότητας f X (x ; θ, θ Θ. Εάν T (X είναι στατιστική συνάρτηση µε E θ T (X = g(θ, θ Θ, και ισχύουν οι συνθήκες (Ι - (Ι5, τότε V ar θ T (X (g (θ, θ Θ. I(θ Το κάτω ϕράγµα για τη διασπορά των αµερόληπτων εκτιµητών του g(θ ονο- µάζεται Cramer-Rao Κάτω Φράγµα. (C.R.-Κ.Φ. Για τον υπολογισµό του αριθµού πληροφορίας Fisher χρησιµοποιούµε, συνή- ϑως, κάποιες ϐοηθητικές ιδιότητες. Ιδιότητες. I(θ = E θ ( (x ; θ, θ Θ. θ l f X. Αν το δείγµα = (X, X,..., X αποτελείται από ανεξάρτητες τυχαίες X µεταβλητές, όπου κάθε µία από τις X i ακολουθεί µία κατανοµή µε πυκνότητα πιθανότητας, f Xi (x i ; θ, i =,,...,, τότε I(θ = I i (θ όπου I i (θ = E θ ( θ l f X i (x i ; θ. 3. Αν το δείγµα X = (X, X,..., X είναι τυχαίο, τότε I(θ = I (θ όπου I (θ είναι ο αριθµός πληροφορίας Fisher για κάθε µία από τις X, X,..., X. Η δυσκολία του Θεωρήµατος Cramer - Rao ϐρίσκεται στην επαλήθευση των συνθηκών (Ι - (Ι5, η οποία άρεται όταν η οικογένεια κατανοµών του τυχαίου διανύσµατος X ανήκει στην Μονοπαραµετρική Εκθετική Οικογένεια Κατανοµών (ΜΕΟΚ. Ορισµός..3 Η οικογένεια κατανοµών {f (x ; θ, θ Θ} ανήκει στην Μονοπα- ϱαµετρική Εκθετική Οικογένεια Κατανοµών (ΜΕΟΚ X αν,. Το σύνολο S = {x ; f X. f X (x ; θ > 0} δεν εξαρτάται από το θ. (x ; θ = e A(θ+B(x +c(θd(x, x S, θ Θ.

13 .. ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ 3 Θεώρηµα..4 Αν το δείγµα X = (X, X,..., X έχει κατανοµή µε πυκνότητα πιθανότητας f X τύπο της f X (x ; θ η οποία ανήκει στην ΜΕΟΚ και η c(θ (που εµφανίζεται στον (x ; θ έχει συνεχή και µη µηδενική παράγωγο θ Θ, τότε οι συνθήκες (Ι, (Ι3 και (Ι4 του Θεωρήµατος Cramer-Rao ισχύουν και η (Ι4 ισχύει για κάθε στατιστική συνάρτηση T = T (X. Η παρακάτω πρόταση δίνει, ουσιαστικά, έναν τρόπο εύρεσης του ΑΟΕ εκτι- µητή για µία παραµετρική συνάρτηση g(θ και γραµµικούς συνδυασµούς αυτής. Πρόταση..5 Αν το δείγµα = (X, X,..., X έχει κατανοµή µε πυκνότητα X ( (x ; θ η οποία ανήκει στην ΜΕΟΚ f (x ; θ = e X A(θ+B(x +c(θd(x πιθανότητας f X και ισχύουν, a Το σύνολο Θ είναι ανοικτό υποσύνολο του R. b Το c(θ έχει συνεχή και µη µηδενική παράγωγο θ Θ. c 0 < I(θ <. Τότε,. Η στατιστική συνάρτηση D(X είναι ΑΟΕ εκτιµητής της g(θ = E θ D(X.. Η στατιστική συνάρτηση c D(X + c, µε c, c σταθερές, c 0 είναι ΑΟΕ εκτιµητής της c g(θ + c. Ισχύει, όµως, και η εξής πρόταση, Πρόταση..6 Εστω ότι ισχύουν οι συνθήκες (Ι, (Ι, (Ι3 και (Ι5 του Θεω- ϱήµατος Cramer - Rao και η (Ι4 ισχύει για κάποια στατιστική συνάρτηση T (X, αµερόληπτο εκτιµητή του g(θ. Εστω, ακόµα, η παραµετρική συνάρτηση g(θ είναι µη σταθερά (σαν συνάρτηση του θ και η T (X επιτυγχάνει το C.R.-Κ.Φ., δηλαδή Τότε, f X V ar θ (T = (X (g (θ, θ Θ. I(θ (x ; θ = e A(θ+B(x +c(θt (x, x S, θ Θ, δηλαδή η κατανοµή του δείγµατος X ανήκει στην ΜΕΟΚ. Παρατήρηση..7 Οι Προτάσεις..5 και..6 συνεπάγονται το γεγονός ότι η εύρεση ΑΟΕ εκτιµητή για κάποια παραµετρική συνάρτηση g(θ είναι δυνατή µε τη χρήση του Θεωρήµατος Cramer-Rao αν και µόνο αν η κατανοµή του δείγµατος X ανήκει στην ΜΕΟΚ και η g(θ έχει µία συγκεκριµένη µορφή, g(θ = E θ D(X ή κάποιος γραµµικός µετασχηµατισµός της E θ D(X. Οπως γίνεται εύκολα αντιληπτό από την Παρατήρηση..7 η µέθοδος εύρεσης ΑΟΕ εκτιµητή µε χρήση του Θεωρήµατος Cramer-Rao µας περιορίζει τόσο

14 4 ΚΕΦΑΛΑΙΟ. ΑΟΕ ΕΚΤΙΜΗΤΕΣ ως προς την οικογένεια του δείγµατος, όσο και ως προς την µορφή των παραµετρικών συναρτήσεων για τις οποίες ϐρίσκουµε ΑΟΕ εκτιµητές, οπότε χρειάζεται µία διαφορετική µέθοδος από την προηγούµενη η οποία να µην έχει αυτού του είδους τα προβλήµατα. Αρχικά, εισάγουµε δύο έννοιες οι οποίες ϐοηθούν προς αυτήν την κατεύθυνση. (x ; θ, θ Θ, τότε η στατιστική συνάρτηση T (X ονοµάζεται Ορισµός..8 Εστω ότι το δείγµα X = (X, X,..., X έχει κατανοµή µε πυκνότητα πιθανότητας f επαρκής αν η δεσµευµένη X κατανοµή του δοθέντος ότι T = t δεν εξαρτάται X (X από το θ για κάθε τιµή t για την οποία µπορεί να οριστεί η δεσµευµένη κατανοµή. Ενας τρόπος εύρεσης µίας επαρκούς στατιστικής συνάρτησης, εκτός του ορισµού, δίνεται από την παρακάτω πρόταση, η οποία αναφέρεται και ως παραγοντικό κριτήριο των Neyma-Fisher. Πρόταση..9 Η στατιστική συνάρτηση T (X είναι επαρκής αν και µόνο αν f X (x ; θ = q(t (x ; θh(x, x και θ Θ, όπου q και h είναι συναρτήσεις. Παρατήρηση..0 Ισχύουν οι παρακάτω ιδιότητες για τις επαρκείς στατιστικές συναρτήσεις.. Το δείγµα X = (X, X,..., X είναι τετριµµένα επαρκής στατιστική συνάρτηση.. Η στατιστική συνάρτηση T (X = (X (, X (,..., X ( είναι επαρκής, όπου οι X (i, i =,,..., είναι οι διατεταγµένες παρατηρήσεις. 3. Εστω T = T (X επαρκής στατιστική συνάρτηση και T = K(T = K(T (X, όπου K( είναι συνάρτηση, τότε και η στατιστική συνάρτηση T (X είναι επαρκής. Συνήθως, όταν µιλάµε για επαρκή στατιστική συνάρτηση αναφερόµαστε στην ελάχιστη επαρκή. Ορισµός.. Ελάχιστη επαρκής στατιστική συνάρτηση είναι µία επαρκής στατιστική συνάρτηση η οποία προέρχεται από την µεγαλύτερη δυνατή σύµπτηξη (δηλ. έχει την µικρότερη δυνατή διάσταση. Παρατήρηση.. Σχεδόν πάντα, η διάσταση της παραµετρικής συνάρτησης g(θ συµπίπτει µε την διάσταση της ελάχιστης επαρκούς στατιστικής συνάρτησης. Στο παρακάτω Θεώρηµα χρησιµοποιείται η έννοια της επάρκειας στη ϐελτίωση εκτιµητών. Θεώρηµα..3 (Rao-Blackwell Εστω T = T (X είναι επαρκής στατιστική συνάρτηση και S = S(X είναι εκτιµητής της παραµετρικής συνάρτησης g(θ. Θέτουµε S = E θ (S T. Τότε,

15 .. ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ 5. Η S είναι στατιστική συνάρτηση.. E θ S = E θ S, θ Θ, έτσι αν S είναι αµερόληπτος εκτιµητής για την g(θ, τότε S είναι αµερόληπτος εκτιµητής για την g(θ. 3. V ar θ S V ar θ S, θ Θ και ισχύει αυστηρή ανισότητα εκτός εάν S είναι συνάρτηση της στατιστικής συνάρτησης T, οπότε S = S. 4. ΜΤΣ(S, θ ΜΤΣ(S, θ, θ Θ και ισχύει αυστηρή ανισότητα εκτός εάν S είναι συνάρτηση της στατιστικής συνάρτησης T, οπότε S = S. Εποµένως, αν S είναι ένας εκτιµητής της g(θ ο οποίος δεν είναι συνάρτηση της επαρκούς στατιστικής συνάρτησης T, τότε ο S είναι µη αποδεκτός και ϐελτιώνεται από τον S = E θ (S T που ονοµάζεται ϐελτίωση του S κατά Rao-Blackwell ή Rao-Blackwell ϐελτίωση του S. Παρατήρηση..4 Εστω T και T είναι επαρκείς στατιστικές συναρτήσεις και S είναι αµερόληπτος εκτιµητής της g(θ. Τότε S = E θ (S T είναι η Rao-Blackwell ϐελτίωση του S, µέσω της T και S = E θ (S T είναι η Rao-Blackwell ϐελτίωση του S, µέσω της T. Οµως, µέσω του Θεωρήµατος..3 δεν µπορούµε να συγκρίνουµε τις δύο αυτές ϐελτιώσεις. Η έννοια της πληρότητας ϑα ϐοηθήσει σε αυτήν την σύγκριση. Ορισµός..5 Η στατιστική συνάρτηση T = T (X ονοµάζεται πλήρης, αν ισχύει η ακόλουθη σχέση, E θ φ(t = 0, θ Θ φ(t = 0 για κάθε δυνατή τιµή t της T, δηλαδή φ(t = 0. Ουσιαστικά, αν η µόνη συνάρτηση του T, που έχει µέση τιµή 0 είναι η µηδενική συνάρτηση, τότε η στατιστική συνάρτηση T είναι πλήρης. Θεώρηµα..6 (Lehma-Scheffe Εστω T = T (X είναι επαρκής και πλή- ϱης στατιστική συνάρτηση και S είναι ένας αµερόληπτος εκτιµητής της g(θ. Τότε S = E θ (S T είναι ο µοναδικός ΑΟΕ εκτιµητής της g(θ. Άρα µε τη ϐοήθεια του Θεωρήµατος των Lehma-Scheffe µπορούµε να ϐρούµε ΑΟΕ εκτιµητή µε την χρήση επαρκούς και πλήρους στατιστικής συνάρτησης και µάλιστα, αν υπάρχει αυτός ο ΑΟΕ εκτιµητής, είναι και µοναδικός. Οσον αφορά, την επίλυση των ασκήσεων, συνήθως, χρησιµοποιείται το Πόρισµα των Lehma-Scheffe. Πόρισµα..7 Εστω T = T (X είναι επαρκής και πλήρης στατιστική συνάρτηση και S είναι ένας αµερόληπτος εκτιµητής της g(θ, ο οποίος είναι συνάρτηση της επαρκούς και πλήρους T. Τότε S είναι ο µοναδικός ΑΟΕ εκτιµητής της g(θ. Οπως καταλαβαίνουµε, σε αυτήν την µεθοδολογία είναι σηµαντική η εύρεση µιας επαρκούς και πλήρους στατιστικής συνάρτησης και µέσω του ορισµού δεν είναι πάντα εύκολο, αλλά αν η κατανοµή του δείγµατος X ανήκει στην Πολυπαραµετρική Εκθετική Οικογένεια Κατανοµών (ΠΕΟΚ τα πράγµατα απλοποιούνται.

16 6 ΚΕΦΑΛΑΙΟ. ΑΟΕ ΕΚΤΙΜΗΤΕΣ Ορισµός..8 Η οικογένεια κατανοµών {f (x ; θ, θ Θ} ανήκει στην Πολυπαραµετρική Εκθετική Οικογένεια Κατανοµών X (ΠΕΟΚ, διάστασης k αν,. Το σύνολο S = {x ; f X. f X (x ; θ > 0} δεν εξαρτάται από το θ. (x ; θ = e A(θ+B(x +P k j= c j(θd j (x, x S, θ Θ. Παρατήρηση..9 Η ΠΕΟΚ διάστασης συµπίπτει µε την ΜΕΟΚ. Πρόταση..0 Εστω ότι το δείγµα X = (X, X,..., X έχει κατανοµή η οποία ανήκει στην ΠΕΟΚ διάστασης k, τότε ισχύουν τα εξής,. Η στατιστική συνάρτηση T (X = (D (X, D (X,..., D k (X είναι επαρκής.. Αν το πεδίο τιµών του διανύσµατος (c (θ, c (θ,..., c k (θ περιέχει ένα ανοικτό υποσύνολο του R k, τότε η T (X είναι και πλήρης. ηλαδή, µε την χρήση της Πρότασης..0 και του Πορίσµατος..7 µπο- ϱούµε και αναπτύσσουµε την µεθοδολογία εύρεσης ΑΟΕ εκτιµητή µε χρήση επάρκειας και πληρότητας. Η παρακάτω πρόταση, γνωστή και ως Θεώρηµα του Basu, πιστοποιεί και άλλη µία χρήση της επάρκειας και της πληρότητας, αυτής, της απόδειξης ανεξαρτησίας µεταξύ στατιστικών συναρτήσεων (δηλαδή τυχαίων µεταβλητών. Πρόταση.. Εστω T (X επαρκής και πλήρης στατιστική συνάρτηση και S(X µία στατιστική συνάρτηση, η κατανοµή της οποίας δεν εξαρτάται από το θ. Τότε οι στατιστικές συναρτήσεις T (X και S(X είναι ανεξάρτητες. Αν, επιπλέον, το δείγµα µας είναι κανονικό, κάτι που συµβαίνει αρκετά συχνά, η Πρόταση.. οδηγεί στο παρακάτω αποτέλεσµα. Πρόταση.. Εστω X, X,..., X, τυχαίο δείγµα από την κανονική κατανοµή N (µ, σ, τότε ισχύουν τα εξής,. X, (X X, X X,..., X X είναι ανεξάρτητες σ.σ.. X, S = (X i X είναι ανεξάρτητες σ.σ. 3. (X i X σ χ.

17 .. ΑΣΚΗΣΕΙΣ 7. Ασκήσεις Ασκηση 4. Αν X, X,..., X, είναι ένα τυχαίο δείγµα από την κανονική κατανοµή N (µ, θ, µε µ γνωστό και άγνωστο θ Θ = (0,, να υπολογιστεί ο αριθµός πληροφορίας Fisher και το Cramer-Rao Κάτω Φράγµα για τη διασπορά των αµερόληπτων εκτιµητών του θ /. (Υπόδειξη : Χρησιµοποιήστε το Θεώρηµα..4 για να αποδείξετε ότι ικανοποιούνται οι συνθήκες του Θεωρήµατος Cramer-Rao. Λύση Για να υπολογίσουµε το C.R.-Κ.Φ. πρέπει να δείξουµε ότι ισχύει το Θεώρηµα Cramer-Rao, δηλαδή οι συνθήκες (Ι - (Ι5. (Ι Ο παραµετρικός χώρος Θ = (0, είναι ανοικτό υποσύνολο του R. (Ι - (Ι4 Για να δείξουµε ότι ισχύουν αυτές οι τρεις ιδιότητες, αρκεί να ισχύει το Θεώρηµα..4. Αρχικά δείχνουµε ότι η κανονική κατανοµή ανήκει στην ΜΕΟΚ.. Το σύνολο S = : f(x, θ > 0} = R {x + δεν εξαρτάται από το θ.. f(x, θ = f(x, θ = exp Θεωρούµε, πθ / e (x i µ θ = { l(π l θ θ (π / e θ/ P (xi µ θ (x i µ }. A(θ = l(π l θ, B(x = 0, c(θ = και D(x = θ Εποµένως η οικογένεια κατανοµών ανήκει στην ΜΕΟΚ. (x i µ. Επειδή η ποσότητα c(θ = έχει συνεχή και µη µηδενική παράγωγο, θ c (θ = όταν θ (0,, ισχύουν οι συνθήκες (Ι (Ι4, λόγω του Θεωρήµατος..4. θ (Ι5 Θέλουµε να υπολογίσουµε τον αριθµό πηροφορίας Fisher. Εχουµε τυχαίο δείγµα εποµένως, ( I(θ = I (θ, όπου I (θ = E θ l f(x; θ. θ Οπότε, (x µ f(x; θ = e θ l f(x; θ = πθ / l(π (x µ l θ θ θ l f(x; θ = (x µ + θ θ (x µ l f(x; θ = θ θ θ 3. { [ Άρα, I (θ = E θ θ 3 (X µ θ ]} { = θ 3 E θ (X µ θ } = θ 3 { V ar θ X θ Τελικά, I(θ = I (θ = } = θ 3 { θ θ } = θ. > 0 και πεπερασµένο θ Θ = (0,. θ

18 8 ΚΕΦΑΛΑΙΟ. ΑΟΕ ΕΚΤΙΜΗΤΕΣ Εφ όσον οι συνθήκες του Θεωρήµατος Cramer-Rao αποδείχτηκαν, το C.R.- Κ.Φ. για τη διασπορά των αµερόληπτων εκτιµητών του g(θ = θ / είναι, (g (θ I(θ = ((/θ / /(θ = θ. Ασκηση 5. Αν X, X,..., X, είναι ανεξάρτητες Poisso τυχαίες µετα- ϐλητές P(a i θ, µε γνωστά a i, i =,,..., και άγνωστο θ > 0, να υπολογιστεί ο αριθµός πληροφορίας Fisher, καθώς και το C.R.-Κ.Φ. για τη διασπορά των αµερόληπτων εκτιµητών του g(θ = θ. (Υπόδειξη : Χρησιµοποιήστε το Θεώρηµα..4 για να αποδείξετε ότι ικανοποιούνται οι ιδιότητες του Θεωρήµατος Cramer-Rao. Λύση Οπως συνέβη και στην Άσκηση 4. πρέπει να αποδειχθούν οι συνθήκες (Ι - (Ι5 του Θεωρήµατος Cramer - Rao ή διαφορετικά να επαληθευτούν οι (Ι, οι συνθήκες του Θεωρήµατος..4 και η (Ι5. (Ι Ο παραµετρικός χώρος Θ = (0, είνα ανοικτό υποσύνολο του R. (Ι - (Ι4 Η Poisso ανήκει στην ΜΕΟΚ διότι,. Το σύνολο S = : f(x, θ > 0} = R {x + δεν εξαρτάται από το θ. (. f(x, θ = e aiθ (a iθ xi = e P P a iθ a x i x i θ i x i! x i! { } f(x, θ = exp ( a i θ l x i! x i l a i + l θ x i Θεωρούµε, A(θ = ( a i θ, B(x = D(x = x i. l x i! x i l a i, c(θ = l θ και Εποµένως η οικογένεια κατανοµών ανήκει στην ΜΕΟΚ. Επειδή η ποσότητα c(θ = l θ έχει συνεχή και µη µηδενική παράγωγο, c (θ = θ όταν θ (0,, ισχύουν οι συνθήκες (Ι (Ι4, λόγω του Θεωρήµατος..4. (Ι5 Θέλουµε να υπολογίσουµε τον αριθµό πηροφορίας Fisher. Εχουµε ανεξάρτητες τυχαίες µεταβλητές εποµένως, ( I(θ = I i (θ, όπου I i (θ = E θ θ l f(x i; θ. Οπότε, f(x i ; θ = e aiθ (a iθ x i l f(x i ; θ = a i θ + x i l a i + x i l θ l x i! x i! θ l f(x i; θ = a i + x i θ θ l f(x i; θ = x ( i θ I i(θ = E θ X i θ

19 .. ΑΣΚΗΣΕΙΣ 9 I i (θ = a i θ. Τελικά, ο αριθµός πληροφορίας Fisher I(θ = a i > 0 και πεπερασµένος θ θ (0,. Εφ όσον οι συνθήκες του Θεωρήµατος Cramer-Rao αποδείχτηκαν, το C.R.- Κ.Φ. για τη διασπορά των αµερόληπτων εκτιµητών του g(θ = θ είναι, (g (θ I(θ = ( a i/θ = θ a. i Ασκηση 6. Αν X, X,..., X k, k είναι ανεξάρτητες διωνυµικές τυχαίες µεταβλητές B( i, θ, µε γνωστά i, i =,,..., k και άγνωστο θ Θ = (0,, να ϐρεθεί ο ΑΟΕ εκτιµητής του g(θ = θ κάνοντας χρήση της ανισότητας Cramer - Rao. (Υπόδειξη : Χρησιµοποιήστε την Πρόταση..5 για να ϐρείτε ΑΟΕ εκτιµητή του θ. Λύση Κατ αρχάς ϑα αποδείξουµε ότι η οικογένεια κατανοµών ανήκει στην ΜΕΟΚ.. Το σύνολο S = : f(x ; θ > 0} = {0, }... {0, } = {0, } {x k δεν εξαρτάται από το θ. ( k. f(x, θ = k ( i x i θ xi ( θ i xi = { k ( i = exp l + (l θ x i = exp { k ( i l + l( θ x i Οπότε αν ϑέσουµε, k A(θ = l( θ i, B(x = D(x = ΜΕΟΚ. ( i x i θ P x i ( θ P i P x i ( k k x i + l( θ i k ( k θ i + l x i }. θ k } k x i ( ( i θ l, c(θ = l και x i θ k x i, αποδεικνύεται ότι η οικογένεια κατανοµών ανήκει στην Κατόπιν δείχνουµε ότι ικανοποιούνται οι συνθήκες της Πρότασης..5, a Το σύνολο Θ ( = (0, είναι ανοικτό υποσύνολο του R. θ b Η c(θ = l έχει µη µηδενική παράγωγο, c (θ = θ θ( θ, η οποία είναι και συνεχής όταν θ (0,.

20 0 ΚΕΦΑΛΑΙΟ. ΑΟΕ ΕΚΤΙΜΗΤΕΣ c Επειδή οι τυχαίες µεταβλητές είναι ανεξάρτητες, ο αριθµός πληροφορίας Fisher δίνεται από τη σχέση, k ( I(θ = I i (θ, όπου I i (θ = E θ θ l f(x i; θ. ( i Οπότε, f(x i ; θ = θ x xi ( θ i xi ( i i l f(x i ; θ = l + (l θx x i + (l( θ i (l( θx i i θ l f(x i; θ = x i θ i x i θ θ l f(x i; θ = x i θ i x i ( θ. Εποµένως, ( I i (θ = E θ X i i I i (θ = θ( θ. k θ i X i ( θ i = E θx i θ + i E θ X i ( θ = iθ θ + i i θ ( θ Τελικά, I(θ = το οποίο είναι ϑετικό και πεπερασµένο. θ( θ k Συνεπώς, η στατιστική συνάρτηση = X i είναι ΑΟΕ εκτιµητής του D(X g(θ = E θ D(X = E θ ( k ή διαφορετικά, η στατιστική συνάρτηση X i = k X i k i θ είναι ΑΟΕ εκτιµητής του θ. k i Ασκηση 7. Αν X = (X, X,..., X, είναι ένα τυχαίο δείγµα από την κατανοµή Gamma(a, θ, µε a > 0 γνωστό και θ Θ = (0, άγνωστο, να υπολογισθεί ο αριθµός πληροφορίας Fisher και το C.R.-Κ.Φ. για τη διασπορά των αµερόληπτων εκτιµητών του θ και του θ. Για ποιες παραµετρικές συναρτήσεις µπορούµε να ϐρούµε ΑΟΕ εκτιµητές µέσω της ανισότητας Cramer - Rao; (Υπόδειξη : Χρησιµοποιήστε το Θεώρηµα..4 για να αποδείξετε ότι ικανοποιούνται οι συνθήκες του Θεωρήµατος Cramer-Rao και την Πρόταση..5 για να ϐρείτε ΑΟΕ εκτιµητή. Λύση Για να υπολογισθεί το C.R.-Κ.Φ. για τη διασπορά των αµερόληπτων εκτιµητών του θ και του θ πρέπει να αποδειχθούν οι συνθήκες (Ι - (Ι5 του Θεωρήµατος Cramer-Rao. (Ι Ο παραµετρικός χώρος Θ = (0, είναι ανοικτό υποσύνολο του R.

21 .. ΑΣΚΗΣΕΙΣ (Ι - (Ι4 Κατ αρχάς ϑα αποδείξουµε ότι η κατανοµή Gamma(a, θ ανήκει στην ΜΕΟΚ.. Το σύνολο S = : f(x ; θ > 0} = R {x + δεν εξαρτάται από το θ.. f(x, θ = = exp { Γ(aθ a xa i l(γ(a a l θ + (a ( a e x i P θ = (Γ(a θ a x i e xi θ l x i θ x i }. Οπότε αν ϑέσουµε A(θ = l(γ(a a l θ, B(x = (a c(θ = και D(x = θ l x i, x i καταλήγουµε στο συµπέρασµα που ϑέλουµε. (Ι5 Επειδή έχουµε ένα τυχαίο δείγµα, ο αριθµός πληροφορίας Fisher δίνεται από τη σχέση, ( I(θ = I (θ, όπου I (θ = E θ l f(x; θ. θ Εποµένως, f(x; θ = Γ(aθ a xa e x θ l f(x; θ = l(γ(a a l θ + (a l x x θ θ l f(x; θ = a θ + x θ θ l f(x; θ = a θ x ( θ 3 a I (θ = E θ θ X θ 3 = E θx θ 3 a θ = aθ θ 3 a θ = a θ. Τελικά, θ (0, ο αριθµός πληροφορίας Fisher I(θ = a είναι ϑετικός και πεπερασµένος. Αρχικά υπολογίζουµε το C.R.-Κ.Φ. για τη διασπορά των αµερόληπτων εκτιµητών της g (θ = θ. Ετσι, I = (g (θ I(θ = θ a και έπειτα το C.R.-Κ.Φ. για τη διασπορά των αµερόληπτων εκτιµητών της g (θ = θ. ηλαδή, I = (g (θ I(θ = 4θ4 a. Τελειώνοντας ϑα ασχοληθούµε µε το ερώτηµα για ποιες παραµετρικές συναρτήσεις µπορούµε να ϐρούµε ΑΟΕ εκτιµητές, µε χρήση της ανισότητας Cramer- Rao. Λόγω της Πρότασης..5, και εφ όσον έχει αποδειχθεί ότι ισχύουν οι θ

22 ΚΕΦΑΛΑΙΟ. ΑΟΕ ΕΚΤΙΜΗΤΕΣ συνθήκες του Θεωρήµατος Cramer-Rao, η στατιστική συνάρτηση D(X = ( είναι ΑΟΕ εκτιµητής της g(θ = E θ = E θ X i = D(X και µόνο για αυτές τις παραµετρικές συναρτήσεις, καθώς και γραµµικούς συνδυασµούς αυτών, µπορούµε να ϐρούµε ΑΟΕ εκτιµητές µε χρήση της ανισότητας Cramer-Rao. X i E θ X i = aθ Ασκηση 8. Εστω X = (X, X είναι ένα τυχαίο δείγµα από την κατανοµή Beroulli B(, θ, µε άγνωστο θ Θ = (0,, δείξτε ότι η στατιστική συνάρτηση T = T (X = X + X είναι επαρκής, ενώ η S = S(X = X δεν είναι επαρκής. (Υπόδειξη : Χρησιµοποιήστε την Πρόταση..9 για να αποδείξετε ότι η T είναι επαρκής και τον Ορισµό..8 για να διαπιστώσετε ότι η S δεν είναι επαρκής. Λύση Επειδή οι X και X είναι ανεξάρτητες, f(x ; θ = f(x ; θf(x ; θ f(x ; θ = θ x ( θ x θ x ( θ x = θ x+x ( θ (x+x. Οπότε από το παραγοντικό κριτήριο των Neyma-Fisher (Πρόταση..9, αν ϑέσουµε h(x = και q(t (x, θ = θ x+x ( θ (x+x, η στατιστική συνάρτηση T (X = X + X είναι επαρκής. Οσον αφορά τη στατιστική συνάρτηση S αυτή δεν ϑα είναι επαρκής, αν δεν ισχύει ο ορισµός, δηλαδή αν υπάρχει µία τιµή s της S για την οποία, η δεσµευµένη κατανοµή της X S = s να εξαρτάται από την άγνωστη παράµετρο θ. Θεωρούµε s = και υπολογίζουµε τη δεσµευµένη πιθανότητα, P (X =, X = 0 X = = P (X =, X = 0, X = = P (X =, X = 0 P (X = P (X = P (X = P (X = 0 = P (X = 0 = θ. Εξαρτάται από το θ, άρα η S δεν P (X = είναι επαρκής. = Ασκηση 9. Θεωρούµε τις παρατηρήσεις X, X οι οποίες είναι ανεξάρτητες µε X B(, θ και X B(, θ, µε άγνωστο θ Θ = (0, /. Εξετάστε αν η στατιστική συνάρτηση T = T (X = X + X είναι επαρκής. (Υπόδειξη : Χρησιµοποιήστε τον Ορισµό..8 για να διαπιστώσετε ότι η T δεν είναι επαρκής. Λύση Οπως και στην επίλυση της Ασκήσεως 8., ϑα δείξουµε ότι υπάρχει µία τιµή t της T για την οποία, η δεσµευµένη κατανοµή της X T = t να εξαρτάται από την άγνωστη παράµετρο θ. Θεωρούµε t = και υπολογίζουµε τη δεσµευµένη πιθανότητα, P (X =, X = 0 X + X = = P (X =, X = 0, X + X = = P (X =, X = 0 P (X + X = = P (X + X = P (X = P (X = 0 P (X = P (X = 0 + P (X = 0P (X = =

23 .. ΑΣΚΗΣΕΙΣ 3 ( θθ ( θθ + ( θθ = θ, εξαρτάται από το θ και συνεπώς η στατιστική 3 4θ συνάρτηση T = T = X + X δεν είναι επαρκής. (X Παρατήρηση.. Παρατηρήστε ότι στην Ασκηση 8. όπου τα δεδοµένα µας αποτελούν τυχαίο δείγµα, η στατιστική συνάρτηση T = T (X = X +X είναι επαρκής, ενώ τώρα που έχουµε απλά ανεξάρτητα δεδοµένα η ίδια στατιστική συνάρτηση δεν είναι επαρκής. Ασκηση 0. Αν X = (X, X,..., X, είναι ένα τυχαίο δείγµα από την οµοιόµορφη κατανοµή U(0, θ, µε άγνωστο θ Θ = (0,. Βρείτε επαρκή και πλήρη στατιστική συνάρτηση. (Υπόδειξη : Χρησιµοποιήστε την Πρόταση..9 για να ϐρείτε επαρκή στατιστική συνάρτηση και τον Ορισµό..5 για να ϐρείτε πλήρη στατιστική συνάρτηση. Λύση Αφού οι παρατηρήσεις µας είναι ανεξάρτητες, f(x ; θ = f(x i ; θ = θ I (0,θ(x i = θ I (0,θ (x i. Θεωρούµε την µέγιστη παρατήρηση X ( = max{x, X,..., X } και την ελάχιστη παρατήρηση X ( = mi{x, X,..., X }, οπότε, { {, 0 < x i < θ, i =,,...,, 0 < x ( x ( < θ I (0,θ (x i = = 0, διαφορετικά. 0, διαφορετικά. I (0,θ (x i = I (0,x( ](x ( I [x(,θ(x ( Τελικά, f(x ; θ = θ I (0,x ( ](x ( I [x(,θ(x (. Συνεπώς, αν ϑεωρήσουµε h(x = I (0,x( ](x ( και q(t (x, θ = θ I [x (,θ(x (, τότε από το παραγοντικό κριτήριο των Neyma - Fisher η στατιστική συνάρτηση T (X = X ( είναι επαρκής. Θα δείξουµε, µε τον ορισµό, ότι η T = T (X = X ( είναι και πλήρης. Η κατανοµή της X ( δίνεται από τον τύπο, f X( (t = (F X (t f X (t όπου f X ( και F X ( είναι αντίστοιχα η πυκνότητα πιθανότητας και η συνάρτηση κατανοµής κάθε µίας από τις αρχικές µας παρατηρήσεις X i, i =,,...,, δηλαδή και f X (t =, όταν t (0, θ θ 0, t 0 t F X (t =, t (0, θ θ, t θ

24 4 ΚΕΦΑΛΑΙΟ. ΑΟΕ ΕΚΤΙΜΗΤΕΣ Συνεπώς, f X( (t = ( t, t (0, θ. θ θ Κατόπιν ϑεωρούµε µία οποιαδήποτε συνάρτηση φ : R R τέτοια ώστε θ > 0, θ E θ (φ(t = 0 φ(t θ t dt = 0 θ θ φ(tt dt = 0 θ 0 θ φ(tt dt = 0 d φ(tt dt = 0 φ(θθ = 0, θ > 0 0 dθ 0 φ(θ = 0, θ > 0 φ(t = 0, t > 0, εποµένως η T = T = X ( είναι και (X πλήρης. 0 Ασκηση. Αν X = (X, X,..., X, είναι ένα τυχαίο δείγµα από την κατανοµή, µε πυκνότητα πιθανότητας f X (x; θ = e (x θ, θ R, ϐρείτε επαρκή και πλήρη στατιστική συνάρτηση. x θ, µε άγνωστο (Υπόδειξη : Χρησιµοποιήστε την Πρόταση..9 για να ϐρείτε επαρκή στατιστική συνάρτηση και τον Ορισµό..5 για να ϐρείτε πλήρη στατιστική συνάρτηση. Λύση Αφού οι παρατηρήσεις µας είναι ανεξάρτητες, { } f(x ; θ = f(x i ; θ = e (xi θ I [θ, (x i = exp x i + θ I [θ, (x i. Θεωρούµε την ελάχιστη παρατήρηση X ( = mi{x, X,..., X }, οπότε, { {, θ x i, i =,,...,, θ x ( I [θ, (x i = = 0, διαφορετικά. 0, διαφορετικά. = I [θ, (x ( { } Τελικά, f(x ; θ = exp x i + θ I [θ, (x (. { } Συνεπώς, αν ϑεωρήσουµε h(x = exp x i και q(t (x, θ = e θ I [θ, (x (, τότε από το παραγοντικό κριτήριο των Neyma - Fisher η στατιστική συνάρτηση T (X = X ( είναι επαρκής. Θα δείξουµε, µε τον ορισµό, ότι η T = T (X = X ( είναι και πλήρης. Η κατανοµή της X ( δίνεται από τον τύπο, f X( (t = ( F X (t f X (t όπου f X ( και F X ( είναι αντίστοιχα η πυκνότητα πιθανότητας και η συνάρτηση κατανοµής κάθε µίας από τις αρχικές µας παρατηρήσεις X i, i =,,...,, δηλαδή f X (t = e (t θ, όταν t [θ, και F X (t = { 0, t < θ e (t θ, t [θ,

25 .. ΑΣΚΗΣΕΙΣ 5 Συνεπώς, ( f X( (t = ( e (t θ e (t θ, t [θ,. Κατόπιν ϑεωρούµε µία οποιαδήποτε συνάρτηση φ : R R τέτοια ώστε θ > 0, E θ (φ(t = 0 φ(te (t θ dt = 0 e θ φ(te t dt = 0 θ φ(te t dt = 0 d φ(te t dt = 0 φ(θe θ = 0, θ R θ dθ θ φ(θ = 0, θ R φ(t = 0, t R, εποµένως η T = T = X ( είναι και (X πλήρης. θ Ασκηση. Αν X = (X, X,..., X, είναι ένα τυχαίο δείγµα από την οµοιόµορφη κατανοµή U( θ, θ, µε άγνωστο θ Θ = (0,. Βρείτε επαρκή και πλήρη στατιστική συνάρτηση. (Υπόδειξη : Υπολογίστε την κατανοµή των τυχαίων µεταβλητών X i, i =,,..., και χρησιµοποιήστε το αποτέλεσµα της Άσκησης 0. Λύση Θα δείξουµε ότι όταν µία τυχαία µεταβλητή X U( θ, θ, τότε η τυχαία µεταβλητή Y = X U(0, θ. Εστω, γενικά, F Y (y και f Y (y = d dy F Y (y είναι, αντίστοιχα, η συνάρτηση κατανοµής και η πυκνότητα πιθανότητας της τ.µ. Y, τότε για y > 0 F X (y = P ( X y = P ( y X y = P (X y P (X y = F X (y F X ( y f X (y = d dy F X (y = d dy F X(y d d( y F X( y d( y = d(y f X (y + f X ( y = θ + θ =, όταν 0 < y < θ, δηλαδή η τυχαία µεταβλητή θ Y = X U(0, θ. Εποµένως, σύµφωνα µε την Άσκηση 0., η στατιστική συνάρτηση είναι επαρκής και πλήρης. X ( = max{ X, X,..., X } Ασκηση 3. Η παρατήρηση X έχει κατανοµή που ϕαίνεται στον παρακάτω πίνακα για θ Θ = {, 0, }. Τιµές της τ.µ. X 3 - /6 /6 /3 0 /3 /3 /3 /3 /6 /6 είξτε ότι η στατιστική συνάρτηση T (X = X είναι επαρκής και πλήρης.

26 6 ΚΕΦΑΛΑΙΟ. ΑΟΕ ΕΚΤΙΜΗΤΕΣ (Υπόδειξη : Χρησιµοποιήστε την Παρατήρηση..0( για να ϐρείτε επαρκή στατιστική συνάρτηση και τον Ορισµό..5 για να ϐρείτε πλήρη στατιστική συνάρτηση. Λύση Επειδή το δείγµα είναι τετριµµένα επαρκής στατιστική συνάρτηση (ϐλ. Παρατήρηση..0( και στη συγκεκριµένη περίπτωση έχουµε µόνο µία τυχαία µεταβλητή, αυτή ϑα είναι επαρκής, δηλαδή T (X = X είναι επαρκής στατιστική συνάρτηση. Αφού ϑέλουµε να δείξουµε ότι η T (X = X είναι και πλήρης στατιστική συνάρτηση, πρέπει να ισχύει. Οµως, E θ φ(x = 0 E θ φ(x = 0, θ {, 0, } φ(x = 0 x και φ. 3 φ(xp θ (X = x = 0 x= θ =, φ(p (X = + φ(p (X = + φ(3p (X = 3 = 0 θ = 0, φ(p 0 (X = + φ(p 0 (X = + φ(3p 0 (X = 3 = 0 θ =, φ(p (X = + φ(p (X = + φ(3p (X = 3 = 0 φ( 6 + φ( 6 + φ(3 3 = 0 φ( 3 + φ( 3 + φ(3 3 = 0 φ( = φ( = φ(3 = 0. φ( 3 + φ( 6 + φ(3 6 = 0 ηλαδή φ(x = 0, x και για κάθε συνάρτηση φ, εποµένως η στατιστική συνάρτηση T (X = X είναι και πλήρης. Ασκηση 4. Εστω ότι η στατιστική συνάρτηση S είναι πλήρης και οι T = φ (S και T = φ (S είναι δύο αµερόληπτοι εκτιµητές του θ, οι οποίοι είναι συναρτήσεις της πλήρους S. Να δειχθεί ότι T = T. (Υπόδειξη : Χρησιµοποιήστε τον Ορισµό..5. Λύση Αφού η S είναι πλήρης στατιστική συνάρτηση, τότε E θ φ(s = 0 φ(s = 0 για κάθε δυνατή τιµή της S και για κάθε συνάρτηση φ. Θεωρούµε ψ(s = φ (S φ (S = T T και χρησιµοποιώντας το γεγονός ότι οι T και T είναι αµερόληπτοι εκτιµητές του θ προκύπτει ότι, E θ ψ(s = E θ (φ (S φ (S = E θ φ (S E θ φ (S = θ θ = 0. Επειδή η S είναι πλήρης στατιστική συνάρτηση έπεται ότι ψ(s = 0 για κάθε δυνατή τιµή s της S, εποµένως T = T. Ασκηση 5. Να δειχθεί ότι αν X = (X, X είναι ένα τυχαίο διάνυσµα, µε X N (θ, και X N (θ,, τότε η στατιστική συνάρτηση T (X = (X, X δεν είναι πλήρης. (Υπόδειξη : Αποδείξτε ότι ο Ορισµός..5 δεν ισχύει.

27 .. ΑΣΚΗΣΕΙΣ 7 Λύση Αν ϑεωρήσουµε ως συνάρτηση της T την φ(t = φ(x, X = X X, τότε αυτή, προφανώς παίρνει µη µηδενικές τιµές, ενώ E θ φ(t = E θ (X X = E θ X E θ X = V ar θ X + (E θ X E θ X = + θ θ = 0. Εποµένως, λόγω του Ορισµού..5, η στατιστική συνάρτηση T (X = (X, X δεν είναι πλήρης. Ασκηση 6. Εστω ένα τυχαίο δείγµα X = (X, X,..., X,, το οποίο προέρχεται από την κανονική κατανοµή N (θ, θ(, µε άγνωστο θ Θ = (0,. Να δειχθεί ότι η στατιστική συνάρτηση T = X i, είναι επαρκής, (X αλλά όχι πλήρης. (Υπόδειξη : Χρησιµοποιήστε την Πρόταση..9 για να ϐρείτε επαρκή στατιστική συνάρτηση και αποδείξτε ότι ο Ορισµός..5 δεν ισχύει. Λύση Αφού οι παρατηρήσεις µας είναι ανεξάρτητες, { } f(x ; θ = f(x i ; θ = e (x i θ θ = πθ (π / θ exp θ (x i θ = { } exp l π l θ θ x i + x i θ { } Αν ϑέσουµε q(t (x ; θ = exp l θ θ x i + x i µε T (x = θ ( { x i, x i και h(x = exp l π }, τότε f(x ; θ = q(t (x ; θh(x οπότε, σύµφωνα ( µε το κριτήριο των Neyma-Fisher, η στατιστική συνάρτηση T = X i, Xi (X είναι επαρκής. Οσον αφορά την πληρότητα, παρατηρούµε ότι η συνάρτηση φ(t = ( + ( X i έχει µη µηδενικές τιµές, ενώ ( E θ φ(t = E θ X i X i = ( + ( ( ( ( V ar θ X i + E θ X i ( + E θ Xi = ( + (θ + θ θ = θ θ = 0 εποµένως, λόγω του Ορισµού..5, η στατιστική συνάρτηση T δεν είναι (X πλήρης. X i X i

28 8 ΚΕΦΑΛΑΙΟ. ΑΟΕ ΕΚΤΙΜΗΤΕΣ Παρατήρηση.. Παρατηρήστε ότι ενώ έχουµε µία µονοδιάστατη άγνωστη πα- ϱάµετρο θ, η ελάχιστη επαρκής στατιστική συνάρτηση είναι διδιάστατη. Ασκηση 7. Εστω X = (X, X, X 3 είναι ένα τυχαίο δείγµα από την κατανοµή Beroulli B(, θ, µε άγνωστο θ Θ = (0,.. Να ϐρεθεί επαρκής και πλήρης στατιστική συνάρτηση.. Να δειχθεί ότι ο εκτιµητής S = {, X = 0, διαφορετικά είναι αµερόληπτος για το θ, ενώ ο εκτιµητής {, X =, X = S = 0, διαφορετικά είναι αµερόληπτος για το θ. 3. Να ϐρεθούν ΑΟΕ εκτιµητές των θ, θ όπως και της g(θ = P θ (X X. (Υπόδειξη : Χρησιµοποιήστε το Θεώρηµα..6. Λύση. Από την λύση της Ασκήσεως 6., προκύπτει για k = 3 και i =, i =,, 3, ότι η οικογένεια κατανοµών της B(, θ ανήκει στην ΜΕΟΚ, δηλαδή στην ΠΕΟΚ τάξεως, µε ( θ A(θ = 3 l( θ, B(x = 0, c(θ = l θ και D(x = εποµένως, λόγω της Πρότασης..0, η στατιστική συνάρτηση D(x = 3 ( θ X i είναι επαρκής και επειδή το πεδίο τιµών της c(θ = l R θ 3 περιέχει ανοικτό υποσύνολο του R, η στατιστική συνάρτηση D(x = είναι και πλήρης.. E θ S = P (S = + 0 P (S = 0 = P (S = = P (X = = θ, θ (0,, δηλαδή ο S είναι αµερόληπτος εκτιµητής του θ. Οµοίως, E θ S = P (S = + 0 P (S = 0 = P (S = = P (X =, X = = P (X = P (X = = θθ = θ, θ (0,. Εποµένως, ο S είναι αµερόληπτος εκτιµητής του θ. 3 x i X i

29 .. ΑΣΚΗΣΕΙΣ 9 3. Επειδή ο S είναι αµερόληπτος εκτιµητής του θ και η στατιστική συνάρτηση 3 D = D(x = X i είναι επαρκής και πλήρης, έπεται, λόγω του Θεωρή- µατος..6 ότι ο S = E(S D είναι ο µοναδικός ΑΟΕ εκτιµητής του θ. Οµως, S = E(S D = P (S = D+0 P (S = 0 D = P (S = D. Οπου, P (S = D = d = P (X =, X + X + X 3 = d P (X + X + X 3 = d P (S = D = d = P (X =, X + X 3 = d. (. P (X + X + X 3 = d Επειδή κάθε X i B(, θ, από τις αναπαραγωγικές ιδιότητες προκύπτει ότι, ( 3 D = X + X + X 3 B(3, θ f D (d = θ d ( θ 3 d (. d και X +X B(, θ f X +X (d = ( d Άρα, η Εξίσωση (., λόγω( των (. και (.3, γίνεται. θ θ d d ( θ (d P (S = D = d = = θ d ( θ 3 d ( 3 d Εποµένως, P (S = D = E(S D = D 3 = 3 θ d ( θ (d (.3 d 3. X i = X. Οµοίως, S D(D = E(S = D = P (S = D = είναι ο µοναδικός 6 ΑΟΕ εκτιµητής του θ. Επίσης, επειδή g(θ = P (X X = P (X < X = P (X = 0, X = = ( θθ = θ + θ, έπεται ότι ο εκτιµητής D D(D είναι ο µοναδικός ΑΟΕ εκτιµητής της g(θ. Ασκηση 8. Εστω X = (X, X,..., X ένα τυχαίο δείγµα από την κανονική κατανοµή N (µ, σ, µε άγνωστες τις παραµέτρους µ R και σ > 0. Να ϐρεθεί ΑΟΕ εκτιµητής του σ k, k > 0. (Υπόδειξη : Χρησιµοποιήστε το Πόρισµα..7. Λύση Με ( απλή χρήση της Πρότασης..0, µπορεί να δειχθεί ότι η στατιστική συνάρτηση X i, Xi είναι επαρκής και πλήρης.

30 30 ΚΕΦΑΛΑΙΟ. ΑΟΕ ΕΚΤΙΜΗΤΕΣ Επιπλέον, επειδή ισχύει η Πρόταση.., η δειγµατική διασπορά ( S = (X i X = Xi X i είναι αµερόληπτος εκτιµητής της διασποράς της κατανοµής, δηλαδή του σ και αφού είναι συνάρτηση της επαρκούς και πλήρους στατιστικής συνάρτησης, έπεται, λόγω του Πορίσµατος..7, ότι ο S είναι ο µοναδικός ΑΟΕ εκτιµητής του σ. Εποµένως για να ϐρούµε ΑΟΕ εκτιµητή του σ k είναι λογικό να ϑεωρήσουµε ως πιθανό εκτιµητή τον S k και υπολογίζοντας την µέση του τιµή να οδηγηθούµε σε αµερόληπτο, άρα και σε ΑΟΕ, εκτιµητή του σ k. Υπενθυµίζουµε σε αυτό το σηµείο ότι σύµφωνα µε την Πρόταση.., η στατιστική συνάρτηση T = ( S σ X. ( ES k = E(S k/ σ k/ σ k = E σ S = ( ET k/ k/, T X. Ενώ, ET k/ = t k/ 0 Γ(( / ( / t( / e t/ dt = t (k+ / e t/ dt = Γ(( / ( / 0 Γ(( / ( / (k+ / k/ Γ(( + k/ Γ(( + k/ =. Γ(( / Από τα παραπάνω εξάγεται το συµπέρασµα ότι ο εκτιµητής ( είναι ο µοναδικός ΑΟΕ εκτιµητής του σ k. k/ Γ(( / Γ(( + k/ Sk Ασκηση 9. Εστω X = (X, X,..., X είναι ένα τυχαίο δείγµα από την οµοιό- µορφη κατανοµή U(0, θ, µε άγνωστο θ > 0.. Να ϐρεθούν ΑΟΕ εκτιµητές των θ και θ r, r > 0.. Να ϐρεθεί ο καλύτερος εκτιµητής του θ, µε κριτήριο το Μέσο Τετραγωνικό Σφάλµα (Μ.Τ.Σ., της µορφής cx (, όπου c είναι µια ϑετική σταθερά. (Υπόδειξη : Χρησιµοποιήστε το Πόρισµα..7. Λύση. Στην Άσκηση 0. αποδείχτηκε ότι η στατιστική συνάρτηση T (X = X ( = max{x, X,..., X } είναι επαρκής και πλήρης, µε πυκνότητα πιθανότητας, f T (t = θ t, t (0, θ.

31 .. ΑΣΚΗΣΕΙΣ 3 Υπολογίζοντας την µέση τιµή της επαρκούς και πλήρους στατιστικής συνάρτησης T προκύπτει, θ E θ T = t 0 θ t dt = ( + + θ E θ X ( = θ, θ > 0. Εποµένως, σύµφωνα µε το Πόρισµα..7, η στατιστική συνάρτηση + X ( είναι ο µοναδικός ΑΟΕ εκτιµητής του θ. Για να ϐρούµε ΑΟΕ εκτιµητής του θ r, r > 0 µπορούµε να εργαστούµε µε δύο τρόπους, ως εξής. Α τρόπος Εφ όσον η στατιστική συνάρτηση T = X ( χρησιµοποιείται για να ϐρούµε ΑΟΕ εκτιµητή του θ, είναι λογικό η T r να µας ϐοηθήσει για την εύρεση ΑΟΕ εκτιµητή του θ r. Οπότε, E θ T r = θ 0 t r θ t dt = + r θr E θ ηλαδή, η στατιστική συνάρτηση + r µητής του θ r, r > 0. Β τρόπος ( + r Xr ( = θ r, θ > 0. Xr ( είναι ο µοναδικός ΑΟΕ εκτι- Εστω S(T είναι ένας αµερόληπτος εκτιµητής του θ r, ο οποίος είναι συνάρτηση της επαρκούς και πλήρους στατιστικής συνάρτησης T, ουσιαστικά ο S(T, σύµφωνα µε το Πόρισµα..7, είναι ο µοναδικός ΑΟΕ εκτιµητής του θ r, τότε ισχύει, E θ S(T = θ r d dθ θ 0 θ 0 s(t θ t dt = θ r θ 0 s(tt dt = θ +r s(tt dt = d dθ θ+r s(θθ = ( + rθ +r s(θ = + r θr s(t = + r tr. ηλαδή, η στατιστική συνάρτηση + r µητής του θ r, r > 0. Xr ( είναι ο µοναδικός ΑΟΕ εκτι-. Για να ϐρούµε τον καλύτερο εκτιµητή της µορφής S c = cx ( πρέπει να ελαχιστοποιήσουµε το Μ.Τ.Σ. ως προς c. Μ.Τ.Σ.(S c, θ = V ar θ S c + (E θ S c θ (.4 Οµως, E θ S c = E θ (cx ( = ce θ X ( = c + θ.

32 3 ΚΕΦΑΛΑΙΟ. ΑΟΕ ΕΚΤΙΜΗΤΕΣ { } V ar θ S c = V ar θ (cx ( = c V ar θ X ( = c E θ X( + (E θx ( = { c } + θ ( + θ = c ( + ( + θ. Εποµένως, αντικαθιστώντας στην Εξίσωση.4 προκύπτει ότι, Μ.Τ.Σ.(S c, θ = c ( + ( + θ + (c + θ θ { Μ.Τ.Σ.(S c, θ = ( + ( + + } ( + θ c + θ c + θ. Συνεπώς, το παραπάνω τριώνυµο ελαχιστοποιείται για την τιµή + θ c = { ( + ( + + ( + } θ = + +. Άρα, ο καλύτερος εκτιµητής, µε κριτήριο το Μ.Τ.Σ., είναι ο S = + + X (. Παρατήρηση..3 Παρατηρήστε ότι ο ΑΟΕ εκτιµητής του θ, + X ( είναι της µορφής cx ( και επειδή ο καλύτερος µεταξύ των εκτιµητών αυτής της µορφής είναι ο S = + + X (, έπεται ότι ο ΑΟΕ εκτιµητής είναι µη αποδεκτός µε κριτήριο το Μ.Τ.Σ. (ϐλ. Ορισµό..8. Ασκηση 30. Θεωρούµε X, X,..., X ανεξάρτητες τυχαίες µεταβλητές, όπου κάθε X k Gamma(k, θ, µε άγνωστο θ > 0. Να ϐρεθούν ΑΟΕ εκτιµητές των θ και θ r ( +, r >. (Υπόδειξη : Χρησιµοποιήστε το Πόρισµα..7. Λύση Αρχικά ϑα ϐρούµε µία επαρκή και πλήρη στατιστική συνάρτηση. Η οικογένεια κατανοµών που µας δίνεται ανήκει στην ΠΕΟΚ διάστασης (ΜΕΟΚ, διότι,. Το σύνολο S = : f(x ; θ > 0} = R {x + δεν εξαρτάται από το θ.. f(x, θ = Γ(kθ k xk k e x k θ = = exp { k= l Γ(k k= Οπότε αν ϑέσουµε, A(θ = και D(x = l Γ(k k= ( + ( + ( k= Γ(kθ(+/ l θ + k= l θ, B(x = k= (k l x k θ P x k k e xk θ x k }. k= (k l x k, c(θ = θ k= x k καταλήγουµε στο συµπέρασµα που ϑέλουµε. k=

33 .. ΑΣΚΗΣΕΙΣ 33 Κάνοντας χρήση της Πρότασης..0, η στατιστική συνάρτηση D(X = είναι επαρκής και επειδή το πεδίο τιµών της c(θ = θ R περιέχει ανοικτό υποσύνολο του R, είναι και πλήρης. Η εύρεση ΑΟΕ εκτιµητή του θ, ανάγεται πλέον στο πρόβληµα ύπαρξης αµε- ϱόληπτου εκτιµητή του θ ο οποίος είναι συνάρτηση της επαρκούς και πλήρους στατιστικής συνάρτησης = X k. Υπολογίζοντας την E θ προκύ- D(X D(X k= πτουν τα εξής, ( + E θ = E θ X k = E θ X k = kθ = θ D(X { k= } k= k= E θ X k = θ. ( + k= ηλαδή ο εκτιµητής X k, ως αµερόληπτος εκτιµητής του θ και ( + k= συνάρτηση της επαρκούς και πλήρους στατιστικής συνάρτησης, είναι ο D(X µοναδικός ΑΟΕ εκτιµητής του θ (ϐλ. Πόρισµα..7. Εφ όσον η στατιστική συνάρτηση D = X k χρησιµοποιήθηκε για την εύρεση ΑΟΕ εκτιµητή του θ, είναι λογικό να δουλέψουµε µε τον D r για την εκτίµηση του θ r. Υπενθυµίζουµε ότι οι ανεξάρτητες τυχαίες µεταβλητές X k Gamma(k, θ, k =,,...,, άρα η τ.µ. E θ D r = 0 D = k= k= k= ( + X k Gamma( k, θ Gamma(, θ. x r Γ(( + /θ (+/ x(+/ e x Γ(( + / + r θ dx = θ r } Γ(( + / = θ r ( +, θ > 0 και r >. E θ { Γ(( + / Γ(( + / + r Dr Εποµένως, σύµφωνα µε το Πόρισµα..7, η στατιστική συνάρτηση είναι ο µοναδικός ΑΟΕ εκτιµητής του θ r. k= X k Γ(( + / Γ(( + / + r Dr Ασκηση 3. Η παρατήρηση X έχει κατανοµή που ϕαίνεται στον παρακάτω πίνακα για θ Θ = {0, }. Τιµές της τ.µ. X - 0 /3 /3 /3 /3

34 34 ΚΕΦΑΛΑΙΟ. ΑΟΕ ΕΚΤΙΜΗΤΕΣ Να ϐρεθεί ΑΟΕ εκτιµητής του θ. (Υπόδειξη : Χρησιµοποιήστε την Παρατήρηση..0( για να ϐρείτε επαρκή στατιστική συνάρτηση και τον Ορισµό..5 για να ϐρείτε πλήρη στατιστική συνάρτηση. Εφαρµόστε το Πόρισµα..7 για να ϐρείτε τον ΑΟΕ εκτιµητή. Λύση Επειδή το δείγµα είναι τετριµµένα επαρκής στατιστική συνάρτηση (ϐλ. Παρατήρηση..0( και στη συγκεκριµένη περίπτωση έχουµε µόνο µία τυχαία µεταβλητή, αυτή ϑα είναι επαρκής, δηλαδή T (X = X είναι επαρκής στατιστική συνάρτηση. Θα δείξουµε ότι η T (X = X είναι και πλήρης στατιστική συνάρτηση, δηλαδή πρέπει να ισχύει. E θ φ(x = 0, θ {0, } φ(x = 0 x και φ. Οµως, E θ φ(x = 0 φ(xp θ (X = x = 0 x= } θ = 0, φ( P 0 (X = + φ(p 0 (X = = 0 θ =, φ( P (X = + φ(p (X = = 0 φ( 3 + φ( 3 = 0 φ( φ( = φ( = φ( 3 = 0 ηλαδή φ(x = 0, x και για κάθε συνάρτηση φ, εποµένως η στατιστική συνάρτηση T (X = X είναι και πλήρης. Επίσης, παρατηρούµε τα εξής, θ = 0, E 0 X = ( P 0 (X = + P 0 (X = = = 0 και θ =, E X = ( P (X = + P (X = = = ηλαδή, θ Θ = {0, }, E θ X = θ, εποµένως η στατιστική συνάρτηση X είναι αµερόληπτος εκτιµητής του θ και συνάρτηση της επαρκούς και πλήρους στατιστικής συνάρτησης, άρα είναι και ο µοναδικός ΑΟΕ εκτιµητής του θ. Ασκηση 3. Θεωρούµε X, X,..., X ανεξάρτητες τυχαίες µεταβλητές, όπου κάθε X i P(θt i, µε άγνωστο θ > 0 και γνωστές σταθερές t i > 0, i =,,...,. Να ϐρεθούν ΑΟΕ εκτιµητές των θ και θ. (Υπόδειξη : Χρησιµοποιήστε την Πρόταση..0 για να ϐρείτε επαρκή και πλήρη στατιστική συνάρτηση και το Πόρισµα..7 για να ϐρείτε τους ΑΟΕ εκτιµητές. Λύση Αρχικά ϑα ϐρούµε µία επαρκή και πλήρη στατιστική συνάρτηση. Η οικογένεια κατανοµών που µας δίνεται ανήκει στην ΠΕΟΚ διάστασης (ΜΕΟΚ, διότι,