Beltiwmenoi Ektimhtec gia ta Posostiaia Shmeia thc diparametrikhc Ekjetikhc Katanomhc

Transcript

1 Kwnstantinoc Q. Karamatsoukhc Beltiwmenoi Ektimhtec gia ta Posostiaia Shmeia thc diparametrikhc Ekjetikhc Katanomhc Metaptuqiakh Diatribh A Tmhma Majhmatikwn Panepisthmio Aigaiou Iounioc 25 Karlobasi Samoc

2

3 Ειηγητης : Κωνταντίνος Πετρόπουλος Επιτροπη Χρήτος Νικολόπουλος Καθηγητής3 Καθηγητής 2

4

5 Στους γονείς µου...χρήτο και Πηνελόπη!

6

7 Περιεχόµενα Ειαγωγή ix Βαικοί Οριµοί και Θεωρήµατα. Ειαγωγή -Αµερόληπτοι Εκτιµητές.2 Συνάρτηη Ζηµίας (Loss Function)-Συνάρτηη Κινδύνου(Risk Function) 2.3 ΑΟΕ εκτιµητές 3.4 Επάρκεια 5.5 Πληρότητα 6.6 Εκτίµηη µε την Μέθοδο Μεγίτης Πιθανοφάνειας 7.7 Συνέπεια 8.8 Εκτιµητές Bayes και minimax 9.8α Εκτιµητές minimax.9 Θεώρηµα Μεταχηµατιµού. Αναλλοίωτο Πρόβληµα Εκτίµηης 2 Ποοτιαίο ηµείο διπαραµετρικής εκθετικής κατανοµής 3 2. ιπαραµετρική εκθετική κατανοµή 3 2.α Ποοτιαίο ηµείο διπαραµετρικής εκθετική κατανοµής Εύρεη Α.Ο.Ε. και Ε.Μ.Π εκτιµητών για το µ και το 4 2.2α Ε.Μ.Π εκτιµητές για την παράµετρο ϑέης µ και για την παράµετρο κλίµακος Εύρεη Α.Ο.Ε..και Ε.Μ.Π εκτιµητή για το ποοτίαιο ηµείο 7 2.3α Εύρεη Ε.Μ.Π. εκτιµητή για το ποοτίαιο ηµείο 7 2.3β Εύρεη Α.Ο.Ε.. εκτιµητή για το ποοτιαίο ηµείο Βέλτιτος εκτιµητής την κλάη εκτιµητών {X () + cs; c > } Αναλλοίωτο Πρόβληµα Εκτίµηης 2 3 Εκτιµητές τύπου Stein Ειαγωγή Βοηθητικά Αποτελέµατα Κύρια αποτελέµατα 34

8 viii Περιεχοµενα 4 Εκτιµητές Rukhin and Strawderman Ειαγωγή Βελτιωµένοι Εκτιµητές για το ποοτιαίο ηµείο Τεχνικά Αποτελέµατα-Βοηθητικά Λήµµατα 48 5 Εκτιµητές τύπου Bayes 6 5. Ειαγωγή Εύρεη της εκ των υτέρων κατανοµής (posterior distribution) 6 6 Γραφικές Παρατάεις-Συµπεράµατα 7 6. Ειαγωγή Βελτίωη εκτιµητών τύπου Stein Βελτίωη για τους εκτιµητές Rukhin-Strawderman Βελτίωη των εκτιµητών Bayes 76 Βιβλιογραφία 78

9 Ειαγωγή Η παρούα µεταπτυχιακή διατριβή εντάεται ερευνητικά την περιοχή της Στατιτικής Θεωρίας Αποφάεων και ειδικότερα την (ηµειακή) εκτίµηη ποοτιαίου ηµείου το µοντέλο της διπαραµετρικής εκθετικής κατανοµής. Η µελέτη του προβλήµατος (ηµειακής) εκτίµηης παραµέτρου κλίµακος ή υναρτήεών της από τη κοπιά της Στατιτικής Θεωρίας Αποφάεων, όταν επί πλέον υπάρχει και άλλη άγνωτη παράµετρος (nuisance parameter) το υπό ϑεώρηη τατιτικό µοντέλο, έχει µελετηθεί εκτενώς, ειδικότερα αναφέρουµε το πρόβληµα εκτίµηης της διαποράς κανονικής κατανοµής µε άγνωτη µέη τιµή από τον Stein (964). Στην εργαία εκείνη ο Stein απέδειξε ότι, µε κριτήριο το µέο τετραγωνικό φάλµα, ο ϐέλτιτος αναλλοίωτος εκτιµητής της διαποράς δηλαδή ο καλύτερος εκτιµητής της µορφής (ϑετική ταθερά) (δειγµατική διαπορά) είναι µη αποδεκτός, κατακευάζοντας άλλον µε µικρότερο µέο τετραγωνικό φάλµα. Οι ϐελτιωµένοι εκτιµητές, που προκύπτουν µε αυτήν την τεχνική, έχει επικρατήει να αναφέρονται τη ϐιβλιογραφία ως εκτιµητές τύπου Stein, η δε τεχνική να αναφέρεται ως τεχνική Stein. Το πρόβληµα εκτίµηης ποοτιαίου ηµείου από τη κοπιά της Στατιτικής Θεωρίας Αποφάεων ακολούθηε αυτό της εκτίµηης παραµέτρου κλίµακος, αρχής γενοµένης µε την κανονική κατανοµή. Ενδεικτικά αναφέρουµε τις εργαίες του Zidek (969, 97), ο οποίος απέδειξε ότι ο ϐέλτιτος αναλλοίωτος εκτιµητής του ποοτιαίου ηµείου είναι µη αποδεκτός, µε κριτήριο το µέο τετραγωνικό - ϕάλµα. Οι ϐελτιωµένοι εκτιµητές, δε, που παρήγαγε είναι εκτιµητές τύπου Stein. Αντικείµενο της µεταπτυχιακής διατριβής είναι η µελέτη προβληµάτων εκτίµηης ποοτιαίου ηµείου για το µοντέλο της διπαραµετρικής εκθετικής κατανο- µής E(µ, ), όπου µ είναι η παράµετρος ϑέης και είναι η παράµετρος κλίµακος. Τα ποοτιαία ηµεία το παραπάνω µοντέλο είναι της µορφής µ + κ, όπου κ είναι ταθερά. Στο Κεφάλαιο, περιέχονται κάποιοι οριµοί και παρουιάζονται, για λόγους πληρότητα, γνωτά χετικά αποτελέµατα. Στο Κεφάλαιο 2,παρατίθεται το µοντέλο της διπαραµετρικής εκθετικής κατανο- µής και κατακευάζονται γνωτοί εκτιµητές για το ποοτιαίο ηµείο αυτής της κατανοµής. Στο Κεφάλαιο 3, εξετάζεται το πρόβληµα εκτίµηης ποοτιαίου ηµείου, ϑεω- ϱώντας κατ αρχήν ως υνάρτηη ηµίας το τετραγωνικό φάλµα L(t) = (t ) 2. Υπό οριµένες υνθήκες, αποδεικνύεται η µη αποδεκτικότητα του ϐέλτιτου αναλλοίωτου εκτιµητή, κατακευάζοντας καλύτερους εκτιµητές, τόο για µικρές όο και για µεγάλες τιµές της ταθεράς κ. Η µέθοδος κατακευής αυτών των εκτιµητών ϐαίζεται την τεχνική του Stein και παρουιάτηκε από τους Rukhin and Zidek (985)(ϐλ. ϐιβλιογραφία [4]). Στο Κεφάλαιο 4, αναπτύουµε µία δεύτερη τεχνική κατακευής ϐελτιωµέν-

10 x Περιεχοµενα ων εκτιµητών, η οποία οφείλεται την εργαία των Rukhin and Strawderman (982)(ϐλ. ϐιβλιογραφία [5]. Το πλεονέκτηµα αυτής της µεθόδου έναντι της προηγούµενης είναι ότι αποδεικνύεται η µη αποδεκτικότητα του ϐέλτιτου αναλλοίωτου εκτιµητή του µ + κ, για περιότερες τιµές του κ. Στο Κεφάλαιο 5, παραθέτουµε για το ίδιο πρόβληµα εκτίµηης, εκτιµητές Bayes χρηιµοποιώντας υζηγείς (conjugate) εκ των προτέρων κατανοµές για τις άγνωτες παραµέτρους και υνάρτηη ηµίας το τετραγωνικό φάλµα. Τέλος, το Κεφάλαιο 6, δίνουµε τις γραφικές παρατάεις οι οποίες δείχνουν το ποοτό ϐελτίωης των εκτιµητών που έχουµε παραθέει τα προηγούµενα κε- ϕάλαια για διάφορες τιµές των παραµέτρων µ και και ϐγάζουµε αρκετά και χρήιµα υµπεράµατα για τις διαφορετικές τεχνικές που υπάρχουν για το πρόβληµα εκτίµηης ποοτιαίου ηµείου. Κ. Καραµατούκης, Σάµος 25.

11 Κεφάλαιο Βαικοί Οριµοί και Θεωρήµατα Σ αυτό το κεφαλαίο ϑα αναφέρουµε κάποιους ϐαικούς οριµούς και Θεωρήµατα,χωρίς τις αποδείξεις τους, από την Μαθηµατική Στατιτική.. Ειαγωγή -Αµερόληπτοι Εκτιµητές Ετω ότι δίνονται δεδοµένα X = (X, X 2,..., X n ) µε από κοινού πυκνότητα πι- ϑανότητας f X (x; θ),που εξαρτάται από µια άγνωτη παράµετρο θ,η οποία ανήκει ε κάποιο ύνολο Θ.Το θ λέγεται άγνωτη παράµετρος και το Θ καλείται.σκοπός µας είναι, να εκτιµήουµε µια υνάρτηη του θ,έτω g( ) : Θ R κ,κ >,η οποία ονοµάζεται.το τυχαίο διάνυµα X αναφέρεται αν δείγµα.αν επιπλέον οι τυχαίες µεταβλητές X i, i =, 2,..., n είναι ανεξάρτητες και ιόνοµες,δηλαδή έχουν την ίδια κατανοµή,τότε το X αναφέρεται αν τυχαίο δείγµα. Οριµός... Μια υνάρτηη µόνο του δείγµατος καλείται. Οριµός..2. Μια τατιτική υνάρτηη,έτω δ(x ), που χρηιµοποιείται για την εκτίµηη της τιµής της άγνωτης παραµέτρου θ,(ή γενικότερα για την εκτίµηη της παραµετρικής υνάρτηης g(θ),όπου g(.) : Θ R κ,κ > )αναφέρεται αν του θ. Οριµός..3. Ο εκτιµητής T = T(X ),ονοµάζεται της παραµετρικής υνάρτηης g(θ),αν E θ (T(X )) = g(θ), θ Θ Ενα από τα πιο υνηθιµένα κριτήρια επιλογής εκτιµητών είναι το του εκτιµητή T(X ),υµβολικά MTΣ(T, θ),που ορίζεται ως εξής : Οριµός..4. Το Μέο Τετραγωνικό Σφάλµα του εκτιµητή T(X ),ορίζεται ως εξής : MTΣ(T, θ) = E θ (T(X ) g(θ)) 2 Πρόταη..5. MTΣ(T, θ) = Var θ (T(X ))+(E θ (T(X )) g(θ)) 2. Η ποότητα b(t, θ) = E θ (T(X )) g(θ) καλείται g(θ),οπότε ή υτηµατικό φάλµα του εκτιµητή T για την ποότητα MTΣ(T, θ) = Var θ (T(X)) + b 2 (T, θ).

12 2 Βαικοι Οριµοι και Θεωρηµατα Παρατήρηη..6. Αν T είναι αµερόληπτος εκτιµητής της παραµετρικής υνάρτηης g(θ),τότε MTΣ(T, θ) = Var θ (T(X )). Οριµός..7. Ο εκτιµητής T ονοµάζεται καλύτερος από τον T 2 (ως προς το Μέο Τετραγωνικό Σφάλµα)για την g(θ),αν, MTΣ(T, θ) MTΣ(T 2, θ), θ Θ και επιπλέον MTΣ(T, θ ) MTΣ(T 2, θ ), για κάποιο θ Θ Οριµός..8. Εάν ο εκτιµητής T είναι καλύτερος από τον T 2 (ως προς το το Μέο Τετραγωνικό Σφάλµα)για την g(θ),τότε ο T 2 λέγεται για την εκτίµηη της παραµετρικής υνάρτηης g(θ). Οριµός..9. Ο T ονοµάζεται (ως προς το το Μέο Τετραγωνικό Σφάλµα)για την g(θ),αν είναι καλύτερος από κάθε άλλο εκτιµητή της παραµετρικής υνάρτηης g(θ) Οι ακόλουθες Προτάεις µας ϐοηθάνε να ϐρούµε αµερόληπτους εκτιµητές τόο για την µέη τιµή,όο για τη διαπορά µιας κατανοµής,όταν το δείγµα µας είναι τυχαίο. Πρόταη... Ετω X, X 2,..., X n είναι ένα τυχαίο δείγµα από µια κατανοµή µε πυκνότητα πιθανότητας f (x, θ), θ Θ και g(θ) = µ, η µέη τιµή της κατανοµής τότε ο δειγµατικός µέος X n = X n i,είναι αµερόληπτος εκτιµητής του 2. i= Πρόταη... Ετω X, X 2,..., X n είναι ένα τυχαίο δείγµα από µια κατανοµή f (x, θ), θ Θ και g(θ) = 2 η διαπορά της κατανοµής,τότε η δειγµατική διαπορά n S 2 = n X i είναι αµερόληπτος εκτιµητής του 2. i=.2 Συνάρτηη Ζηµίας (Loss Function)-Συνάρτηη Κινδύνου(Risk Function) Γενικά,η εκτίµηη της παραµετρικής παράταης g(θ) από µια τιµή d,µετριέται από την (Loss function) L(d, θ). Για την οποία ιχύουν και L(d, θ) για όλα θ, d L[g(θ), θ] = για όλα θ έτι ώτε η ηµιά να είναι µηδέν όταν η παράµετρος εκτιµάται από τη ωτή τιµή. Οριµός.2.. Η ακρίβεια ή µη-ακρίβεια,ενός εκτιµητή δ,µετριέται από την που ορίζεται ως R(δ, θ) = E θ {L[δ(X), θ]} Το Μέο Τετραγωνικό Σφάλµα είναι µια υνάρτηη ηµίας. Οπότε µπορούµε να επαναδιατύπωουµε τους παραπάνω οριµούς αντικαθιτώντας το Μέο Τετραγωνικό Σφάλµα,µε µια άλλη υνάρτηη ηµιάς L(d, θ).

13 .3 ΑΟΕ εκτιµητες 3.3 ΑΟΕ εκτιµητές Επειδή,είναι γενικά δύκολο να ϐρούµε τον ϐέλτιτο εκτιµητή,την κλάη όλων των εκτιµητών περιοριζόµατε ε αυτήν των αµερόληπτων εκτιµητών. Οριµός.3.. Η τατιτική υνάρτηη T = T(X ) ονοµάζεται () για το g(θ) εάν,.τ αµερόληπτος, δηλαδή E θ (T) = g(θ), Θ. 2.Var θ (T) Var θ (T ), Θ και για κάθε άλλο αµερόληπτο εκτιµητή T του g(θ). Από τον παραπάνω Οριµό,φαίνεται ότι για να ϐρούµε ΑΟΕ εκτιµητή πρέπει να ελαττώουµε όον το δυνατόν περιότερο τη διαπορά,µίας τατιτικής υνάρτηης ε χέη µε την προς εκτίµηη ποότητα,δηλαδή είναι επιθυµητό να ϐρούµε ένα κάτω ϕράγµα για τη διαπορά των αµερόληπτων εκτιµητών αυτής της ποότητας.αυτό το κάτω ϕράγµα µας προφέρει το Θεώρηµα Cramer-Rao το οποίο ιχύει όταν επαληθεύονται οι παρακάτω υνθήκες : (Ι)Ο παραµετρικός χώρος Θ είναι ανοικτό υπούνολο του R. (Ι2)Το ύνολο S = {x ; f X (x ; θ)} δεν εξαρτάται από το θ. (Ι3) R n (Ι4) R n T(X ). θ f ; = X (x θ)dx θ R n ) T(x θ f ; = X (x θ)dx θ f X (x ; θ)dx, θ Θ R n (Ι5)Αν I(θ) = E θ ( θ ln f X (x ; θ)) 2,τότε < I(θ) <, θ Θ. Η ποότητα I(θ) ονοµάζεται αριθµός ή. T(x )f X (x ; θ)dx, θ Θ και κάθε τατιτική υνάρτηη Θεώρηµα.3.2. () Ετω X = (X, X 2,..., X n ) ένα δείγµα µε από κοινού πυκνότητα πιθανότητας f X (x ; θ), θ Θ.Εάν T(X ) είναι τατιτική υνάρτηη µε E θ (T(X )) = g(θ), θ Θ και ιχύουν οι υνθήκες (Ι)-(Ι5),τότε Var θ (T(X )) (g (θ)) 2 I(θ), θ Θ Το κάτω ϕράγµα για την διαπορά των αµερόληπτων εκτιµητών του g(θ) ονοµάζεται (C.R.-Κ.Φ.) για τον υπολογιµό του αριθµού πληροφορίας Fisher χρηι- µοποιούµε,υνήθως κάποιες ϐοηθητικές ιδιότητες. Ιδιότητες.I(θ) = E θ ( 2 θ ln f X (x ; θ)) 2, θ Θ 2.Αν το δείγµα X = (X, X 2,..., X n ) αποτελείται από ανεξάρτητες και τυχαίες µεταβλητές,όπου κάθε µια από τις X i ακολουθεί µία κατανοµή µε πυκνότητα πιθανότητας,f Xi (x i ; θ), i =, 2,..., n,τότε όπου I i (θ) = E θ ( θ ln f X i (x i ; θ)) 2. I(θ) = n I i (θ) i=

14 4 Βαικοι Οριµοι και Θεωρηµατα 3.Αν το δείγµα X = (X,..., X n ) είναι τυχαίο,τότε I(θ) = ni (θ) όπου I (θ) είναι ο αριθµός πληροφορίας Fisher για κάθε µία από τις X, X 2,..., X n. Η δυκολία του Θεωρήµατος Cramer-Rao ϐρίκεται τη επαλήθευη των υν- ϑηκών (Ι)-(Ι5),η οποία άρεται όταν η οικογένεια του τυχαίου διανύµατος X ανήκει την (ΜΕΟΚ). Οριµός.3.3. Η οικογένεια κατανοµών {f X (x ; θ), θ Θ} ανήκει την Μονοπαρα- µετρική Εκθετική Οικογένεια Κατανοµών (ΜΕΟΚ) αν,.το ύνολο S = {x; f X (x ; θ)} δεν εξαρτάται από το Θ. 2.f X (x ; θ) = e A(θ)+B(x )+c(θ)d(x ), x S, θ Θ. Θεώρηµα.3.4. Αν το δείγµα X = (X, X 2,..., X n ) έχει κατανοµή µε πυκνότητα πιθανότητας f X (x ; θ) η οποία ανήκει την ΜΕΟΚ και η c(θ) (που εµφανίζεται τον τύπο της f X (x ; θ)) έχει κατανοµή και µη µηδενική παράγωγο θ Θ,τότε οι υνθήκες (Ι2),(Ι3) και (Ι4) του Θεωρήµατος Cramer-Rao ιχύουν και η (Ι4) ιχύει για κάθε τατιτική υνάρτηη T = T(X ). Η παρακάτω Πρόταη δίνει,ουιατικά,έναν τρόπο εύρεης του ΑΟΕ εκτιµητή για µια παραµετρική υνάρτηη g(θ) και γραµµικούς υνδυαµούς αυτής. Πρόταη.3.5. Αν το δείγµα X = (X, X 2,..., X n ) έχει κατανοµή µε πυκνότητα πιθανότητας f X (x; θ) η οποία ανήκει την ΜΕΟΚ (f X (x ; θ) = e A(θ)+B(x )+c(θ)d(x ) και ιχύουν, α)το ύνολο Θ είναι ανοικτό υπούνολο του R. ϐ)το c(θ) έχει υνεχή και µη µηδενική κατανοµή θ Θ. γ) < I(θ) <. Τότε,.Η τατιτική υνάρτηη D(X ) είναι ΑΟΕ εκτιµητής της g(θ) = E θ (D(X )). 2.Η τατιτική υνάρτηη c D(X ) + c 2 µε c, c 2 ταθερές c είναι ΑΟΕ εκτιµητής της c g(θ) + c 2. Ιχύει όµως και η εξής Πρόταη. Πρόταη.3.6. Ετω ότι ιχύουν οι υνθήκες (Ι),(Ι2),(Ι3) και (Ι5) του Θεωρήµατος Cramer-Rao και η (Ι4) ιχύει για κάποια τατιτική υνάρτηη T(X ),αµερόληπτο εκτιµητή του g(θ). Ετω,ακόµα,η παραµετρική υνάρτηη g(θ) είναι µη ταθερά (αν υνάρτηη του θ) και η T(X ) επιτυγχάνει το C.R.-Κ.Φ.,δηλαδή Var θ (T(X )) = g (θ)) 2 I(θ), θ Θ

15 .4 Επαρκεια 5 Τότε, f X (x ; θ) = e A(θ)+B(X)+c(θ)T(x ), x S, θ Θ,δηλαδή η κατανοµή του δείγµατος X ανήκει την ΜΕΟΚ. Παρατήρηη.3.7. Οι Προτάεις (.3.6) και (.3.6) υνεπάγονται το γεγονός ότι η εύρεη του εκτιµητή για κάποια παραµετρική υνάρτηη g(θ) είναι δυνατή µε τη χρήη του Θεωρήµατος Cramer-Rao αν και µόνο αν η κατανοµή του δείγµατος X = (X, X 2,..., X n ) ανήκει την ΜΕΟΚ και η g(θ) έχει µια υγκεκριµένη µορφή g(θ) = E θ )) ή κάποιος γραµµικός µεταχηµατιµός της E θ )). (D(X (D(X Οπως γίνεται εύκολα αντιληπτό από την παραπάνω Παρατήρηη η µέθοδος εύρεης ΑΟΕ εκτιµητή µε χρήη του Θεωρήµατος Cramer-Rao (.3.2) µας πε- ϱιορίζει τόο ως προς την οικογένεια του δείγµατος,όο και ως προς την µορφή των παραµετρικών υναρτήεων για τις οποίες ϐρίκουµε ΑΟΕ εκτιµητές, οπότε µια διαφορετική µέθοδος από την προηγούµενη η οποία να µην έχει αυτού του είδους τα προβλήµατα.αρχικά,ειάγουµε δύο έννοιες (Επάρκεια και Πληρότητα)προς αυτήν την κατεύθυνη..4 Επάρκεια Οριµός.4.. Ετω το δείγµα X = (X, X 2,..., X n ) έχει κατανοµή µε πυκνότητα πιθανότητας f X (x ; θ), θ Θ τότε η τατιτική υνάρτηη T(X ) ονοµάζεται αν η δεµευµένη κατανοµή του X δεν εξαρτάται από το θ για κάθε τιµή t για την οποία µπορεί να οριτεί η δεµευµένη κατανοµή. Ενας τρόπος εύρεης µιας επαρκούς τατιτικής υνάρτηης,εκτός του ορι- µού,δίνεται απο την παρακάτω πρόταη,η οποία αναφέρεται και ως Θεώρηµα.4.2 (παραγοντκό κριτήριο των Neyman-Fisher). Η τατιτική υνάρτηη T(X ) είναι επαρκής αν και µόνο αν f X (x ; θ) = q(t(x ); θ)h(x ), x και θ Θ,όπου q και h είναι υναρτήεις. Παρατήρηη.4.3. Ιχύουν οι παρακάτω ιδιότητες για τις επαρκείς τατιτικές υναρτήεις. )Το δείγµα X = (X,..., X n ) είναι τετριµµένα επαρκής τατιτική υνάρτηη. 2)Η τατιτική υνάρτηη T(X ) = (X (),..., X (n) ) είναι επαρκής,όπου οι X (i), i =,..., n είναι οι διατεταγµένες παρατηρήεις. 3) Ετω T = T (X ) επαρκής τατιτική υνάρτηη και T 2 = K(T )(X ),όπου K( ) είναι - υνάρτηη,τότε η τατιτική υνάρτηη T 2 (X ) είναι επαρκής. Συνήθως,όταν µιλάµε για επαρκή τατιτική υνάρτηη αναφερόµατε την ελάχιτη επαρκή. Οριµός.4.4. είναι µια επαρκής τατιτική υνάρτηη η οποία προέρχεται από την µεγαλύτερη δυνατή ύµπτηξη (δηλ. έχει την µικρότερη δυνατή διάταη). Παρατήρηη.4.5. Σχεδόν πάντα,η διάταη της παραµετρικής υνάρτηης g(θ) υµπίπτει µε την διάταη της ελάχιτης επαρκούς τατιτικής υνάρτηης.

16 6 Βαικοι Οριµοι και Θεωρηµατα Στο παρακάτω Θεώρηµα χρηιµοποιείται η έννοια της επάρκειας τη ϐελτίωη εκτιµητών. Θεώρηµα.4.6. () Ετω T = ) είναι µια επαρκής τατιτική υνάρτηη και S = ) είναι εκτιµητής της T(X παραµετρικής υνάρτηης g(θ).θέτουµε S S(X = E θ (S T).Τότε,.Η S είναι τατιτική υνάρτηη. 2.E θ (S ) = E θ (S), Θ,έτι αν S είναι αµερόληπτος εκτιµητής για την g(θ),τότε S είναι αµερόληπτος εκτιµητής για την g(θ). 3.Var θ (S ) Var θ (S), θ Θ και ιχύει αυτηρή ανιότητα,εκτός εάν S είναι υνάρτηη της τατιτικής υνάρτηης T,οπότε S = S. 4.ΜΤΣ(S, θ) ΜΤΣ(S, θ), θ Θ και ιχύει αυτηρή ανιότητα εκτός εάν S είναι υνάρτηη της τατιτικής υνάρτηης T,οπότε S = S. Εποµένως,αν S είναι ένας εκτιµητής της g(θ) ο οποίος δεν είναι υνάρτηη της επαρκούς τατιτικής υνάρτηης T,τότε ο S είναι µη αποδεκτός και ϐελτιώνεται από τον S = E θ (S T) που ονοµάζεται ϐελτίωη του S κατά Rao-Blackwell ή Rao- Blackwell ϐελτιώη του S. Παρατήρηη.4.7. Ετω T και T 2 είναι επαρκείς τατιτικές υναρτήεις και S είναι αµερόληπτος εκτιµητής της g(θ).τότε S = E θ(s T ) είναι η Rao-Blackwell ϐελτίωη του S µέω της T και S 2 = E θ(s T 2 ) είναι η η Rao-Blackwell ϐελτίωη του S,µέω της T 2. Οµως,µέω του Θεωρήµατος.4.6 δεν µπορούµε να υγκρίνουµε αυτές τις δύο ϐελτιώεις.η έννοια της πληρότητας ϑα ϐοηθήει ε αυτή την ύγκριη..5 Πληρότητα Οριµός.5.. Η τατιτική υνάρτηη T = T(X ) ονοµάζεται,αν ιχύει η ακόλου- ϑη χέη, E θ (φ(t)) =, Θ φ(t) = για κάθε δυνατή τιµή t της T,δηλαδή φ(t) =. Θεώρηµα.5.2. () Ετω T = T(X ) είναι επαρκής και πλήρης τατιτική υνάρτηη και S είναι ένας αµερόληπτος εκτιµητής του g(θ).τότε S = E θ (S T) είναι µοναδικός ΑΟΕ εκτιµητής της g(θ). Άρα µε τη ϐοήθεια του Θεωρήµατος των Lehmann-Scheffe µπορούµε να ϐρούµε ΑΟΕ εκτιµητή µε την χρήη επαρκούς και πλήρους τατιτικής υνάρτηης και µάλιτα,αν υπάρχει αυτός ο ΑΟΕ εκτιµητής,είναι και µοναδικός. Πόριµα.5.3. (Lehmann-Scheffe) Ετω T = T(X ) είναι επαρκής και πλήρης τατιτική υνάρτηη και S είναι ένας αµερόληπτος εκτιµητής της g(θ),ο οποίος είναι υνάρτηη της επαρκούς και πλήρους T.Τότε S είναι µοναδικός ΑΟΕ εκτιµητής της g(θ).

17 .6 Εκτιµηη µε την Μεθοδο Μεγιτης Πιθανοφανειας 7 Οπως καταλαβαίνουµε,ε αυτή την µεθοδολογία είναι ηµαντική η εύρεη µιας επαρκούς και πλήρους τατιτικής υνάρτηης και µέω του οριµού δεν είναι πάντα εύκολο,αλλά αν η κατανοµή του δείγµατος X ανήκει την () τα πράγµατα απλοποι-ούνται. Οριµός.5.4. Η οικογένεια κατανοµών {f X (x ; θ), θ Θ} ανήκει την Πολυπαραµετρική Εκθετική Οικογένεια Κατανοµών(ΠΕΟΚ),διάταης k,αν.το ύνολο S = {x ; f X (x ; θ) > } δεν εξαρτάται από το θ. 2.f X (x ; θ) = e A(θ)+B(X)+ k j= c j D j (x ), x S, θ Θ. Παρατήρηη.5.5. Η ΠΕΟΚ διάταης υµπίπτει µε την ΜΕΟΚ. Πρόταη.5.6. Ετω ότι το δείγµα X = (X, X 2,..., X n ) έχει κατανοµή η οποία ανήκει την ΠΕΟΚ διάταης k,τότε ιχύουν τα εξής :.Η τατιτική υνάρτηη T(X ) = (D (X ), D 2 (X ),..., D k (X )) είναι επαρκής. 2.Αν το πεδίο τιµών του διανύµατος (c (θ), c 2 (θ),..., c k (θ)) περιέχει ένα ανοικτό υπούνολο του R k,τότε η T(X ) είναι πλήρης. Το παρακάτω Θεώρηµα,γνωτό και ως Θεώρηµα Basu,πιτοποιεί και µια άλλη χρήη της επάρκειας και της πληρότητας,αυτής της απόδειξης ανεξαρτηίας µεταξύ τατιτικών υναρτήεων(δηλαδή τυχαίων µεταβλητών). Θεώρηµα.5.7. () Ετω T(X ) επαρκής και πλήρης τατιτική υνάρτηη και S(X ) είναι µία τατιτική υνάρτηη,η κατανοµή της οποίας δεν εξαρτάται από το θ,τότε οι τατιτικές υναρτήεις T(X ) και S(X ) είναι ανεξάρτητες..6 Εκτίµηη µε την Μέθοδο Μεγίτης Πιθανοφάνειας Οριµός.6.. Θεωρούµε ότι το δείγµα X = (X, X 2,..., X n ) έχει υνάρτηη πυκνότητας πιθανότητας f X (x ; θ)θ Θ,τότε ή(ή απλά πιθανοφάνεια) του θ ορίζεται από την χέη, L(θ) = L(θ x ) = f X (x ; θ) Αναφέρουµε παρακάτω τον οριµό του Εκτιµητή Μεγίτης Πιθανοφάνειας (Ε.Μ.Π.) Οριµός.6.2. Ο εκτιµητής ˆθ = ˆθ(X ),που ικανοποιεί τη χέη ονοµάζεται (Ε.Μ.Π.) του θ. L(ˆθ) = max θ Θ L(θ) Παρατήρηη.6.3. Από τον προηγουµένο οριµό ϕαίνεται ότι ο Ε.Μ.Π. του θ είναι εκείνη η τιµή του θ,η οποία µεγιτοποιεί τη υνάρτηη πιθανοφάνειας.επειδή η υνάρτηη ln x είναι γνηίως αύξουα υνάρτηη του x,η τιµή του θ που µεγιτοποιεί την L(θ) είναι η ίδια µε αυτήν που µεγιτοποιεί την ln L(θ).Συνήθως ακολοθούµε αυτήν την διαδικαία όταν το µέγιτο µπορεί να ϐρεθεί µε παραγώγιη.

18 8 Βαικοι Οριµοι και Θεωρηµατα Παρατήρηη.6.4..Η µέθοδος µεγίτης πιθανοφάνειας ιχύει και για το διάνυ- µα θ = (θ, θ 2,..., θ k ) 2.Είναι δυνατόν ο εκτιµητής ˆθ να µην µπορεί να ϐρεθεί ε αναλυτική µορφή,τότε η τιµή του θ για την οποία επιτυγχάνεται η µεγιτοποιήη της L(θ) ϐρίκεται µε µεθόδους αριθµητικής ανάλυης. 3.Οριµένες ϕορές υπάρχουν παθολογικές κατατάεις µε την έννοια ότι είτε δεν υπάρχει τιµή του θ η οποία να µεγιτοποιεί τη υνάρτηη πιθανοφάνειας,είτε υπάρχουν περιότερα µέγιτα για την L(θ) και υνεπώς περιότεροι του ενός Ε.Μ.Π. Παρατήρηη.6.5. Σε αυτό το ηµείο αναφέρουµε κάποιες γενικές ιδιότητες των Ε.Μ.Π..Από τον Οριµό.6.2 προκύπτει(αν υπάρχει) παίρνει τιµές µέα τον παραµετρικό χώρο Θ. 2.Αν ο Ε.Μ.Π. του θ είναι µοναδικός,τότε είναι υνάρτηη της επαρκούς τατιτικής υνάρτηης. 3.Αν ˆθ = ˆθ(X ) είναι Ε.Μ.Π. του θ,τότε ο Ε.Μ.Π. της παραµετρικής υνάρτηης g(θ) είναι ο g(ˆθ). 4.Οι Ε.Μ.Π. είναι(υπό οριµένες υνθήκες) υνεπείς εκτιµητές(ϐλ. Οριµό.7. )..7 Συνέπεια Οριµός.7.. Ετω T n = T(X, X 2,..., X n ), n =, 2,... ένας εκτιµητής της παραµετρικής υνάρτηης g(θ).τότε ο εκτιµητής T n ονοµάζεται αν lim n P( T n g(θ) > ε) =, ε >. Η παρακάτω Πρόταη δίνει ικανές υνθήκες έτι ώτε ένας εκτιµητής για την g (θ) να είναι υνεπής. Πρόταη.7.2. Ετω ότι ο εκτιµητής T n ικανοποιεί τις παρακάτω υνθήκες,.var θ T n, n + 2.b(T n, θ) = E θ T n g(θ), n + Τότε ο T n είναι υνεπής εκτιµητής της παραµετρικής υνάρτηης g(θ). Παρατήρηη.7.3. Οι Ε.Μ.Π έχουν(υπό οριµένες υνθήκες) κάποιες αυµπτωτικές ιδιότητες.αν X, X 2,..., X n είναι ένα τυχαίο δείγµα από κατανοµή µε πυκνότητα πι- ϑανοτητας f (x; θ) και υµβολίουµε µε ˆθ τον Ε.Μ.Π. του θ,τότε.η κατανοµή του ˆθ είναι κατά προεγγίη (n + ) η κανονική κατανοµή δηλαδή ˆθ N(θ, I(θ) ) όπου I(θ) είναι ο αριθµός πληροφορίας του Fisher.

19 .8 Εκτιµητες Bayes και minimax 9 2.Ο ˆθ είναι αυµπτωτικά αποτελεµατικός εκτιµητής αν κάποιος άλλος εκτιµητής του θ,δηλαδή αν υπάρχουν οι ΑΟΕ και Ε.Μ.Π. για κάποια g(θ),τότε αυτοί δεν διαφέρουν ουιατικά. Οι παραπάνω ιδιότητες των Ε.Μ.Π. υνεπάγονται ότι ο ˆθ είναι αυµπτωτικά ΑΟΕ για το θ,δηλαδή α υπάρχουν ΑΟΕ και Ε.Μ.Π. για κάποια g(θ),τότε αυτοί διαφέρουν αυµπτωτικά..8 Εκτιµητές Bayes και minimax Η εκτίµηη κατά Bayes γίνεται από µια διαφορετική κοπιά ε χέη µε ότι έ- χουµε αντιµετωπίει µέχρι τώρα,που αντιλαµβανόµαταν το θ απλά αν ένα πραγ- µατικό αριθµό χωρίς καµιά ιδιότητα.αν π.χ. ϑεωρήουµε µια ϐιοµηχανία η οποία παράγει ηλεκτρικούς λαµπτήρες,τότε ο χρόνος αυτών των λαµπτήρων ακολουθεί την εκθετική κατανοµή µε άγνωτη παράµετρο θ και αυτή η παράµετρος εκφράζει τον µέο χρόνο ωής των λαµπτήρων. Εποµένως δεν πρέπει να αναµένουµε ούτε µεγάλες τιµές για το θ,αλλά ούτε και µικρές. ηλαδή ε χέη µε το πρόβληµα και την εµπειρία που διαθέτουµε πρέπει να δώουµε µια διαφορετική ϐαρύτητα τις διάφορες τιµές του θ για να εκµεταλλευτούµε αυτήν την εµπειρία ώτε να δώουεµε καλύτερη εκτίµηη για το θ. Οπότε,θεωρούµε το θ αν µια τυχαία µεταβλητή µε πυκνότητα πιθανότητας π(θ), θ Θ,και τις εξής ιδιότητες, (i)π(θ), θ Θ και (ii) π(θ)dθ = (ή π(θ) = ) Η υνάρτηη π(θ) ονοµάζεται Θ του θ και εκφράζει την είτε την προωπική µας αντίληψη για την πιθανή τιµή του θ,είτε υνοψίζει κάποιες εκ των προτέρων(δηλ. πριν την υλλογή δεδοµένων)πληροφορίες για το θ.θεωρούµε µια υνάρτηη κινδύνου L(t, θ) και προπαθούµε να ελαχιτοποιήουµε τη υνάρτηη κινδύνου R(T, θ) = E θ (L(T(X ), θ) Επειδή έχουµε ϑεωρήει ότι το θ είναι µια τυχαία µεταβλητή,προφανώς,η υνάρτηη κινδύνου είναι και αυτή µία τυχαία µεταβλητή,εποµένως είναι λογικό ε αυτή την περίπτωη,να προπαθούµε να ελαχιτοποιήουµε την µέη τιµή της,δηλαδή την BR(T) = E(R(T, θ)) = R(T, θ)π(θ)dθ η οποία ονοµάζεται κίνδυνος Bayes του εκτιµητή T.Συνεπώς ϐέλτιτος εκτιµητής είναι εκείνος που ελαχιτοποιεί τον κίνδυνο Bayes,οπότε καταλήγουµε τον εξής οριµό για τον εκτιµητή Bayes Οριµός.8.. Ο εκτιµητής T = T (X ) ονοµάζεται του g(θ),ως προς τη υνάρτηη ηµίας L(t, θ) και την εκ των προτέρων κατανοµή π(θ) αν, R(T, θ)π(θ)dθ R(T, θ)π(θ)dθ για κάθε εκτιµητή T = T(X ). Θ Θ Θ θ

20 Βαικοι Οριµοι και Θεωρηµατα Συνήθως,για να υπολογίουµε αυτόν τον εκτιµητή Bayes πρέπει να ϐρούµε πρώτα την του θ f ; θ)π(θ) (x όπου f ( x ) = Θ π(θ x ) = f (x ) f (x ; θ)π(θ)dθ.η εκ των υτέρων κατανοµή υνοψίζει την πληροφορία για το θ µετά την υλλογή των δεδοµένων και έχει τις ιδιότητες της υνάρτηης πυκνότητα πιθανότητας. Παρατήρηη.8.2. Είναι ηµαντικό να τονίουµε,ε αυτό το ηµείο,ότι δεν µας ενδιαφέρει ιδιαίτερα η ακριβής υνάρτηη π(θ x ),αλλά η µορφή της εκ των υτέρων κατανοµής για την οποία διαπιτώνουµε,υνήθως,ότι ακολουθεί κάποια από τις γνωτές κατανοµές. Στο επόµενο ϑεώρηµα δίνουµε έναν διαφορετικό τρόπο υπολογιµού του εκτιµητή Bayes. = T (X ) της παραµετρικής υνάρτηης g(θ) ως προς τη υνάρτηη L(t, θ) και την εκ των προτέρων κατανοµή π(θ) έχει τιµή T (x ) = t,όπου t είναι η τιµή του t που ελαχιτοποιεί τη υνάρτηη Θεώρηµα.8.3. Για X = x ο εκτιµητής Bayes T h (t) = L(t, )dθ θ)π(θ x Θ Αν επιπλέον,η υνάρτηη ηµίας είναι το τετραγωνικό φάλµα,δηλαδή L(t, θ) = (t g(θ)) 2,τότε η εύρεη του εκτιµητή Bayes γίνεται πιο απλά,όπως ϕαίνεται και το παρακάτω Θεώρηµα. Θεώρηµα.8.4. Ετω ότι η υνάρτηη ηµίας για την εκτίµηη του g(θ) είναι το τετραγωνικό φάλµα L(t, θ) = (t g(θ)) 2.Τότε για X = x ο εκτιµητής Bayes T = T (X ) της παραµετρικής υνάρτηης g(θ) έχει τιµή T (x ) = E θ (g(y )),όπου Y είναι µια τυχαία µεταβλητή µε κατανοµή την εκ των υτέρων κατανοµή π(θ x )..8α Εκτιµητές minimax Ενας άλλος τρόπος για να υπολογίουµε έναν καλό εκτιµητή είναι να ϐρούµε εκείνον τον εκτιµητή T = T(X ) που ελαχιτοποιεί τη µέγιτη τιµή της υνάρτηης κινδύνου,maxr(t, θ) δηλαδή τη µέγιτη µέη ηµιά.οπότε έχουµε τον εξής οριθ µό. Οριµός.8.5. Ο εκτιµητής T = T (X ) ονοµάζεται εκτιµητής του g(θ),ως προς τη υνάρτηη ηµίας L(t, θ) αν, για κάθε εκτιµητή T = T(X ) max R(T, θ) maxr(t, θ) θ Θ θ Θ Η εύρεη ενός εκτιµητή minimax γίνεται µε τη ϐοήθεια του παρακάτω Θεω- ϱήµατος.

21 .9 Θεωρηµα Μεταχηµατιµου Θεώρηµα.8.6. Αν ο εκτιµητής T = T (X ) είναι εκτιµητής Bayes της παραµετρικής υνάρτηης g(θ),ως προς την υνάρτηη ηµίας L(t, θ) και την εκ των προτέρων κατανοµή π(θ) και έχει ταθερά υνάρτηη κινδύνουν,δηλαδή, R(T, θ) = c, θ Θ τότε ο T = T (X ) είναι εκτιµητής minimax του g(θ)..9 Θεώρηµα Μεταχηµατιµού Θεώρηµα.9.. () Ετω X µια υνεχής τυχαία µεταβλητή µε υνάρτηη πυκνότητας πιθανότητας f X (x).θέτουµε S = {x : f X (x) > }. Υποθέτουµε ότι : (i) y = h(x) είναι ένας αµφιµονοήµαντος(ένα -προς-ένα) µεταχηµατιµός(µετρήιµη υνάρτηη) που απεικονίζει το ύνολο S ε ένα ύνολο T των y. (ii) η αντίτροφη υνάρτηη x = h (y) είναι παραγωγίιµη και η παράγωγος της υνεχής και µη µηδενική για κάθε y T. Τότε η τυχαία µεταβλητή Y = h(x) είναι υνεχής µε υνάρτηη πυκνότητας πι- ϑανότητας f f Y (y) = X [h (y)] dh (y) dy, y T, αλλού,όπου ηµαίνει την απόλυτο τιµή της υνάρτηης.. Αναλλοίωτο Πρόβληµα Εκτίµηης Θεωρούµε ότι X είναι µια τυχαία µεταβλητή η οποία παίρνει τιµές ε ένα δειγµατικό χώρο X,ύµφωνα µε µία πυκνότητα πιθανότητας από την οικογένεια κατανοµών P = {P θ, θ Θ} (.) Ορίζουµε αν E µια κλάη - µεταχηµατιµών g : X X. Οριµός... (i)αν g : X X είναι - µεταχηµατιµός,αν,επίης, για κάθε θ Θ,η κατανοµή της τ.µ.,x = g(x) είναι µέλος της κλάης P,έτω P θ,όπου θ Θ,τότε η οικογένεια κατανοµών της Σχέης (.) ονοµάζεται (ii)αν η (i) ιχύει για κάθε µέλος της κλάης των µεταχηµατιµών E,τότε η οικογένεια κατανοµών P είναι αναλλοίωτη ως προς την E. Παρατήρηη..2. Μια κλάη µεταχηµατιµών, η οποία αφήνει µια οικογένεια κατανοµών αναλλοίωτη µπορεί πάντα να ϑεωρηθεί ότι είναι µια οµάδα G = G(E) η οποία γεννιέται από την κλάη E. Ετω {g(x), g G} είναι µια οµάδα µεταχηµατιµών του δειγµατικού χώρου,η οποία αφήνει την οικογένεια κατανοµών αναλλοίωτη.αν η τ.µ. g(x) έχει κατανοµή P θ,τότε θ = ḡ(θ) είναι µια υνάρτηη ḡ : Θ Θ και ο µεταχηµατιµός ḡ(θ) είναι -,δεδοµένου ότι οι κατανοµές P θ, θ Θ είναι διαφορετικές. Επιπλέον,οι µεταχηµατιµοί ḡ δηµιουργούν µία οµάδα µεταχηµατιµών,η οποία ϑα αναφέρεται ως Ḡ.Από τον οριµό της ḡ(θ),έπεται ότι, P θ (g(x) A) = Pḡ(θ) (X A) (.2)

22 2 Βαικοι Οριµοι και Θεωρηµατα Θεωρούµε το γενικό πρόβληµα εκτίµηης µία παραµετρικής υνάρτηης τ(θ) την οικογένεια κατανοµών (.),η οποία ϑεωρείται ότι είναι αναλλοίωτη ως προς τους µεταχηµατιµούς X = g(x), θ = ḡ(θ), g G Μια επιπλέον υνθήκη που απαιτείται είναι ότι για κάθε ḡ,η τ(ḡ(θ)) εξαρτάται από το Θ,µόνο µέω της τ(θ),δηλαδή ιχύει ότι τ(θ ) = τ(θ 2 ) τ(ḡ(θ )) = τ(ḡ(θ 2 )) (.3) Η κοινή τιµή του τ(ḡ(θ)),για όλα τα θ για τα οποία η τ( ) παίρνει την ίδια τιµή ϑα ορίζεται από τη χέη, g(τ(θ)) = τ(ḡ(θ)) (.4) Αν H είναι το ύνολο των τιµών της τ(θ), θ Θ, οι µεταχηµατιµοί g : H H δηµιουργούν µία οµάδα µεταχηµατιµών G. Η εκτιµώµενη τιµή d της τ(θ),όταν εκφραθεί τις καινούργιες υντεταγµένες,γίνεται : d = g(d) (.5) Αφού τα προβλήµατα εκτίµηης είτε της τ(θ) ε χέη µε την τριάδα (X, θ, d),είτε της τ(θ ) ε χέη µε την τριάδα (X, θ, d ) αναπαρατά την ίδια ϕυική κατάταη εκφραµένη ε καινούργιο ύτηµα υντεταγµένων, η υνάρτηη ηµίας ϑα πρέπει να ικανοποιεί τη χέη, L(d, θ ) = L(d, θ) Οριµός..3. Αν η οικογένεια κατανοµών (.) είναι αναλλοίωτη ως προς την g η υνάρτηη ηµίας L(, ) ικανοποιεί τη χέη L( g(d), ḡ(θ)) = L(d, θ) (.6) και η τ(θ) ικανοποιεί τη Σχέη (.3),τότε το πρόβληµα εκτίµηης της τ(θ) µε υνάρτηη ηµίας L(, ) είναι αναλλοίωτο ως προς την g. Οριµός..4. Σ ένα αναλλοίωτο πρόβληµα εκτίµηης,ένας εκτιµητής δ(x) ονοµάζεται ( equivariant) αν, δ(g(x)) = g(δ(x)), g G

23 Κεφάλαιο 2 Ποοτιαίο ηµείο διπαραµετρικής εκθετικής κατανοµής 2. ιπαραµετρική εκθετική κατανοµή Οριµός 2... Η τυχαία µεταβλητή Χ ακολουθεί τη ή µε παραµέτρους µ R και >,εάν η πυκνότητα της είναι : { f (x; µ, ) = e (x µ), αν x µ, αν x < µ Η υνάρτηη κατανοµής της είναι : { (x µ) e, αν x µ F(x; µ, ) =, αν x < µ Συµβολικά γράφουµε X E(µ, ) Παρατήρηη Με την µορφή δείκτριας υνάρτηης η πυκνότητα πιθανότητας και οι υνάρτηη κατανοµής παίρνουν την µορφή : f (x; µ, ) = e (x µ) I [µ, )(x) F(x; µ, ) = e (x µ) I [µ, ) (x) Παρατήρηη Οταν X E(µ, ) X µ E() Οριµός Ετω Χ τ.µ. µε πυκνότητα πιθανότητας της µορφής f (x µ) τότε το µ καλείται της κατανοµής. Παρατήρηη Το µ είναι παράµετρος ϑέης της διπαραµετρικής εκθετικής κατανοµής. Οριµός Ετω Χ τ.µ. µε πυκνότητα πιθανότητας της µορφής f ( x ), τότε το καλείται της κατανοµής.

24 4 Ποοτιαιο ηµειο διπαραµετρικης εκθετικης κατανοµης Παρατήρηη Το είναι παράµετρος κλίµακος της διπαραµετρικής εκ- ϑετικής κατανοµής. 2.α Ποοτιαίο ηµείο διπαραµετρικής εκθετική κατανοµής Οριµός Ετω X τυχαία µεταβλητή µε κάποια κατανοµή F. Αν P(X > x p ) = p,τότε το ηµείο x p ονοµάζεται το p- της κατανοµής F. Πρόταη Ετω X είναι τυχαία µεταβλητή από τη διπαραµετρική Εκθετική κατανοµή E(µ, ), µ R και >, τότε το ποοτιαίο ηµείο της κατανοµής,είναι της µορφής x p = µ + κ Απόδειξη : P(x < x p ) = F(x p ) (υνάρτηη κατανοµής) µε p P(x > x p ) = F(x p ) p = e xp µ µεx p µ p = e xp µ p = e xp µ x p = µ ln(p) ϑέτουµε κ = ln(p) και ιχύει κ > (καθώς p ln(p) < κ = ln(p) > ). Συµπεραµατικά x p = µ + κ µε κ = ln p >. 2.2 Εύρεη Α.Ο.Ε. και Ε.Μ.Π εκτιµητών για το µ και το Σε αυτήν την ενότητα τοχεύουµε την εύρεη Α.Ο.Ε. εκτιµητή και Ε.Μ.Π για τις παραµέτρους µ R και > της διπαραµετρικής εκθετικής κατανοµής E(µ, ) όπου τα µ και είναι άγνωτα. Θεωρούµε ένα τυχαίο δείγµα X, X 2,..., X n από την κατανοµή E(µ, ) και ϑέτουµε : X = X () = min{x, X 2,..., X n } S = (X i X () ). n= Πρόταη Οι τατιτικές υναρτήεις. Απόδειξη : Για να αποδείξουµε την ανεξαρτηία των X και S ϑεωρούµε ότι προς τιγµήν ότι µ = µ γνωτό και άγνωτο. Υπό αυτές τις υνθήκες είναι εύκολο να δειχθεί ότι η τατιτική υνάρτηη X = X () είναι επαρκής και πλήρης(η αποδείξη δίνεται παρακάτω). Παρατηρούµε ότι αν ϑέουµε Z i = X i X (),δηλαδή X i = Z i + X () δεν εξαρτάται

25 2.2 Ευρεη Α.Ο.Ε. και Ε.Μ.Π εκτιµητων για το µ και το 5 από το µ,οπότε και η κατανοµή του τυχαίου διανύµατος (X X (),, X n X () ) δεν εξαρτάται από το µ. Από το Θεώρηµα Basu(ϐλέπε Παράρτηµα.5.7) έχουµε ότι οι X () και (X, X 2,, X n ),εποµένως ιχύει ότι οι M και S είναι ανεξάρτητες µεταξύ τους. Πρόταη Η τυχαία µεταβλητή X = min{x, X 2,, X n } ακολουθεί την διπαραµετρική εκθετική κατανοµή E(µ, n ),δηλαδή X () E(µ, n ) Απόδειξη : Για να ϐρούµε την κατανοµή της X ϑα κάνουµε χρήη της υνάρτηης κατανοµής. Ετω F X() υνάρτηη κατανοµής της κατανοµής της X (),τότε F X() = P µ, [X() t] = P µ, [X () > t]. Επειδή η X () είναι η µικρότερη παρατήρηη από τις X i,η παραπάνω γίνεται : F X() = P µ, [X > t,, X n > t]. Επειδή X,, X n είναι ανεξάρτητες και ιόνοµες(τυχαίο δείγµα),έχουµε : F X() (t) = [P µ, (X > t)] n = [ P µ, (X < t)] n = [ F X (t)] n όπου F X() (t) = n I [µ, ) (t). οπότε λόγω της Παρατήρηης 2..2, η τυχαία µεταβλητή M = X () ακολουθεί την διπαραµετρική εκθετική κατανοµή E(µ, n ). n(t µ) e Πρόταη Η τυχαία µεταβλητή S = (X i X () ) ακολουθεί την κατανοµή n= Gamma(n, ),δηλαδή S Gamma(n, ) Απόδειξη : Για να ϐρούµε την κατανοµή της τ.µ. S = (X i X () ) ϑα κάνουµε χρήη των ϱοπογεννητριών υναρτήεων. Ιχύει ότι n= n (X i µ) = i= n (X i X () ) + n(x () µ) (2.) i= Οµως X i E(µ, ) X i µ E() n (X i µ) G(n, ) i= Επίης X () E(µ, ) E( ) n n n(x () µ) E() Επιπλέον έχουµε δείξει ότι οι τατιτικές υναρτήεις S και X () είναι ανεξάρτητες,οπότε και οι τατιτικές υναρτήεις n (X i X () ) και n(x () µ) είναι ανεξάρτητες. i= i= Αν ϑεωρήουµε ότι S = n (X i µ) και S 2 = n(x () µ) έχουµε ότι οι ϱοπογεν- νήτριες αντίτοιχα είναι m S (t) = ( t) και m n S2 (t) = ( t) µε t < οπότε εκµεταλλευόµενοι και την ανεξαρτηία των S, S 2 προκύπτει ότι m S (t) = m S (t)m S2 (t) m S (t) = ms (t) m S (t) m S (t) = µε t < δηλαδή S G(n, ). ( t) n Πρόταη Η τατιτική υνάρτηη T(X ) = (S, X () ) είναι επαρκής.

26 6 Ποοτιαιο ηµειο διπαραµετρικης εκθετικης κατανοµης Απόδειξη : Για να είναι µια τατιτική υνάρτηη T(X) επαρκής αρκεί να ιχύει το κριτήριο Neymann Fisher,βλέπε Θεώρηµα.4.2όµως, f (x ; µ, ) = n f (x i ; µ, ) = i= n i= xi µ e I [µ,+ ) (x i ) = n e n (X i µ) i= n I [µ, ) (x i ) i= Επειδή, {, αν xi µ n I [µ, ) (x i ) =, αν x i < µ I [µ, ) (x i ) = i= {, αν xi µ, αν x i < µ ή διαφορετικά τελικά έχουµε, n I [µ, ) = i= {, αν x() µ, αν x () > µ = I [µ, )(x () ) (2.2) f (x; µ, ) = e ( n x i nµ) n i= I[µ, ) (x () ) Εποµένως για h(x) = και q(t(x); µ, ) = f (x; µ, ) προκύπτει ότι η τατιτική υνάρτηη ( n X i, X () είναι επαρκής(ϐλέπε Παρατήρηη.4.3). i= Οµως η T(X ) = (S, X () ) = ( n (X i X (), X () ) είναι - απεικόνιη της τατιτικής i= υναρτήεως ( n X i, X () ) που είναι επαρκής,οπότε και η τατιτική υνάρτηη i= ) είναι επαρκής. T(X Πρόταη Η τατιτική υνάρτηη T(X ) = (S, X () ) είναι πλήρης. Απόδειξη : Για να είναι η τατιτική υνάρτηη (S, X () ) πλήρης πρέπει εξ οριµού να ιχύει ότι E θ (ϕ(s, X () )) =, θ = (µ, ) Θ ϕ(s, x) =, (s, x) R + R. Από τις Πρόταεις και γνωρίζουµε ότι S Gamma(n, ) και X () E(µ, )και λόγω της ανεξαρτηίας προκύπτει ότι : n (x µ) en = f S,X() (s, x) = s n 2 e s n Γ(n ) n µε s > και x µ. Οπότε ne nµ θ = (µ, ) R R +, E θ φ(s, X) Γ(n ) n Θέτοντας όπου s n 2 φ(s, x)ds = h(x) έχουµε nµ ne s n 2 e s Γ(n ) n e nx = µ E θφ(s, X () ) = e nµ h(µ) h(µ) =, µ R µ s n 2 e s φ(s, x)dsdx = ηλαδή, s n 2 e s φ(s, x)ds =, s >,x R

27 2.3 Ευρεη Α.Ο.Ε..και Ε.Μ.Π εκτιµητη για το ποοτιαιο ηµειο 7 Η παραπάνω χέη απαιτεί να ιούται µε το µηδέν ο µεταχηµατιµός Laplace της υνάρτηης φ(s, x)s n 2 άρα φ(s, x) =, s > και m R δηλαδή η T(X ) είναι πλήρης. 2.2α Ε.Μ.Π εκτιµητές για την παράµετρο ϑέης µ και για την παράµετρο κλίµακος Πρόταη Οι Ε.Μ.Π του µ και είναι οι τατιτικές υναρτήεις ˆµ = X () και ˆ = n S αντίτοιχα. Απόδειξη : Κατ αρχάς ϑεωρούµε το µ ταθερό και ϐρίκουµε Ε.Μ.Π. για το,δηλαδή, Για την εύρεη Ε.Μ.Π. του θ = (µ, ) αρκεί να επιλυθεί το παρακάτω ύτηµα εξιώεων : log f (x; µ, ) = n + 2 Ενώ, 2 Άρα ο Ε.Μ.Π. είναι : log f (x; µ, ) = µ log f (x; µ, ) = (2.3) n (x i µ) =. i= 2 log f (x; µ, ) = n ˆ = n n (X i µ) < i= n (x i µ). i= Στην περίπτωη που X () µ ϑέλουµε να µεγιτοποιήουµε ως προς µ την παρακάτω : n log f (x; µ, ) = n log (X i µ). Επειδή όµως x i µ i ή διαφορετικά i= x () µ δηλαδή η µέγιτη τιµή ως προς µ είναι η x () ή ˆµ = X (),οπότε και ο n Ε.Μ.Π. του είναι ο ˆ = (X n i X () ) = n S. i= 2.3 Εύρεη Α.Ο.Ε..και Ε.Μ.Π εκτιµητή για το ποοτίαιο ηµείο 2.3α Εύρεη Ε.Μ.Π. εκτιµητή για το ποοτίαιο ηµείο Παρατήρηη Για την εύρεη του Ε.Μ.Π. εκτιµητή του ποοτίαιου ηµείου ϑα ϐαιτούµε την παρακάτω ιδιότητα : Αν ˆθ είναι Ε.Μ.Π. του θ τότε και ο g(ˆθ) είναι Ε.Μ.Π. της g(θ). Εποµένως, απο την Πρόταη γνωρίζουµε ότι ˆµ = X () και ˆ = n n Άρα ˆµ + κ ˆ = X () + κ (X n i X () ) µε κ > είναι ο. i= n (X i µ) i=

28 8 Ποοτιαιο ηµειο διπαραµετρικης εκθετικης κατανοµης 2.3β Εύρεη Α.Ο.Ε.. εκτιµητή για το ποοτιαίο ηµείο Εχουµε αποδείξει ότι η τατιτική υνάρτηη T(X) = ( n ((X i X () ), X () )από Πρόταεις και είναι επαρκής και πλήρης. Αρκεί λοιπόν να ϐρούµε έναν αµερόληπτο εκτιµητή U του µ + κ για τον οποίο ιχύει ότι U = U(T),τότε αυτός ϑα είναι Α.Ο.Ε. του µ +κ,(ϐλέπε Πόριµα.5.2) i= S G(n, ) E(S) = (n ) E( n S) = X () E(µ, n ) E(X ()) = µ + n = µ + n E( n S) E[X () n(n ) S] = µ και E[X () S] = µ (2.4) n(n ) E[ S] = (2.5) n Προθέτοντας τις (2.4) και (2.5) κατά µέλη καταλήγουµε το υµπέραµα ότι, E[X () n(n ) S + κ n S] = E[X () Άρα ο είναι ο X () + n (κ n )S. n(n ) S] Βέλτιτος εκτιµητής την κλάη εκτιµητών {X () + cs; c > } κ E[S] = µ + κ n Παρατηρούµε ότι τόο ο Α.Ο.Ε.,όο και ο Ε.Μ.Π εκτιµητής του ποοτιαίου ηµείου x p = µ + κ,είναι της µορφής X () + cs,εποµένως είναι λογικό να ψάξουµε να ϐρούµε τον ϐέλτιτο εκτιµητή,ως προς το τροποποιηµένο τετραγωνικό φάλµα,µέα την κλάη των εκτιµητών του x p, C = {δ c δ c = X () + cs; c > } Πρόταη Ο ϐέλτιτος εκτιµητής,την κλάη εκτιµητών {X () + cs; c > }, για το ποοτιαίο ηµείο είναι µε Z = X () S. δ = X () + n (κ n )S = [Z + n (κ n )]S Απόδειξη : Παίρνουµε το τροποποιηµένο τετραγωνικό φάλµα του εκτιµητή δ c = X () + cs δηλαδή, R(δ c ; µ + κ) = { } (X() + cs) (µ + κ) 2 E = { X() µ E + c S } 2 + κ = φ(c)

29 2.4 Βελτιτος εκτιµητης την κλαη εκτιµητων {X () + cs; c > } 9 Εχουµε ότι : X () E(µ, n ) f X () (x) = n x µ e n Αν ϑέουµε w = x () µ καιdw = dx () δηλαδή και W E( n ). f W (w) = e w n n Επίης έχουµε δείξει ότι S Gamma(n, ). Βρίκουµε την κατανοµή του S. Γνωρίζουµε ότι S Gamma(n, ) από Πρόταη 2.2.3,άρα : Άρα f S (s) = n Γ(n ) sn 2 e s z = S ds dz = ds = dz Ετι από το Θεώρηµα µεταχηµατιµού (ϐλέπε Θεώρηµα.9.) f Z (z) = n Γ(n )zn 2 n 2 e z ds dz f Z(z) = Γ(n ) zn 2 e z Τελικά Ετι, Z = S Gamma(n, ) { E ( X () µ φ(c) = E } { X() µ + 2cE { (X() + cs) (µ + κ) S } + c 2 E { S 2 2 } + κ 2 2κE } 2 { X() µ = E { X() µ + c S + κ } 2 = } 2κcE { S } Γνωρίζουµε από Πρόταη 2.2. ότι X () = min{x, X 2,..., X n } είναι ανεξάρτητη από τη S = n άρα και X () µ και S ανεξάρτητα(ως γραµµικός υνδυαµός). i= Άρα ιχύει ότι, { X() µ E } { S X() µ = E } E { S } = n(n ). Ετι η φ(c) γίνεται, φ(c) = 2c n (n ) + c2 [(n ) + (n ) 2 ] + κ 2 2κ 2κc(n ). n

30 2 Ποοτιαιο ηµειο διπαραµετρικης εκθετικης κατανοµης Ελαχιτοποιούµε την φ(c) ως προς c. Ετι : φ(c) = 2(n ) c n + 2c[(n ) + (n )2 ] 2κ(n ) = Άρα c = n (κ n ). 2 φ(c) c 2 = 2[(n ) + (n ) 2 ] > Εποµένως ο C = {δ c δ c = X () + cs; c > },µε κριτήριο το τροποποιηµένο τετραγωνικό φάλµα είναι δ = X () + n (κ )S (2.6) n 2.5 Αναλλοίωτο Πρόβληµα Εκτίµηης Το πρόβληµα της εκτίµηης του θ = µ + κ είναι αναλλοίωτο ως προς γραµµικούς µεταχηµατιµούς,και έτι αν δ(x, y)είναι ένας ιοδύναµος εκτιµητής,τότε για όλα τα c >. δ = (cx + d, cy) = cδ(x, y) + d Για X, X 2,..., X n τ.δ. E(µ, ). Θεωρούµε ότι L(d; µ, ) = (d τ (µ, 2 )) 2 Επίης T(X) = (S, X () ),από Πρόταη 2.2.4,είναι επαρκής τατιτική υνάρτηη. Επίης T(X) = (S, X () ),από Πρόταη 2.2.5,είναι πλήρης τατιτική υνάρτηη. (όπου S = n (X i X () )). i= Παρατήρηη Παρατηρούµε ότι 2 X () E(µ, ) n S = n (X i X () ) Gamma(n, ) i= και µε γραµµικούς µεταχηµατιµούς. } αx () + ϐ E(αµ + ϐ, α) Οι πυκνότητες διατηρούνται. αs Gamma(n, α) Από τις κατανοµές ϑεωρώ : ḡ α,ϐ (µ, ) = (αµ + ϐ, α)

31 2.5 Αναλλοιωτο Προβληµα Εκτιµηης 2 Επίης ϑεωρούµε τον γραµµικό µεταχηµατιµό g c : (X (), S) (αx () + ϐ, α) Παρατήρηη Θέλω να εκτιµήω το τ (µ, ) = µ + κ Ψάχνω g : g(µ + κ) = τ (ḡ α,ϐ (µ, )) g(µ + κ) = τ (αµ + ϐ, α) g(µ + κ) = αµ + ϐ + κ(α) g(µ + κ) = α(µ + κ) + ϐ Ετω d = µ + κ. Αρα µεταχηµατιµός είναι : g(d) = α + dϐ Παρατήρηη Αποδεικνύω ότι η υνάρτηη ηµιάς παραµένει αναλλοίωτη εφαρµόζοντας τον πιο πάνω µεταχηµατιµό. ηλαδή ιχύει ότι : L( g(d), τ (ḡ(µ, ))) = = (αd + ϐ (αµ + ϐ + κ(α)))2 (α) 2 (αd + ϐ αµ ϐ κ(α))2 (α) 2 = α2 (d (µ + κ)) 2 α 2 L( g(d), τ (ḡ(µ, )) = L(d; (µ, )) Εποµένως έχουµε αναλλοίωτο πρόβληµα εκτίµηης. Παρατήρηη Βρίκω αναλλοίωτο εκτιµητή Τ,τέτοιον ώτε : T(g(X (), S)) = g(t(x (), S)) T(αX () + ϐ, αs) = αt(x (), S) + ϐ α = S αx () + ϐ = } α = S και ϐ = X () S T(, ) = S T(X (), S) X () S T(X (), S) = T(, )S + X () T(X (), S) = X () + T(, )S

32 22 Ποοτιαιο ηµειο διπαραµετρικης εκθετικης κατανοµης ηλαδή X () + cs = T(X (), S). όπου c = T(, ). Παρατήρηη Η µορφή των αναλλοίωτων εκτιµητών (X () +cs) είναι ακριβώς ίδια µε την µορφή των εκτιµητών της κλάης C(ϐλέπε την προηγούµεν ενότητα).εποµένως, ο εκτιµητής δ = X () + n (κ )S, ο οποίος είναι ο ϐέλτιτος την κλάη C,είναι και n ο για το υγκεκριµένο πρόβληµα εκτίµηης,όπως αυτό αναφέρθηκε παραπάνω.

33 Κεφάλαιο 3 Εκτιµητές τύπου Stein 3. Ειαγωγή Σε αυτό το κεφάλαιο ϑα αχοληθούµε µε την εύρεη ϐελτιωµένων εκτιµητών για το ποοτιαίο ηµείο της διπαραµετρικής εκθετικής κατανοµής.με κριτήριο το τροποποιηµένο τετραγωνικό φάλµα ϑα παράγουµε εκτιµητές οι οποίοι είναι καλύτεροι από τον ϐέλτιτο αναλλοίωτο εκτιµητή δ,ο οποίος δίνεται τη Σχέη (2.6). Η τεχνική που ϑα χρηιµοποιήουµε είναι αυτή του. Εχουµε δείξει το προηγούµενο κεφάλαιο,ότι η επαρκής και πλήρης τατιτική υνάρτηη για το µοντέλο της διπαραµετρικής εκθετικής κατανοµής είναι η (X (), S) µε S = n (X i X () ). Στην κλάη των εκτιµητών του ποοτιαίου ηµείου i= C = {δ c δ c = X () + cs; c > },ο ϐέλτιτος εκτιµητής µε κριτήριο το ΜΤΣ είναι ο δ = X () + n (κ n )S. Θεωρούµε µια πιο ευρεία κλάη εκτιµητών,την D = { } δ φ δ φ = X () + φ(z)s; φ(z) υνάρτηη ϑετική όπου Z = X () S. Σκοπός µας είναι να ϐρούµε έναν εκτιµητή δ φ την D,τέτοιον ώτε : { (δφ (µ + κ)) 2 } { (δ (µ + κ)) 2 } E E, µ, 2 2 ο οποίος ανήκει και { (δφ (µ + κ)) 2 } { (δ (µ + κ)) 2 } E 2 < E 2 για κάποιες τιµές των παραµέτρων µ και. 3.2 Βοηθητικά Αποτελέµατα Αρχικά ϑα ϐρούµε εκείνη την υνάρτηη φ που ελαχιτοποιεί το τροποποιηµένο τετραγωνικό φάλµα έτι ώτε να ϐρούµε το ϐέλτιτο εκτιµητή την κλάη D. ηλαδή :

34 24 Εκτιµητες τυπου Stein { [X() + φ(z)s (µ + κ)] 2 } R(δ φ ; µ, ) = E Z = z = E z {E[ X 2 () 2 2 κ φ(z) 2 X ()S + φ 2 (z) S2 2 µ 2 2 X () 2 κ X () 2µφ(z) S 2 (µ + κ)2 φ(z)s + 2 Z = z]} R(δ φ ; µ, ) = E z { 2 E(X () 2 Z = z) + 2φ(z) 2 E(X ()S Z = z) + φ 2 (z)e( S2 Z = z) 2 2 µ 2 E(X () Z = z) 2 κ E(X () Z = z) 2 µ φ(z)e(s Z = z) 2 2 κ (µ + κ)2 φ(z)e(s Z = z)} (3.) και για να ελαχιτοποιήουµε,παραγωγίζουµε ως προς φ(z) την (3.) z,οπότε προκύπτει ότι : 2 όπου και 2 E(X ()S Z = z) + 2φ(z)E(Y 2 Z = z) 2 µ και καταλήγουµε το υµπέραµα ότι : φ(z) = φ(z) = φ(z) = µ + κ Y = S Z = X () S κ E(Y Z = z) 2 E(Y Z = z) = µ+κ E(Y Z = z) E(X 2 () S Z = z) E(Y 2 Z = z) µ+κ E(Y Z = z) E(X 2 () S Z = z) E(Y 2 Z = z) X () S E(Y Z = z) E(Y 2 Z = z) E( S 2 Z = z) 2 E(Y 2 Z = z) ηλαδή : φ µ, (z) = µ + κ E µ, (Y/Z = z) E µ, (Y 2 /Z = z) z (3.2) Οµως η προκύπτουα τιµή εξαρτάται από τα άγνωτα µ και,οπότε είναι προ- ϕανές ότι δεν υπάρχει ϐέλτιτος εκτιµητής. Για αυτό τον λόγο και επειδή η υνάρτηη ηµίας είναι bowl-shaped,θα προπα- ϑήουµε να ϐρούµε ένα ϕράγµα για την φ µ, (z) την (3.2),το οποίο να µην εξαρτάται από τις άγνωτες παραµέτρους. Πριν,όµως ϑα αποδείξουµε κάποιες χρήιµες Προτάεις που ϑα ϐοηθήουν τον κοπό αυτό.

35 3.2 Βοηθητικα Αποτελεµατα 25 Πρόταη Η απο κοινού πυκνότητα πιθανότητας των Y = S και Z = X () S είναι : (i) µ και > { n f Y,Z (y, z; µ, ) = Γ(n ) yn e y e nyz e n µ µ, y >, z > y, αλλού. (ii)για µ = και = f Y,Z (y, z;, ) = { n Γ(n ) yn e y e nyz, y >, z >, αλλού. Απόδειξη : Οπως είναι γνωτό από την Πρόταη 2.2.3, S Gamma(n, ) και από την Πρόταη 2.2.2, X () E(µ, n ),άρα Y = S Z = X () S S = Y X = YZ από το Θεώρηµα Μεταχηµατιµού.9. είναι γνωτό ότι : f Y,Z (y, z) = f S,M (s(y, z), m(y, z)) (s, m) (y, z). Οπου Επίης (s,m) (y,z) και εποµένως είναι η Ιακωβιανή ορίζουα. Jacobian = s y m y s z m z = z y = 2 y f Y,Z (y, z; µ, ) = { n Γ(n ) yn e ny(z n µ ), y >, z > µ y, αλλoυ. (ii)είναι προφανές,αν ϑέουµε µ = και = την περίπτωη (i). Θεώρηµα Ετω h (y) και h 2 (y) πυκνότητες πιθανότητας,όπου h 2 είναι αυτηρά ϑετική ε ύνολο S h2 το οποίο είναι υπούνολο του S h,όπου είναι αυτηρά ϑετική η h και h 2(y) h (y) είναι αύξουα υνάρτηη του y. Εάν S(Y ) είναι µια αύξουα υνάρτηη της τυχαίας µεταβλητής Υ τότε E h2 [S(Y )] E h [S(Y )] Εάν S(Y ) είναι µια ϕθίνουα υνάρτηη της τυχαίας µεταβλητής Υ τότε E h2 [S(Y )] E h [S(Y )] Απόδειξη : Αρκεί να δείξουµε ότι S(y)(h 2 (y) h (y))dy. Θεωρούµε τα ύνολα A = {y S h : h 2 (y) < h (y)} και B = {y S h : h 2 (y) > h (y)}

36 26 Εκτιµητες τυπου Stein Επίης ϑέτουµε a = supa και b = infb. Ετω, a A h 2 (a ) < h (a 2 ) h 2(a ) h (a 2 ) και b B h 2 (b ) > h (b ) h 2(b ) h (b ) >. Εποµένως ιχύει ότι h 2(b ) h (b ) > h (a ) h (a ) και επειδή h 2(y) h (y) είναι αύξουα υνάρτηη του y,έπεται ότι b a,δηλαδή a A και b B έχουµε b a. Στη υνέχεια παρατηρούµε ότι A,αφού αν y S h S h2 S h έχουµε h 2 (y) = και h (y) >,δηλαδή h 2 (y) < h (y) ή διαφορετικά y A. Ετω B,τότε αφού a b a A και b B, έπεται ότι supa infb ή αλλιώς a b. Οµως, S h S(y)(h 2 (y) h (y))dy = S h A S(y)(h 2 (y) h (y))dy + S h B S(y)(h 2 (y) h (y))dy S h Γ S(y)(h 2 (y) h (y))dy όπου Γ = {y : h 2 (y) = h (y)}. S h A y S h A y a S(y) S(a) S(y)(h 2 (y) h (y)) S(a)(h 2 (y) h (y)) S(y)(h 2 (y) h (y)) (h 2 (y) h (y)). (3.3) S h (a) A y S h B y b S(y) S(b) S(y)(h 2 (y) h (y)) S(b)(h 2 (y) h (y)) S(y)(h 2 (y) h (y)) (h 2 (y) h (y)). (3.4) S h B S h B Αν y S h Γ S h Γ S(y)(h 2 (y) h (y)) = (3.5)

37 3.2 Βοηθητικα Αποτελεµατα 27 Αθροίζοντας τις παραπάνω (2.),(2.2) και (2.3) προκύπτει ότι : S h S(y)(h 2 (y) h (y))dy S(a) (h 2 (y) h (y))dy+s(b) (h 2 (y) h (y))dy. S h A S h B Οµως, (h 2 (y) h (y))dy = h 2 (y)dy h (y)dy S h = S h S h h 2 (y)dy S h = = = = (h 2 (y) h (y))dy S h (h 2 (y) h (y))dy + (h 2 (y) h (y))dy S h A S h B (h 2 (y) h (y))dy = (h 2 (y) h (y))dy S h B S h A Εποµένως, S(y)(h 2 (y) h (y))dy [S(b) S(a)] S h S h B S(y)(h 2 (y) h (y))dy και αφού b a και S(y) είναι αύξουα υνάρτηη του y, S(b) S(a),δηλαδή S(b) S(a) και όταν y S h B, h 2 (y) < h (y) υνεπώς, S h B (h 2 (y) h (y))dy Τελικά, (h 2 (y) h (y))dy h 2 (y)dy h (y)dy E h2 S(Y ) E h S(Y ) S h S h S h Ετω B =,τότε αφού y S h, h 2 (y) h (y) y S h2, h 2 (y) h (y). Ετω h 2 (y) < h (y) για y C S h µε µ(c ) >, τότε h 2 (y)dy < h (y)dy < h (y)dy Άτοπο S h 2 S h 2 S h

38 28 Εκτιµητες τυπου Stein Επίης καταλήγουµε ε άτοπο αν ϑεωρήουµε τα ύνολο C 2,για το οποίο y C 2 S h2, h 2 (y) = h (y). Εποµένως έχουµε δείξει ότι για B και όπως αποδείχτηκε E h2 S(Y ) E h2 S(Y ). Πρόταη φ µ, (z) κ +nz n+, µ, Απόδειξη : Εχουµε φ µ, (z) = µ + κ E µ, (Y/Z = z) E µ, (Y 2 Z = z) z φ µ,(z) = µ E µ, (Y Z = z) E µ, (Y 2 Z = z) +κ E µ,(y Z = z) E µ, (Y 2 Z = z) z ενώ,για µ = και =,ιχύει : φ, (z) = κ E,(Y Z = z) E, (Y 2 Z = z) z )Θεωρούµε µ και z > τότε για y > max{, µ z } =, και οπότε ιχύουν τα εξής : f Y Z (y z; µ, ) = f Y,Z(y, z; µ, ) f Z (z; µ, ) f Y Z (y z;, ) = f Y,Z(y, z;, ) f Z (z;, ) E µ, (Y Z = z) E µ, (Y 2 Z = z) = = = = = yf Y Z (y z; µ, )dy y 2 f Y Z (y z; µ, )dy n Γ(n ) e y(+nz) y n e n µ dy n Γ(n ) e y(+nz) y n+ e n µ dy n Γ(n ) e y(+nz) y n dy n Γ(n ) e y(+nz) y n+ dy yf Y Z (y z;, ) y 2 f Y Z (y z;, ) E, (Y Z = z) E, (Y 2 Z = z) = Γ(n + ) Γ(n + 2) (+nz) n+ (+nz) n+ = + nz n +. (3.6)

39 3.2 Βοηθητικα Αποτελεµατα 29 Παρατηρούµε ότι η χέη (3.6) είναι ανεξάρτητη από τα µ και άρα η κ E µ,(y Z=z) είναι ανεξάρτητη από τα µ και και υνεπώς έχουµε, E µ, (Y 2 Z=z) Εποµένως, κ E µ,(y Z = z) E µ, (Y 2 Z = z) = κ E,(Y Z = z) E, (Y 2 Z = z) (3.7) φ µ, (z) = ( µ + κ) E µ,(y Z = z) E µ, (Y 2 Z = z) z = ( µ + κ) E,(Y Z = z) E, (Y 2 Z = z) z κ E,(Y Z = z) E, (Y 2 z, (αφού µ ) Z = z) κ E,(Y Z = z) E, (Y 2 Z = z) z = κ + nz, (αφού z > ) n + )Θεωρούµε µ > και z > τότε για y > max{, µ z } = µ z γνωρίζουµε ότι, Οµως, φ µ, (z) = µ E µ, (Y Z = z) E µ, (Y 2 Z = z) + κ E µ,(y Z = z) E µ, (Y 2 Z = z) z (3.8) E µ, (Y Z = z) E µ, (Y 2 Z = z) Θεωρούµε : Άρα έχουµε ότι : Επίης, = µ z µ z yf Y Z (y z; µ, )dy y 2 f Y Z (y/z; = µ, )dy µ z h 2 (y) = y2 f Y,Z (y/z; µ, ) y 2 f Y,Z (y/z; µ, ) dy E µ, (Y/Z = z) E µ, (Y 2 /Z = z) = E h 2 y 2 f Y Z (y/z; µ, ) µ y z µ y 2 f Y Z (y/z; µ, ) dy z ( ) Y E, (Y Z = z) E, (Y 2 Z = z) yf Y Z (y z; µ, )dy = y 2 f Y/Z (y/z; µ, )dy y f Y/Z (y/z; µ, ) = dy y y 2 f Y Z (y z; µ, )dy ( ) = E h, Y

40 3 Εκτιµητες τυπου Stein όπου h (y) = y2 f Y Z (y z; µ, ) + f Y Z (y z; µ, )dy Παρατηρούµε ότι h 2(y) h (y) είναι αύξουα( ) υνάρτηη ως προς y,αφού h 2 (y) h (y) = yf Y Z (y z;µ,) y 2 f Y/Z (y/z;µ,)dy µ z yf Y Z (y z;,) y 2 f Y Z (y z;,)dy = f Y Z(y z; µ, ) f Y Z (y z;, ) y 2 f Y/Z (y/z;, )dy µ z y 2 f Y Z (y z; µ, )dy h 2(y) h (y) = c f Y Z (y z; µ, ) f Y/Z (y/z;, ) = c f Y,Z (y, z; µ, )f Z (z;, ) f Y,Z (y, z;, )f Z (z; µ, ) h 2(y) h (y) = e nµ fz (z;, ) f Z (z; µ, ) που είναι αύξουα, όπου c = y 2 f Y Z (y z;,)dy. y 2 f Y Z (y z;µ,)dy Εποµένως,λόγω του Θεωρήµατος 3.2.2, καταλήγουµε ότι : µ z ( ) ( ) E h2 < E h Y Y E µ,(y Z = z) E µ, (Y 2 Z = z) < E,(Y Z = z) E, (Y 2 Z = z) κ E µ,(y Z = z) E µ, (Y 2 Z = z) < κ E,(Y/Z = z) E, (Y 2 Z = z) (3.9) Επιπλέον, E µ, (Y Z = z) E µ, (Y 2 Z = z) = + µ z + µ z yf Y Z (y z; µ, )dy y 2 f Y Z (y z; µ, )dy (3.) Επειδή, y > µ + z y 2 f Y Z (y z; µ, )dy > + y µ z f Y Z(y z; µ, )dy (3.) µ z µ z Εποµένως, (3.),λόγω της (3.),παίρνει την µορφή

41 3.2 Βοηθητικα Αποτελεµατα 3 E µ, (Y Z = z) E µ, (Y 2 Z = z) < + µ z + µ z µ z µ yf Y Z (y z; µ, )dy yf Y Z (y z; µ, )dy = µ z E µ, (Y Z = z) E µ, (Y Z = z) < z (3.2) Τελικά,λόγω της (3.8),επειδή ιχύουν οι (3.9) και (3.2) προκύπτει η χέη, φ µ, (z) z + κ E,(Y Z = z) E, (Y 2 Z = z) z = κ + nz n + (3.3) Παρατήρηη Για να έχουµε ϐελτιτοποιήη µε τον εκτιµητή τύπου Stein,θέλουµε να έχουµε : και τελικά πρέπει δηλαδή για µεγάλα κ X () + φ(z)s < X () + c S κ + nz n + < n (κ n ) < κn n + z < κ n(n + ) n 2 < z < n + κn κ n + n n(n + ) (κ n + n ) > κ > + n Επίης ϑέλουµε να ιχύει ότι : κ > + n Εποµένως, < φ(z) < c < κ( + nz) < n + n (κ n ) < κ(n + ) κ + κnz < n + n n 2 < κ(n + ) κn κnz < n + n n 2 κ> < z < κ κn n κn < z < n 2 n + κn 3 n + n 2 < z < n 2 n + κn 3

42 32 Εκτιµητες τυπου Stein Εχουµε : X () + φ µ, (z)s < X () + φ(z)s < X () + n (κ n )S για κ > + n και < z < n 2 n+ κn 3. Πρόταη φ µ, (z) > n+ z όταν µ < και z < n. Απόδειξη : Εχουµε ότι(ϐλέπε χέη (3.2)) φ µ, (z) = µ + κ E µ, (Y/Z = z) E µ, (Y 2 /Z = z) z Χωρίς ϐλάβη της γενικότητας µπορούµε να ϑεωρήουµε =. Άρα φ µ, (z) = (µ + κ) E µ,(y/z = z) E µ, (Y 2 /Z = z) z (3.4) Εχουµε ότι µ < και z < ενώ yz > µ έτι καταλήγουµε το υµπέραµα ότι < y < µ z Εποµένως, µ E µ,(y/z = z) E µ, (Y 2 /Z = z) Εκτελούµε τον µεταχηµατιµό µ z = µ µ z µ z µ z y f Y,Z (y,z;µ,) f Z (z) dy y 2 f Y,Z (y,z;µ,) f Z (z) dy = yf Y,Z (y, z; µ, )dy = µ = = µ µ = µ y 2 f Y,Z (y, z; µ, )dy n y Γ(n ) e y(+nz) y n dy y 2 n Γ(n ) e y(+nz) y n dy µ y n e y(+nz) µ dy yn+ e y(+nz) = u = z µ y y = µ z u

43 3.2 Βοηθητικα Αποτελεµατα 33 Άρα dy = µ z du. Ετι η παραπάνω εξίωη γίνεται : µ ( µ )n u n e µ u(+nz) z du = z u n+ e µ u(+nz) z ( µ z )du u n e µ u(+nz) z du (3.5) u n+ e µ u(+nz) z du Θεωρούµε τις υναρτήεις : και h 2 (u) = un+ e µ u(+nz) z u n+ e µ u(+nz) z h (u) = Θα χρηιµοποιήουµε το Θεώρηµα Άρα u n+ u n+ du h 2 (u) h (u) = = u n+ e µ u(+nz) u n+ e µ u(+nz) du u n+ un+ du e µ u(+nz) u n+ e µ u(+nz) z du u n+ du Εχουµε ότι : µ < z < µ z > ϑέλουµε h 2(y) h (y) να είναι αύξουα από το Θεώρηµα Ετι για να ιχύει h 2(y) h (y) πρέπει µ z u( + nz) > e µ z u(+nz) ηλαδή πρέπει + nz < z < n Από το Θεώρηµα και επειδή η υνάρτηη S(u) = u (, ),άρα και το (, ), έχουµε ότι είναι ϕθίνουα ( ) το E h2 [S(u)] < E h [S(u)]