Εκτιµητική. Boutsikas M.V. (2003), Σηµειώσεις Στατιστικής ΙΙΙ, Τµήµα Οικονοµικής Επιστήµης, Πανεπιστήµιο Πειραιώς.

Transcript

1 4 Εκτιµητική Σύνδεη θεωρίας πιθανοτήτων - περιγραφικής τατιτικής H περιγραφική τατιτική (ΣΤΑΤΙΣΤΙΚΗ Ι αφορά κυρίως τη µελέτη κάποιων «µεγεθών» (πχ µέη τιµή, διαπορά, διάµεος, κοκ ενός «δείγµατος» υγκεκριµένων τιµών x,x,,x που προέρχονται από έναν πληθυµό Στις περιότερες περιπτώεις, οι τιµές αυτές µπορεί να θεωρηθεί ότι προέρχονται από τυχαία πειράµατα (πχ τυχαίες επιλογές ατόµων από τον πληθυµό Στα πλαίια της θεωρίας των πιθανοτήτων (ΣΤΑΤΙΣΤΙΚΗ ΙΙ,ΙΙΙ τέτοιες τιµές υµβολίζονται µε Χ,Χ,,Χ Ποια η χέη µεταξύ των τµ Χ,Χ,,Χ και των τιµών x,x,,x ; Η Χ µπορεί να θεωρηθεί ως µία τυχαία µεταβλητή που εκφράζει το αποτέλεµα του - τυχαίου πειράµατος, πριν από την εκτέλεή του (ή ιοδύναµα, πριν µας γίνει γνωτό το αποτέλεµά του ενώ αντίθετα, η τιµή x εκφράζει το ακριβές αποτέλεµα του πειράµατος µετά την εκτέλεή του Η τιµή x καλείται και «πραγµατοποίηη» του Χ Στην ουία, η x είναι ίη µε το Χ (ω όπου ω είναι το τοιχειώδες ενδεχόµενο του Ω που τελικά πραγµατοποιήθηκε (µην ξεχνάµε ότι µία τµ είναι µία απεικόνιη από το Ω το R Στο εξής, για απλότητα θα γράφουµε,,, εννοώντας τις τµ (όταν είµατε πριν την πραγµατοποίηη του πειράµατος καθώς και τις τιµές x,x,,x (όταν είµατε µετά την πραγµατοποίηη του πειράµατος Συνεπώς, η περιγραφική τατιτική µπορεί να θεωρηθεί ότι αφορά τη µελέτη των µεγεθών ενός «δείγµατος» που προέρχεται από έναν (θεωρητικά άπειρο πληθυµό Συνήθως όµως αυτό που µας ενδιαφέρει περιότερο είναι τα αντίτοιχα µεγέθη του πληθυµού από τον οποίο προέρχεται το δείγµα Μία από τις κύριες επιδιώξεις της Στατιτικής υµπεραµατολογίας (που αποτελεί και το µεγαλύτερο µέρος της Στατιτικής ΙΙΙ είναι η εκτίµηη των µεγεθών ενός πληθυµού (πχ µέη τιµή, διαπορά, κατανοµή µε βάη ένα δείγµα,,, από αυτόν Εκτιµητική Κύρια επιδίωξη της εκτιµητικής αποτελεί η εκτίµηη των παραµέτρων της κατανοµής κάποιου χαρακτηριτικού ενός πληθυµού Το πρόβληµα έχει ως εξής: υποθέτουµε ότι κάποιο υγκεκριµένο χαρακτηριτικό ενός πληθυµού (πχ το ύψος των ανδρών ε µία πόλη ακολουθεί κάποια γνωτή κατανοµή F(x;θ (πχ κανονική κατανοµή µε άγνωτες όµως παραµέτρους θ (θ,θ,,θ k (πχ θ (µ, Με ποιο τρόπο θα µπορέουµε να προδιορίουµε (εκτιµήουµε τις παραµέτρους αυτές; (πχ να δούµε ποίο είναι το µέο ύψος µ του πληθυµού και ποιά η διαπορά των υψών Είναι φανερό ότι, για την εκτίµηη των παραµέτρων θ της κατανοµής κάποιου χαρακτηριτικού, είναι αναγκαία η γνώη της τιµής του χαρακτηριτικού τουλάχιτον ε κάποιες µονάδες του πληθυµού ηλαδή, είναι απαραίτητη η εκλογή ενός «δείγµατος» του πληθυµού (ή ενός υνόλου παρατηρήεων Για να είναι όµως ωτή η εκτίµηη του χαρακτηριτικού θα πρέπει η εκλογή αυτή των µονάδων του δείγµατος να είναι «τυχαία» από όλον τον πληθυµό, δηλαδή κάθε µονάδα του πληθυµού να έχει την ίδια πιθανότητα να εκλεγεί το δείγµα Για παράδειγµα, για την εκτίµηη του µέου ύψους µ χρειαζόµατε τα ύψη ενός δείγµατος ανδρών που εκλέξαµε τυχαία από τον πληθυµό (πχ αν εκεµµένα πάρουµε αν δείγµα τους ψηλότερους άνδρες µίας περιοχής τότε προφανώς θα υπερεκτιµήουµε το µέο ύψος Στην περίπτωη µίας τυχαίας εκλογής ενός δείγµατος, οι τιµές του προς εξέταη χαρακτηριτικού το δείγµα (παρατηρήεις µπορούν να θεωρηθούν ότι είναι τυχαίες µεταβλητές που ακολουθούν την κατανοµή του χαρακτηριτικού τον πληθυµό Φτάνουµε λοιπόν φυιολογικά τον επόµενο οριµό Οριµός 4 Τυχαίο δείγµα µεγέθους από την κατανοµή F(x;θ (ή τη π f(x;θ θα καλείται ένα ύνολο ανεξάρτητων και ιόνοµων τµ Χ,Χ,,Χ που ακολουθούν την κατανοµή F(x;θ (ή τη π f(x;θ Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, 3

2 ειγµατοληπτικός χώρος θα καλείται το ύνολο των δυνατών τιµών του δείγµατος (πχ αν Χ R, τότε ο δειγµατοληπτικός χώρος θα είναι ο R Παραµετρικός χώρος θα καλείται το ύνολο των επιτρεπτών τιµών της παραµέτρου θ Έτω λοιπόν Χ,Χ,,Χ ένα τυχαίο δείγµα από την F(x;θ Η εκτίµηη των παραµέτρων θ (θ,,θ k γίνεται µέω κάποιων υναρτήεων των Χ,Χ,,Χ Πιο υγκεκριµένα θα έχουµε ότι: v Στατιτική (ή δειγµατική υνάρτηη θα λέγεται κάθε υνάρτηη T( T(Χ,Χ,, Χ των τµ του δείγµατος Χ,Χ,,Χ που δεν εξαρτάται από τις προς εκτίµηη παραµέτρους Προφανώς, κάθε τατιτική υνάρτηη είναι και αυτή µία τµ Για παράδειγµα, γνωτές τατιτικές υναρτήεις είναι: - (δειγµατικός µέος - m (δειγµατικές ροπές τάξεως - S ( (δειγµατική διαπορά - R max{,, } m{,, } ( ( (δειγµατικό εύρος Τέλος, v εκτιµήτρια υνάρτηη µίας παραµέτρου θ θα καλείται µία τατιτική υνάρτηη T(Χ,Χ,,Χ η οποία χρηιµοποιείται για την εκτίµηη της θ Ιδιότητες εκτιµητριών Έτω Χ,Χ,,Χ ένα τυχαίο δείγµα από την κατανοµή F(x;θ και έτω T(Χ, Χ,,Χ µία εκτιµήτρια υνάρτηη της παραµετρικής υνάρτηης g(θ (πχ θ(µ, και g(θµ ή µ ή µ+3 κοκ Όπως είναι φανερό, η εκτιµήτρια Τ είναι και αυτή µία τµ, δηλαδή κάθε φορά που παίρνουµε ένα διαφορετικό δείγµα Χ, Χ,,Χ, η Τ θα µας δίνει διαφορετική τιµή Για να µπορεί η T να θεωρηθεί ότι είναι «καλή» εκτιµήτρια της g(θ θα πρέπει να έχει κάποια υγκεκριµένα χαρακτηριτικά όπως πχ να παίρνει τιµές «πολύ κοντά» την g(θ µε «µεγάλη» πιθανότητα Αυτό µπορεί να γίνει απαιτώντας η τµ T να έχει µέη τιµή g(θ ή «χεδόν» g(θ και να έχει πολύ µικρή διαπορά (οι τιµές της τµ T να βρίκονται «µαζεµένες» γύρω από τη µέη της τιµή Πχ αν έχουµε τρεις διαφορετικές εκτιµήτριες T,T,T 3 για τη µέη τιµή µ ενός πληθυµού: Τ Τ 3 Τ µ τότε θα προτιµήουµε να χρηιµοποιήουµε την Τ γιατί (ανάλογα µε το δείγµα παίρνει τιµές πολύ κοντά το µ (Η T παίρνει και αυτή τιµές γύρω από το µ αλλά οι τιµές της µπορεί να διαφέρουν αρκετά από το µ γιατί έχει µεγάλη διαπορά Η Τ 3 παίρνει τιµές που καµία χέη δεν έχουν Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, 3

3 µε την µ Ιδιότητες εκτιµητριών χετικές µε τη µέη τιµή και τη διαπορά τους εξετάζονται τις επόµενες δύο παραγράφους Αµερόληπτες εκτιµήτριες Οριµός 4 Μία εκτιµήτρια υνάρτηη T της g(θ θα καλείται αµερόληπτη εάν ET ( ET ( (,,, g( θ για κάθε θ Η T θα θεωρείται αυµπτωτικά αµερόληπτη εάν lm ET ( (,,, g( θ για κάθε θ Επίης, το µέγεθος bt ( ET ( g( θ καλείται µεροληψία της εκτιµήτριας T Προφανώς η µεροληψία µιας αµερόληπτης εκτιµήτριας είναι Είναι φανερό από τα παραπάνω ότι µας ενδιαφέρουν αµερόληπτες ή χεδόν αµερόληπτες εκτιµήτριες γιατί ε αντίθετες περιπτώεις είναι δυνατό να έχουµε υποεκτίµηη ή υπερεκτίµηη της ζητούµενης παραµέτρου Πρόταη 4 Έτω Χ,Χ,,Χ ένα τυχαίο δείγµα από µία οποιαδήποτε κατανοµή F(x;θ µε µέη τιµή µ (µ(θ και διαπορά ( (θ Η τατιτική υνάρτηη (δειγµατικός µέος είναι αµερόληπτη εκτιµήτρια της παραµέτρου µ E( (µέης τιµής της κατανοµής F(x;θ και έχει διαπορά Va( / Η τατιτική υνάρτηη S ( (δειγµατική διαπορά είναι αµερόληπτη εκτιµήτρια της παραµέτρου V( (διαποράς της κατανοµής F(x;θ Απόδειξη Ιχύει ότι E( E( E ( µ µ µ Επίης, V ( V ( V ( V ( Παρατηρούµε ότι ( (( ( (( µ + ( ( ( ( µ + ( ( ( Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, 33

4 Συνεπώς, θα είναι ( µ + ( ( ( ( ( ES ( E( ( E ( ( µ µ Γνωρίζουµε όµως ότι E(( µ E(( µ και εποµένως, E (( µ V (, E(( µ V ( ES ( ( Άρα η S είναι αµερόληπτη εκτιµήτρια της διαποράς ενός οποιουδήποτε πληθυµού Άκηη 4 Έτω ότι θέλουµε να εκτιµήουµε το ποοτό p των κατοίκων µίας µεγάλης πόλης που υποτηρίζουν µία υγκεκριµένη άποψη Α είξτε ότι το ποοτό τυχαία επιλεγµένων ατό- µων που υποτηρίζουν την Α αποτελεί µία αµερόληπτη εκτιµήτρια του p Λύη Έτω,,, οι τµ που εκφράζουν τις απόψεις των τυχαία επιλεγµένων ατόµων (από την πόλη αυτή Συγκεκριµένα, θα θεωρούµε ότι Χ αν το -άτοµο υποτηρίζει την Α και διαφορετικά Εφόον πρόκειται για τυχαία επιλεγµένα άτοµα (κάθε άτοµο του πληθυµού έχει την ίδια πιθανότητα να επιλεγεί το δείγµα, θα ιχύει ότι P( P( p, και άρα µ E( P( + P( p (οι,,, αποτελούν ένα τυχαίο δείγµα από την Β(,p Το ποοτό των τυχαία επιλεγµένων ατόµων που υποτηρίζουν την Α θα είναι ίο µε Από την Πρόταη 4 είδαµε όµως ότι E( E( p και εποµένως το ποοτό των ατό- µων του δείγµατος που υποτηρίζουν την Α αποτελεί αµερόληπτη εκτιµήτρια του υνολικού ποοτού των κατοίκων που υποτηρίζουν την Α Άκηη 4 Έτω Χ, Χ,, Χ ένα τδ από µία κατανοµή µε µέη µ και διαπορά είξτε ότι, ενώ η τατιτική υνάρτηη είναι αµερόληπτη εκτιµήτρια του µ, η τατιτική υνάρτηη δεν είναι αµερόληπτη εκτιµήτρια του µ Πιο υγκεκριµένα δείξετε ότι b( / Λύη Θα υπολογίουµε τη µέη τιµή της Ιχύει ότι, Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, 34

5 E ( V ( + E( + µ µ και άρα b ( E ( µ + µ µ Συνεπώς η τατιτική υνάρτηη δεν είναι αµερόληπτη εκτιµήτρια του µ Παρατηρούµε όµως ότι αποτελεί αυµπτωτικά αµερόληπτη εκτιµήτρια του µ διότι E( + µ µ Άκηη 43 Έτω Χ, Χ,, Χ ένα τδ από την κανονική κατανοµή Ν(µ, Αν T και U at + b, τότε να βρεθούν τα α, b ώτε η U να είναι αε του µ Λύη Ιχύει ότι (οι τµ Χ, Χ,, Χ είναι ανεξάρτητες και εποµένως ET ( E( E( µ, V ( V ( T V ( E ( U E( at + b ae( T + b a( V ( T + E( T + b a + a µ + b Για να είναι η U αε του µ θα πρέπει E( U a + a µ + b µ για κάθε µ, και εποµένως θα πρέπει a, a + b a, b Άρα τελικά η είναι αµερόληπτη εκτιµήτρια του µ, γεγονός που υµφωνεί και µε την Άκηη 4 Άκηη 44 Έτω Χ, Χ,, Χ ένα τδ από κατανοµή µε µέη τιµή µ και διαπορά Να βρεθεί το c ώτε η να είναι αε του Λύη Ζητάµε να ιχύει ότι U c ( k+ k k E( U c E( c E( + k k+ k k c ( E( + E( E( k k+ k k+ k k+ k k+ k Γνωρίζουµε όµως ότι E( k Va( k + E( k + µ για όλα τα k,,, Επίης είναι γνωτό ότι αν δύο τµ Χ, Υ είναι ανεξάρτητες τότε Ε(ΧΥ Ε(ΧΕ(Υ Συνεπώς, Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, 35

6 και άρα E( E( E( µ k+ k k+ k EU ( c ( + µ + + µ µ c c( k Για να είναι η U αε του αρκεί EU ( c(, ή ιοδύναµα, c ( Τελικά υµπεραίνουµε ότι η εκτιµήτρια U ( k+ k ( k είναι αε του Άκηη 45 Έτω Χ, Χ,, Χ ένα τδ από την B(, p (διωνυµική µε παραµέτρους και p και U c( Να βρεθεί το c ώτε η U να είναι αε του p( p (V( Λύη Ιχύει ότι και υνεπώς Από την Πρόταη 4( θα ιχύει τώρα ότι k j j j j P( j p ( p p ( p, j, j E( p p, V ( p ( p p( p p + ( p E( p, E( V ( + E( + p Η µέη τιµή της U θα είναι ίη µε p+ ( p ( EU ( ce( ce ( ( E( c p c p( p και άρα θα πρέπει ( c p( p p( p ή ιοδύναµα, c Τελικά, διαπιτώθηκε ότι η εκτιµήτρια U ( /( είναι αε του p( p Σύγκριη µεταξύ αµερόληπτων εκτιµητριών Όπως έχει αναφερθεί και παραπάνω, για να µπορεί η T να θεωρηθεί ότι είναι «καλή» εκτι- µήτρια της g(θ θα πρέπει να έχει µέη τιµή g(θ ή «χεδόν» g(θ και να έχει µικρή διαπορά Την πρώτη απαίτηη την εξετάαµε την προηγούµενη παράγραφο όπου ειαγάγαµε την έννοια της αµεροληψίας εν αρκεί όµως µόνο η αµεροληψία για να πούµε ότι µία εκτιµήτρια είναι βέλτιτη Το γεγονός αυτό φαίνεται και από το ότι για την ίδια παραµετρική υνάρτηη g(θ µπορούν να βρεθούν πάρα πολλές αµερόληπτες εκτιµήτριες (βλ πχ Ακήεις Ποια από αυτές είναι η καλύτερη; Σύµφωνα µε τα όα έχουµε πει καλύτερη θα είναι αυτή που θα παίρνει τιµές πολύ «κοντά» την g(θ ηλαδή µε άλλα λόγια αυτή που έχει τη µικρότερη διαπορά Σε αντιδιατολή µε την προηγούµενη παράγραφο όπου αχοληθήκαµε µε τη µέη τιµή µιας εκτιµή- Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, 36

7 τριας, ε αυτή την παράγραφο θα µελετήουµε τις εκτιµήτριες ως προς τη διαπορά τους Σχετικά λοιπόν µε τη διαπορά δύο εκτιµητριών θα έχουµε τον επόµενο οριµό: Οριµός 43 Έτω T, Τ δύο αµερόληπτες εκτιµήτριες της g(θ Η T θα καλείται αποτελεµατικότερη της Τ εάν ιχύει ότι V T < V ( ( T Επίης, αν µία εκτιµήτρια Τ έχει τη µικρότερη διαπορά µεταξύ όλων των αµερόληπτων εκτιµητριών του g(θ, τότε θα καλείται άριτη εκτιµήτρια ή αµερόληπτη εκτιµήτρια ελαχίτης διαποράς (αεεδ του g(θ Συνεπώς, τη βέλτιτη επιλογή εκτιµήτριας, προκειµένου να εκτιµήουµε µία παραµετρική υνάρτηη g(θ, αποτελεί η επιλογή µίας άριτης εκτιµήτριας ή τουλάχιτον µίας εκτιµήτριας που αυµπτωτικά (για µεγάλο είναι άριτη Άκηη 46 Έτω Χ, Χ,, Χ και Υ, Υ,, Υ k δύο ανεξάρτητα µεταξύ τους τδ από µία κατανοµή F µε άγνωτη µέη τιµή µ και διαπορά Ποια από τις 3 εκτιµήτριες θα χρηιµοποιούατε για να εκτιµήετε το µ (, k: + Y, Y, Μπορεί να βρεθεί καλύτερη εκτιµήτρια που να γράφεται τη µορφή a + by ; Λύη Από την Πρόταη 4( γνωρίζουµε ότι E( µ, EY ( µ και εποµένως E( ( + Y ( E( + E( Y ( µ + µ µ, Άρα και οι 3 εκτιµήτριες είναι αµερόληπτες Προφανώς θα χρηιµοποιήουµε την εκτιµήτρια µε τη µικρότερη διαπορά Και πάλι από την Πρόταη 4( γνωρίουµε ότι και άρα V 4 V (,, V ( Y,, k 4 k + 4k 4 ( ( + Y ( V ( + V ( Y ( + k,75 Εποµένως για τις υγκεκριµένες τιµές των,k καλύτερη εκτιµήτρια είναι η Αυτό εκ πρώτης όψεως ίως να φαίνεται περίεργο διότι η τρίτη εκτιµήτρια βαίζεται ε δείγµα µεγέθους +k µεγαλύτερο από το και το k των άλλων δύο εκτιµητριών Αυτό όµως που τελικά υµβαίνει είναι ότι η είναι αρκετά καλή εκτιµήτρια (έχει διαπορά, ενώ η Y δεν είναι τόο καλή (έχει διαπορά αρκετά µεγαλύτερη, Τελικά λαµβάνοντας ως εκτιµήτρια του µ την ( + Y/ ναι µεν παίρνουµε πάλι µία αε του µ αλλά η ( + Y/ βαίζεται εξίου την εκτιµήτρια (που είναι αρκετά καλή και την Y (που δεν είναι τόο καλή οπότε τελικά παίρνουµε µία εκτι- µήτρια που είναι µέτρια Το βέλτιτο που θα µπορούαµε να κάνουµε θα ήταν να πάρουµε µία εκτιµήτρια που να βαίζεται περιότερο την και λιγότερο την Y Πράγµατι, θα αναζητήουµε µία αµερόληπτη εκτιµήτρια της µορφής a + by που να έχει τη µικρότερη δυνατή διαπορά Θα πρέπει Επίης, V ( a Ea ( + by µ ae( + bey ( µ aµ + bµ µ b a + by a V ( + b V ( Y a + b k a k + ( a k Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, 37

8 Αρκεί να βρούµε το α που ελαχιτοποιεί την παράταη f ( a a k + ( a Ιχύει ότι f ( a ak ( a ak + a a ( f ( a k + > k + και εποµένως η εκτιµήτρια a by k k Y + k Y k + είναι αµερόληπτη και έχει τη µικρότερη διαπορά ανάµεα τις εκτιµήτριες της µορφής a + by (που έχουν και οι 3 πρώτες εκτιµήτριες Η διαπορά της είναι V ( + k V ( Y + k ( + k + k V ( ( + ky,9 Παρατηρούµε ότι η παραπάνω εκτιµήτρια είναι ο δειγµατικός µέος του µεικτού δείγµατος Χ, Χ,,Χ, Y,Y,,Y k Άκηη 47 Έτω Χ, Χ,, Χ ένα τυχαίο δείγµα (τδ από κατανοµή F(x;θ µε Ε( g(θ και U U(,, a Να βρεθούν οι τιµές των α Ñ ώτε η U να είναι αµερόληπτη εκτιµήτρια (αε του g(θ και να έχει ελάχιτη διαπορά Λύη Για να είναι αµερόληπτη εκτιµήτρια θα πρέπει να ιχύει, EU ( g( θ E( a ae( g( θ a g( θ a Επίης, δεδοµένου ότι οι τµ είναι ανεξάρτητες θα ιχύει ότι V ( U a V ( V ( a Για να είναι η διαπορά της εκτιµήτριας ελάχιτη θα πρέπει να ελαχιτοποιήουµε τη υνάρτηη a a + a a + a Λαµβάνοντας τις µερικές παραγώγους της ως προς α θα πρέπει για να έχουµε ελάχιτο να ιχύει a a aj a j a + j,,,, ή ιοδύναµα, a a a, j,,, j Άρα όλα τα α θα πρέπει να είναι ία Eπειδή όµως αθροίζουν τη µονάδα υνάγουµε τελικά ότι για να είναι η εκτιµήτρια αµερόληπτη και µε ελάχιτη διαπορά θα πρέπει α /,,,, (Αποδεικνύεται επίης ότι ο πίνακας Hesse είναι οριτικά θετικός Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, 38

9 Αποτελεµατικότητα οποιωνδήποτε εκτιµητριών Στην προηγούµενη παράγραφο εξετάαµε την αποτελεµατικότητα εκτιµητριών που είναι αµερόληπτες Συγκεκριµένα, αναφέραµε ότι, αν έχουµε ένα ύνολο T,T,,T k από αµερόληπτες εκτιµήτριες µίας παραµέτρου g(θ (Ε(Τ g(θ τότε ως βέλτιτη για την εκτίµηη της g(θ θα είναι η εκτιµήτρια µε τη µικρότερη διαπορά Τι γίνεται όµως την περίπτωη που έχουµε ένα ύνολο από εκτιµήτριες του g(θ που δεν είναι όλες αµερόληπτες; Ποια θα είναι η βέλτιτη; Έχουµε ήδη αναφέρει ότι υνήθως προτιµούµε αµερόληπτες εκτιµήτριες Υπάρχουν όµως περιπτώεις όπου µία µη αµερόληπτη εκτιµήτρια είναι καλύτερη από µία αµερόληπτη Για παράδειγµα αν, για την εκτίµηη ενός g(θ, έχουµε τις εκτιµήτριες T, T µε ππ που δίνονται το παρακάτω γράφηµα τότε παρατηρούµε ότι η Τ δεν είναι αµερόληπτη (δεν έχει µέη τιµή g(θ αλλά παίρνει τι- µές «κοντά» το g(θ µε µεγάλη πιθανότητα ε αντίθεη µε την Τ που είναι αµερόληπτη αλλά µπορεί να πάρει τιµές πολύ µακριά από το g(θ (έχει µεγάλη διαπορά Τ Τ Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, g(θ Εποµένως, παρότι δεν είναι αµερόληπτη, καλύτερη εκτιµήτρια ε αυτή την περίπτωη είναι η T Αν όµως η Τ ήταν περιότερο µεροληπτική; Ποια θα ήταν καλύτερη; Για να βρούµε ένα κριτήριο αξιολόγηης εκτιµητριών ενός g(θ, ανεξάρτητα από το αν είναι αµερόληπτες ή όχι, παρατηρούµε ότι την περίπτωη αε του g(θ εξετάζαµε την V ( T E(( T E( T E(( T g( θ (Ε(T g(θ λόγω αµεροληψίας Η ποότητα αυτή είναι την ουία η µέη τιµή του τετραγώνου του φάλµατος της T από την εκτιµούµενη παράµετρο Παρατηρούµε όµως ότι την ίδια ακριβώς ποότητα µπορούµε να χρηιµοποιήουµε και γενικότερα για την αξιολόγηη οποιωνδήποτε ε- κτιµητριών ενός θ Ειδικότερα θα έχουµε τον επόµενο οριµό Οριµός 44 Έτω µία εκτιµήτρια T T(,,, µίας παραµέτρου g(θ Η ποότητα mse( T E(( T g( θ καλείται µέο τετραγωνικό φάλµα της T από την g(θ Εποµένως, θα θεωρούµε ότι µεταξύ δύο εκτιµητριών µίας παραµέτρου, βέλτιτη είναι αυτή που έχει το µικρότερο µέο τετραγωνικό φάλµα Παρατηρούµε ότι το µέο τετραγωνικό φάλµα γράφεται τη µορφή mse ( T E(( T g( θ E(( T E( T + ( E( T g( θ E(( T E( T + ( E( T g( θ E(( T E( T + ( E( T g( θ V ( T + b( T 39 + ( T E( T ( E( T g( θ + E( T E( T ( E( T g( θ Αν ένας εκτιµητής είναι αµερόληπτος τότε προφανώς το µέο τετραγωνικό του φάλµα είναι ίο µε τη διαπορά του Με τη χρήη τώρα του µτ µπορούµε να δώουµε ένα γενικότερο από τον 4 οριµό για την αποτελεµατικότητα δύο εκτιµητριών

10 Οριµός 45 Έτω T, Τ δύο εκτιµήτριες της g(θ Η T θα καλείται αποτελεµατικότερη της Τ εάν ιχύει ότι mse( T < mse( T Αν οι εκτιµήτριες T, Τ είναι αµερόληπτες τότε ο παραπάνω οριµός είναι ιοδύναµος µε τον Οριµό 4 που αφορούε αµερόληπτες εκτιµήτριες Τέλος, η χετική αποτελεµατικότητα µίας εκτιµήτριας Τ ε χέη µε την Τ ορίζεται από το πηλίκο: mse( T mse( T Συνέπεια Έτω Χ,Χ,,Χ ένα τδ από µία κατανοµή F(x;θ και έτω Τ T (,,, µία τατιτική υνάρτηη που χρηιµοποιείται για την εκτίµηη µίας παραµετρικής υνάρτηης g(θ Όπως έχουµε ήδη αναφέρει, η Τ θα αποτελεί ικανοποιητική εκτιµήτρια του g(θ αν παίρνει τιµές «κοντά» την g(θ µε µεγάλη πιθανότητα Επιπλέον, είναι φυικό να απαιτούµε η T να παίρνει τιµές «πολύ κοντά» την g(θ όο το µεγαλώνει Αν δηλαδή πάρουµε ένα πολύ µεγάλο δείγµα (θεωρητικά άπειρο είναι λογικό να απαιτήουµε η εκτιµήτρια να µας δίνει ακριβώς την g(θ Με άλλα λόγια, µία εκτιµήτρια Τ θα θεωρείται «καλή» και αν, αυξάνοντας το µέγεθος του δείγµατος, γίνεται ακριβέτερη ως προς την εκτίµηη του g(θ Οι εκτιµήτριες που έχουν αυτή την ιδιότητα θα καλούνται υνεπείς Για παράδειγµα η ππ µίας υνεπούς εκτιµήτριας T της g(θ θα έχει τη µορφή που δίνεται το επόµενο χήµα Τ Τ 5 Τ 3 Τ Τ Πιο αυτηρά δίνεται ο επόµενος οριµός g(θ Οριµός 46 Μία εκτιµήτρια Τ T (,,, µιας παραµέτρου g(θ θα καλείται υνεπής αν ιχύει ότι P( T g( θ < ε για κάθε ε > Σύµφωνα µε τον παραπάνω οριµό µία εκτιµήτρια Τ θα είναι υνεπής αν, λαµβάνοντας ένα πολύ µεγάλο δείγµα (αυµπτωτικά, παίρνει τιµές ε µία οοδήποτε µικρή περιοχή (g(θ ε, g(θ+ε γύρω από το g(θ µε πιθανότητα Επειδή όµως ο έλεγχος της παραπάνω υνθήκης δεν είναι εύκολος υνήθως χρηιµοποιούµε την επόµενη πρόταη Πρόταη 4 Μία εκτιµήτρια Τ T (,,, µιας παραµέτρου g(θ θα είναι υνεπής αν ιχύουν οι παρακάτω υνθήκες E( T g( θ (δηλαδή b( T V ( T, Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, 4

11 ή ιοδύναµα αν mse ( T V ( T + b( T Απόδειξη Από την ανιότητα Makov για την τµ (Τ g(θ και για α ε θα ιχύει ότι E[( T g( θ ] P(( T ε ή ιοδύναµα, mse( T P( T g( θ ε για κάθε ε >, ε Επειδή όµως mse ( T V ( T + b( T, θα ιχύει ότι g( θ ε για κάθε ε >, P( T g( θ ε για κάθε ε >, ή ιοδύναµα P( T g( θ < ε για κάθε ε > και άρα η Τ είναι υνεπής εκτιµήτρια του g(θ Άκηη 48 είξτε ότι ο δειγµατικός µέος παρατηρήεων που προέρχονται από µία κατανοµή µε µέη τιµή µ και διαπορά < είναι υνεπής εκτιµήτρια του µ Λύη Έχουµε ήδη αποδείξει παραπάνω ότι E( µ, και εποµένως (αν ως Τ θεωρήουµε την V (, mse ( V ( + b( + ( E( µ Η κατανοµή χι-τετράγωνο (χ, ch-squae Είδαµε παραπάνω ότι η τατιτική υνάρτηη S ( αποτελεί αµερόληπτη εκτιµήτρια της διαποράς ενός πληθυµού Για να εξετάουµε όµως αν είναι αποτελεµατικότερη κάποιας άλλης εκτιµήτριας ή πχ αποτελεί υνεπή εκτιµήτρια του θα πρέπει να γνωρίζουµε τη διαπορά της Επειδή υνηθέτερη κατανοµή είναι η κανονική, τη υνέχεια θα εξετάουµε την κατανοµή της S όταν το δείγµα προέρχεται από µία N(µ, Αρχικά θα χρειατεί να ορίουµε την κατανοµή Γάµµα η οποία αποτελεί γενίκευη της εκθετικής κατανοµής Οριµός 47 Η υνεχής κατανοµή µε ππ a λ f x a x a e λ x (, ( x > όπου Γ a x Γ( a x e dx (f (x για x καλείται κατανοµή Γάµµα µε παραµέτρους λ>, α> (υµβολίζεται και µε G(α,λ Η υνάρτηη Γ:[, R καλείται υνάρτηη γάµµα Χρηιµοποιώντας ολοκλήρωη κατά παράγοντες αποδεικνύεται ότι Γ(α+ α Γ(α, α > Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, 4

12 Επίης εύκολα βλέπουµε ότι Γ( Εποµένως, Γ( Γ(, Γ(3 Γ(, Γ(4 3Γ(3 3, κοκ, Γ(α(α! για α,, Η υνάρτηη γάµµα µπορεί να θεωρηθεί ως µία επέκταη της υνάρτηης παραγοντικό (που είναι οριµένη το {,,} ε όλο το [, Αν ~ G(α,λ τότε αποδεικνύεται ότι a a E (, V ( λ λ Είναι εύκολο να δούµε ότι η εκθετική κατανοµή είναι µία κατανοµή G(λ, Επίης, αποδεικνύεται ότι αν Χ,Χ,,Χ k είναι ανεξάρτητες τµ µε Χ ~ G(α,λ,,,,k τότε η τµ Χ + Χ + + k ~ G(α + α + + α k, λ Μία υποπερίπτωη της κατανοµής Γάµµα, η G(/,/ για,,, παρουιάζει ιδιαίτερο ενδιαφέρον τη Στατιτική Aυτό προκύπτει από τις επόµενες προτάεις Πρόταη 43 Αν Χ ~ Ν(, τότε η κατανοµή της τµ Υ Χ ακολουθεί G(/,/ κατανοµή Απόδειξη Η υνάρτηη πυκνότητας πιθανότητας της τµ Υ για x > θα είναι f Y ( x d dx F ( x Y d dx P( Y x d dx P( x d dx P( x x x d dx ( Φ( x Φ( d / (Φ( x φ( x x e, x > dx x π ενώ f Y ( x για x (διότι ε αυτή την περίπτωη P ( x Η ππ της Υ επαληθεύεται εύκολα ότι είναι η ππ της G(½, ½ (ιχύει ότι Γ(½ π Πρόταη 44 Αν Χ,Χ,,Χ ~Ν(, ανεξάρτητες τµ τότε η κατανοµή της τµ G(/,/ κατανοµή x ακολουθεί Απόδειξη Οι τµ, ύµφωνα µε την προηγούµενη πρόταη, ακολουθούν κατανοµή G(/, / Εποµένως το άθροιµά τους, ύµφωνα µε την παραπάνω ιδιότητα της κατανοµής Γάµµα, θα ακολουθεί κατανοµή G(/,/ H κατανοµή G(/,/, δηλαδή η κατανοµή του αθροίµατος των τετραγώνων τυπικών κανονικών, έχει ιδιαίτερη ηµαία τη τατιτική και υναντάται ε αρκετές εφαρµογές Για το λόγο αυτό της έχει δοθεί µία ιδιαίτερη ονοµαία Ειδικότερα έχουµε τον επόµενο οριµό Οριµός 48 Η κατανοµή του αθροίµατος των τετραγώνων ανεξάρτητων τυπικών κανονικών η οποία είναι G(/,/, θα καλείται κατανοµή χι-τετράγωνο µε βαθµούς ελευθερίας (ch-squae ή χ, G(/,/ χ Όπως είναι φανερό, οι βαθµοί ελευθερίας (βε είναι η παράµετρος της κατανοµής χ Αποδεικνύεται την επόµενη πρόταη ότι οι βε µιας χ είναι και η µέη της τιµή Πρόταη 45 Αν Χ ~ χ τότε, E(, V ( Απόδειξη Γνωρίζουµε ότι η κατανοµή χ είναι την ουία µία G(α/, λ/ και εποµένως θα έχει µέη τιµή α/λ, και διαπορά α/λ Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, 4

13 5 5 χ 5 υνάρτηη πυκνότητας πιθανότητας της κατανοµής χι-τετράγωνο µε 5,,, 3 βαθµούς ελευθερίας χ 75 5 χ χ Ιδιαίτερα χρήιµη για την τατιτική είναι η επόµενη πρόταη ύµφωνα µε την οποία η κατανοµή της δειγµατικής διαποράς S από κανονικό πληθυµό ακολουθεί (κατάλληλα τροποποιηµένη κατανοµή χι-τετράγωνο Πρόταη 46 Αν Χ,Χ,,Χ τδ από την Ν(µ, και S ( η δειγµατική διαπορά, τότε ( S ~ χ Άκηη 49 Αν Χ,Χ,,Χ τδ από την Ν(µ,, εξετάετε ως προς την αµεροληψία, τη χετική αποτελεµατικότητα και τη υνέπεια, τις εκτιµήτριες του : S ( και S ( v Σε ποιά περίπτωη υτήνετε τη χρήη της S και ε ποια τη χρήη της S ; Λύη Από την Πρόταη 4β γνωρίζουµε ότι η S αποτελεί αµερόληπτη εκτιµήτρια του α- νεξάρτητα από την κατανοµή από την οποία προέρχονται οι παρατηρήεις Το ίδιο είναι εύκολο να δείξουµε και για την S Πράγµατι, E( S E(( µ V ( Εποµένως και οι δύο είναι αµερόληπτες εκτιµήτριες του Θα βρούµε τις διαπορές των εκτιµητριών S S / γράφεται τη µορφή και S Για την S παρατηρούµε ότι η τµ S Z, όπου Ζ,Ζ,,Ζ είναι ανεξάρτητες Ν(, τµ Εποµένως, από την Πρόταη 44 προκύπτει ότι η τµ S / ακολουθεί G(/,/ χ κατανοµή και άρα θα έχει διαπορά ηλαδή, ( S V ( S 4 S V V 4 Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, 43

14 Για την S τώρα, από την Πρόταη 46 παρατηρούµε ότι η τµ ( S ακολουθεί κατανοµή χ και εποµένως από την Πρόταη 45 θα έχει διαπορά ( ηλαδή, ( S Va ( και εποµένως ( S 4 V Από τα παραπάνω βλέπουµε ότι η εκτιµήτρια S είναι αποτελεµατικότερη από την S µε χετική αποτελεµατικότητα V ( S, V ( S Στο ερώτηµα ( αποδείχθηκε ότι οι δύο εκτιµήτριες είναι αε του µε διαπορές ( 4 V S και ( 4 V S και εποµένως, από την Πρόταη 4 και οι δύο εκτιµήτριες είναι υνεπείς v Η εκτιµήτρια S είναι αποτελεµατικότερη από την S αν και η χετική αποτελεµατικότητα της S ε χέη µε την S είναι χεδόν για µεγάλα (οι δύο εκτιµήτριες έχουν πρακτικά την ίδια απόδοη για χετικά µεγάλα δείγµατα Από την άλλη όµως παρατηρούµε ότι η χρήη της εκτιµήτριας S είναι δυνατή µόνο όταν είναι γνωτό το µ, ενώ η S δεν βαίζεται την ακριβή τιµή του µ Εποµένως, για µικρά δείγµατα µε γνωτό µ, υνίταται η χρήη της S ενώ ε όλες τις άλλες περιπτώεις είναι προτιµότερο να χρηιµοποιούµε την S Μέθοδοι εκτιµήεως Στις προηγούµενες παραγράφους εξετάαµε τα χαρακτηριτικά (πχ αµεροληψία, αποτελεµατικότητα, υνέπεια, κτλ αρκετών εκτιµητριών παραµέτρων γνωτών κατανοµών Σε όλες αυτές τις περιπτώεις έπρεπε πρώτα να γνωρίζουµε τη µορφή της εκτιµήτριας και τη υνέχεια να εξετάουµε αν είναι πχ υνεπής Στις περιότερες περιπτώεις χρηιµοποιήαµε το δειγµατικό µέο και τη δειγµατική διαπορά µιας και αυτές είναι οι πιο γνωτές τατιτικές υναρτήεις Οι εκτιµήτριες αυτές αποδείχθηκαν αρκετά ικανοποιητικές τις περιπτώεις που επιθυµούµε να εκτιµήουµε µέες τιµές ή διαπορές κανονικών πληθυµών Τι γίνεται όµως τη γενική περίπτωη που δίνεται κάποια κατανοµή και θέλουµε να εκτιµήουµε κάποια υνάρτηη των παραµέτρων της; Στη υνέχεια θα παρουιάουµε δύο µεθόδους για την εύρεη εκτιµητριών για οποιαδήποτε υνάρτηη των παραµέτρων Η πρώτη είναι η (αρχαιότερη µέθοδος των ροπών ενώ η δεύτερη και ηµαντικότερη είναι η µέθοδος της µέγιτης πιθανοφάνειας α Μέθοδος των ροπών Έτω ένα τδ Χ,Χ,,Χ από µία κατανοµή µε υνάρτηη κ F(x;θ(θ,θ,,θ k για την οποία υποθέτουµε ότι υπάρχουν οι ροπές έως k τάξης ( E( : ροπή -τάξης της τµ Χ Έ- τω επίης ότι επιθυµούµε να εκτιµήουµε τα θ,θ,,θ k Οι k-πρώτες ροπές της κατανοµής θα είναι υναρτήεις των παραµέτρων θ,θ,,θ k, δηλαδή θα είναι E µ (θ,θ,,θ, για,,,k ( k Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, 44

15 (όπου για ευκολία υµβολίζουµε µε E ( την κοινή ροπή τάξης των Χ,Χ,,Χ, δηλ E ( E (,,,, Σύµφωνα µε τη µέθοδο των ροπών, κατακευάζουµε το ακόλουθο ύτηµα που αποτελείται από k εξιώεις και k αγνώτους θ,θ,,θ k : m µ (θ,θ,,θ k,,,, k όπου m είναι η δειγµατική ροπή -τάξης ηλαδή την ουία κατακευάζουµε το ύτηµα E(, E( k k E( Εξιώνουµε δηλαδή τις k πρώτες δειγµατικές ροπές m µε τις k πρώτες πληθυµιακές ροπές E (,,,,k Οι λύεις αυτού του υτήµατος ως προς θ,θ,,θ k καλούνται εκτιµήτριες ροπών των θ,θ,,θ k και υµβολίζονται µε ~ θ, ~ θ,, ~ θk Σε αρκετές περιπτώεις η µέθοδος αυτή προφέρει εκτιµήτριες µε καλές ιδιότητες (πχ αεεδ αλλά υπάρχουν και αρκετές περιπτώεις όπου δεν µπορεί να εφαρµοτεί ή δεν οδηγεί ε καλές εκτιµήτριες Πριν περάουµε ε κάποιες εφαρµογές είναι χρήιµο να δούµε που βαίζεται η παραπάνω µέθοδος Συγκεκριµένα έχουµε την επόµενη πρόταη Πρόταη 47 Η δειγµατική ροπή m τάξεως είναι υνεπής εκτιµήτρια της ροπής µ E( τάξεως ενός πληθυµού (υποθ ότι k V ( < Απόδειξη Έτω Χ,Χ,,Χ ένα τδ από µία κατανοµή µε υνάρτηη κ F(x;θ Ιχύει ότι E ( m E( µ µ και V ( V ( m ( ( V V και άρα η m είναι υνεπής εκτιµήτρια του µ Από την παραπάνω πρόταη προκύπτει ότι, για πολύ µεγάλα δείγµατα, πρακτικά θα είναι m µ Εποµένως, για µεγάλο θα ιχύει ότι, m µ(θ θ θ k από όπου λύνοντας παίρνουµε τις εκτιµήτριες ροπών,,,,,,,,k, Άκηη 4 εδοµένου ενός τδ,,, να βρεθούν οι εκτιµήτριες ροπών των παραµέτρων: θ αν Χ ~ εκθετική µε παράµετρο θ, θ αν Χ ~ οµοιόµορφη το (,θ, λ αν Χ ~ Posso µε παράµετρο λ Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, 45

16 Λύη Έχουµε µία άγνωτη παράµετρο θ θ και εποµένως θα πάρουµε µία εξίωη µε έναν άγνωτο (k: m µ(θ m E( θ και άρα ~ θ Άρα εάν θέλουµε να εκτιµήουµε την παράµετρο θ ενός πληθυµού που ακολουθεί εκθετική κατανοµή, τότε λαµβάνοντας ένα δείγµα,,, θα έχουµε ότι θ/ ~ Έχουµε και πάλι µία άγνωτη παράµετρο θ θ και εποµένως θα πάρουµε µία εξίωη µε έναν άγνωτο (k: m µ(θ m E( θ, από όπου προκύπτει ότι ~ θ Όµοια, εάν θέλουµε να εκτιµήουµε την παράµετρο θ ενός πληθυµού που ακολουθεί οµοιόµορφη κατανοµή το (,θ, τότε µπορούµε να πάρουµε ότι θ ~ Εδώ θ λ και εποµένως θα πάρουµε και πάλι µία εξίωη µε έναν άγνωτο (k: m µ(θ m E ( λ και τελικά ~ λ - Άκηη 4 εδοµένου ενός τδ,,, από Ν(µ, να βρεθούν οι εκτιµήτριες ροπών των παραµέτρων µ, Λύη Έχουµε δύο άγνωτες παραµέτρους θ µ, θ και εποµένως θα πάρουµε δύο εξιώεις µε δύο αγνώτους (k: m µ(θ,θ m µ(θ,θ m m E( E( µ + µ και άρα λύνοντας ως προς µ, προκύπτουν οι εκτιµήτριες ροπών µ ~, ~ ( S Εποµένως η εκτιµήτρια ροπών του µ ενός κανονικού πληθυµού είναι και πάλι ο δειγµατικός µέος ενώ η αντίτοιχη εκτιµήτρια του είναι η ( S / που είναι υνεπής αλλά δεν είναι αµερόληπτη εκτιµήτρια (είναι όµως αυµπτωτικά αµερόληπτη Άκηη 4 Έτω ένα τδ,,, από την οµοιόµορφη το (α, b κατανοµή Να βρεθούν οι εκτιµήτριες ροπών των παραµέτρων α, b Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, 46

17 Λύη Έχουµε δύο άγνωτες παραµέτρους θ α, θ b και εποµένως θα πάρουµε δύο εξιώεις µε δύο αγνώτους (k: m µ(θ,θ m µ(θ,θ και ιοδύναµα, a + b m E ( m E( Va( + E( ( b a a+ b + a + b a+ b b a ( ( b a Λύνοντας ως προς a, b προκύπτουν οι εκτιµήτριες ροπών ~ ~ a 3 (, b + 3 ( Άρα εάν θέλουµε να εκτιµήουµε τις παραµέτρους a, b ενός πληθυµού που ακολουθεί την ο- µοιόµορφη το (α, b κατανοµή, τότε λαµβάνοντας ένα δείγµα,,, µπορούµε να χρηιµοποιήουµε τις παραπάνω εκτιµήτριες a ~, b ~ β Μέθοδος µέγιτης πιθανοφάνειας Η µέθοδος αυτή είναι αρκετά ιχυρή διότι, µε µία χετικά εύκολη διαδικαία, προφέρει εκτιµήτριες µε πολύ καλές ιδιότητες Όπως και την προηγούµενη παράγραφο, θεωρούµε αρχικά ένα τδ Χ,Χ,,Χ από µία κατανοµή µε υνάρτηη π ή ππ f (x;θ Έτω ότι επιθυµούµε να εκτιµήουµε το θ ή οποιαδήποτε υνάρτηη του, g(θ Η από κοινού ππ ή π των,,, θεωρούµενη ως υνάρτηη του θ, δηλαδή η Lx ( θ f ( x, x,, x; θ f ( x; θ, θα καλείται υνάρτηη πιθανοφάνειας του δείγµατος Η εκτιµήτρια µέγιτης πιθανοφάνειας δίνεται τον επόµενο οριµό Οριµός 48 Μία εκτιµήτρια θ θα καλείται εκτιµήτρια µέγιτης πιθανοφάνειας (εµπ ή MLE της παραµέτρου (ή των παραµέτρων θ αν ιχύει ότι L ( θ θ Θ θ Θ θ sup L ( θ sup f (,,, ; Άρα η εµπ θ είναι την ουία η τιµή της παραµέτρου θ που µεγιτοποιεί τη υνάρτηη πιθανοφάνειας L(θ Συνήθως, αντί να αναζητούµε το ηµείο µεγίτου της L(θ, είναι πιο εύκολο να αναζητούµε το ηµείο µεγίτου του ll(θ (έχουν το ίδιο ηµείο µεγίτου διότι η υνάρτηη l είναι αύξουα Προφανώς, αν k (θ θ και η υνάρτηη ll(θ παραγωγίζεται ε ολόκληρο τον παραµετρικό χώρο Θ (και Θ ανοικτό διάτηµα µπορούµε να βρούµε το ηµείο µεγίτου µέα από τη λύη της εξίωης (ll(θ, ελέγχοντας παράλληλα ότι ( l L ( θ < Άκηη 43 Έτω Χ,Χ,,Χ τδ από κατανοµή Posso µε µέη τιµή λ Βρείτε την εµπ του λ Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, 47

18 Λύη Είναι γνωτό ότι η π της κατανοµής Posso (λ είναι f ( x; λ λ e, x,,, λ> λ! x και άρα ο λογάριθµος της υνάρτηης πιθανοφάνειας του δείγµατος θα δίνεται από τον τύπο l L( λ l f ( x; λ l f ( x ; λ l e x λ x λ x! λ ( x ( λ λ le + lλ l x! + x lλ l x! + lλ x l x! Παρατηρούµε ότι η παραπάνω υνάρτηη του λ είναι παραγωγίιµη ε όλο τον παραµετρικό χώρο (, Εποµένως, τα πιθανά λ για τα οποία µεγιτοποιείται η ll(λ θα είναι ρίζες της εξίωης (ll(λ Ειδικότερα θα έχουµε ότι (l L( λ λ+ lλx lx! + x λ λ λ και εποµένως λ, η οποία υµπίπτει µε την εκτιµήτρια ροπών του λ Αποµένει φυικά να επαληθεύουµε ότι η παραπάνω τιµή αποτελεί µέγιτο Πράγµατι, ιχύει ότι λ (l L(λ x x (λ < Αξίζει να παρατηρήουµε ότι οι εµπ έχουν αυµπτωτικά πολύ καλές ιδιότητες Πιο υγκεκρι- µένα αν θ είναι εµπ του θ από δείγµα µεγέθους, αποδεικνύεται ότι, κάτω από κατάλληλες υνθήκες οµαλότητας, η θ ακολουθεί αυµπτωτικά κανονική κατανοµή Επίης, Ε( θ θ και V( θ και εποµένως η θ είναι υνεπής εκτιµήτρια του θ Αποδεικνύεται επίης ότι αυ- µπτωτικά (, η θ είναι άριτη εκτιµήτρια του θ Άρα, η βέλτιτη εκτιµήτρια µιάς παραµέτρου θ όταν έχουµε ένα χετικά µεγάλο δείγµα, θα είναι η εµπ του θ Άκηη 44 εδοµένου ενός τδ,,, από Ν(µ, να βρεθούν: η εµπ του µ αν γνωτό, η εµπ του αν µ γνωτό, οι εµπ των παραµέτρων µ, (και τα δύο είναι άγνωτα Λύη Είναι γνωτό ότι η π της Ν(µ, κατανοµής είναι ( x f ( x; µ e, x R π και άρα ο λογάριθµος της υνάρτηης πιθανοφάνειας του δείγµατος θα δίνεται από τον τύπο ( x l L( µl f ( x ; µ l f ( x; µ l e π l π ( x Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, 48

19 Η παραπάνω υνάρτηη του µ είναι παραγωγίιµη ε όλο τον παραµετρικό χώρο (, Εποµένως, τα πιθανά µ για τα οποία µεγιτοποιείται η ll(µ θα είναι ρίζες της εξίωης (ll(µ Ειδικότερα, ( x ( x (l L( µ l π ( x µ µ µ και άρα µ, η οποία υµπίπτει µε την εκτιµήτρια ροπών του µ Η παραπάνω τιµή αποτελεί µέγιτο διότι µ (l L( µ µ x µ < O λογάριθµος της υνάρτηης πιθανοφάνειας του δείγµατος θα ιούται (θέτουµε θ ( x θ l L( θl f ( x ; θ l f ( x ; θ l e πθ ( x µ lπ lθ θ Η παραπάνω υνάρτηη του θ είναι παραγωγίιµη ε όλο τον παραµετρικό χώρο (, Εποµένως, όµοια µε παραπάνω, θα έχουµε ότι και άρα ( x ( x (l L( θ lπ lθ + θ θ θ θ θ θ ( µ, η οποία, όπως έχουµε υποθέει, προϋποθέτει τη γνώη του µ Η παραπάνω τιµή αποτελεί µέγιτο διότι ( x µ (l L(θ + ( x µ θ θ θ θ 3 θ θ (θ (θ θ < 3 (θ (θ (θ (θ (θ O λογάριθµος της υνάρτηης πιθανοφάνειας του δείγµατος θα ιούται (θέτουµε θ ( x θ l L( µ,θl f ( x ; µ,θ l f ( x ; µ,θ l e πθ ( x µ lπ lθ θ Η παραπάνω υνάρτηη των θ, µ είναι παραγωγίιµη ε όλο τον παραµετρικό χώρο (, (, Εποµένως, για να βρούµε το µέγιτο εξιώνουµε τις µερικές παραγώγους µε το Συγκεκρι- µένα θα έχουµε ότι Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, 49

20 ( x ( x (l L( µ,θ lπ lθ µ θ θ θ ( x ( x (l L( µ,θ lπ lθ + θ θ θ θ θ και άρα λύνοντας ως προς µ, θ προκύπτει ότι µ θ ( µ µ Παρατηρούµε ότι υµπίπτουν µε τις εκτιµήτριες ροπών ( S Άκηη 45 εδοµένου ενός τδ,,, να βρεθούν οι εµπ των παραµέτρων: θ αν Χ ~ οµοιόµορφη το (,θ θ αν Χ ~ εκθετική µε παράµετρο θ Λύη H π της οµοιόµορφης το (,θ κατανοµής είναι, x (, θ f ( x; θ θ, x > θ και άρα η υνάρτηη πιθανοφάνειας του δείγµατος θα είναι, αν x, x,, x (, θ L( θ f ( x ; θ θ I ( θ θ αν x > θ x, όπου Ι x (θ αν x,,x <θ θ > max x και Ι x (θ αν θ max x Η παραπάνω υνάρτηη του θ δεν είναι παραγωγίιµη ε όλο τον παραµετρικό χώρο (, Πράγµατι, δεν είναι παραγωγίιµη το ηµείο θ max x Εποµένως δεν µπορούµε να ακολουθήουµε τη γνωτή διαδικαία παραγωγίζοντας και εξιώνοντας µε το Εναλλακτικά, θα βρούµε το θ για το οποίο µεγιτοποιείται η L(θ από το γράφηµά της Η γραφική παράταη της υνάρτηης πιθανοφάνειας L(θ θα είναι της µορφής: L(θ max x θ Πράγµατι, η υνάρτηη h( θ Ix ( θ είναι ίη µε αν θ max x ενώ για θ > max x είναι θ φθίνουα Εποµένως το supemum των τιµών της υνάρτηης λαµβάνεται το max x Από τον οριµό της εµπ υµπεραίνουµε τελικά ότι Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, 5

21 θ max{,,, Η εκτιµήτρια αυτή είναι καλύτερη από την εκτιµήτρια ροπών ~ θ (αποδεικνύεται ότι έχει µικρότερο µέο τετραγωνικό φάλµα, ενώ είναι αυµπτωτικά αµερόληπτη H π της εκθετικής κατανοµής µε παράµετρο θ είναι } θ x f ( x; θ θ e, x> Ο λογάριθµος της υνάρτηης πιθανοφάνειας του δείγµατος θα δίνεται από τον τύπο x ( l L( θl f ( x ; θ l f ( x ; θ l θe θ ( lθ θ x lθ θ x Η παραπάνω υνάρτηη του θ είναι παραγωγίιµη ε όλο τον παραµετρικό χώρο (, Εποµένως, τα πιθανά θ για τα οποία µεγιτοποιείται η ll(θ θα είναι ρίζες της (ll(θ Ειδικότερα, και άρα (l L( θ lθ θ x x θ θ θ θ η οποία υµπίπτει µε την εκτιµήτρια ροπών του θ Η παραπάνω τιµή αποτελεί µέγιτο διότι θ (l L( θ x < θ θ θ Άκηη 46 Έτω ένα τδ,,, από τη διωνυµική (v, p κατανοµή Να βρεθεί η εµπ της παραµέτρου p Λύη H π της διωνυµικής (v, p κατανοµής είναι v f x p x p x p v x (, (, x,,, Ο λογάριθµος της υνάρτηης πιθανοφάνειας του δείγµατος δίνεται από τον τύπο v x v x l L( pl f ( x ; p l f ( x ; p l p ( p x v l + x l p+ ( v x l( p x Η παραπάνω υνάρτηη του p είναι παραγωγίιµη ε όλο τον παραµετρικό χώρο (, Εποµένως, θα έχουµε v (l L( p l + x l p+ ( v x l( p p p x x v x p p p x p v x ( ( και άρα, λύνοντας ως προς p θα έχουµε ότι Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, 5

22 Η παραπάνω τιµή αποτελεί µέγιτο διότι p (l L( p p p p v x ( v x p v p( p p p < Πρόταη 48 (αναλλοίωτου της εµπ Αν g είναι µία - υνάρτηη τότε η εµπ της π g(θ είναι η g ( θ (δηλαδή, g ( θ g( θ Άκηη 47 εδοµένου ενός τδ,,, από Ν(µ, να βρεθεί η εµπ του Λύη Από την Άκηη 44 έχουµε βρει ότι οι εµπ των µ, από κανονική κατανοµή είναι µ, S ( Άρα, χρηιµοποιώντας και την Πρόταη 48(, θα έχουµε ότι η εµπ του g( θα είναι (η g( θ θ είναι - για θ > g( ( Άκηη 48 Έτω ότι η ηµερήια ζήτηη ενός προϊόντος από ένα πολυκατάτηµα ακολουθεί κατανοµή Posso (λ (και είναι ανεξάρτητη από τις άλλες ηµέρες Για λόγους υντήρηης, το πολυκατάτηµα δεν θα διαθέτει το προϊόν αυτό για k ηµέρες Χρηιµοποιώντας τοιχεία που υ- πάρχουν για τη ζήτηη του προϊόντος τις τελευταίες ηµέρες, να εκτιµήετε την πιθανότητα να ζητηθεί το προϊόν αυτό κατά τη διάρκεια της υντήρηης (χρηιµ εµπ Λύη Έτω Χ,Χ,,Χ η ζήτηη του προϊόντος τις τελευταίες ηµέρες Σύµφωνα µε την εκφώνηη οι τµ Χ,Χ,,Χ είναι ένα τδ από την Posso µε µέη τιµή λ Έτω Υ,Υ,,Υ k οι τµ που εκφράζουν τη ζήτηη τις k ηµέρες της υντήρηης Ζητείται η πιθανότητα PY ( > ήy> ή ήy> PY (, Y, Y PY ( PY ( PY ( k k k Επειδή η ηµερήια ζήτηη ακολουθεί κατανοµή Posso η παραπάνω πιθανότητα θα είναι ίη µε e λ e λ e λ e k λ Άρα, δεδοµένου ενός τδ Χ,Χ,,Χ από την Posso (λ, ζητείται η εµπ της g(λ e k λ Γνωρίζουµε από προηγούµενη άκηη ότι η εµπ του λ είναι το και εποµένως, ύµφωνα και µε την Πρόταη 48(, η εµπ της πιθανότητας να ζητηθεί το προϊόν αυτό κατά τη διάρκεια της υντήρηης είναι k g( λ e Boutskas MV (3, Σηµειώεις Στατιτικής ΙΙΙ, 5