ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΙΡΑΙΑ ΤΜΗΜΑ ΣΤΑΤΙΣΤΙΚΗΣ ΚΑΙ ΑΣΦΑΛΙΣΤΙΚΗΣ ΕΠΙΣΤΗΜΗΣ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ ΣΤΑΤΙΣΤΙΚΗ Ι ΜΙΑ ΣΥΝΤΟΜΗ ΑΝΑΣΚΟΠΗΣΗ ΓΕΩΡΓΙΟΣ ΤΖΑΒΕΛΑΣ ΕΠΙΚΟΥΡΟΣ ΚΑΘΗΓΗΤΗΣ Ακαδημαϊκό έτος 03-4
Τι είναι η Στατιστική; Είναι η επιστήμη η οποία ασχολείται με την ) συλλογή δεδομένων ) ταξινόμηση και επεξεργασία δεδομένων 3) εξαγωγή συμπερασμάτων. Θα μιλήσουμε για το (3) Το (3) είναι η πεμπτουσία της στατιστικής: Να βγάζουμε συμπεράσματα από το μέρος (δείγμα) για το σύνολο (Πληθυσμό).
ΑΝΑΛΟΓΑ ΜΕ ΤΙΣ ΥΠΟΘΕΣΕΙΣ ΠΟΥ ΚΑΝΕΙ ΚΑΝΕΙΣ ΔΙΑΚΡΙΝΕΤΑΙ ΣΕ ΠΑΡΑΜΕΤΡΙΚΗ ΣΤΑΤΙΣΤΙΚΗ (Η κατανομή θεωρείται γνωστή εκτός από κάποιες παραμέτρους) ΜΗ ΠΑΡΑΜΕΤΡΙΚΗ ΣΤΑΤΙΣΤΙΚΗ (Η κατανομή θεωρείται άγνωστη) ΗΜΙΠΑΡΑΜΕΤΡΙΚΗ ΣΤΑΤΙΣΤΙΚΗ (Μερική γνώση της κατανομής) ΑΝΑΛΟΓΑ ΜΕ ΤΟ ΑΝΤΙΚΕΙΜΕΝΟ ΠΟΥ ΜΕΛΕΤΑ ή ΤΑ ΕΡΓΑΛΕΙΑ ΠΟΥ ΧΡΗΣΙΜΟΠΟΙΕΙ ΔΙΑΚΡΙΝΕΤΑΙ ΣΕ ΔΙΑΦΟΡΟΥΣ ΚΛΑΔΟΥΣ ΟΠΩΣ κ.λπ. ΑΝΑΛΥΣΗ ΧΡΟΝΟΣΕΙΡΩΝ ΜΠΕΥΖΙΑΝΗ ΣΤΑΤΙΣΤΙΚΗ ΒΙΟΣΤΑΤΙΣΙΚΗ SEQUENCIAL ANALYSIS EKTIMHTIKH 3
ΤΟ ΠΡΟΒΛΗΜΑ Έστω,, είναι δείγμα από ανεξάρτητες παρατηρήσεις από την ίδια κατανομή,θ, Σκοπός μας: Μέθοδοι εκτίμησης της παραμέτρου θ Οι υποθέσεις της κλασικής συμπερασματολογίας είναι; Οι παρατηρήσεις είναι ανεξάρτητες μεταξύ τους Οι παρατηρήσεις έχουν την ίδια κατανομή Η κατανομή είναι γνωστή. Τέτοιο δείγμα το ονομάζουμε τυχαίο δείγμα (τ.δ.) f. 4
ΒΑΣΙΚΟΙ ΟΡΙΣΜΟΙ Στατιστική συνάρτηση: Μια συνάρτηση των δεδομένων (χωρίς αγνώστους). π.χ. η μέση τιμή η διακύμανση s = είναι στατιστικές συναρτήσεις. Ακόμα αν μ είναι γνωστή, η συνάρτηση μ s = είναι σ.σ. Αν η μ δεν είναι γνωστή τότε δεν είναι σ.σ. Ένας εκτιμητής (ή εκτιμήτρια) της παραμέτρου θ είναι μια στατιστική συνάρτηση. Προσοχή: Άλλο εκτίμηση, άλλο εκτιμητής. 5
Ας τον ονομάσουμε θˆ Τι ιδιότητες πρέπει να έχει; Προφανώς πρέπει να είναι κοντά στο θ. Τι σημαίνει όμως κοντά ; Θυμηθείτε: ο θˆ είναι μια τυχαία μεταβλητή και ο θ άγνωστη ποσότητα Έτσι δεν έχει νόημα να μιλάμε για την απόσταση θˆ θ αφού το θ δεν είναι γνωστό. Υιοθετούμε το Μέσο Τετραγωνικό Σφάλμα (ΜΤΣ) Όμως Ε θ ˆ θ Ε θ ˆ θ = Εθˆ Εθˆ + Εθ ˆ θ.. Δηλαδή ΜΤΣ = διακύμανση + μεροληψία Έτσι ένας καλός εκτιμητής πρέπει να έχει μικρό ΜΤΣ Αν Εθˆ = θ ο εκτιμητής λέγεται αμερόληπτος. 6
(Το να είναι ένας εκτιμητής αμερόληπτος δεν είναι αρκετό για να είναι καλός) Τρόποι εύρεσης εκτιμητών Οι εκτιμητές θα συγκρίνονται μεταξύ τους με το κριτήριο του ΜΤΣ ˆ θ ˆ Ένας εκτιμητής είναι καλύτερος από τον θ όταν ΜΤΣ( θ ˆ, θ) ΜΤΣ( θ ˆ, θ) για όλα τα θ στον Θ. Παράδειγμα Έστω ανεξάρτητο δείγμα,,..., από Βm, p. Θεωρούμε δυο εκτιμητές του p τον Τ Ποιος εκτιμητής είναι καλύτερος; = = = και τον T = m = = m 7
Απάντηση Και οι δυο εκτιμητές είναι αμερόληπτοι. Άρα p p ΜΤΣ(,θ)=var( Τ )= και Τ = m ΜΤΣ(,θ)=var( )= Τ Τ p p = m. Ποιος είναι καλύτερος; Απάντηση : Συγκρίνοντας τις διακυμάνσεις βρίσκουμε ότι καλύτερος είναι ο Τ. Βασικά η σύγκριση ανάγεται στην ανισότητα m η οποία ισχύει. Γιατί ; m 8
Πως ελέγχουμε τις ιδιότητες ενός εκτιμητή; Με προσομοίωση Τι είναι η προσομοίωση; Είναι μια διαδικασία με την οποία παράγουμε τυχαία δείγματα από μια κατανομή. Η βασική αρχή της είναι το εξής θεώρημα Αν Χ είναι τ.μ. με σκ F(), τότε η τ.μ. Υ=F() ακολουθεί την ομοιόμορφη U[0,]. Άρα αν πάρω τυχαίο δείγμα y, y,... y από την ομοιόμορφη κατανομή, οι τιμές F ( y ), F ( y ),..., F ( ) ακολουθούν την κατανομή F. y Δηλαδή ο υπολογιστής επιλέγει ένα τυχαίο δείγμα από το διάστημα [0,] και παίρνει τις αντίστροφες τιμές F -. Στην πράξη ο υπολογιστής δεν παράγει τυχαίο δείγμα αλλά ψευδο-τυχαίο. Πίσω στο παράδειγμά μας Με την παρακάτω διαδικασία στο Mathematca παράγουμε 000 δείγματα των =5. 9
Η μέση τιμή των 000 τιμών του εκτιμητή Τ είναι Ε( Τ )= 0.337533 Με διακύμανση Var(T )= 0.050063 Για τον Τ έχουμε Ε( Τ )= 0.339607 Με διακύμανση Var(T )= 0.004346 Σχήμα Ιστόγραμμα των τιμών Τ Ιστόγραμμα των τιμών Τ Δυστυχώς δεν υπάρχει βέλτιστος εκτιμητής με το κριτήριο του ΜΤΣ. 0
Θα αναζητήσουμε έναν βέλτιστο εκτιμητή σε ένα μικρότερο σύνολο. Στο σύνολο των αμερόληπτων εκτιμητών ΔΕΔΟΜΕΝΟΥ ΟΤΙ ΥΠΑΡΧΟΥΝ ΑΜΕΡΟΛΗΠΤΟΙ ΕΚΤΙΜΗΤΕΣ!!!!!!!! Δεν υπάρχει πάντα αμερόληπτος εκτιμητής για μια άγνωστη ποσότητα. π.χ. Αν ~B(,p) τότε δεν υπάρχει αμερόληπτος εκτιμητής για το /p. ΥΠΟΘΕΤΟΥΜΕ ΛΟΙΠΟΝ ΟΤΙ ΤΟ ΣΥΝΟΛΟ ΤΩΝ ΑΜΕΡΟΛΗΠΤΩΝ ΕΚΤΙΜΗΤΩΝ ΔΕΝ ΕΙΝΑΙ ΚΕΝΟ Θα ψάξουμε για Αμερόληπτους Ομοιομόρφως Ελαχίστης Διασποράς (ΑΟΕΔ) Πρώτα θα δώσουμε τον ορισμό της επαρκούς σ.σ. Μιά σ.σ. ΤΧ λέγεται επαρκής για την θ όταν η δεσμευμένη κατανομή του Χ δοθέντος ΤΧ δεν εξαρτάται από το θ.
Παράδειγμα Έστω δείγμα,,... από την Β(,p) και Τότε P =, Τ = = =,..., = T = t = t Όλη η πληροφορία για το p βρίσκεται στην Τ. Η επάρκεια είναι δύσκολο να ελεγχθεί. Ευτυχώς υπάρχει το παραγοντικό Θεώρημα. Η Τ = Τ είναι επαρκής για την θ όταν η π.π. της γράφεται στη μορφή
f ;θ= qt,θ h, Στο προηγούμενο Παράδειγμα f, p = p p p p... p p p Έτσι p, p= p p q και h = Επομένως μια επαρκής στατιστική συνάρτηση είναι η Ερώτηση Ποια είναι η επαρκής σσ στο Παράδειγμα ; T ( ) 3
4 Απάντηση Εύκολα βρίσκουμε ότι m p p m p p m p p m p p m = p, f... m m m Πάλι ο T ) (. Αυτό είναι μια ερμηνεία γιατί ο Τ είναι καλύτερος σε σχέση με τον Τ. Που μας χρειάζεται η επάρκεια; Απάντηση. Για να βελτιώσουμε έναν αμερόληπτο εκτιμητή του θ Πως;
Με την διαδικασία Rao-Blackwell. Δηλαδή: Ξεκινώ με έναν αμερόληπτο εκτιμητή Τ του θ. Στη συνέχεια βρίσκω τον εκτιμητή = ET T Τ O T είναι μια βελτίωση του Τ με την έννοια ότι είναι αμερόληπτος και ΜΤΣ(,θ)<ΜΤΣ( T,θ) T Αν η Τ =Τ είναι και πλήρης τότε ο T είναι ο ΑΟΕΔ. Ορισμός Η οικογένεια κατανομών του Τ λέγεται πλήρης όταν για κάθε συνάρτηση E θ ht = 0 τότε ht = 0. ht του Τ έχουμε ότι αν Ο ΑΟΕΔ ΕΙΝΑΙ ΕΝΑΣ ΑΜΕΡΟΛΗΠΤΟΣ ΕΚΤΙΜΗΤΗΣ ΠΟΥ ΕΙΝΑΙ ΣΥΝΑΡΤΗΣΗ ΜΙΑΣ ΠΛΗΡΟΥΣ ΚΑΙ ΕΠΑΡΚΟΥΣ Σ.Σ. 5
Εν γένει η εύρεση ΑΟΕΔ εκτιμητών είναι μια δύσκολη υπόθεση Ευτυχώς υπάρχουν οι εκθετικές οικογένειες κατανομών ΕΚΘΕΤΙΚΕΣ ΟΙΚΟΓΕΝΕΙΕΣ ΚΑΤΑΝΟΜΩΝ Για Μονοδιάστατη Εκθετική Οικογένεια Κατανομών Η οικογένεια κατανομών του είναι μια ΜΕΟΚ αν γράφεται στη μορφή f,θ= ep Αθ + Β+Cθ Τ και το στήριγμα δεν εξαρτάται από το θ. Παράδειγμα 3 Έστω δείγμα,,..., f ;θ = e θ θ για! από την Posso. N Τότε 6
f ;θ= f ;θ = = = e θ θ! = e θ θ = f ;θ= ep θ + logθ = log Για Πολυδιάστατη Εκθετική Οικογένεια Κατανομών Βασικός τύπος Η οικογένεια κατανομών του είναι μια ΠΕΟΚ αν γράφεται στη μορφή f k,θ= ep Αθ + Β+ C θ Τ = και το στήριγμα δεν εξαρτάται από το θ. Παράδειγμα 4 7
Για δείγμα από την κανονική κατανομή όπου μ αλλά και σ άγνωστοι. f,θ = ep logσ logπ σ + μ σ μ σ. Τι το καλό έχουν οι κατανομές αυτές; Έχουν πολλές και χρήσιμες ιδιότητες απλά και μόνο επειδή γράφονται στη μορφή αυτή. π.χ. Αν η οικογένεια κατανομών του είναι μια ΜΕΟΚ τότε η είναι επαρκής. Αν το πεδίο τιμών του Cθ περιέχει ένα ανοιχτό διάστημα τότε είναι και πλήρης. Οι εκθετικές οικογένειες κατανομών ικανοποιούν τις συνθήκες ομαλότητας των Cramer-Rao Η πιο σπουδαία εφαρμογή των εκθετικών οικογενειών κατανομών είναι στα γενικευμένα γραμμικά μοντέλα. Τα μοντέλα αυτά γενικεύουν τα κλασσικά μοντέλα παλινδρόμησης στα οποία η βασική υπόθεση είναι οι παρατηρήσεις μας να ακολουθούν κανονική κατανομή. Στα ΓΓΜ η υπόθεση αυτή αίρεται και αντικαθίσταται με την υπόθεση οι παρατηρήσεις να ακολουθούν μια εκθετική οικογένεια κατανομών. Η σπουδαιότητα είναι προφανής. T 8
Έχουμε δει τους Αμερόληπτους Ομοιόμορφα Ελαχίστης διασποράς Πόσο μικρή μπορεί να είναι η διασπορά τους; Απάντηση δίνει η ανισότητα Cramer-Rao. 9
Ανισότητα Cramer-Rao Αν η οικογένεια κατανομών του και Ε θ Τ = hθ τότε Var θ Τ h' θ Iθ θ. όπου Ι θ = Ε f ;θ = Ε logf ;θ θ log θ θ θ είναι ο πληροφοριακός αριθμός του Fsher ικανοποιεί κάποιες συνθήκες ομαλότητας Παράδειγμα 5 Θεωρούμε ένα δείγμα από την,,..., από την Beroull B(,θ). Αφού είναι εκθετική οικογένεια κατανομών ισχύουν οι συνθήκες ομαλότητας των C-R. Ποιό είναι το κάτω φράγμα της διασποράς για έναν αμερόληπτο εκτιμητή του θ; 0
Μάλλον εύκολα μπορούμε να δούμε ότι Ι θ = Ε logf ;θ θ Έτσι αν T var θ θ Τ θ = θ θ είναι ένας αμερόληπτος εκτιμητής του θ θ. Εδώ μπορούμε να πιάσουμε το κάτω φράγμα. Δεν είναι πάντα έτσι. Παράδειγμα 6 Για το ίδιο δείγμα θέλουμε να εκτιμήσουμε το θ.
Για τους αμερόληπτους εκτιμητές του θ το κάτω φράγμα της διασποράς είναι v = 4θ 3 θ. Όμως ο ΑΟΕΔ εκτιμητής του Τ με = T var θ = θ (γιατί;) θ + 3 Μπορούμε να δούμε ότι θ θ. είναι ο v. var θ T Έτσι είναι μάλλον σπάνιο ένας εκτιμητής να πιάνει το κάτω φράγμα. Όμως Μπορούμε να πλησιάσουμε όσο κοντά θέλουμε στο κάτω φράγμα (όταν αυξάνουμε το δείγμα).
Πώς; Με τον εκτιμητή μέγιστης πιθανοφάνειας (ΕΜΠ ) Είναι ο εκτιμητής ο οποίος μεγιστοποιεί την λογαριθμική συνάρτηση πιθανοφάνειας ma{ L;θ,θ Θ} = L;θˆ Πως τον βρίσκουμε; Λύνουμε την εξίσωση (ή το σύστημα) log f ;θ = 0 θ Θεώρημα: Αν ισχύουν οι συνθήκες κανονικότητας τότε το παραπάνω σύστημα έχει μια λύση πού έχει τις εξής ιδιότητες: θ ˆ θ με την έννοια της πιθανότητας θˆ θ g( θˆ D N0, I θ D ( g'( )) ) g( θ) N 0, Iθ για τα θ για τα οποία g '( ) 0 3
Έτσι ο ΕΜΠ προσεγγίζει το κάτω φράγμα των C-R. Προσοχή!! Ο ΕΜΠ δεν είναι πάντα αμερόληπτος. Έχουμε πρόβλημα εύρεσης των ριζών (όταν οι εξισώσεις του συστήματος είναι μη γραμμικές). Έχουμε πρόβλημα επιλογής της κατάλληλης ρίζας όταν έχουμε πολλές ρίζες και κυρίως όταν υπάρχουν πολλά τοπικά μέγιστα. Παραδείγματα. Για την εκθετική (εύκολο) H λογαριθμική συνάρτηση πιθανοφάνειας είναι Lθ;= e θ θ Επομένως Lθ; = + = 0 θ θ θ Τελικά Λύση ˆ = θ 4
. Για την Κατανομή γάμμα (δύσκολο) Μπορούμε να έχουμε,, ή 3 παραμέτρους f ;α, β,γ = e αβ α α γ Γ γ β α= παράμετρος μορφής β= παράμετρος κλίμακας γ= παράμετρος θέσης >γ Παράγωγοι L θ; Γ' α = α Γa log θ; α γ L β = + β β β+ γ log 5
L θ; = +βα γ γ Αν β,γ γνωστά (π.χ. και 0) τότε έχουμε να λύσουμε την εξίσωση Ψ α = Γ' Γ α a = log () 6
Plot[PolyGamma[0,],{,0,5}] Σχήμα Η Ψ() συνάρτηση 3 4 5 3 4 Αν α, β, άγνωστοι αλλά γ=γνωστό(=0). λύνουμε το σύστημα των δυο πρώτων εξισώσεων. Ευτυχώς το σύστημα γράφεται στη μορφή 7
α Ψ + logα log + log = 0 β = α () Αν α,β,γ άγνωστοι τότε το σύστημα γράφεται στη μορφή α log a= log γ log γ Ψ Α γ α = Α γ β = Α γ Ηγ Ηγ (3) 8
ΑΡΙΘΜΗΤΙΚΑ ΠΑΡΑΔΕΙΓΜΑΤΑ Με τη μέθοδο της προσομοίωσης παίρνουμε ένα δείγμα μεγέθους =00 <<Statstcs`CotuousDstrbutos` ls0=radomarray[gammadstrbuto[,],00] {.077,.0088,.6534,0.48567,.4830,4.43406,0.90386,.934,.9533,.03477,0.3844,6.49884,0.79004,.89444,3.6748,3.684,.0454,3.7407,.5477,.05887,.509,3.330,0.43 93,.7999,0.9565,.608,3.74893,0.634,.0759,.493,3.0859,3.885,0.59346,4.7399, 0.599889,.93655,0.547947,3.4400,.847,4.837,7.3476,.67759,6.93693,.63,.86677,4.68,.544,.4979,3.088,3.85055,3.84636,.8383,.0695,.74,.4673,.399,0.895978,0.6 505,0.334646,.6947,3.5893,.57365,.95565,.44896,.4568,.87656,.5066,.9694,.4773 6,6.964,0.384955,0.534939,.6476,.0833,0.87359,.84,3.9385,.05,3.0347,3.46444,.0445,.75697,.434,3.6674,.038,5.679,.688,.0774,.0569,7.4534,.649,.89833,.34373,0.5983,5.46433,3.3597,.93,0.409403,4.355,.38607} 9
Hstogram[ls0,0] Σχήμα 3 Ιστόγραμμα του προσομοιωμένου δείγματος από την κατανομή Γάμμα 30
Plot[PolyGamma[]-Mea[Log[ls0]],{,0,5}] Σχήμα 4 Η συνάρτηση στη σχέση () 4 6 8 0 4 FdRoot[PolyGamma[]-Mea[Log[ls0]]==0,{,}] {=.8575} Ας υποθέσουμε ότι α και β άγνωστα. 3
Plot[PolyGamma[]-Log[]+Log[Mea[ls0]]-Mea[Log[ls0]],{,0,5}] Σχήμα 5 Η πρώτη συνάρτηση από τις σχέσεις () 0. 3 4 5 0.4 0.6 0.8.0. FdRoot[PolyGamma[]-Log[]+Log[Mea[ls0]]-Mea[Log[ls0]]==0,{,}] {=.05} Mea[ls0]/.05.058 3
Ας υποθέσουμε ότι και οι τρεις παράμετροι είναι άγνωστοι. Τότε η λύση του συστήματος ανάγεται στην εύρεση των ριζών της παρακάτω συνάρτησης. ( ) G( ) f ( ) ( ) log( ) (4) ( ) ( ) ( ) ( ) Σχήμα 6 Γραφική αναπαράσταση της συνάρτησης f(γ) 0.0 0.05 0.0 0.5 0.0 0.04 0.06 0.08 FdRoot[f[]==0,{,0.5}] {=0.098} α=.3 β=.658 Αλλά 0.0 33
Σχήμα 7 Γραφική αναπαράσταση της συνάρτησης f(γ) 0.0 0. 0.4 0.6 0.5 0.54 0.56 0.58 0.60 Άλλη μια λύση!!!! Απαιτείται ο έλεγχος των λύσεων. Με τη βοήθεια του πίνακα δευτέρων παραγώγων (Hessa metr). Μπορεί ακόμα να μην έχει λύση. Πώς εξηγείται; Δεν είναι εκθετική οικογένεια κατανομών. Μέθοδος των ροπών. 34
Είναι μια πρόχειρη λύση. Εξισώνουμε τις θεωρητικές ροπές με τις δειγματικές και λύνουμε ως προς τις παραμέτρους Σε πολλές περιπτώσεις ο εκτιμητής με την μέθοδο των ροπών ταυτίζεται με τον Ε.Μ.Π. Πότε; Όταν η κατανομή είναι μια εκθετική οικογένεια κατανομής. Για το προηγούμενο παράδειγμα της κατανομής γάμμα. Όταν α άγνωστο και β, γ γνωστά. Έστω β=,γ=0. E α = Βρίσκουμε α=.33383 Όταν α, β άγνωστα και γ γνωστό(=0) Έχουμε να λύσουμε το σύστημα ΕΧ = αβ = α + β E = α 35
Καταλήγουμε στο α = β = Βρίσκουμε α=.0807 β=. Όταν και οι τρεις παράμετροι είναι άγνωστες ΕΧ = E E 3 = = 3 καταλήγουμε στο σύστημα 36
α a a + β αβ + γ = + ααβ+ γ = 3 3 3 α + α + β + 3αα + β γ + 3ααβ + γ = Το αποτέλεσμα είναι FdRoot[{a*b+g==.3383, a*(a+)*b^+a*b*g+g^==mea[ls0^], a*(a+)*(a+)*b^3+3*g*a*(a+)b^+3*a*b*g^+g^3 Mea[ls0^3]},{{a,},{b,},{g,}}] {a=.577, β=.0458, γ=-0.44} Μπορεί να αποδειχθεί ότι και οι εκτιμητές με τη μέθοδο των ροπών είναι ασυμπτωτικά κανονικοί. Γιατί τότε υπολείπονται του ΕΜΠ; Γιατί η ασυμπτωτική διασπορά είναι μεγαλύτερη από αυτή του ΕΜΠ (ασυμπτωτική αποτελεσματικότητα) ΠΡΟΣΟΧΗ: Ο ΕΜΠ δεν είναι πάντα ασυμπτωτικά κανονικός. 37
Ο ΕΜΠ του θ από δείγμα ομοιόμορφης U[0, θ] είναι ο ˆ ( ) του οποίου η ασυμπτωτική κατανομή είναι η εκθετική!!!! Γιατί συμβαίνει αυτό; Γιατί δεν ισχύουν οι συνθήκες κανονικότητας αφού το στήριγμα εξαρτάται από το θ. ΠΡΟΣΟΧΗ(Νο ) Ενώ στο συγκεκριμένο παράδειγμα της ομοιόμορφης κατανομής ο ΕΜΠ δεν είναι ~ ασυμπτωτικά κανονικός, ο εκτιμητής με τη μέθοδο των ροπών ο οποίος είναι ο είναι ασυμπτωτικά κανονικός. Έλεγχος της ασυμπτωτικής κανονικότητας και αμεροληψίας των εκτιμητών με προσομοίωση 38
Clear[Qa,Qb,a,b]; teratos=0000; =00; a=; =3; Qa=Table[0,{teratos}]; Qb=Table[0,{teratos}]; Do[ls=RadomReal[GammaDstrbuto[a,],]; fa[a_]:=mea[log[ls]]-log[mea[ls]]+log[a]-polygamma[a]; ak=t/.fdroot[fa[t]0,{t,}]; f5[b_]:=mea[ls]/b; bm=f5[ak]; Qa[[k]]=ak; Qb[[k]]=bm;,{k,,teratos}] Hstogram[Qa] Hstogram[Qb] 39
Mea[Qa] Mea[Qb].037.97675 40
ΔΙΑΣΤΗΜΑΤΑ ΕΜΠΙΣΤΟΣΥΝΗΣ Διαφορετικά δείγματα δίνουν διαφορετικές εκτιμήσεις. Για να το δούμε αυτό θα καταφύγουμε πάλι στην προσομοίωση. Παίρνουμε 000 δείγματα των =00 παρατηρήσεων από την Κανονική Κατανομή Ν(,). Σκοπός: Να εκτιμήσουμε την μέση τιμή μ. Τα στατιστικά χαρακτηριστικά των 000 εκτιμήσεων Mea[Q] Ma[Q] M[Q].99855.7739.69504 4
Σχήμα 8 Ιστόγραμμα των 000 εκτιμητών της μ. Καταρχήν πόσο πρέπει να είναι το α; Το διάστημα Τ,Τ λέγεται ένα 00(-α)% διάστημα εμπιστοσύνης για το g (θ ) όταν Τ gθ Τ α Pθ Ερμηνεία Αν επαναλάβουμε το πείραμα 00 φορές τότε το 00(-α)% των διαστημάτων εμπιστοσύνης που θα 4
κατασκευάσουμε θα περιέχει την πραγματική τιμή g (θ ). Για την κατασκευή του χρειαζόμαστε μία συνάρτηση οδηγό. Δηλαδή μια συνάρτηση των δεδομένων και της αγνώστου παραμέτρου η οποία έχει τις εξής ιδιότητες. Η κατανομή της δεν εξαρτάται από το την άγνωστη παράμετρο.. Επιπλέον η συνάρτηση αυτή να είναι αντιστρέψιμη. Να μπορούμε δηλαδή να λύσουμε ως προς την άγνωστη παράμετρο. Διαδικασία: Θεωρούμε διάστημα C,C. Τέτοιο ώστε P C φ ;θ C a Αφού φ οδηγός μπορούμε να βρούμε τα C και C. Στη συνέχεια λύνουμε ως προς θ. Υπάρχουν άπειρα τέτοια ζεύγη. Δυο είναι τα κριτήρια επιλογής. Διάστημα εμπιστοσύνης ελαχίστου μήκους.. Διάστημα εμπιστοσύνης ίσων ουρών. 43
Το πιο σύνηθες είναι αυτό των ίσων ουρών Παραδείγματα Έστω ότι το δείγμα ακολουθεί την κανονική κατανομή Ν θ,σ Για τη μέση τιμή μ όταν η διακύμανση είναι γνωστή. θ φ,θ = είναι συνάρτηση οδηγός και ακολουθεί την κανονική κατανομή. Έτσι σ Η ποσότητα C = Z και C = Z a / a / σ [ Ζ α /, + Ζ α / Ζ α / φ Ζ α / σ ] Για τη μέση τιμή μ όταν η διακύμανση είναι άγνωστη θ φ,θ = και ακολουθεί την t-studet κατανομή. Έχουμε S Η ποσότητα οδηγός είναι η C και = t a /, C = t a / s [ t, α /, +t,α / t, α / φ t, α / Για την διακύμανση σ όταν μ γνωστό. s ] 44
45 Οδηγός είναι σ μ =,σ φ και ακολουθεί την Για δ.ε. ίσων ουρών έχουμε α = φ P α, α / /,. Λύνοντας έχουμε το 00(-α)% ΔΕ /, / α α, μ, μ
46 Για την διακύμανση σ όταν μ άγνωστο. Οδηγός είναι σ =,σ φ και ακολουθεί την Για Δ.Ε. ίσων ουρών έχουμε α = φ P α, α / /,. Λύνοντας έχουμε το 00(-α)% ΔΕ /, /, α α,
Χωρίο Εμπιστοσύνης για το μ, σ. Εδώ και τα δυο είναι άγνωστα. Μπορούμε να κατασκευάσουμε από τα μονοδιάστατα 00(-α)% Δ.Ε. για το μ και σ το αντίστοιχο 00(-α)% χωρίο για το μ, σ ; Μια ιδέα είναι να πάρουμε το t, α / s, +t, α / s, α /,, α / To χωρίο αυτό είναι μικρό γιατί αποδεικνύεται ότι η πιθανότητα ένα ζεύγος μ, σ να ανήκει στο παραπάνω χωρίο είναι <-α. Όμως το χωρίο 47
48 4 /, 4 /, / 4 /, α α 4 α, α, s, +t s t είναι κατάλληλο γιατί η πιθανότητα να ανήκει εκεί είναι >-α. Διαστήματα εμπιστοσύνης Boferro. Μπορούμε να βρούμε ένα χωρίο με πιθανότητα επικάλυψης ακριβώς -α; Απάντηση : Ναι Είναι το /, / / / : β β, β β Χ σ S,Χ z σ μ z μ,σ = C όπου α = β
Παράδειγμα Θεωρούμε τα δεδομένα Κανονικής κατανομής 40.90 49.63 47.4 46.40 3.44 3.33 46.83 66.34 48.3 46.83 46.60 38.40 64.7 4.8 45.53 3.5 Βρίσκουμε ότι = 45.7, S = 97.4 Ένα 95% Δ.Ε. για τη μέση τιμή είναι [39.9934, 50.546]. Ένα 95% Δ.Ε. για τη διακύμανση είναι το [53.008, 3.686] Το 95% χωρίο δίνεται από τη σχέση μ,σ : 45.7 0.56 σ μ 45.7 + 0.56 σ, 48.90 σ 66.38 Τα διαστήματα Boferro [39.35, 5.405][48.85, 67.0] 49
Σχήμα 9 Τα διαστήματα εμπιστοσύνης 50
5 Στην περίπτωση δυο τυχαίων και ανεξάρτητων δειγμάτων ),...,, ( και ),...,, ( m Y Y Y Y από κανονικές κατανομές Ν(μ,σ ) και Ν(μ,σ ). Τα διαστήματα εμπιστοσύνης για τη διαφορά μ -μ διαμορφώνονται ως εξής. Όταν σ, σ γνωστές + + z Y, + z Y α α / / Όταν σ, σ άγνωστες και σ = σ m + +t Y, m + t Y p a m p m s s /, α/, όπου ) ( ) ( m Y Y S p
5 Σχετικά με τις διακυμάνσεις και. Δυστυχώς δεν μπορούμε να βρούμε ποσότητα οδηγό για τη διαφορά. Μπορούμε όμως να βρούμε για τον λόγο /. Όταν μ και μ είναι γνωστές. Ποσότητα οδηγός είναι η m m F m m Y, / / ~ }/ / ) ( { }/ / ) ( { Το διάστημα εμπιστοσύνης είναι ] [ /,, /,, ) ( ) (, ) ( ) ( a m m a Y m F Y m F
53 Όταν μ και μ είναι άγνωστές. Ποσότητα οδηγός είναι η, ) /( ) /( ~ }/ / ) ( { }/ / ) ( { m m F m m Y Y Το διάστημα εμπιστοσύνης είναι ] [ /,, /,, ) ( ) (, ) ( ) ( Y Y m F Y Y m F a m a m
Όμως δεν είναι πάντα εφικτό να βρούμε ποσότητα οδηγό. Έτσι πάμε ασυμπτωτικά. Ασυμπτωτικά διαστήματα εμπιστοσύνης π.χ. η κατανομή της δεν είναι πάντα γνωστή. Όμως γνωρίζουμε ότι ασυμπτωτικά είναι κανονική. Το τυχαίο διάστημα Τ,Τ λέγεται 00(-α)% ασυμπτωτικό ΔΕ για την ποσότητα θ όταν lm Τ,Τ α όταν Pθ 54
Τα εργαλεία που χρησιμοποιούμε συνήθως είναι Κεντρικό Οριακό Θεώρημα Αν,,..., ) είναι τυχαίο δείγμα από κατανομή f() με ΕΧ =μ και Var( )=σ <. Τότε ( D (0,). Θεώρημα Slutsky Αν ( ) και ( ) είναι δυο ακολουθίες τυχαίων μεταβλητών τέτοιες ώστε Y N D Y D c Y P c.. Τότε D Y c N D / Y / c όταν c 0 Τις ιδιότητες του ΕΜΠ. 55
Παράδειγμα Έστω =,,..., από μια οποιαδήποτε κατανομή με μέση τιμή μ και πεπερασμένη και άγνωστη διασπορά σ. Μπορεί να αποδειχθεί ότι ( (Κεντρικό οριακό Θεώρημα + Θεώρημα του Slutsky) S ) Ν, 0, Με βάση το παραπάνω ένα ασυμπτωτικό 00(-α)% δ.ε. είναι το σ [ Ζ α /, + Ζ α / σ ] Έστω =,,..., και Υ = Υ Υ,Υ,,... δυο ανεξάρτητα δείγματα από διαφορετικές κατανομές. Σκοπός: ένα 00(-α)% ΔΕ για τη διαφορά των μέσων τιμών μ μ 56
57 Μπορούμε να δείξουμε ότι 0, Ν + S S μ μ Y Y,, (Κεντρικό οριακό Θεώρημα + Θεώρημα του Slutsky) άρα α z + S S μ μ Y z P α Y,, α / / και ένα ασυμπτωτικό διάστημα εμπιστοσύνης είναι S + S + z Y, S + S z Y Y,, α Y,, α / /.
Ένα παράδειγμα α.δ.ε. με τη βοήθεια του ΕΜΠ. Ας επιστρέψουμε στο Παράδειγμα της κατανομής γάμμα όπου μόνο η παράμετρος μορφής α είναι άγνωστη. Ο ΕΜΠ είναι η λύση της εξίσωσης () της σελίδας και προφανώς η κατανομή της δεν είναι γνωστή. Όμως είναι γνωστή η ασυμπτωτική του κατανομή. Με βάση το Θεώρημα το 00(-α)% α.δ.ε. είναι το ( ˆ, ˆ za / za / ) I( ˆ ) I( ˆ ) ˆ ) Για το συγκεκριμένο παράδειγμα ˆ d log ( I( ). d Τελικά ένα 95% α.δ.ε. είναι (0,8646, 4,049) 58
Ασυμπτωτικά συμπεράσματα σημαίνει ότι χρησιμοποιούνται για μεγάλα. Αλλά τι σημαίνει μεγάλα ; Πολλά βιβλία λένε >30 σημαίνει μεγάλο δείγμα πράγμα που δεν ισχύει πάντα. Βασικά εξαρτάται από τη μορφή της κατανομής. Όσο μεγαλύτερη είναι η ασυμμετρία τόσο μεγαλύτερο δείγμα θα χρειαστούμε για να έχουμε μια καλή προσέγγιση. Η δυωνυμική κατανομή είναι συμμετρική για p=0,5. Οσο το p πλησιάζει τις ακραίες τιμές 0 ή τόσο αυξάνει η ασυμμετρία. Η προσέγγιση της κατανομής του p από την κανονική κατανομή κρίνεται ικανοποιητική για που δίνονται από τον παρακάτω πίνακα του Cochra Ρ 0,5 30 0,4 ή 0,6 50 0,3 ή 0,7 80 0, ή 0,8 00 0, ή 0,9 600 0,05 ή 0,95 400 59
Τα παρακάτω ιστογράμματα επιβεβαιώνουν τον παρακάτω ισχυρισμό. Σχήμα 9 Ιστόγραμμα του pˆ από 000 δείγματα μεγέθους =50 από την Β(,/) 60
Σχήμα 0 Ιστόγραμμα του pˆ από 000 δείγματα μεγέθους =50 από την Β(,0.05) Χρήσιμες (και προφανείς) ιδιότητες των Δ.Ε. Όταν το επίπεδο σημαντικότητας α αυξάνει τότε το μήκος του δ.ε. αυξάνει. Όταν το μέγεθος του δείγματος αυξάνει τότε το μήκος του δ.ε. ελαττώνεται. 6
Θεωρία ακραίων τιμών και κατανομές με βαριές ουρές Παράδειγμα : Έστω δείγμα,...,, από την U[0, θ]. Η (), έχει κατανομή F ( ( ) ) ( ) για θ F( ( ) ) 0 για για D Όμως ) E( ) Εύκολο: P ( ( ) / / ( ( ( ) ) ) P( ( ) ) ( ) ( ) e Αυτό το αποτέλεσμα είναι ειδική περίπτωση του παρακάτω θεωρήματος. 6
(Gedeko 943, Gumbel 958) Έστω M ma{,..., }, όπου,...,, είναι τυχαίο δείγμα. Αν υπάρχουν ακολουθίες { a } και {b } τέτοιες ώστε Pr{( M b ) / a z} G( z) as, όπου G είναι μια μη φθίνουσα κατανομή, τότε η G ανήκει σε μια από τις ακόλουθες οικογένειες : I G ( ) Pr[ ] ep[ e ( ) / ] R Gumbel dstrbuto II G ( ) Pr[ ] ep[ ( ) ] Frechet dstrbuto III G 3 ( ) Pr[ ] ep[ ( ) ] Webull dstrbuto GEV ή Jekso Dstrbuto / G( ) Pr[ ] ep{ [ ( )] Ποια θα είναι η ασυμπτωτική κατανομή εξαρτάται από τη συμπεριφορά της ουράς P( ) καθώς το τείνει στο άπειρο. } 63
Κατανομές με βαριές (heavy) ή λεπτές (lght) ουρές. Θα λέγαμε ότι μια κατανομή έχει βαριά ουρά όταν δεν έχει όλες τις ροπές. Ισχύουν τα εξής Η ασυμπτωτική κατανομή του ma για κατανομές με βαριές ουρές είναι η Frechet. Π.χ. Pareto Η ασυμπτωτική κατανομή του ma για κατανομές με φραγμένο στήριγμα είναι η Webull. Π.χ. Ομοιόμορφη κατανομή ασυμπτωτική κατανομή του ma για κατανομές με ελαφρά ουρά είναι η Gumbel. Κανονική κατανομή. 64
frequecy Μια εφαρμογή Δεδομένα : Μέγιστες ανά έτος ημερήσιες τιμές βροχόπτωσης στην περιοχή της Αθήνας για τα έτη 890-005. Ερώτημα: Ποια κατανομή περιγράφει καλύτερα τη χρονοσειρά; Πρέπει πρώτα να τα δούμε (Περιγραφική Στατιστική) Σχήμα Ιστόγραμμα των ακραίων τιμών βροχής 40 30 0 0 0 90 80 70 60 50 40 30 0 0 00 90 80 70 60 50 40 30 0 Precptato heght (mm) 65
Precptato (mm) Αλλά και σαν χρονοσειρά Σχήμα Η χρονοσειρά των ακραίων τιμών βροχής 00 50 00 50 0 89 9 93 95 97 99 Ένα από τα πρώτα συμπεράσματα που εξάγουμε είναι ότι η κατανομή που προσπαθούμε να βρούμε έχει θετική ασυμμετρία. Στη συνέχεια ανατρέχουμε στη βιβλιογραφία Ποια μοντέλα έχουν μελετηθεί και προταθεί σαν κατάλληλα μοντέλα στο πρόβλημά μας; Έχουν προταθεί πολλά μοντέλα. Δύο είναι τα επικρατέστερα: Η Frechet και η κατανομή Γάμμα. Ας ελέγξουμε επίσης την Log-ormal και την Iverse Gaussa. Θα πρέπει να εκτιμήσουμε τις παραμέτρους και στη συνέχεια να χρησιμοποιήσουμε ένα από τα πολλά μη παραμετρικά τεστ για να δούμε ποιες κατανομές προσαρμόζονται στα δεδομένα. Year 66
Όμως για να εκτιμήσω τα δεδομένα πρέπει το δείγμα μου να είναι τυχαίο. Δηλαδή ανεξάρτητες παρατηρήσεις από την ίδια κατανομή. Ισχύει αυτό στην περίπτωσή μας; Οι μετεωρολόγοι λένε πως Ναι γιατί συνήθως τα καιρικά φαινόμενα έχουν διάρκεια το πολύ 3 μέρες. Αν θέλουμε να το ελέγξουμε στατιστικά θα πρέπει να χρησιμοποιήσουμε διάφορα Μη-παραμετρικά τεστ όπως το ru test for radomess κλπ Στη συνέχεια ελέγχουμε ποιες από τις κατανομές προσαρμόζονται στα δεδομένα. Τα αποτελέσματα του KS test είναι τα ακόλουθα Null Hypothess Mamum Crtcal Decso Devato Value D Fréchet 0.0760 0.967 Do ot reject H o Iverse Gaussa 0.0959 0.967 Do ot reject H o LogNormal 0.499 0.967 Reject H o Gamma 0.70 0.967 Reject H o 67
Ενώ ο έλεγχος Χ δίνει Classes Observed frequecy Epected Frequecy Logormal Iverse Gaussa Fréchet Gamma (0,5] 9.4 0.87 7.47 3.8 (5,30] 8 9.30 0.9 3.48 8.66 (30,35] 4 9.6.78 5.60 0.0 (35,40] 5 8.59.94 4. 0.60 (40,45] 6 7.8..70 0.48 (45,50] 6.97 9.96 9.4 9.84 (50,55] 6.4 8.54 7.9 8.86 (55,65] 9 0.00.99 9.96 4.3 (65, ] 7 30.77 5.5.4 4.0 Sum 0 09.99 09.99 0.00 09.99 =35.577 df.=6 P=0.000 =8.93 df.=6 P=0.78 =7.5858 df=6 P=0.70 =.37 df=6 P=0.054 68
Με βάση τα παραπάνω αποτελέσματα, τις θεωρητικές γνώσεις μας πάνω στις κατανομές πρέπει να δούμε ποιες κατανομές θα απορρίψουμε και ποιες θα δεχθούμε. Σχήμα 3 Γραφική αναπαράσταση των υποψηφίων κατανομών IvGauss 0.05 0.0 0.05 0.0 Gamma Frechet Logormal 0.005 50 00 50 00 69
ΟΛΑ ΤΑ ΣΤΑΤΙΣΤΙΚΑ ΜΟΝΤΕΛΑ ΕΙΝΑΙ ΛΑΘΟΣ ΑΠΛΑ ΚΑΠΟΙΑ ΑΠΟ ΑΥΤΑ ΕΙΝΑΙ ΚΑΙ ΧΡΗΣΙΜΑ ΑΡΚΕΙ ΝΑ ΞΕΡΟΥΜΕ ΤΙ ΛΕΜΕ (Η ΣΥΜΠΛΗΡΩΣΗ ΕΙΝΑΙ ΤΟΥ ΟΜΗΛΟΥΝΤΟΣ) 70