7. Εκτιμήσεις Τιμων Δεικτων

Transcript

1 Μαθηματικά και Στατιστικη στην Βιολογια ΧΕΙΜΕΡΙΝΟ ΕΞΑΜΗΝΟ (1 ο ) Τμημα Βιολογιας Αριστοτελειο Πανεπιστημιο Θεσσαλονικης Mathematics and Statistics in Biology WINTER SEMESTER (1 st ) School of Biology Aristotle University of Thessaloniki 7. Εκτιμήσεις Τιμων Δεικτων Iωαννης Αντωνιου iantonio@math.auth.gr Χαραλαμπος Μπρατσας cbratsas@math.auth.gr Το παρόν εκπαιδευτικό υλικό υπόκειται σε Αδεια Χρήσης Creative Commons

2 Σκοπος - Περιεχομενο Τι σημαινει Εκτιμηση της Τιμης ενός Δεικτη Κριτηρια Αξιολογησης Σημειακων Εκτιμητριων Εκτιμηση Διαστηματων

3 Εκτιμηση της Τιμης Δεικτη - Παραμετρου Η Εκτιμηση της Παραμετρου θ από το Δειγμα διδεται από: Μια τιμη θ η οποια επιδιωκουμε να είναι κατά το δυνατον «εγγυτερα» στην «αληθη» τιμη θ Εκτιμηση Σημειων = Point Estimation ειτε από: Ένα διαστημα στο οποιο ανηκει η θ με μεγαλη πιθανοτητα Εκτιμηση Διαστηματων = Interval Estimation Εκτιμητρια (Estimator): D: ενας Τυπος-Aλγοριθμος Υπολογισμου των Εκτιμησεων θ = D(Data) Kαθε Εκτιμητρια είναι ενας Κανονας Ληψης Αποφασεων, μια Στρατηγικη Παιγνιου

4 Kριτηρια Αξιολογησης Σημειακων Εκτιμητριων Μεροληψια Ελαχιστη = Μinimal Bias Επαρκεια = Sufficiency Αποτελεσματικοτης = Efficiency Συνεπεια = Consistency Ασυμπτωτικη Αποτελεσματικοτης = Asymptotic Efficiency Ασυμπτωτικη Κανονικοτης = Asymptotic Normality

5 Μεροληψια Ελαχιστη = Μinimal Bias Mεροληψια της Εκτιμητριας D = Βias(D) = Ε[D(Data)] θ Αμερόληπτη Εκτιμητρια (Συναρτηση) BBBB D = Ε[D(Data)] θ = 0 H Μεσn τιμή της Εκτιμητριας D ισουται μέ τήν τιμη της παραμετρου θ για ολες τις τιμες της Παραμετρου θ Παραδειγμα (1) Η Τυπική Απόκλιση δειγματος (ξ 1 m ) + +(ξ Ν m ) σ = σ = Ν δεν είναι Αμεροληπτη Εκτιμητρια της Τυπικης Αποκλισης του Πληθυσμου () Η διoρθωση Bessel 1830: (N 1) αντι N, Διδει την Αμεροληπτη Εκτιμητρια της Τυπικης Αποκλισης του Πληθυσμου (ξ 1 m ) + +(ξ Ν m ) s = Ν 1 m = η Μεση Τιμη του Δειγματος Αποδειξη Ασκηση {Βαθμος 0,+0,=0,4}

6 Επαρκεια = Sufficiency, Fisher Eπιπλεον πληροφορια από την εκτιμηση θ = D(Data) δεν βελτιωνει την εκτιμηση της θ

7 Αποτελεσματικοτης = Efficiency Διασπορα Ελαχιστη = Μinimal Dispersion Ε[(θ θ) ] minimal Ποια η Ελαχιστη τιμη της Διασπορας? Θεωρημα. Ανισοτητα Cramer Rao H διασπορα της Αμεροληπτης Εκτιμητριας (Χ 1,, Χ Ν ) είναι: Ε[(θ θ) ] 1 S FFFFFF S FFFFFF = S FΙSHER (θ) = dx ρ(x;θ) lll(x; θ) η Πληροφορια Fisher Η Αμεροληπτη Εκτιμητρια θ = D(Data) είναι Αποτελεσματικη Ε[(θ θ) ] = 1 S FFFFFF

8 Ασυμπτωτικη Αποτελεσματικοτης = Efficiency Διασπορα Ελαχιστη = Μinimal Dispersion O Αμεροληπτoς Εκτιμητης θ = D(Data) είναι Ασυμπτωτικα Αποτελεσματικος lll Μ + Ε[(D(Data οf size M) θ) ] = 0

9 Συνεπεια = Consistency Συγκλιση (Convergence) προς την Αληθη τιμη: lll Μ + D(Data οf size M) = θ

10 Ασυμπτωτικα Κανονικη Εκτιμήτρια Η Ασυμπτωτική Κατανομή της Μ (D(Data οf size M) = θ) είναι η Κανονική Κατανομή με Μεση Τιμη 0

11 Μεθοδοι Κατασκευης Σημειακων Εκτιμητριων Μεθοδος Ροπων, Pearson Μεθοδος μεγίστης Πιθανοφανειας (maximum Likelihood) Μεθοδος Ελαχίστων Τετραγώνωv Gauss

12 Μεθοδος Ροπων, Pearson Oι Ροπες του δειγματος ξ 1, ξ,, ξ Μ m r (ξ 1, ξ,, ξ Μ ) = (ξ 1) r + +(ξ Μ ) r Μ = m r ως Εκτιμητριες 1) H Eπιλυση των Εξισωσεων Είναι σχετικα ευκολη m 1 = g 1 (θ 1, θ,, θ n) m = g 1 (θ 1, θ,, θ n) m n = g 1 (θ 1, θ,, θ n) ) οι Εκτιμητριες θ 1, θ,, θ n ως συναρτησεις των m 1, m,, m n είναι Συνεπεις Εκαστη Εκτιμητρια θ 1, θ,, θ n εκφραζεται ως συνεχης συναρτησις των m 1, m,, m n 3) Ο Fisher εδειξε ότι οι Εκτιμητριες θ 1, θ,, θ n δεν είναι Αποτελεσματικες (Efficient) Ενώ οι οι Εκτιμητριες Μεγιστης Πιθανοφανειας είναι Αποτελεσματικες (Efficient)

13 Μεθοδος μεγίστης Πιθανοφανειας (maximum Likelihood) H Εκτιμηση θ της παραμετρου θ του Πληθυσμου από το Δειγμα Καθιστα Mεγιστη την Πιθανοφανεια L L(ξ,θ) = ρ ξ1 (θ) ρ ξμ (θ) ρ ξν (θ), Ν=1,,,Μ oι κατανομες του Δειγματος

14 Μεθοδος Ελαχίστων Τετραγώνωv Gauss 1809 H Εκτιμηση θ της παραμετρου θ του Πληθυσμου από το Δειγμα Καθιστα Eλαχιστο το αθροισμα των τετραγωνικων σφαλματων (ψ 1 g(ξ 1,θ)) + + (ψ Μ g(ξ Μ,θ)) Παλινδρομιση

15 Εκτιμηση Διαστηματων = Ιnterval Estimation Oρισμος Διαστημα Εμπιστοσυνης βαθμου c για την Εκτιμηση της παραμετρου θ από το Δειγμα Καλειται κάθε διαστημα (Α,Β): P[Α < θ < Β] = c Tα ακρα Α, Β του Διαστηματος ειναι Mεταβλητες που εξαρτωνται από το Δειγμα Α=Α(ξ 1, ξ,, ξ Μ ) Β=Β(ξ 1, ξ,, ξ Μ ) O βαθμος Eμπιστοσυνης c του διαστηματος (Α,Β) (Confidence Level) Πρεπει να είναι κοντα στο 1 για να είναι αξιοπιστη η Εκτιμηση Neyman J. 1937, Outline of a Theory of Statistical Estimation Based on the Classical Theory of Probability, Philosophical Transactions of the Royal Society of London A36,

16 Δειγμα από ενα Πληθυσμο Διαστημα Εμπιστοσυνης για την Εκτιμηση Mεσης Τιμης m Διασπορας σ Αναλογιας p μελων Πληθυσμου που εχουν επιθυμητη Ιδιοτητα Δειγμα από Πληθυσμους Διαστημα Εμπιστοσυνης για την Εκτιμηση Διαφορας των Mεσων Τιμων m Χ m Υ Λογου σ Χ σ Υ των Διασπορων σ Χ, σ Υ Διαφορας p X p Y των Aναλογιων p X, p Y των μελων που εχουν επιθυμητες Ιδιοτητες

17 Tα προβληματα αναγονται στα ποσοστημορια των Κατανομων Tυποποιημενη Κανονικη (μ=0, σ=1) X (chi square) Student t F (Fisher)

18 Διαστημα Εμπιστοσυνης για την Εκτιμηση της Mεσης Τιμης Δειγμα από Πληθυσμο με Κανονικη Κατανομη αγνωστη Μεση Τιμη m και γνωστη διασπορα σ ρ(x) = E[X]=m v[x]=σ 1 e (x m) σ, x R

19 Λημμα 1 Εστω ξ 1,..., ξ M τυχαιο δειγμα από Πληθυσμο με κανονικη κατανομη με μεσο m και διασπορα σ Η δειγματικη Μεση Τιμη m = ξ 1+ +ξ M M ακολουθει την κανονικη κατανομη με Μεση Τιμη m και διασπορα σ M

20 Λημμα Η Μεταβλητη z = x m σ M Ακολουθει την τυποποιημενη κανονικη κατανομη ρ(z) = E[X]=0 v[x]=1 1 z e, x R

21 Λημμα 3 P[ z α/ < z < z α/ ] = 1 α z α/ το ανω ποσοστημοριο της τυποποιημενης κανονικης Κατανομης Από την σχεση των ποσοστημοριων προκυπτει το Διαστημα Εμπιστοσυνης P z α/ < m m σ M < z α/ =1 a

22 Θεωρημα P m z α/ σm < m < m + z α/ Oπου: Α = m z α/ σ M σ σ M = 1 α Β = m + z α/ M oι εκτιμησεις των ακρων του διαστηματος από το Δειγμα Το Ευρος του διαστηματος Εμπιστοσυνης: σ Β Α = z α/ M Είναι εκτιμηση της ακριβειας εκτιμησης m m z α/ σm με εμπιστοσυνη c = (1 α)%

23 Παραδειγμα c=0.95 α = 1 c = 0.05 z α/ = z 0.05 = 1.96 Α = m 1,96 σ M σ Β = m +1,96 M Ευρος Α Β = 3,9 σ M c=0.99 α = 1 c = 0.01 z α/ = z =.58 Α = m.58 σ M σ Β = m +.58 M Ευρος Α Β = 5,16 σ M Αυξηση Εμπιστοσυνης από 95% σε 99% (κατά 4.4%) Αυξανει το Διαστημα Εμπιστοσυνης από 3,9 σε 5,16 (κατά 31.63%)

24 Ποσες μετρησεις Κ περαν (από τις Ν) πρεπει να παρω για εχω Διαστημα Εμπιστοσυνης του αυτου Ευρους 3,9 σ M με βαθμο Εμπιστοσυνης 99%? Αρκει: 5, 11 σ 5,11 3,99 = M+Κ 5,11 3,99 Κ = M Δηλαδη: M M+Κ = 3, 99 σ M M+Κ = M 5,11 3,99 Κ = M 1 5,11 3,99 1 % % αυξηση των μετρησεων Για αυξηση Εμπιστοσυνης κατά 4.4% στο αυτό Διαστημα Εμπιστοσυνης

25 Aγνωστη Μεση Τιμη μ και αγνωστη διασπορα σ Δειγμα Μεγαλο N 30 Θεωρημα P m z α/ sm < m < m +z α/ s M 1 α (ξ 1 m ) + +(ξ M m ) s = M 1 η Αμεροληπτη Τυπικη Αποκλιση του δειγματος Για μεγαλα δειγματα: σ s

26 Κεντρικο Οριακο Θεωρημα Η κατανομη της Μεσης Τιμης Χ 1+Χ + +Χ Ν Ν Ανεξαρτητων Μεταβλητων Χ 1, Χ,,Χ Ν προσεγγιζει την Κανονικη, Καθως αυξανει ο αριθμος Ν των Μεταβλητων

27 Aγνωστη Μεση Τιμη μ και αγνωστη διασπορα σ Λημμα Εστω ξ 1,..., ξ Μ τυχαιο δειγμα από Πληθυσμο με κανονικη κατανομη με μεσο m και διασπορα σ m m Η μεταβλητη Τ = s M ακολουθει την κατανομη Student-t βαθμου ν= Ν 1 s = δειγματος (ξ 1 m ) + +(ξ M m ) M 1 η Αμεροληπτη Τυπικη Αποκλιση του ν + 1 ρ ν (t) = 1 Γ νν Γ ν 1 + t ν, t R Γ(z) η συναρτηση Γ Η κατανομη ρ ν (t) δεν εξαρταται από τις παραμετρους m και σ ν+1

28 Λημμα P[ t M 1 α/ < t < t M 1 α/ ] = 1 α t= η τιμη της μεταβλητης Τ = m m s M t M 1 α/ το ανω ποσοστιαιο σημειο Από την σχεση των ποσοστημοριων προκυπτει το Διαστημα Εμπιστοσυνης P[ t M 1 α/ < m m < t M 1 s M α/ ] = 1 α M 1 P m t α/ s M < m < m + t N 1 α/ s M = 1 α

29 Διαστημα Εμπιστοσυνης για την Διασπορα Πληθυσμου με Κανονικη Κατανομη Λημμα 1 Εστω ξ 1,..., ξ M τυχαιο δειγμα από Πληθυσμο με κανονικη κατανομη με μεσο μ και διασπορα σ Η μεταβλητη Χ = (M 1)s σ ακολουθει την κατανομη Xι τετραγωνο βαθμου ν = M 1 s = (ξ 1 m ) + +(ξ M m ) M 1 η αμεροληπτη διασπορα του Δειγματος ρ ν (x) = 1 ν 1 Γ ν x ν 1 e ν, x 0 Γ(z) η συναρτηση Γ Η κατανομη ρ ν (x) δεν εξαρταται από τις παραμετρους μ και σ

30 Λημμα P χ M 1 1 α/ < x < χ M 1 α/ = 1 a x = η τιμη της μεταβλητης Χ = (M 1)s χ M 1 α/ το ανω ποσοστημοριο χ M 1 1 α/ το κατω ποσοστημοριο σ Από τα ποσοστιαια σημεια προκυπτει το Διαστημα Εμπιστοσυνης P χ M 1 1 α/ < (M 1)s < χ M 1 σ α/ = 1 α P (M 1)s χ M 1 1 α/ < σ < (M 1)s M 1 = 1 α χ α/ P (M 1)s M 1 < σ < χ 1 α/ (M 1)s M 1 = 1 α χ α/

31 Διαστημα Εμπιστοσυνης για την Αναλογια p μελων Πληθυσμου που εχουν την επιθυμητη Ιδιοτητα Q Δειγμα από Πληθυσμο μεγαλο (Ν>30) Λημμα 1) η δειγματικη αναλογια p = M Q M Εκτιμητρια: E[p ]=p με διασπορα σ = p(1 p) M είναι Αμεροληπτη ) για μεγαλο Ν η Μεταβλητη z = x m σ M = είναι Τυποποιημενη Κανονικη p p p(1 p) M

32 Κεντρικο Οριακο Θεωρημα H εκτιμηση αναγεται στην Εκτιμηση Διαστηματων Εμπιστοσυνης για την Εκτιμηση της Mεσης Τιμης P m z a/ σm < p < m + z a/ σ M = 1 α m= p m = p σm = p (1 p ) M

33 Διαστημα Εμπιστοσυνης για την Διαφορα των Mεσων Τιμων Ανεξαρτητων Πληθυσμων με Κανονικες Κατανομες Λαμβανονται ανεξαρτητα Δειγματα (Χ 1,..., X Ν ) = (ξ 1,..., ξ Ν ), (Υ 1,..., Υ Μ )= (η 1,..., η Μ ) Από διαφορετικες Κανονικες κατανομες (m Χ, σ Χ ), (m Υ, σ Υ ) m X, m Y oι δειγματικοι Μεσοι Οροι Λημμα η διαφορα m = m X m Y ακολουθει Κανονικη Κατανομη με παραμετρους μ=μ Χ μ Υ, σ= σ Χ + σ Υ Ν Μ H εκτιμηση αναγεται στην Εκτιμηση Διαστηματων Εμπιστοσυνης για την Εκτιμηση της Mεσης Τιμης

34 Διαστημα Εμπιστοσυνης για την Διαφορα των Mεσων Τιμων Ανεξαρτητων Πληθυσμων με Κανονικες Κατανομες Για γνωστες διασπορες σ Χ, σ Υ P m z α/ σν < m < m + z α/ σ Ν = 1 α m = m Χ m Υ σν = σ Χ + σ Υ Ν Μ P m X m Y z a/ σ Χ Ν + σ Υ Μ < m Χ m Υ < m X m Y + z a/ σ Χ + σ Υ Ν Μ = 1 α

35 Διαστημα Εμπιστοσυνης για την Διαφορα των Mεσων Τιμων Ανεξαρτητων Πληθυσμων με Κανονικες Κατανομες Για αγνωστες διασπορες σ Χ, σ Υ, μεγαλα δειγματα Ν,Μ 30 P m z α/ sn < m < m + z α/ s N 1 α P m X m Y z a/ s Χ Ν + s Υ Μ < μ Χ μ Υ < m X m Y + z a/ s Χ + s Υ Ν Μ = 1 α

36 Διαστημα Εμπιστοσυνης για την Διαφορα των Mεσων Τιμων Ανεξαρτητων Πληθυσμων με Κανονικες Κατανομες Για αγνωστες διασπορες σ Χ = σ Υ ν P m t α/ s N < μ < m + t α/ ν s N = 1 α m = m X m Y μ=μ Χ μ Υ sn = 1 N + 1 M N 1 s X + M 1 s Y N+M ν=ν+μ

37 Διαστημα Εμπιστοσυνης για την Διαφορα των Mεσων Τιμων Ανεξαρτητων Πληθυσμων με Κανονικες Κατανομες Για αγνωστες διασπορες σ Χ σ Υ και Ν=Μ ν P m t α/ s X ν + s Y ν < m < m + t α/ ν s X + s Y ν ν = 1 α m = m X m Y m=m Χ m Υ sn = s X + s Y ν ν ν=(ν 1)

38 Διαστημα Εμπιστοσυνης για την Διαφορα των Mεσων Τιμων Ανεξαρτητων Πληθυσμων με Κανονικες Κατανομες Για αγνωστες διασπορες σ Χ σ Υ και Ν Μ ν P m t α/ s N < m < m + t α/ ν s N = 1 α m = m X m Y m=m Χ m Υ sn = s X + s Y ν ν ν= s X N +s Y M s X s Y N Ν 1 + M Μ 1

39 Διαστημα Εμπιστοσυνης για την Διαφορα των Mεσων Τιμων Αλληλοεξαρτωμενων Πληθυσμων με Κανονικες Κατανομες Λαμβανονται αλληλοεξαρτωμενα Δειγματα (X 1,..., X Ν ), (Υ 1,..., Υ Μ ) Από διαφορετικες Κανονικες κατανομες (m Χ, σ Χ ), (m Υ, σ Υ ) m X, m Y oι δειγματικοι Μεσοι Οροι

40 Διαστημα Εμπιστοσυνης για την Διαφορα των Mεσων Τιμων Αλληλοεξαρτωμενων Πληθυσμων με Κανονικες Κατανομες Λημμα οι διαφορες Ζ 1 = X 1 Υ 1, Ζ = X Υ,, Ζ Ν = X Ν Υ Ν είναι ανεξαρτητες H εκτιμηση αναγεται στην Εκτιμηση Διαστηματων Εμπιστοσυνης για την Mεση Τιμη Δειγματος από κανονικη Κατανομη αγνωστης Μεσης Τιμης m και αγνωστης διασπορας σ N 1 s P m t < m < m + t α/ N α/ οπου m = ζ 1+ +ζ Ν Ν N 1 s N = 1 a ζ 1,, ζ Ν δειγμα μετρησης των μεταβλητων Ζ 1 = X 1 Υ 1, Ζ = X Υ,, Ζ Ν = X Ν Υ Ν s = (ζ 1 m ) + +(ζ Ν m ) Ν 1 η Αμεροληπτη Τυπικη Αποκλιση = (ζ 1) + + ζ Ν Νm Ν 1

41 Διαστημα Εμπιστοσυνης για την Διαφορα των Mεσων Τιμων Αλληλοεξαρτωμενων Πληθυσμων με Κανονικες Κατανομες Λημμα (ζ 1 m ) + + (ζ Ν m ) = (ζ 1 ) + + ζ Ν Νm Αποδ (ζ 1 m ) + + (ζ Ν m ) = (ζ 1 ) + + (ζ Ν ) + Ν(m ) (ζ ζ Ν )m =(ζ 1 ) + + (ζ Ν ) + Ν(m ) Νm m = =(ζ 1 ) + + (ζ Ν ) Νm

42 Διαστημα Εμπιστοσυνης για τον Λογο σ Χ σ των Διασπορων σ Χ, σ Υ Υ Ανεξαρτητων Πληθυσμων με Κανονικες Κατανομες Λημμα Η Μεταβλητη s Χ s Υ σ Y σ X των Διασπορων σ Χ, σ Υ Ανεξαρτητων Πληθυσμων με Κανονικες Κατανομες Ακολουθει Κατανομη F (Fisher) με βαθμους ν 1 = Ν 1, ν = Ν 1 ρ ν1 ν (x) = ν 1 ν ν 1 Γ(z) η συναρτηση Γ Γ ν 1 +ν Γ ν 1 Γ ν ν 1 x 1+ ν 1 ν x ν 1 +ν, x 0 Η κατανομη ρ ν1 ν δεν εξαρταται από τις παραμετρους μ Χ, μ Υ και σ Χ, σ Χ

43 Διαστημα Εμπιστοσυνης για τον Λογο σ Χ σ των Διασπορων σ Χ, σ Υ Υ Ανεξαρτητων Πληθυσμων με Κανονικες Κατανομες Λημμα (N 1)(M 1) (N 1)(M 1) P F 1 α/ < x < Fα/ = 1 α x = η τιμη της μεταβλητης s Χ σ Y F α/ s Υ σ X (N 1)(M 1) το ανω ποσοστημοριο Από την σχεση των ποσοστιαιων σημειων προκυπτει το Διαστημα Εμπιστοσυνης (N 1)(M 1) s Χ P F 1 α/ < s Υ σ Y σ X < F α/ Ρ s Y s F (N 1)(M 1) σ Y 1 α/ < X σ < s Y X s F α/ X (N 1)(M 1) (N 1)(M 1) = 1 α = 1 α

44 Διαστημα Εμπιστοσυνης για την Διαφορα p X p Y των Aναλογιων p X, p Y των μελων Ανεξαρτητων Πληθυσμων που εχουν επιθυμητες Ιδιοτητες Δειγματα από Πληθυσμο μεγαλο (Ν, Μ >30) Κεντρικο Οριακο Θεωρημα H εκτιμηση αναγεται στην Εκτιμηση Διαστηματων Εμπιστοσυνης για την Εκτιμηση της Mεσης Τιμης σ P p X p Y z α/ < p p < p σ Ν X p Χ Υ Y + z α/ Ν = 1 α σν = p X (1 p X ) Ν + p Y(1 p Y ) M