ΚΕΦΑΛΑΙΟ 7. Εκτίμηση χαρακτηριστικών ελέγχων υποθέσεων

Transcript

1 ΚΕΦΑΛΑΙΟ 7 Εκτίμηση χαρακτηριστικών ελέγχων υποθέσεων Στο κεφάλαιο αυτό θα εξετάσουμε μία εφαρμογή της τεχνικής της προσομοίωσης στους στατιστικούς ελέγχους υποθέσεων. Συγκεκριμένα θα δούμε πως μπορούμε να εκτιμήσουμε διάφορα χαρακτηριστικά που αφορούν έναν έλεγχο υποθέσεων όπως το p-value ενός δείγματος, την ισχύ του ελέγχου ή την κατανομή του κριτηρίου που χρησιμοποιούμε. Η γενική περίπτωση έχει ως εξής: Έχουμε ένα τ.δ. Χ,Χ,...,Χ από έναν πληθυσμό με κατανομή F(x;θ) και επιθυμούμε να ελέγξουμε την υπόθεση H : θ Θ έναντι της εναλλακτικής H : θ Θ. Σύμφωνα με την κλασική μεθοδολογία, χωρίζουμε το δειγματοληπτικό χώρο Ω (δηλ. το σύνολο των δυνατών τιμών του δείγματος, π.χ. R ) σε δύο ξένα υποσύνολα Κ και Α = Ω Κ, και - αν (Χ,Χ,...,Χ ) Κ, απορρίπτουμε την H : θ Θ - αν (Χ,Χ,...,Χ ) Α, δεχόμαστε την H : θ Θ, όπου το Κ (περιοχή απόρριψης της Η ) συνήθως λαμβάνεται έτσι ώστε Pr(σφάλμα τύπου Ι) = Pr((Χ,Χ,...,Χ ) Κ / H ) a (επίπεδο σημαντικότητας), Pr(σφάλμα τύπου ΙΙ) = Pr((Χ,Χ,...,Χ ) Κ / H ) : ελάχιστο δυνατό. Η ισχύς του ελέγχου ορίζεται ως εξής: π(θ) = Pr(σφάλμα τύπου ΙΙ). Συνήθως, το κριτήριο απόρριψης της Η ((Χ,Χ,...,Χ ) Κ) έχει τη μορφή K : T ( X,..., X ) > c, όπου T(X,...,X ) είναι μία στατιστική συνάρτηση του δείγματος Χ,...,Χ. Αν κατά την πραγματοποίηση του πειράματος ελήφθη ένα δείγμα με τιμές x, x,...,x τότε ως p-value του συγκεκριμένου δείγματος ορίζεται η πιθανότητα p value = Pr( T ( X, X,..., X ) > T ( x, x,..., x )/ H ) = Pr( T ( X ) > T ( x)/ H ), η οποία μπορεί να θεωρηθεί ως η πιθανότητα να εμφανιστεί ένα τόσο ή ακόμη και πιο «ακραίο» δείγμα από αυτό που εμφανίστηκε, δεδομένου ότι ισχύει η Η. Επομένως, αν το p-value ενός τ.δ. Χ, Χ,..., Χ n, βρεθεί «κοντά» στο, τότε μπορούμε να πούμε ότι η πιθανότητα να εμφανιστεί ένα «τέτοιο» δείγμα (ενώ ισχύει η Η ) είναι πολύ μικρή και σε αυτή την περίπτωση φυσιολογικά συμπεραίνουμε ότι δεν πρέπει να ισχύει η Η. Εξάλλου αποδεικνύεται ότι αν το p-value < a τότε απορρίπτουμε την Η σε ε.σ. α το p-value > a τότε δεχόμαστε την Η σε ε.σ. α Σε συγκεκριμένους όμως ελέγχους είναι αρκετά δύσκολο, αν όχι ανέφικτο, να υπολογιστεί το p-value με ακρίβεια (αν η κατανομή της στατιστικής συνάρτησης T(X,..., X ) είναι δύσκολο να προσδιοριστεί επακριβώς). Η ιδέα εδώ είναι ότι σε τέτοιες περιπτώσεις μπορούμε να χρησιμοποιήσουμε προσομοίωση για να εκτιμήσουμε το p- value ενός ελέγχου ή π.χ. την πιθανότητα σφάλματος τύπου ΙΙ που αφορά συγκεκριμένη εναλλακτική υπόθεση. Αυτό μπορεί να γίνει παρατηρώντας ότι, για δεδομένο δείγμα x = (x,x,,x ), το αντίστοιχο p-value θα είναι p value = Pr( T ( X ) > T ( x)/ H ) = E( I( T ( X) > T ( x)/ H )). Boutsas M.V. (4) Σημειώσεις μαθήματος «Μέθοδοι Προσομοίωσης και Στατιστικές Υπολογιστικές Τεχνικές» 44

2 Για την πρωτογενή (raw) εκτίμηση, παράγουμε n φορές το (ψευδο-)τυχαίο δείγμα Χ = (Χ, Χ,..., Χ ) (υπό την Η ) και εκτιμούμε το p-value από το ποσοστό των n πραγματοποιήσεων που παρατηρήθηκε T(X) > T(x) (το x είναι το δεδομένο πραγματικό δείγμα). Αν και η γενική ιδέα όπως περιγράφεται παραπάνω είναι πολύ απλή, είναι προφανές ότι κάθε περίπτωση μπορεί να απαιτεί λίγο διαφορετική αντιμετώπιση. Για λόγο αυτό θα εφαρμόσουμε την παραπάνω ιδέα σε δύο συγκεκριμένες περιπτώσεις ελέγχων: στο χι-τετράγωνο τεστ, και στο τεστ Kologorov-Srnov. Είναι όμως φανερό ότι παρόμοια μεθοδολογία μπορεί (ενδεχομένως κατάλληλα τροποποιημένη) να εφαρμοστεί σχεδόν σε κάθε περίπτωση ελέγχου (παραμετρικού ή απαραμετρικού). 7.. Το κριτήριο χι-τετράγωνο Το κριτήριο χι-τετράγωνο χρησιμοποιείται για το έλεγχο καλής προσαρμογής διαφόρων πιθανοθεωρητικών μοντέλων. Η απλούστερη περίπτωση που μπορεί να χρησιμοποιηθεί είναι κατά τον έλεγχο καλής προσαρμογής ενός τυχαίου δείγματος σε μία δεδομένη κατανομή. Συγκεκριμένα, έστω Y,Y,...,Y μία ακολουθία από ανεξάρτητες και ισόνομες τ.μ. με Y j {,,..., } και έστω ότι επιθυμούμε να ελέγξουμε την υπόθεση ότι οι τ.μ. Υ j ακολουθούν μια συγκεκριμένη κατανομή p, =,,,, δηλ. Η : Pr(Y j = ) = p, =,,..., ( = p = ). Είναι προφανές ότι για να ελέγξουμε αν ισχύει η συγκεκριμένη υπόθεση θα πρέπει να βρούμε μια στατιστική συνάρτηση Τ η οποία να παίρνει «μεγάλες» τιμές όταν δεν ισχύει η Η έτσι ώστε να απορρίπτουμε την Η όταν Τ > c. Μια τέτοια συνάρτηση είναι αυτή που πρότεινε ο Pearson (9): ( N p ) T =, p = όπου η τ.μ. N εκφράζει το πλήθος των Y,Y,...,Y που είναι ίσα με ενώ p είναι η αναμενόμενη τιμή του Ν, όταν ισχύει η Η. Ειδικότερα, κάτω από την Η, θα ισχύει ότι Ν ~ Bnoal(,p ) και άρα E(Ν ) = p, V(Ν ) = p ( p ) για =,,...,. Επομένως, αν ισχύει η Η, ( ) ( ) ( ) ( ) = = = = E N p V N p p E T ( p ) =, p p p = = και επομένως η στατιστική συνάρτηση Τ θα λαμβάνει τιμές «κοντά» στο. Αντίθετα, αν δεν ισχύει η Η (δηλ. E(Ν ) p ) τότε προφανώς η T θα λαμβάνει τιμές αρκετά μεγαλύτερες του. Άρα, μπορούμε να απορρίπτουμε την υπόθεση Η όταν T > c για κάποια σταθερά c η οποία καθορίζεται έτσι ώστε η πιθανότητα λανθασμένης απόρριψης της Η (δηλ. η Pr(T > c Η )) να είναι ίση με a = 5% ή %. Ισοδύναμα, μπορούμε να απορρίψουμε την Η όταν το p-value του ελέγχου είναι μικρότερο του a. Υπενθυμίζεται ότι αν t είναι η τιμή του T σε ένα συγκεκριμένο δείγμα, το p-value για το δείγμα αυτό (δηλ. η πιθανότητα να εμφανιστεί, υπό την Η, ένα τόσο «ακραίο» δείγμα όσο αυτό) είναι: Μία απλούστερη αναπαράσταση της T είναι η ( O E ) T = = E όπου Ο, E είναι οι παρατηρούμενες (Οbserved) και αναμενόμενες (Εxpected) συχνότητες αντίστοιχα σε κάθε μία από τις περιπτώσεις. Boutsas M.V. (4) Σημειώσεις μαθήματος «Μέθοδοι Προσομοίωσης και Στατιστικές Υπολογιστικές Τεχνικές» 45 = =

3 p value = Pr( T t H ), και απορρίπτουμε την Η όταν το p-value είναι μικρότερο του a = 5% ή %. Για την εύρεση τώρα του p-value ή του κατάλληλου c θα πρέπει να προσδιορίσουμε την κατανομή της στατιστικής συνάρτησης T όταν ισχύει η Η. Η ακριβής κατανομή του T δεν είναι εύκολο να εκφρασθεί αλλά για μεγάλα δείγματα μπορούμε να χρησιμοποιήσουμε την πρόταση που ακολουθεί. Αρχικά παρατηρούμε ότι το τυχαίο διάνυσμα N = (N,N,...,N ) ακολουθεί την πολυωνυμική κατανομή με παραμέτρους και p,...,p. Πρόταση. Αν το τ.δ. N = (N,N,...,N ) ακολουθεί πολυωνυμική κατανομή με παραμέτρους και p,p,...,p (με = p = ) τότε η στατιστική συνάρτηση ( N p ) T =, = p ακολουθεί ασυμπτωτικά ( ) κατανομή χ (χι-τετράγωνο με βαθμούς ελευθερίας). Επομένως, υπό την μηδενική υπόθεση Η και για μεγάλο δείγμα, η στατιστική συνάρτηση T χ και συνεπώς ~ Pr( T > c H ) = a Pr( T > c T ~ χ ) a c χ ( ), p a value Pr( T t H) = Pr( T t T ~ ) = F ( t χ χ ), (όπου χ ( a), F χ είναι το άνω a-σημείο και η σ.κ. της χ κατανομής αντίστοιχα). Επομένως, για μεγάλα δείγματα, απορρίπτουμε την Η : Pr(Y = j) = p j, j =,,..., όταν T > χ ( a) ή ισοδύναμα 3 όταν p value = F ( T ) < a χ. Παράδειγμα. Έστω ότι έχουμε μία πραγματοποίηση του τ.δ. Υ,Υ,...,Υ :,,,,,,, 3,,, 4,,,,,,,, 3,,,, 3,, 4,,,, 3, και επιθυμούμε να ελέγξουμε (σε επίπεδο σημαντικότητας a =.5) την υπόθεση ότι τα αποτελέσματα,, 3, 4 εμφανίζονται με πιθανότητες.4,.3,.,. αντίστοιχα, δηλ. την υπόθεση Η : Pr(Y = ) =.4, Pr(Y = ) =.3, Pr(Y = 3) =., Pr(Y = 4) =.. Από τις = 3 παραπάνω παρατηρήσεις προκύπτει ότι Ν = 8, Ν = 6, Ν 3 = 4, Ν 4 = και επομένως ( N p ) (8 3.4) (6 3.3) (4 3.) ( 3.) T = = = p = , Επίσης, το προσεγγιστικό (μέσω της χι-τετράγωνο κατανομής) p-value θα είναι p value Pr( T T ~ χ3 ) = F ( ), χ 3 Η πολυωνυμική κατανομή είναι η από κοινού κατανομή του πλήθους των επιτυχιών ου -είδους, ου - είδους,...,-είδους σε μία ακολουθία n ανεξάρτητων και ισόνομων δοκιμών με δυνατά είδη επιτυχιών 3 Είναι ισοδύναμα διότι F ( T ) < a F ( T ) > a T > F ( a) = χ ( ). χ χ χ Boutsas M.V. (4) Σημειώσεις μαθήματος «Μέθοδοι Προσομοίωσης και Στατιστικές Υπολογιστικές Τεχνικές» 46 a

4 και από το Matheatca (ή από οποιοδήποτε στατιστικό πακέτο) η παραπάνω τιμή θα είναι.58347: << Statstcs`ContnuousDstrbutons`; Prnt[N[ - CDF[ChSquareDstrbuton[3], ]]]; Επειδή όμως η παραπάνω τιμή του p-value είναι προσεγγιστική, δεν μπορούμε να πούμε με βεβαιότητα αν p-value < a =.5 (οπότε να απορρίψουμε την Η ) ή p- value > a =.5 (οπότε δεν θα μπορούμε να απορρίψουμε την Η ). Εάν το ήταν αρκετά μεγαλύτερο (τώρα είναι μόλις 3) θα μπορούσαμε να πούμε ότι η προσέγγιση μέσω της χι-τετράγωνο κατανομής είναι ικανοποιητική και θα θεωρούσαμε ότι p- value.58. Δεν αποκλείεται όμως τώρα η πραγματική τιμή του p-value να διαφέρει αρκετά από το.58. Ένας ασφαλής τρόπος να βρούμε (ή τουλάχιστον να προσεγγίσουμε με όση ακρίβεια θέλουμε) το p-value είναι μέσω προσομοίωσης. Επιθυμούμε λοιπόν γενικά να εκτιμήσουμε μέσω προσομοίωσης το ( N p ) p value = Pr( T t H = = ) E( I( T t) H ) E I t, = p όπου στην τελευταία μέση τιμή το τ.δ. N = (N,N,...,N ) ακολουθεί πολυωνυμική κατανομή με παραμέτρους και p,p,...,p ( = p = ). Επομένως, πρόκειται για ένα σύνηθες πρόβλημα εκτίμησης μίας μέσης τιμής μέσω προσομοίωσης (Monte Carlo estaton). Η πρωτογενής (raw) εκτιμήτρια του p-value θα είναι η I( T t), οπότε θα πρέπει με κάποιο τρόπο να παράγουμε την Τ. Αυτό προϋποθέτει την παραγωγή των N,N,...,N, των οποίων η από κοινού κατανομή ακολουθεί την πολυωνυμική κατανομή. Ο απλούστερος τρόπος παραγωγής των N βασίζεται στο ότι N = I( Y j = ), =,,...,, j= όπου οι Υ,Υ,...,Υ είναι ανεξάρτητες και ισόνομες τ.μ. με τιμές στο {,,...,} και Pr(Y j = ) = p. Επομένως, αρχικά παράγουμε τις Υ,Υ,...,Υ (χρησιμοποιώντας π.χ. τη μέθοδο αντιστροφής ή τη μέθοδο απόρριψης), από αυτές βρίσκουμε τις Ν, Ν,..., Ν και τελικά υπολογίζουμε την T. Ο αλγόριθμος παραγωγής ενός T μπορεί να είναι ο ακόλουθος (χρησιμοποιούμε τη μέθοδο της απόρριψης για την παραγωγή των Υ, Υ,..., Υ με αρχική κατανομή την διακριτή ομοιόμορφη στο {,,...,} - βλέπε Παράγραφο..): ΒΗΜΑ. Θέτουμε p ax = ax{p,...,p } και Ν = Ν =... = Ν =. ΒΗΜΑ. Παράγουμε U ~ U(,) και θέτουμε Y = U +. (Y ~ DU(,,...,)) ΒΗΜΑ. Παράγουμε U ~ U(,) και εαν U < p Y /p ax, προχωράμε στο 3. Εάν όχι, επιστρέφουμε στο. ΒΗΜΑ 3. Θέτουμε Ν Y = N Y +. ΒΗΜΑ 4. Επαναλαμβάνουμε τα βήματα,,3 το πλήθος φορές ( N p ) ΒΗΜΑ 5. Θέτουμε T =. p = Επαναλαμβάνοντας την παραπάνω διαδικασία n φορές, παράγοντας τις Τ,Τ,...,Τ n, εκτιμούμε το p-value από το Boutsas M.V. (4) Σημειώσεις μαθήματος «Μέθοδοι Προσομοίωσης και Στατιστικές Υπολογιστικές Τεχνικές» 47

5 και ένα δ.ε. a για το p-value θα είναι το n p value = E( I( T > t)) = I( T > t) I, n I ( I ) I ( I ) I Z + a /, I Z / a. n n Υλοποιώντας όλα τα παραπάνω μέσω Matheatca, και για = 4, p =.4, p =.3, p 3 =., p 4 =., = 3, t = εκτιμούμε το p-value σημειακά, και μέσω δ.ε. 95% (μέσω επαναλήψεων για να έχουμε μικρότερο δ.ε.): = 4; p = {.4,.3,.,.}; = 3; t = ; n = ; s = ; axp = Max[p]; Do[ N = Table[, {}]; Do[Repeat = True; Whle[Repeat, Y = Floor[*Rando[]] + ; If[Rando[] < p[[y]]/axp, Repeat = False]; ]; N[[Y]] = N[[Y]] + ;, {j,, }]; T = Su[(N[[j]] - *p[[j]])^/(*p[[j]]), {j,, }]; If[T >= t, s = s + ];, {,, n}]; ep = N[s/n]; Prnt["p-value Sulaton estate : ", ep," ",{ep-(ep(-ep)/n)^.5*.96, ep+(ep(-ep)/n)^.5*.96}]; << Statstcs`ContnuousDstrbutons`; Prnt["p-value Ch-square approxaton : ", N[ - CDF[ChSquareDstrbuton[ - ], t]]]; p-value Sulaton estate :.464 {.456,.47739} p-value Ch-square approxaton : Παρατηρούμε ότι το p-value εκτιμάται γύρω στο 4.6% και κρίνοντας από το δ.ε. είναι σχεδόν βέβαιο ότι είναι μικρότερο του 5%. Συνεπώς αν ως επίπεδο σημαντικότητας του ελέγχου έχει επιλεγεί το a = 5%, θα πρέπει να απορρίψουμε την Η (κάτι που δεν μπορούσαμε να κάνουμε χρησιμοποιώντας την προσέγγιση μέσω της χι-τετράγωνο κατανομής). Προφανώς, το παραπάνω πρόγραμμα μπορεί να χρησιμοποιηθεί για διάφορες τιμές των παραμέτρων, p,, t. Βλέπουμε λοιπόν ότι σε ορισμένες οριακές περιπτώσεις ( Pr( T t T ~ χ ) a ) και για σχετικά μικρές τιμές του μεγέθους του δείγματος, θα πρέπει αναγκαστικά να χρησιμοποιήσουμε προσομοίωση για να εκτιμήσουμε το p-value. Γενικότερα τώρα, είναι φανερό ότι η μέθοδος εκτίμησης του p-value μέσω προσομοίωσης μπορεί να είναι όσο ακριβής επιθυμούμε, αρκεί να είμαστε διατεθειμένοι να πραγματοποιήσουμε το (ενδεχόμενα μεγάλο) πλήθος από επαναλήψεις που απαιτούνται για αυτό. Είναι ενδιαφέρον ότι, τροποποιώντας ελαφρά τον παραπάνω αλγόριθμο, μπορούμε να πάρουμε και μία εικόνα (προσέγγιση μέσω προσομοίωσης) για την ακριβή συνάρτηση κατανομής της τ.μ. T και να την συγκρίνουμε με την προσεγγίζουσα χιτετράγωνο: = Boutsas M.V. (4) Σημειώσεις μαθήματος «Μέθοδοι Προσομοίωσης και Στατιστικές Υπολογιστικές Τεχνικές» 48

6 = 4; p = {.4,.3,.,.}; = 3; n = ; axp = Max[p]; LstT = Table[, {n}]; Do[ N = Table[, {}]; Do[Repeat = True; Whle[Repeat, Y = Floor[*Rando[]] + ; If[Rando[] < p[[y]]/axp, Repeat = False]; ]; N[[Y]] = N[[Y]] + ;, {j,, }]; T = Su[(N[[j]] - *p[[j]])^/(*p[[j]]), {j,, }]; LstT[[]] = T;, {,, n}]; << Statstcs`ContnuousDstrbutons` st = Sort[LstT]; ta = Table[{sT[[]], N[/n]}, {,, n}]; pl = LstPlot[ta, PlotStyle -> {RGBColor[,, ], PontSze[.5]}, PlotJoned -> True]; pl = Plot[CDF[ChSquareDstrbuton[ - ], x], {x,,5}]; Show[pl, pl] Παρατηρούμε ότι σε αυτή την περίπτωση η χι-τετράγωνο κατανομή αποτελεί σχετικά καλή προσέγγιση της ακριβούς κατανομής της στατιστικής συνάρτησης Τ. Μπορούμε λοιπόν με αυτό τον τρόπο να δούμε για διάφορες τιμές των παραμέτρων την ποιότητα της προσέγγισης της χι-τετράγωνο κατανομής. Για παράδειγμα, δίνονται παρακάτω ανάλογα γραφήματα για διάφορες τιμές του μεγέθους του δείγματος ( = 4, p =.4, p =.3, p 3 =., p 4 =., n = επαναλήψεις): = 5 = Boutsas M.V. (4) Σημειώσεις μαθήματος «Μέθοδοι Προσομοίωσης και Στατιστικές Υπολογιστικές Τεχνικές» 49

7 = 5 = Όπως ήταν αναμενόμενο, όταν το μεγαλώνει, η προσέγγιση γίνεται καλύτερη. Αξίζει να υπογραμμισθεί ότι η πραγματική κατανομή της στατιστικής συνάρτησης T είναι διακριτή διότι είναι συνάρτηση διακριτών τ.μ. Αυτό είναι περισσότερο φανερό για μικρό διότι τότε η T μπορεί να λάβει ένα σχετικά μικρό πλήθος τιμών. Για μεγάλες τιμές όμως του η T συγκλίνει κατά κατανομή στην χι-τετράγωνο κατανομή. Σε αυτό το σημείο γίνεται φανερή και μία άλλη δυνατότητα που προσφέρει η τεχνική της προσομοίωσης: η επαλήθευση «στην πράξη» θεωρητικών (π.χ. ασυμπτωτικών) αποτελεσμάτων. Με αυτόν τον τρόπο, μπορεί κάποιος ερευνητής να ελέγξει πόσο ικανοποιητικά προσεγγίζεται μία στατιστική συνάρτηση (που π.χ. προτείνει για τον έλεγχο μιας υπόθεσης) από μία οριακή κατανομή. Επίσης, με τον ίδιο τρόπο που εκτιμήσαμε το p-value του συγκεκριμένου ε- λέγχου, μπορούμε να εκτιμήσουμε την πιθανότητα λανθασμένης αποδοχής της Η, δηλαδή την Pr(αποδοχή Η Η ) = Pr(σφάλματος τύπου ΙΙ)) Pr(II), ή την πιθανότητα ορθής απόρριψης της Η, δηλ. την ισχύ του ελέγχου π = Pr(απόρριψη Η Η ) = Pr(αποδοχή Η Η )) = Pr(II). Συγκεκριμένα, αν Η : Pr(Y = j) = p j, j =,,..., ( = p = ), Η : Pr(Y = j) = q j, j =,,..., ( = q = ), τότε μπορούμε να εκτιμήσουμε την ισχύ του ελέγχου π ( N p ) = Pr( T > χ ( a) H) = Pr( > χ ( a) N ~ MN(, q, q,..., q p Η = (όπου με ΜΝ συμβολίζουμε την πολυωνυμική κατανομή). Αυτό γίνεται παράγοντας τα Y,Y,...,Y από την κατανομή {q,q,...,q } (δηλ. υπό την Η ) και υπολογίζοντας το T με βάση τα p,p,...,p. Για παράδειγμα, =, {q,q,...,q } = {.5,.5,.5,.5} (Η ) και {p,p,...,p } = {.4,.3,.,.} (Η ) τότε η ισχύς του ελέγχου με a =.5 μπορεί να εκτιμηθεί μέσω του Matheatca από το παρακάτω πρόγραμμα. )) Boutsas M.V. (4) Σημειώσεις μαθήματος «Μέθοδοι Προσομοίωσης και Στατιστικές Υπολογιστικές Τεχνικές» 5

8 = 4; p = {.4,.3,.,.}; = ; q = {.5,.5,.5,.5}; a =.5; n = ; s = ; axq = Max[q]; << Statstcs`ContnuousDstrbutons`; c = Quantle[ChSquareDstrbuton[ - ], - a]; Prnt["upper crtcal pont : ", c]; Do[ N = Table[, {}]; Do[Repeat = True; Whle[Repeat, Y = Floor[*Rando[]] + ; If[Rando[] < q[[y]]/axq, Repeat = False]; ]; N[[Y]] = N[[Y]] + ;, {j,, }]; T = Su[(N[[j]] - *p[[j]])^/(*p[[j]]), {j,, }]; If[T > c, s = s + ];, {,, n}]; ep = N[s/n]; Prnt["Sulaton estate of Power : ", ep," ",{ep-(ep(-ep)/n)^.5*.96, ep+(ep(-ep)/n)^.5*.96}]; upper crtcal pont : Sulaton estate of Power :.5 {.53,.59898} Επομένως, αν Υ ~ {.5,.5,.5,.5}, το τέστ απορρίπτει ότι Υ ~ {.4,.3,.,.} με πιθανότητα περίπου 5% (δηλαδή στο 49% των περιπτώσεων θα δεχόμαστε λανθασμένα ότι Υ ~ {.4,.3,.,.}). Δοκιμάζοντας διάφορες εναλλακτικές υποθέσεις εξάγεται ο επόμενος πίνακας. p, p, p 3, p 4 (H ) q, q, q 3, q 4 (H ) Ισχύς.4,.3,.,..35,.35,.5, ,.3,., ,.5,.5,.5.5.,.,.3, ,.5,.35, ,.,.3, Όπως είναι αναμενόμενο, όσο περισσότερο διαφέρει η Η από την Η τόσο συχνότερα θα απορρίπτεται ορθά η Η. Είναι ενδιαφέρον ότι το χι-τετράγωνο τεστ μπορεί να εφαρμοστεί και για τον έλεγχο της γενικότερης υπόθεσης Η : Χ ~ F, ή ισοδύναμα της Η : F Χ = F, ότι δηλαδή οι τ.μ. Χ,Χ,,X ακολουθούν την (γνωστή) κατανομή F η οποία μπορεί να είναι διακριτή ή συνεχής. Σε αυτή την περίπτωση, μπορούμε να διαμερίσουμε το σύνολο των δυνατών τιμών των Χ σε σύνολα Α, Α,..., Α (κατηγορίες ή κελιά) και να ορίσουμε τις βοηθητικές τ.μ. Y, Y,, Y έτσι ώστε Υ = j αν Χ A j. Έτσι, αντί της αρχικής υπόθεσης, μπορούμε να ελέγξουμε την υπόθεση Η : Pr(Υ = j) = p j, j =,,...,, Boutsas M.V. (4) Σημειώσεις μαθήματος «Μέθοδοι Προσομοίωσης και Στατιστικές Υπολογιστικές Τεχνικές» 5

9 όπου p j = Pr(X A j Χ ~ F ), η οποία έχει την μορφή που εξετάσαμε παραπάνω 4. Αν απορριφθεί η συγκεκριμένη υπόθεση τότε προφανώς θα πρέπει να απορριφθεί και η αρχική Η : Χ ~ F. Η εκτίμηση του p-value, (ή π.χ. της κατανομής του T ή της ισχύος του ελέγχου) μπορούν να γίνουν όπως και παραπάνω, αρκεί να επιλέξουμε κατάλληλη διαμέριση του πεδίου τιμών των Χ και να υπολογίσουμε τα p j θεωρώντας ότι Χ ~ F. Αν π.χ. η F είναι η σ.κ. της Ν(,), τότε μπορούμε να χωρίσουμε το R στα = 8 υποσύνολα: (,.5], (.5, ], (,.5], (.5, ], (,.5], (.5, ], (,.5], (.5, ) και να θεωρούμε π.χ. ότι Υ = αν Χ (,.5] και επομένως, p = Pr(Χ.5) = Φ(.5).668, κ.ο.κ. 7.. Το κριτήριο χι-τετράγωνο όταν υπάρχουν άγνωστες παράμετροι Στην προηγούμενη παράγραφο εξετάσαμε τον έλεγχο της υπόθεσης Η : Pr(Y = j) = p j, j =,,..., ( = p = ), όπου προφανώς υποθέσαμε ότι τα p j είναι γνωστά. Υπάρχουν όμως περιπτώσεις όπου τα p j δεν είναι απολύτως γνωστά, αλλά εξαρτώνται από κάποιες άγνωστες παραμέτρους, δηλαδή p j = p j (θ) με θ = (θ,θ,...,θ r ) άγνωστο. Η περίπτωση αυτή εμφανίζεται αρκετά συχνά π.χ. κατά τον έλεγχο καλής προσαρμογής δεδομένων σε μία γνωστή κατανομή (π.χ. κανονική) με άγνωστες όμως παραμέτρους (π.χ. μ, σ ) ή π.χ. κατά τον έλεγχο ανεξαρτησίας σε πίνακες συνάφειας (χρησιμοποιώντας το χι-τετράγωνο τέστ). Στην περίπτωση αυτή χρησιμοποιούμε τη στατιστική συνάρτηση T = = ( N p ( θ)) p ( θ) όπου θ είναι η εκτίμηση του θ από τα δεδομένα. Τώρα, υπό την Η, αποδεικνύεται ότι η T ακολουθεί ασυμπτωτικά χι-τετράγωνο κατανομή με r βαθμούς ελευθερίας, όπου r είναι το πλήθος των παραμέτρων που χρειάστηκε να εκτιμηθούν από τα δεδομένα (δηλαδή η διάσταση του θ). Επομένως τώρα, απορρίπτουμε την H σε ε.σ. a όταν T > χ ( ) και αν από το δείγμα βρέθηκε ότι T = t, θα είναι r a p value Pr( T t H ) = Pr( T t T ~ χ ) = F ( ). r t χ r Και σε αυτή την περίπτωση, αν θεωρούμε ότι η προσέγγιση που δίνεται παραπάνω μπορεί να μην είναι ικανοποιητική (π.χ. έχουμε μικρό δείγμα), μπορούμε να χρησιμοποιήσουμε προσομοίωση για να εκτιμήσουμε το p-value. Στην περίπτωση που δεν είχαμε άγνωστες παραμέτρους, παράγονταν οι Υ,Υ,...,Υ (υπό την Η ), υπολογίζονταν το αντίστοιχο T και ελέγχαμε αν T t. Επαναλαμβάνοντας τα προηγούμενα n φορές λαμβάναμε ως εκτίμηση του p-value το ποσοστό των επαναλήψεων που ίσχυε ότι T t. Εδώ όμως απαιτείται κατάλληλη τροποποίηση της μεθόδου που αναπτύξαμε παραπάνω, διότι η Η δεν καθορίζει απόλυτα μία κατανομή από την οποία θα παρά- 4 Για να είναι τώρα ικανοποιητική η προσέγγιση του T από την χ κατανομή, θα πρέπει τα σύνολα Α,...,Α να επιλεγούν έτσι ώστε οι αναμενόμενες συχνότητες σε κάθε κελί να είναι τουλάχιστον 5, δηλαδή p j 5 (στην χειρότερη περίπτωση, απαιτείται p j >, αλλά το πολύ % από τα p,..., p να είναι < 5), Boutsas M.V. (4) Σημειώσεις μαθήματος «Μέθοδοι Προσομοίωσης και Στατιστικές Υπολογιστικές Τεχνικές» 5

10 γουμε τα Y (διότι υπάρχουν άγνωστες παράμετροι). Για το λόγο αυτό εργαζόμαστε ως εξής:. Από το πραγματικό δείγμα που έχουμε εκτιμούμε (μέσω του θ ) τις άγνωστες παραμέτρους θ και υπολογίζουμε την τιμή της στατιστικής συνάρτησης T, έστω t.. Παράγουμε τις Υ,Υ,...,Υ θεωρώντας ότι Pr(Y = j) = p j ( θ ), j =,,..., και στη συνέχεια υπολογίζουμε την τιμή της στατιστικής συνάρτησης για τα συγκεκριμένα Y, T = = p ( N p ), όπου τα (εκτιμήσεις των p ) και φυσικά τα Ν λαμβάνονται από το προσομοιωμένο δείγμα Υ,Υ,...,Υ. 3. Επαναλαμβάνουμε n το πλήθος φορές το βήμα και εκτιμούμε το p-value από το ποσοστό των πραγματοποιήσεων που βρέθηκε ότι T t. p Παράδειγμα. Επιθυμούμε να ελέγξουμε αν τα παρακάτω δεδομένα προέρχονται από την κατανομή Posson:, 4, 3,,, 3,, 4,, 3, 3, 4, 3, 4, 3, 4,, 5, 3, 7. Πρόκειται για = παρατηρήσεις Χ,Χ,...,Χ με συχνότητες εμφάνισης: αριθμός εμφανίσεις: 3 φορές φορές φορά 7 φορές 5 φορές φορά φορές φορά και θα πρέπει να ελέγξουμε την υπόθεση Η : Χ ~ Posson. Για να χρησιμοποιήσουμε το χι-τετράγωνο τεστ θα πρέπει να μετασχηματίσουμε την υπόθεση αυτή στη μορφή Η : Pr(Y = j) = p j, j =,,...,. Για το σκοπό αυτό (σύμφωνα και με παραπάνω σχόλια) διαμερίζουμε το {,,,...} (σύνολο δυνατών τιμών των Χ ) σε = 6 σύνολα (κατηγορίες ή κελιά), τα Α ={}, Α ={}, Α 3 ={}, Α 4 ={3}, Α 5 ={4}, Α 6 ={5,6,...}, και ορίζουμε τις τ.μ. Y,Y,,Y έτσι ώστε Υ = j αν Χ A j. Για τα παραπάνω δεδομένα τα αντίστοιχα Υ θα είναι, 5, 4,,, 4,, 5, 3, 4, 4, 5, 4, 5, 4, 5,, 6, 4, 6. και επομένως οι παρατηρούμενες συχνότητες στα 6 κελιά είναι Ν = 3, Ν =, Ν 3 =, Ν 4 = 7, Ν 5 = 5, Ν 6 =. Για να υπολογίσουμε τις αναμενόμενες συχνότητες θα πρέπει πρώτα να εκτιμήσουμε την άγνωστη μέση τιμή της Posson από τα δεδομένα. Θα είναι λ = X =.85, από όπου προκύπτει ότι, p = Pr(Υ = ) = Pr(X = Χ ~ Po(.85 λ ) ) = e.85 /!. 5784, p = Pr(Υ = ) = Pr(X = Χ ~ Po(.85 λ ) ) = e.85 /!. 648, p = Pr(Υ = 3) = Pr(X = Χ ~ Po(.85 λ ) ) = e.85 /!. 349, 3 Boutsas M.V. (4) Σημειώσεις μαθήματος «Μέθοδοι Προσομοίωσης και Στατιστικές Υπολογιστικές Τεχνικές» 53

11 p = Pr(Υ = 4) = Pr(X = 3 Χ ~ Po(.85 λ ) ) = e.85 3 / 3!. 3, 4 p = Pr(Υ = 5) = Pr(X = 4 Χ ~ Po(.85 λ ) ) = e.85 4 / 4!. 59, 5 p = Pr(Υ = 6) = Pr(X 5 Χ ~ Po( 4.85 λ ) ) = e.85 /!. 6 6 και συνεπώς (=), ( N p ) T = = p = =, Αν θεωρήσουμε ότι στη συγκεκριμένη περίπτωση η προσέγγιση από την χ κατανομή είναι ικανοποιητική, τότε p value = Pr( T t H ) Pr( T 9.93 T ~ χ ).54, 6 = και άρα δεν μπορούμε να απορρίψουμε σε ε.σ. 5% ότι τα δεδομένα προέρχονται από την κατανομή Posson. Τα παραπάνω μπορούν άμεσα να υπολογιστούν και μέσω του Matheatca: << Statstcs`DscreteDstrbutons`; Observed = {3,,, 7, 5, }; = 6; = ; λ =.85; Expected = Table[PDF[PossonDstrbuton[λ],-]*, {,,}]; Expected[[]] = ( - CDF[PossonDstrbuton[λ], - ])*; T=Su[(Observed[[j]]-Expected[[j]])^/Expected[[j]],{j,,}]; Prnt["=",, " =",, " estated λ =", λ]; Prnt["Observed values: ", Observed]; Prnt["Expected values: ", Expected]; Prnt["Ch-square Statstc :", T]; << Statstcs`ContnuousDstrbutons`; Prnt["p-value Ch-square approxaton : ", N[ - CDF[ChSquareDstrbuton[ - ], T]]]; =6 = estated λ=.85 Observed values: {3,,, 7, 5, } Expected values: {.568,3.97,4.6984,4.4634,3.8,3.38} Ch-square Statstc : p-value Ch-square approxaton :.5478 Επειδή όμως οι παρατηρήσεις που έχουμε στη διάθεσή μας είναι σχετικά λίγες και δεν πληρούνται οι προϋποθέσεις που εξασφαλίζουν ικανοποιητική προσέγγιση της κατανομής της T από την χ (αναμενόμενες παρατηρήσεις σε κάθε κελί 5), θα επιχειρήσουμε να εκτιμήσουμε το p-value και μέσω προσομοίωσης. Ακολουθώντας τη γενική μέθοδο που περιγράφηκε παραπάνω (3 βήματα):. Εκτιμούμε την άγνωστη παράμετρο λ από τα δεδομένα ( λ =.85) και υπολογίζουμε την τιμή της στατιστικής συνάρτησης T (t =9.934).. Παράγουμε τις Υ,Υ,...,Υ ~ Posson με μέση τιμή.85, υπολογίζουμε τα αντίστοιχα p, Ν και την τιμή της στατιστικής συνάρτησης T = = ( N p ). p Boutsas M.V. (4) Σημειώσεις μαθήματος «Μέθοδοι Προσομοίωσης και Στατιστικές Υπολογιστικές Τεχνικές» 54

12 3. Επαναλαμβάνουμε n το πλήθος φορές το βήμα και εκτιμούμε το p-value από το ποσοστό των πραγματοποιήσεων του βήματος που βρέθηκε ότι T t = Υλοποιώντας τα παραπάνω μέσω Matheatca εκτιμούμε το p-value σημειακά, και μέσω δ.ε. 95% << Statstcs`DscreteDstrbutons`; Observed = {3,,,7,5,}; = 6; = ; λ =.85; t = 9.934; n = ; s = ; Do[N = Table[, {}]; estean = ; Do[Y = Rando[PossonDstrbuton[λ]]; estean = estean + Y/; If[Y<-, N[[Y+]] = N[[Y+]]+, N[[]] = N[[]]+];, {j,, }]; estp=table[n[pdf[possondstrbuton[estean],-]],{,,}]; estp[[]] = N[ - CDF[PossonDstrbuton[estean], - ]]; T = Su[(N[[j]] - *estp[[j]])^/(*estp[[j]]), {j,, }]; If[T >= t, s = s + ];,{,, n}]; ep = N[s/n]; Prnt["p-value Sulaton estate : ", ep," ", {ep - (ep( - ep)/n)^.5*.96, ep + (ep( - ep)/n)^.5*.96}]; p-value Sulaton estate :.4994 { ,.59} Παρατηρούμε ότι το p-value εκτιμάται γύρω στο 4.99% με δ.ε. 95% το {4.85%, 5.3%} και άρα και πάλι δεν μπορούμε με βεβαιότητα να πούμε αν βρίσκεται κάτω ή πάνω από το 5% (δεν μπορούμε και πάλι να απορρίψουμε την Η ). Επομένως, αν επιθυμούμε καλύτερη εκτίμηση, θα πρέπει είτε να αυξήσουμε το πλήθος των επαναλήψεων της προσομοίωσης είτε να χρησιμοποιήσουμε κάποια μέθοδο ελάττωσης διακύμανσης (είτε και τα δύο). Πάντως, επαληθεύεται ότι η προσέγγιση μέσω της χ κατανομής είναι σχετικά ικανοποιητική. Είναι ενδιαφέρον ότι, τροποποιώντας τον παραπάνω αλγόριθμο, μπορούμε και πάλι να πάρουμε μία εικόνα για την μορφή της ακριβούς συνάρτησης κατανομής της τ.μ. T και να την συγκρίνουμε με την προσεγγίζουσα χι-τετράγωνο κατανομή με - β.ε.: << Statstcs`DscreteDstrbutons`; n = ; λ =.85; = 6; = ; LstT = Table[, {n}]; Do[N = Table[, {}]; estean = ; Do[Y = Rando[PossonDstrbuton[λ]]; estean = estean + Y/; If[Y<-, N[[Y+]]=N[[Y+]]+, N[[]]=N[[]]+];, {j,, }]; estp=table[n[pdf[possondstrbuton[estean],-]],{,,}]; estp[[]] = N[ - CDF[PossonDstrbuton[estean], - ]]; T = Su[(N[[j]] - *estp[[j]])^/(*estp[[j]]), {j,, }]; LstT[[]] = T;, {,, n}]; << Statstcs`ContnuousDstrbutons` st = Sort[LstT]; ta = Table[{sT[[]], N[/n]}, {,, n}]; pl = LstPlot[ta, PlotStyle -> {RGBColor[,, ], PontSze[.5]},PlotJoned -> True]; pl = Plot[CDF[ChSquareDstrbuton[ - ], x], {x,, 5}]; Show[pl, pl] Boutsas M.V. (4) Σημειώσεις μαθήματος «Μέθοδοι Προσομοίωσης και Στατιστικές Υπολογιστικές Τεχνικές» 55

13 Παρατηρούμε ότι η χι-τετράγωνο κατανομή με β.ε. αποτελεί αρκετά καλή προσέγγιση της ακριβούς κατανομής της στατιστικής συνάρτησης Τ. Με αυτόν τον τρόπο, μπορούμε για διάφορες τιμές των παραμέτρων να εξετάσουμε την ποιότητα της προσέγγισης της χι-τετράγωνο κατανομής. Τέλος, με τον ίδιο τρόπο που εκτιμήσαμε το p-value του συγκεκριμένου ελέγχου, μπορούμε να εκτιμήσουμε την πιθανότητα Pr(II) λανθασμένης αποδοχής της Η, ή την ισχύ του ελέγχου π = Pr(II) δοκιμάζοντας διάφορες εναλλακτικές υποθέσεις (π.χ. τα X προέρχονται από μία άλλη συγκεκριμένη κατανομή) Το κριτήριο Kologorov-Srnov (K-S) Το κριτήριο K-S χρησιμοποιείται και αυτό για το έλεγχο καλής προσαρμογής ενός τυχαίου δείγματος σε μία δεδομένη συνεχή κατανομή (Η : X ~ F ) και γενικά είναι ισχυρότερο από το κριτήριο χ. Υπενθυμίζεται ότι, προκειμένου να εφαρμόσουμε το κριτήριο χ στην περίπτωση συνεχών δεδομένων, θα πρέπει να θεωρήσουμε κελιά και να εξετάσουμε τη διαφορά μεταξύ αναμενόμενων (υπό την Η ) και παρατηρούμενων συχνοτήτων σε αυτά. Όπως είναι φανερό, η διακριτοποίηση αυτή οδηγεί σε απώλεια πληροφορίας (διότι κρατάμε μόνο το πλήθος των παρατηρήσεων σε κάθε κατηγορία και όχι τις ακριβείς τιμές των παρατηρήσεων) και άρα σε μειωμένη ισχύ του ελέγχου. Το κριτήριο K-S προσφέρει μία εναλλακτική μέθοδο ελέγχου της υπόθεσης Η : X ~ F η οποία βασίζεται στην διαφορά της εμπειρικής συνάρτηση κατανομής (που προέρχεται από το δείγμα) και της αναμενόμενης F (υπό την Η ) και επομένως δεν υπάρχει ανάγκη διακριτοποίησης των δεδομένων. Έστω λοιπόν ένα τ.δ. Χ,Χ,...,Χ, και έστω ότι επιθυμούμε να ελέγξουμε την υπόθεση Η : X ~ F. Η εμπειρική συνάρτηση κατανομής (ΕΣΚ) από το δείγμα αυτό είναι #{ X x} F( x) = I( X x) =, = και ως γνωστό αποτελεί εκτίμηση της συνάρτησης κατανομής των X ( Ι(X x) = ή ανάλογα με το αν X x ή όχι). Επομένως, υπό την μηδενική υπόθεση, θα πρέπει η ΕΣΚ να είναι «κοντά» στην F. Αντίθετα, αν δεν ισχύει η Η αναμένουμε σημαντική απόκλιση της ΕΣΚ από την F. Για να κατασκευάσουμε έναν έλεγχο με βάση αυτόν τον συλλογισμό, θα πρέπει να ορίσουμε μία «απόσταση» μεταξύ των δύο κατανομών (της ΕΣΚ και της F ) και να απορρίπτουμε την Η όταν αυτή η απόσταση γίνεται «μεγάλη». Σχετικά έχουμε τον επόμενο ορισμό. Boutsas M.V. (4) Σημειώσεις μαθήματος «Μέθοδοι Προσομοίωσης και Στατιστικές Υπολογιστικές Τεχνικές» 56

14 Ορισμός. Αν F, G είναι δύο συναρτήσεις κατανομής στον R, τότε η ποσότητα d K ( F, G) = sup{ F( x) G( x) } = F G x R καλείται απόσταση Kologorov μεταξύ της F και της G. Σύμφωνα με τα παραπάνω, θα απορρίπτουμε την Η : X ~ F όταν η στατιστική συνάρτηση D = d K ( x R F, F ) = sup{ F( x) F ( x) }, λαμβάνει ασυνήθιστα μεγάλες τιμές, δηλαδή όταν D > c. Το κριτήριο αυτό είναι γνωστό ως κριτήριο Kologorov Srnov (και η στατιστική συνάρτηση D καλείται ελεγχοσυνάρτηση Kologorov Srnov). Προκειμένου να χρησιμοποιήσουμε το συγκεκριμένο κριτήριο στην πράξη, θα πρέπει πρώτα από όλα να προσδιορίσουμε την κατανομή της τ.μ. D κάτω από την Η έτσι ώστε να υπολογίσουμε το c (για δεδομένο επίπεδο σημαντικότητας a) ή το p-value ενός δείγματος. Πριν προχωρήσουμε, είναι επιβεβλημένο να αναζητήσουμε μία απλούστερη έκφραση της τ.μ. D ώστε να υπολογίζεται εύκολα από το τ.δ. Χ, Χ,..., Χ αλλά και για να φαίνεται αμεσότερα η εξάρτησή της από τα Χ (ώστε να μπορέσουμε να προσδιορίσουμε την κατανομή της). Έστω Χ (), Χ (),...,Χ () οι διατεταγμένες τιμές των Χ, Χ,...,Χ (Χ () < Χ () <... < Χ () ). Παρατηρούμε ότι η εμπειρική συνάρτηση κατανομής γράφεται ως εξής:, x < X () /, X () x < X F( x) = /, X () x < X /, X () x δηλαδή είναι σταθερή στα διαστήματα [X (-), X () ) ενώ παρουσιάζει άλματα ύψους / στα σημεία Χ (),...,Χ (). Εφόσον τώρα η F είναι αύξουσα συνάρτηση, η μέγιστη τιμή της F (x) F (x) θα λαμβάνεται πάνω σε κάποιο από τα σημεία Χ (),..., Χ (). Δηλαδή, sup { F( x) F ( x)} = ax { F( X ( ) ) F ( X ( ) )} = ax { F ( X ( ) )}. x R =,,..., =,,..., Αυτό μπορεί να φανεί και από το παρακάτω σχήμα ( = 7): () (3) F F / X () X () X (3)... Boutsas M.V. (4) Σημειώσεις μαθήματος «Μέθοδοι Προσομοίωσης και Στατιστικές Υπολογιστικές Τεχνικές» 57

15 Όμοια, το supreu της F (x) F (x) θα είναι sup { F ( x) F( x)} = ax { F ( X ( ) ) F( X ( ) )} = ax { F ( X ( ) ) } x R =,,..., =,,..., (όπου F(x ) = l t x F(t)) και τελικά, D = sup{ F( x) F ( x) } = ax sup{ F( x) F ( x)},sup{ F ( x) F( x R x R x R = ax F ( X ( ) ), F ( X ( ) ), =,,...,. x Είναι αξιοσημείωτο το γεγονός ότι, υπό την Η, η κατανομή της D δεν εξαρτάται από την F. Πράγματι, παρατηρούμε ότι οι τ.μ. U = F (X ), =,,, είναι ανεξάρτητες και ακολουθούν 5 την U(,) και επομένως οι τ.μ. U () = F (X () ) αποτελούν ένα διατεταγμένο δείγμα από την ομοιόμορφη στο (,) κατανομή. Συνεπώς, οποιαδήποτε και αν είναι η F, η D έχει ίδια κατανομή με την τ.μ. D = ax U ( ), U ( ), =,,...,, όπου U,U,,U είναι ανεξάρτητες τ.μ. από την U(,). Επομένως, θα απορρίπτουμε την Η όταν D > D (a), όπου D (a) είναι το άνω a-σημείο της κατανομής της τ.μ. D που προέρχεται από δείγμα μεγέθους. Η ακριβής κατανομή της τ.μ. D είναι δύσκολο να δοθεί και για αυτό έχουν κατασκευαστεί πίνακες με τα άνω a-σημεία της. Επίσης, το p-value ενός δείγματος που έδωσε D = d θα είναι Pr( D d H ) = Pr( D d) = Pr ax U ( ), U ( ), =,,..., d, το οποίο δεν είναι καθόλου εύκολο να υπολογιστεί επακριβώς. Μπορούμε όμως, ό- πως και στο χι-τετράγωνο κριτήριο, να το εκτιμήσουμε χρησιμοποιώντας προσομοίωση. Εδώ η διαδικασία που πρέπει να ακολουθήσουμε είναι πολύ απλή. Παράγουμε τιμές από την U(,), τις διατάσσουμε, βρίσκουμε το αντίστοιχο D και εξετάζουμε αν υπερβαίνει το d. Επαναλαμβάνουμε τη διαδικασία αυτή n φορές και ως εκτίμηση του p-value λαμβάνουμε το ποσοστό των επαναλήψεων της προσομοίωσης που παρατηρήθηκε D d. Παράδειγμα. Επιθυμούμε να ελέγξουμε αν τα παρακάτω δεδομένα προέρχονται από την τυπική κανονική κατανομή:.7369,.336,.5957,.6349,.75467,.9745,.5965, , , Από αυτές τις = παρατηρήσεις μπορούμε να υπολογίσουμε το D είτε με χαρτί και μολύβι, είτε με κάποιο στατιστικό πακέτο, είτε χρησιμοποιώντας το παρακάτω πρόγραμμα: )}. 5 Αποδεικνύεται ότι F(Χ) ~ U(,) για οποιαδήποτε συνεχή τ.μ. Χ με σ.κ. F (π.χ. στην περίπτωση που η F αντιστρέφεται θα είναι Pr( ( X ) x) = Pr( X F ( x)) = F( F ( x)) = x, x [,] F ). Boutsas M.V. (4) Σημειώσεις μαθήματος «Μέθοδοι Προσομοίωσης και Στατιστικές Υπολογιστικές Τεχνικές» 58

16 <<Statstcs`ContnuousDstrbutons` X = {.7369,.336,.5957, , , , , , ,.3898}; X = Sort[X]; = ; SN = NoralDstrbuton[, ]; d = Max[Table[/ - CDF[SN, X[[]]], {,, }]]; d = Max[Table[CDF[SN, X[[]]] - ( - )/, {,, }]]; d = Max[{d, d}].4357 Επομένως, d = Αρκεί τώρα να εκτιμήσουμε το p value = Pr( D d H ). Υλοποιώντας τη διαδικασία που περιγράφηκε αμέσως πριν το παράδειγμα, λαμβάνουμε: = ; n = ; s = ; d =.4357; Do[ U = Table[Rando[], {}]; U = Sort[U]; d = Max[Table[/ - U[[]], {,, }]]; d = Max[Table[U[[]] - ( - )/, {,, }]]; If[Max[{d, d}] >= d, s = s + ], {j,, n}]; ep = N[s/n]; Prnt["p-value Sulaton estate : ", ep, " ", {ep-(ep(-ep)/n)^.5*.96, ep+(ep(-ep)/n)^.5*.96}]; p-value Sulaton estate :.38 {.939,.369} Και επομένως θα πρέπει να απορρίψουμε την Η σε ε.σ. 5%. Επίσης, μπορούμε να δούμε τη μορφή της κατανομής της στατιστικής συνάρτηση D για = τροποποιώντας το παραπάνω πρόγραμμα (αντί σε κάθε επανάληψη να ελέγχουμε αν D d, καταγράφουμε όλα τις τιμές των D σε μία λίστα και κατασκευάζουμε το ιστόγραμμά τους: = 3; n = 5; d = Table[, {n}]; Do[ U = Table[Rando[], {}]; U = Sort[U]; d = Max[Table[/ - U[[]], {,, }]]; d = Max[Table[U[[]] - ( - )/, {,, }]]; d[[j]] = Max[{d, d}];, {j,, n}] << Graphcs`Graphcs` Hstogra[d, HstograScale ->, BarStyle -> {GrayLevel[.8]}, HstograCategores -> Table[a, {a,,.4,.5}]] Boutsas M.V. (4) Σημειώσεις μαθήματος «Μέθοδοι Προσομοίωσης και Στατιστικές Υπολογιστικές Τεχνικές» 59

17 Τέλος, όπως και στην περίπτωση του χ τεστ, μπορούμε, για συγκεκριμένες εναλλακτικές υποθέσεις, να εκτιμήσουμε την ισχύ του ελέγχου Το κριτήριο K-S όταν υπάρχουν άγνωστες παράμετροι Στην προηγούμενη παράγραφο εξετάσαμε τον έλεγχο της υπόθεσης Η : X ~ F όπου η F ήταν πλήρως καθορισμένη. Η συνηθέστερη όμως περίπτωση είναι να επιθυμούμε να εξετάσουμε αν κάποια δεδομένα προέρχονται από μία γνωστή κατανομή F με άγνωστες όμως παραμέτρους θ (π.χ. αν τα δεδομένα είναι κανονικά χωρίς να προσδιορίζουμε τα μ, σ). Στην περίπτωση αυτή συνήθως εκτιμούμε τις παραμέτρους θ από τα δεδομένα και χρησιμοποιούμε τη στατιστική συνάρτηση D( θ) = sup{ F( x) F ( x) }, x R όπου F θ είναι η σ.κ. που προκύπτει αν θεωρήσουμε ότι οι άγνωστες παράμετροι της F είναι ίσες με θ, την εκτίμηση του θ από τα δεδομένα 6. Αν βρούμε D (θ ) = d, τότε το αντίστοιχο p-value είναι περίπου ίσο με αυτό που θα προέκυπτε αγνοώντας το γεγονός της εκτίμησης του θ, δηλαδή, p value = Pr( D( θ ) d H ) Pr( D d), και έτσι μπορούμε να χρησιμοποιήσουμε και πάλι την κατανομή της D 7. Εαν η παραπάνω προσεγγιστική τιμή είναι αρκετά μεγάλη τότε μπορούμε να θεωρήσουμε ότι δεν μπορούμε να απορρίψουμε. Αν όμως είναι μικρή (π.χ. κοντά στο 5%) τότε δεν είμαστε σίγουροι αν η απόφαση που θα πάρουμε χρησιμοποιώντας την παραπάνω προσέγγιση είναι η σωστή. Για το λόγο αυτό, μπορούμε να εκτιμήσουμε το παραπάνω p-value χρησιμοποιώντας και πάλι προσομοίωση. Όπως και σε αντίστοιχη περίπτωση στο χ τεστ, απαιτείται κατάλληλη τροποποίηση της μεθόδου προσομοίωσης που αναπτύξαμε παραπάνω, διότι η Η δεν καθορίζει απόλυτα μία κατανομή από την οποία θα παράγουμε τα Χ (υπάρχουν άγνωστες παράμετροι). Για το λόγο αυτό εργαζόμαστε ως εξής:. Από το πραγματικό δείγμα που έχουμε εκτιμούμε (θ ) τις άγνωστες παραμέτρους θ και υπολογίζουμε την τιμή της στατιστικής συνάρτησης D (θ ), έστω d.. Παράγουμε τις X,X,...,X θεωρώντας ότι X ~ F θ και στη συνέχεια υπολογίζουμε την τιμή της στατιστικής συνάρτησης για τα συγκεκριμένα X, D( θ ) = sup{ F( x) F ( x) }, s όπου τα θ s εκτιμώνται από το προσομοιωμένο δείγμα X,X,...,X. x R 3. Επαναλαμβάνουμε n το πλήθος φορές το βήμα και εκτιμούμε το p-value από το ποσοστό των πραγματοποιήσεων που βρέθηκε ότι D d. θ θ s 6 Για ορισμένες κατανομές (π.χ. κανονική με άγνωστες παραμέτρους) συνήθως χρησιμοποιείται μία τροποποίηση του K-S τεστ (π.χ. Lllefors K-S). 7 Στην πραγματικότητα, η συγκεκριμένη προσεγγιστική τιμή του p-value είναι μεγαλύτερη από την αντίστοιχη ακριβή τιμή. Αυτό είναι διαισθητικά προφανές, διότι η F θ θα ταιριάζει στα δεδομένα περισσότερο από την F θ (ακριβώς διότι η θ προέρχεται από τα ίδια τα δεδομένα) με αποτέλεσμα να λαμβάνουμε μεγαλύτερο p-value. Boutsas M.V. (4) Σημειώσεις μαθήματος «Μέθοδοι Προσομοίωσης και Στατιστικές Υπολογιστικές Τεχνικές» 6

18 Παράδειγμα. Έστω τα δεδομένα.7983,.793,.45,.539,.8893,.68394,.69767,.99543, , Αυτή τη φορά επιθυμούμε να ελέγξουμε αν προέρχονται από μία εκθετική κατανομή (με άγνωστο λ). Πριν προχωρήσουμε, θα πρέπει να εκτιμήσουμε το λ ή καλύτερα το /λ, από τα δεδομένα: X = X =.78. n = Από αυτές τις = παρατηρήσεις μπορούμε να υπολογίσουμε το D είτε με χαρτί και μολύβι, είτε με κάποιο στατιστικό πακέτο, είτε χρησιμοποιώντας το παρακάτω: << Statstcs`ContnuousDstrbutons` X = {.7983,.793,.45,.539,.8893,.68394,.69767,.99543, ,.6894}; ean = Mean[X]; Prnt["ean=", ean]; = Densons[X][[]]; X = Sort[X]; ex = ExponentalDstrbuton[/ean]; d = Max[Table[/ - CDF[ex, X[[]]], {,, }]]; d = Max[Table[CDF[ex, X[[]]] - ( - )/, {,, }]]; d = Max[{d, d}] ean= Επομένως, είναι d = Σύμφωνα με παραπάνω θα πρέπει p value Pr( D d H ) το οποίο εκτιμάται από το ίδιο πρόγραμμα που χρησιμοποιήσαμε και παραπάνω: = ; n = ; s = ; d =.36349; Do[ U = Table[Rando[], {}]; U = Sort[U]; d = Max[Table[/ - U[[]], {,, }]]; d = Max[Table[U[[]] - ( - )/, {,, }]]; If[Max[{d, d}] >= d, s = s + ], {j,, n}]; ep = N[s/n]; Prnt["p-value Sulaton estate : ", ep, " ", {ep-(ep(-ep)/n)^.5*.96, ep+(ep(-ep)/n)^.5*.96}]; p-value Sulaton estate :.7 {.3558,.984} και επομένως δεν μπορούμε να απορρίψουμε την Η σε ε.σ. 5%. Εάν επιθυμούμε να πάρουμε μία καλύτερη προσέγγιση του p-value θα πρέπει να ακολουθήσουμε τα 3 βήματα που περιγράφηκαν παραπάνω: << Statstcs`ContnuousDstrbutons` = ; n = ; d =.36349; ean =.78; s = ; ex = ExponentalDstrbuton[/ean]; Do[ X = Table[Rando[ex], {}]; est = Mean[X]; X = Sort[X]; ex = ExponentalDstrbuton[/est]; d = Max[Table[/ - CDF[ex, X[[]]], {,, }]]; d = Max[Table[CDF[ex, X[[]]] - ( - )/, {,, }]]; If[Max[{d, d}] >= d, s = s + ], {j,, n}]; ep = N[s/n]; Prnt["p-value Sulaton estate : ", ep," ", {ep - (ep( - ep)/n)^.5*.96, ep + (ep( -ep)/n)^.5*.96}]; p-value Sulaton estate :.6 {.56455, } Boutsas M.V. (4) Σημειώσεις μαθήματος «Μέθοδοι Προσομοίωσης και Στατιστικές Υπολογιστικές Τεχνικές» 6

19 Αν και πάλι δεν μπορούμε να απορρίψουμε την H σε ε.σ. 5%, παρατηρούμε μία αρκετά μεγάλη διαφορά από την προηγούμενη εκτίμηση του p-value. Όπως έχει προαναφερθεί, η προηγούμενη εκτίμηση υπερεκτιμά το p-value και για αυτό δεν πρέπει να θεωρείται πάντα αξιόπιστη. Ασκήσεις.. Σύμφωνα με τη θεωρία γενετικής του Mendel, ένα συγκεκριμένα φυτό θα παράγει λευκά, ροζ και κόκκινα άνθη με πιθανότητες /4, / και /4 αντίστοιχα. Για να επιβεβαιωθεί αυτός ο ισχυρισμός, λαμβάνεται ένα δείγμα από 564 φυτά από τα οποία 4 παρήγαγαν λευκά, 9 ροζ, και 3 κόκκινα άνθη. Δώστε μία προσεγγιστική τιμή για το p-value του συγκεκριμένου δείγματος (α) χρησιμοποιώντας χι-τετράγωνο προσέγγιση, (β) χρησιμοποιώντας προσομοίωση.. Προκειμένου να ελεγχθεί αν ένα ζάρι είναι αμερόληπτο, ρίπτεται φορές από τις οποίες 58, 7, 64, 8, 6, 65 φορές καταγράφηκαν τα αποτελέσματα,, 3, 4, 5, 6 αντίστοιχα. Δώστε μία προσεγγιστική τιμή για το p-value του συγκεκριμένου δείγματος (κατά τον έλεγχο αμεροληψίας του ζαριού) (α) χρησιμοποιώντας χιτετράγωνο προσέγγιση, (β) χρησιμοποιώντας προσομοίωση. 3. Έστω (Χ,Υ ), (Χ,Υ ),..., (Χ,Υ ) ένα δείγμα ζευγών παρατηρήσεων από μια διδιάστατη κατανομή F X,Y και έστω ότι επιθυμούμε με βάση το δείγμα αυτό να ελέγξουμε αν υπάρχει εξάρτηση μεταξύ των Χ, Υ, δηλαδή αν F X,Y F X F Y. Για το σκοπό αυτό μπορούμε να χρησιμοποιήσουμε ένα απαραμετρικό κριτήριο, το Spearan s ran correlaton test. Η εφαρμογή αυτού του τεστ δεν προϋποθέτει κάποια παραδοχή σχετικά με την F X,Y (π.χ. κανονική). Υπενθυμίζεται ότι σύμφωνα με αυτό το τεστ α- πορρίπτουμε ότι τα Χ, Υ είναι ανεξάρτητα όταν ο συντελεστής συσχέτισης των βαθμών (rans) των παρατηρήσεων είναι «μακριά» από το. Πιο συγκεκριμένα, έστω R, R,..., R και Q, Q,..., Q οι βαθμοί (rans) που αντιστοιχούν στα Χ,Χ,...,Χ και Υ,Υ,...,Υ (ο βαθμός R του Χ είναι ίσος με ή ή... ή αν το Χ είναι αντίστοιχα το μικρότερο ή το δεύτερο μικρότερο ή... ή το μεγαλύτερο από τα Χ,Χ,...,Χ n - το ανάλογο ισχύει και για τον βαθμό Q του Υ ) και r S = ( = = ( R R)( Q R R) = Q ) ( Q Q ) = = R = R R Q RQ = Q Q ο (δειγματικός) συντελεστής συσχέτισης των R, Q (συντελεστής συσχέτισης του Spearan). Επιπλέον, υποθέτουμε ότι η F X,Y είναι συνεχής και επομένως δεν υπάρχουν ίσες παρατηρήσεις («tes» ή «δεσμοί») με πιθ.. Σε αυτή την περίπτωση αποδεικνύεται εύκολα ότι S. r 6 ( ) = = R Q ( ) Η υπόθεση Η : F X,Y = F X F Y (Χ,Υ ανεξάρτητα) θα απορρίπτεται όταν το r S είναι μεγαλύτερο από μια κρίσιμη τιμή c (η οποία εξαρτάται από το ). Boutsas M.V. (4) Σημειώσεις μαθήματος «Μέθοδοι Προσομοίωσης και Στατιστικές Υπολογιστικές Τεχνικές» 6

20 () Να κατασκευασθεί (μέσω προσομοίωσης) ένας πίνακας που δίνει (προσεγγιστικά) τις κρίσιμες τιμές c του τεστ αυτού για =,,, 3, ώστε το επίπεδο σημαντικότητας του ελέγχου (σφάλμα τύπου I) να είναι 5% και %. () Αν ληφθεί δείγμα (Χ,Υ ), (Χ,Υ ),..., (Χ,Υ ) με = 5 και βρεθεί ότι r S =.55, ποιο είναι (προσεγγιστικά) το αντίστοιχο p-value (αμφίπλευρος έλεγχος); () Αν η εναλλακτική υπόθεση είναι Η : οι παρατηρήσεις (Χ,Υ ) προέρχονται από την διδιάστατη κανονική με E(X ) =, V(X ) =, ρ(χ,y ) =.3, ποια είναι η ισχύς του ελέγχου; 4. Δώστε μία προσεγγιστική τιμή για το p-value της υπόθεσης ότι οι αριθμοί.,.8,.6,.33,.7,.83,.36,.7,.77,.74. προέρχονται από την ομοιόμορφη στο (,) κατανομή. 5. Δώστε μία προσεγγιστική τιμή για το p-value της υπόθεσης ότι οι αριθμοί 64, 4,, 53, 3, 5, 74, 88, 78, 84, 58, 6, 3, 8. προέρχονται από την ομοιόμορφη στο (5,) κατανομή. 6. Δώστε μία προσεγγιστική τιμή για το p-value της υπόθεσης ότι οι αριθμοί 86, 33, 75,,, 44, 78,, 8, 46, 33, 4, 99. προέρχονται από την εκθετική κατανομή με μέση τιμή Δώστε μία προσεγγιστική τιμή για το p-value της υπόθεσης ότι οι αριθμοί 6, 7, 3, 4, 7, 3, 7,, 6, 3, 7, 8,,, 3, 5, 8, 7. προέρχονται από την διωνυμική κατανομή με παραμέτρους (8, p) ( p : άγνωστο). 8. Δώστε μία προσεγγιστική τιμή για το p-value της υπόθεσης ότι οι αριθμοί, 33, 6, 8, 35, 6. προέρχονται από την εκθετική κατανομή. 9. Έστω το γραμμικό μοντέλο Υ = a + bx + ε, =,,,n. Αν x =, =,,,n με n =, a =, b =.5 και ε ~ Ν(,), να προσεγγίσετε τη μορφή της σ.π.π. της εκτιμήτριας ελαχίστων τετραγώνων του b (μέσω ιστογράμματος προσομοιωμένων τιμών) και να την συγκρίνετε με την ακριβή σ.π.π. που προβλέπεται από τη θεωρία. Να προσεγγίσετε και πάλι τη μορφή της σ.π.π. της εκτιμήτριας ελαχίστων τετραγώνων του b θεωρώντας τώρα ότι η κατανομή των ε είναι η ομοιόμορφη στο ( 3, 3 ) (ώστε και πάλι Ε(ε )=, V(ε )=). Boutsas M.V. (4) Σημειώσεις μαθήματος «Μέθοδοι Προσομοίωσης και Στατιστικές Υπολογιστικές Τεχνικές» 63