f x x

Transcript

1 ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΔΙΑΤΜΗΜΑΤΙΚΟ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ «ΜΑΘΗΜΑΤΙΚΑ ΤΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΚΑΙ ΤΩΝ ΑΠΟΦΑΣΕΩΝ» Ένας έλεγχος καλής προσαρμογής για συνεχείς διδιάστατες κατανομές f x x Αλεξόπουλος Ανδρέας Α.Μ. 33 Τμήμα Μαθηματικών Πανεπιστήμιο Πατρών Σεπτέμβριος 007

2 Η παρούσα Διπλωματική Εργασία εκπονήθηκε στα πλαίσια του Διατμηματικού Πρόγραμματος Μεταπτυχιακών Σπουδών «Μαθηματικά των Υπολογιστών και των Αποφάσεων» με μέλη της τριμελούς εξεταστικής επιτροπής τους: Σ. Κουρούκλη Καθηγητή Τμήμα Μαθηματικών Πανεπιστήμιο Πατρών Φ. Αλεβίζο Επίκουρο Καθηγητή Τμήμα Μαθηματικών Πανεπιστήμιο Πατρών Β. Πιπερίγκου (Επιβλέπουσα) Λέκτορα Τμήμα Μαθηματικών Πανεπιστήμιο Πατρών τους οποίους και ιδιαιτέρως ευχαριστώ.

3 ΕΙΣΑΓΩΓΗ...3 ΚΕΦΑΛΑΙΟ : ΕΙΣΑΓΩΓΙΚΕΣ ΕΝΝΟΙΕΣ...5. Εισαγωγή...5. Βασικοί ορισμοί από τη θεωρία πιθανοτήτων Η τυχαία μεταβλητή Η συνάρτηση κατανομής Η συνάρτηση πυκνότητας Η διδιάστατη αθροιστική συνάρτηση κατανομής Οι περιθώριες συναρτήσεις κατανομής Η διδιάστατη αθροιστική συνάρτηση κατανομής Οι περιθώριες συναρτήσεις πυκνότητας Η δεσμευμένη συνάρτηση πυκνότητας Η δεσμευμένη αθροιστική συνάρτηση κατανομής Βασικοί ορισμοί από τη θεωρία ελέγχων Ορισμοί Παραμετρικοί έλεγχοι Μη παραμετρικοί έλεγχοι....4 Θεωρήματα Το θεώρημα του Roseblatt Η ανισότητα Boferroi Προσομοιώσεις τυχαίων δειγμάτων Η μέθοδος της αντιστροφής...5 ΚΕΦΑΛΑΙΟ : Ο ΠΟΛΥΔΙΑΣΤΑΤΟΣ ΕΛΕΓΧΟΣ KOLMOGOROV-SMIRNOV...7. Εισαγωγή...7. Το πολυδιάστατο κριτήριο των Kolmogorov-Smirov Ένας αλγόριθμος για τον υπολογισμό του διδιάστατου κριτηρίου των Kolmogorov- Smirov....4 Η ισχύς των στατιστικών D και...6 D.5 Συμπεράσματα...3 ΚΕΦΑΛΑΙΟ 3: ΤΟ ΚΡΙΤΗΡΙΟ Α ΤΟΥ DAMICO Εισαγωγή Το κριτήριο Α Ορισμός του κριτηρίου Παράδειγμα προς κατανόηση του ορισμού Οι πίνακες με τις τιμές της κατανομής του Α Επέκταση του κριτηρίου στην περίπτωση των δειγμάτων Ορισμός Παράδειγμα Η ισχύς του κριτηρίου Α Εύρεση της ισχύος με προσομοίωση Συμπεράσματα...57 ΚΕΦΑΛΑΙΟ 4: ΕΝΑΣ ΝΕΟΣ ΕΛΕΓΧΟΣ ΚΑΛΗΣ ΠΡΟΣΑΜΟΓΗΣ ΓΙΑ ΣΥΝΕΧΕΙΣ ΔΙΔΙΑΣΤΑΤΕΣ ΚΑΤΑΝΟΜΕΣ Εισαγωγή Ένα νέο κριτήριο για συνεχείς διδιάστατες κατανομές Ορισμός του κριτηρίου Παράδειγμα προς κατανόηση του ορισμού Οι πίνακες με τις τιμές της κατανομής του Α Προσεγγιστικός υπολογισμός της συνάρτησης πιθανότητας...78

4 4.5 Η ισχύς του κριτηρίου Α Επέκταση του κριτηρίου στις k διαστάσεις Ο έλεγχος κανονικότητας στις τρεις διαστάσεις Οι πίνακες με τις τιμές της κατανομής του Α ΒΙΒΛΙΟΓΡΑΦΙΑ...94 ΠΑΡΑΡΤΗΜΑ...95

5 Εισαγωγή 3 ΕΙΣΑΓΩΓΗ Ένα πλήθος ελέγχων καλής προσαρμογής έχουν αναπτυχθεί για τις μονοδιάστατες κατανομές. Ωστόσο, στη βιβλιογραφία λίγες αναφορές βρίσκει κανείς (D'Agostio, R.B., Stephes, M.A., 986) για ελέγχους σε πολυδιάστατες κατανομές, εκτός από την περίπτωση της πολυδιάστατης κανονικής. Γενικά, ο Χ έλεγχος καλής προσαρμογής μπορεί να εφαρμοστεί για κάθε έλεγχο πολυδιάστατης κατανομής, αλλά είναι άγνωστο ποιος είναι ο καλύτερος τρόπος επιλογής των ορίων των κελιών που πρέπει να χρησιμοποιηθεί. Μια άλλη κατηγορία ελέγχων καλής προσαρμογής βασίζονται στην εμπειρική συνάρτηση κατανομές του τυχαίου δείγματος. Σε αυτή συμπεριλαμβάνονται τα κριτήρια των Kolomogorov-Smirov και αυτά των Cramer-vo Mises. Ωστόσο, η επέκτασή τους σε k διαστάσεις δυσχεραίνεται διότι η συνάρτηση πυκνότητας αυτών των κριτηρίων δεν είναι μη παραμετρικοί όπως στη μονοδιάστατη περίπτωση. Στη παρούσα διπλωματική εργασία εξετάζουμε απλά κριτήρια καλής προσαρμογής για μονοδιάστατες συνεχείς κατανομές και τις επεκτάσεις αυτών σε αντίστοιχα εύχρηστα κριτήρια για ελέγχους σε διδιάστατες συνεχείς κατανομές. Στο Κεφάλαιο υπενθυμίζονται κάποιες θεωρητικές έννοιες από την θεωρία πιθανοτήτων και την θεωρία ελεγχοσυναρτήσεων. Παρουσιάζεται το θεώρημα του Roseblatt (95), που προτείνει έναν απλό μετασχηματισμό μιας απόλυτα συνεχούς k -διάστατης κατανομής σε ομοιόμορφη κατανομή στον k -διάστατο υπερκύβο και τον χρησιμοποιεί για την κατασκευή Χ έλεγχου καλής προσαρμογής για πολυδιάστατες κατανομές, καθώς επίσης και η ελεγχοσυνάρτηση Kolmogorov-Smirov. Στο Κεφάλαιο, παρουσιάζεται η επέκταση του στατιστικού των Kolmogorov-Smirov στη διδιάστατη περίπτωση, όπως προτάθηκε από τους Justel, Pea & Zamar (997), οι οποίοι χρησιμοποίησαν το μετασχηματισμό του Roseblatt για την επέκταση του ελέγχου Kolomogorov-Smirov στις k διαστάσεις. Για την περίπτωση k = δίνουν έναν αλγόριθμο υπολογισμού του, όμως, για k > ο υπολογισμός αυτός γίνεται αρκετά πολύπλοκος, και έτσι προτείνουν μια εύκολα εφαρμόσιμη προσέγγισή του.

6 Εισαγωγή 4 Ένα εναλλακτικό κριτήριο για μονοδιάστατες συνεχείς κατανομές που προτάθηκε από τον Damico (004), παρουσιάζεται αναλυτικά στο Κεφάλαιο 3. Για τον υπολογισμό του δεν χρησιμοποιείται η εμπειρική συνάρτηση κατανομής και έχει έναν απλό τύπο υπολογισμού. Αναπαράγονται οι πίνακες της συνάρτησης κατανομής και των ποσοστιαίων σημείων του κριτηρίου, με μεθόδους προσομοίωσης. Γίνεται, επίσης, η σύγκριση της ισχύος του κριτηρίου με άλλα γνωστά μονοδιάστατα κριτήρια. Στο Κεφάλαιο 4 εισάγεται ένα νέο κριτήριο για έλεγχο καλής προσαρμογής σε διδιάστατες συνεχείς κατανομές. Για τον ορισμό του χρησιμοποιείται ο μετασχηματισμός του Roseblatt και το κριτήριο του Damico για μονοδιάστατες κατανομές. Ο ορισμός του νέου αυτού κριτηρίου διασαφηνίζεται με παραδείγματα που παρουσιάζονται αναλυτικά. Δίνονται πίνακες με τα ποσοστιαία σημεία για διάφορα μεγέθη δείγματος, καθώς και πίνακες που συγκρίνουν την ισχύ αυτού του ελέγχου με τον διδιάστατο Kolmogorov-Smirov. Πλεονέκτημα του θεωρείται ο ευκολότερος τρόπος υπολογισμού του, συγκριτικά με τους διδιάστατους απαραμετρικούς ελέγχους που έχουν προταθεί μέχρι τώρα, καθώς και η ικανοποιητική του ισχύς. Παρουσιάζεται, επίσης η γενίκευση του κριτηρίου αυτού στις k διαστάσεις.

7 ΚΕΦΑΛΑΙΟ : Εισαγωγικές έννοιες 5 ΚΕΦΑΛΑΙΟ : ΕΙΣΑΓΩΓΙΚΕΣ ΕΝΝΟΙΕΣ. Εισαγωγή Στο Κεφάλαιο παρουσιάζονται ορισμοί και θεωρήματα από την θεωρία πιθανοτήτων (Hoel Ρ., Port S., Stoe C., 005) και υπενθυμίζονται βασικές έννοιες από τη θεωρία ελεγχοσυναρτήσεων (Ρούσσα Γ.Γ., 99). Επιπλέον, παρουσιάζεται το θεώρημα του Roseblatt για το μετασχηματισμό k-διάστατης κατανομής σε ομοιόμορφη k-διάστατο υπερκύβο (Roseblatt, 95).. Βασικοί ορισμοί από τη θεωρία πιθανοτήτων.. Η τυχαία μεταβλητή Έστω (Ω,, P) όπου, Ω είναι ο δειγματικός Χώρος, P μια συνάρτηση πιθανότητας και μια σ-άλγεβρα στον Ω. Τότε μια συνάρτηση X : Ω ονομάζεται τυχαία μεταβλητή (τ.μ.), εάν Β={ω Ω : Χ(ω) x}, x.. Η συνάρτηση κατανομής Η συνάρτηση κατανομής F(x) (αναφέρεται και ως αθροιστική συνάρτηση κατανομής) περιγράφει την πιθανότητα να πάρει η μεταβλητή Χ τιμές μικρότερες ή ίσες από έναν αριθμό x. Δηλαδή: F( x) = P( X x) Η συνάρτηση κατανομής έχει τις ακόλουθες ιδιότητες:. 0 F( x).. F ( x ) F ( x ) για κάθε ζεύγος x τέτοιο ώστε x 3. Η F (x) είναι δεξιά συνεχής. ( ) ( ) 4. lim F x = F = 0. x 5. F( x) F( ) lim = + = x + 6. F( b) F( a) = P( a< x b ), x x <.

8 ΚΕΦΑΛΑΙΟ : Εισαγωγικές έννοιες 6..3 Η συνάρτηση πυκνότητας Έστω X μια τυχαία μεταβλητή, με συνάρτηση κατανομής F (x), τότε η τ.μ. X καλείται συνεχής, εάν υπάρχει μια συνάρτηση f (x) τέτοια ώστε : x F ) ( x) = P( X x) = f ( t dt, < x < Η συνάρτηση f (x) ονομάζεται συνάρτηση πυκνότητας της τ.μ. Χ. Σε αυτή την περίπτωση η F (x) είναι συνεχής και ισχύει f x) = F' ( x) = limδx ( 0 P( x < X Δx x + Δx) για κάθε σημείο συνέχειας της f (x) ( δηλαδή σχεδόν παντού). Η συνάρτηση πυκνότητας f (x) έχει τις ακόλουθες ιδιότητες:. f ( x) 0 +. f ( x) dx =. 3. ( ) = b P a x b f x 4. P( x= a) = 0 a ( )..4 Η διδιάστατη αθροιστική συνάρτηση κατανομής Έστω X, Y εξαρτημένες τ.μ., τότε ως από κοινού αθροιστική συνάρτηση κατανομής της διδιάστατης τ.μ. ( X, Y ) ορίζεται η συνάρτηση : F( x, y) P( X x, Y y) =, όπου < x < + και < y < + Κάθε διδιάστατη αθροιστική συνάρτηση κατανομής έχει τις ακόλουθες ιδιότητες :. F(, y) = lim F( x, y) = 0 x F( x, ) = lim F( x, y) = 0 y y (, ) x (, )

9 ΚΕΦΑΛΑΙΟ : Εισαγωγικές έννοιες 7 F(, ) = lim F( x, y) = x y F(, ) = lim F( x, y) = 0 x y. Αν x < x και y < y, τότε: P( x F( x < X, y x, y ) F( x < Y y, y ) F( x ) =, y ) + F( x, y ) 0 F είναι δεξιά συνεχής ως προς x και ως προς y : 3. Η ( x, y) lim F( x, y 0 ) = lim F( x0, y) = F( x0, y 0 ). x x 0 y y 0 Η ιδιότητα () μας λέει ότι η πιθανότητα να βρίσκεται η τυχαία μεταβλητή ( X, Y ) σε ένα ορθογώνιο είναι μη αρνητική...5 Οι περιθώριες συναρτήσεις κατανομής Οι περιθώριες συναρτήσεις κατανομής της διδιάστατης αθροιστικής συνάρτησης κατανομής F ( x, y) θα είναι οι ακόλουθες: F F ( x) = lim F( x, y) = F( x, ) X για < < + y Y ( y) = lim F( x, y) = F(, y) x x και για < < + y...6 Η διδιάστατη αθροιστική συνάρτηση κατανομής Η διδιάστατη τυχαία μεταβλητή ( X, Y ) είναι συνεχής ή η διδιάστατη αθροιστική συνάρτηση κατανομής ( x, y) ώστε : x y F είναι συνεχής, αν υπάρχει συνάρτηση ( x, y) F ( x, y) = f ( t, s) dsdt x, y R f τέτοια Η συνάρτηση f ( x, y) λέγεται από κοινού συνάρτηση πυκνότητας των τυχαίων μεταβλητών X, Y και δίνεται από τον ακόλουθο τύπο:

10 ΚΕΦΑΛΑΙΟ : Εισαγωγικές έννοιες 8 f ( x, y) = F( x, y) x y f ( x y (σχεδόν παντού) για όλα τα σημεία συνέχειας της, ) Επειδή η διδιάστατη αθροιστική συνάρτηση κατανομής F ( x, y) είναι αύξουσα ως προς κάθε μεταβλητή και επειδή F (, ) =, τότε ισχύουν οι ακόλουθες ιδιότητες: f ( x y x (, + ) και y (, + )., ) f ( x, y) dxdy =..7 Οι περιθώριες συναρτήσεις πυκνότητας Λαμβάνοντας υπόψη την από κοινού συνάρτηση πυκνότητας, f ( x, y) των τυχαίων μεταβλητών X, Y, οι περιθώριες συναρτήσεις πυκνότητας θα δίνονται από τους ακόλουθους τύπους: f X f Y ( x) = f ( x, y) dy για < x < και ( y) = f ( x, y) dx για < y <...8 Η δεσμευμένη συνάρτηση πυκνότητας Αν η διδιάστατη τυχαία μεταβλητή ( X, Y ) είναι συνεχής, με από κοινού συνάρτηση πυκνότητας f X, Y ( x, y), τότε η f X Y ( x y) = f X, Y f Y ( x, y) ( y)

11 ΚΕΦΑΛΑΙΟ : Εισαγωγικές έννοιες 9 όπου < < + x και ( y) > 0, λέγεται δεσμευμένη συνάρτηση πυκνότητας της τυχαίας μεταβλητής X όταν fy X f Y Ομοίως, ορίζεται και η. Y = y. Αν ( y) = 0 ( y x) f Y ( x y) f Y, τότε η δεν ορίζεται. X..9 Η δεσμευμένη αθροιστική συνάρτηση κατανομής Η συνάρτηση F X Y x ( x y) = f X Y ( s y) ds = x f ( s, y) ds f Y ( y) = F ( x, y) F(, y) / y y (.7) λέγεται δεσμευμένη αθροιστική συνάρτηση κατανομής της τυχαίας μεταβλητής Y = y. X όταν.3 Βασικοί ορισμοί από τη θεωρία ελέγχων.3.. Ορισμοί.3.. Η στατιστική υπόθεση Ο καθορισμός ενός υποσυνόλου ω του παραμετρικού χώρου Ω, ως ενός υποσυνόλου που περιέχει την αληθινή τιμή θ, ονομάζεται στατιστική υπόθεση του θ και συνήθως συμβολίζεται ως Η0. Επίσης, ο καθορισμός του συνόλου ω c (συμπληρώματος του ω σε σχέση με το Ω) ως του υποσυνόλου που περιέχει την αληθινή τιμή του θ, αποτελεί μία στατιστική υπόθεση. Αυτή συνήθως συμβολίζεται με Η και ονομάζεται εναλλακτική ως προς την υπόθεση Η 0. Συμβολικά, γράφουμε: Η 0 : θ ω (η αληθινή τιμή του θ υπάρχει στο ω) Η : θ ω (η αληθινή τιμή του θ υπάρχει στο ω c ) Η υπόθεση Η 0 καλείται επίσης και μηδενική υπόθεση. Επιπλέον, αν η Η 0 λέγεται απλή, αν το ω περιέχει μόνο ένα σημείο και σύνθετη, αν περιέχει περισσότερα σημεία.

12 ΚΕΦΑΛΑΙΟ : Εισαγωγικές έννοιες Η ελεγχοσυνάρτηση Μια τυχαιοποιημένη ελεγχοσυνάρτηση φ για τον έλεγχο της υποθέσεως Η 0 : θ ω, έναντι της εναλλακτικής Η : θ ω c, είναι μία (μετρήσιμη) συνάρτηση φ: [0,], όπου φ(x) παριστάνει τη δεσμευμένη πιθανότητα με την οποία η υπόθεση Η0 απορρίπτεται, δοθέντος ότι X=x. (Δηλαδή, με δεδομένη την παρατηρημένη τιμή x του τ.δ. X, ο ερευνητής περιστρέφει ένα νόμισμα για το οποίο το γεγονός {Η0} έχει πιθανότητα φ(x). Τότε, αν εμφανιστεί το γεγονός {Κορώνα}, η υπόθεση απορρίπτεται, γίνεται όμως δεκτή αν το γεγονός {Γράμματα} εμφανιστεί). Αν η φ μπορεί να πάρει μόνο τις τιμές 0 και, τότε λέγεται μη τυχαιοποιημένη ελεγχοσυνάρτηση και γράφουμε:, x B φ(x) = 0, x B c όπου Β είναι ένα σύνολο Borel στο χώρο και ονομάζεται περιοχή απόρριψης (της Η0) ή κρίσιμη περιοχή. Το σύνολο Β c ονομάζεται περιοχή αποδοχής (της Η ) Τα σφάλματα και η ισχύς ενός ελέγχου Έστω, ότι φ είναι η ελεγχοσυνάρτηση για την έλεγχο της υπόθεσης Η 0 : θ ω, έναντι της εναλλακτικής Η : θ ω c, Είναι προφανές ότι κατά τον έλεγχο της υπόθεσης Η 0, μπορεί να γίνει ένα από τα δύο παρακάτω σφάλματα: ) Να απορριφθεί η Η 0, ενώ είναι αληθινή. Αυτό ονομάζεται σφάλμα τύπου Ι ) Να γίνει αποδεκτή η Η 0, ενώ είναι λανθασμένη. Αυτό ονομάζεται σφάλμα τύπου ΙΙ Τα σφάλματα αυτά μετρώνται με πιθανότητες και αποτελούν βάση για αποδοχή ή απόρριψη μιας υπόθεσης. Έστω ότι β (θ)=p (απόρριψη της Η0), θ Ω. Τότε, με θ ω, η ποσότητα φ θ β (θ) είναι η πιθανότητα απόρριψης της Η0, όταν αυτή είναι αληθινή, και ονομάζεται φ πιθανότητα σφάλματος τύπου Ι. Όταν θ ω c, η ποσότητα -β (θ)=p (αποδοχή της Η0) φ θ

13 ΚΕΦΑΛΑΙΟ : Εισαγωγικές έννοιες είναι η πιθανότητα αποδοχής της Η 0, όταν αυτή είναι λανθασμένη, και ονομάζεται πιθανότητα σφάλματος τύπου ΙΙ. Η συνάρτηση β φ με πεδίο ορισμού το ω c ονομάζεται ισχύς της ελεγχοσυνάρτησης φ, ενώ τη τιμή β (θ) ονομάζεται ισχύς της ελεγχοσυνάρτησης στο φ σημείο θ..3.. Παραμετρικοί έλεγχοι Η βασική ιδέα των διαφόρων προβλημάτων ελέγχου υποθέσεων είναι η εξής: Δίνεται ένα τυχαίο δείγμα μεγέθους που προέρχεται από μια συνάρτηση πυκνότητας γνωστής συναρτησιακής μορφής και εξαρτάται από μια r-διάστατη (άγνωστη παράμετρο), η οποία παίρνει τιμές σε έναν παραμετρικό χώρο Ω. Με βάση το τυχαίο δείγμα επιδιώκεται η κατασκευή μιας κατάλληλης ελεγχοσυνάρτησης για τον έλεγχο της υπόθεσης ότι η εν λόγω παράμετρος βρίσκεται σε κάποιο ορισμένο υποσύνολο του παραμετρικού χώρου Ω. Οι έλεγχοι αυτοί καλούνται παραμετρικοί έλεγχοι Μη παραμετρικοί έλεγχοι Ας υποθέσουμε ότι δίνεται ένα τυχαίο δείγμα μεγέθους που προέρχεται από μια συνάρτηση κατανομής F, για την οποία δεν δεχόμαστε ορισμένη συναρτησιακή μορφή. Με βάση αυτό το τυχαίο δείγμα και υπό ορισμένες συνθήκες κανονικότητας, ελέγχονται διάφορες υποθέσεις για την συνάρτηση κατανομής F. Από το γεγονός ότι δεν καθορίζεται ορισμένη συναρτησιακή μορφή για την συνάρτηση κατανομής F, οι σχετικές υποθέσεις ονομάζονται μη παραμετρικές και οι αντίστοιχοι έλεγχοι μη παραμετρικοί. Τέτοιοι έλεγχοι είναι οι έλεγχοι Kolmogorov-Smirov, Cramer-vo Mises, Kuiper, Watso και Aderso- Darlig Ο Χ έλεγχος καλής προσαρμογής Το πρόβλημα καλής προσαρμογής είναι το ακόλουθο: Δοθέντος τυχαίου δείγματος Χ, Χ,, Χ, να ελεγχθεί η υπόθεση Η 0 : το δείγμα προέρχεται από πληθυσμό με συνάρτηση κατανομής F(x). Ο «κλασσικός» έλεγχος που γίνεται για την επίλυση αυτού του προβλήματος είναι ο X -έλεγχος, ο οποίος έχει κάποια, σημαντικά πλεονεκτήματα: ) είναι καλά προσαρμοσμένος σε περιπτώσεις που η F(x) είναι μη συνεχής, για παράδειγμα σε διακριτές κατανομές, και ) είναι γνωστό (τουλάχιστον με καλή προσέγγιση) πως να προσαρμοστεί το στατιστικό στις περιπτώσεις που οι παράμετροι της F(x) πρέπει να εκτιμηθούν από το δείγμα.

14 ΚΕΦΑΛΑΙΟ : Εισαγωγικές έννοιες.3.3. Έλεγχος ότι δυο δείγματα προέρχονται από την ίδια κατανομή Το πρόβλημα ελέγχου δύο δειγμάτων ότι προέρχονται από την ίδια κατανομή είναι το ακόλουθο: Έστω ένα τυχαίο δείγμα μεγέθους m: Χ, Χ,, Χ m, από κατανομή με α.σ.κ. F(x) και έστω Υ, Υ,, Υ ένα άλλο τυχαίο δείγμα μεγέθους από κατανομή με α.σ.κ. G(y). Η προς έλεγχο υπόθεση είναι Η 0 : οι δύο συναρτήσεις κατανομών είναι ίσες F(x)=G(y). Και σε αυτή την περίπτωση ο X -έλεγχος θεωρείται αρκετά αποτελεσματικός, αλλά και οι άλλοι μη παραμετρικοί έλεγχοι που έχουν αναπτυχθεί θεωρούνται εξίσου αποτελεσματικοί Έλεγχος Kolmogorov-Smirov Δίνεται τυχαίο δείγμα παρατηρήσεων. Οι αυτές παρατηρήσεις διατάσσονται κατά αύξουσα σειρά και λαμβάνονται οι εξής παρατηρήσεις: Χ () <Χ () <...Χ (). Θεωρούμε την παρακάτω εμπειρική συνάρτηση κατανομής: ( ) = #παρατηρησεων x F x ή 0 x< X() i F ( x) = X x< X X( ) x () ( + ) i i F F Σχήμα : Σύγκριση της εμπειρικής συνάρτησης F με τη θεωρητική F. Η F (x) είναι μια κλιμακωτή συνάρτηση και συγκρίνεται με την συνάρτηση F(x) που αντιστοιχεί στη μηδενική υπόθεση. Ο έλεγχος είναι αναλλοίωτος κάτω από τον μετασχηματισμό της τυχαίας μεταβλητής χρησιμοποιώντας το μετασχηματισμό του

15 ΚΕΦΑΛΑΙΟ : Εισαγωγικές έννοιες 3 ολοκληρώματος πιθανότητας. Εξαιτίας αυτού του χαρακτηριστικού, μπορούμε να μετασχηματίσουμε την αρχική κατανομή σε ομοιόμορφη. Εάν η τυχαία μεταβλητή Χ είναι συνεχής, ο μετασχηματισμός του ολοκληρώματος πιθανότητας Z = F( X ), μετασχηματίζει μια γενική συνάρτηση πυκνότητας f ( x ) του Χ σε ομοιόμορφη κατανομή f *( z) του Ζ. f *( z) =, 0 z F*( z) = z Το χαρακτηριστικό αυτού του μετασχηματισμού είναι ότι η νέα εμπειρική συνάρτηση κατανομής του Ζ, η F*( z) είναι εξαιρετικά απλή και ότι διατηρεί τις τιμές της κατανομής του ελέγχου. Είναι εύκολα αντιληπτό ότι: F ( x) F( x) = F *( z) z Θεωρούμε τις αποστάσεις: { x } D = sup F ( x) F( ) + { x } D = sup F( x) F ( ) x x D + είναι η μέγιστη θετική απόσταση της F (x) από την F(x), ενώ D - είναι η μέγιστη αρνητική απόσταση αυτών των κατανομών. Ο Kolmogorov πρότεινε, για το στατιστικό του ελέγχου, να χρησιμοποιηθεί η μέγιστη απόλυτη διαφορά: { } D = sup F ( x) F( x ) ή D = max { D, D } x + Αυτό το στατιστικό παραμένει αναλλοίωτο με το μετασχηματισμό.

16 ΚΕΦΑΛΑΙΟ : Εισαγωγικές έννοιες 4.4 Θεωρήματα Σε αυτή τη παράγραφο θα αναφερθούν κάποια βασικά θεωρήματα που χρησιμοποιούνται και είναι βασικά στην ανάπτυξη της θεωρίας που παρουσιάζεται στη παρούσα εργασία..4. Το θεώρημα του Roseblatt Το θεώρημα που διατύπωσε ο Μ. Roseblatt (957) αφορά έναν απλό μετασχηματισμό μιας απόλυτα συνεχούς k-διάστατης κατανομής F(x,,x k ) σε ομοιόμορφη κατανομή στον k- διάστατο υπερκύβο. Θεώρημα: Έστω X=(X,,X k ) ένα τυχαίο διάνυσμα με συνάρτηση κατανομής F(x,,x k ) και έστω ο μετασχηματισμός μετασχηματισμός και δίνεται από: { } F( ) { } F ( ) Z = P X X = X Z = P X X X = X = X X z = ( z,..., z ) = Tx= T( x,..., x ), όπου Τ είναι ο θεωρούμενος { } ( k k Z = P X X X = X,..., X = X = F X X,..., X k k k k k k k ) Τότε, το τυχαίο διάνυσμα Ζ=ΤΧ έχει ομοιόμορφη k-διάστατη κατανομή και οι Ζ i είναι ανεξάρτητες μεταξύ τους. Απόδειξη: Προφανώς οι Ζ i ακολουθούν η κάθε μια ομοιόμορφη κατανομή, αφού προέρχονται από τον μετασχηματισμό της αθροιστικής συνάρτησης κατανομής. Μένει να αποδειχθεί ότι είναι και ανεξάρτητες. Αυτό θα γίνει αποδεικνύοντας ότι η από κοινού συνάρτηση κατανομής ισούται με το γινόμενο των περιθώριων συναρτήσεων κατανομής. Έτσι:

17 ΚΕΦΑΛΑΙΟ : Εισαγωγικές έννοιες 5 ( ) P Z z,..., Z z = f ( x,..., x ) dx dx... dx = k k k { } { } { x : F( x ) z } { x : F( x x,... x ) z )} { x : F( x x,... x ) z )} x: F( x) z xi: F( xi x,... xi ) zi) xk: F( xk x,... xk ) zk) i i i i k k k k f( x x,... x ) f( x x,... x )... { } k k k k =... f( x x ) f( x ) dx dx... dx = k k = x: F( x) z { xi: F( xi x,... xi ) zi) } xk: F( xk x,... xk ) zk) { } { } df( x x,... x ) df( x x,... x )... k k k k... df( x x ) df( x ) = = z z zk zk dz dz... dz dz = z z... z z k k k k Το οποίο είναι το ζητούμενο..4. Η ανισότητα Boferroi Έστω P(E i ) η πιθανότητα το ενδεχόμενο E i να είναι αληθές και ( i= i) τουλάχιστον ένα από τα E, E,..., E είναι αληθές, τότε: P E P E ( i= i) ( i) i= P E η πιθανότητα ότι Εάν τα E i και E j είναι ξένα μεταξύ τους για όλα τα i και j, τότε η ανισότητα γίνεται ισότητα. Αυτό το θεώρημα εκφράζει τη σχέση ανάμεσα στη πιθανότητα της ένωσης και της πιθανότητας των μεμονωμένων γεγονότων..5. Προσομοιώσεις τυχαίων δειγμάτων.5.. Η μέθοδος της αντιστροφής Η αντιστροφή είναι μια γενική μέθοδος παραγωγής τυχαίων δειγμάτων η οποία χρησιμοποιεί το γεγονός ότι, εάν η τ.μ. U ακολουθεί ομοιόμορφη κατανομή στο (0,), ο μετασχηματισμός X=F (U) και δίνει μια τυχαία μεταβλητή Χ με συνάρτηση κατανομής F, υπό την προϋπόθεση ότι υπάρχει αντίστροφη συνάρτηση F. Αυτό είναι μια απλή συνέπεια του τύπου της αλλαγής μεταβλητών, με g(u)= F (U). Εφόσον g (x)=f (x), η πυκνότητα της Χ

18 ΚΕΦΑΛΑΙΟ : Εισαγωγικές έννοιες 6 d F x = f x το οποίο είναι η πυκνότητα πιθανότητας που αντιστοιχεί στη dx γίνεται ( ) ( ) συνάρτηση F. Η μέθοδος διασαφηνίζεται στο γράφημα που ακολουθεί. Σχήμα : Γενίκευση μιας μεταβλητής, που προέρχεται από προσομοίωση, από τη συνάρτηση κατανομής από τη μέθοδο της αντιστροφής Στη συνέχεια δίνεται ένα παράδειγμα. Έστω ότι θέλουμε να εφαρμοστεί η διαδικασία στην F x = x. Αυτή προσομοιώνεται από την x = u. συνάρτηση ( ) ( )

19 ΚΕΦΑΛΑΙΟ : Ο Πολυδιάστατος έλεγχος Kolmogorov-Smirov 7 ΚΕΦΑΛΑΙΟ : Ο ΠΟΛΥΔΙΑΣΤΑΤΟΣ ΕΛΕΓΧΟΣ KOLMOGOROV- SMIRNOV. Εισαγωγή Σε αυτό το κεφάλαιο παρουσιάζονται οι δύο πολυδιάστατοι έλεγχοι καλής προσαρμογής που δίνονται από τους Justel, Pea & Zamar (997). Αρχικά, εισάγεται ένας πολυδιάστατος έλεγχος καλής προσαρμογής ο οποίος είναι μη παραμετρικό και ισοδυναμεί στη μονοδιάστατη περίπτωση με τον έλεγχο των Kolomogorov-Smirov. Ο υπολογισμός του προτεινόμενου στατιστικού παρουσιάζει προβλήματα, εξ αιτίας της πολυπλοκότητας των υπολογισμών, αλλά για στη διδιάστατη περίπτωση ο υπολογισμός αυτός απλουστεύεται και δίνεται με τη χρήση ενός αλγορίθμου. Παρουσιάζεται, ακόμα, ένα απλοποιημένο στατιστικό, το οποίο μπορεί να υπολογιστεί εύκολα για κάθε διάσταση. Τέλος, διερευνείται η ισχύς των δυο αυτών ελέγχων, στον έλεγχο της πολυδιάστατης κανονικής κατανομής και της κατανομής Morgester. Η απώλεια της ισχύος του απλοποιημένου στατιστικού φαίνεται να είναι μικρή, λαμβάνοντας υπ όψιν ότι είναι μια πολύ καλή εναλλακτική πρόταση για τους πολυδιάστατους ελέγχους καλής προσαρμογής σε οποιαδήποτε διάσταση.. Το πολυδιάστατο κριτήριο των Kolmogorov-Smirov Δίνεται ένα δείγμα Χ,,Χ από ανεξάρτητες και ισόνομες τυχαίες μεταβλητές με συνάρτηση κατανομής F. Θεωρείστε το πρόβλημα ελέγχου: Η 0 : F=F 0 έναντι H : F F0 Όπου F 0 είναι κάποια συγκεκριμένη συνάρτηση κατανομής. Στη μονοδιάστατη περίπτωση, η Η 0 μπορεί να ελεγχθεί χρησιμοποιώντας το στατιστικό Kolmogorov-Smirov: ( ) ( ) D = sup F x F x x Όπου F είναι η εμπειρική συνάρτηση κατανομής του δείγματος. Επίσης, είναι γνωστό ότι αυτό το στατιστικό είναι μη παραμετρικό (distributio free) και μπορεί να εκφραστεί ως: 0 x ( ) D = sup G u u (.) Όπου G (x) είναι η εμπειρική συνάρτηση κατανομής του ομοιόμορφου στο (0,), μετασχηματισμένου δείγματος U i =F 0 (X i ), για i=,,. Η μη παραμετρική ιδιότητα του στατιστικού Kolmogorov-Smirov απορρέει από το γεγονός ότι κάθε συνεχής τυχαία

20 ΚΕΦΑΛΑΙΟ : Ο Πολυδιάστατος έλεγχος Kolmogorov-Smirov 8 μεταβλητή Χ με συνάρτηση κατανομής F μπορεί να μετασχηματιστεί σε μια ομοιόμορφη τυχαία μεταβλητή Υ από τον μετασχηματισμό Υ=F(X). Ένα παρόμοιο αποτέλεσμα λαμβάνεται για τη συνεχή πολυδιάστατη τυχαία μεταβλητή Χ, όπως αυτό αποδεικνύεται στο ακόλουθο θεώρημα, χάρη στον Roseblatt (95). Θεώρημα. Έστω Χ=(Χ,...,Χ p ) ένα τυχαίο διάνυσμα με από κοινού πυκνότητα (,..., p) = ( ) ( )... p( p,..., p ) f x x f x f x x f x x x και ορίζεται ο μετασχηματισμός Υ=Τ(Χ) με Y = F X ( ) (,..., ) Yi = F Xi X Xi (.) Τότε τα Υ,...Υ p είναι ανεξάρτητες και ισόνομες με ομοιόμορφη κατανομή στο (0,). Η πυκνότητα πιθανότητας του στατιστικού ( x) ( p) sup F F x,..., x p x, όπου F είναι η εμπειρική συνάρτηση κατανομής, δεν είναι μη παραμετρική. Ωστόσο, μπορούμε να χρησιμοποιήσουμε τον μετασχηματισμό που ορίστηκε στο Θεώρημα για να ελέγξουμε εάν y=(y, y ) είναι οι τιμές ενός τυχαίου δείγματος από ομοιόμορφη κατανομή στον p-διάστατο υπερκύβο. Η φυσική επέκταση του στατιστικού (.) στη πολυδιάστατη περίπτωση είναι: ( y) d = sup G y... y y p, (.3) όπου G είναι η εμπειρική συνάρτηση κατανομής του μετασχηματισμένου δείγματος y=t(x). Το στατιστικό που ορίζεται από το (.3) δεν είναι αμετάβλητο επειδή μια αναδιάταξη των στοιχείων του Χ θα έδινε έναν διαφορετικό μετασχηματισμό (.) και, επομένως, μια διαφορετική τιμή του (.3). Μπορούμε να πάρουμε πλεονέκτημα από αυτή την έλλειψη μοναδικότητας με το να κατασκευάσουμε μια πιο ισχυρή διαδικασία, όπως αυτή περιγράφεται στη συνέχεια. Ας ορίσουμε την ακολουθία των μετασχηματισμών: y = F z j j ( ) ( ) j j j j y = F z z,..., z, i =,..., p i i i

21 ΚΕΦΑΛΑΙΟ : Ο Πολυδιάστατος έλεγχος Kolmogorov-Smirov 9 όπου ( j,..., j p ) z z, για j=, p!, είναι η j-οστή μετάθεση των μεταβλητών (x,,x p ). Υπό τη μηδενική υπόθεση είναι: ( ) j j j d = sup G y y... y j y j p και είναι μη παραμετρικό στην κλάση των συνεχών πολυδιάστατων κατανομών. Τα p! στατιστικά j d δεν είναι ανεξάρτητα και αν τα χρησιμοποιήσουμε όλα για να κατασκευάσουμε τον έλεγχο, πέφτουμε στο κλασικό πρόβλημα του πολλαπλού ελέγχου. Ωστόσο, μπορούμε να χρησιμοποιήσουμε την ανισότητα Boferroi για να λάβουμε ένα άνω φράγμα στο συνολικό επίπεδο σημαντικότητας ενός ελέγχου, στον οποίο τα στατιστικά χρησιμοποιούνται με ένα επίπεδο σημαντικότητας α. Συνεπώς, ορίζουμε το πολυδιάστατο στατιστικό Kolmogorov-Smirov ως εξής: j d D j = max d j=,,... (.4) και αν επιθυμούμε να έχουμε ένα συνολικό επίπεδο σημαντικότητας α g, η ανισότητα Boferroi οδηγεί στον έλεγχο καθενός j d με ένα επίπεδο σημαντικότητας α=α g /p!. Το στατιστικό υπολογίζεται διαδοχικά και στην γενική περίπτωση δεν θα είναι αναγκαίο να υπολογιστούν όλοι οι p! μετασχηματισμοί. Η διαδικασία είναι να ελεγχθούν ένα προς ένα όλα τα μετασχηματισμένα δείγματα, συγκρίνοντας τα στατιστικά Kolmogorov-Smirov με τα ποσοστιαία σημεία της κατανομής του D. Η μηδενική υπόθεση απορρίπτεται όταν ένα από τα στατιστικά είναι μεγαλύτερο από το ποσοστιαίο σημείο. Διαφορετικά, συνεχίζουμε με τον επόμενο μετασχηματισμένη μετάθεση. Δυστυχώς, και αντίθετα από την μονοδιάστατη περίπτωση, ο υπολογισμός των (.3) είναι ιδιαίτερα πολύπλοκος, όπως αυτό αποδεικνύεται στην επόμενη παράγραφο, στην οποία παρουσιάζουμε έναν αλγόριθμο για την περίπτωση p=. Παρ όλο που ο αλγόριθμος αυτός μπορεί να επεκταθεί και στην περίπτωση p>, εμφανίζονται πολλές δυσκολίες στους υπολογισμούς. Μια πιο απλή προσέγγιση είναι να κατασκευαστεί ο έλεγχος από το στατιστικό d το οποίο ορίζεται ως το supremum στο σύνολο των μετασχηματισμένων δειγματικών σημείων Α. ( ) j j j d = sup G y y... y j y A Όταν το είναι μεγάλο, τότε j p

22 ΚΕΦΑΛΑΙΟ : Ο Πολυδιάστατος έλεγχος Kolmogorov-Smirov 0 D = max d j=,,... j θα είναι πολύ κοντά στο D, όπως αυτό προκύπτει στα αποτελέσματα που προκύπτουν από τη προσομοίωση στην Παράγραφο Πίνακας Mote-Carlo προσέγγιση των ποσοστιαίων σημείων της κατανομής του διδιάστατου στατιστικού Kolmogorov-Smirov D, με 0000 επαναλήψεις Πίνακας Προσέγγιση των ποσοστιαίων σημείων της προσεγγιστικής κατανομής του διδιάστατου στατιστικού Kolmogorov-Smirov D, με 00 επαναλήψεις Τα ποσοστιαία σημεία των κατανομών D και D μπορούν να υπολογιστούν από προσομοίωση Mote-Carlo, παίρνοντας δείγματα από ανεξάρτητες ομοιόμορφες κατανομές στο (0,). Σε αυτή τη περίπτωση, y j F( x ) =, για i=,,p και j=,,p!. Επομένως, το D είναι ίσο με τα στατιστικά Kolmogorov-Smirov για μια μόνο μετάθεση των μετασχηματισμών. Οι Πίνακες και παρουσιάζουν τα ποσοστιαία σημεία των στατιστικών

23 ΚΕΦΑΛΑΙΟ : Ο Πολυδιάστατος έλεγχος Kolmogorov-Smirov D και D για τη διδιάστατη περίπτωση, για τη συγκεκριμένη περίπτωση που η F 0 είναι πλήρως ορισμένη υπό την Η 0. Σε πολλές περιπτώσεις, οι παράμετροι της κατανομής F 0 είναι άγνωστοι και χρειάζεται να εκτιμηθούν. Τότε τα ποσοστιαία σημεία του Πίνακα δεν είναι ακριβή και η κατανομή του στατιστικού, όταν οι παράμετροι εκτιμούνται από το δείγμα, χρειάζεται να υπολογιστεί εκ νέου. Έστω ότι το στατιστικό είναι D *. Σημειώστε ότι, όπως και στη μονοδιάστατη περίπτωση, όταν η μηδενική υπόθεση απορρίπτεται χρησιμοποιώντας τον πίνακα, δεν χρειάζεται να γίνουν περαιτέρω υπολογισμοί γιατί τα percetile του D * είναι πάντα μικρότερα από αυτά του D. Για παράδειγμα, ο Πίνακας 3 παρουσιάζει τα percetiles Mote- Carlo της κατανομής D * για τη συγκεκριμένη περίπτωση του ελέγχου κανονικότητας, όταν οι παράμετροι εκτιμούνται από τον δειγματικό μέσο και τον δειγματικό πίνακα διασπορών. Το στατιστικό στον Πίνακα 3 μπορεί, συνεπώς, να θεωρηθεί ως μια πολυδιάστατη γενίκευση του στατιστικού Kolmogorov-Smirov-Lilliefors Πίνακας 3 Mote-Carlo προσέγγιση των ποσοστιαίων σημείων της κατανομής του διδιάστατου στατιστικού Kolmogorov-Smirov-Lillefors D *, με 000 επαναλήψεις Στη συνέχεια παρατίθεται το πρόγραμμα που κατασκευάστηκε στο S-Pus για την παραγωγή των αποτελεσμάτων του Πίνακα. kolmogorov_fuctio(n,){ D_rep(0,N) #κατασκευάζω το δ/μα που αποθηκεύει τις τιμές for (m i :N) { G_rep(0,) x_ruif()

24 ΚΕΦΑΛΑΙΟ : Ο Πολυδιάστατος έλεγχος Kolmogorov-Smirov x_ruif() x_data.frame(x,x) #στο xy: οι είναι οι (x,x), xy_x[sort.list(x[,]),] for (j i :) { for (i i :j) { if (xy[i,]<=xy[j,] & xy[i,]<=xy[j,]) G[j]_G[j]+}} #συγκρίνω τα σημεία και κατασκευάζω την συνάρτηση G G_G/ #Gfi είναι η εμπειρική συνάρτηση xx_rep(0,) for (k i :){ xx[k]_xy[k,]*xy[k,]} #xx είναι το γινόμενο των αριθμών d_max(g-xx) d_max(xx-g+/) D[m]_max(d,d)} Dsort_sort(D) prit(dsort) a_c(0.5,0.,0.5,0.,0.05,0.05,0.0,0.005,0.005,0.00) for (k i :0){ a[k]_(-a[k])*n c_floor(a[k]) a[k]_(+c-a[k])*dsort[c]+(a[k]-c)*dsort[c+]} prit(a) quatile(dsort,c(0.75,0.80,0.85,0.90,0.95,0.975,0.99,0.995,0.9975,0. 999))} #τελικά θα δώσει το άνω α ποσοστιαίο σημείο Τα αποτελέσματα του Πίνακα προέκυψαν έπειτα από 00 επαναλήψεις. Ο αντίστοιχος πίνακας που δημοσιεύτηκε από τους Justel A., Pea D. & Rube Z. το 997 παρατίθεται στο Παράρτημα. Συγκρίνοντάς τους, παρατηρείται ότι δεν παρουσιάζουν σημαντικές διαφορές, γεγονός που ενισχύει την ορθότητα παραγωγής των αποτελεσμάτων. Τέλος, υπενθυμίζεται ότι ο συνολικός συντελεστής εμπιστοσύνης για τους διδιάστατους ελέγχους είναι α g =α..3 Ένας αλγόριθμος για τον υπολογισμό του διδιάστατου κριτηρίου των Kolmogorov-Smirov Σε ένα μονοδιάστατο δείγμα, η εμπειρική συνάρτηση κατανομής αλλάζει μόνο στα παρατηρηθέντα σημεία και το μονοδιάστατο κριτήριο Kolmogorov-Smirov λαμβάνεται υπολογίζοντας την απόσταση μεταξύ της εμπειρικής και της θεωρητικής συνάρτηση κατανομής σε αυτά τα σημεία. Παρ όλα αυτά, όταν η διάσταση p, είναι μεγαλύτερη από ένα, η εμπειρική συνάρτηση κατανομής μεταπηδά σε ένα άπειρο αριθμό σημείων. Για παράδειγμα, υποθέστε ότι p= και (x,y ) είναι το παρατηρηθέν σημείο με την μικρότερη

25 ΚΕΦΑΛΑΙΟ : Ο Πολυδιάστατος έλεγχος Kolmogorov-Smirov 3 πρώτη συντεταγμένη. Τότε, η εμπειρική συνάρτηση κατανομής αλλάζει σε όλα τα σημεία (x,y ) με x x. Εδώ, αναπτύσσουμε μια διαδικασία για τον υπολογισμό του κριτηρίου των Kolmogorov-Smirov (.4) στη διδιάστατη περίπτωση, επιλύνοντας το σε ένα πεπερασμένο σύνολο. Αφού ισχύει το θεώρημα, μπορούμε να υποθέσουμε ότι u =(x,y ),,u =(x,y ) είναι οι παρατηρήσεις από τυχαίο δείγμα δύο ανεξάρτητων, ομοιόμορφων στο (0,) κατανομών. Το ζευγάρι (x i,y i ) καλείται σημείο διασταύρωσης εάν x i <x j και y i >y j. Για u=(x,y) ορίζουμε την ανώτερη απόσταση : + ( ) ( u) = ( u) ( u ) D G G και την κατώτερη απόσταση: ( ) ( u) = ( u) ( u ) D G G όπου G είναι η συνάρτηση κατανομής των δυο ανεξάρτητων ομοιόμορφων τυχαίων μεταβλητών στο (0,) και G είναι η εμπειρική συνάρτηση κατανομής. Επίσης, η αριστερή εμπειρική συνάρτηση κατανομής στο u ορίζεται ως: ( u ) = lim ( ε, ε ) G G x y ε 0 Η απόδειξη βασίζεται στη συμπεριφορά των πλευρικών στατιστικών Kolmogorov-Smirov: D D = sup D + + u = sup D u ( u) ( u) Λήμμα. Εάν x 0 =y 0 =0, τότε D + = max D + ( ) v I v, όπου ( ) { j, i i j, i j;, 0,,..., } I = x y x x y y i j= τα στοιχεία του συνόλου Ι είναι: το ζευγάρι (0,0), οι παρατηρήσεις και τα σημεία διασταύρωσης. Απόδειξη. Για κάθε = ( x, y) u και = = max {, } pu i i i i= 0,,..., u u στο μοναδιαίο τετράγωνο, x = x = max { x x x, y y } ku i i i i= 0,,..., y y y y y x x η σχέση μεταξύ των μεταβλητών δίνεται από την σχέση ω x max { x x y y} = x και max { } pu i i ku u u yk yi y xi x = x p. Έτσι, ( x, y ) I. Από τον u u

26 ΚΕΦΑΛΑΙΟ : Ο Πολυδιάστατος έλεγχος Kolmogorov-Smirov 4 u u ορισμό των ( x, y ), προκύπτει άμεσα ότι G ( x, y) = G ( x u, y) = G ( x, y u ) και το σύνολο u u { i i (, ], i (, ]} x x x x y y y είναι κενό. Τότε: G ( x u, y u ) = G ( x u, y) + G ( x, y u ) G ( x, y) = G ( x, y ) και, επομένως, για κάθε u: + u u u u D( u) = G( xy, ) Gxy (, ) G( x, y) Gx (, y) max D + ( v) v I Λήμμα. Αν x 0 =0, y 0 =, x += και y +=0, τότε {( j, i) j i, j i;, 0,,..., } ( v v ) D = max G( ) G ( ) v P, όπου P= x y x > x y < y i j = +. Τα στοιχεία του συνόλου P είναι το ζευγάρι (,), τα σημεία διασταύρωσης και οι προβολές των παρατηρήσεων στη δεξιά και άνω πλευρά του μοναδιαίου τετραγώνου. Απόδειξη. Για κάθε = ( x, y) mi {, },..., pu i i i i= + u u στο μοναδιαίο τετράγωνο = = mi { > } x x x x x και ku i i i=,..., + u y = y = y y > y x x. Προφανώς, είναι x > x x και y > y. Έτσι, το ( u u x, y ) είναι μέσα στο σύνολο: {( ) } ( ) ku pu { } Q= x, y x > x; i, j = 0,,..., + = P x, y x > x, y > y; i, j =,..., j i j i j i j i j i p u Αφού η F είναι συνεχής και αύξουσα, η κατώτερη απόσταση φράσσεται από: u u + D ( u) = G( u) G ( u) < G( x, y ) G ( u) max D ( v) v I = Gx (, y) lim G( x ε, y ε) + lim G( x ε, y ε) G ( u) () u u u u u u ε 0 ε 0 ( ) max G( v) G ( v ) + lim G ( x ε, y ε) G ( u) v Q - u u ε 0 u u Από τον ορισμό του ( x, y ), προκύπτει ότι: u G ( u) = lim G ( x ε, y) = lim G ( x, y ε ) u ε 0 ε 0 και το σύνολο ( ) επαληθεύει: {, u u i i i (, ), i (, )} x y x x x y y y είναι κενό. Η εμπειρική συνάρτηση κατανομής lim G ( x ε, y ε) = lim G ( x, y ε) + lim G ( x, y ε) G ( u) = G ( u ). () u u u u ε 0 ε 0 ε 0

27 ΚΕΦΑΛΑΙΟ : Ο Πολυδιάστατος έλεγχος Kolmogorov-Smirov 5 u u Επιπλέον, εάν (, ) ανήκει στο σύνολο P, είναι κενό. Έτσι, w u x y Q P, ορίζουμε = mi { i i >, i < } x x x x y y. Τότε, το ζευγάρι ( w u x, y ) { i i i i } Gx ( u, y u ) < Gx ( w, y u ) και το σύνολο ( x, y ) x [ x u, x w ), y (, y u ) lim G ( x ε, y ε) = lim G ( x ε, y ε ) και w u u u ε 0 ε 0 ε 0 ( v v ) u u u u G( x, y ) lim G( x ε, y ε) < max G( ) G ( ). (3) Από τις σχέσεις (), () και (3) προκύπτει ότι το max ( G( ) G ( )) για το D ( u). Τελικά, αν το 0 = ( x0, y0) v P v P v v είναι ένα άνω φράγμα u δίνεται από την σχέση 0 = arg max ( G( ) G ( )) u v v, τότε: v P ( G v G v ) = ( G x0 ε y0 ε G x0 ε y0 ε ) max ( ) ( ) lim (, ) (, ) v P ε 0 = lim D ( x ε, y ε) ε Έτσι, ( ) D = max G( v) G ( v ) = sup D ( v ) v P v και το λήμμα απεδείχθη. Θεώρημα. Εάν p=, το κριτήριο των Kolmogorov-Smirov (.4) υπολογίζεται από την έκφραση: D max { ( ) ( ), ( ) ( = G G G G )} u I,v P u u v v. Το κριτήριο των Kolmogorov-Smirov μπορεί να εκφραστεί ως D = max { +, D } απόδειξη προκύπτει άμεσα από τα λήμματα και. D και η Σαν συνέπεια του θεωρήματος, το μπορεί να ληφθεί υπολογίζοντας τις αποστάσεις σε ένα πεπερασμένο πλήθος σημείων, το οποίος κυμαίνεται από 3 έως και εξαρτάται από τη διάταξη του δείγματος. Το θεώρημα οδηγεί στην ακόλουθη διαδικασία για τον υπολογισμό του στατιστικού Kolmogorov-Smirov (.4): D 3 + ( ) + ) υπολογίζεται η μέγιστη απόσταση στις παρατηρήσεις, = max ( u ) D D i i=,..., ) υπολογίζονται οι μέγιστες και ελάχιστες αποστάσεις στα σημεία διασταύρωσης, + { ( ) < i } D = max D x, y x > x, y y και i, j=,..., j i j i j

28 ΚΕΦΑΛΑΙΟ : Ο Πολυδιάστατος έλεγχος Kolmogorov-Smirov 6 { + ( ) j i} D = / mi D x, y x > x, y < y 3 i, j=,..., j i j i 3) υπολογίζεται η μέγιστη απόσταση ανάμεσα στις προβολές των παρατηρήσεων στη 4 δεξιά πλευρά του μοναδιαίου τετραγώνου, D = / mi D + (, y ) i=,..., 4) υπολογίζεται η μέγιστη απόσταση ανάμεσα στις προβολές των παρατηρήσεων στην 5 + άνω πλευρά του μοναδιαίου τετραγώνου, ω D = / mi D x, 5) υπολογίζεται το μέγιστο { = max,,,, } D D D D D D. i, j=,..., i=,..., i i ( ).4 Η ισχύς των στατιστικών D και Έχει ερευνηθεί η ισχύς του ακριβούς και του προσεγγιστικού διδιάστατου κριτηρίου των Kolmogorov-Smirov, όταν χρησιμοποιείται ως έλεγχος για την κανονικότητα και ως ένας γενικός διδιάστατος έλεγχος καλής προσαρμογής. Στην πρώτη περίπτωση η μηδενική υπόθεση είναι μια διδιάστατη κανονική κατανομή με μέσο μ=0 και πίνακα συνδιασποράς: 0.5 Σ = 0.5 Η εναλλακτική κατανομή είναι: ( ε) Ν ( 0, Σ) + εν( μ, ) D Σ για διάφορες τιμές των ε και μ. Ο Πίνακας 4 δείχνει την ισχύ του ελέγχου κανονικότητας. Στους επόμενους πίνακες δίνονται οι γραφικές παραστάσεις των συναρτήσεων πυκνότητας της διδιάστατης κανονικής κατανομής με διάνυσμα μέσης τιμής το (0,0) και πίνακα συνδιασποράς τον Σ, καθώς και της μίξης δυο διδιάστατων κανονικών κατανομών για τις διάφορες τιμές του συντελεστή ε (0., 0. και 0.4) και με διανύσματα μέσων τιμών μ =(3,3) και μ =(3,-).

29 ΚΕΦΑΛΑΙΟ : Ο Πολυδιάστατος έλεγχος Kolmogorov-Smirov 7 Συναρτήσεις Πυκνότητας Η διδιάστατη κανονική Ν(μ=(0,0),Σ) Η μίξη 0.9Ν(μ, Σ)+0. Ν(μ, Σ)) ε=0. Η μίξη 0.8Ν(μ, Σ))+0. Ν(μ, Σ)) ε=0. Η μίξη 0.6Ν(μ, Σ))+0.4 Ν(μ, Σ)) ε=0.4 Πίνακας 4 Η σππ της διδιάστατης κανονικής κατανομής και οι σππ των κανονικών μίξεων ( ε)ν(0,σ)+εν(μ,σ) για ε =0., 0. και 0.4, με μ=(3,3).

30 ΚΕΦΑΛΑΙΟ : Ο Πολυδιάστατος έλεγχος Kolmogorov-Smirov 8 Συναρτήσεις πυκνότητας πιθανότητας Η διδιάστατη κανονική Ν(μ, Σ)) Η μίξη 0.9Ν(μ, Σ))+0. Ν(μ, Σ)) ε=0. Η μίξη 0.8Ν(μ, Σ))+0. Ν(μ, Σ)) ε=0. Η μίξη 0.6Ν(μ, Σ))+0.4 Ν(μ, Σ)) ε=0.4 Πίνακας 5 Η σπ της διδιάστατης κανονικής κατανομής και οι σππ των κανονικών μίξεων ( ε)ν(0,σ)+εν(μ,σ) για ε =0., 0. και 0.4, με μ=(3,-). Όπως ήταν αναμενόμενο, η ισχύς αυξάνει με το και είναι μεγαλύτερη για τον ακριβή έλεγχο από ότι για τον προσεγγιστικό. Ωστόσο, για μεγάλο (>50) η ισχύς του προσεγγιστικού ελέγχου είναι πολύ κοντά με αυτή του ακριβούς. Ο πίνακας 6 δείχνει ότι και οι δύο έλεγχοι είναι πολύ ισχυροί όταν το είναι μεγάλο και ε 0..

31 ΚΕΦΑΛΑΙΟ : Ο Πολυδιάστατος έλεγχος Kolmogorov-Smirov 9 =5 =5 =50 =00 ε D D D D D D D D μ=(3,3) μ=(3,-) Πίνακας 6 Εμπειρική ισχύς των Kolmogorv-Smirov (D ) και κατά προσέγγιση Kolmogorov-Smirov ( D ) ελέγχων με μέγεθος α= Η μηδενική υπόθεση είναι μια ομοιόμορφη κατανομή Ν(0,Σ) και τα δείγματα παράγονται από την κανονική μίξη ( ε)ν(0,σ)+εν(μ,σ) Ο Πίνακας 7 παρουσιάζει την ισχύ αυτών των κριτηρίων όταν η μηδενική υπόθεση είναι η κατανομή Morgester. Διαλέξαμε αυτή τη κατανομή, διότι έχει δοθείσες περιθώριες κατανομές με διαφορετική συσχέτιση. Για την περίπτωση όπου οι περιθώριες κατανομές είναι ομοιόμορφες στο (0,), η από κοινού συνάρτηση πυκνότητας είναι: ( ) α( )( ) f x, x = + x x 0 x, x, α Από αυτό αποδεικνύεται εύκολα ότι: ( ) = 0 ( ) ( ) F x x x ( ) ( ) F x x = α x x + α x x 0 x Οι εναλλακτικές κατανομές είναι ανεξάρτητες κατανομές Βήτα με διάφορους συνδυασμούς παραμέτρων, για να έχουμε διαφορετικούς βαθμούς ασυμμετρίας. Σε αυτή τη μελέτη προσομοίωσης επιλέξαμε α=0.5. Παρόμοια αποτελέσματα λαμβάνονται και για άλλες τιμές του α.

32 ΚΕΦΑΛΑΙΟ : Ο Πολυδιάστατος έλεγχος Kolmogorov-Smirov 30 Συναρτήσεις Πυκνότητας Η διδιάστατη Morgester, α=0.5 Beta(0,0) Beta(3,3) Beta(3,) Beta(0.5,) Beta(0.5,0.5) Πίνακας 7 Η σπ της διδιάστατης Morgester και οι σπ διδιάστατων Beta, για τους διάφορους συντελεστές. Τα αποτελέσματα του Πίνακα 8 δείχνουν αυτό, το οποίο ήταν και αναμενόμενο, ότι για μικρά (=0) η ισχύς είναι πολύ μικρή, εκτός και αν ο βαθμός κύρτωσης ή ασυμμετρίας

33 ΚΕΦΑΛΑΙΟ : Ο Πολυδιάστατος έλεγχος Kolmogorov-Smirov 3 είναι υψηλός. Η διαφορά της ισχύος για τον ακριβή και τον κατά προσέγγιση έλεγχο, είναι αμελητέα για μεγάλα (>50). a=0.05 a=0.05 a=0.005 D D D D D D Beta(0,0) Beta(3,3) Beta(3,) Beta(0.5,) Beta(0.5,0.5) Πίνακας 8 Εμπειρική ισχύς των Kolmogorv-Smirov (D ) και κατά προσέγγιση Kolmogorov-Smirov ( D ) ελέγχων με μέγεθος α. Η μηδενική υπόθεση είναι η Morgester κατανομή με παράμετρο 0.5 και ομοιόμορφες περιθώριες. Τα δείγματα παράγονται από δύο ανεξάρτητες Beta(a,b)..5 Συμπεράσματα Όπως και στη μονοδιάστατη περίπτωση, ο πολυδιάστατος έλεγχος Kolmogorov- Smirov, που παρουσιάστηκε σε αυτό το κεφάλαιο, μπορεί να εξασφαλίσει έναν γενικό και ευέλικτο έλεγχο καλής προσαρμογής, ειδικά όταν συγκεκριμένοι έλεγχοι δεν έχουν ακόμη αναπτυχθεί. Το κύριο πρόβλημα σε αυτή την εφαρμογή του ελέγχου, είναι ο υπολογισμός του στατιστικού, στη περίπτωση που p>. Μια επέκταση του υπολογιστικού αλγόριθμου που αναπτύχθηκε σε αυτό το κεφάλαιο, μπορεί να το κάνει εφικτό, αλλά ακόμα η αριθμητική δυσκολία είναι μεγάλη. Ωστόσο, τα αποτελέσματα προσομοίωσης φανερώνουν ότι το στατιστικό του κατά προσέγγιση ελέγχου Kolmogorov- Smirov που παρουσιάστηκε σε αυτό το κεφάλαιο, που είναι εύκολο να υπολογιστεί, φαίνεται να είναι μια πολύ καλή εναλλακτική, όταν το είναι ελαφρώς μεγάλο.

34 ΚΕΦΑΛΑΙΟ 3: To κριτήριο Α του Damico 3 ΚΕΦΑΛΑΙΟ 3: ΤΟ ΚΡΙΤΗΡΙΟ Α ΤΟΥ DAMICO 3. Εισαγωγή Σε αυτό το κεφάλαιο παρουσιάζεται αναλυτικά το κριτήριο που εισάγει ο Damico (004) το οποίο εφαρμόζεται σε ελέγχους καλής προσαρμογής για ένα και δύο δείγματα και παρουσιάζονται παραδείγματα. Στη συνέχεια, γίνεται αναπαραγωγή των πινάκων της αθροιστικής συνάρτησης κατανομής του κριτηρίου, καθώς και πίνακες με τιμές των ποσοστιαίων σημείων, με την βοήθεια μεθόδων προσομοίωσης μέσω του στατιστικού προγράμματος S-Plus. Ακόμα, γίνεται σύγκριση της ισχύος του κριτηρίου με άλλα γνωστά μονοδιάστατα κριτήρια, η ισχύς των οποίων είχε παρουσιαστεί από το Stephes M.A. (974). Τελικά, επαναλαμβάνεται η διαδικασία υπολογισμού της ισχύος των κριτηρίων των Kolmogorov-Smirov και Damico με τη βοήθεια του S-Plus, ώστε να εξασφαλιστεί η σύγκριση σε ίδια δείγματα. 3. Το κριτήριο Α 3.. Ορισμός του κριτηρίου Έστω X i, i =,,, το πλήθος παρατηρήσεις από έναν πληθυσμό με συνάρτηση πυκνότητας f(x). Τα X i είναι ανεξάρτητες και ισόνομες τυχαίες μεταβλητές. Θα ελεγχθεί η παρακάτω υπόθεση: Η 0 : f(x) είναι ένας πληθυσμός με συγκεκριμένη συνάρτηση πυκνότητας (σπ). Αρχικά, διαιρείται το εύρος της ομοιόμορφης U(0,) σε ίσα, ξένα μεταξύ τους διαστήματα, έτσι ώστε το ολοκλήρωμα της σε κάθε ένα από αυτά τα διαστήματα να είναι /. Υπό την Η 0 θα ήταν αναμενόμενο να υπάρχει μια τιμή σε κάθε ένα από αυτά τα διαστήματα. Το κριτήριο Α είναι ένα μέτρο για το πόσο οι πραγματικές τιμές διαφέρουν από τις αναμενόμενες. Ο υπολογισμός του κριτηρίου Α είναι ισοδύναμος με τον υπολογισμό του ελάχιστου αριθμού «κινήσεων» που απαιτούνται, ώστε σε μια σειρά κουτιών τα οποία περιέχουν συνολικά μπάλες, να προκύψει τελικά μια μόνο μπάλα σε κάθε κουτί. Ως «κίνηση» ορίζεται η μεταφορά μιας μπάλας από ένα κουτί σε ένα διπλανό. «κίνηση» «κίνηση» ο κουτί ο κουτί 3 ο κουτί 4 ο κουτί 5 ο κουτί 6 ο κουτί 7 ο κουτί

35 ΚΕΦΑΛΑΙΟ 3: To κριτήριο Α του Damico Παράδειγμα προς κατανόηση του ορισμού Από έναν πληθυσμό f(x) επιλέγεται τυχαίο δείγμα 7 παρατηρήσεων 90.88, 93.8, 93.5, 0.3, 04.4, 04.8 και 05.3 (οι τιμές παρουσιάζονται διατεταγμένες). Θα ελεγχθεί η υπόθεση ότι το δείγμα προέρχεται από κανονική κατανομή με μέση τιμή μ=00 και τυπική απόκλιση σ=5. Τυποποιούμε τις αρχικές τυχαίες μεταβλητές. X X X X X X X S X μ σ 5 = 93.8 S = = = 93.5 S = =.98 5 = 0.3 S = = = 04.4 S = = = 04.8 S = = = 05.3 S = =.06 5 = = = = και υπολογίζουμε τις τιμές της τυπικής κανονικής κατανομής. Έτσι προκύπτει: ( S ) ( ) ( ) ( S ) ( ) ( ) ( S ) ( ) ( ) ( S ) ( ) ( S ) ( ) ( S ) ( ) ( S ) ( ) S : Φ =Φ.84 = Φ.84 = S : Φ =Φ.344 = Φ.344 = S : Φ =Φ.98 = Φ.98 = S S S S : Φ =Φ 0.46 = : Φ =Φ 0.88 = 0.8 : Φ =Φ 0.96 = 0.83 : Φ =Φ.06 = Η διαδικασία συνεχίζει, σαν να επρόκειτο να ελεγχθεί η μηδενική υπόθεση ότι αυτές οι 7 τιμές (από 0.03 έως 0.855) προέρχονται από ομοιόμορφη κατανομή στο διάστημα (0.00,.00). Το διάστημα (0.00,.00) χωρίζεται σε 7 ίσα υποδιαστήματα (όσα και το πλήθος των τυχαίων μεταβλητών) και υπολογίζεται το πλήθος των μεταβλητών που περιέχονται σε καθένα. Το κάθε ένα από αυτά τα υποδιαστήματα θα έχει μήκος /7= Διάστημα ο : (0.000, 0.43) περιέχει 3 μεταβλητές (τις S, S και S 3 )

36 ΚΕΦΑΛΑΙΟ 3: To κριτήριο Α του Damico 34 Διάστημα ο : (0.43, 0.86) περιέχει 0 μεταβλητές Διάστημα 3 ο : (0.86, 0.49) περιέχει 0 μεταβλητές Διάστημα 4 ο : (0.49, 0.57) περιέχει 0 μεταβλητές Διάστημα 5 ο : (0.57, 0.74) περιέχει μεταβλητή (την S 4 ) Διάστημα 6 ο : (0.74, 0.857) περιέχει 3 μεταβλητές (τις S 5, S 6 και S 7 ) Διάστημα 7 ο : (0.857,.000) περιέχει 0 μεταβλητές Στον παρακάτω πίνακα παρουσιάζεται το πλήθος των παρατηρήσεων σε κάθε διάστημα μετά από κάθε κίνηση. Ο ελάχιστος αριθμός κινήσεων είναι 6, που αντιπροσωπεύει και την τιμή του κριτηρίου Α. Αρχική η κίνηση η κίνηση 3 η κίνηση 4 η κίνηση 5 η κίνηση 6 η κίνηση κατάσταση (0.000, 0.43) 3 (0.43, 0.86) 0 0 (0.86, 0.49) 0 0 (0.49, 0.57) (0.57, 0.74) (0.74, 0.857) (0.857,.000) Πίνακας 9 Το πλήθος των τιμών που βρίσκονται σε κάθε διάστημα. Σε κάθε στήλη αναγράφεται το πλήθος των τιμών που παραμένουν μετά από κάθε κίνηση. Προσεγγίζοντας το πρόβλημα μαθηματικά προκύπτει ότι το κριτήριο Α είναι ένα άθροισμα όρων. Πιο αναλυτικά, έστω S i, i=,,, οι διατεταγμένες παρατηρήσεις και F(S i ) η τιμή της αθροιστικής συνάρτησης κατανομής. Το επιθυμητό θα ήταν η τιμή της F(S i ) να περιέχεται στο i-οστό διάστημα (δηλαδή το (i-/, i/)) έτσι ώστε να μη χρειαστεί να μετακινηθεί. Αν, όμως η τιμή της F(S i ) περιέχεται στο k-οστό διάστημα, τότε: k k F ( Si ) < k F S < k ( i ) ( ) k F S + < k+ i Θεωρούμε την συνάρτηση Gif η οποία παριστά το ακέραιο μέρος ενός δεκαδικού αριθμού. Τότε: Gif [ F(S i ) +]= k Συνεπώς, η παραπάνω συνάρτηση δίνει το διάστημα στο οποίο περιέχεται η F(S i ). Η διαφορά Gif [ F(S i ) +] i δίνει το πλήθος των διαστημάτων που πρέπει να μετακινηθεί ώστε να

37 ΚΕΦΑΛΑΙΟ 3: To κριτήριο Α του Damico 35 βρεθεί στο i-οστό. Η παραπάνω διαδικασία εφαρμόζεται για όλες της F(S i ), i =,... Άρα η τιμή του Α θα προκύπτει από τον τύπο: i= ( ( i ) ) A = Gif F S + i Εφαρμόζοντας τον παραπάνω τύπο στο συγκεκριμένο παράδειγμα, προκύπτει: Για i =, Gif [ Φ(S ) +]= Gif [7* ]= Gif (.38)=, Gif [ Φ(S ) +] = = 0 Για i =, Gif [ Φ(S ) +]= Gif [7* ]= Gif (.63)=, Gif [ Φ(S ) +] = = Για i =3, Gif [ Φ(S 3 ) +]= Gif [7* ]= Gif (.679)=, Gif [ Φ(S 3 ) +] 3 = 3 = Για i =4, Gif [ Φ(S 4 ) +]= Gif [7* ]= Gif (5.746)=5, Gif [ Φ(S 4 ) +] 4 = 5 4 = Για i =5, Gif [ Φ(S 5 ) +]= Gif [7*0.8 +]= Gif (6.684)=6, Gif [ Φ(S 5 ) +] 5 = 6 5 = Για i =6, Gif [ Φ(S 6 ) +]= Gif [7* ]= Gif (6.838)=6, Gif [ Φ(S 6 ) +] 6 = 6 6 = 0 Για i =7, Gif [ Φ(S 7 ) +]= Gif [7* ]= Gif (6.987)=6, Gif [ Φ(S 7 ) +] 7 = 6 7 = Άρα, και σε αυτή την περίπτωση προκύπτει Α = = 6. Επιπλέον, γίνεται φανερό ότι οι απόλυτες τιμές των επτά διαφορετικών σχέσεων που υπολογίστηκαν παραπάνω αντιστοιχούν στο αριθμό των «κινήσεων» που απαιτούνται, ώστε να τοποθετηθεί η κάθε μία από τις τιμές στο επιθυμητό διάστημα. Για παράδειγμα, Για την τιμή που προκύπτει για i =3 και η οποία βρίσκεται στο πρώτο διάστημα, πρέπει να μετακινηθεί φορές ώστε να βρεθεί στο τρίτο διάστημα Οι πίνακες με τις τιμές της κατανομής του Α Θεωρητικός υπολογισμός Ο παρακάτω πίνακας παρουσιάζει τις ακριβείς τιμές της αθροιστικής συνάρτησης του κριτηρίου Α για μέγεθος δείγματος =, 3, 4, 5, 6 και 7