Εφαρμοσμένη Στατιστική Δημήτριος Μπάγκαβος Τμήμα Μαθηματικών και Εφαρμοσμένων Μαθηματικών Πανεπιστήμιο Κρήτης 2 Μαΐου 2017 1/23
Ανάλυση Διακύμανσης. Η ανάλυση παλινδρόμησης μελετά τη στατιστική σχέση ανάμεσα στην εξαρτημένη μεταβλητή και σε μία η περισσότερες ανεξάρτητες μεταβλητές. Πρώτα διαπιστώνεται η γραμμικότητα της σχέσης μεταξύ εξαρτημένης και ανεξάρτητων μεταβλητών Μετά εκτιμώνται οι συντελεστές της σχέσης (παράμετροι των μεταβλητών) με σκοπό την ελαχιστοποίηση ενός στατιστικού κριτηρίου. Η ανάλυση διακύμανσης είναι πιο γενικό εργαλείο γιατί δεν υποθέτει κάποια συναρτησιακή μορφή μεταξύ εξαρτημένης και ανεξάρτητης τ.μ. Είναι σημαντικό να κάνουμε τον εξής διαχωρισμό: στο πλαίσιο της γραμμικής παλινδρόμησης και πάλι λαμβάνει χώρα ανάλυση διακύμανσης για την παραγωγή του F τεστ καλής προσαρμογής. Το F τεστ μετράει το κατά πόσο η μεταβλητότητα της εξαρτημένης μεταβλητής εξηγείται από το μοντέλο που υποθέσαμε. Η ανάλυση διακύμανσης που μελετάμε εδώ έχει άλλο σκοπό: μπορεί να περιλάβει και ποιοτικές μεταβλητές και αποσκοπεί στο να εξηγήσει κατά πόσο κάθε παράγοντας (δηλ. ποιοτική μεταβλητή) επηρεάζει την εξαρτημένη μεταβλητή. 2/23
Ανάλυση Διακύμανσης κατά ένα παράγοντα. Στην πιο απλή περίπτωση μας ενδιαφέρει να μελετήσουμε την ανάλυση της διακύμανσης ως προς τα επίπεδα ενός μόνο παράγοντα. Θεωρούμε ότι η εξαρτημένη μεταβλητή για το επίπεδο του παράγοντα ακολουθεί κανονική κατανομή N(µ, σ 2 ), = 1,..., m όπου m είναι ο αριθμός των επιπέδων του υπό μελέτη παράγοντα. Ο σκοπός είναι να διαπιστώσουμε αν οι μέσες τιμές µ, = 1,..., m διαφέρουν ή αν όντως ο μέσος είναι σταθερός για όλα τα επίπεδα του παράγοντα. Η στατιστική μελέτη για την απάντηση του ερωτήματος βασίζεται σε ένα τυχαίο δείγμα τιμών της εξαρτημένης μεταβλητής από τα διάφορα επίπεδα του παράγοντα. Ξεκινάμε παίρνοντας δείγμα μεγέθους n, = 1,..., m από το επίπεδο του παράγοντα. Δεν είναι απαραίτητο τα n να είναι ίσα για κάθε επίπεδο. Πρέπει όμως οι παρατηρήσεις του δείγματος μέσα σε κάθε επίπεδο και μεταξύ των επιπέδων να είναι ανεξάρτητες. 3/23
Ανάλυση Διακύμανσης κατά ένα παράγοντα. Τα δεδομένα που συγκεντρώσαμε συνοψίζονται ως εξής: Επίπεδα Σύνολα Μέσοι 1 Y 11 Y 12... Y 1n1 Y 1 Ȳ 1 2 Y 21 Y 22... Y 2n2 Y 2 Ȳ 2...... m Y m1 Y m2... Y mnm Y m Ȳ m Y Ȳ Y j είναι η j παρατήρηση του επιπέδου, n = n 1 + n 2 +... n m είναι ο συνολικός αριθμός παρατηρήσεων και n Y = Y j, Ȳ = n 1 Y j=1 είναι τα μερικά αθροίσματα και μέσοι όροι ανά γραμμή. Επίσης, το ολικό άθροισμα και γενικός μέσος είναι αντίστοιχα Y = n Y j, Ȳ = n 1 Y j=1 4/23
Ανάλυση Διακύμανσης κατά ένα παράγοντα. Το μοντέλο ανάλυσης διασποράς κατά ένα παράγοντα είναι: Y j = µ + ε j, ε j N(0, σ 2 ) Τα ε j, j = 1,..., n, = 1,..., m είναι ανεξάρτητα και ισόνομα κατανεμημένα τυχαία σφάλματα Οι μέσοι µ, = 1,..., m είναι οι άγνωστες παράμετροι του μοντέλου Δηλ. το μοντέλο υποθέτει ότι τα διάφορα επίπεδα του υπό μελέτη παράγοντα διαφέρουν ως προς το μέσο όρο τους αλλά έχουν κοινή διασπορά. Η υπόθεση που μας ενδιαφέρει να ελέγξουμε είναι H 0 : µ = µ, = 1,..., m έναντι H 1 : µ µ για τουλάχιστον ένα Για να μπορέσουμε να ελέγξουμε την υπόθεση, πρέπει να αναλύσουμε τη συνολική διασπορά των δεδομένων σε δυο συνιστώσες: διασπορά μέσα στα επίπεδα διασπορά ανάμεσα στα επίπεδα Διαισθητικά περιμένουμε ότι αν η διασπορά ανάμεσα στα επίπεδα είναι μεγαλύτερη από τη διασπορά μέσα στα επίπεδα τότε ο μέσος όρος δεν θα είναι σταθερός για όλα τα επίπεδα. 5/23
Ανάλυση Διακύμανσης κατά ένα παράγοντα. Η συνολική μεταβλητότητα του δείγματος ορίζεται από το άθροισμα των τετραγώνων των αποκλίσεων των παρατηρήσεων από το συνολικό μέσο του δείγματος: n SST = (Y j Ȳ ) 2 j=1 Παρατήρηση: Η απόκλιση της Y j από το συνολικό μέσο Ȳ μπορεί να γραφτεί ως Οπότε μπορούμε να γράψουμε SST = Y j Ȳ = (Y j Ȳ ) + (Ȳ Ȳ ). n { (Yj Ȳ ) + (Ȳ Ȳ ) } 2 n = (Y j Ȳ ) 2 j=1 j=1 j=1 n n + (Ȳ Ȳ ) 2 + 2 (Y j Ȳ )(Ȳ Ȳ ). j=1 6/23
Ανάλυση Διακύμανσης κατά ένα παράγοντα. Ομως n n 2 (Y j Ȳ )(Ȳ Ȳ ) = 2 (Ȳ Ȳ ) (Y j Ȳ ) = j=1 j=1 n 2 (Ȳ Ȳ ) Y j n Ȳ = [ 2 (Ȳ Ȳ )(n Ȳ ] n Ȳ ) = 0 Άρα j=1 SST = j=1 n n (Y j Ȳ ) 2 + (Ȳ Ȳ ) 2. j=1 Το άθροισμα των τετραγώνων των αποκλίσεων από τους μέσους των επιπέδων που ανήκουν n SSE = (Y j Ȳ ) 2 j=1 εκφράζει τη μεταβλητότητα μέσα στα επίπεδα του παράγοντα. 7/23
Ανάλυση Διακύμανσης κατά ένα παράγοντα. Το άθροισμα των τετραγώνων των αποκλίσεων από το συνολικό μέσο του δείγματος SSF = (Ȳ Ȳ ) 2 εκφράζει τη μεταβλητότητα ανάμεσα στα επίπεδα. Συνολικά: SST = SSE + SSF Η μεταβλητότητα ανάμεσα στα επίπεδα είναι αυτή που οφείλεται στις διαφορές των επιπέδων του παράγοντα και εκφράζεται από το συνολικό άθροισμα τετραγώνων του παράγοντα SSF. Η μεταβλητότητα μέσα στα επίπεδα οφείλεται στην τυχαιότητα και εκφράζεται από το συνολικό άθροισμα τετραγώνων των τυχαίων σφαλμάτων. Τα m επίπεδα του υπό μελέτη παράγοντα κινούνται σε m 1 βαθμούς ελευθερίας Μέσα σε κάθε επίπεδο οι βαθμοί ελευθερίας είναι n 1 άρα συνολικά στα επίπεδα έχουμε n = m βαθμούς ελευθερίας. Οι συνολικοί βαθμοί ελευθερίας στο πείραμα είναι n 1. 8/23
Ανάλυση Διακύμανσης κατά ένα παράγοντα. Για κάθε επίπεδο ορίζουμε τη συνάρτηση W 2 n = (n 1) 1 (Y j Ȳ ) 2, = 1,..., m. j=1 Οι παρατηρήσεις του επιπέδου αποτελούν δείγμα από την κανονική κατανομή N(µ, σ 2 ). Οπότε n σ 2 (Y j Ȳ ) 2 = σ 2 (n 1)W 2 χ 2 n 1. Άρα j=1 E = σ 2 (n 1)W 2 = n 1 EW 2 = σ 2. Άρα η W 2 είναι αμερόληπτη εκτιμήτρια της διασποράς σ 2 βασισμένη σε δείγμα από το επίπεδο. Τώρα, το άθροισμα m ανεξάρτητων τ.μ. που ακολουθούν χ 2 κατανομή είναι επίσης τ.μ. με χ 2 κατανομή με βαθμούς ελευθερίας ίσους με το άθροισμα των βαθμών ελευθερίας των αρχικών m κατανομών. 9/23
Ανάλυση Διακύμανσης κατά ένα παράγοντα. Άρα, σ 2 Οπότε, (n 1)W 2 = σ 2 n (Y j Ȳ ) 2 = σ 2 SSE χ 2 n m. j=1 Eσ 2 SSE = n m E(n m) 1 SSE = σ 2. Επομένως η (n m) 1 SSE είναι μία αμερόληπτη εκτιμήτρια της σ 2. Υπό την H 0 όλες οι παρατηρήσεις Y j είναι δείγμα από την ίδια κατανομή N(µ, σ 2 ). Εστω η συνάρτηση Εχουμε ότι σ 2 n (Y j Ȳ ) 2 = (n 1) 1 SST. j=1 n σ 2 (n 1)S 2 = σ 2 (Y j Ȳ ) 2 χ 2 n 1. j=1 10/23
Ανάλυση Διακύμανσης κατά ένα παράγοντα. Άρα E { σ 2 (n 1)S 2} = n 1 (n 1) 1 SST = σ 2. Άρα η S 2 = (n 1) 1 SST υπό την H 0 είναι μια αμερόληπτη εκτιμήτρια της διασποράς σ 2. Ισχύει σ 2 SST = σ 2 SSE + σ 2 SSF. Από το θεώρημα των τετραγωνικών μορφών, υπό την H 0 η συνάρτηση SSF/σ 2 χ 2 m 1. Άρα, Eσ 2 SSF = m 1 (m 1) 1 SSF = σ 2. Άρα η (m 1) 1 SSF υπό την H 0 είναι μια αμερόληπτη εκτιμήτρια της διασποράς σ 2. Άρα υπό την H 0 έχουμε ότι SSF/(m 1) SSE/(n m) F m 1,n m. 11/23
Ανάλυση Διακύμανσης κατά ένα παράγοντα. Η ελεγχοσυνάρτηση SSF/(m 1) SSE/(n m) μπορεί να χρησιμοποιηθεί για τον έλεγχο της ισότητας μέσων στην ανάλυση διακύμανσης. Η H 0 απορρίπτεται σε επίπεδο σημαντικότητας α αν η παρατηρούμενη τιμή της ελεγχοσυνάρτησης είναι μεγαλύτερη από το α ποσοστιαίο σημείο της κατανομής F με m 1 και n m βαθμούς ελευθερίας. Δηλαδή αν SSF/(m 1) SSE/(n m) > F α,m 1,n m. Παρατήρηση: Η εκτιμήτρια του σ 2 που βασίζεται στο SSE είναι πάντα αμερόληπτη. Ομως η εκτιμήτρια που βασίζεται στο SSF είναι αμερόληπτη κάτω από την H 0. Αν η H 0 δεν είναι αληθής τότε 1 m 1 E {SSF} > σ2. 12/23
Ανάλυση Διακύμανσης κατά ένα παράγοντα. Απόδειξη: E {SSF} = E (Ȳ Ȳ ) 2 = E n Ȳ 2 2 = E = = n Ȳ 2 2nȲ 2 + nȳ 2 = E n EȲ 2 neȳ 2 n Ȳ Ȳ + nȳ 2 n Ȳ 2 nȳ 2 n ( (Ȳ ) + E 2 (Ȳ )) n( (Ȳ ) + E 2 (Ȳ )) ( ) ( ) σ 2 σ = n + µ 2 2 n n n + µ2 = (m 1)σ 2 + n (µ 2 µ 2 ) > σ 2. 13/23
Υποθέσεις μοντέλου ανάλυσης διακύμανσης. 1. Η κατανομή των παρατηρήσεων σε κάθε επίπεδο είναι κανονική: y j N(µ, σ 2 ), j = 1,..., n, για το επίπεδο. 2. Η κανονική κατανομή σε κάθε επίπεδο έχει την ίδια διασπορά σ 2. 3. Οι τυχαίοι όροι ε j είναι ισόνομα κατανεμημένοι με ε j N(0, σ 2 ) για κάθε, j. 4. Οι παρατηρήσεις σε κάθε επίπεδο του παράγοντα είναι ανεξάρτητες και ισόνομα κατανεμημένες και είναι ανεξάρτητες από τις παρατηρήσεις στα άλλα επίπεδα. Στόχοι του μοντέλου ανάλυσης διακύμανσης. 1. Ελεγχος αν οι μέσοι των επιπέδων είναι ίσοι: H 0 : µ = µ, = 1,..., m έναντι H 1 : µ µ για τουλάχιστον ένα 2. Αν οι μέσοι δεν είναι ίσοι, ποιες είναι οι διαφορές; Αν οι μέσοι δεν διαφέρουν τότε το συμπέρασμα είναι οτι η εξαρτημένη μεταβλητή δεν εξαρτάται από τα επίπεδα του παράγοντα. 14/23
Ελεγχος για την ισότητα των διασπορών. Το μοντέλο της ανάλυσης διασποράς που αναπτύξαμε υποθέτει ότι οι διακυμάνσεις των κανονικών κατανομών σε όλα τα επίπεδα είναι ίσες. Στην πράξη αυτό ελέγχεται: Bartlett s test Εστω S 2 η δειγματική διασπορά του επιπέδου. Για τον έλεγχο της H 0 : σ 2 1 = = σ2 m = σ 2 έναντι H 1 : σ σ 2 για τουλάχιστον ένα χρησιμοποιείται η στατιστική συνάρτηση χ 2 0 = 2.3026qc 1 όπου q = (n m) log S 2 p (n 1) log S 2 1 c = 1 + (n 3(m 1) 1) 1 (n m) 1 Sp 2 = 1 (n 1)S 2 n m 15/23
Ελεγχος για την ισότητα των διασπορών. Η ποσότητα q είναι ίση με 0 όταν τα S 2 είναι ίσα και γίνεται μεγάλη όταν τα S 2 διαφέρουν πολύ. Επομένως απορρίπτουμε την H 0 για μεγάλες τιμές του χ 2 0 δηλαδή για χ 2 0 > χ2 1 α,m 1. Παρατήρηση: οι υποθέσεις του μοντέλου μπορούν να ελεγχθούν και γραφικά με τη βοήθεια των υπολοίπων. Τα υπόλοιπα ορίζονται ως ε j = Y j ˆµ = Y j Ȳ Με ένα pp plot πλοτ ελέγχουμε την κανονικότητα των υπολοίπων Με ένα scatter plot ελέγχουμε τυχαιότητα και ανεξαρτησία. 16/23
Επιμέρους έλεγχοι υποθέσεων για τους μέσους. Αν το F τεστ για την ισότητα των μέσων έδειξε ότι οι μέσοι των επιπέδων διαφέρουν, τότε έχει νόημα προχωρήσουμε σε περαιτέρω ανάλυση. Μια αμερόληπτη εκτιμήτρια του μέσου του επιπέδου µ είναι ο δειγματικός μέσος του επιπέδου ˆµ = Ȳ, με διακύμανση n 1 σ 2 Μία αμερόληπτη εκτιμήτρια του σ 2 είναι το MSE/n αφού το MSE είναι αμερόληπτη εκτιμήτρια του σ 2. Εφόσον Ȳ N(µ, n 1 σ 2 ), αυτό συνεπάγεται ότι ( MSE/n ) 1 (Ȳ µ ) t n m όπου n m είναι οι βαθμοί ελευθερίας που συνδέονται με το MSE. Ετσι για κάθε µ έχουμε το ακόλουθο διάστημα εμπιστοσύνης Ȳ MSE/n t 1 α/2,n m µ Ȳ + MSE/n t 1 α/2,n m Από τέτοια διαστήματα εμπιστοσύνης για όλα τα µ παίρνουμε μια πρώτη εικόνα για το πως διαφέρουν οι μέσοι των επιπέδων. 17/23
Επιμέρους έλεγχοι υποθέσεων για τους μέσους. Για να εκτιμήσουμε τη διαφορά των μέσων 2 επιπέδων: Ορίζουμε D = Ȳ Ȳ j. Η τ.μ. D ακολουθεί κανονική κατανομή ως γραμμικός συνδυασμός ανεξάρτητων κανονικών τ.μ. Εφόσον Ȳ, Ȳ j ανεξάρτητα, η διασπορά της D είναι σ 2 D = σ 2 Ȳ + σ 2 Ȳ j = σ 2 ( 1 n + 1 n j ) και η εκτιμήτρια είναι Άρα ( 1 S 2 D = MSE + 1 n n j D (µ µ j ) S 2 D t n m Ενα δ/μα εμπιστοσύνης για τη διαφορά µ µ j είναι D S 2 Dt 1 α/2,n m µ µ j D + S 2 Dt 1 α/2,n m. ). 18/23
Επιμέρους έλεγχοι υποθέσεων για τους μέσους. Για τον έλεγχο H 0 : µ µ j = 0 έναντι µ µ j 0 απορρίπτουμε την H 0 αν D(S 2 D) 1/2 > t 1 α/2,n m. Ορισμός: Contrasts Contrast λέγεται μία σύγκριση που εμπλέκει 2 η περισσότερα επίπεδα του παράγοντα L = c µ όπου c είναι συντελεστές τέτοιοι ώστε c 1 + + c m = 0. Παράδειγμα Το Contrast L = µ 1 µ 2 όπου c 1 = 1, c 2 = 1 και c = 3,..., m αντιστοιχεί σε διαφορά μέσων. Το Contrast L = µ 1+µ 2 µ 3+µ 4 με 2 2 m = 4, c 1 = c 2 = 1/2 και c 3 = c 4 = 1/2 συγκρίνει μέσες τιμές ζευγών μέσων επιπέδων. 19/23
Επιμέρους έλεγχοι υποθέσεων για τους μέσους. Μια αμερόληπτη εκτιμήτρια για το L είναι η ˆL = c Ȳ. Αφού τα Ȳ είναι ανεξάρτητα, η διασπορά του ˆL είναι σ 2ˆL = m c2 n 1 με εκτιμήτρια S 2ˆL = MSE c 2 n 1 Η ˆL είναι γραμμικός συνδυασμός κανονικών τ.μ. και άρα ακολουθεί την κανονική κατανομή, επομένως, (ˆL L)S 1 ˆL t n m Το διάστημα εμπιστοσύνης είναι ˆL S 2ˆL t n m,1 α/2 µ µ j ˆL + S 2ˆL.t n m,1 α/2 20/23
Η μέθοδος της ελάχιστης σημαντικής διαφοράς. Η μέθοδος της ελάχιστης σημαντικής διαφοράς είναι ο πιο δημοφιλής πολλαπλός έλεγχος. Πρόκειται για σύνολο ελέγχων της μορφής H 0 : µ = µ j για όλα τα j έναντι H 1 : µ µ j Οι έλεγχοι γίνονται με χρήση του στατιστικού t = Ȳ Ȳ j t n m MSE(n 1 + n 1 ) j Οι μέσοι µ και µ j διαφέρουν στατιστικά σημαντικά σε επίπεδο σημαντικότητας α αν Ȳ Ȳ j > t n m,α/2 MSE(n 1 + n 1 j ) Δηλαδή στην ουσία πρόκειται για τεστ ισοδύναμο με το t test. Ενα μειονέκτημα βέβαια είναι ότι όσο μεγαλώνει ο αριθμός των τεστ τόσο αυξάνει η πιθανότητα σφάλματος τύπου Ι. 21/23
Η μέθοδος Scheffe. Ο Scheffe πρότεινε μια μέθοδο γα τη σύγκριση κάποιων ή όλων των δυνατών contrasts ανάμεσα σε μέσους επιπέδων. Εστω ένα σύνολο από contrasts Ισχύει, L j = c j µ, j = 1,..., r. ˆL j = c jˆµ = c j Ŷ, S 2ˆLj = MSE c 2 j n 1 Ο Scheffe κατασκεύασε ταυτόχρονα διαστήματα εμπιστοσύνης της μορφής ˆL j S 2ˆLj C L j ˆLj + S 2ˆLj C, C = (m 1)F m 1,n 1,1 α τέτοια ώστε με πιθανότητα τουλάχιστον 1 α όλα τα δ/τα να είναι αληθή. 22/23
Η μέθοδος Scheffe. Για έλεγχο υποθέσεων της μορφής H 0 : L j = 0 έναντι H 1 : L j 0 απορρίπτουμε την H 0 αν L j S 2 L j > C. Η συνολική πιθανότητα σφάλματος τύπου Ι για τους πολλαπλούς ελέγχους είναι το πολύ α. Τα απλά δ/τα εμπιστοσύνης της κατανομής t είναι πιο στενά από τα αντίστοιχα δ/τα της μεθόδου Scheffe. Αυτό οφείλεται στο ότι κατασκευάζουμε ταυτόχρονα δ/τα για μια οικογένεια contrasts οπότε υπάρχει μεγαλύτερη αβεβαιότητα. Η πιθανότητα σφάλματος τύπου Ι στη μέθοδο Scheffe είναι α αν πάρουμε όλα τα contrasts Στην αντίθετη περίπτωση είναι μικρότερη του α. 23/23