ΑΝΑΛΥΣΗ Ε ΟΜΕΝΩΝ. 8. Ανάλυση διασποράς (ANOVA)

Transcript

1 ΑΝΑΛΥΣΗ Ε ΟΜΕΝΩΝ 8. Ανάλυση διασποράς (ANOVA)

2 Γενικά Επέκταση της σύγκρισης µέσων τιµών µεταβλητής ανάµεσα σε 2 δείγµατα (οµάδες ήστάθµες): Σύγκριση πολλών δειγµάτων (K>2) µαζί Σχέση ανάµεσα σε µια ποσοτική (εξαρτηµένη) µεταβλητή και σε µια κατηγορική (ανεξάρτητη) ANOVA ως προς έναν παράγοντα (oneway ANOVA): Πώς επηρεάζει ένας παράγοντας µια ποσοτική µεταβλητή; Πολυµεταβλητή ANOVA (multivariate ANOVA): Πώς επηρεάζουν πολλοί παράγοντες µαζί µια ποσοτική µεταβλητή; ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 2

3 Ακαταλληλότητα του t-test Γιατί δεν χρησιµοποιούµε πολλά t-tests για σύγκριση όλων των δυνατών συνδυασµών; Π.χ. Σύγκριση 3 δειγµάτων (1, 2, 3) t-tests: 1-2, 1-3, 2-3 µε σ.σ. (sig)=0.05 για το καθένα Συνολική «εµπιστοσύνη» (πιθανότητα να µην έχει γίνει λάθος σε κανένα test) = (0.95) 3 =0.857 Πιθανότητα να έχει γίνει λάθος σε ένα τουλάχιστο test = = > 0.05 ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 3

4 ιόγκωση του σφάλµατος Συµπέρασµα: Η πιθανότητα σφάλµατος αυξάνεται δραµατικά µε τον αριθµό των συγκρίσεων Π.χ. για 5 δείγµατα (10 συγκρίσεις) έχουµε πιθανότητα ενός τουλάχιστον σφάλµατος 1-(0.95) 10 =0.40 (!!) ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 4

5 Τι ακριβώς ελέγχει η ANOVA; Η ANOVA ελέγχει την υπόθεση ότι όλες οι µέσες τιµές των οµάδων που ελέγχουµε είναι ίσες Χρησιµοποιεί το F-statistic (F-ratio) για «οµαδικό» έλεγχο ύπαρξης διαφοράς εν µπορεί να µας πει ποιες ακριβώς οµάδες διαφέρουν Ηύπαρξηέστωκαιµιας διαφοράς ερµηνεύεται ότι ο παράγοντας (κατηγορική µεταβλητή) επηρεάζει σηµαντικά την ποσοτική µεταβλητή ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 5

6 Παράδειγµα (file: Viagra.sav) Παράδειγµα: Επίδραση Viagra στη λίµπιντο πείραµα σε15 άτοµα Μεταβλητές: dose: ο παράγοντας ελέγχου σε 3 στάθµες (οµάδες): 1=placebo, 2=low dose, 3=high dose libido: µέτρηση της λίµπιντο σε διάστηµα µιας εβδοµάδας (?) ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 6

7 Περιγραφή των δεδοµένων ως προς την οµάδα ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 7

8 Case Summaries a Στατιστικά οµάδων Η µέση τιµή της εξαρτηµένης µεταβλητής βλέπουµε ότι αυξάνεται µε τη δόση Dose Group Placebo Low Dose High Dose Total Total Total Total N Mean Std. Deviation Variance N Mean Std. Deviation Variance N Mean Std. Deviation Variance N Mean Std. Deviation Variance Libido ,20 1,304 1, ,20 1,304 1, ,00 1,581 2, ,47 1,767 3,124 a. Limited to first 100 cases. ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 8

9 Γραφική παράσταση: Graphs -> Bar ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 9

10 Γραφικήσύγκρισητωνµέσων τιµών των οµάδων ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 10

11 ΗλογικήτηςANOVA Αν η επίδραση του παράγοντα δεν είναι σηµαντική τότε η µεταβλητότητα µπορεί να εξηγηθεί µόνο από τον γενικό µέσο όρο (grand mean) Ανηεπίδρασητουπαράγονταείναι σηµαντική τότε οι διαφορές των µέσων τιµών των οµάδων (group means) από τον γενικό µέσο όρο (grand mean) πρέπει να είναι µεγάλες Ουσιαστικά υποθέτουµε ότιηεπίδρασητου παράγοντα είναι µετρήσιµη και µπορεί να µοντελοποιηθεί ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 11

12 Σύγκριση των µετρήσεων µε τους µέσους όρους κάθε οµάδας Grand mean mean for high mean for low mean for placebo ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 12

13 Έλεγχος της επίδρασης του παράγοντα (1/2) Συνολικό άθροισµα τετραγώνων SST = ( yi ygrand ) Άθροισµα τετραγώνων του µοντέλου (του παράγοντα) SS M Άθροισµα τετραγώνων υπολοίπων 2 = n ( y ygrand ) k k 2 SS R = SS T SS M = ( y yk ) ik 2 ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 13

14 Έλεγχος της επίδρασης του παράγοντα (2/2) Μέσα τετράγωνα (Mean squares): SS SS MS = M = M SS M MSM = dfm K 1 df F-ratio: F = MS MS SS N R Ερµηνεία: Το MS M παριστά τη συστηµατική διασπορά που οφείλεται στον παράγοντα ενώ το MS R την τυχαία µη-συστηµατική. Αν το F είναι µεγάλο (>1) τότε έχουµε ένδειξη επίδρασης του παράγοντα. Πρέπει sig.<0.05 M R R = M K ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 14

15 One-way ANOVA ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 15

16 Αποτέλεσµα Libido Between Groups Within Groups Total SS M ANOVA K-1 MS M F>1 Sum of Squares df Mean Square F Sig. 20, ,067 5,119,025 23, ,967 43, SS R SS T n-k MS R sig<0.05 F>1 και sig<0.05 άρα το Viagra έχει αποτελέσµατα! ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 16

17 Συγκρίσεις ανάµεσα στις στάθµες παράγοντα Το F-test µας λέει αν υπάρχουν διαφορές ανάµεσα στις στάθµες ενός παράγοντα (και όχι ποιες διαφέρουν!) Για να εντοπίσουµε τιςδιαφορές (χωρίς να κάνουµε όλαταt-tests): Εκτελούµε προκαθορισµένες συγκρίσεις (contrasts) Εκτελούµε ελέγχους(παρόµοιους µε το t- test) αλλά µε αυστηρότερη πιθανότητα αποδοχής post hoc tests ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 17

18 Συγκρίσεις (contrasts) Στο παράδειγµα: Υπάρχει διαφορά οποιασδήποτε δόσης σε σχέση µε τοplacebo; Υπάρχει διαφορά ανάµεσα στην υψηλή και τη χαµηλή δόση; Μεθοδολογία: Η διασπορά που εξηγείται από τον παράγοντα (SS M ) διασπάται σε συνιστώσες ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 18

19 ιάσπαση διασποράς για εκτέλεση συγκρίσεων Συνολική διασπορά SS T ιασπορά που εξηγείται από τον παράγοντα SS Μ ιασπορά Low + High Dose ιασπορά Low Dose ιασπορά High Dose ιασπορά Placebo Ανεξήγητη διασπορά SS R 2nd contrast 1st contrast ANOVA ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 19

20 Ορισµός των συγκρίσεων µε βάρη Για τον ορισµό των συγκρίσεων δίνουµε «βάρη» στις στάθµες του παράγοντα Τα βάρη (θετικά, αρνητικά ή 0) πρέπει να έχουν άθροισµα 0 Για την 1 η σύγκριση: -2(placebo)+1(low dose)+1(high dose) Για τη δεύτερη σύγκριση: 0(placebo)-1(low dose)+1(high dose) ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 20

21 Πολυωνυµικές συγκρίσεις (Polynomial contrasts) Για διερεύνηση τάσεων στα δεδοµένα εξετάζονται πολυώνυµα 1-4 βαθµού Γραµµική (linear): Οι µέσες τιµές των οµάδων αυξάνονται ανάλογα Τετραγωνική (quadratic) Κυβική (cubic) Τετάρτου βαθµού (quartic) Έχει νόηµα ναχρησιµοποιούνται όταν οι στάθµες του παράγοντα είναι διατεταγµένες (ordered) ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 21

22 Post hoc tests Σύγκριση όλων των δυνατών διαφορών ανάµεσα στις οµάδες Γίνεται διόρθωση του σφάλµατος έτσι ώστε το συνολικό να είναι <0.05 Στο SPSS: Για ίσα δείγµατα και ίσες διασπορές REGWQ ή Tukey Bonferroni: καλό αλλά συντηρητικό Μικρές διαφορές στα µεγέθη δειγµάτων: Gabriel Μεγάλες διαφορές στα µεγέθη δειγµάτων: Hochberg s GT2 Για διασπορές άνισες: Games-Howell Για σύγκριση µε control: Dunnett ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 22

23 Εφαρµογή στο SPSS: Contrasts Analyze->Compare Means->One-way ANOVA ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 23

24 Εφαρµογή στο SPSS: Post hoc ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 24

25 Εφαρµογή στο SPSS: Options ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 25

26 Αποτελέσµατα Means plot Φαίνεται να υπάρχει µια γραµµική τάση ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 26

27 Αποτελέσµατα - Descriptives Descriptives Libido Placebo Low Dose High Dose Total 95% Confidence Interval for Mean N Mean Std. Deviation Std. Error Lower Bound Upper Bound Minimum Maximum 5 2,20 1,304,583,58 3, ,20 1,304,583 1,58 4, ,00 1,581,707 3,04 6, ,47 1,767,456 2,49 4, Στατιστικά µέτρα για κάθε οµάδα ξεχωριστά. ίνονται και 95% δ.ε. των µέσων τιµών των αντίστοιχων πληθυσµών ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 27

28 Αποτελέσµατα - Levene s test για ισότητα διασπορών Test of Homogeneity of Variances Libido Levene Statistic df1 df2 Sig., ,913 Sig. = >0.05 εν υπάρχει σηµαντική διαφορά ανάµεσα στις διασπορές των 3 οµάδων ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 28

29 Αποτελέσµατα -ANOVA Libido Between Groups (Combined) Linear Term SS M Contrast Deviation ANOVA MS M sig<0.05 Sum of Squares df Mean Square F Sig. 20, ,067 5,119,025 19, ,600 9,966,008,533 1,533,271,612 Within Groups Total Quadratic Term Contrast,533 1,533,271,612 23, ,967 43, SS R SS T MS R sig=0.025 Ηεπίδρασητου παράγοντα σηµαντική ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 29

30 Αποτελέσµατα trend analysis ANOVA sig<0.05 Libido Between Groups (Combined) Linear Term Contrast Deviation Sum of Squares df Mean Square F Sig. 20, ,067 5,119,025 19, ,600 9,966,008,533 1,533,271,612 Within Groups Total Quadratic Term Contrast,533 1,533,271,612 23, ,967 43, sig>0.05 sig(linear)=0.008 <0.05 Υπάρχει ισχυρή γραµµική τάση sig(quadratic)=0.612>0.05 εν µπορεί να παρασταθεί η τάση από παραβολή (πολυώνυµο 2 ου βαθµού) ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 30

31 Αποτελέσµατα - Εναλλακτικά F-tests Robust Tests of Equality of Means Libido Statistic a df1 df2 Sig. Welch 4, ,943,054 Brown-Forsythe 5, ,574,026 a. Asymptotically F distributed. Χρειάζονται µόνο στην περίπτωση όπου οι διασπορές παρουσιάζουν διαφορές. Εδώ δεν χρειάζονται!! ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 31

32 Αποτελέσµατα - contrasts Contrast Coefficients Contrast 1 2 Dose Group Placebo Low Dose High Dose Contrast Tests Libido Assume equal variances Does not assume equal variances Contrast Value of Contrast Std. Error t df Sig. (2-tailed) 3,80 1,536 2,474 12,029 1,80,887 2,029 12,065 3,80 1,483 2,562 8,740,031 1,80,917 1,964 7,720,086 contrast 1: sig=0.029<0.05 Υπάρχει διαφορά ανάµεσα στο placebo και στο φάρµακο contrast 2: Παρόλο που sig=0.065>0.05 υπάρχει ένδειξη διαφοράς (Αν το test ήταν µονόπλευρο το sig/2 < 0.05) ανάµεσα στις δύο δόσεις ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 32

33 Αποτελέσµατα -Post hoc Dependent Variable: Libido Multiple Comparisons Tukey HSD Games-Howell Dunnett t (2-sided) a (I) Dose Group Placebo Low Dose High Dose Placebo Low Dose High Dose Low Dose High Dose (J) Dose Group Low Dose High Dose Placebo High Dose Placebo Low Dose Low Dose High Dose Placebo High Dose Placebo Low Dose Placebo Placebo *. The mean difference is significant at the.05 level. a. Dunnett t-tests treat one group as a control, and compare all other groups against it. Mean Difference 95% Confidence Interval (I-J) Std. Error Sig. Lower Bound Upper Bound -1,000,887,516-3,37 1,37-2,800*,887,021-5,17 -,43 1,000,887,516-1,37 3,37-1,800,887,147-4,17,57 2,800*,887,021,43 5,17 1,800,887,147 -,57 4,17-1,000,825,479-3,36 1,36-2,800*,917,039-5,44 -,16 1,000,825,479-1,36 3,36-1,800,917,185-4,44,84 2,800*,917,039,16 5,44 1,800,917,185 -,84 4,44 1,000,887,446-1,22 3,22 2,800*,887,015,58 5,02 ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 33

34 Συµπεράσµατα Post hoc Tukey και Games-Howell: είχνουν σηµαντική διαφορά µόνο ανάµεσα στο placebo και στη high dose Dunnett: Συγκρίνονται οι 2 δόσεις ξεχωριστά µε τοcontrol. Μόνο η µεγάλη έχει διαφορά Γενικά τα post hoc tests είναι αρκετά συντηρητικά ως προς τον εντοπισµό διαφορών ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 34

35 Αποτελέσµατα Post hoc οµογενείς οµάδες Tukey HSD a Ryan-Einot-Gabriel- Welsch Range Dose Group Placebo Low Dose High Dose Sig. Placebo Low Dose High Dose Sig. Libido N ,20 5 3,20 3,20 5 5,00 5 2,20 Means for groups in homogeneous subsets are displayed. a. Uses Harmonic Mean Sample Size = 5,000. Subset for alpha =.05,516, ,20 3,20 5 5,00,282,065 Με βάση τα tests οι οµάδες χωρίζονται σε οµογενή υποσύνολα. Εδώ (Placebo&Low) και (Low&High) Ερµηνεύεται όπως και πριν (υπάρχει διαφορά µόνο placebo high) ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 35

36 Συµπεράσµατα Η 1-way ANOVA συγκρίνει πολλούς µέσους µαζί Αν έχουµε συγκεκριµένες υποθέσεις πριν το πείραµα εκτελούµε contrasts, διαφορετικά post hoc tests Για την επιλογή του κατάλληλου ελέγχου είναι σηµαντικός ο έλεγχος για την ισότητα των διασπορών ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 36

37 Άσκηση Στο αρχείο teach.sav υπάρχουν οι βαθµολογίες από 3 τάξεις µαθητών όπου έχουν εφαρµοστεί 3 διαφορετικές µέθοδοι εκµάθησης (τιµωρία, αδιαφορία, επιβράβευση) Να εκτελέσετε όλα τα βήµατα της ANOVA για να ελέγξετε αν η µέθοδος έχει κάποια επίδραση στη βαθµολογία και ποια είναι η φύση της επίδρασης αυτής ΕΛΕΥΘΕΡΙΟΣ ΑΓΓΕΛΗΣ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΠΘ 37