ΠΟΛΛΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ

Transcript

1 ΠΟΛΛΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ Καθηγητής Ι. Κ. ΔΗΜΗΤΡΙΟΥ Εθνικό και Καποδιστριακό Πανεπιστήμιο Αθηνών Οικονομικά, Διοικητικά και Πληροφοριακά Συστήματα Επιχειρήσεων

2 Οργάνωση διάλεξης σε 2 επίπεδα 1. Ανάλυση του προβλήματος με ένα παράδειγμα 2. Επιμέρους θέματα (ψευδομεταβλητές, stepwise regression, κατάλοιπα, ελαστικότητες, κλπ), ερωτήματα χρήσεως ΣΗΜΕΙΩΣΗ: Οι διαφάνειες γράφτηκαν αρκετά λεπτομερώς, ώστε να διευκολυνθεί η μελέτη του αντικειμένου. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 10

3 Η παλινδρόμηση (με τις πολλές μορφές που μπορεί να λάβει) δίνει ποσοτικές εκτιμήσεις σε οικονομικές (και άλλες) σχέσεις πιστοποιεί τη θεωρία. Η θεωρία μπορεί να προέρχεται από την Οικονομία Φυσική, Μετεωρολογία, Αστρονομία Βιολογία Μηχανική (Engineering) Γενικά, οποιαδήποτε επιστήμη που υπόκειται σε αβεβαιότητες Επί του συνόλου των χρήσεων αναλυτικών μεθόδων φαίνεται να συντελεί στο 80% Ι. Κ. ΔΗΜΗΤΡΙΟΥ 11

4 Εμπειρική έρευνα (γενικώς) 1. Έστω οικονομικό / διοικητικό πρόβλημα (δηλ. υποθέσεις, μεταβλητές, σχέσεις, αρχικός προσδιορισμός οικονομετρικού υποδείγματος) 2. Μετασχηματισμός σε οικονομετρικό υπόδειγμα (σχέση, πχ γραμμική, υποθέσεις για σφάλμα) 3. Λήψη δείγματος με κατάλληλη μέθοδο οικονομετρίας 4. Εκτίμηση παραμέτρων και ΕΥ 5. Διάγνωση εγκυρότητας υποθέσεων (μτβλ, τύπος, ιδιότητες σφάλματος) 6. Αξιολόγηση συνεπειών των εμπειρικών αποτελεσμάτων που εξήχθησαν από το υπόδειγμα. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 12

5 Εμπειρική έρευνα (ειδικώς για τη διάλεξη) 1. Έστω οικονομικό / διοικητικό πρόβλημα (δηλ. υποθέσεις, μεταβλητές, σχέσεις, αρχικός προσδιορισμός οικονομετρικού υποδείγματος) 2. Μετασχηματισμός σε οικονομετρικό υπόδειγμα (σχέση, πχ γραμμική, υποθέσεις για σφάλμα) 3. Λήψη δείγματος με κατάλληλη μέθοδο οικονομετρίας 4. Εκτίμηση παραμέτρων και ΕΥ 5. Διάγνωση εγκυρότητας υποθέσεων (μτβλ, τύπος, ιδιότητες σφάλματος) 6. Αξιολόγηση συνεπειών των εμπειρικών αποτελεσμάτων που εξήχθησαν από το υπόδειγμα. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 13

6 Η Ανάλυση Παλινδρόμησης (γενικώς) προσδιορίζει το υπόδειγμα (μοντέλο ή εκτιμημένη εξίσωση) για μία ή περισσότερες μεταβλητές και παρέχει μεθόδους εξαγωγής συμπερασμάτων για κάποιον πληθυσμό βασισμένη σε ένα δείγμα μεγέθους n. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 14

7 Στην πολλαπλή γραμμική παλινδρόμηση μια εξαρτημένη μεταβλητή είναι γραμμική σχέση πολλών ανεξάρτητων μεταβλητών. y x x x y sin( x) cos( x) y log( x ) log( x ) y k l Ι. Κ. ΔΗΜΗΤΡΙΟΥ 15

8 ΣΚΟΠΟΣ Αφού υπολογισθούν οι τιμές (ή για την ακρίβεια, οι εκτιμήσεις των τιμών) των β i, δίνομε τις τιμές αυτές στην εξίσωση για προβλέψεις των τιμών της y. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 16

9 Περιγραφή της πολλαπλής γραμμικής παλινδρόμησης Δίνεται ένα σύνολο Ν-άδων παρατηρήσεων και μια άγνωστη συναρτησιακή σχέση, η οποία υπόκειται των παρατηρήσεων. Συγκεκριμένα θεωρούμε τη σχέση όπου μια μεταβλητή είναι γραμμική συνάρτηση Ν άλλων μεταβλητών. Πρώτον, θα προσδιορίσομε τη σχέση αυτή χρησιμοποιώντας πληροφορίες από τα δεδομένα. Έπειτα θα εξετάσομε (έλεγχος υπόθεσης) αν οι συντελεστές της σχέσης είναι σημαντικά διάφοροι του μηδενός. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 17

10 Παράδειγμα δεδομένων, Ν-άδων μτβλ ανεξάρτητη ανεξάρτητη... ανεξάρτητη Εξαρτημένη ,5 68 F ,0 99 F ,0 98 M ,0 90 M ,0 99 F ,0 97 F ,0 79 M ,0 95 F ,0 85 M ,0 82 M ,0 81 M ,5 87 M ,0 92 F ,0 89 F ,0 97 F 0 89 Ι. Κ. ΔΗΜΗΤΡΙΟΥ 18

11 Παράδειγμα δεδομένων Calc HS ACT Math Alg Place Alg2 Grade HS Rank Gender Gender Code Calc ,5 68 F ,0 99 F ,0 98 M ,0 90 M ,0 99 F ,0 97 F ,0 79 M ,0 95 F ,0 85 M ,0 82 M ,0 81 M ,5 87 M ,0 92 F ,0 89 F ,0 97 F 0 89 Ι. Κ. ΔΗΜΗΤΡΙΟΥ 19

12 Υποθέσεις του υποδείγματος γραμμικής παλινδρόμησης (κάθε φορά που καλείται η Παλινδρ) 1. Το γραμμικό υπόδειγμα είναι σωστό 2. Ο όρος σφάλματος ε, κατανέμεται Κανονικά γύρω από το μηδέν 3. Τα σφάλματα έχουν σταθερή διακύμανση 4. Τα σφάλματα είναι ανεξάρτητα αλλήλων. ΠΡΟΣΟΧΗ: Η σημαντικότητα της εξίσωσης παλινδρόμησης δεν είναι απόδειξη ότι οι υποθέσεις αυτές δεν έχουν παραβιαστεί. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 20

13 Η κατανομή F είναι βασική στην παλινδρόμηση και την ΑΝΑΔΙΑ. Λοξή (skewed) F(4,9) p-value: Η τιμή-p είναι η πιθανότητα για μια τιμή τόσο ακραία όσο η παρατηρηθείσα. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 22

14 Ronald Fisher ( ) Karl Pearson ( ) F χ 2 Source: nt/kohler/stat/biographical_sket ches/fisher_3.jpeg Ι. Κ. ΔΗΜΗΤΡΙΟΥ 23

15 Χρήση Παλινδρόμησης για Πρόβλεψη Έστω (ΥΠΟΔΕΙΓΜΑ), εξαρτημένη μεταβλητή: τιμή διαμερίσματος (y) και ανεξάρτητες μεταβλητές: μ 2 & παλαιότητα πολυκατοικίας (x 1 ) & τιμή ενοικίασης (x 2 ) & κατάσταση κτηρίου (x 3 ). Χρησιμοποιούμε πολλαπλή παλινδρόμηση για να δούμε πώς πολλές μεταβλητές συνδυάζονται για να προβλέψουν την τιμή της εξαρτημένης μεταβλητής. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 24

16 Πόση από τη μεταβλητότητα της εξαρτ μτβλ εξηγείται από τις ανεξ μτβλ; Οι συνδυασμένες μτβλ δίνουν καλύτερα ή χειρότερα αποτελέσματα από τα αναμενόμενα; Πόση σημασία έχουν οι επιμέρους μτβλ στην πρόβλεψη; Μπορούμε να απαλείψομε κάποια επιμέρους μτβλ χωρίς απώλεια αξιοπιστίας της πρόβλεψης; Πχ ας υποθέσομε ότι το προηγούμενο ΥΠΟΔΕΙΓΜΑ, χωρίς άλλες πληροφορίες, δίνει y x 0.76x 1.54x Ι. Κ. ΔΗΜΗΤΡΙΟΥ 25 Φανερά, η κατάσταση κτηρίου έχει τη μεγαλύτερη βαρύτητα στο υπόδειγμα

17 Παρατηρήσεις Στην πολλαπλή παλινδρόμηση οι υπολογισμοί είναι πολύπλοκοι και χειροτερεύουν καθώς αυξάνει ο αριθμός των συντελεστών Χρήση πακέτων λογισμικού. Επίσης, η παλινδρόμηση μπορεί να χρησιμοποιηθεί για τη σύγκριση ομάδων (πχ διαφοροποίηση μισθών ανδρών-γυναικών, σύγκριση αποδοτικότητας κλπ), αντί για ΑΝΑΔΙΑ. Μαρτυρία σε δικαστήριο - στις ΗΠΑ πολλοί στατιστικοί εργάζονται σε νομικές διαδικασίες. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 26

18 Παρουσίαση με ένα παράδειγμα: Πρόβλεψη βαθμών Πώς η επίδοση των πρωτοετών φοιτητών στο διαφορικό λογισμό (μτβλ Calc) σχετίζεται με διάφορες ανεξάρτητες μεταβλητές; (δίνεται το αρχείο calc.xls > copy σε calc3.xls πριν το χρησιμοποιήσετε) Ι. Κ. ΔΗΜΗΤΡΙΟΥ 27

19 Δομή του αρχείου calc.xls ONOMA MTBΛ Calc_HS ACT_Math Alg_Place Alg2_Grade HS_Rank Gender Gender_Code Calc ΠΕΡΙΓΡΑΦΗ Calculus High School (0/1, N/O) ACT maths exam (American College Testing) Algebra Placement exam in the first week of classes 2nd year Άλγεβρα High School βαθμός Φύλλο Α/Θ Φύλλο (1/0) Βαθμός στο Calculus Ι. Κ. ΔΗΜΗΤΡΙΟΥ 28

20 Το περιεχόμενο του αρχείου (συνόλου) 80 δεδομένων Calc HS ACT Math Alg Place Alg2 Grade HS Rank Gender Code Gender Calc , F , F , M , M , F , F , M , F , M 88 Calc3.xls Κρατείστε αντίγραφο των δεδομένων Ι. Κ. ΔΗΜΗΤΡΙΟΥ 29

21 (Συσχέτιση μεταβλητών Όταν έχομε να μελετήσομε πολλές μεταβλητές, κατ αρχήν είναι χρήσιμο να υπολογίσομε τις συσχετίσεις μεταξύ των μεταβλητών. Έτσι λαμβάνομε μια γρήγορη εικόνα των σχέσεων μεταξύ των μεταβλητών, προσδιορίζοντας ποιες είναι πολύ συσχετισμένες και ποιες όχι. Αυτό μπορεί να γίνει με τον πίνακα συσχέτισης: Ι. Κ. ΔΗΜΗΤΡΙΟΥ 30

22 Σας δίνεται το αρχείο calc.xls > copy σε calc2.xls πριν το χρησιμοποιήσετε. Στο Excel εκτελούμε Εργαλεία > Ανάλυση Δεδομένων > Συσχέτιση Ι. Κ. ΔΗΜΗΤΡΙΟΥ 32

23 Πιο ενδιαφέρουσες, δηλ. υψηλότερες, οι συσχετίσεις με Calc. Κάθε άλλη συσχέτιση υπολείπεται. Πχ R(Calc με HSRank)= ή R 2 =10.5% του βαθμού Calc εξηγείται από HSRank. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 33 Ερμηνείες συσχέτισης

24 Αν HS Rank χρησιμοποιηθεί (πρβλ παλινδρόμηση) για την πρόβλεψη του Calc, βελτιώνει κατά 10.5% το άθροισμα των σφαλμάτων στο Calc. R(Calc με Calc HS=0/1)= σημαίνει ότι αν ο φοιτητής είχε Calc HS είναι αρκετά πιθανό να λάβει καλύτερο βαθμό στο Calc (το Excel δεν δείχνει πόσο πιθανό είναι αυτό, δηλ. την p-τιμή). Αρνητικές συσχετίσεις: R(Alg2 Grade με Gender Code=0/1)= R(HS Rank με Gender Code=0/1)= Αφορούν μόνο τους Α: χειρότεροι στην Αλγ και στην κατάταξη. Οι Θ είχαν μεγαλύτερο βαθμό στην Άλγεβρα 2 και καλύτερη κατάταξη (HS Rank). 34

25 Επίσης μπορούμε να λάβομε τα διαγράμματα διασποράς της y ως προς κάθε άλλη μτβλ και εκάστης μτβλ ως προς τις άλλες μτβλ. Αυτό θα αποκαλύψει υποκείμενες σχέσεις (πχ. μονοτονίες, γραμμικότητες, καμπυλότητες, κλπ) μεταξύ των μεταβλητών και θα δείξει και τις ισχυρότερες εξαρτήσεις (ΙΚΔ εδώ χρειάζονται μέθοδοι ανάλυσης dd). Έχομε ήδη δει τον πίνακα συσχετ: δεν δείχνει ότι μπορεί να ληφθεί μια ακριβής πρόβλεψη. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 35

26 Calc Calc Calc Πόσο φανερή είναι η συσχέτιση? - Ανοδική γραμμική τάση - Άνοιγμα τιμών y AlgPlace Calc Calc ACT Math Πόσο φανερή είναι η συσχέτιση? - Tάση? Ανοδική γραμμική τάση - Άνοιγμα τιμών y? Ι. Κ. ΔΗΜΗΤΡΙΟΥ 36

27 Alg2 Grade Alg2Grade 4,5 4,0 3,5 3,0 2,5 2,0 1,5 1,0 0,5 0, AlgPlace Πόσο φανερή είναι είναι η συσχέτιση? - Tάση? - Άνοιγμα τιμών y? Γενικώς, τα ανωτέρω γραφήματα υποδεικνύουν γραμμικότητες (άρα συσχέτιση και παλινδρόμηση είναι κατάλληλες τεχνικές για πρόβλεψη της calc). Ι. Κ. ΔΗΜΗΤΡΙΟΥ 37

28 Στην ουσία καμιά γραφική ανάλυση δεν είναι ακριβής. Απλώς υποδεικνύει σχέσεις. Σημειωτέον ότι η πολυσυγγραμμικότητα (Π/Σ) εκτιμάται από τον πίνακα παλινδρόμησης. Π/Σ υπάρχει αν οι μτβλ είναι πολύ συσχετισμένες ) Επιστρέφομε στην ανάλυση παλινδρόμησης. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 38

29 Factors Affecting Achievement in the First Course in Calculus (Edge & Friedberg, J. Experim Education, 1984): Three groups of students at Illinois State University (of respective sizes 235, 157, and 397) were used as subjects to determine which factors were significant predictors of success in the first course in calculus. The second and third groups were used to provide replications of the initial study. Academic independent variables considered were: ACT scores, high school rank, high school GPA, high school algebra grades, and the score from an algebra pretest. Biographical independent variables considered were: sex, birth order, family size and high school size. The dependent variable was a function of the student's course grade in the first semester of calculus. The use of stepwise and all-subsets regression procedures on the three groups revealed in each case that the best combination of predictors consisted of the algebra pretest and high school rank. From this result, the investigators concluded that the combination of algebraic skills, as represented by the score on the algebra pretest, and long-term perseverance (επιμονή, εμμονή, εργατικότητα, φιλοπονία) and competitiveness, as measured by high school rank, play a significant role in the prediction of achievement in the 41 first semester of calculus.

30 Προτείνεται το υπόδειγμα: Calc= CalcHS + ACTMath AlgPlace + Alg2Grade HSRank + GenderCode + ε 5 6 Το μοντέλο αυτό αφορά στον πληθυσμό από τον οποίο έχομε λάβει το δείγμα Calc.xls. H Ανάλυση με Excel / Analysis ToolPak / Regression παρέχει ένα εκτιμημένο μοντέλο (υπόδειγμα) που βασίζεται σε ένα δείγμα 80 βαθμολογιών. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 42

31 Για να εξάγομε συμπεράσματα για τον πληθυσμό από τον οποίο λάβαμε το δείγμα απαιτείται να αναπτύξομε ένα εκτιμημένο υπόδειγμα παλινδρόμησης και να χρησιμοποιήσομε μια διαδικασία στατιστικής συμπερασματολογίας. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 43

32 Πρώτα τακτοποιούμε τα δεδομένα στο calc3.xls (σε σχέση με το αρχικό αρχείο calc.xls) για να έχομε συνεχόμενες στήλες με αριθμούς. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 44

33 Ι. Κ. ΔΗΜΗΤΡΙΟΥ 45

34 Έπειτα στο Excel εκτελούμε Εργαλεία > Ανάλυση Δεδομένων > Παλινδρόμηση (Επιδείχθηκε στην προηγούμενη διάλεξη) Ι. Κ. ΔΗΜΗΤΡΙΟΥ 46

35 CALC3.xls / φύλλο MultReg Ι. Κ. ΔΗΜΗΤΡΙΟΥ 47

36 Ι. Κ. ΔΗΜΗΤΡΙΟΥ 48

37 Επιμέρους αναλύσεις και διερμηνεύσεις: Πρώτη ερώτηση Είναι το υπόδειγμα σημαντικό; Δεύτερη ερώτηση Πόσο επεξηγηματικό είναι το μοντέλο; Τρίτη ερώτηση Ποια είναι η εξίσωση παλινδρόμησης και ποιες μεταβλητές είναι οι πιο σημαντικές; Ι. Κ. ΔΗΜΗΤΡΙΟΥ 49

38 Επιμέρους Πρώτη ερώτηση: είναι το υπόδειγμα σημαντικό; (αφορά στην αμέσως επόμενη ανάλυση) Ι. Κ. ΔΗΜΗΤΡΙΟΥ 50

39 Διερμήνευση του πίνακα ANOVA / ANAΔΙΑ ΑΝΑΔΙΑ: Δείχνει αν το υπόδειγμα παλινδρόμησης είναι σημαντικό. Βοηθά να επιλέξομε μεταξύ των δύο υποθέσεων (α=5%): Η 0 : Οι συντελεστές και των έξι μεταβλητών = 0 Η 1 : Τουλάχιστον ένας συντελεστής 0 ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ n = 80 Αν Η 0 αληθής, το κλάσμα F ~ F(6,73) 2.23 βε SS MS F Σημαντικότητα F Παλινδρόμηση ESS ,2 640,03 7,2 4,7E-06 Κατάλοιπο RSS ,0 88,9 Σύνολο TSS ,0 Η0: δηλ. δεν υπάρχει σχέση μεταξύ των 6 μεταβλητών και της εξαρτημένης Ι. Κ. ΔΗΜΗΤΡΙΟΥ 51 Σημαντικότητα παλινδρόμησης?

40 ΠΑΡΑΤΗΡΗΣΗ: ΑΝΑΔΙΑ: Δείχνει αν το υπόδειγμα παλινδρόμησης είναι σημαντικό. Πρόχειρα μιλώντας: δηλ. αν το error (RSS) είναι μικρό σε σχέση με την παλινδρόμηση (ESS). Δηλ. όσο πιο μεγάλο το κλάσμα ESS/RSS, τόσο καλύτερα. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 52

41 Έλεγχος υποθέσεων (συζήτηση) Αν Η 0 αληθής, τότε πρέπει το F-κλάσμα να ακολουθεί την F(με 6 βε στον αριθμητή και 73 στον παρονομαστή). Αυτό ελέγχεται με την απάντηση στην 6η στήλη. Υπό την Η 0, η πιθανότητα λήψης της τιμής F-κλάσμα = 7.2 (~F, κλάσμα με 6 βε στον αριθμητή και 73 στον παρονομαστή) είναι 0, (= p-value, αφορά στην Η 0 ) < < Κανόνας: Αν η παλινδρόμηση είναι σημαντική (βλ στήλη F, δηλ. p-value < εσ), απορρίπτομε την Η 0. Διαφορετικά δεν απορρίπτομε την Η 0. (Στο παράδειγμα, απορρίπτομε την Η 0 υπό 5% και αποδεχόμαστε την Η 1 ). Άρα η παλινδρόμηση είναι σημαντική σε επίπεδο 5%. Αν F όχι σημαντικό, δεν θα είχε ενδιαφέρον να 53 συνεχίσομε την ανάλυση.

42 A p-value means only one thing (although it can be phrased in a few different ways), it is: The probability of getting the results you did (or more extreme results) given that the null hypothesis is true. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 54

43 Η Ανάλυση Διακύμανσης ξεκινά με την αποσύνθεση του ΤSS = Σ (y i y_bar) 2 = μονάδες μεταβολής. Που οφείλονται; Υπάρχουν δύο πηγές: Οι μτβλ πρόβλεψης ή άλλες μτβλ που δεν θεωρούνται στο μοντέλο. Το ΕSS (παλινδρόμηση) = 3840 μετρά τη μεταβολή στην εξαρτημένη μτβλ λόγω των έξι εξαρτημένων μτβλ συν όλων των άλλων πιθανών μτβλ που δεν θεωρούνται (ακόμη) στο μοντέλο. Το RSS (κατάλοιπα) = 6492 μετρά τη μεταβολή στην εξαρτημένη μτβλ μόνον λόγω όλων των άλλων μτβλ που δεν θεωρούνται (ακόμη) στο μοντέλο. TSS = ESS + RSS ή = TSS έχει n-1 βε = 80 1 (μέγεθος δείγματος, 1 λόγω y_bar) ESS έχει k βε = 6 (πλήθος μτβλ) RSS έχει n-1-k βε = 73 (κατάλοιπα) 55

44 St Error of Est = sqrt(m RSS) = sqrt(6492/73)= sqrt(88.9)=9.43 = επίδραση σφάλματος στην παλινδρόμηση Standard error είναι η εκτιμημένη τιμή του σ, η τυπική απόκλιση του όρου ε, δηλ βλπ παρακάτω (μειώνεται: 1. προσθέτοντας στατ σημαντ μετβλ στην παλινδρόμηση 2. απομακρύνοντας μη σημαντ μτβλ μέσω του ΑΝΑΔΙΑ) 56

45 Διερμήνευση του πίνακα ANOVA (συνέχεια) ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ βε SS MS F Σημαντικότητα F Παλινδρόμηση ESS ,2 640,03 7,2 4,7E-06 Υπόλοιπο RSS ,0 88,9 Σύνολο TSS ,0 Μικρό F δείχνει ότι η μεταβλητικότητα της y οφείλεται στο rnd error και όχι στην παλινδρόμηση. Εδώ, 7.2 > F(6,73,0.05)= Άρα παλινδρόμηση σημαντική σε εσ 5% και αποδοχή Η 1. Έπεται ότι κάποια β i 0. Αν F-test μη σημαντικό, δεν έχει ενδιαφέρον η υπόλοιπη παλινδρόμηση. 4.7Ε-06=[Η πιθανότητα ότι ένα κλάσμα F(6,73) έχει τιμή 7.2]<<5%=εσ. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 58

46 Έχοντας απορρίψει την Η 0, μπορούμε να χρησιμοποιήσομε το μοντέλο παλινδρ για να κάνομε προβλέψεις. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 59

47 Συνέχεια της ανάλυσης (δεύτερη ερώτηση). Πόσο επεξηγηματικό είναι το μοντέλο; Ι. Κ. ΔΗΜΗΤΡΙΟΥ 60

48 Διερμήνευση Στατιστικών Πολλ Παλινδρόμησης Στατιστικά παλινδρόμησης Πολλαπλό R (sqrt (R Τετρ) = συσχέτιση μεταξύ Calc και γραμμ συνδ ανεξ μετβλ) 0,61 R Τετράγωνο (συντελεστής προσδιορισμού) 0,37 Προσαρμοσμένο R Τετράγωνο Adj_R 2 = 1 [RSS/(n-K-1)]/[TSS/(n-1)] 0,32 Τυπικό σφάλμα (τυπικό σφάλμα του error ε) 9,43 Μέγεθος δείγματος 80 37% της ευ-μεταβλητότητας (variability) στο βαθμό Calc αποδίδεται στην παλινδρόμηση (δηλ. σε διαφορές μεταξύ των φοιτητών). Το υπόλοιπο, στο rnd αυξάνει αν Ν>>. Καλύτερα το Προσαρμ R Tετρ (0.32), Ι. Κ. ΔΗΜΗΤΡΙΟΥ 61 διότι δείχνει αν αξίζει να εισάγομε μεταβλητές στο υπόδειγμα.

49 Τυπικό σφάλμα = 9.43 = εκτιμητής του σ, ήτοι της τυπικής απόκλισης του σφάλματος ε = τυπική απόκλιση της πρόβλεψης του Calc όταν διαφοροποιούνται οι τιμές των μεταβλητών = τ/σ πρόβλεψης των 80 βαθμολογιών. Επειδή 10 βαθμοί διαφοροποιούν το [άριστα πολύ καλά], [πολύ καλά καλά] κοκ, το τ/σ είναι περίπου ένας βαθμός στην κλίμακα = επίδραση σφάλματος στην παλινδρόμηση (μειώνεται: 1. προσθέτοντας στατ σημαντ μετβλ στην παλινδρόμηση 2. απομακρύνοντας μη σημαντ μτβλ μέσω του ΑΝΑΔΙΑ) Ι. Κ. ΔΗΜΗΤΡΙΟΥ 62

50 Μέχρι στιγμής, το υπόδειγμα είναι στατιστικά σημαντικό και εξηγεί το 37% περίπου της μεταβλητότητας στους βαθμούς του Calc. (Τρίτη ερώτηση) - Ποια είναι η εξίσωση παλινδρόμησης και ποιες μεταβλητές είναι οι πιο σημαντικές; Ι. Κ. ΔΗΜΗΤΡΙΟΥ 63

51 Διερμήνευση του πίνακα συντελεστών Η παλινδρόμηση εξάγει τον ακόλουθο πίνακα, τον οποίο και εξηγούμε ανά στήλη Συντελ εστές Τυπικό σφάλμα t- στατ τιμή-p Κατώτ ερο 95% Υψηλό τερο 95% Κατώτ ερο 95% Υψηλό τερο 95% Τεταγμένη στην αρχή 27,94 12,44 2,25 0,03 3,15 52,73 3,15 52,73 Calc HS 7,19 2,49 2,89 0,01 2,23 12,15 2,23 12,15 ACT Math 0,35 0,43 0,82 0,42-0,51 1,21-0,51 1,21 Alg Place 0,83 0,27 3,09 0,003 0,29 1,36 0,29 1,36 Alg2 Grade 3,68 2,44 1,51 0,14-1,18 8,55-1,18 8,55 HS Rank 0,11 0,12 0,95 0,34-0,12 0,34-0,12 0,34 Gender Code 2,63 2,47 1,06 0,29-2,29 7,55-2,29 7,55 Ι. Κ. ΔΗΜΗΤΡΙΟΥ 64

52 Οι συντελεστές και η εξίσωση Συντελε στές Τυπικό σφάλμα t τιμή-p Κατώτε ρο 95% Υψηλό τερο 95% Τεταγμένη στην αρχή 27,94 12,44 2,25 0,03 3,15 52,73 Calc HS 7,19 2,49 2,89 0,01 2,23 12,15 ACT Math 0,35 0,43 0,82 0,42-0,51 1,21 Alg Place 0,83 0,27 3,09 0,00 0,29 1,36 Alg2 Grade 3,68 2,44 1,51 0,14-1,18 8,55 HS Rank 0,11 0,12 0,95 0,34-0,12 0,34 Gender Code 2,63 2,47 1,06 0,29-2,29 7,55 Calc=27.94 Θα εξηγήσομε στη συνέχεια τα στοιχεία του πίνακα 7.19 CalcHS ACTMath AlgPlace Alg2Grade Ι. Κ. ΔΗΜΗΤΡΙΟΥ HSRank GenderCode

53 Τι δείχνει η εξίσωση; - Την οριακή μεταβολή της Calc ως προς τη μοναδιαία μεταβολή μιας των μεταβλητών, ενώ υπόλοιπες μτβλ σταθερές. - Επίσης, πρόβλεψη: Για κάποιον υποψήφιο φοιτητή Ο συντελεστής 7.19 επηρεάζει ΠΟΛΥ το βαθμό του Calc Calc= Συντελε στές Τεταγμένη στην αρχή 27,94 Πχ δίνεται Calc HS 7,19 0 ACT Math 0,35 30 Alg Place 0,83 23 Alg2 Grade 3,68 4 HS Rank 0,11 90 Gender Code 2,63 1 To Gender Code επιδρά θετικά Ι. Κ. ΔΗΜΗΤΡΙΟΥ 66 στην πρόβλεψη! = 74.87=75 0 = η απουσία Calc HS επιδρά αρνητικά στην πρόβλεψη

54 Προσέξτε το συντελεστή GenderCode=2.63 που δείχνει την επίδραση του φύλου αν οι άλλες μτβλ σταθερές. Επειδή Άρρεν=1 και Θήλυ=0, αν η εξίσωση παλινδρόμησης είναι αληθής, ένας Α θα λάβει 2.63 βαθμούς υψηλότερους από μία Θ. Εμπιστεύεστε αυτό το συμπέρασμα; Εξαρτάται από τη σημαντικότητα της μτβλ GenderCode. Οπότε πρέπει να προσδιορίσομε την ακρίβεια με την οποία η τιμή υπολογίστηκε. Αυτό γίνεται εξετάζοντας τις est st deviations των συντελεστών. Τα τυπικά σφάλματα είναι χρήσιμα σε ελέγχους υποθέσεων για τους συντελεστές Συντελε στές Τυπικό σφάλμα Τεταγμένη στην αρχή 27,94 12,44 Calc HS 7,19 2,49 ACT Math 0,35 0,43 Alg Place 0,83 0,27 Alg2 Grade 3,68 2,44 HS Rank 0,11 0,12 67 Gender Code 2,63 2,47

55 t-test για τους συντελεστές (t-test=κλάσμα συντελεστή διά του τυπικού σφάλματος) Πχ. t_alg Place = 3.09 ή Συντελ Τυπικό t- μεγαλύτερο με πιθανότητα= εστές σφάλμα στατ τιμή-p 0.003<5%. Κατώτερο Υψηλότε Άρα, Alg Κατώτερ Place Υψηλότε 95% ρο 95% ο 95% ρο 95% σημαντικός σε 5%. Σε όρους ΕΥ, Τεταγμένη στην απόρριψη της Η0, ότι συντελεστής αρχή 27,94 12,44 2,25 0,03 =0 3,15 υπό 5% 52,73 και αποδοχή 3,15Η1. 52,73 Calc HS 7,19 2,49 2,89 0,01 Δίπλευρο 2,23 12,15 t. 2,23 12,15 ACT Math 0,35 0,43 0,82 0,42-0,51 Επίσης, Calc 1,21HS σημαντικός -0,51 1,21 (0.01) Alg Place 0,83 0,27 3,09 0,003 0,29 Υπόλοιπες 1,36 μτβλ μη 0,29 σημαντικές. 1,36 Alg2 Grade 3,68 2,44 1,51 0,14 Επομένως, -1,18 8,55 μη δαπανάσαι -1,18 για 8,55 τη HS Rank 0,11 0,12 0,95 0,34 διερμήνευση -0,12 0,34 των υπολοίπων -0,12 0,34 μτβλ. Gender Code 2,63 2,47 1,06 0,29-2,29 Επιμέρους, 7,55δεν συνιστάται -2,29 7,55 να υποθέσομε ότι άρρενες καλύτεροι θηλέων. t-test = Συντελεστής / Τυπ Σφαλμα Αν Συντελεστής = 0, τότε ακολουθεί t-κατανομή με n-k-1=80-6-1=73 βε P=πιθανότητα μιας t τιμής τόσο μεγάλης ή μεγαλύτερης σε απόλυτη τιμή 68

56 Υπολογισμός διαστημάτων εμπιστοσύνης για την προαναφερθείσα πρόβλεψη της calc και των β i Calc= yˆ 2 StandardError 1/ n 75 ( /80) = 74.87=75 ˆ Διάστημα εμπιστοσύνης για β i i StandardError( i) tn k 1, a/2 Gender Code 2,63 2,47 1,06 0,29 GenderCode t Το Excel δίνει αυτόματα τα δε ,0.025 n k 1, a/2 Ι. Κ. ΔΗΜΗΤΡΙΟΥ ή 2.29 ˆ t eg

57 95% διαστήματα εμπιστοσύνης για συντελεστές Συντελε στές Τυπικό σφάλμα t τιμή-p Κατώτ ερο 95% Υψηλό τερο 95% Τεταγμένη στην αρχή 27,94 12,44 2,25 0,03 3,15 52,73 Calc HS 7,19 2,49 2,89 0,01 2,23 12,15 ACT Math 0,35 0,43 0,82 0,42-0,51 1,21 Alg Place 0,83 0,27 3,09 0,003 0,29 1,36 Alg2 Grade 3,68 2,44 1,51 0,14-1,18 8,55 HS Rank 0,11 0,12 0,95 0,34-0,12 0,34 Gender Code 2,63 2,47 1,06 0,29-2,29 7,55 Είναι παράξενο που το ACTMath ΔΕΝ είναι σημαντικό, διότι το test σχετίζεται με τη δύναμη των μαθηματικών 95% δε για Calc HS: το μάθημα Calc HS σχετίζεται με μια αύξηση της βαθμολογίας της Calc μεταξύ 2.23 και στην εν λόγω εξίσωση παλινδρόμησης Ι. Κ. ΔΗΜΗΤΡΙΟΥ 70

58 Η συσχέτιση ACTmath με την Calc βρέθηκε = = πολύ σημαντική (p=0.001). Γιατί εδώ δεν φαίνεται η σημαντικότητα; Διότι, εμπλέκονται κι άλλες μτβλ που περιέχουν κάποια από την ίδια πληροφορία. Χρησιμοποιώντας το t-test για τη σημαντικότητα του ACTMath, εξετάζεται ουσιαστικά αν μπορούμε να προχωρήσομε διαγράφοντας αυτό τον όρο. Αν οι άλλες μεταβλητές αναλάβουν να δώσουν αυτή την πληροφορία, τότε ο συντελεστής δεν είναι σημαντικός και επομένως απορριπτέος. Άρα δε χάνομε και πολλά. Ωστόσο αν διώξομε τον λιγότερο σημαντικό, οι άλλοι μπορεί να καταστούν σημαντικοί. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 71

59 Η ακόλουθη στρατηγική (stepwise regression) μειώνει τον αριθμό των ανεξ μτβλ: Βήμα 1. Απαλοιφή του λιγότερου σημαντικού 2. Επαναπαλινδρόμηση 3. Επανάληψη 1. και 2. έως ότου καταστούν οι ανεξ μτβλ σημαντικές. Σημείωση: μία μέθοδος ανάλυσης δεν αποτελεί μονόδρομο. Καλύτερα να χρησιμοποιούνται περισσότερες της μίας (πχ συσχέτιση και παλινδρόμηση). Ι. Κ. ΔΗΜΗΤΡΙΟΥ 72

60 ΥΠΕΝΘΥΜΙΣΗ, μέχρι εδώ: Αναλύσαμε και διερμηνεύσαμε τρεις ερωτήσεις: Πρώτη ερώτηση Είναι το υπόδειγμα σημαντικό; Δεύτερη ερώτηση Πόσο επεξηγηματικό είναι το μοντέλο; Τρίτη ερώτηση Ποια είναι η εξίσωση παλινδρόμησης και ποιες μεταβλητές είναι οι πιο σημαντικές; Ι. Κ. ΔΗΜΗΤΡΙΟΥ 83

61 ( Με πρακτική κατανοούμε την παλινδρόμηση και σχεδόν κάθε αντίστοιχη μέθοδο (μοντέλο + στατ ανάλυση). Αύξηση δεξιότητας. ) Ι. Κ. ΔΗΜΗΤΡΙΟΥ 85

62 Στη συνέχεια αξιολογούμε την επιτυχία της παλινδρόμησης με τα εξής τέσσερα κοινά διαγράμματα. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 86

63 Εξέταση των υποθέσεων της παλινδρόμησης Τα τέσσερα κοινά διαγράμματα που δίνει η παλινδρόμηση του Excel βοηθούν στην εκτίμηση της παλινδρόμησης: 1. Διάγραμμα της εξαρτ μτβλ ως προς τις εκτιμημένες τιμές: καταλληλότητα παλινδρόμησης 2. Διάγραμμα καταλοίπων ως προς τις εκτιμημένες τιμές μεγεθύνει το κατακόρυφο άνοιγμα των δεδομένων, άρα ελέγχονται οι υποθέσεις παλινδρόμησης. Αν καμπυλότητες, τότε (?). Αν κατακόρυφο άνοιγμα τιμών στη μία μεριά, τότε μη σταθερή var 3. Διάγραμμα καταλοίπων ως προς επιμέρους μτβλ: αναδεικνύει επιμέρους προβλήματα 4. Κανονικό διάγραμμα των καταλοίπων: αποτιμά την Κανονική υπόθεση των καταλοίπων. 87

64 Eξαρτ μτβλ ως προς Εκτιμήσεις Πόσο πετυχημένη είναι η παλινδρόμηση; Σχεδίασε: Παρατηρήσεις (Calc) vs. Εκτιμήσεις Ι. Κ. ΔΗΜΗΤΡΙΟΥ 88

65 Ι. Κ. ΔΗΜΗΤΡΙΟΥ 89

66 Παρατηρήσεις Calculus Εκτιμήσεις Ι. Κ. ΔΗΜΗΤΡΙΟΥ 91

67 Φαίνεται να στενεύουν οι τιμές για μεγαλύτερες εκτιμήσεις του Calculus. Αν η διακύμανση του σφάλματος ήταν μικρότερη για βαθμούς με υψηλές εκτιμήσεις, θα παραβιαζόταν η 4η υπόθεση της παλινδρόμησης περί σταθερής διακύμανσης. Θεωρούμε αυτούς τους φοιτητές με εκτίμηση βαθμού 80 στο Calc. Οι πραγματικοί βαθμοί κυμαίνονται από 65 έως 95 περίπου, ευρύ! Όμως το εύρος είναι «<» στο βαθμό 90: Οι πραγματικές τιμές (παρατηρήσεις) είναι στο Τι συμβαίνει; Συμβαίνει το εξής: Υπάρχει το όριο 100 στη βαθμολογία (εξαρτημένη μτβλ). Αυτό γενικά (το όριο) προκαλεί μη σταθερή διακύμανση σφάλματος. 92

68 Κατάλοιπα ως προς Εκτιμήσεις Δείχνει μια άλλη όψη της μεταβολής μεταξύ των παρατηρούμενων και των εκτιμημένων τιμών (διότι κατάλοιπο = παρατήρηση - εκτίμηση). Ι. Κ. ΔΗΜΗΤΡΙΟΥ 93

69 Κατάλοιπα Κατάλοιπ Εκτιμήσεις Ι. Κ. ΔΗΜΗΤΡΙΟΥ 94

70 Χρήσιμο διάγραμμα για την επαλήθευση των υποθέσεων παλινδρόμησης. Πχ η 1η υπόθεση απαιτεί την κατάλληλη μορφή του υποδείγματος. Εδώ δεν παρατηρείται κάποιο συστηματικό πρότυπο (πχ καμπύλη). Αν η υπόθεση της σταθερής διακύμανσης δεν ικανοποιείται, τότε θα πρέπει να φαίνεται στο διάγραμμα. Κοιτάζομε για τάση στο κατακόρυφο άνοιγμα. Φανερά, στενεύει η τάση προς τα δεξιά (αυτό εγείρει υποψίες για την εγκυρότητα της παλινδρόμησης, robustness). Τότε, προτείνεται ο μετασχηματισμός των δεδομένων, αλλά επάγεται δυσκολία διερμήνευσης μτβλ. Κατάλοιπ Κατάλοιπα Ι. Κ. ΔΗΜΗΤΡΙΟΥ Εκτιμήσεις

71 Κατάλοιπα ως προς καθεμιά μεταβλητή Τα διαγράμματα μπορεί να δείξουν Καμπυλότητες Μη σταθερή διακύμανση Αυτά τα διαγράμματα δημιουργούνται αυτόματα από το Excel: 1. Διαγράμματα διασποράς καταλοίπων ως προς καθεμιά μτβλ 2. Διαγράμματα εκτίμησης calc ως προς μτβλ παλινδρόμησης Ι. Κ. ΔΗΜΗΤΡΙΟΥ 96

72 Υπόλοιπα Alg Place Διάγραμμα υπολοίπων Alg Place Φαίνεται άνοιγμα στα κατάλοιπα για μικρότερους βαθμούς. Μάλλον πρέπει να μετασχηματίσομε τα δεδομένα Πώς αιτιολογείται ένα θετικό (αρνητικό) κατάλοιπο Ι. Κ. ΔΗΜΗΤΡΙΟΥ 97

73 Calc Alg Place Διάγραμμα προσαρμογής γραμμής Alg Place Calc Προβλεπόμενος Calc 100 Εκτιμήσεις Χειρονακτικά Alg Place Ι. Κ. ΔΗΜΗΤΡΙΟΥ 98

74 Εκτιμήσει Alg Place Οι εκτιμήσεις είναι πιο συμμαζεμένες από τις παρατηρήσεις. (λογικό φαίνεται) Γραμμική τάση ως προς Alg Place Δεν φαίνεται να υπάρχει άνοιγμα Ι. Κ. ΔΗΜΗΤΡΙΟΥ 99

75 Κανονικά σφάλματα και Κανονικό διάγραμμα διασποράς Τι γίνεται με την υπόθεση της Κανονικότητας των σφαλμάτων; - Αν υπάρχουν μη Κανονικά σφάλματα, εμφανίζονται ακραίες τιμές στο διάγραμμα διασποράς καταλοίπων ως προς εκτιμήσεις (calc). Κατάλοιπα - Εδώ, δεν υπάρχουν τιμές καταλοίπων > από το Πόσο μεγάλα πρέπει να είναι τα κατάλοιπα αν τα σφάλματα είναι Κανονικά; Αποφάσισε χρησιμοποιώντας το Normal Probability plot. Κατάλοιπ Ι. Κ. ΔΗΜΗΤΡΙΟΥ Εκτιμήσεις

76 Για να λάβομε το Normal Probability plot επιλέγομε Ι. Κ. ΔΗΜΗΤΡΙΟΥ 101

77 Ι. Κ. ΔΗΜΗΤΡΙΟΥ 102

78 Διάγραμμα κανονικής πιθανότητας Calc Δείγμα ποσοστού Παρατηρούνται αποκλίσεις στην αρχή. Φαίνεται να υπάρχει μικρό πρόβλημα με την υπόθεση της Κανονικότητας. Ι. Κ. ΔΗΜΗΤΡΙΟΥ 103

79 Σύνοψη της παλινδρόμησης Ποια είναι τα κύρια συμπεράσματα από την παλινδρόμηση + κατάλοιπα + διαγράμματα; - Με F = 7.2 > F(6,73,0.05) = 2.23, παλινδρόμηση σημαντική σε εσ 5%. - Με R 2 = 0.37 και προσαρμοσμένο R 2 = 0.32, η παλινδρόμηση εξηγεί περίπου το 1/3 της διακύμανσης στο βαθμό του calc (απογοητευτικό ωστόσο, διότι το Πανεπιστήμιο δίνει βάρος στις προβλέψεις). - Μόνο η άλγεβρα και αν παρακολούθησε ή όχι HScalc είναι σημαντικοί συντελεστές. - Υπάρχει κάποιο πρόβλημα με τη μη σταθερή διακύμανση (ανεξάρτητο συμπερασμάτων). 104

80 Το παράδειγμα δίνει μια ιδέα για το πώς θα μπορούσε να γινόταν μια αξιολόγηση στα ΑΕΙ κατά το 2 ο έτος σπουδών μετά τις Πανελλαδικές (περιέχοντας και τα φροντιστήρια). Ι. Κ. ΔΗΜΗΤΡΙΟΥ 105

81 ( Πώς κάνομε κανονικοποίηση των καταλοίπων (normalization)

82 x y fit=y_hat residual residual residual

83 Residual avg residual std =0.8917/ ΚΑΝΟΝΙΚΟΠΟΙΗΣΗ Έρχονται περίπου στο -1 έως Σειρά1 )

84 // Ι. Κ. ΔΗΜΗΤΡΙΟΥ 110