Κάθε σύνολο δεδομένων κρύβει δομή το θέμα είναι να την εντοπίσομε (analytics) 2
ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ και ΣΥΣΧΕΤΙΣΗ Καθηγητής Ι. Κ. ΔΗΜΗΤΡΙΟΥ Εθνικό και Καποδιστριακό Πανεπιστήμιο Αθηνών demetri@econ.uoa.gr Οικονομικά, Διοικητικά και Πληροφοριακά Συστήματα Επιχειρήσεων
Γενικό σχόλιο: Να προσέχετε τις διερμηνεύσεις των σχέσεων και των αριθμών. 8
Αρκετά λεπτομερείς διαφάνειες για να αποτελέσουν σημείο αναφοράς κ ανάλυσης στη μελέτη του πεδίου. Η παλινδρόμηση (με πολλές μορφές) είναι σπουδαίο αντικείμενο μελέτης τα τελευταία 200 χρόνια. Joseph-Louis Lagrange (1735-1813 9
Τι επιδρά σε τι; Το αποτελεσματικό μάνατζμεντ προσδιορίζει ποιοι παράγοντες επιδρούν, προβλέπουν ή ελέγχουν σημαντικές επιχειρηματικές μεταβλητές (εξαρτώμενες μεταβλητές) 10
Αναζητούμε συναρτησιακές σχέσεις σ ένα σύνολο ζευγών παρατηρήσεων. Πχ γραμμική, τετραγωνική, εκθετική σχέση Η ανάλυση παλινδρόμησης είναι μια μέθοδος υπολογισμού ενός μαθηματικού μοντέλου που προσεγγίζει τη σχέση των δύο μεταβλητών και παρέχει μεθόδους συμπερασματολογίας για έναν πληθυσμό. Η συσχέτιση, ειδικότερα, μάς εξασφαλίζει πόσο καλό είναι ένα γραμμικό μοντέλο προσέγγισης. Δηλαδή συγκρίνει τα αρχικά δεδομένα μ αυτά που έχουν εκτιμηθεί από την παλινδρόμηση. 11
Οργάνωση διάλεξης σε 2 επίπεδα 1) Τυπική κατανόηση του προβλήματος 2) Χρήση πακέτων του Excel 12
1) Τυπική κατανόηση του προβλήματος Αρκετά γενική αναφορά που εξηγεί τη θεωρία μέσω παραδειγμάτων. 13
Περιεχόμενα 1. Περιγραφή παλινδρόμησης 1.1 Ζεύγη 1.2 Άριστη γραμμική προσαρμογή 1.3 Εκτιμητές ελαχίστων τετραγώνων 2. Ανάλυση 2.1 Παραδείγματα 2.2 Έλεγχοι υποθέσεων 2.3 Πρόβλεψη 2.4 Άλλα υποδείγματα 2.5 Εκθετική παλινδρόμηση 3. Συσχέτιση 3.1 Κίνητρο 3.2 Ο συντελεστής συσχέτισης 3.3 Εφαρμογές 14
1. Περιγραφή της γραμμικής παλινδρόμησης Θεωρούμε ένα σύνολο ζευγών παρατηρήσεων και μια άγνωστη συναρτησιακή σχέση η οποία υπόκειται των παρατηρήσεων. Συγκεκριμένα θεωρούμε την πολύ απλή σχέση όπου μία μεταβλητή είναι γραμμική συνάρτηση μιας άλλης μεταβλητής. Πρώτον, θα προσδιορίσομε τη γραμμική σχέση χρησιμοποιώντας πληροφορίες από τα δεδομένα. Έπειτα θα εξετάσομε (έλεγχος υπόθεσης) αν οι συντελεστές της γραμμικής σχέσης είναι σημαντικά διάφοροι του μηδενός ή κάποιου αριθμού. 15
Παραδείγματα 1.1 Ζεύγη δεδομένων Ανεργία πληθωρισμός Ζήτηση καφέ καιρός Συγκομιδή πορτοκαλιών κατ έτος Ρυθμός αύξησης χρήματος - ρυθμός πληθωρισμού. Αποθεματικό και επενδύσεις 16
Πχ στις τιμές του ζεύγους Ανεργία Πληθωρισμός που δίνονται στον Πίνακα 1 (ακολούθως) εξετάζομε αν υπάρχει κάποια σχέση. 17
ΠΙΝΑΚΑΣ 1 Έτος % Ανεργία % Πληθωρισμός 1960-61 1.9 0.2 1961-62 3.1 0.4 1962-63 2.5 0.9 1963-64 1.8 0.9 1964-65 1.2 0.7 1965-66 1.4 1.3 1966-67 1.6 1.6 1967-68 1.7 0.8 1968-69 1.5 0.7 1969-70 1.2 0.6 1970-71 1.1 0.5 1971-72 1.1 0.5 18 Διάγραμμα διασποράς
Πληθωρισμός Πληθωρισμός vs. ανεργίας Ερωτήσεις 1,8 1,6 1,4 1,2 1 0,8 0,6 0,4 0,2 0 0 0,5 1 1,5 2 2,5 3 3,5 Ανεργία Ερώτηση (α): Υπάρχει μαθηματική περιγραφή της σχέσης που συνδέει πληθωρισμό και ανεργία; 19
ΠΙΝΑΚΑΣ 1 Έτος % Ανεργία % Πληθωρισμός 1960-61 1.9 0.2 1961-62 3.1 0.4 Είναι λογικό να έχομε μερικές ερωτήσεις για τα δεδομένα: 1962-63 2.5 0.9 Ερώτηση 1963-64 (α): 1.8 0.9 Ποια είναι η μαθηματική περιγραφή της σχέσης που συνδέει πληθωρισμό 1964-65και ανεργία; 1.2 0.7 1965-66 1.4 1.3 Ερώτηση (β): Μειώνεται ο πληθωρισμός καθώς αυξάνεται η ανεργία; 1966-67 1.6 1.6 1967-68 1.7 0.8 Ερώτηση (γ): Αν η 1968-69 απάντηση στην Ερώτηση 1.5 (β) είναι καταφατική, τότε 0.7 πώς η αύξηση 1969-70 στην ανεργία προκαλεί 1.2 μείωση στον πληθωρισμό; 0.6 (ερώτηση πέρα από Στατιστική, ανήκει στην Οικονομία) 1970-71 1.1 0.5 1971-72 1.1 0.5 20
Ποια η σχέση μεταξύ των ερωτήσεων αυτών και των γενικών προβλημάτων στη στατιστική; Ερώτηση (α): Πρόβλημα 1 Ποια είναι η μαθηματική περιγραφή της σχέσης που συνδέει πληθωρισμό και ανεργία; Η «περιγραφή» είναι κάτι το γενικό. Τι μπορεί να πει κάποιος για 21
Δύο σχετικά προβλήματα Πρόβλημα 1 Ποιος είναι ο εκτιμητής της τιμής μιας (οικονομικής) ποσότητας; Πχ Ποιος ο Πληθωρισμός αν Ανεργία = 8%; Πρόβλημα 2 Είναι ο εκτιμητής που λάβαμε επαρκώς κοντά σε κάποιον συγκεκριμένο αριθμό; Έχει κάποια ιδιότητα; Το «κοντά» σχετίζει με την παράγωγο, αφορά το ρυθμό μεταβολής. Τι μπορεί να πει κάποιος για 22
Δύο σχετικά προβλήματα Πρόβλημα 1 Ποιος είναι ο εκτιμητής της τιμής μιας (οικονομικής) ποσότητας; Πχ Ποιος ο Πληθωρισμός αν Ανεργία = 8%; Το «κοντά» σχετίζει με την παράγωγο, αφορά το ρυθμό μεταβολής. Τι μπορεί να πει κάποιος για Πρόβλημα 2 Είναι ο εκτιμητής που λάβαμε επαρκώς κοντά σε κάποιον συγκεκριμένο αριθμό; Έχει κάποια ιδιότητα; Ερώτηση (β) = περίπτωση Προβλήματος 2 = αναδιατύπωση = Ερώτηση (β ) είναι η κλίση της συνάρτησης που συνδέει Πληθ και Ανεργ αρνητική; Θέλομε να βρούμε αν η κλίση είναι αρνητική ή όχι. Έπειτα θέλομε να συγκρίνομε τον εκτιμητή της κλίσης με το μηδέν (δηλ. να εξετάσομε αν είναι σημαντικός). 23
Η απάντηση στην Ερώτηση (α) παρέχει έναν εκτιμητή της κλίσης = + ή - Άρα, η Ερώτηση (β ) έχει κυριολεκτική απάντηση. Ωστόσο, ας υποθέσομε ότι η κλίση της «αληθούς» σχέσης είναι μηδέν. Εν γένει όμως τα 12 δεδομένα θα δώσουν μια εκτίμηση της κλίσης 0. Έτσι αν η εκτίμηση είναι περίπου θετική, τότε κλίση = θετική ενώ «αληθής κλίση»=0. Αντίστοιχα, για αρνητική. Η λογική λύση στο δίλημμα είναι να υποθέσομε κάποια περιοχή τιμών γύρω από το μηδέν, έτσι ώστε αν ο εκτιμητής ανήκει στην περιοχή, τότε θα συμπεραίνομε ότι η κλίση δεν είναι σημαντικά διάφορη του μηδενός. Άρα η Ερώτηση (β) είναι μια περίπτωση του Προβλήματος 2, διότι πρέπει να εξετάσομε αν ο εκτιμητής της κλίσης είναι ή όχι επαρκώς κοντά στο μηδέν. 24
Πρόβλημα 3 Πώς επιλέγομε ένα σύνολο δεδομένων για να πετύχομε τη μέγιστη πληροφορία με το ελάχιστο κόστος; Δύο σχετικές ερωτήσεις Το Πρόβλημα 3 δεν έχει οικονομική σπουδαιότητα. Είναι όμως σημαντικό στη σχεδίαση πειραμάτων και επισκοπήσεων (surveys, analytics) 25
1.2 Η άριστη γραμμική προσαρμογή Ονομάζομε τις παρατηρήσεις μας (xi, yi) και η ταξινόμηση των υποκείμενων μεταβλητών x και y μπορεί να γίνει και αυθαίρετα, όπως πχ για τον πληθωρισμό και την ανεργία. Στην πρόβλεψη ωστόσο της σοδειάς για κάποιο έτος, η ταξινόμηση των μεταβλητών είναι πιο προφανής. Θέλομε να εκφράσομε τη μία μεταβλητή ως συνάρτηση της άλλης. Είναι y: εξαρτημένη ή ενδογενής μεταβλητή (εξαρτάται από την άλλη μεταβλητή) x: ανεξάρτητη ή εξωγενής μεταβλητή (εξαρτάται από παράγοντες του συστήματος). Γενικά, θέλομε να προβλέψομε την τιμή της ενδογενούς, δοσμένης μιας τιμής της εξωγενούς μεταβλητής. 26
Ένας απλός τρόπος για την εύρεση της συναρτησιακής σχέσης δύο συνόλων δεδομένων είναι ο εξής: Πρώτον, τοποθετούμε τα δεδομένα σε καρτεσιανούς άξονες και Δεύτερον, αναζητούμε την τάση που επιδεικνύουν. Μια συνήθης υπόθεση είναι η γραμμική τάση (εξίσωση καμπύλης) y x ενώ μερικές άλλες τάσεις θα δούμε παρακάτω. 27
Παρατηρούμε ότι μια παρατήρηση δεν ανήκει κατ' ανάγκη στη γραμμή, κυρίως διότι το y εξαρτάται από περισσότερους παράγοντες του ενός (x), οι οποίοι είναι μη εμφανείς κατά τη λήψη των δεδομένων. y ε i = κατάλοιπο ε i x Οπότε η εξίσωση καμπύλης γίνεται (μοντέλο, υπόδειγμα) 28
. y x Πώς ερμηνεύεται; σφάλμα ή στοχαστική μεταβλητή έναντι παραγόντων άλλων από τον x που επιδρούν στον y όπως, το κυβερνόν κόμμα, η προσφορά χρήματος, το ισοζύγιο πληρωμών, ο ανταγωνισμός κλπ 29
Για κάθε x=ανεργία υπάρχει μια κατανομή πιθανοτήτων για το αντίστοιχο y=πληθωρισμός y x y ε i = κατάλοιπο Y ε i Y_hat = y = E(Y) x 30
Οι τιμές y κατανέμονται κανονικά με την ίδια τυπική απόκλιση. Για κάθε x, η μέση τιμή των τιμών του y βρίσκεται πάνω στην ευθεία παλινδρόμησης. Περισσότερες τιμές y βρίσκονται διεσπαρμένες κοντά στην ευθεία, παρά μακριά. 31
Τεταγμένη (ordinate) Θέλομε να επιλέξομε τα α και β έτσι ώστε η ευθεία να βρίσκεται «πλησιέστερα» στα δεδομένα (xi, yi). y ε i = κατάλοιπο ε i x Τετμημένη (abscissa) 32
1.3 Εκτιμητές ελαχίστων τετραγώνων Έστω εi η κατακόρυφη απόσταση του (xi, yi) από το σημείο (xi, α+β*xi) επί της ευθείας y ( x ), i 12,,..., n i i i Έστω S το άθροισμα (ιδέα του Lagrange) S, n i1 2 i [ yi ( xi )] 2 αˆ, βˆ 33
1.3 Εκτιμητές ελαχίστων τετραγώνων Έστω εi η κατακόρυφη απόσταση του (xi, yi) από το σημείο (xi, α+β*xi) επί της ευθείας y ( x ), i 12,,..., n i i i Έστω S το άθροισμα S, n i1 2 i [ yi ( xi )] 2 αˆ, βˆ 34
ˆ ( i i ) i i 2 n( x ) 2 i xi n x y x y ˆα y β ˆ x y ˆα β ˆ x e μοντέλο γραμμικής παλινδρόμησης yˆ ˆ ˆ x, i 1,2,..., n i i y yˆ, residuals κατάλοιπα i i i Εκτιμητές (estimates) Τι σημαίνουν οι εξισώσεις αυτές; 35
ˆ n i1 ( x x)( y y) i i ( x x) i 2 Κοινή μεταβολή των Χ και Υ πέριξ των μέσων τους διά της μεταβολής του Χ πέριξ του μέσου του. ˆα y βx ˆ Η γραμμή παλινδρόμησης διέρχεται από τους μέσους των Χ και Υ. β_hat = Ορμή στην κατεύθυνση του άξονα x α_hat = σταθερή τιμή (η αρχή για το β_hat) 36
ˆ n i1 ( x x)( y y) i i ( x x) i 2 Γνωρίζομε για τις ευθείες γραμμές ότι β είναι η κλίση ή ο ρυθμός μεταβολής της Υ ως προς τη Χ, ˆα y βx ˆ ενώ α είναι η τιμή της Υ για Χ=0, δηλ. η τεταγμένη στην αρχή. β_hat = Ορμή στην κατεύθυνση του άξονα x α_hat = σταθερή (αρχή για το β_hat) 37
ˆ n i1 ( x x)( y y) i i ( x x) i 2 ˆα y βx ˆ Για διαφορετικό σύνολο δεδομένων (δείγμα), θα έχομε διαφορετικές εκτιμήσεις των α και β. - Πώς μεταβάλλονται αυτοί οι εκτιμητές καθώς το δείγμα μεταβάλλεται; 38
Ένα μέτρο αυτής της μεταβλητότητας είναι το τυπικό σφάλμα του εκτιμημένου συντελεστή (standard error of the estimated coefficient = εκτιμητής της τετραγωνικής ρίζας της διακύμανσης στην κατανομή των β_hat), που αποδεικνύεται ότι είναι SE( ) SEE ( x x) i 2 όπου SEE είναι το standard error of the estimate, ένα μέτρο της ποιότητας της προσαρμογής (αφ εαυτού χρήσιμο) SEE n 2 e i 2 e ( y yˆ ) ( y ˆ ˆ x ) Εδώ, 2 2 2 i i i i i ˆ 2 ( yi ) yi ( xi yi) ˆ 39
- Πόσο μέρος από τη μεταβλητότητα της εξαρτημένης μεταβλητής εξηγείται από την εκτιμημένη εξίσωση παλινδρόμησης; Η σύγκριση των εκτιμημένων τιμών με τις πραγματικές μπορεί να δείξει την καταλληλότητα του υποδείγματος. Στην Οικονομετρία χρησιμοποιούνται τα τετράγωνα των αποκλίσεων του Υ από τον απλό εκτιμητή Υbar ( x γραμμή). TSS ( y y) [( yˆ y) e ] ˆ i 2 2 i i 2 2 ( yi y) ei 2 ( yi y) ei ˆ =0 TSS Explained SS= SSReg ( yˆ y) e i = ESS + 2 2 i RSS Residual SS Ανάλυση διακύμανσης 40
Η άριστη προσαρμογή (OLS) επομένως ικανοποιεί : TSS ( yˆ y) e i 2 2 i = ESS + RSS Ordinary Least Squares μέγιστο ελάχιστο κατάλοιπα 2 = ελάχιστα σταθερό Συντελεστής προσδιορισμού: 2 RSS R = ESS / TSS = 1 TSS 2 0R 1 Όσο R 2 πιο κοντά στο 1, τόσο καλύτερη η γραμμική σχέση 41
Ο συντελεστής προσδιορισμού απαντά στο καίριο ερώτημα: - Τι ποσοστό μεταβολών της Υ οφείλεται στην επίδραση της Χ; Δηλ. πόσο εμπιστευόμαστε τα αποτελέσματα πρόβλεψης που δίνει η εξίσωση. ε i = κατάλοιπα. Όσο επίδραση της Χ στην Υ, τόσο ε i 42
Το Πυθαγόρειο Θ. (γενίκευση) y yi 2 2 2 Δεδομένα 3 2 y 4 2 5 2 e y yˆ e ei 2 2 2 Σφάλμα Ο Πυθαγόρας ο Σάμιος (580 π.χ. - 496 π.χ.) yˆ yˆi 2 2 2 Προβολή του ŷ y Χώρος των ευθειών γραμμών 43
2. Ανάλυση Θα αναλύσομε διάφορες όψεις τoυ μοντέλου παλινδρόμησης 44
2.1 Παραδείγματα (α) Πληθωρισμός ανεργία Έστω το μοντέλο y x Ζητούνται εκτιμητές των α και β. Με αντικατάσταση των τιμών από τον Πίνακα 1 στους τύπους των α_hat και β_hat βρίσκομε: ˆ 0.8849 α ˆ 0.0756 β 45
οπότε η άριστη ευθεία είναι y 0.8849 0.0756 x και το μοντέλο γίνεται (πληθωρισμός) = 0.8849 0.0756(ανεργία)+ε κλίση β ρυθμός μεταβολής πληθωρισμού ως προς ανεργία αρνητικός : Άρα, καθώς ανεργία πληθωρισμός 46
οπότε η άριστη ευθεία είναι y 0.8849 0.0756 x και το μοντέλο γίνεται (πληθωρισμός) = 0.8849 0.0756(ανεργία)+ε κλίση β ρυθμός μεταβολής πληθωρισμού ως προς ανεργία αρνητικός : Άρα, καθώς ανεργία πληθωρισμός 47
Πληθωρισμός vs. ανεργία Πληθωρισμό 1,8 1,6 1,4 1,2 1 0,8 0,6 0,4 0,2 0 y = -0,0756x + 0,8849 0 0,5 1 1,5 2 2,5 3 3,5 Ανεργία 48
- Πώς μπορούμε να λάβομε τα θεμελιώδη στατιστικά μεγέθη που αφορούν σε μια παλινδρόμηση; - Με χρήση του Excel, εφικτό. Ακολουθούν τρεις τρόποι. 49
Πρώτος τρόπος: Ο χρήστης κάνει τις πράξεις 50
Ο Πίνακας 1 στο Excel (Stat-4.xls), n=12 ( i i ) i i 2 n( x ) 2 i xi n x y x y ˆ y ˆα β ˆ x e ˆ ˆα y βx 51
Δεύτερος τρόπος: Με τη συνάρτηση Linest 52
Stat-4.xls αποτέλεσμα -0,075580 0,884926 0,201574 0,357143 0,013863 0,403275 0,140578 10 0,022862 1,626304 Στατιστική διανυσματική συνάρτηση {= LINEST(C2:C13;B2:B13;TRUE;TRUE)} x ; y y=b*x+a ερμηνεία reg = regression res = residual b se(b) r^2 F ss(reg) ή ESS a se(a) se(y) degf ss(res) ή RSS
Ερμηνεία των εξαγομένων της LINEST b Παράμετρος της παλινδρόμησης, κλίση se(b) standard error Τυπικό σφάλμα για την παράμετρο b R^2 Συντελεστής προσδιορισμού a Παράμετρος της παλινδρόμησης, σταθερά se(a) standard error Τυπικό σφάλμα για την παράμετρο a se(y) Η τυπική απόκλιση των τιμών y degf Είναι οι βαθμοί ελευθερίας για την F -0,075580 0,884926 0,201574 0,357143 0,013863 0,403275 0,140578 10 0,022862 1,626304 [ = 1,626304/10 = 0.403275 ] ss(reg) ή ESS Το άθροισμα των τετραγώνων των αποκλίσεων των εκτιμημένων y-τιμών από τον αριθμητικό τους μέσο ss(res) ή RSS [ =ss(res)/(n-2) = se(y) ] Το άθροισμα των τετραγώνων των καταλοίπων. Δηλαδή η ελάχιστη τιμή της αντικειμενικής συνάρτησης S που έδωσε 54 την παλινδρόμηση
Για να προσδιορίσομε αν η παλινδρόμηση είναι αποδεκτή, η ληφθείσα τιμή του F (εν προκειμένω 0,140578) συγκρίνεται με την τιμή F(5%; 2, 10), όπου 5%=επίπεδο σημαντικότητας, 2=πλήθος παραμέτρων και 10=degF, ενώ n=12. Καλούμε στο Excel τη συνάρτηση =FINV(5%; 2, 10) = 4,102821. Την ίδια τιμή θα πάρομε από τους πίνακες της κατανομής F με αντίστοιχες παραμέτρους που βρίσκονται συνήθως στα παραρτήματα των βιβλίων στατιστικής. Επειδή 0,140578 < 4,102821, η παλινδρόμηση δεν είναι αποδεκτή σε επίπεδο 5%. 55
F πυκνότητα πιθανότητας (Snedecor F distribution ή Fisher-Snedecor distribution) 56
F αθροιστική συνάρτηση κατανομής 57
F κατανομή 58
Μια συνάρτηση κατανομής, γενικώς, προέρχεται από επαναληπτική παρατήρηση κάποιων φαινομένων. Αυτό τη διαφοροποιεί από μια οποιαδήποτε συνάρτηση 59
(β) Καφέδες καιρός Υπολογίστε με το Excel την παλινδρόμηση της ποσότητας καφέδων ως προς θερμοκρασία x, χρησιμοποιώντας τα δεδομένα του Πίνακα 2. 60
ΠΙΝΑΚΑΣ 2 Θερμο κρασία Ποσότ ητα Θ Π Θ Π Θ Π 20 396 24 260 16 434 19 409 22 297 25 250 16 285 15 493 23 397 20 299 17 496 13 509 18 425 22 520 2 360 18 406 19 425 18 498 21 417 20 410 61
Έστω το μοντέλο y x y 713.8571 16.2143 x (καφέδες) = 713.8571 16.2143 (θερμοκρασία) + ε. 62
600 500 400 300 200 100 0 y = -16,214x + 713,86 R 2 = 0,3067 10 15 20 25 30 Άσκηση: Εφαρμόστε τη LINEST γι αυτό το πρόβλημα. 63