Γραμμικά Μοντέλα. Βιολέττα Ε. Πιπερίγκου. Τμήμα Μαθηματικών Πανεπιστήμιο Πατρών. h p://

Transcript

1 Γραμμικά Μοντέλα Βιολέττα Ε. Πιπερίγκου Τμήμα Μαθηματικών Πανεπιστήμιο Πατρών h p:// vpiperig Γραφείο 213, τηλ BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

2 Περιεχόμενα 1 Ύλη και Μαθησιακά Αποτελέσματα 2 Σκοπιμότητα και Παραδείγματα 3 Το απλό γραμμικό μοντέλο Ορισμός Υποθέσεις Εκτίμηση παραμέτρων Μέθοδος ελαχίστων τετραγώνων 4 Παράδειγμα Χάραξη ευθείας-ερμηνεία παραμέτρων Εντολές στην R 5 Άσκηση BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

3 Ύλη και Μαθησιακά Αποτελέσματα Ας πάμε στον Οδηγό Σπουδών... BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

4 Ύλη και Μαθησιακά Αποτελέσματα Ας πάμε στον Οδηγό Σπουδών... BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

5 Ύλη και Μαθησιακά Αποτελέσματα BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

6 Ύλη και Μαθησιακά Αποτελέσματα Πιθανότητες: πρακτική χρήση της κανονικής κατανομής Στατιστική: εμπέδωση μεθόδων εκτίμησης παραμέτρων, κατανόηση των διαστημάτων εμπιστοσύνης και των ελέγχων υποθέσεων Γραμμική Άλγεβρα: χρήση πινάκων σε προβλήματα βελτιστοποίησης BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

7 Σκοπιμότητα και Παραδείγματα Τι είναι η ανάλυση παλινδρόμησης (regression); είναι μια στατιστική τεχνική για να διερευνηθεί και να μοντελοποιηθεί η σχέση ανάμεσα σε μεταβλητές. Συγκεκριμένα μελετάται η εξάρτηση της (τυχαίας) μεταβλητής y από ανεξάρτητες μεταβλητές x, οι οποίες δεν είναι τυχαίες, άλλα οι τιμές τους επιλέγονται από εκείνον που διεξάγει το πείραμα. BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

8 Σκοπιμότητα και Παραδείγματα Τι είναι η ανάλυση παλινδρόμησης (regression); είναι μια στατιστική τεχνική για να διερευνηθεί και να μοντελοποιηθεί η σχέση ανάμεσα σε μεταβλητές. Συγκεκριμένα μελετάται η εξάρτηση της (τυχαίας) μεταβλητής y από ανεξάρτητες μεταβλητές x, οι οποίες δεν είναι τυχαίες, άλλα οι τιμές τους επιλέγονται από εκείνον που διεξάγει το πείραμα. Η ανάλυση παλινδρόμησης μπορεί να θεωρηθεί ως η στατιστική θεωρία της προβλέψεως της εξαρτημένης μεταβλητής y από τις ανεξάρτητες μεταβλητές x, οι οποίες γιαυτό ονομάζονται και προβλέπουσες BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

9 Σκοπιμότητα και Παραδείγματα Τι είναι η ανάλυση παλινδρόμησης (regression); είναι μια στατιστική τεχνική για να διερευνηθεί και να μοντελοποιηθεί η σχέση ανάμεσα σε μεταβλητές. Συγκεκριμένα μελετάται η εξάρτηση της (τυχαίας) μεταβλητής y από ανεξάρτητες μεταβλητές x, οι οποίες δεν είναι τυχαίες, άλλα οι τιμές τους επιλέγονται από εκείνον που διεξάγει το πείραμα. Η ανάλυση παλινδρόμησης μπορεί να θεωρηθεί ως η στατιστική θεωρία της προβλέψεως της εξαρτημένης μεταβλητής y από τις ανεξάρτητες μεταβλητές x, οι οποίες γιαυτό ονομάζονται και προβλέπουσες Οικονομία: να προβλεφθεί το εθνικό εισόδημα από τα σχεδιαζόμενα κυβερνητικά μέτρα και επενδύσεις Βιομηχανία: προκαταρκτικά πειράματα για την μελέτη των επιδράσεων διαφόρων συνθηκών παραγωγής (θερμοκρασία, υγρασία, πίεση κλπ) στην ποιότητα του προϊόντος (πχ σκληρότητα χάλυβα) Μετεωρολογία: πρόβλεψη του καιρού βάσει διαφόρων ατμοσφαιρικών μετρήσεων (πίεση, υγρασία, ένταση ανέμου) Βιολογία, Φυσική, επιστήμες του Μηχανικού, κοινωνικές επιστήμες BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

10 Σκοπιμότητα και Παραδείγματα Βήματα Εργασίας Συλλογή των δεδομένων: παλαιά δεδομένα, τρέχουσες παρατηρήσεις, πειραματικός σχεδιασμός Περιγραφή των δεδομένων: sca er diagram ή dot plot (γράφημα διασποράς ή σημειόγραμμα), ένα γραμμικό μοντέλο Εκτίμηση παραμέτρων Πρόβλεψη και εκτίμηση: ο ρόλος των υπολογιστικών πακέτων στην αξιολόγηση της καταλληλότητας του μοντέλου Χρήση: πχ στον έλεγχο διεργασιών BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

11 Σκοπιμότητα και Παραδείγματα Στην αναζήτηση της σχέσης των μεταβλητών Ο όρος regression εμφανίζεται σε εργασία του ανθρωπολόγου Sir Francis Galton (1886) Regression Towards Mediocrity in Hereditary Stature. The Journal of the Anthropological Ins tute of Great Britain and Ireland Vol. 15, pp BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

12 Σκοπιμότητα και Παραδείγματα Οπτική αναζήτηση της σχέσης των μεταβλητών Το παράδειγμα του rocket motor Προωθητικός μηχανισμός κατασκευάζεται με προσκόλληση του καυσίμου που αναφλέγεται(igniter propellant) σε ένα μέσο συγκρατήσεως εντός μεταλλικού κελύφους. Οι ειδικοί θεωρούν ότι η διατμητική τάση (Shear Strength) σχετίζεται με την ηλικία του μέσου συγκρατήσεως (sustainer propellant) BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

13 Σκοπιμότητα και Παραδείγματα BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

14 Σκοπιμότητα και Παραδείγματα Ποσοτικοποίηση της εξάρτησης Ανάλυση συσχέτισης (correla on analysis): μέτρηση του βαθμού και της κατεύθυνσης της γραμμικής σχέσης δύο τυχαίων μεταβλητών cov(x,y) (συντελεστής συσχέτισης του Pearson ρ =, 1 ρ 1) var(x) var(y) Ανάλυση παλινδρόμησης: αφορά στην πρόβλεψη του αποτελέσματος μιας τυχαίας μεταβλητής βασιζόμενοι στην τιμή μιας άλλης (ή άλλων) BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

15 Σκοπιμότητα και Παραδείγματα Ποσοτικοποίηση της εξάρτησης Ανάλυση συσχέτισης (correla on analysis): μέτρηση του βαθμού και της κατεύθυνσης της γραμμικής σχέσης δύο τυχαίων μεταβλητών cov(x,y) (συντελεστής συσχέτισης του Pearson ρ =, 1 ρ 1) var(x) var(y) Ανάλυση παλινδρόμησης: αφορά στην πρόβλεψη του αποτελέσματος μιας τυχαίας μεταβλητής βασιζόμενοι στην τιμή μιας άλλης (ή άλλων) BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

16 Το απλό γραμμικό μοντέλο Ορισμός Το απλό γραμμικό μοντέλο BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

17 Το απλό γραμμικό μοντέλο Ορισμός Το απλό γραμμικό μοντέλο BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

18 Το απλό γραμμικό μοντέλο Υποθέσεις Το απλό γραμμικό μοντέλο απλό: μία ανεξάρτητη μεταβλητή Y = β 0 + β 1 X 1 + β 2 X β k X k + ϵ (γραμμικό πολλαπλό) γραμμικό: ως προς τις παραμέτρους Y = β 0 + e β 1X (μη γραμμικό) όχι κατά ανάγκη γραμμικό ως προς την μεταβλητή Y = β 0 + β 1 X + β 2 X 2 (παραβολή, γραμμικό στις παραμέτρους) BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

19 Το απλό γραμμικό μοντέλο Υποθέσεις Το απλό γραμμικό μοντέλο απλό: μία ανεξάρτητη μεταβλητή Y = β 0 + β 1 X 1 + β 2 X β k X k + ϵ (γραμμικό πολλαπλό) γραμμικό: ως προς τις παραμέτρους Y = β 0 + e β 1X (μη γραμμικό) όχι κατά ανάγκη γραμμικό ως προς την μεταβλητή Y = β 0 + β 1 X + β 2 X 2 (παραβολή, γραμμικό στις παραμέτρους) Οι ελάχιστες ΥΠΟΘΕΣΕΙΣ Y i = β 0 + β 1 X i + ϵ i, i = 1,..., n ανεξάρτητα σφάλματα ϵ i cov(ϵ i, ϵ j ) = 0, i j E(ϵ i ) = 0, και var(ϵ i ) = σ 2 i = 1,..., n BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

20 Το απλό γραμμικό μοντέλο Υποθέσεις Το απλό γραμμικό μοντέλο Για τις Y i ισχύει: οι Y i είναι ανεξάρτητες, επειδή τα σφάλματα ϵ i είναι ανεξάρτητα (βλέπε συμπληρωματικό υλικό) E(Y i ) = β 0 + β 1 X i + E(ϵ i ) = β 0 + β 1 X i, δεν έχουν την ίδια μέση τιμή var(y i ) = var(ϵ i ) = σ 2, έχουν την ίδια δισπορά i = 1,..., n i = 1,..., n Συμπεράσματα για τις Y i : οι Y i δεν είναι ισόνομες η κατανομή τους δεν είναι γνωστή, εάν δεν είναι γνωστή η κατανομή των ϵ i BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

21 Το απλό γραμμικό μοντέλο Εκτίμηση παραμέτρων Πώς θα γίνει η εκτίμηση των παραμέτρων β 0, β 1 ; BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

22 Το απλό γραμμικό μοντέλο Εκτίμηση παραμέτρων Πώς θα γίνει η εκτίμηση των παραμέτρων β 0, β 1 ; Με τις προηγούμενες υποθέσεις, οι δύο γνωστές μέθοδοι δεν μπορούν να χρησιμοποιηθούν ΕΜΠ, Εκτιμητές μεγίστης πιθανοφάνειας: επειδή η κατανομή των Y i δεν είναι γνωστή δεν γνωρίζουμε την συνάρτηση πιθανοφάνειας Εκτιμητές με την μέθοδο των ροπών: επειδή οι Y i δεν είναι ισόνομες δεν μπορούμε να γράψουμε τις εξισώσεις των ροπών BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

23 Το απλό γραμμικό μοντέλο Εκτίμηση παραμέτρων Πώς θα γίνει η εκτίμηση των παραμέτρων β 0, β 1 ; Με τις προηγούμενες υποθέσεις, οι δύο γνωστές μέθοδοι δεν μπορούν να χρησιμοποιηθούν ΕΜΠ, Εκτιμητές μεγίστης πιθανοφάνειας: επειδή η κατανομή των Y i δεν είναι γνωστή δεν γνωρίζουμε την συνάρτηση πιθανοφάνειας Εκτιμητές με την μέθοδο των ροπών: επειδή οι Y i δεν είναι ισόνομες δεν μπορούμε να γράψουμε τις εξισώσεις των ροπών Μέθοδος ελαχίστων τετραγώνων Ελαχιστοποίηση των τετραγώνων των σφαλμάτων: min β 0,β 1 ϵ 2 i = min β 0,β 1 [y i (β 0 + β 1 x i )] 2 οφείλεται στους Gauss (1809) και Legendre (1805) και έχει αρχικά χρησιμοποιηθεί στην γεωδαισία (με χρήση στη ναυσιπλοοΐα) και στην ουράνια μηχανική (για τον προσδιορισμό της τροχιάς πλανητών) BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

24 Το απλό γραμμικό μοντέλο Μέθοδος ελαχίστων τετραγώνων Μέθοδος ελαχίστων τετραγώνων και S = S β 0 = ϵ 2 i = [y i β 0 β 1 x i ] 2 ( 2)[y i β 0 β 1 x i ] 0 = y i = β 0 n + β 1 S β 1 = x i y i = β 0 n x i y i nβ 0 β 1 ( 2x i )[y i β 0 β 1 x i ] 0 = n x i + β 1 n x 2 i οι (1) και (2) ονομάζονται κανονικές εξισώσεις x i y i β 0 n n x i x i β 1 n (1) x 2 i (2) BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

25 Το απλό γραμμικό μοντέλο Μέθοδος ελαχίστων τετραγώνων Οι λύση των κανονικών εξισώσεων είναι οι εκιμητές, β 0 και β 1, των παραμέτρων β 0 και β 1 όπου Y = S XX = S XY = = β 1 = n X iy i n X i n Y i n n X2 i ( n X i ) 2 β 0 = n Y i n n β 1 n X i n S XY S XX Y β 1 X n Y n i και X = X i n n X 2 i ( n X i) 2 = X 2 i nx 2 = (X i X) 2 = n X i Y i ( n X i)( n Y i) = X i Y i nxy n (X i X)(Y i Y) = (X i X)Y i (X i X)X i BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

26 Παράδειγμα Παράδειγμα Ξυλουργικό εργοστάσιο κατασκευάζει θρανία μια φορά το μήνα, ανάλογα με τις παραγγελίες. Τους τελευταίους 10 μήνες καταγράφηκαν ο αριθμός των θρανίων (x) και οι αντίστοιχες ανθρωποώρες (y) που χρειάστηκαν, κάτω από όμοιες συνθήκες εργασίας. Για δύο νέες παραγγελίες 50 και 65 θρανίων, πόσες κατά μέσο όρο ανθρωποώρες θα χρειαστούν; BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

27 Παράδειγμα Παράδειγμα Ξυλουργικό εργοστάσιο κατασκευάζει θρανία μια φορά το μήνα, ανάλογα με τις παραγγελίες. Τους τελευταίους 10 μήνες καταγράφηκαν ο αριθμός των θρανίων (x) και οι αντίστοιχες ανθρωποώρες (y) που χρειάστηκαν, κάτω από όμοιες συνθήκες εργασίας. Για δύο νέες παραγγελίες 50 και 65 θρανίων, πόσες κατά μέσο όρο ανθρωποώρες θα χρειαστούν; BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

28 Παράδειγμα β 1 = n X iy i n X i n Y i n n X2 i ( n X i ) 2 n = (500)2 10 = 2 (ανθρωποώρες) β 0 = Y β 1 X = = 10 (ανθρωποώρες) BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

29 Χάραξη ευθείας Παράδειγμα Χάραξη ευθείας-ερμηνεία παραμέτρων Στο απλό γραμμικό μοντέλο η προσαρμοσμένη ευθεία β 0 + β 1 X διέρχεται από τα σημεία (0, β 0 ), εδώ είναι το σημείο (0, 10) ( X, Y ) (προκύπτει από τη 2η κανονική εξίσωση), εδώ είναι το (50, 110) BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

30 Χάραξη ευθείας Παράδειγμα Χάραξη ευθείας-ερμηνεία παραμέτρων Στο απλό γραμμικό μοντέλο η προσαρμοσμένη ευθεία β 0 + β 1 X διέρχεται από τα σημεία (0, β 0 ), εδώ είναι το σημείο (0, 10) ( X, Y ) (προκύπτει από τη 2η κανονική εξίσωση), εδώ είναι το (50, 110) Ερμηνεία των τιμών των παραμέτρων β 0 =10: πριν ξεκινήσει οποιαδήποτε παραγωγή (x = 0) χρειάζονται 10 ανθρωποώρες προετοιμασίας β 1 =2: η κατασκευή ενός θρανίου απαιτεί (κατά μέσο όρο) 2 ανθρωποώρες BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

31 Χάραξη ευθείας Παράδειγμα Χάραξη ευθείας-ερμηνεία παραμέτρων Στο απλό γραμμικό μοντέλο η προσαρμοσμένη ευθεία β 0 + β 1 X διέρχεται από τα σημεία (0, β 0 ), εδώ είναι το σημείο (0, 10) ( X, Y ) (προκύπτει από τη 2η κανονική εξίσωση), εδώ είναι το (50, 110) Ερμηνεία των τιμών των παραμέτρων β 0 =10: πριν ξεκινήσει οποιαδήποτε παραγωγή (x = 0) χρειάζονται 10 ανθρωποώρες προετοιμασίας β 1 =2: η κατασκευή ενός θρανίου απαιτεί (κατά μέσο όρο) 2 ανθρωποώρες Προβλεπόμενες τιμές Για τα αρχικά X i η Ŷi = β 0 + β 1 X i, i = 1,..., n είναι η προβλεπόμενη τιμή για την μεταβλητή Y. Εδώ X 6 = 50 οπότε Ŷ6 = = 110. Για μια νέα τιμή X 0 η Ŷ0 = β 0 + β 1 X 0 είναι η εκτιμώμενη μέση τιμή του Y 0. Εδώ για X 0 = 65 έχουμε Ŷ0 = = 140. BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

32 Παράδειγμα Εντολές στην R Τα αποτελέσματα χρησιμοποιώντας την R BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21

33 Άσκηση Άσκηση Έστω το γραμμικό μοντέλο Y i = β 1 X i + ϵ i, i = 1,..., n όπου τα ϵ i είναι ανεξάρτητα σφάλματα μεe(ϵ i ) = 0, και var(ϵ i ) = σ 2 για i = 1,..., n. Να βρεθεί ο εκτιμητής, β 1, της παραμέτρου β 1 με τη μέθοδο των ελαχίστων τετραγώνων. Να δοθούν δύο σημεία από τα οποία διέρχεται η προσαρμοσμένη ευθεία β 1 X. Να προσδιοριστεί η ευθεία αυτή για το παράδειγμα της διαφάνειας 17. BEΠ (UPatras) Γραμμικά Μοντέλα 1η, 2η Διάλεξη, / 21