6 ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ ΜΕ ΤΗ ΧΡΗΣΗ ΠΙΚΑΚΩΝ Η χρησιμοποίηση και ο συμβολισμός πινάκων απλοποιεί σημαντικά τα αποτελέσματα της γραμμικής παλινδρόμησης, ιδίως στην περίπτωση της πολλαπλής παλινδρόμησης Γενικά, για την χρήση πινάκων υιοθετούμε τα σύμβολα με έντονα γράμματα Έτσι, με κεφαλαίο έντονο συμβολίζουμε τον πίνακα των παρατηρήσεων στις ανεξάρτητες μεταβλητής Χ, Χ,, Χ p ενώ με ε και β τα διανύσματα των συντελεστών, των τυχαίων μεταβλητών και των λαθών, αντίστοιχα Έστω = α + β Χ + β Χ + + β p Χ p το μοντέλο της πολλαπλής παλινδρόμησης με p εξαρτημένες μεταβλητές Χ, Χ,, Χ p Θεωρούμε τους πίνακες p p p p x, y x x ε ε ε ε, p x + p β β β α β Ο πίνακας αναφέρεται στις παρατηρήσεις των ανεξαρτήτων μεταβλητών Χ, Χ,, Χ p Η πρώτη στήλη του πίνακα αποτελείται από στοιχεία προκειμένου να περιληφθεί στην εξίσωση πινάκων ο
σταθερός συντελεστής α της γραμμικής παλινδρόμησης Κάθε στήλη του πίνακα αποτελείται από τις παρατηρήσεις πάνω στη συγκεκριμένη μεταβλητή Τα στοιχεία της γραμμής του πίνακα αναφέρονται στις παρατηρήσεις πάνω στις ανεξάρτητες μεταβλητές (δοκιμές) Χ, Χ,, Χ p στην δοκιμή ( =,,,) Το διάνυσμα y αναφέρεται στις τιμές της εξαρτημένης μεταβλητής του,,,, p Το διάνυσμα β έχει ως στοιχεία τον σταθερό συντελεστή α και τους συντελεστές β, β,, β p των ανεξαρτήτων μεταβλητών Χ, Χ,, Χ p Χρησιμοποιώντας τον συμβολισμό αυτό των πινάκων, μπορούμε να εκφράσουμε την εξίσωση πολλαπλής παλινδρόμησης με μορφή πινάκων ως εξής: y x x p + p + x x Σημείωση: Σε πολλά συγγράμματα για το συμβολισμό του σταθερού συντελεστή της γραμμικής παλινδρόμησης δεν χρησιμοποιείται το γράμμα α αλλά το β 0 Για το λόγο αυτό και η πρώτη στήλη του πίνακα που έχει ως στοιχεία το και που όπως είπαμε αντιστοιχεί στον σταθερό συντελεστή της γραμμικής παλινδρόμησης λέγεται μηδενική στήλη Σημείωση: Όπως και στην απλή γραμμική παλινδρόμηση, μια ισοδύναμη έκφραση που διευκολύνει τους υπολογισμούς είναι αυτή που κάνει χρήση των διορθωμένων αθροισμάτων τετραγώνων και γινομένων (correced sums of squares ad cross producs) Αν =,,, p β x είναι το διάνυσμα διαστάσεων (px) των μέσων των ανεξαρτήτων μεταβλητών Χ, =,,, τότε, εναλλακτικά, μπορούμε να ορίσουμε ως πίνακα των παρατηρήσεων επί των ανεξαρτήτων μεταβλητών, τον πίνακα ε
, -,, - =, -,, - p p p p Πολλές φορές διευκολύνει να γράφουμε τον πίνακα με τη μορφή διαμερισμένου πίνακα, δηλαδή = [j ] όπου j είναι το διάνυσμα - στήλη που αποτελείται από μονάδες και είναι ο πίνακας των κεντροποιημένων παρατηρήσεων -,, - -, - p p p p 6 Πίνακας διακυμάνσεων - συνδιακυμάνσεων του ε Τα λάθη στην πολλαπλή παλινδρόμηση είναι ουσιαστικά ένα τυχαίο διάνυσμα Οι υποθέσεις που κάναμε για τα λάθη αυτά μπορούν να συνοψιστούν με μορφή πινάκων ως εξής: Ε(ε) = 0 και V(ε) = σ I όπου V(ε) είναι ο πίνακας διακυμάνσεων - συνδιακυμάνσεων του ε, I είναι ο x ταυτοτικός πίνακας και 0 είναι ένα x διάνυσμα από 0 Αν προσθέσουμε την υπόθεση ότι κάθε ένα από τα ε ακολουθεί την κανονική κατανομή, μπορούμε να γράψουμε ε Ν (0, σ I )
6 Εκτιμήτριες ελαχίστων τετραγώνων (Leas squares esmaors) H εκτιμήτρια ελαχίστων τετραγώνων βˆ του β επιλέγεται και πάλι έτσι ώστε να ελαχιστοποιεί το άθροισμα των τετραγώνων των λαθών Αν επομένως θεωρήσουμε τη συνάρτηση που εκφράζει το άθροισμα των τετραγώνων των λαθών, δηλαδή τη συνάρτηση,, p p p SSE a,b b,b y a - b x -b x ή, αντίστοιχα, την συνάρτηση των διορθωμένων λαθών =,, p p p p SSE a,b b,b y a - b x - x -b x - x = θα πρέπει, προκειμένου να βρούμε τις εκτιμήσεις των συντελεστών, να ελαχιστοποιήσουμε τη συνάρτηση (με μορφή πινάκων) SSE( b) = y - x b = y b y b = - - όπου b = (a, b, b,, b p ) και είναι ο πίνακας των παρατηρήσεων στις ανεξάρτητες μεταβλητές όπως αυτός δόθηκε νωρίτερα ή αντίστοιχα, ο πίνακας των παρατηρήσεων στις κεντροποιημένες μεταβλητές Το διάνυσμα των μερικών παραγώγων του SSE(b) ως προς το διάνυσμα b είναι SSE ( b ) y + b b Μια επαρκής συνθήκη για να επιτευχθεί το ελάχιστο της συνάρτησης αυτής είναι η συνθήκη SSE( b ) b 0
ή, ισοδύναμα, η συνθήκη b = y Με την προϋπόθεση ότι υπάρχει ο αντίστροφος του πίνακα η εκτίμηση ελαχίστων τετραγώνων b του β δίνεται από τη σχέση - b = ( ) y Το b ως εκτίμηση του β είναι προφανώς μια από τις δυνατές τιμές της εκτιμήτριας βˆ του β Επομένως, η εκτιμήτρια ελαχίστων τετραγώνων διανύσματος β δίνεται από τη σχέση βˆ = ( ) - y βˆ του Σημείωση: Στην περίπτωση που χρησιμοποιούμε για τον πίνακα την έκφραση εκείνη, σύμφωνα με την οποία τα στοιχεία του πίνακα αυτού αναφέρονται στις αποκλίσεις των παρατηρήσεων από τους αντίστοιχους μέσους τους, η εκτιμήτρια του β μπορεί να απλοποιηθεί Αυτό γιατί j j p+x xp+ j j jj j j 0 0 p+xp
δοθέντος ότι κάθε στήλη του πίνακα θα πρέπει να αθροίζει στο μηδέν Το j διαγώνιο στοιχείο του πίνακα είναι το άθροισμα τετραγώνων j της j ανεξάρτητης μεταβλητής γύρω από το μέσο της, ενώ το j μηδιαγώνιο στοιχείο είναι το άθροισμα των γινομένων j j h h Επομένως ο πίνακας θα έχει τη μορφή j p p p p p p Επίσης θα έχουμε (p )x x j ή, ισοδύναμα, p p p p Με βάση τις παρατηρήσεις αυτές, η εκτιμήτρια ελαχίστων τετραγώνων βˆ του β για την περίπτωση των κεντροποιημένων παρατηρήσεων, γίνεται
β ˆ αˆ ˆ β 0 0 = Παράδειγμα: Στο τέλος κάθε εξαμήνου οι φοιτητές ενός Πανεπιστημιακού Τμήματος συμπληρώνουν ερωτηματολόγια με τα οποία αξιολογούν τις διάφορες πλευρές του μαθήματος που διδάχτηκαν όπως επίσης και το διδάσκοντα Ο Πρόεδρος του Τμήματος ενδιαφέρεται να μελετήσει την συνολική αξιολόγηση του διδάσκοντα Υ σε σχέση με τις ανεξάρτητες μεταβλητές Χ = ικανότητα του διδάσκοντα να παρουσιάσει τη διδακτέα ύλη και Χ = ικανότητα του διδάσκοντα να προκαλέσει το ενδιαφέρον των φοιτητών Οι τιμές των τριών μεταβλητών για ένα δείγμα =0 διδασκόντων δίδονται στον πίνακα που ακολουθεί (Η επιλογή των 0 διδασκόντων έγινε με τρόπο ώστε τα αντίστοιχα δεδομένα να ανταποκρίνονται σε μεγάλη ποικιλία τιμών των μεταβλητών Χ και Χ Οι αξιολογήσεις γίνονται σε κλίμακα -4)
Μέσες Αξιολογήσεις Χ Χ y y e = y - y 04 006 3 7 4 4-00 4 6 5 38 0 0 5 6 49 0 0 4 7 43 07 6 4 3-0 3 0 96 004 6 6 8-0 5 3 6 85-05 5 09 00 6 7 4 43-003 4 0 09-009 3 3 3 86 034 6 30 7 6 008 8 8 0 9 008 3 4 0 39-039 3 6 56 004 3 34 30 30-00 3 38 35 37 03 39 3 9 33-03 Μέσοι 30 35 05 04 0005 Για τα στοιχεία αυτά έχουμε ότι ο πίνακας έχει τα στοιχεία:
3 7 4 6 0 5 0 4 6 4 3 6 5 3 5 6 7 4 3 3 6 3 0 8 8 3 4 3 3 34 3 38 39 3 Η πολλαπλή παλινδρόμηση που θα πρέπει να χρησιμοποιηθεί για την ανάλυση του προβλήματος αυτού έχει τη μορφή ή, ισοδύναμα, Υ = α + β Χ + β Χ Υ ι = α + β Χ + β Χ, =,,, 0 Με πολλαπλασιασμό πινάκων για τα συγκεκριμένα δεδομένα του προβλήματος βρίσκουμε ότι
086 804 804 08375 Ο αντίστροφος του πίνακα αυτού δίνεται από τη σχέση Εξάλλου Θεωρώντας το γινόμενο 00474 05545 05545 004698 = 83 9375 y καταλήγουμε στις εκτιμήτριες ελαχίστων τετραγώνων για τους συντελεστές βˆ και βˆ της πολλαπλής παλινδρόμησης Έτσι, βρίσκουμε ότι βˆ = 098 και βˆ = 063 Επομένως η εκτιμώμενη συνάρτηση παλινδρόμησης είναι η συνάρτηση y = 05 + 098 (x - 30) + 063 (x - 35) = -0050 + 098 x + 063 x Τιμές για τον γενικό μέσο αξιολόγησης των διδασκόντων όπως αυτές προκύπτουν από τη χρησιμοποίηση της εκτιμηθείσας εξίσωσης παλινδρόμησης δίνονται στην 4η στήλη του πίνακα Στο γράφημα που ακολουθεί παρουσιάζονται οι παρατηρήσεις του προβλήματος Η αρχή των αξόνων για τα Χ και Χ έχει επιλεγεί ώστε να δείχνει πως το εφαρμοσμένο επίπεδο παλινδρόμησης κλίνει προς τα πάνω (slopes upwards) από το σημείο τομής -005 Οι άκρες της γραμμοσκιασμένης επιφάνειας είναι οι γραμμές που δίνονται όταν θεωρήσουμε το Χ ή το Χ ίσο με το μηδέν στη δειγματική
συνάρτηση παλινδρόμησης Οι προβλεπόμενες τιμές y είναι οι κάθετες προβολές των y πάνω στο επίπεδο Τα κατάλοιπα e = y - y που δίνονται στην τελευταία στήλη του πίνακα είναι οι αποστάσεις των y πάνω ή κάτω από το επίπεδο προσαρμογής Το άθροισμα των τετραγώνων των καταλοίπων είναι το μικρότερο δυνατό αφού το επίπεδο προσαρμογής έχει επιλεγεί με κριτήριο την ελαχιστοποίηση των τετραγώνων των αποκλίσεων Γράφημα της παλινδρόμησης μέσων αξιολογήσεων