ΚΕΦΑΛΑΙΟ 4 Ο ΜΕΘΟ ΟΙ ΕΚΤΙΜΗΣΗΣ ΤΩΝ ΠΑΡΑΜΕΤΡΩΝ ΤΟΥ ΚΛΑΣΣΙΚΟΥ ΓΡΑΜΜΙΚΟΥ ΥΠΟ ΕΙΓΜΑΤΟΣ. Η ΜΕΘΟ ΟΣ ΤΩΝ ΕΛΑΧΙΣΤΩΝ ΤΕΤΡΑΓΩΝΩΝ. Εκτίµηση των Παραµέτρων τυ Υπδείγµατς. Στατιστικί Έλεγχι Αναλύσεις. Πρλέψεις. Ελαχιστπίηση τυ Μέσυ Τετραγωνικύ Σφάλµατς για διαφρετικές τιµές των Παραµέτρων τυ Κλασσικύ Γραµµικύ Υπδείγµατς.
Η ΜΕΘΟ ΟΣ ΤΩΝ ΑΠΛΩΝ ΕΛΑΧΙΣΤΩΝ ΤΕΤΡΑΓΩΝΩΝ. 4. Γενικά. Εάν δεχθύµε ότι η µεταλητή επιδρά στη διαµόρφωση των τιµών της µεταλητής, δηλαδή αν δεχθύµε ότι και η επίδραση αυτή είναι ( δηλαδή κάπις αριθµός ) τότε µπρύµε να πρσεγγίσυµε αλγερικά (συναρτησιακά) αυτή την σχέση εξάρτησης της από την ως εξής: f ( ; ) ε (4.) Ανεξάρτητη Μεταλητή Εξαρτηµένη Μεταλητή. f (.) Συναρτησιακή Σχέση µεταξύ των δύ Μεταλητών. Παράµετρς Υπό Εκτίµηση. ε ιαταρακτικός Όρς. Με άση την µέθδ των απλών ελαχίστων τετραγώνων, αν ) είναι µια Απλών Ελαχίστων Τετραγώνων εκτίµηση της παραµέτρυ, τότε ι θεωρητικές τιµές της θα είναι : ) f ( ; ) ) (θεωρητικές τιµές της ) (4.) Η Απλών Ελαχίστων Τετραγώνων εκτίµηση της παραµέτρυ θα πρκύψει από την ελαχιστπίηση των απκλίσεων των πραγµατικών από τις θεωρητικές τιµές της µεταλητής. Οι απκλίσεις θεωρητικών ) και πραγµατικών τιµών θα είναι: ) ε τ (4.3) όπυ ε Απκλίσεις-Εκτιµήσεις τυ ιαταρακτικύ όρυ. Για µεθδλγικύς λόγυς αντί της ελαχιστπίησης των εκτιµήσεων τυ διαταρακτικύ όρυ, θα ελαχιστπιήσυµε τ άθρισµα των εκτιµήσεων τυ διαταρακτικύ όρυ στ τετράγων ( ) ε ), δηλαδή τ Αθρισµα: ε (4.4) T ε Η σχέση (5.4) µπρεί επιπλέν να γραφεί και ως εξής: T ε ( ) ( f( ; )) (4.5)
Όπυ είναι η Απλών Ελαχίστων Τετραγώνων εκτίµηση της παραµέτρυ. Η σχέση (5.5) είναι στην υσία ένα Άθρισµα: Φ ( ) ( f( ; )) Μπρύµε να ελαχιστπιήσυµε αυτό τ Άθρισµα για διαφρετικές τιµές της παραµέτρυ. Στ Σχεδιάγραµµα 5. παρυσιάζυµε µια τέτια υπθετική διαδικασία όπυ για διαφρετικές τιµές της παραµέτρυ Άθρισµα Φ ( ) ( f( ; )). υπλγίζυµε τ Φ ( ) ( f( ; )) Α Πιθανές τιµές της Παραµέτρυ Σχεδιάγραµµα 5. Υπθετική Ελαχιστπίηση τυ Αθρίσµατς σε σχέση µε διάφρες πιθανές τιµές της παραµέτρυ. Φ ( ) ( f( ; )) Από τ Σχεδιάγραµµα 5. πρκύπτει ότι τ ελάχιστ τυ αθρίσµατς T ε ( ) ( f( ; )) ρίσκεται στ σηµεί Α. Στην θέση αυτή αντιστιχεί η Απλών Ελαχίστων Τετραγώνων εκτίµηση της παραµέτρυ. Με άση τα παραπάνω η σχέση µεταξύ των µεταλητών και θα είναι :.7 Υ και φυσικά θα µπρύσαµε να την πρσεγγίσυµε ως εξής: X. 3
4. Αλγερική Πρσέγγιση της ιαδικασίας Γραφικής Ελαχιστπίησης. Η ελαχιστπίηση στ Σχεδιάγραµµα 5. Αλγερικά θα µπρύσε να παρυσιαστεί ως εξής: T ε f (4.6) mi mi ( ) mi ( ( ; )) Γνωρίζυµε από την άλγερα ότι ι συνθήκες πρώτης τάξης για την ελαχιστπίηση της (5.6) είναι η πρώτη παράγωγς ως πρς ) να είναι µηδέν. Αυτό σηµαίνει ότι: ) ) ) S( ) ε ( f ( ; )) ) ) ) (4.7) Λύνντας την (4.7) θα µπρύσαµε να έχυµε την ελαχίστων τετραγώνων εκτίµηση της παραµέτρυ. Αυτό φυσικά δεν µπρεί να γίνει στη (4.7 ) διότι η f ( ; ) ) είναι ακόµα γενικύ χαρακτήρα, χωρίς κάπια συγκεκριµένη αλγερική µρφή. Χρειάζεται λιπόν η συνάρτηση f ( ; ) ) να εξειδικευθεί αλγερικά(μαθηµατική Εξειδίκευση τυ Υπδείγµατς). Θα µπρύσαµε να έχυµε την απλύστερη αλγερική εξειδίκευση, υπθέτντας ότι η επίδραση της στην είναι σταθερή και είναι ένας συγκεκριµένς αριθµός, έστω. Αυτό σηµαίνει ότι: (4.8) Η σχέση (6) γραφικά παρυσιάζεται απ τ Σχεδιάγραµµα 5.. 4
Τιµές της µεταλητής Σχεδιάγραµµα 5. Γραφική παρυσίαση της Υπθετικής µε άση την σχέση (4.8) επίδρασης της µεταλητής στη µεταλητή. Για να εξειδικεύσυµε αλγερικά την επίδραση της στη, αξιπιύµε τ ανάπτυγµα µιας σειράς Talor, όπυ για κάπιες αρχικές τιµές των µεταλητών και (έστω και ) µπρύµε να γράψυµε την f ( ; ) ε ( ) ( ; ) ( ) ε f ; (4.9) f ε (4.) ( ) ε (4.) υπθέτντας ότι, η παραπάνω σχέση γράφεται ως εξής: Εάν f ( ), µία µη γραµµική συνάρτηση δύ µεταλητών και, µπρεί τότε να πρσεγγισθεί µε µία ανάπτυγµα µιας σειράς Talor γύρω από δύ τιµές. και. ως εξής: f, f, f, f,,,,,, ( ) ( ) ( ) ( ) f,,, ( ) ( )( ) L,,,, f,,, 5
c ε (4.) και αν για την ευκλία της παρυσίασης υπθέτυµε ότι c, πότε η (4.) γράφεται ως εξής: ε (4.3) Έχντας τώρα συγκεκριµένη αλγερική µρφή η συνάρτηση ( ) ε ε f ; µπρύµε να έχυµε συγκεκριµένες µρφές για τις θεωρητικές τιµές ) ) (4.4) ) ) ) και να πάρυµε τις απκλίσεις ε (4.5) να τις υψώσυµε στ τετράγων και να ρύµε τ ελάχιστ τυς άθρισµά: mi ) ε (4.6) Οι εκτιµήτριες συναρτήσεις της παραµέτρυ µε την µέθδ των ελαχίστων τετραγώνων θα πρέλθυν από την διαδικασία ελαχιστπίησης. T T T Mi ε Φ( ) Mi Mi Mi (4.7) Ικανή συνθήκη για την ελαχιστπίηση της συνάρτησης ϕ ως µηδενισµός της πρώτης παραγώγυ. είναι ϕ (4.8) (Καννική Εξίσωση) ϕ ( ) 6
7 ( ) (4.9) (4.) ( ) ( ) ( ) ( ) ( ) f f f
Αριθµητική Εφαρµγή 4. Χρησιµπιώντας τα στιχεία τυ Πίνακα 5. θα εφαρµόσυµε την επαναληπτική γραφική τεχνική τυ Σχεδιαγράµµατς 5.. Στ Σχεδιάγραµµα 5.3 και στν Πίνακα 5. παρυσιάζυµε γραφικά και αριθµητικά της τιµές τυ αθρίσµατς Φ ( ) ( f( ; )) για υπθετικά διαφρετικές τιµές της παραµέτρυ. Πίνακας 5.. ηλωθέν Ιδιωτικό Εισόδηµα ( ) και η Κατανάλωση Πρϊόντς ( ). Έτς 995 9 6 996 6 997 8 5 998 9 999 8 Πηγή: Υπθετικά Στιχεία. Sum of Squares Φ ( ) ( f( ; )) Ελαχιστπίηση τυ Αθρίσµατς Φ ( ) ( f( ; )) Daa of Table 5. 45 4 35 3 5 5 5..5..5. Πιθανές Τιµές της Παραµέτρυ Σχεδιάγραµµα 5.3 Ελαχιστπίηση τυ Αθρίσµατς Φ ( ) ( f( ; )) σε σχέση µε διάφρες πιθανές τιµές της παραµέτρυ. Είναι εµφανές ότι τ άθρισµα f ελαχιστπιείται στ Φ ( ) ( ( ; )) σηµεί όπυ η τιµή τυ είναι ίση µε.4 και Φ ( ) ( f( ; )) 3.4. Με άση τα όσα έχυµε αναφέρει αυτή η τιµή είναι η Απλών Ελαχίστων Τετραγώνων εκτίµηση της παραµέτρυ στ υπόδειγµα ε. 8
ΠΙΝΑΚΑΣ 4. Απτελέσµατα Επαναληπτικής ιαδικασίας Ελαχιστπίησης τυ Αθρίσµατς f σε σχέση µε διάφρες πιθανές τιµές Φ ( ) ( ( ; )) της παραµέτρυ. Er Φ ( ) ( f( ; )) 45, 368,3 3, 35,8 4,3 67,5 5,4 3,4 6,5 83,5 7,6 47,8 8,7 6,3 9,8 89,9 65,9 47, 3,3 3,,8 4,3 5,5 5,4 3,4 6,5 5,5 7,6,8 8,7 3,3 9,8 47,9 65,9 89 Πηγή: Εκτιµήσεις µας. Αριθµητική Εφαρµγή 4.. ( Εκτίµηση των Παραµέτρων τυ Γραµµικύ Υπδείγµατς µε την µέθδ των Απλών Ελαχίστων Τετραγώνων) Με άση τα στιχεία τυ Πίνακα 4.3 η ανάλγη εκτίµηση της παραµέτρυ χρησιµπιώντας την σχέση (4. ) θα είναι: 94.4 (4.) Η ταυτσηµότητα των δυ εκτιµήσεων είναι µια έµµεση µέθδς επαλήθευσης ότι ι δύ µέθδι είναι ταυτόσηµες. 9
Πίνακας 4.3. Αναλυτική ιαδικασία Εκτίµησης των Παραµέτρων τυ Υπδείγµατς. () () (3) (4) (5) Τ 9 6 36 54 8 6 4 36 3 8 5 5 4 64 4 9 8 8 44 5 8 64 8 ΑΘΡΟΙΣΜΑΤΑ 45 3 94 45
4.3 Η Γραφική Μέθδς των Ελαχίστων Τετραγώνων για περισσότερ από µία παραµέτρυς. Αν στην σχέση (4.) θεωρήσυµε ότι µε να εκφράζει τν σταθερό όρ, τότε η αλγερική εξειδίκευση της σχέσης µεταξύ των µεταλητών και θα µπρύσε να γραφεί ως εξής: ε (4.) Στ υπόδειγµα αυτό έχυµε να εκτιµήσυµε µε την µέθδ των ελαχίστων τετραγώνων δύ παραµέτρυς. Τις παραµέτρυς και. Έστω ότι και είναι ι Απλών Ελαχίστων Τετραγώνων εκτιµήσεις των παραµέτρων και τυ υπδείγµατς (4.). Τότε µε άση τη µέθδ των ελαχίστων τετραγώνων αυτές ι εκτιµήσεις θα µπρύσαν να πρκύψυν από τη διαδικασία ελαχιστπίησης: Mi Mi Mi ε Mi,,,, ϕ, (4.3) Η ελαχιστπίηση της (4.3 ) ως πρς τις παραµέτρυς και µπρεί όπως και στην πρηγύµενη περίπτωση να γίνει γραφικά και αλγερικά. Γραφική Εκτίµηση των Παραµέτρων τυ Υπδείγµατς. Στην περίπτωση αυτή για διαφρετικές τιµές των παραµέτρων υπδείγµατς (4.) θα υπλγίζυµε τ Άθρισµα : Mi,, Mi και τυ (4.4) και θα επιλέξυµε εκείν τν συνδυασµό των παραµέτρων και πυ τ ελαχιστπιεί. Στ Σχεδιάγραµµα 4.4 παρυσιάζυµε γραφικά αυτή την επαναληπτική διαδικασία ενώ στν Πίνακα 4.4 παρυσιάζυµε περιληπτικά τυς αριθµητικύς υπλγισµύς.
Mi, Σχεδιάγραµµα 4.4. Γραφική παρυσίαση της εξέλιξης τυ διαφρετικές τιµές των παραµέτρων Mi, και τυ υπδείγµατς για ΠΙΝΑΚΑΣ 4.4 Απτελέσµατα Επαναληπτικής ιαδικασίας Mi, 45,6,4 7,6 3,9 3,5,7,7 85,5,7 4,,9,7 6 8,3,8 89,8 3,4 4,8 3,9,5,8 4,8 4,,85,8 4,,8,8 4,3,85,8 4,4,8 4,5,5,9,6 46,,9 3,,35 4, 8,5, 4,5 5,55, 5, 6,5,,5 35,55 3,4 795,8 3,, 74,4 5,,5 339,5 5,8 5,5 5649,5 6,,4 548,5 Πηγή : Εκτιµήσεις µας.
Είναι εµφανές ότι τ άθρισµα f ελαχιστπιείται στ Φ ( ) ( ( ; )) σηµεί όπυ ι τιµές των παραµέτρων είναι 4.4 και.8 και Φ ( ) ( f( ; )). Με άση τα όσα έχυµε αναφέρει ι τιµές αυτές είναι ι Απλών Ελαχίστων Τετραγώνων εκτιµήσεις των παραµέτρων και στ υπόδειγµα ε. 3
4.4 Αλγερική Πρσέγγιση της Μεθόδυ των Ελαχίστων Τετραγώνων στην εκτίµηση των παραµέτρων τυ υπδείγµατς. Έστω τ υπό εκτίµηση υπόδειγµα: ε Αν και είναι ι ( γραµµικών ) ελαχίστων παραµέτρων και αντιστίχως, τότε ι θεωρητικές τιµές της πρκύψυν από την σχέση ; (4.5) ενώ ι ανάλγες εκτιµήσεις τυ διαταρακτικύ όρυ ε θα είναι ε (4.6) τετραγώνων εκτιµητές Οι εκτιµήτριες συναρτήσεις των και µε την µέθδ των απλών ελαχίστων τετραγώνων θα πρέλθυν από την διαδικασία ελαχιστπίησης: Mi Mi Mi e,,,, Mi ϕ, (4.7), θα Ικανή συνθήκη για την ελαχιστπίηση της συνάρτησης είναι µηδενισµός των πρώτων παραγώγων : ϕ, ως πρς και ϕ, ϕ, (4.8) (Καννικές Εξισώσεις) 4
5 Πρώτη Καννική Εξίσωση :, ϕ ( ) ( ) ( ) ( ) ( ) ( ) f f f () ( ) Ν K Ν (4.9) Η εύτερη Καννική Εξίσωση ( ), ϕ ( ) ( ) ( ) ( ) ( ) f f f ( ) (4.3) Τ σύστηµα των εξισώσεων (4.9) και (4.3) είναι τ σύστηµα των καννικών εξισώσεων (ormal Equaios) από την λύση τυ πίυ θα πρκύψυν ι Απλών Ελαχίστων Τετραγώνων εκτιµήτριες συναρτήσεις.
6 Οι εξισώσεις (4.9) και (4.3) µπρύν υπό την µρφή ενός Συστήµατς Εξισώσεων να γραφύν ως εξής: (4.3) Οι εκτιµήτριες συναρτήσεις των παραµέτρων και θα πρκύψυν ως εξής : (4.3) Στ Παράρτηµα παρυσιάζυµε αναλυτικά τν υπλγισµό τυ αντίστρφυ της µήτρας της σχέσης (3.5). Απδεικνύεται ότι ι ελαχίστων τετραγώνων εκτιµητές των παραµέτρων και είναι: ) ( (4.33) µ µ (4.34) Αριθµητική Εφαρµγή. ( Εκτίµηση των Παραµέτρων τυ Γραµµικύ Υπδείγµατς) ΠΙΝΑΚΑΣ Έτς 995 9 6 996 6 3 997 8 5 4 998 9 5 999 8 Πηγή: Στιχεία τυ Πίνακα. ( ) µ µ
Με άση τα στιχεία τυ Πίνακα ι ανάλγες εκτιµήσεις των παραµέτρων θα είναι: ˆ ( ) ()( 5. 94) ( 3 )(. 45) 47 35 5. 3 5 9 ( ) ( ) 5,8 µ 45 9 5 µ χ 3 6 5 ˆ 9- (,8) 6 9 4,8 4, Άρα η γραµµή Παλινδρόµησης στ είγµα θα είναι: 4..8 ( ιαστρωµατικά Στιχεία) 4..8 (Χρνσειρές) Πίνακας 4.5. Αναλυτική ιαδικασία Εκτίµησης των Παραµέτρων τυ Υπδείγµατς. () () (3) (4) (5) Τ 9 6 36 54 8 6 4 36 3 8 5 5 4 64 4 9 8 8 44 5 8 64 8 ΑΘΡΟΙΣΜΑΤΑ 45 3 94 45 7
Ανάλυση των Απτελεσµάτων. Με άση τα απτελέσµατα εκτίµησης των παραµέτρων τυ υπδείγµατς τόσ µε την γραφική όσ και µε την αλγερική µέθδ των Απλών Ελαχίστων Τετραγώνων µπρύµε να συµπεράνυµε τά εξείς: Η επίδραση της µεταλητής είναι: στην διαµόρφωση των τιµών της µεταλητής, θα.879889534 Η επίδραση.8798895 δίδεται γραφικά στ Χρνδιάγραµµα. Φαίνεται καθαρότατα ότι η επίδραση αυτή µηδενίζεται αµέσως µετά τ πρώτ τρίµην τυ 965..5.4.3... A M J J A S O D J F M A M J J 969 97 Χρνδιάγραµµα 5.5 Γραφική παρυσίαση των διαχρνικών αλληλεπιδράσεων µιας µεταλής της µεταλητής στην διαµόρφωση της διαχρνικής µεταλητικότητας της µεταλητής. Αν υπθέσυµε ότι η µεταλητή εκφράζει τ ηλωθέν Εισόδηµα και µεταλητή την Κατανάλωση ενός πρϊόντς τότε ι εκτιµήσεις µας µπρεί να ερµηνευθύν ως εξής: # Μία µεταλή στ ηλωθέν Εισόδηµα µία συγκεκριµένη χρνική περίδ (έστω τ έτς 964) θα έχει αµέσως επίδραση στην Κατανάλωση τυ πρϊόντς και τ µέγεθς αυτής της επίδρασης θα είναι,8798. Η επίδραση αυτή θα εξαντληθεί εντός µιας χρνικής περιόδυ, διότι έχυµε υπθέσει ότι έχυµε ένα στατικό ικνµετρικό υπόδειγµα #. 8
4.5. Τό Γραµµικό Υπόδειγµα σε Απκλίσεις από τυς Αριθµητικύς Μέσυς. Αρκετές φρές ι µεταλητές τυ Κλασσικύ Γραµµικύ Υπδείγµατς : o ε (4.35) µπρύν να µετασχηµατισθύν σε απκλίσεις από τις µέσες τυς τιµές. Κατ αυτό τν τρόπ µπρύµε να γράψυµε τ υπόδειγµα (4.35 ) ως εξής: ε (4.36) µε,, και (4.37) H (4.37) πρκύπτει ως εξής: Αθρίζυµε την (4.35) : ( ε ) ε (4.38) ιαιρύµε µε τν αριθµό των διαθεσίµων παρατηρήσεων: T T διότι ε T Τ (4.39) T T Αφαιρύµε την (5) από την (4) και πρκύπτει ότι: ( ) ε (4.4) ε (4.4) µε και (4.4) 9
Απλών Ελαχίστων Τετραγώνων εκτιµητής τυ υπδείγµατς (4.36) είναι εξής: Ο παραπάνω εκτιµητής µπρεί να πρκύψει αλγερικά ως εξής: ( ) ε Φ T T T Mi Mi Mi Mi ( ) ϕ ( ) b ( ) ( ) ( ) ( ) ( ) f f f (4.43) Αριθµητική Εφαρµγή. ( Εκτίµηση των Παραµέτρων τυ Γραµµικύ Υπδείγµατς) µ µ Με άση τα στιχεία τυ Πίνακα 4.5 ι ανάλγες εκτιµήσεις της παραµέτρυ θα είναι: 8. 38 4
µ 45 9 5 µ χ 3 6 5 ˆ 9- (.8) 6 9 4.8 4. Άρα η γραµµή Παλινδρόµησης στ είγµα θα είναι: 4..8 ( ιαστρωµατικά Στιχεία) 4..8 (Χρνσειρές) Πίνακας 4.5. Αναλυτική ιαδικασία Εκτίµησης των Παραµέτρων τυ Υπδείγµατς. ( ) ( ) ( )( ) ( )( ) Er 9 6 6-3 -4 6 3 8 5 - - 4 9 3 3 9 9 5 8 4 ΑΘΡΟΙ ΣΜΑΤΑ Σ 45 Σ 3 ( )( ) 4 ( ) 38
Ανακεφαλαίωση. Οι Ελαχίστων Τετραγώνων Εκτιµητές πυ έχυµε παρυσιάσει µέχρι τώρα δίδνται στν Πίνακα 4.6. Πίνακας 4.6 Ελαχίστων Τετραγώνων Εκτιµητές Υπόδειγµα :. ε. ε 3. ε µε Ελαχίστων Τετραγώνων Εκτιµητές. ( ) µ µ
4.6 Ιδιότητες της παλινδρόµησης µετά την εκτίµηση των παραµέτρων τυ υπδείγµατς(οι Ιδιότητες της Γραµµής Παλινδρόµησης στ είγµα). Οι καννικές εξισώσεις () και () µας επιτρέπυν να δηµιυργήσυµε µερικές χρήσιµες ιδιότητες πυ αφρύν ανάλυση παλινδρόµησης: (4.44) ε (4.45) ε (4.46) ε (4.47) Ιδιότητα. Η παλινδρόµηση διέρχεται από τ σηµεί πυ καθρίζεται από τις µέσες τιµές των µεταλητών. ΑΠΟ ΕΙΞΗ: Αν ˆ και ˆ είναι ι ελαχίστων τετραγώνων εκτιµητές των παραµέτρων και και Τ και ι µέσες τιµές των µεταλητών T και,τότε: ˆ ˆ ˆ ˆ (4.48) Ιδιότητα. Απδεικνύεται ότι : ˆ ή T T ˆ Απόδειξη: Έστω ˆ και ˆ δύ εκτιµήσεις και παραµέτρων και. Οι θεωρητικές τιµές ˆ πρκύπτυν από την σχέση: 3
ˆ ˆ ˆ χ (4.49( Επειδή ˆ χ ή η παραπάνω σχέση γράφεται ως : ˆ ˆ ˆ χ ˆ χ χ ( χ χ) (4.5) Αθρίζυµε την παραπάνω σχέση και λαάνυµε: ˆ ( ˆ ( χ χ) ˆ ˆ ( χ χ) (4.5) Επειδή ( χ χ) χ χ.(.) χ χ ˆ ˆ (4.5) Ανάλγα ισχύει ότι ι εκτιµήσεις των θεωρητικών (εκτιµώµενων) τιµών ŷ είναι ίσες µε την µέση τιµή των πραγµατικών τιµών. Ιδιότητα 3. Απδεικνύεται ότι η µέση τιµή (άθρισµα) των εκτιµήσεων τυ διαταρακτικύ όρυ ˆ ε είναι µηδέν. ηλαδή ˆ ε Απόδειξη: Εάν ˆ και ˆ είναι ι ελαχίστων τετραγώνων εκτιµητές των παραµέτρων και τότε ι εκτιµήσεις τυ διαταρακτικύ όρυ πρκύπτυν τα εξής : ε (4.53) Αθρίζυµε : Σ Σ( ) ε Σ Σ (4.54) Γνωρίζυµε όµως από την πρώτη ιδιότητα ότι ˆ πότε:. ε (4.55) 4
Ιδιότητα 4. Απδεικνύεται ότι ι εκτιµήσεις τυ διαταρακτικύ όρυ ε δε συσχετίζνται µε τις τιµές της ερµηνευτικής µεταλητής χ.ισχύει δηλαδή ότι : χε ˆ (4.56) Απόδειξη : Έστω ˆ και ˆ εκτιµήσεις ελαχίστων τετραγώνων των παραµέτρων και. Τότε ε Πλλαπλασιάζυµε µε χ,πότε Ε ˆ ˆ o ε (4.57) Αθρίζυµε λαµάνντας : Σ ε Σ Σ (4.58) ή σχέση ˆ χ χ εξίσωση, η πία είναι µηδέν, πότε: είναι η δεύτερη καννική ˆ ε (4.6) Iδιότητα 5.Οι εκτιµήσεις τυ διαταρακτικύ όρυ δε συσχετίζνται µε τη θεωρητικές τιµές.ισχύει δαλαδή ότι ˆ ˆ ε Απόδειξη:Εάν ˆ και ˆ είναι ι ελαχίστων τετραγώνων εκτιµητές των παραµέτρων και τότε Σ ˆ ˆ ˆ Πλλαπλασιάζυµε µε ˆ ε λαµάνντας: ˆ ˆ ˆ ˆ ˆ ˆ ε ε ε Αθρίζυµε ˆ ˆ ˆ ˆ ˆ ε ε ε Επειδή ταυτόχρνα ισχύυν ˆ ε o ˆ ε ˆ ε 5
4.7 ιάσπαση της µεταλητικότητας της ερµηνευόµενης µεταλητής στις ασικές της συνιστώσες. Οι µεταλητές και έχυν µέση τιµή καθώς και διακυµάνσεις. Έχντας εκτιµήσει τις παραµέτρυς και τυ υπδείγµατς χ ε µπρύµε να διασπάσυµε την διακύµανση της µεταλητής σε δύ ασικές συνιστώσες. Τ µέρς της διακύµανσης της πυ φείλεται στην ερµηνευτική µεταλητή και εκείν τ µέρς πυ φείλεται στν διαταρακτικό όρ ε. Έστω τ εκτιµηθέν υπόδειγµα: ˆ ˆ ˆ χ ( 4.7 ) ή χ ε (4.7) ή Αφαιρύµε από την () την µέση της τιµής : ε (4.7) ( ) ˆ ˆ ε ( ˆ ) ˆ ε ή ( ) ( ˆ ) ( ˆ ) διότι ˆ ε ˆ (4.73) Υψώνυµε στ τετράγων ˆ ˆ ε ˆ ˆ ε ( ) ( ) ( ) Αθρίζυµε ˆ ˆ ε ˆ ˆ ε ( ) ( ) ( ) ( ) ( ˆ ) ˆ ε (4.74) διότι (4.75) ( ˆ ) ˆ ε ˆ ˆ ε ˆ ε Και επειδή 3 ˆ ε (4.76) ˆ ˆ ε (4.77) Μπρύµε να ερµηνεύσυµε την παραπάνω σχέση ως εξής : 3 Ιδιότητες της Γραµµής Παλινδρόµησης στ είγµα. 6
Η διακύµανση της ερµηνευόµένης της µεταλητής είναι ( ). Τ µέρς της διακύµανση πυ ερµηνεύεται από τη µεταλητή είναι ( ˆ ) Η διακύµανση πυ φείλεται (ερµηνεύεται) από τν διαταρακτικό όρ είναι: ˆ ε. Με άση τα παραπάνω έχυµε διασπάσει την µεταλητικότητα της µεταλητής : ( ) σε δύ συνιστώσες. Ένα µέρς της µεταλητικότητας της φείλεται στην ερµηνευτική µεταλητή και ένα άλλ µέρς στν διαταρακτικό όρ ε. Μπρύµε δηλαδή να γράψυµε ότι: TSSRSSESS (4.78) Toal Sum of SquaresRegressio Sum of Squares Error Sum of Squares TSSΣυνλική Μεταλητικότητα RSSΜεταλητικότητα πυ Ερµηνεύεται από την ερµηνευτική µεταλητή. ESSΜεταλητικότητα πυ φείλεται στν ιαταρακτικό Όρ. ιαιρώντας την παραπάνω σχέση µε TSS, µπρύµε να γράψυµε: TSS RSS ESS TSS TSS TSS ESS R TSS ESS R TSS R ˆ ε ( Y Υ) Αυτό τ µέτρ συνήθως νµάζεται (4.79) R ή Συντελεστής Πρσδιρισµύ SSE SSR R SST SST. (4.8) 7
Λαµάνει τιµές µεταξύ και. Όσ πι κντά είναι στ τόσ καλύτερ είναι τ υπόδειγµα για την ερµηνεία της µεταλητικότητας της ανεξάρτητης µεταλητής. Πρόσφατα έχυν εµφανισθεί και διάφρες άλλες παραλαγές τυ Συντελεστή Πρσδιρισµύ.Αυτύς τυς Συντελεστές θα τυς αναπτύξυµε σε επόµενα Κεφάλαια. ESS SSR R TSS TSS i c i uˆ i ( Y Y) uˆ i /( K) ESS SSR i c TSS TSS Yi Y K i R ESS SSR R TSS TSS i u i ( ) /( ) i uˆ Y i i uˆ i /( K) ESS SSR i u TSS TSS Yi /( ) i R 8
ΑΡΙΘΜΗΤΙΚΗ ΕΦΑΡΜΟΓΗ: Υπλγισµός τυ Συντελεστή Πρσδιρισµύ R µε άση τα στιχεί τυ Πίνακα 4. R ε ( ) Γνωρίζυµε ότι σ ( µ ) µ T T 45 45 µ 9 5 µ σ T 45 5 άρα ( ) 4 5 Άρα ( ) 4,5 Επιπλέν () 9 85 8 4 (,) (,) (,6) (, ) u ˆ 6,4,4,36,36,8,8 Άρα Συντελεστής Πρσδιρισµύ R,4, 96 R, 96 9
3 ΠΑΡΑΡΤΗΜΑ Α Υπλγισµός των Παραµέτρων και τυ υπδείγµατς : ε ( ) µ µ Με άση τις καννικές εξισώσεις : Ν µπρύµε να δηµιυργήσυµε τ σύστηµα των εξισώσεων: Οι εκτιµήτριες συναρτήσεις των και θα πρκύψυν από την λύση τυ παραπάνω συστηµάτων ως εξής: Αν αντίστρφη µήτρα της Α είναι : Ν A e ΟΡΙΖΟΥΣΑ ΜΗΤΡΑ ΠΡΟΣΑΡΜΟΣΜΕΝΗ
3 Η αντίστρφη µήτρα θα µπρύσε να υπλγισθεί ως εξής: Υπλγισµός της Πρσαρµσµένης Μήτρας: Ν A [ ] ) ( ) ( ) ( ) ( D D D D D D D D C C i Άρα η C Αντικαθιστώντας τις παραπάνω σχέσεις λαµάνυµε: ( ) ( ) ( )
Για τν υπλγισµό της : µ µ µπρεί να πρκύψει τόσ από την ( ) όσ και από την πρώτη καννική εξίσωση Ν ιαιρύµε µε Ν λαµάνντας: / Ν Ν / Ν / Ν Από την παραπάνω συνεπάγεται ότι : µ µ Ακόµη αναλυτικότερα λαµάνυµε τις πρώτες παραγώγυς ως πρς ˆ και θέτντας ίσ µε τ µηδέν λαµάνυµε: ˆ ˆ ( i i). i Πλλαπλασιάζυµε µε / λαµάνντας: ˆ ˆ i. i i i i ή ˆ ˆ. 3
Εναλλακτικά θα µπρύσαµε να υπλγίσυµε τυς εκτιµητές των ελαχίστων τετραγώνων των παραµέτρων και ως εξής: Έστω u ˆ ˆ ˆi i i είναι ι εκτιµήσεις τυ ιαταρακτικύ όρυ. Επιλέγυµε τις εκτιµήσεις ˆ ˆ, πυ ελαχιστπιύν τ Αθρισµα: uˆ ˆ ˆ i ( i i) i i. Λαµάνυµε τις πρώτες παραγώγυς ως πρς ˆ και θέτντας ίσ µε τ µηδέν λαµάνυµε: ˆ ˆ ( i i). i Πλλαπλασιάζυµε µε / λαµάνντας: ˆ ˆ i. i i i i Ή ˆ ˆ. Λαµάνντας την πρώτη παράγωγ ως πρς τ ˆ θέτντας ίσ µε τ µηδέν λαµάνυµε: ˆ ˆ ( i i) i. i Πλλαπλασιάζυµε µε / λαµάνντας : ˆ ˆ ( i ( ) i) i. i ή ( ) ˆ ( ). i i i i i i 33
Παρατηρώντας ότι : i( i ) i i i i i i i i i i i i i i i i i i i µπρύµε να γράψυµε: i i i i i i i i i ( i ) i i i i. ( ) ( )( ). i i i i i i ˆ ( i )( i ) ( i ). i i Τελικά: ˆ i ( )( ) i i ( ) i i 34