Περιεχόμενα. Ιδιότητες του cov(x, Y) Ιδιότητες των εκτιμητών Παράδειγμα. 1 Συσχέτιση Μεταβλητών. 2 Εκτιμητές και κατάλοιπα

Transcript

1 Περιεχόμενα 1 Συσχέτιση Μεταβλητών Ιδιότητες του cov(x, Y 2 Ιδιότητες των εκτιμητών BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, / 12

2 Συσχέτιση Μεταβλητών Ιδιότητες του cov(x, Y Ένα μέτρο της συσχέτισης δύο μεταβλητών Ορισμός cov(x, Y = E((X E(X(Y E(Y = E(XY E(XE(Y Εάν το cov(x, Y = 0 τότε οι τυχαίες μεταβλητές X, Y ονομάζονται ασυσχέτιστες Ιδιότητες Εάν οι τυχαίες μεταβλητές X, Y είναι ανεξάρτητες τότε είναι ασυσχέτιστες cov(x, Y = 0. Το αντίστροφο δεν ισχύει. n k n k cov( α i X i, β j Y j = α i β j cov(x i, Y j j=1 j=1 Ειδικότερα, εάν οι Y i ανεξάρτητες τότε n n n cov( α i Y i, β j Y j = α i β i var(y i j=1 BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, / 12

3 Ιδιότητες των εκτιμητών Ιδιότητες των εκτιμητών (συνέχεια... Πρόταση Στο απλό γραμμικό μοντέλο οι εκτιμητές ελαχίστων τετραγώνων είναι γραμμικοί συνδυασμοί των σφαλμάτων ϵ i. Συγκεκριμένα ισχύει ότι: β 1 = β 1 + n κ i ϵ i και β0 = β 0 + n λ i ϵ i, όπου έχουμε τα γνωστά κ i = X i X S XX και λ i = 1 n κ ix i = 1,..., n. BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, / 12

4 Ιδιότητες των εκτιμητών Ιδιότητες των εκτιμητών (συνέχεια... Πρόταση Στο απλό γραμμικό μοντέλο οι εκτιμητές ελαχίστων τετραγώνων είναι γραμμικοί συνδυασμοί των σφαλμάτων ϵ i. Συγκεκριμένα ισχύει ότι: β 1 = β 1 + n κ i ϵ i και β0 = β 0 + n λ i ϵ i, όπου έχουμε τα γνωστά κ i = X i X S XX και λ i = 1 n κ ix i = 1,..., n. Ισχύουν επίσης τα εξής: cov ( β0, β 1 = σ 2 X n j=1 (X j X 2 σ2 cov (Y, β 1 = 0 και cov (Y, β 0 = σ2 n X S XX BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, / 12

5 Εάν θεωρήσουμε το μοντέλο Y i = X i + ϵ i, i = 1,..., 10, με var(ϵ i = 7.5, όπου i x i BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, / 12

6 Εάν θεωρήσουμε το μοντέλο Y i = X i + ϵ i, i = 1,..., 10, με var(ϵ i = 7.5, όπου i x i y i y i y i BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, / 12

7 Εάν θεωρήσουμε το μοντέλο Y i = X i + ϵ i, i = 1,..., 10, με var(ϵ i = 7.5, όπου i x i y i y i y i BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, / 12

8 Προσομοίωση για την παρουσίαση των ιδιοτήτων των εκτιμητών Επαναλαμβάνουμε M = 1000 φορές την εξής διαδικασία: 1 χρησιμοποιούμε τις ίδιες n = 10 τιμές της ανεξάρτητης μεταβλητής X x 1 = 30, x 2 = 20, x 3 = 60, x 4 = 80, x 5 = 40, x 6 = 50, x 7 = 60, x 8 = 30, x 9 = 70, x 10 = 60 2 παράγουμε n = 10 τυχαία σφάλματα ϵ i από N(0, σ 2 = 7.5 και δημιουργούμε τις y i = x i + ϵ i, i = 1,..., n 3 υπολογίζουμε τους εκτιμητές β 0 και β 1 BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, / 12

9 Προσομοίωση για την παρουσίαση των ιδιοτήτων των εκτιμητών Επαναλαμβάνουμε M = 1000 φορές την εξής διαδικασία: 1 χρησιμοποιούμε τις ίδιες n = 10 τιμές της ανεξάρτητης μεταβλητής X x 1 = 30, x 2 = 20, x 3 = 60, x 4 = 80, x 5 = 40, x 6 = 50, x 7 = 60, x 8 = 30, x 9 = 70, x 10 = 60 2 παράγουμε n = 10 τυχαία σφάλματα ϵ i από N(0, σ 2 = 7.5 και δημιουργούμε τις y i = x i + ϵ i, i = 1,..., n 3 υπολογίζουμε τους εκτιμητές β 0 και β 1 Στο παράδειγμά μας οι θεωρητικές τιμές είναι ( ( E ( β0 = β 0 = 10 var ( β0 =σ 2 1 n + X2 S XX = = E ( β1 = β 1 = 2 var ( β1 = σ2 S XX = = cov ( β0, β 1 = σ 2 X S XX = = BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, / 12

10 BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, / 12

11 Κώδικας στην R BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, / 12

12 BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, / 12