Περιεχόμενα 1 Συσχέτιση Μεταβλητών Ιδιότητες του cov(x, Y 2 Ιδιότητες των εκτιμητών BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, 2018-19 1 / 12
Συσχέτιση Μεταβλητών Ιδιότητες του cov(x, Y Ένα μέτρο της συσχέτισης δύο μεταβλητών Ορισμός cov(x, Y = E((X E(X(Y E(Y = E(XY E(XE(Y Εάν το cov(x, Y = 0 τότε οι τυχαίες μεταβλητές X, Y ονομάζονται ασυσχέτιστες Ιδιότητες Εάν οι τυχαίες μεταβλητές X, Y είναι ανεξάρτητες τότε είναι ασυσχέτιστες cov(x, Y = 0. Το αντίστροφο δεν ισχύει. n k n k cov( α i X i, β j Y j = α i β j cov(x i, Y j j=1 j=1 Ειδικότερα, εάν οι Y i ανεξάρτητες τότε n n n cov( α i Y i, β j Y j = α i β i var(y i j=1 BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, 2018-19 2 / 12
Ιδιότητες των εκτιμητών Ιδιότητες των εκτιμητών (συνέχεια... Πρόταση Στο απλό γραμμικό μοντέλο οι εκτιμητές ελαχίστων τετραγώνων είναι γραμμικοί συνδυασμοί των σφαλμάτων ϵ i. Συγκεκριμένα ισχύει ότι: β 1 = β 1 + n κ i ϵ i και β0 = β 0 + n λ i ϵ i, όπου έχουμε τα γνωστά κ i = X i X S XX και λ i = 1 n κ ix i = 1,..., n. BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, 2018-19 3 / 12
Ιδιότητες των εκτιμητών Ιδιότητες των εκτιμητών (συνέχεια... Πρόταση Στο απλό γραμμικό μοντέλο οι εκτιμητές ελαχίστων τετραγώνων είναι γραμμικοί συνδυασμοί των σφαλμάτων ϵ i. Συγκεκριμένα ισχύει ότι: β 1 = β 1 + n κ i ϵ i και β0 = β 0 + n λ i ϵ i, όπου έχουμε τα γνωστά κ i = X i X S XX και λ i = 1 n κ ix i = 1,..., n. Ισχύουν επίσης τα εξής: cov ( β0, β 1 = σ 2 X n j=1 (X j X 2 σ2 cov (Y, β 1 = 0 και cov (Y, β 0 = σ2 n X S XX BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, 2018-19 3 / 12
Εάν θεωρήσουμε το μοντέλο Y i = 10 + 2X i + ϵ i, i = 1,..., 10, με var(ϵ i = 7.5, όπου i 1 2 3 4 5 6 7 8 9 10 x i 30 20 60 80 40 50 60 30 70 60 BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, 2018-19 4 / 12
Εάν θεωρήσουμε το μοντέλο Y i = 10 + 2X i + ϵ i, i = 1,..., 10, με var(ϵ i = 7.5, όπου i 1 2 3 4 5 6 7 8 9 10 x i 30 20 60 80 40 50 60 30 70 60 y i 70 53 132.3 166.5 88.5 107.6 125.8 69.8 148.2 124.1 y i 66.8 46 128.4 174 94.7 111.5 128.8 68.9 151.4 124.2 y i 66.1 51.8 129.2 168.5 89.7 108.1 132.9 68.2 149.6 126.3 BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, 2018-19 4 / 12
Εάν θεωρήσουμε το μοντέλο Y i = 10 + 2X i + ϵ i, i = 1,..., 10, με var(ϵ i = 7.5, όπου i 1 2 3 4 5 6 7 8 9 10 x i 30 20 60 80 40 50 60 30 70 60 y i 70 53 132.3 166.5 88.5 107.6 125.8 69.8 148.2 124.1 y i 66.8 46 128.4 174 94.7 111.5 128.8 68.9 151.4 124.2 y i 66.1 51.8 129.2 168.5 89.7 108.1 132.9 68.2 149.6 126.3 BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, 2018-19 4 / 12
Προσομοίωση για την παρουσίαση των ιδιοτήτων των εκτιμητών Επαναλαμβάνουμε M = 1000 φορές την εξής διαδικασία: 1 χρησιμοποιούμε τις ίδιες n = 10 τιμές της ανεξάρτητης μεταβλητής X x 1 = 30, x 2 = 20, x 3 = 60, x 4 = 80, x 5 = 40, x 6 = 50, x 7 = 60, x 8 = 30, x 9 = 70, x 10 = 60 2 παράγουμε n = 10 τυχαία σφάλματα ϵ i από N(0, σ 2 = 7.5 και δημιουργούμε τις y i = 10 + 2x i + ϵ i, i = 1,..., n 3 υπολογίζουμε τους εκτιμητές β 0 και β 1 BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, 2018-19 5 / 12
Προσομοίωση για την παρουσίαση των ιδιοτήτων των εκτιμητών Επαναλαμβάνουμε M = 1000 φορές την εξής διαδικασία: 1 χρησιμοποιούμε τις ίδιες n = 10 τιμές της ανεξάρτητης μεταβλητής X x 1 = 30, x 2 = 20, x 3 = 60, x 4 = 80, x 5 = 40, x 6 = 50, x 7 = 60, x 8 = 30, x 9 = 70, x 10 = 60 2 παράγουμε n = 10 τυχαία σφάλματα ϵ i από N(0, σ 2 = 7.5 και δημιουργούμε τις y i = 10 + 2x i + ϵ i, i = 1,..., n 3 υπολογίζουμε τους εκτιμητές β 0 και β 1 Στο παράδειγμά μας οι θεωρητικές τιμές είναι ( ( E ( β0 = β 0 = 10 var ( β0 =σ 2 1 n + X2 S XX = 7.5 0.1 + 502 3400 = 6.2647 E ( β1 = β 1 = 2 var ( β1 = σ2 S XX = 7.5 3400 = 0.0022 cov ( β0, β 1 = σ 2 X S XX = 7.5 50 3400 = 0.11029 BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, 2018-19 5 / 12
BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, 2018-19 6 / 12
Κώδικας στην R BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, 2018-19 7 / 12
BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, 2018-19 8 / 12