ΘΕΩΡΙΑ ΚΑΙ ΕΦΑΡΜΟΓΕΣ ΣΤΗΝ ΑΝΑΛΥΣΗ ΠΑΛΙΝΔΡΟΜΗΣΗΣ. Αρτέμιος Αποστόλου Στρογγύλης

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΘΕΩΡΙΑ ΚΑΙ ΕΦΑΡΜΟΓΕΣ ΣΤΗΝ ΑΝΑΛΥΣΗ ΠΑΛΙΝΔΡΟΜΗΣΗΣ Αρτέμιος Αποστόλου Στρογγύλης ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ ΣΑΜΟΣ 3

2 Στους γονείς μου Ελένη και Αποστόλη και στην αδερφή μου Λυδία --

3 ΠΕΡΙΕΧΟΜΕΝΑ ΠΕΡΙΕΧΟΜΕΝΑ 3 ΕΥΧΑΡΙΣΤΙΕΣ 5 ΠΕΡΙΛΗΨΗ 6 ΕΙΣΑΓΩΓΗ 7 ΚΕΦΑΛΑΙΟ. Στοιχεία θεωρίας πιθανοτήτων και στατιστικής. Υπενθύμιση βασικών εννοιών. Μερικά βασικά στοιχεία στατιστικής θεωρίας 5 ΚΕΦΑΛΑΙΟ. Διαστήματα εμπιστοσύνης και έλεγχοι υποθέσεων. Διαστήματα εμπιστοσύνης 4. Έλεγχοι υποθέσεων 3.3 Παραδείγματα 36 ΚΕΦΑΛΑΙΟ 3. Απλή γραμμική παλινδρόμηση 3. Σχέση ευθείας γραμμής μεταξύ δύο μεταβλητών Γραμμική παλινδρόμηση: προσαρμογή ευθείας γραμμής Η ακρίβεια της εκτίμησης της παλινδρόμησης Σημαντικά αποτελέσματα για τις εκτιμήτριες ελαχίστων τετραγώνων στο γραμμικό μοντέλο Διαστήματα εμπιστοσύνης Έλεγχοι στατιστικών υποθέσεων Εφαρμογές 78-3-

4 ΚΕΦΑΛΑΙΟ 4. Ύπαρξη περισσότερων των μία μεταβλητών 4. Πολλαπλή γραμμική παλινδρόμηση Εκτίμηση των παραμέτρων του γραμμικού μοντέλου 4.3 Ανάλυση διασποράς για την πολλαπλή παλινδρόμηση Έλεγχος γενικής γραμμικής υπόθεσης στην παλινδρόμηση Μέθοδος σταθμισμένων ελαχίστων τετραγώνων 4.6 Το στατιστικό Dub-Watso Παραδείγματα πολλαπλής παλινδρόμησης 9 ΚΕΦΑΛΑΙΟ 5. Εφαρμογές με χρήση του στατιστικού πακέτου P 7 ΠΑΡΑΡΤΗΜΑ 4 ΒΙΒΛΙΟΓΡΑΦΙΑ 47-4-

5 ΕΥΧΑΡΙΣΤΙΕΣ Η παρούσα πτυχιακή εργασία εκπονήθηκε στο Τμήμα Μαθηματικών του Πανεπιστημίου Αιγαίου. Στο σημείο αυτό νιώθω την ανάγκη να εκφράσω τις ευχαριστίες μου στους ανθρώπους που συνετέλεσαν στην πραγματοποίησή της. Ευχαριστώ θερμά τον κ. Θεοδόσιο Δημητράκο Λέκτορα του Τμήματος Μαθηματικών του Πανεπιστημίου Αιγαίου ο οποίος με τίμησε με την αποδοχή της πτυχιακής εργασίας. Θα ήθελα επίσης να τον ευχαριστήσω για το διαρκές ενδιαφέρον του και την υποστήριξή του. Χωρίς τις χρήσιμες συμβουλές του τις υποδείξεις του και τη συνεχή συμπαράστασή του θα ήταν αδύνατον να ολοκληρωθεί αυτή η εργασία. Επιπλέον θα ήθελα να ευχαριστήσω θερμά τον διδακτορικό φοιτητή στο Πανεπιστήμιο του Nottgham Μιχάλη Τσαγρή ο οποίος με βοήθησε στην παροχή επιπλέον υλικού καθώς και με το πακέτο P. Θα ήθελα επίσης να ευχαριστήσω τα μέλη της επιτροπής κρίσης της πτυχιακής μου εργασίας που δέχτηκαν να αφιερώσουν κάποιο από τον πολύτιμο χρόνο τους για την αξιολόγηση της εργασίας. Θα ήθελα να ευχαριστήσω ιδιαίτερα την κυρία Στυλιανού Στέλλα Επίκουρη Καθηγήτρια του Τμήματος Στατιστικής και Αναλογιστικών- Χρηματοοικονομικών Μαθηματικών του Πανεπιστημίου Αιγαίου για την παροχή υλικού και για τη συμμετοχή της στην επιτροπή κρίσης της εργασίας καθώς και τον κύριο Στέλιο Γεωργίου Αναπληρωτή Καθηγητή του Τμήματος Στατιστικής και Αναλογιστικών- Χρηματοοικονομικών Μαθηματικών του Πανεπιστημίου Αιγαίου για τη δική του σημαντική βοήθεια. Θα ήθελα επίσης να ευχαριστήσω θερμά τον κύριο Βαγγέλη Στεφανόπουλο Επίκουρο Καθηγητή του Τμήματος Μαθηματικών του Πανεπιστημίου Αιγαίου για τη συμμετοχή του στην επιτροπή κρίσης της πτυχιακής εργασίας. Τέλος θα ήθελα πραγματικά και με όλη μου την καρδιά να ευχαριστήσω τους γονείς μου Ελένη και Αποστόλη και την αδερφή μου Λυδία για τη συμπαράσταση τους. Το λιγότερο που μπορώ να κάνω είναι να τους αφιερώσω αυτή την εργασία. -5-

6 ΠΕΡΙΛΗΨΗ Στην παρούσα πτυχιακή εργασία μελετάται η θεωρία μαζί με διάφορες εφαρμογές της μεθόδου της Γραμμικής Παλινδρόμησης. Οι εφαρμογές σχετίζονται μεταξύ άλλων με παραδείγματα στη παραγωγή στην εκπαίδευση αλλά και με προβλήματα βελτιστοποίησης. Με τη χρήση κατάλληλων μοντέλων προσπαθούμε να εκτιμήσουμε ή να προβλέψουμε την τιμή μίας ή περισσοτέρων μεταβλητών κάτω από ορισμένες συνθήκες. Οι συνθήκες περιγράφονται και αυτές από μεταβλητές οι τιμές των οποίων είναι δυνατόν να ελεγχθούν από τον ερευνητή. Τα μοντέλα που χρησιμοποιούμε επιθυμούμε να έχουν την καλύτερη δυνατή προσαρμογή ώστε να ανταποκρίνονται όσο είναι δυνατόν στην πραγματικότητα. Σε μερικά προβλήματα υπάρχουν μόνο δύο μεταβλητές οι οποίες σχετίζονται μεταξύ τους και τότε έχουμε το απλό γραμμικό μοντέλο. Τότε με εφαρμογή της μεθόδου των ελαχίστων τετραγώνων φροντίζουμε η προκύπτουσα ευθεία γραμμή να ανταποκρίνεται με τη βέλτιστη κάθε φορά ακρίβεια στο μοντέλο μας. Σε άλλα προβλήματα που υπάρχουν περισσότερες από δύο μεταβλητές στο υπό μελέτη μοντέλο έχουμε ένα μοντέλο πολλαπλής γραμμικής παλινδρόμησης. Ένα παράδειγμα μεθόδου που εφαρμόζουμε είναι όπως και στην απλή παλινδρόμηση η μέθοδος των ελαχίστων τετραγώνων. Στην περίπτωση της πολλαπλής γραμμικής παλινδρόμησης εισάγουμε τους πίνακες από τη Γραμμική Άλγεβρα οι οποίοι μας βοηθούν στην καλύτερη αναπαράσταση αλλά και στην ευκολότερη επίλυση του μοντέλου. Με το στατιστικό πακέτο P ερμηνεύουμε τα αποτελέσματα της προσαρμογής των μοντέλων που μελετάμε. -6-

7 ΕΙΣΑΓΩΓΗ Η ανάλυση παλινδρόμησης egesso aalss είναι μια στατιστική τεχνική για να ερευνήσουμε και να μοντελοποιήσουμε τη σχέση μεταξύ μεταβλητών οι οποίες μας ενδιαφέρουν. Οι εφαρμογές της παλινδρόμησης είναι πολλές και τις συναντούμε σχεδόν σε κάθε επιστημονικό κλάδο όπως μεταξύ άλλων στη Μηχανική στις φυσικές επιστήμες στα οικονομικά στη διοίκηση επιχειρήσεων στη βιολογία και στις κοινωνικές επιστήμες. Στην ουσία η ανάλυση παλινδρόμησης ίσως είναι η πιο ευρέως χρησιμοποιούμενη στατιστική μέθοδος. Η εισαγωγή του όρου παλινδρόμηση egesso φαίνεται ότι οφείλεται στο γνωστό Βρετανό ανθρωπολόγο και μετεωρολόγο Facs Galto 8 9. Αρχικά ο Galto χρησιμοποίησε τον όρο επαναστροφή eveso σε μία αδημοσίευτη ανακοίνωση του με τίτλο Τυπικοί νόμοι κληρονομικότητας στον άνθρωπο που έδωσε στο Βασιλικό Ινστιτούτο στις 9 Φεβρουαρίου 877. Αργότερα χρησιμοποίησε τον όρο παλινδρόμηση στην προεδρική του ομιλία που δόθηκε στην όγδοη συνεδρίαση της Βρετανικής εταιρείας στο Abedee το 885 και δημοσιεύτηκε στο περιοδικό Natue Σεπτέμβριος 885. Επίσης ο όρος περιλαμβάνεται στο άρθρο του με τίτλο Παλινδρόμηση περί του μετρίου κληρονομικού αναστήματος. Στο άρθρο αυτό ο Galto αναφέρεται στην αρχική του ανακάλυψη ότι οι νέοι σπόροι δεν τείνουν να μοιάζουν ως προς το μέγεθος τους με το μέγεθος των σπόρων από τους οποίους προήλθαν αλλά είναι πάντοτε πιο μέτριοι οι νέοι σπόροι είναι μικρότεροι από τους σπόρους που προέρχονται όταν οι αρχικοί σπόροι είναι μεγάλοι ενώ οι νέοι σπόροι είναι μεγαλύτεροι από τους σπόρους που προέρχονται όταν αυτοί είναι μικροί. Στις μέρες μας στις περισσότερες περιπτώσεις προσαρμογής μοντέλων δεν υπάρχει κατ αρχήν το στοιχείο της παλινδρόμησης με την αρχική έννοια. Ωστόσο η λέξη έχει τόσο αναγνωριστεί που συνεχίζουμε να τη χρησιμοποιούμε. Υπάρχουν διάφορα προγράμματα στον υπολογιστή που μας βοηθούν να βελτιστοποιήσουμε το μοντέλο μας. Η χρήση των υπολογιστών είναι σημαντική λόγω του μεγέθους των δεδομένων που πολλές φορές είναι δύσκολο να τα διαχειριστούμε αλλά και για εξοικονόμηση χρόνου. Σε κάθε περίπτωση τα προγράμματα αυτά δεν αντικαθιστούν τη δημιουργική σκέψη. Σκοπός μας είναι να ερμηνεύσουμε τα αποτέλεσμα των υπολογιστών και το πώς αυτά θα χρησιμοποιηθούν σε άλλα εναλλακτικά μοντέλα και όχι τόσο να παρουσιάσουμε τη λειτουργία αυτών των προγραμμάτων. 7

8 Ένα σημαντικό ερώτημα σε πάρα πολλά προβλήματα σχεδόν κάθε είδους όπως προβλήματα παραγωγής βιομηχανική αγροτική προβλήματα εκπαίδευσης μαθητών στελεχών στρατιωτών προβλήματα πρόβλεψης εκλογές καιρός βελτιστοποίησης και άλλα είναι αν μπορούμε να εκτιμήσουμε ή να προβλέψουμε την τιμή μιας ή περισσότερων μεταβλητών κάτω από ορισμένες συνθήκες. Οι δοσμένες συνθήκες περιγράφονται και αυτές από μεταβλητές οι τιμές των οποίων είναι δυνατό να ελεγχθούν από τον ερευνητή. Έτσι για παράδειγμα η μεταβλητή Υ που ζητούμε να εκτιμηθεί ή να προβλεφθεί μπορεί να παριστάνει ζήτηση κάποιου προιόντος στην αγορά παραγωγή κάποιου γεωργικού προιόντος απόδοση μαθητών αύξηση ποσοστού σε εκλογές και άλλα. Ενώ οι μεταβλητές... που περιγράφουν τις συνθήκες και που μπορούν να ελεγχθούν μπορεί μεταξύ άλλων να παριστάνουν τιμή πώλησης προιόντος κόστος διαφήμισης ταχύτητα διανομής ή θερμοκρασία. Για την εύρεση του μοντέλου εκτίμησης ή πρόβλεψης χρησιμοποιούνται δεδομένα που έχουν προκύψει από μία σειρά παρατηρήσεων και που συχνά δίνονται με τη μορφή του παρακάτω πίνακα: Οι γραμμές του πίνακα παριστάνουν τις παρατηρήσεις ενώ οι στήλες δίνουν τις τιμές των αντίστοιχων μεταβλητών για κάθε παρατήρηση. Η μορφή του μοντέλου πρόβλεψης μπορεί να είναι οποιαδήποτε εδώ όμως θα ασχοληθούμε μόνο με το γραμμικό μοντέλο. Το γενικό γραμμικό μοντέλο είναι το : k k... k... Y... k k όπου : Y είναι η εξαρτημένη depedet μεταβλητή ή απόκριση espose.... μεταβλητές.... k είναι k+ άγνωστες παράμετροι συντελεστές παλινδρόμησης που k είναι οι k ανεξάρτητες depedet ή προβλέπουσες pedcto ζητείται να εκτιμηθούν. είναι το σφάλμα. Για τις μεταβλητές... k ο όρος «ανεξάρτητες» δεν σημαίνει ότι είναι πράγματι ανεξάρτητες. 8

9 Μπορεί για παράδειγμα να ισχύει ή 3. Ο λόγος στον οποίο οφείλεται αυτή η ονομασία είναι πως οι τιμές αυτών των μεταβλητών επηρεάζουν τις τιμές της εξαρτημένης μεταβλητής και μπορούν να ελέγχονται από τον ερευνητή. Έτσι προκύπτει και η ονομασία προβλέπουσες μεταβλητές pedctve vaables. Στην πράξη πολλές φορές οι μεταβλητές εναλλάσσουν ρόλους. Δηλαδή μια μεταβλητή που στο πρώτο μέρος μιας μελέτης είναι εξαρτημένη μπορεί στο δεύτερο μέρος της μελέτης να είναι ανεξάρτητη. Εκείνο όμως που απαιτείται τις περισσότερες φορές από τις μεταβλητές αυτές είναι να είναι ποσοτικές να περιγράφουν δηλαδή μετρήσιμα μεγέθη. Το σφάλμα περιέχει κάθε απόκλιση της πραγματικής κατάστασης από το μοντέλο. Έτσι εκτός από τα πιθανά σφάλματα μετρήσεων περιέχει επίσης και σφάλματα προσαρμογής που οφείλονται είτε σε παράλειψη μεταβλητών είτε σε χρήση μεταβλητών που δε σχετίζονται με την Y. Συμπερασματικά η ανάλυση παλινδρόμησης είναι μέρος μιας ευρύτερης προσέγγισης ανάλυσης δεδομένων στην επίλυση προβλημάτων. Μας ενδιαφέρει η κατανόηση του συστήματος το οποίο παράγει τα δεδομένα. Μια σημαντική πτυχή της ανάλυσης παλινδρόμησης είναι η συλλογή δεδομένων. Μια καλή συλλογή δεδομένων μας οδηγεί σε ένα μοντέλο που ανταποκρίνεται στην πραγματικότητα του συστήματος που μελετάται. Χωρίς αυτά τα δεδομένα το μοντέλο καθώς και τα συμπεράσματα θα είναι πιθανώς εσφαλμένα. Μια αρχική καταγραφή δεδομένων και μία πιθανή αρχική ανάλυση της φύσης και του είδους των δεδομένων πριν διεξαχθεί η ανάλυση παλινδρόμησης μπορεί να αναγνωρίσει αυτά τα σφάλματα. 9

10 ΚΕΦΑΛΑΙΟ ο ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΠΙΘΑΝΟΤΗΤΩΝ ΚΑΙ ΣΤΑΤΙΣΤΙΚΗΣ. ΥΠΕΝΘΥΜΙΣΗ ΒΑΣΙΚΩΝ ΕΝΝΟΙΩΝ Σε αυτό το εδάφιο θα αναφέρουμε συνοπτικά κάποιες βασικές γνώσεις από τη θεωρία πιθανοτήτων και τη στατιστική. Κάποιες από αυτές τις γνώσεις θα χρησιμοποιηθούν ως εργαλεία για να κατα νοήσουμε καλύτερα τη θεωρία της Ανάλυσης Παλινδρόμησης. Θεω ρούμε μία ακολουθία τυχαίων μεταβλητών που ορίζονται στον ίδιο πιθανοθεωρητικό χώρο P. Δίνουμε τους ακόλουθους ορισμούς. Ορισμός Λέμε ότι έχουμε μία ακολουθία ανεξάρτητων depedet τυχαίων μεταβλητών... αν ισχύει ότι: P B B P B P B όπου B είναι οποιαδήποτε υποσύνολα του. Ορισμός Λέμε ότι έχουμε μία ακολουθία ισόνομων detcall dstbuted τυχαίων μεταβλητών αν όλες οι τυχαίες μεταβλητές ακολουθούν την ίδια κατανομή. Έστω Y δύο τυχαίες μεταβλητές. Η διακύμανση μιας τυχαίας μεταβλητής αποτελεί ένα μέτρο της μεταβλητότητάς της. Αν για παράδειγμα θεωρήσουμε ένα γραμμικό συνδυασμό Z a by των τυχαίων μεταβλητών και Y όπου a b σταθερές είναι διαισθητικά προφανές ότι η διακύμανση της Z θα πρέπει να επηρεάζεται τόσο από τις διακυμάνσεις των Y όσο και από την από κοινού συμπεριφορά των τυχαίων μεταβλητών Y. Η --

11 ποσότητα που αντικατοπτρίζει την από κοινού συμπεριφορά των Y δίνεται στον ακόλουθο ορισμό. Ορισμός Συνδιακύμανση. Η συνδιακύμανση covaace δύο τυχαίων μεταβλητών και Y ορίζεται ως εξής: Cov Y E E Y E Y. Από τον παραπάνω ορισμό αναπτύσσοντας το δεξιό μέλος της τελευταίας ισότητας διαδοχικά έχουμε Cov Y E Y YE E Y E E Y E Y E Y E E E Y E E Y E Y E E Y Αν Y είναι ανεξάρτητες τυχαίες μεταβλητές τότε έχουμε Cov Y. Το αντίστροφο δεν ισχύει. Δηλαδή αν Cov Y δεν έπεται ότι οι Y είναι ανεξάρτητες. Ένα απλό παράδειγμα δύο εξαρτημένων τυχαίων μεταβλητών Y που έχουν μηδενική συνδιακύμανση μπορεί να ληφθεί αν υποθέσουμε ότι η είναι τέτοια ώστε P P P και ορίσουμε την 3 Y έτσι ώστε Y αν και Y αν. Τότε Y και επομένως E Y. Επιπλέον E και Cov Y E Y E E Y. Οι Y είναι φανερά εξαρτημένες τυχαίες μεταβλητές. Ισχύει η ακόλουθη πρόταση. Πρόταση Έστω Y δύο τυχαίες μεταβλητές με πεπερασμένες ροπές δεύτερης τάξης. Τότε η τυχαία μεταβλητή Y έχει πεπερασμένη ροπή δεύτερης τάξης και επομένως έχει πεπερασμένη διασπορά. Επιπλέον ισχύει ότι Va Y Va Va Y Cov Y.

12 Απόδειξη. Είναι Va Y E[ Y E Y ] E[ E Y E Y ] E E E Y E Y Va Va Y Cov Y. E[ E Y E Y ] Η προηγούμενη πρόταση μπορεί να γενικευτεί για τυχαίες μεταβλητές ως εξής: Va a a a Va aa Cov όπου a a πραγματικές σταθερές. Στην περίπτωση που οι τυχαίες μεταβλητές ανεξάρτητες μεταξύ τους ισχύει ότι είναι ανά δύο Va a a a Va όπου a a πραγματικές σταθερές. Ισχύει επίσης η πρόταση. Πρόταση Αν Y Z τυχαίες μεταβλητές και a b ισχύει ότι Cov a by Z acov Z bcov Y Z. Απόδειξη. Είναι Cov a by Z E[ a by Z] E a by EZ a E Z E E Z be YZ E Y E Z acov Z bcov Y Z. Έστω και Y δύο τυχαίες μεταβλητές με πεπερασμένες μημηδενικές διασπορές για τις οποίες Cov Y. Τότε οι Y δεν είναι ανεξάρτητες. Μας ενδιαφέρει να αποδώσουμε ποσοτικά το βαθμό εξάρτησης των και Y με έναν κατάλληλο αριθμό. Η τιμή της συνδιακύμανσης των τυχαίων μεταβλητών και Y επηρεάζεται σημαντικά από τις μονάδες μέτρησης των και Y. Για να

13 εξαλείψουμε την επίδραση των μονάδων μέτρησης των και Y στο βαθμό της εξάρτησής τους δίνουμε τον ακόλουθο ορισμό. Ορισμός Ο συντελεστής συσχέτισης coelato coeffcet δύο τυχαίων μεταβλητών Y τέτοιων ώστε Va Va Y ορίζεται ως εξής: Cov Y Y : και αποτελεί ένα μέτρο Va Va Y του βαθμού εξάρτησης μεταξύ τους. Πρόταση Ισχύει ότι Y. Απόδειξη. Έστω και Y οι διασπορές των τυχαίων μεταβλητών και Y αντίστοιχα. Ισχύει ότι Y Va Va Y Cov Y Va Y Y Y Y Y. Επίσηςισχύει ότι Y Va Va Y Cov Y Va Y Y Y Y Y. Συνεπώς Y. Ο συντελεστής συσχέτισης δύο τυχαίων μεταβλητών και Y είναι ένα μέτρο του βαθμού της γραμμικής εξάρτησης των και Y. Μία τιμή του συντελεστή συσχέτισης κοντά στο + ή στο είναι ένδειξη υψηλού βαθμού γραμμικής εξάρτησης μεταξύ των και Y ενώ μία τιμή του συντελεστή συσχέτισης κοντά στο είναι ένδειξη ότι δεν υπάρχει γραμμική εξάρτηση. Μία θετική τιμή του συντελεστή συσχέτισης είναι ένδειξη ότι η Y αυξάνει καθώς η αυξάνει ενώ μία αρνητική τιμή του είναι ένδειξη ότι η Y μειώνεται καθώς η αυξάνει. Αν Y τότε οι τυχαίες μεταβλητές και Y καλούνται ασυσχέτιστες ucoelated. 3

14 Θεωρούμε μία ακολουθία τυχαίων μεταβλητών που ορίζονται στον ίδιο πιθανοθεωρητικό χώρο P. Δίνουμε τους ακόλουθους ορισμούς. Ορισμός Λέμε ότι έχουμε μία ακολουθία ανεξάρτητων depedet τυχαίων μεταβλητών αν ισχύει ότι: P B B P B P B όπου B είναι οποιαδήποτε υποσύνολα του. Ορισμός Λέμε ότι έχουμε μία ακολουθία ισόνομων detcall dstbuted τυχαίων μεταβλητών αν όλες οι τυχαίες μεταβλητές ακολουθούν την ίδια κατανομή. Θεώρημα Κεντρικό Οριακό Θεώρημα Κ.Ο.Θ.. Έστω μία ακολουθία ανεξάρτητων και ισόνομων τυχαίων μεταβλητών τέτοιων ώστε E και Va. Τότε η τυχαία μεταβλητή Z συγκλίνει κατά κατανομή καθώς στη συνάρτηση κατανομής της τυποποιημένης κανονικής κατανομής δηλαδή ισχύει ότι lm PZ e dt t για κάθε. Εναλλακτικά η τυχαία μεταβλητή Z μπορεί να γραφεί στη μορφή: Z όπου :. Η τυχαία μεταβλητή Z είναι ο γενικός όρος της ακολουθίας των τυποποιημένων δειγματικών μέσων. 4

15 . Μερικά βασικά στοιχεία από τη στατιστική θεωρία Η στατιστική χωρίζεται σε δύο κλάδους : α Περιγραφική στατιστική. Η περιγραφική στατιστική περιέχει την καταγραφή παρουσίαση στοιχείων συλλογή και παράσταση δεδομένων. β Επαγωγική στατιστική. Η επαγωγική στατιστική ασχολείται με την εκτίμηση παραμέτρων την κατασκευή διαστημάτων εμπιστοσύνης δ.ε καθώς επίσης με ελέγχους υποθέσεων για την παράμετρο. Θα ασχοληθούμε με την επαγωγική στατιστική και με το κομμάτι της εκτίμησης παραμέτρων. Το πρόβλημα της εκτιμητικής. Είναι η εκτίμηση προσέγγιση άγνωστων ποσοτήτων που χρησιμοποιούνται είτε για την περιγραφή κάποιων φαινομένων ως παράμετροι μοντέλων είτε έχουν κάποια φυσική ερμηνεία. Για παράδειγμα η μέση μεταβλητότητα βαθμολογιών φοιτητών σε ένα συγκεκριμένο μάθημα. Έστω ότι για την εκτίμηση άγνωστων ποσοτήτων παραμέτρων θ έχουμε συλλέξει κάποια αριθμητικά δεδομένα... που αποτελούν παρατηρηθείσες τιμές τυχαίων μεταβλητών... που ακολουθούν κάποια από κοινού κατανομή η οποία εξαρτάται από μία άγνωστη παράμετρο θ. Το θ έχει σταθερή αλλά άγνωστη σε εμάς τιμή και ανήκει στο σύνολο R. Το καλείται παραμετρικός χώρος. Η άγνωστη ποσότητα μπορεί να είναι το θ ή μία συνάρτηση gθ όπου g είναι και g: R. Χαρακτηριστικό παράδειγμα τυχαίων μεταβλητών είναι η βαθμολογία 5 φοιτητών π.χ

16 Θεωρούμε ότι η από κοινού κατανομή της τυχαίας μεταβλητής... ακολουθεί κάποια από κοινού συνάρτηση μάζας πιθανότητας ή συνάρτηση πυκνότητας πιθανότητας f ; f... ; η οποία εξαρτάται από την παράμετρο θ. Αν οι είναι ανεξάρτητες και ισόνομες τυχαίες... μεταβλητές τότε λέμε ότι αποτελούν τυχαίο δείγμα από αυτήν την κατανομή. Τότε γράφουμε όπου:... f ; f ;... f ; f ; το οποίο προκύπτει από την ισονομία των τυχαίων μεταβλητών. Συνεπώς ; f ; f ;... f ; όπου.... Κάθε συνάρτηση των δεδομένων... που δεν εξαρτάται από την άγνωστη παράμετρο θ καλείται στατιστική συνάρτηση. Μια στατιστική συνάρτηση δ=δ =δ... που χρησιμοποιείται για την εκτίμηση της gθ λέγεται εκτιμητής της gθ. Άρα ο εκτιμητής της gθ είναι μία τυχαία μεταβλητή που ακολουθεί κάποια κατανομή που συνήθως εξαρτάται από την παράμετρο θ. Ας δούμε μερικά παραδείγματα f Παράδειγμα. Έστω Χ τυχαία μεταβλητή που ακολουθεί την διωνυμική κατανομή B p. Θα εκτιμήσουμε το p. Θέτουμε θ=p. Επειδή η Χ ακολουθεί την B p τότε η συνάρτηση πιθανότητας της τυχαίας μεταβλητής Χ θα είναι f ;... με θθ= Παράδειγμα. Έστω Χ τυχαία μεταβλητή που ακολουθεί την Possoλ λ>. 6

17 Θέτουμε θ=λ. Επειδή η Χ ακολουθεί την Possoλ τότε η συνάρτηση πιθανότητας της τυχαίας μεταβλητής Χ θα είναι f ; e...! με θ. Έστω τυχαίο δείγμα... που ακολουθεί μία συνάρτηση μάζας πιθανότητας ή συνάρτηση πυκνότητας πιθανότητας f ; όπου R. Υποθέτουμε ότι εκτελέσαμε ένα πείραμα και λάβαμε ένα συγκεκριμένο δείγμα. Αν η τιμή της άγνωστης παραμέτρου είναι θ τότε η πιθανότητα να παρατηρήσουμε το συγκεκριμένο δείγμα Χ Στην περίπτωση που οι είναι διακριτές είναι ίση με f ; P P * Στην περίπτωση που οι είναι συνεχείς είναι ίση με P f ; P d * Θα επιχειρήσουμε να βρούμε εκείνο το f που μεγιστοποιεί τη ;. Αυτό το θ το ονομάζουμε εκτιμήτρια μέγιστης πιθανοφάνειας ε.μ.π. Ορίζουμε L / f ;. Αυτή η ποσότητα καλείται συνάρτηση πιθανοφάνειας lkelhood fucto η οποία θεωρείται συνάρτηση του θ. Ο εκτιμητής του θ ορίζεται από τη σχέση L / ma L /. Το πρόβλημα μεγιστοποίησης της παραπάνω συνάρτησης επιτυγχάνεται με τεχνικές διαφορικού λογισμού. Για τεχνικούς λόγους είναι ευκολότερη η μεγιστοποίηση ισοδύναμα της 7

18 συνάρτησης l log L / log[ f ; ] log f ;. Παθολογικές καταστάσεις εμφανίζονται όπου δεν υπάρχει μέγιστο ή όταν υπάρχουν περισσότερα από ένα μέγιστα. Στην περίπτωση που υπάρχει μοναδικό μέγιστο μιλάμε για τον ΕΜΠ. Για να βρούμε τον ΕΜΠ βρίσκουμε αρχικά την πρώτη παράγωγο της l την μηδενίζουμε και βρίσκουμε το θ για το οποίο είναι. Αν η δεύτερη παράγωγος της l για το θ που βρήκαμε είναι αρνητική τότε το θ αυτό είναι ένας ΕΜΠ για την παράμετρο θ. Ας δούμε δύο παραδείγματα εύρεσης ΕΜΠ. Παράδειγμα. Έστω... τυχαίο δείγμα που ακολουθεί την Possoθ με θ. Έχουμε: L / f ; e! e t e! όπου! t Παίρνουμε: l / log L / log e t log log! t log log! Θα παραγωγίσουμε ως προς θ και έχουμε διαδοχικά Θέτουμε l / t. l / t t t Υπολογίζουμε την δεύτερη παράγωγο ως προς θ 8

19 9 / t l Είναι / t t t t t l. Άρα η εμπ της θ είναι η στατιστική συνάρτηση t Παράδειγμα. Έστω... τυχαίο δείγμα που ακολουθεί την Εκθετικήθ θ. Έχουμε: e f L ; / L l log / log l. Θέτουμε l. Υπολογίζουμε την δεύτερη παράγωγο ως προς θ l Είναι / l Άρα η ΕΜΠ της θ είναι η στατιστική συνάρτηση.

20 Στη συνέχεια παραθέτουμε μερικές γνώσεις από τη θεωρία πιθανοτήτων κάποιες από τις οποίες θα μας χρειαστούν σε επόμενα κεφάλαια. Αν... ανεξάρτητες τότε va... va Αν ακολουθεί την B m p... με ανεξάρτητες τότε ακολουθεί την B m p Αν ακολουθεί την Posso... με ανεξάρτητες τότε ακολουθεί την Posso v Gamma η κατανομή τετράγωνο με βαθμούς ελευθερίας με E Va v Αν Ζ ακολουθεί την N τότε η τετράγωνο με ένα βαθμό ελευθερίας. Z ακολουθεί την v Αν ακολουθεί την... τότε ακολουθεί την. v Αν Χ Ζ δύο ανεξάρτητες τυχαίες μεταβλητές και ισχύει ότι Ζ ακολουθεί την N και Χ ακολουθεί την μεταβλητή τότε η τυχαία Y Z ακολουθεί την κατανομή t studet με βαθμούς ελευθερίας με E Y αν > και Va Y αν >.

21 Έστω επίσης Χ ακολουθεί την N με να ακολουθεί / την N W να ακολουθεί την. Τότε η τυχαία μεταβλητή Z t ακολουθεί την W / / κατανομή t studet με βαθμούς ελευθερίας. v Αν η ακολουθεί την και η ακολουθεί την με και ανεξάρτητες τυχαίες μεταβλητές τότε η τυχαία μεταβλητή Y ακολουθεί την κατανομή F με και βαθμούς ελευθερίας. Οι βαθμοί ελευθερίας είναι ο αριθμός των ελεύθερων επιλογών που έχουμε στον προσδιορισμό της τιμής μιας συνάρτησης μεταβλητών. Έστω π.χ. ότι θέλουμε να βρούμε τρείς αριθμούς α β γ που το άθροισμα τους ισούται με δηλαδή έχουμε α+β+γ=. Είναι προφανές ότι μπορούμε να επιλέξουμε ελεύθερα τους δύο έστω τους α β και ο τρίτος υποχρεωτικά θα πάρει την τιμή γ= α β. Δηλαδή η σχέση α+β+γ= είναι ένας περιορισμός στην επιλογή των α β γ που έχει ως αποτέλεσμα να έχουμε 3 = ελεύθερες επιλογές δηλαδή βαθμούς ελευθερίας. Γενικά ισχύει: Αριθμός των βαθμών ελευθερίας= αριθμός των μεταβλητών αριθμός περιορισμών Ας δούμε τον αριθμό των βαθμών ελευθερίας στην επιλογή των αριθμών α β γ δ ε ζ στον ακόλουθο πίνακα 3 στον οποίο δίνονται τα περιθώρια αθροίσματα των γραμμών και των στηλών καθώς και το ολικό άθροισμα.

22 α β γ δ ε ζ Έχουμε 3=6 μεταβλητές και τους ακόλουθους 6 περιορισμούς : α+β+γ= δ+ε+ζ=5 α+δ= v β+ε=5 v γ+ζ=9 v α+β+γ+δ+ε+ζ=5 Ορισμένοι όμως από τους περιορισμούς αυτούς επαναλαμβάνουν πληροφορίες που περιέχονται σε άλλους και επομένως πλεονάζουν. Π.χ. αν γνωρίζουμε τα περιθώρια αθροίσματα των γραμμών ή των στηλών γνωρίζουμε και το ολικό άθροισμα. Στην πραγματικότητα χρειαζόμαστε μόνον είτε τα αθροίσματα των στηλών και ένα άθροισμα γραμμής είτε δύο αθροίσματα στηλών και δύο γραμμών είτε δύο αθροίσματα στήλης ένα άθροισμα γραμμής και το ολικό άθροισμα. Δηλαδή από τους έξι περιορισμούς μόνον οι 4 είναι ανεξάρτητοι και επομένως ο αριθμός των ελεύθερων επιλογών μας μειώνεται κατά 4. Έχουμε λοιπόν : Αριθμός βαθμών ελευθερίας=6 4= Πράγματι επιλέγοντας την τιμή για δύο μόνον από τα α β γ δ ε ζ και χρησιμοποιώντας τις πληροφορίες που μας δίνουν τα περιθώρια αθροίσματα μπορούμε να προσδιορίσουμε και τα υπόλοιπα 4.

23 Οι βαθμοί ελευθερίας συνδέονται με τις στατιστικές δείγματος ως εξής : Έστω Τ μία στατιστική συνάρτηση η οποία υπολογίζεται από το τυχαίο δείγμα.... Οι βαθμοί ελευθερίας της Τ είναι ο αριθμός των τυχαίων μεταβλητών πλην τον αριθμό των ανεξάρτητων περιορισμών οι οποίοι υπάρχουν για υπολογισμό της Τ. Έτσι για παράδειγμα στη στατιστική συνάρτηση έχουμε μεταβλητές οι οποίες πρέπει να ικανοποιούν τον περιορισμό. Επομένως ο αριθμός των βαθμών ελευθερίας της ισούται με και η δειγματική διακύμανση μπορεί να περιγραφεί ως το άθροισμα των τετραγωνικών αποκλίσεων από το μέσο διαιρεμένο δια του αριθμού των βαθμών ελευθερίας. 3

24 ΚΕΦΑΛΑΙΟ ο ΔΙΑΣΤΗΜΑΤΑ ΕΜΠΙΣΤΟΣΥΝΗΣ ΚΑΙ ΕΛΕΓΧΟΙ ΥΠΟΘΕΣΕΩΝ. ΔΙΑΣΤΗΜΑΤΑ ΕΜΠΙΣΤΟΣΥΝΗΣ Στο προηγούμενο κεφάλαιο μελετήσαμε συνοπτικά το πρόβλημα της σημειακής εκτίμησης. Συχνά θέλουμε να γνωρίζουμε πόση εμπιστοσύνη μπορούμε να έχουμε όταν χρησιμοποιούμε π.χ. τη μέση τιμή ενός τυχαίου δείγματος για να εκτιμήσουμε τη μέση τιμή του πληθυσμού. Θα ασχοληθούμε λοιπόν με τη διαστηματική εκτίμηση δηλαδή με την εκτίμηση μίας η περισσότερων παραμέτρων όχι πια με στατιστικές συναρτήσεις αλλά με διαστήματα ή περιοχές των οποίων τα άκρα ή όρια είναι τυχαίες μεταβλητές. Στις περιπτώσεις αυτές εκτιμούμε ένα διάστημα τιμών [u v] στο οποίο θα βρίσκεται η τιμή της παραμέτρου Θ με ορισμένη πιθανότητα α με a. Ας θεωρήσουμε πρώτα την περίπτωση μίας μονοδιάστατης παραμέτρου θ. Έστω Χ ένα τυχαίο δείγμα με κατανομή f. Ζητάμε ένα διάστημα LUτέτοιο ώστε να καλύπτει το θ ένα <<μεγάλο ποσοστό φορών>>. Το ποσοστό αυτό λέγεται συντελεστής ή βαθμός εμπιστοσύνης και συμβολίζεται με α. Το διάστημα LU λέγεται διάστημα εμπιστοσύνης δ.ε της παραμέτρου θ. Με άλλα λόγια P { L U } a 4

25 για κάθε. Οι στατιστικές συναρτήσεις L και U λέγονται κατώτερο και ανώτερο όριο εμπιστοσύνης αντίστοιχα της παραμέτρου θ. Πριν προχωρήσουμε σε αυστηρούς ορισμούς και μεθόδους κατασκευής διαστημάτων εμπιστοσύνης χρειάζεται να διευκρινίσουμε μερικές βασικές έννοιες. Ας δούμε ένα παράδειγμα : Έστω... τυχαίο δείγμα από έναν κανονικό πληθυσμό με μέση τιμή μ που θεωρείται άγνωστη και διακύμανση που θεωρείται γνωστή. Έστω και z a το σημείο που ορίζεται από τη σχέση: P Z za a όπου Ζ παριστάνει την τυπική κανονική τυχαία μεταβλητή. Η γραφική παράσταση των τιμών δίνεται στο παραπάνω σχήμα. Μερικές βασικές και χρήσιμες τιμές του z a είναι οι εξής : Για a % z a 5% z a % z a / a / a /.64 a 9%.96 a 95%.58 a 99% 5

26 Επειδή / / ακολουθεί από το ΚΟΘ την N έχουμε P{ za / za / } a / P{ za / za / } a με την έννοια ότι η πιθανότητα το τυχαίο διάστημα: za / za / να καλύπτει το μ είναι το α. Τότε τα όρια ενός διαστήματος εμπιστοσύνης με βαθμό εμπιστοσύνης α είναι L za / U za /. / / Έστω η αριθμητική τιμή της τυχαίας μεταβλητής τότε η σχέση γράφεται z z a / a / z z a / a / Έτσι παίρνουμε ένα συγκεκριμένο διάστημα εμπιστοσύνης. Είναι προφανές ότι μετά το πείραμα η αληθινή τιμή του μ είτε περιέχεται στο παραπάνω διάστημα είτε δεν περιέχεται. Εάν το πείραμα επαναληφθεί πολλές φορές παίρνοντας κάθε φορά τυχαίο δείγμα μεγέθους και υπολογίζοντας κάθε φορά τα όρια za / θα περιμένουμε η σχετική συχνότητα των / διαστημάτων που περιέχουν το μ να πλησιάζει το α. Δηλαδή το 6

27 διάστημα za / za / θα περιέχει την τιμή του μ στο α% των περιπτώσεων. Στο σχήμα που ακολουθεί δίνεται για διάφορες τιμές της τυχαίας μεταβλητής η θέση του διαστήματος εμπιστοσύνης με πιθανότητα.95. Λόγω της συμμετρικότητας της καμπύλης έχουμε ότι z a / z a / στο διάστημα.96. Παρατηρούμε ότι όταν η τιμή του βρίσκεται [ ] Τότε το αντίστοιχο διάστημα εμπιστοσύνης θα περιέχει το μ. Επειδή το 95% των διαστημάτων των τιμών του βρίσκονται στο διάστημα αυτό έπεται ότι το 95% των διαστημάτων που θα υπολογίσουμε θα περιέχει τη τιμή μ. 7

28 Για μία αριθμητική εφαρμογή των παραπάνω ας υποθέσουμε ότι το τυχαίο δείγμα είναι από την κατανομή N 9 και α=95%. Επειδή % τότε z a / z.5.96 έχουμε L.7.96 U Δηλαδή ένα Δ.Ε. της παραγράφου μ είναι το.4564 με βαθμό εμπιστοσύνης α=95%. Ας δούμε τώρα ποια είναι η σχέση του μήκους του Δ.Ε. και του α. Αν αναφερθούμε στο προηγούμενο παράδειγμα και πάρουμε τα σημεία.68 και.7 στον άξονα των Z έχουμε P{.68 Z.7}.95 P{.68.7}.95 / P{.68.7 }.95. Εάν αντικαταστήσουμε τις τιμές του και παίρνουμε το Δ.Ε με συντελεστή εμπιστοσύνης α=95% ενώ το προηγούμενο ήταν Παρατηρούμε δηλαδή ότι υπάρχουν περισσότερα από ένα Δ.Ε. για την ίδια παράμετρο με τον ίδιο συντελεστή εμπιστοσύνης. Το ερώτημα είναι: Ποιο είναι καλύτερο; Προφανώς εκείνο το οποίο έχει το μικρότερο μήκος. Στην περίπτωση μας το Δ.Ε έχει μικρότερο μήκος από το Δ.Ε Μεταξύ διαστημάτων με τον ίδιο βαθμό εμπιστοσύνης το κριτήριο επιλογής είναι η ελαχιστοποίηση του μήκους l U L αυτού. Αντί του μήκους l μπορεί κανείς να θεωρήσει τη μέση τιμή E l οπότε 8

29 το καλύτερο διάστημα εμπιστοσύνης με σταθερό συντελεστή εμπιστοσύνης είναι εκείνο του οποίου η El είναι ελάχιστη για κάθε. Οι παραπάνω έννοιες και ιδέες γενικεύονται εύκολα για την περίπτωση δισδιάστατων ή πολυδιάστατων παραμέτρων θ. Εδώ αντί για διάστημα ζητάμε μία περιοχή εμπιστοσύνης R R τέτοια ώστε P{ R } a όπως φαίνεται στο σχήμα 9

30 . ΕΛΕΓΧΟΙ ΥΠΟΘΕΣΕΩΝ Ο έλεγχος των στατιστικών υποθέσεων είναι ένα από τα πλέον βασικά θέματα της Μαθηματικής Στατιστικής και γενικά της Στατιστικής Μεθοδολογίας. Αποτελεί έναν από τους δύο κλάδους της Στατιστικής Συμπερασματολογίας με τον άλλον να είναι η Εκτιμητική. Φυσικά όλα τα ειδικότερα θέματα της Στατιστικής όπως μεταξύ άλλων η Ανάλυση της Παλινδρόμησης η Ανάλυση της Διακύμανσης και η Πολυδιάστατη Ανάλυση σχετίζονται και με τους ελέγχους στατιστικών υποθέσεων. Ο τρόπος με τον οποίο εξειδικεύεται η μηδενική και η εναλλακτική υπόθεση εξαρτάται από τη φύση του προβλήματος. Ειδικότερα ένα πρόβλημα καλείται δίπλευρο two sded αν οι αποκλίσεις προς οποιαδήποτε κατεύθυνση από τη μηδενική υπόθεση επιβάλλουν διαφορετική ενέργεια από αυτήν που υπαγορεύεται από τη μηδενική υπόθεση. Έτσι για παράδειγμα δίπλευρος είναι ο έλεγχος της ποιότητας ενός κυλίνδρου ο οποίος χρησιμοποιείται για τη συναρμολόγηση σωλήνων διότι ο κύλινδρος είναι ελαττωματικός όταν η διάμετρος του είναι είτε πολύ μεγαλύτερη είτε πολύ μικρότερη από την επιθυμητή. Στην περίπτωση αυτή θεωρούμε ότι η μέση διάμετρος μ όλων των παραγόμενων κυλίνδρων είναι όση η επιθυμητή την οποία συμβολίζουμε με και η μηδενική και η εναλλακτική υπόθεση εξειδικεύεται ως εξής: : : Ένα πρόβλημα ελέγχου καλείται μονόπλευρο oe sded αν μόνον οι αποκλίσεις προς μία κατεύθυνση από τη μηδενική υπόθεση επιβάλλουν διαφορετική ενέργεια από ότι η μηδενική. Ο μονόπλευρος έλεγχος ονομάζεται αριστερόπλευρος ή δεξιόπλευρος ανάλογα με την κατεύθυνση που μας ενδιαφέρει. Παράδειγμα 3

31 αριστερόπλευρου ελέγχου είναι ο έλεγχος του μέσου βάρους ενός προϊόντος που γίνεται για λογαριασμό των καταναλωτών οι οποίοι σκοπεύουν να καταγγείλουν τον παραγωγό αν τα προϊόντα του είναι ελλιποβαρή δηλαδή έχουν μέσο βάρος μικρότερο από τη δηλωμένη τιμή έστω. Στην περίπτωση αυτή η μηδενική και η εναλλακτική υπόθεση εξειδικεύονται ως εξής: : : Aν τώρα ο έλεγχος γίνεται για λογαριασμό του παραγωγού ο οποίος ενδιαφέρεται ώστε το μέσο βάρος να μην ξεπερνά το αναγραφόμενο με βάση το οποίο κοστολογεί το προϊόν τότε έχουμε ένα πρόβλημα δεξιόπλευρου ελέγχου στο οποίο η μηδενική και η εναλλακτική υπόθεση εξειδικεύονται ως εξής: : : Η βασική στρατηγική την οποία ακολουθούμε στην εξειδίκευση της μηδενικής και της εναλλακτικής υπόθεσης είναι να στηρίξουμε την υπόθεση έρευνας απορρίπτοντας τη μηδενική υπόθεση. Γίνεται δεκτό ότι η μηδενική υπόθεση ισχύει μέχρις ότου από τα δεδομένα προκύψουν ισχυρές ενδείξεις για το αντίθετο. Έτσι ενώ όταν απορρίπτουμε τη μηδενική υπόθεση μπορούμε με σχετική σιγουριά να πούμε ότι δεν ισχύει όταν τη δεχόμαστε δεν έχουμε την ίδια σιγουριά για την ισχύ της. Για αυτό πολλοί συγγραφείς προτιμούν να χρησιμοποιούν την έκφραση <<δεν απορρίπτουμε την >> αντί για την έκφραση <<δεχόμαστε την >>. Ο έλεγχος για τη μέση τιμή πληθυσμού γίνεται με βάση την κατανομή δειγματοληψίας του τυχαίου δείγματος μεγέθους. 3

32 α. Υποθέσεις που γίνονται δεκτές. Κατανομή πληθυσμού κανονική και γνωστή. β. Η μηδενική και η εναλλακτική υπόθεση : : : : : : γ. Το κριτήριο αποφάσεως. Κάτω από τις υποθέσεις που ορίζονται στο α και τη μηδενική υπόθεση η τυχαία μεταβλητή Z / ακολουθεί την N. Συμβολίζουμε με z a και z a / τις τιμές της Ζ για τις οποίες ισχύει P Z z P Z z a a / P Z z a a P Z z a / a / a a / Έστω η τιμή του δειγματικού μέσου που υπολογίζουμε σε συγκεκριμένο δείγμα και z / δ. Η απόφαση. Η μηδενική υπόθεση απορρίπτεται για τα τρία είδη ελέγχου αντίστοιχα αν z z a / z z a και z z a Οι περιοχές αποδοχής και απόρριψης της μηδενικής υπόθεσης για τα τρία είδη ελέγχου δίνονται στα σχήματα της επόμενης σελίδας 3

33 33

34 Για τον έλεγχο της μέσης τιμής αυτή τη φορά με άγνωστη διακύμανση αν και είναι η μέση τιμή και η διακύμανση αντίστοιχα τυχαίου δείγματος μεγέθους από ένα κανονικό πληθυσμό η κατανομή του πληθυσμού είναι κατά προσέγγιση κανονική η τυχαία μεταβλητή t / ακολουθεί την κατανομή t studet με βαθμούς ελευθερίας. Επομένως ο έλεγχος για τη μέση τιμή του πληθυσμού θα γίνει σταδιακά ως εξής α. Υποθέσεις που γίνονται δεκτές. Η κατανομή του πληθυσμού είναι κανονική. β. Η μηδενική και η εναλλακτική υπόθεση : : : : : : γ. Το κριτήριο αποφάσεως. Συμβολίζουμε με t v a και t / τις τιμές της κατανομής t studet με v βαθμούς ελευθερίας για τις οποίες ισχύει αντίστοιχα P t P t t t / P t P t t t / / / Έστω και s η τιμή του μέσου και της διακύμανσης αντίστοιχα που υπολογίζονται σε συγκεκριμένο δείγμα μεγέθους και t s / 34

35 δ. Η απόφαση. Η μηδενική υπόθεση απορρίπτεται για τα τρία είδη ελέγχου αντίστοιχα αν t t / t t t t Οι περιοχές απόρριψης και αποδοχής της μηδενικής υπόθεσης δίνονται για τα τρία είδη ελέγχου στο σχήμα που ακολουθεί. 35

36 .3 ΠΑΡΑΔΕΙΓΜΑΤΑ Παράδειγμα. Το καθαρό βάρος Χ του περιεχομένου στο συσκευασμένο βούτυρο ορισμένης μάρκας ακολουθεί την κανονική κατανομή με τυπική απόκλιση 5g. Σε τυχαίο δείγμα 5 πακέτων υπολογίσαμε το μέσο καθαρό βάρος και βρήκαμε 43g. Να εκτιμηθεί διάστημα εμπιστοσύνης με πιθανότητα.99 για το μέσο καθαρό βάρος στο σύνολο των συσκευασιών. Λύση. Για α=.99 έχουμε α/=.995 και z a /. 58. Επομένως το ζητούμενο διάστημα εμπιστοσύνης είναι το za / za / Παράδειγμα. Αυτόματο μηχάνημα κόβει μεταλλικά ελάσματα των οποίων το μήκος Χ ακολουθεί την κανονική κατανομή με μ=5cm. Ένα περίπου 4ωρο πριν την εμφάνιση της βλάβης το μήκος των ελασμάτων μειώνεται οπότε εκτός από την τακτική συντήρηση του μηχανήματος καθημερινά μετριέται το μήκος σε τυχαίο δείγμα = ελασμάτων. Αν στο δείγμα μιας ημέρας υπολογίσαμε μέσο μήκος 4. 5cm και s cm να ελεγχθεί η υπόθεση ότι το μέσο μήκος στο σύνολο της παραγωγής δε μειώθηκε σε επίπεδο σημαντικότητας α=.. Λύση. α. Υποθέσεις που γίνονται δεκτές. Η κατανομή πληθυσμού είναι κανονική. β. Η μηδενική και η εναλλακτική υπόθεση : 5 : 5 γ. Το κριτήριο αποφάσεως. Για =9 βαθμούς ελευθερίας και α=. βρίσκουμε από το σχετικό πίνακα ότι t

37 Επομένως αν t 5 s /.539 θα απορρίψουμε την υπέρ της δ. Η απόφαση. Επειδή. t / δεν μπορούμε να απορρίψουμε την. Η μηδενική υπόθεση όμως απορρίπτεται για μεγαλύτερα επίπεδα σημαντικότητας π.χ. για α=.5. Πράγματι t. 79 και ισχύει t Παράδειγμα 3. Έστω ότι το μέσο βάρος των προϊόντων που συσκευάζονται από αυτόματο μηχάνημα δεν διαφέρει από 7 g στο επίπεδο σημαντικότητας α=.5. Αν σε τυχαίο δείγμα =8 προϊόντων υπολογίσαμε μέσο βάρος 69g και τυπική απόκλιση s g και η κατανομή του βάρους μπορεί να υποτεθεί κανονική να ελεγχθεί η παραπάνω υπόθεση. α. Υποθέσεις που γίνονται δεκτές. Η κατανομή πληθυσμού είναι κανονική. β. Η μηδενική και εναλλακτική υπόθεση : 7 : 7 γ. Το κριτήριο αποφάσεως. Για =7 βαθμούς ελευθερίας α=.5 και α/=.5 έχουμε t.. Επομένως αν t. s / 8 θα απορρίψουμε την υπέρ της εναλλακτικής της. 37

38 δ. Η απόφαση. Επειδή 69 7 t.7. / 8 δεν απορρίπτουμε την. 38

39 ΚΕΦΑΛΑΙΟ 3ο ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ 3. ΣΧΕΣΗ ΕΥΘΕΙΑΣ ΓΡΑΜΜΗΣ ΜΕΤΑΞΥ ΔΥΟ ΜΕΤΑΒΛΗΤΩΝ Στις πειραματικές εργασίες πολύ συχνά θέλουμε να διερευνήσουμε πως οι αλλαγές σε μια μεταβλητή επηρεάζουν μια άλλη μεταβλητή. Μερικές φορές η σχέση που συνδέει δύο μεταβλητές είναι περίπου μια ευθεία γραμμή. Αναφέρουμε ένα παράδειγμα που σχετίζεται με το ηλεκτρικό κύκλωμα. Εάν η αντίσταση R σε ένα απλό ηλεκτρικό κύκλωμα διατηρηθεί σταθερή τότε η ένταση I μεταβάλλεται ευθέως V ανάλογα με την τάση V και σύμφωνα με το νόμο του Ohm I. R Εάν δεν γνωρίζαμε το νόμο του Ohm θα μπορούσαμε να προσδιορίσουμε αυτή τη σχέση εμπειρικά μεταβάλλοντας τις τιμές της V και παρατηρώντας τις τιμές της I ενώ θα διατηρούσαμε σταθερή την τιμή της R. Τότε το διάγραμμα που σχηματίζουν τα ζεύγη των τιμών των I και V πάνω στο επίπεδο είναι περίπου μία ευθεία γραμμή που διέρχεται από την αρχή των αξόνων. Λέμε περίπου μία ευθεία γραμμή διότι αν και η σχέση είναι ακριβώς γραμμική οι μετρήσεις μας μπορεί να υπόκεινται σε μικρά σφάλματα και επομένως είναι πιθανό τα σημεία στο διάγραμμα να μην βρίσκονται ακριβώς πάνω σε μία γραμμή αλλά να μεταβάλλονται τυχαία γύρω από αυτή. Ωστόσο αν ο σκοπός μας είναι η πρόβλεψη της τιμής I για μία συγκεκριμένη τιμή της V ενώ η τιμή της R είναι σταθερή πρέπει να χρησιμοποιήσουμε μία ευθεία γραμμή που περνάει από την αρχή των αξόνων. Ένα άλλο παράδειγμα στο οποίο θα μπορούσαμε να χρησιμοποιήσουμε την γραμμική παλινδρόμηση είναι το εξής: Ένας μηχανικός προσλαμβάνεται από μια εταιρία αναψυκτικών. Είναι υπεύθυνος για την ανάλυση της παράδοσης των προϊόντων καθώς και τη διαδικασία εξυπηρέτησης μιας μηχανής πώλησης. Ο μηχανικός έχει ενδείξεις ότι ο χρόνος που απαιτείται από το μεταφορέα για να φορτώσει και για να επιδιορθώσει μια μηχανή πώλησης σχετίζεται με τον αριθμό των προϊόντων που έχουν ήδη πωληθεί από τη μηχανή. Ο μηχανικός επισκέπτεται 39

40 τυχαία 5 επιλεγμένα πρατήρια με μηχανές πώλησης και παρατηρεί τον χρόνο παράδοσης των προϊόντων σε λεπτά και την ποσότητα των προϊόντων που πουλήθηκαν σε τεμάχια. Οι 5 παρατηρήσεις φαίνονται στο παρακάτω διάγραμμα σχήμα. α.το διάγραμμα λέγεται διάγραμμα διασποράς scatte dagam ή στικτό διάγραμμα dot dagam. Αυτό το διάγραμμα δείχνει καθαρά μια σχέση μεταξύ του χρόνου παράδοσης των προϊόντων στο κάθε πρατήριο delve tme και την ποσότητα των προϊόντων που πουλήθηκαν delve volume.η εντύπωση είναι ότι τα σημεία των δεδομένων γενικά όχι με ακρίβεια πέφτουν κατά μήκος μιας ευθείας γραμμής. Στο σχήμα.b φαίνεται η σχέση μέσω αυτής της ευθείας γραμμής. 4

41 Έστω Y ο χρόνος παράδοσης και η ποσότητα παράδοσης. Συνεπώς η εξίσωση μίας ευθείας γραμμής που σχετίζει αυτές τις δύο μεταβλητές είναι Y όπου : ο σταθερός όρος η κλίση της ευθείας. Ορίζουμε ως Y το οποίο διαβάζεται Υ καπέλο την προβλεπόμενη τιμή pedcted value της Y για μία δοθείσα τιμή της όταν οι τιμές των και έχουν προσδιοριστεί και Y την παρατηρούμενη τιμή obseved value της Y. Η ευθεία είναι: Y. Τα δεδομένα σχήμα.b δεν πέφτουν ακριβώς πάνω στη γραμμή. Εισάγουμε μία ποσότητα ε που λέγεται σφάλμα. Αυτή η ποσότητα είναι η προσαύξηση μέσω της οποίας κάποια παρατήρηση Υ πέφτει εκτός από της γραμμής της παλινδρόμησης. ε= Y Y ή ε= Y + Το ε μπορεί να προέκυψε από επιδράσεις άλλων παραγόντων στο χρόνο παράδοσης ή από κάποιο λάθος μέτρησης. Άρα ένα μοντέλο που ανταποκρίνεται καλύτερα στην πραγματικότητα είναι: Y + ε. όπου : Y : Η εξαρτημένη μεταβλητή ή απόκριση espose : Η ανεξάρτητη μεταβλητή ή προβλέπουσα pedcto : οι άγνωστες παράμετροι συντελεστές παλινδρόμησης και ε : το σφάλμα. 4

42 Η εξίσωση. καλείται εξίσωση παλινδρόμησης egesso equato ή γραμμικό μοντέλο lea egesso model. Επειδή η εξίσωση. αποτελείται μόνο από μία ανεξάρτητη μεταβλητή καλείται απλό γραμμικό μοντέλο παλινδρόμησης smple lea egesso model. Γενικά μπορεί να εξαρτάται από k ανεξάρτητες μεταβλητές... k. Συνεπώς το μοντέλο γίνεται: Y =... k + ε και τότε καλείται πολλαπλό γραμμικό μοντέλο παλινδρόμησης. Στόχος της ανάλυσης παλινδρόμησης είναι να εκτιμήσει τις άγνωστες παραμέτρους στο μοντέλο παλινδρόμησης. Αυτό ονομάζεται προσαρμογή των δεδομένων στο μοντέλο fttg the model to the data. Η ευθεία. στο παράδειγμα μας είναι μια σχέση της μορφής: Y = fχ η όποια καλείται καμπύλη παλινδρόμησης egesso cuve. O όρος γραμμικός υπονοεί ότι το μοντέλο είναι γραμμικό ως προς τους συντελεστές.... Στις περισσότερες εφαρμογές της παλινδρόμησης η εξίσωση παλινδρόμησης είναι μόνο μια προσέγγιση στη πραγματική σχέση μεταξύ των μεταβλητών 4

43 Γενικά η εξίσωση παλινδρόμησης ισχύει μόνο εντός των διαστημάτων των ανεξάρτητων μεταβλητών στα οποία υπάρχουν τα δεδομένα μας που εξάγαμε από τις παρατηρήσεις μας. Ας δούμε ένα παράδειγμα. Παράδειγμα. Υποθέτουμε ότι τα δεδομένα των και τα οποία συλλέξαμε ισχύουν μέσα στο διάστημα. Σε αυτό το διάστημα η εξίσωση παλινδρόμησης που φαίνεται στο σχήμα.4 είναι μια καλή προσέγγιση της σχέσης που ανταποκρίνεται στην πραγματικότητα. Έστω ότι προσπαθούμε να χρησιμοποιήσουμε την ίδια εξίσωση παλινδρόμησης για να βρούμε τις τιμές της για διάφορες τιμές της στο διάστημα 3. Τότε το γραμμικό μοντέλο παλινδρόμησης δεν θα ισχύει σε αυτό το διάστημα λόγω λάθους μοντελοποίησης στην εξίσωση παλινδρόμησης. Παράδειγμα. Θεωρούμε τη σχέση που δίνεται στο σχήμα.5. Παρατηρούμε ότι δεν είναι γραμμική στο διάστημα. Ωστόσο εάν μας ενδιαφέρει το διάστημα 45 τότε μία σχέση ευθείας γραμμής που θα εκτιμηθεί από παρατηρήσεις σε αυτό το διάστημα μπορεί να δώσει μία εντελώς επαρκή παράταση της σχέσης μέσα σε αυτό το διάστημα. Η σχέση αυτή δε μπορεί βέβαια να εφαρμοστεί για τιμές της εκτός από το περιορισμένο αυτό διάστημα ούτε να χρησιμοποιηθεί για προβλέψεις έξω από αυτό. 43

44 Σχήμα.4 Σχήμα.5 Οι ίδιες παρατηρήσεις μπορούν να γίνουν όταν οι ανεξάρτητες μεταβλητές είναι περισσότερες από μία. Ας υποθέσουμε ότι θέλουμε να εξετάσουμε τον τρόπο με τον οποίο μια εξαρτημένη μεταβλητή εξαρτάται από τις μεταβλητές... k. Από τα δεδομένα μας προσδιορίζουμε μια εξίσωση παλινδρόμησης η οποία καλύπτει συγκεκριμένες περιοχές του Χ χώρου. Θεωρούμε ότι το σημείο... βρίσκεται έξω από τις περιοχές που καλύπτονται από τα k αρχικά δεδομένα. 44

45 Ενώ μαθηματικά μπορούμε να πάρουμε μια τιμή προβλεπόμενη Y για την εξαρτημένη μεταβλητή στο σημείο πρέπει να συνειδητοποιήσουμε ότι είναι εξαιρετικά επικίνδυνο να εμπιστευτούμε μια τέτοια πρόβλεψη και ότι ο κίνδυνος γίνεται μεγαλύτερος όσο μακρύτερα βρίσκεται το σημείο από τις περιοχές των αρχικών δεδομένων εκτός και αν διαθέτουμε κάποιες πρόσθετες γνώσεις ότι η εξίσωση της παλινδρόμησης ισχύει για μια περιοχή ευρύτερη εκείνης του Χ χώρου. Σημειώνουμε ότι μερικές φορές σε έναν πολυδιάστατο χώρο είναι δύσκολο να καταλάβουμε αμέσως ότι ένα σημείο βρίσκεται έξω από την περιοχή. Ως ένα απλό παράδειγμα θεωρούμε την περιοχή που ορίζεται από την έλλειψη στο Σχήμα.6 μέσα στην οποία βρίσκονται όλα τα σημεία. Οι αντίστοιχες τιμές της Υ που σχεδιάζονται καθέτως της σελίδας δε μπορούν να δειχθούν στο σχήμα. Βλέπουμε ότι υπάρχουν σημεία στην περιοχή για τα οποία 9 και Παρά το γεγονός ότι και οι δύο συντεταγμένες του P βρίσκονται μέσα σε αυτές της περιοχές το P είναι έξω από την περιοχή. Καταλαβαίνουμε λοιπόν ότι παρανοήσεις αυτού του είδους προκύπτουν εύκολα όταν στο εξεταζόμενο πρόβλημα εμπλέκονται περισσότερες διαστάσεις. Σχήμα.6 45

46 3. ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ:ΠΡΟΣΑΡΜΟΓΗ ΕΥΘΕΙΑΣ ΓΡΑΜΜΗΣ Το εδάφιο αυτό αναφέρεται στο απλό γραμμικό μοντέλο παλινδρόμησης. Δηλαδή σε ένα μοντέλο με μια ανεξάρτητη μεταβλητή με τη σχέση μεταξύ των και να είναι μια ευθεία γραμμή. Συνεπώς Η κλίση είναι η αλλαγή της μέσης τιμής της εάν μεταβάλλουμε κατά μια μονάδα τη. Εάν = τότε το είναι η μέση τιμή του. Η μέθοδος των ελαχίστων τετραγώνων έχει ως σκοπό να εκτιμήσουμε τις άγνωστες παραμέτρους χρησιμοποιώντας κάποια δεδομένα που συλλέξαμε. Αυτά τα δεδομένα προέρχονται είτε από ένα ελεγχόμενο πείραμα που σχεδιάστηκε με σκοπό τη συλλογή δεδομένων ή από υπάρχουσες ιστορικές καταγραφές. Έστω ότι έχουμε διατεταγμένα ζεύγη.... Από την εξίσωση. έχουμε ότι:....3 Η εξίσωση. είναι ένα μοντέλο παλινδρόμησης για τον πληθυσμό ενώ η.3 είναι ένα δείγμα του μοντέλου παλινδρόμησης γραμμένο με όρους των διατεταγμένων ζευγών.... Ορίζουμε ή το άθροισμα των τετραγώνων των αποκλίσεων από την πραγματική γραμμή με. Από τη σχέση.3 επιλύοντας ως προς θα ισχύει.4 46

47 47 Συμβολίζουμε με b b τις εκτιμήσεις μας. Επιλέγουμε τις εκτιμήσεις μας ώστε να είναι οι τιμές εκείνες που όταν αντικαταστήσουν τα στην εξίσωση.4 να δίνουν την ελάχιστη τιμή για το. Μπορούμε να προσδιορίσουμε τους εκτιμητές b b παραγωγίζοντας την εξίσωση.4 ως προς και μετά ως προς και θέτοντας τα αποτελέσματα ίσα με μηδέν. Έχουμε:.5 οπότε οι εκτιμήσεις μας b b δίνονται από τις σχέσεις b b b b θέτοντας όπου τα b b. Προκύπτει απλοποιώντας τις δύο εξισώσεις ότι: b b b b ή. b b b b.6 Οι εξισώσεις.6 ονομάζονται κανονικές εξισώσεις.

48 48 Άρα επιλύοντας το σύστημα ως προς τα b b έχουμε b b.7 Για τον αριθμητή της.7 έχουμε: Για τον παρονομαστή της.7 έχουμε:. Παρατηρούμε ότι:. Y

49 Τότε ένας πιο κομψός και εύχρηστος τρόπος γραφής της σχέσης.7 είναι: b Y b..8 Καλούμε τις παρακάτω ποσότητες : μη διορθωμένο άθροισμα τετραγώνων των και : η διόρθωση για τη μέση τιμή του. Η διαφορά τους λέγεται διορθωμένο άθροισμα τετραγώνων των. Επίσης: : μη διορθωμένο άθροισμα γινομένου και : η διόρθωση για τους μέσους. Η διαφορά μεταξύ της παρατηρούμενης τιμής και της προβλεπόμενης τιμής ŷ λέγεται υπόλοιπο και το συμβολίζουμε με δηλαδή:. Εάν αντικαταστήσουμε την ποσότητα b b από τη σχέση.8 στην εξίσωση b b τότε b b. Συνεπώς έχουμε b.9 όπου το b δίνεται από την εξίσωση.7. 49

50 Εάν θέσουμε στην.9 τότε. Αυτό σημαίνει ότι το σημείο ανήκει στη γραμμή προσαρμογής. Πρόταση. Ισχύει ότι σε κάθε μοντέλο παλινδρόμησης το άθροισμα των υπολοίπων είναι μηδέν. Απόδειξη. Έχουμε b το οποίο ισχύει από την.9. Είναι: b [ [ b ]] b b b. b b Έστω η εξίσωση παλινδρόμησης.... Η μέθοδος των ελαχίστων τετραγώνων ισχύει υπό ορισμένες υποθέσεις οι οποίες είναι: Τα είναι μία τυχαία μεταβλητή με μέση τιμή μηδέν και διασπορά. Τα είναι ασυσχέτιστα δηλαδή Cov. Συνεπώς Y Va Y με τα να είναι ασυσχέτιστα. Τα είναι τυχαίες μεταβλητές οι οποίες ακολουθούν την κανονική κατανομή N δηλαδή τα είναι ανεξάρτητα. 5

51 3.3 Η ΑΚΡΙΒΕΙΑ ΤΗΣ ΕΚΤΙΜΗΣΗΣ ΤΗΣ ΠΑΛΙΝΔΡΟΜΗΣΗΣ Τώρα θα επιχειρήσουμε να απαντήσουμε στο ερώτημα σχετικά με το τι βαθμός ακρίβειας μπορεί να προσαρτηθεί στις εκτιμήσεις μας από την ευθεία γραμμή της παλινδρόμησης. Θεωρούμε την παρακάτω ταυτότητα :. Η γεωμετρική ερμηνεία αυτής της ταυτότητας για την προσαρμοσμένη ευθεία γραμμή επεξηγείται στο Σχήμα.7. Το υπόλοιπο είναι η διαφορά μεταξύ δύο ποσοτήτων : της απόκλισης της παρατηρούμενης τιμής από τη συνολική μέση τιμή και της απόκλισης της προσαρμοσμένης προβλεπόμενης τιμής της ŷ από τη συνολική μέση τιμή. Πρόταση. Η μέση τιμή των προβλεπόμενων τιμών είναι ίση με τη μέση τιμή των πραγματικών. Δηλαδή. Απόδειξη. 5

52 5 Μπορούμε τώρα να ξαναγράψουμε την ταυτότητα. ως εξής προσθέτωντας και αφαιρώντας το ŷ. Υψώνουμε στο τετράγωνο και τα δύο μέλη και στη συνέχεια αθροίζουμε για.... Μπορεί να αποδειχθεί ότι ο όρος των σταυρωτών γινομένων που είναι ο μηδενίζεται. Έχουμε:... Αντικαθιστώντας το ŷ από την. έχουμε:.3 Από τις..3 έχουμε:

53 [ * Y ] Γνωρίζουμε ότι Y Y. Άρα η σχέση * γίνεται Y Y Άρα η σχέση. μετατρέπεται στην εξής μορφή Η εξίσωση. μπορεί να εκφραστεί ως εξής : Άθροισμα τετραγώνων = Άθροισμα τετραγώνων γύρω από το μέσο παλινδρόμησης + Άθροισμα τετραγώνων γύρω από την παλινδρόμηση ή εναλλακτικά: T = R + E Αυτό δείχνει ότι από τη μεταβλητότητα των τιμών της Y γύρω από το μέσο τους ένα μέρος της μπορεί να αποδοθεί στη γραμμή παλινδρόμησης και ένα άλλο μέρος το στο γεγονός ότι οι πραγματικές παρατηρήσεις δε βρίσκονται όλες πάνω στη γραμμή της παλινδρόμησης. Εάν ήταν όλες οι παρατηρήσεις πάνω στη γραμμή παλινδρόμησης τότε το άθροισμα των τετραγώνων γύρω από την γραμμή παλινδρόμησης θα ήταν μηδέν δηλαδή E=. Η διαδικασία αυτή μας δείχνει ένα τρόπο για να εκτιμήσουμε πόσο χρήσιμη θα είμαι η γραμμή της παλινδρόμησης για να κάνουμε προβλέψεις. Δηλαδή εξετάζουμε πόσο μέρος του T αντιστοιχεί στο R και πόσο στο E. Θα είναι ευχάριστο εάν το R είναι πολύ μεγαλύτερο από το R E ή αλλιώς εάν ο λόγος R = δεν απέχει πολύ από τη μονάδα. E Κάθε άθροισμα τετραγώνων συνδέεται με κάποιους βαθμούς ελευθερίας. Ο βαθμός ελευθερίας είναι ένας αριθμός που μας δείχνει πόσα ανεξάρτητα κομμάτια πληροφορίας που περιλαμβάνουν τους ανεξάρτητους αριθμούς Y Y... Y απαιτούνται για τον υπολογισμό του αθροίσματος των τετραγώνων. 53

54 Πίνακας ANOVA Η στήλη με τον τίτλο Μέσο Τετράγωνο προκύπτει εάν διαιρέσουμε κάθε άθροισμα τετραγώνων με τους αντίστοιχους βαθμούς ελευθερίας. Θα υπολογίσουμε τους βαθμούς ελευθερίας σε ένα μοντέλο της μορφής. Το άθροισμα τετραγώνων γύρω από το μέσο T χρειάζεται ανεξάρτητα κομμάτια επειδή από τους αριθμούς... μόνο οι είναι ανεξάρτητοι αφού όλοι μαζί οι αριθμοί αθροίζουν στο μηδέν. Το άθροισμα τετραγώνων λόγω παλινδρόμησης χρησιμοποιεί μία απλή συνάρτηση των... Δηλαδή έχει έναν βαθμό ελευθερίας. Το άθροισμα τετραγώνων γύρω από την γραμμή παλινδρόμησης θα έχει βαθμούς ελευθερίας και θα το καλούμε υπόλοιπο άθροισμα τετραγώνων. 54

55 Για να βρούμε τους βαθμούς ελευθερίας θα χρησιμοποιήσουμε τον παρακάτω κανόνα. Από το πλήθος των προσθετέων του αθροίσματος τετραγώνων αφαιρούμε το πλήθος των εκτιμητριών που χρησιμοποιούνται. T το οποίο αντιστοιχεί σε βαθμούς ελευθερίας με μοναδική εκτιμήτρια το E ελευθερίας με εκτιμήτριες. το οποίο αντιστοιχεί σε βαθμούς R το οποίο αντιστοιχεί σε βαθμό ελευθερίας. Αυτό ισχύει διότι από τη σχέση.3 προκύπτει ότι: T R E R T E. Συνεπώς οι βαθμοί του R προκύπτουν αφαιρώντας από τους βαθμούς του T τους βαθμούς E δηλαδή =. 55

56 ΣΗΜΑΝΤΙΚΑ ΑΠΟΤΕΛΕΣΜΑΤΑ ΓΙΑ ΤΙΣ ΕΕΤ ΣΤΟ ΓΡΑΜΜΙΚΟ ΜΟΝΤΕΛΟ Πρόταση. Οι εκτιμήτριες ελάχιστων τετραγώνων εετ και είναι αμερόληπτες εκτιμήτριες των παραμέτρων αντίστοιχα. Δηλαδή και. Απόδειξη. Λήμμα. Εάν... είναι ασυσχέτιστες ανά δύο τυχαίες μεταβλητές s Cov για s με V.... Τότε Η διακύμανση του γραμμικού συνδυασμού a όπου a... γνωστές σταθερές δίνεται από τον τύπο a a V. Η συνδιακύμανση μεταξύ των γραμμικών συνδυασμών a και όπου a... είναι γνωστές σταθερές δίνεται από τον τύπο: a a Cov Πρόταση. Για τις εκτιμήτριες τετραγώνων ισχύουν τα επόμενα αποτελέσματα. Cov V V

57 57 V V Απόδειξη. Αφού θα έχουμε V V V V Cov Cov Το άθροισμα στο δεξί μέλος υπολογίζεται ως εξής. Άρα Cov Θεώρημα Gauss Makov. Οι εκτιμήτριες ελαχίστων τετραγώνων των έχουν τη μικρότερη δυνατή διακύμανση ανάμεσα σε όλες τις αμερόληπτες εκτιμήτριες που είναι γραμμικές συναρτήσεις των.

58 58 Απόδειξη. Έστω c μία αμερόληπτη εκτιμήτρια του. Τότε έχουμε c c c c c c Για τη διακύμανση προκύπτει ότι c c V c V. Για την εκτιμήτρια ελάχιστων τετραγώνων με έχουμε ότι: V V. Συγκρίνουμε τα αθροίσματα c c c c c.

59 59 Αλλά c c c c c δηλαδή c c. Άρα V c V. 3.5 ΔΙΑΣΤΗΜΑΤΑ ΕΜΠΙΣΤΟΣΥΝΗΣ Έχουμε κάνει μια συνοπτική αναφορά στα διαστήματα εμπιστοσύνης στο προηγούμενο κεφάλαιο. Με τα διαστήματα εμπιστοσύνης μπορούμε να εκτιμήσουμε διάφορες παραμέτρους όπως μέση τιμή με γνωστή και άγνωστη αντίστοιχα διασπορά τυπική απόκλιση τη διαφορά μέσων τιμών με γνωστές και άγνωστες αντίστοιχα διασπορές και άλλες παραμέτρους. Στη συνέχεια εκτιμούμε με τη μέθοδο των διαστημάτων εμπιστοσύνης τις παραμέτρους του απλού γραμμικού μοντέλου παλινδρόμησης. Διάστημα εμπιστοσύνης για το. Γνωρίζουμε ότι: Y.4 Υποθέτουμε ότι το σ είναι γνωστό. Γενικά η διασπορά μίας συνάρτησης Α όπου a a a... είναι Cov V a V a V a Va...

60 6 Εάν οι είναι ανά δύο ασυσχέτιστες Cov οι a a a... σταθερές και επιπλέον εάν V τότε a a a a Va.... Στην Σχέση.4 επειδή τα μπορούν να θεωρηθούν σταθερά η ποσότητα: μπορεί να θεωρηθεί σταθερά. Δηλαδή a. Συνεπώς η.4 γίνεται a. Έχουμε ότι: a V a V ] [ V s το οποίο καλείται τυπική απόκλιση του ή τυπικό σφάλμα του. Άρα το διάστημα εμπιστοσύνης του είναι a a t s t Εάν το σ είναι άγνωστο την τιμή του σ την γνωρίζουμε μόνο όταν έχουμε ολόκληρο τον πληθυσμό τότε στη θέση του σ θα χρησιμοποιήσουμε την εκτίμηση s υποθέτοντας ότι το μοντέλο είναι σωστό. Τότε η εκτιμηθείσα τυπική απόκλιση το τυπικό σφάλμα s δίνεται από τη σχέση:. s V s