Γενικευμένα Γραμμικά Μοντέλα Σημειώσεις

Transcript

1 Γενικευμένα Γραμμικά Μοντέλα Σημειώσεις Περιληπτική απόδοση στα ελληνικά των σημειώσεων των J. Foster και Π. Δελλαπόρτα Ε. Rodrguez, με κάποιες προσθήκες... Ε. Ιωαννίδης Φεβρουάριος 05

2 Πρόλογος Οι σημειώσεις αυτές δεν είναι συγγραφικό πόνημα του «συγγραφέα». Στο μεγαλύτερο μέρος έκανα απλά μια περιληπτική απόδοση στα ελληνικά --για να βοηθηθούν οι φοιτητές-- από δύο πηγές: Για το πρώτο (θεωρητικό) μισό το μαθήματος, τις σημειώσεις του J. Foster και Π. Δελλαπόρτα Και για το δεύτερο (εφαρμοσμένο) μισό το μαθήματος, τις σημειώσεις του E. Rodrguez. Σε κάθε κεφάλαιο παραπέμπω στα αντίστοιχα κεφάλαια των παραπάνω πηγών και συνιστώ στους φοιτητές να ανατρέχουν σε αυτά για μια πληρέστερη και πιο αναλυτική περιγραφή του αντικειμένου. Κατά ένα άλλο μέρος έκανα ο ίδιος προσθήκες σε ζητήματα που μου φαίνονται ενδιαφέροντα και σημαντικά οι οποίες, λοιπόν, δεν περιέχονται στις παραπάνω πηγές. Ευχαριστώ τη Δήμητρα Ζήκου για την δακτυλογράφηση των σημειώσεων. Ε. Ιωαννίδης

3 3 Σύντομη περιγραφή του μαθήματος Στο μάθημα γενικεύουμε τα μοντέλα παλινδρόμησης και ανάλυσης με κανονικές ομοσκεδαστικές απαντητικές μεταβλητές, έτσι ώστε η απαντητική μεταβλητή να ανήκει σε μία γενικότερη οικογένεια, την εκθετική. Σε αυτή την οικογένεια ανήκουν η Γάμμα, η Posson και η δυωνυμική κατανομή. Η οικογένεια αυτή επίσης επιτρέπει κάποιας μορφής ετεροσκεδαστικότητα. Κυρίως όμως μας επιτρέπει να αναλύσουμε δεδομένα που η εξαρτημένη μεταβλητή δεν είναι συνεχής, αλλά κατηγορική. Στο πρώτο μισό του μαθήματος παρουσιάζεται η γενική θεωρία του γενικευμένου γραμμικού μοντέλου και της ανάλυσης της πιθανοφάνειάς του, και συζητιούνται διεξοδικά η θεωρία της εκτίμησης παραμέτρων, ελέγχου υποθέσεων και διαγνωστικών ελέγχων σε αυτά τα μοντέλα. Στο δεύτερο μισό του μαθήματος παρουσιάζονται αναλυτικά με τη βοήθεια παραδειγμάτων με πραγματικά δεδομένα, τρεις ειδικές περιπτώσεις των μοντέλων αυτών: η λογιστική παλινδρόμηση, μοντέλα Posson και loglnear και τέλος η εφαρμογή των τελευταίων στην ανάλυση πινάκων συνάφειας, καθώς και η σχέση τους με μοντέλα γινομένου πολυωνυμικών. Περιεχόμενο του μαθήματος. Θεωρία ΓΓΜ Πίνακας συνδιακύμανσης και έλεγχος του Wald, συνάρτηση πιθανοφάνειας, εκτίμηση μέγιστης πιθανοφάνειας, τα scores και η κατανομή τους, πληροφορία του Fsher, ιδιότητες εκτιμητριών μεγ. πιθανοφ., Έλεγχος λόγου πιθανοφανειών, Η εκθετική οικογένεια κατανομών, Ανάλυση πιθανοφάνειας του γενικευμένου γραμμικού μοντέλου, Εκτίμηση μεγ. πιθαν. στο γεν. γραμ. μοντέλο, αλγόριθμος Newton-Raphson, σχέση με σταθμισμένα ελάχ. τετρ., συμπερασματολογία για συντελεστές, Απόκλιση από το κορεσμένο μοντέλο, Μοντέλα με άγνωστο φ, Κατάλοιπα.. Εφαρμογές-Παραδείγματα Διωνυμικά δεδομένα: Συναρτήσεις σύνδεσμοι, ερμηνεία συντελεστών, συμπερασματολογία, αραιότητα πινάκων, overdsperson. Ανάλυση κατά ένα παράγοντα (κατηγορικό ή συνεχή), κατά δύο ή περισσότερες παράγοντες, με και χωρίς αλληλεπιδράσεις: παραμετροποιήσεις, πίνακες σχεδιασμού, ερμηνεία συντελεστών. Μοντέλα Posson και log-lnear, Πίνακες συνάφειας: πολυωνυμική και γινόμενο πολυωνυμικών, ισοδυναμία με log-lnear, σχέση με λογιστική παλινδρόμηση, ανεξαρτησία, ανεξαρτησία κατά ομάδες, δεσμευμένη ανεξαρτησία, ομοιόμορφη εξάρτηση. Προαπαιτούμενες Γνώσεις Γραμμική παλινδρόμηση, Ανάλυση διακύμανσης και σχεδιασμός πειραμάτων.

4 4 Τρόπος διδασκαλίας και εξέτασης του μαθήματος Προσφέρονται φροντιστήρια σε υπολογιστές παράλληλα με το μάθημα με πρακτικές εφαρμογές ανάλυσης δεδομένων με Splus. Γραπτές εξετάσεις και εξετάσεις σε υπολογιστή και 3 εργασίες ανάλυσης δεδομένων. Προτεινόμενη βιβλιογραφία 3. Σημειώσεις Foster, J και Dellaportas, P., Generalzed Lnear Models Rodrguez, J. (000), Generalzed Lnear Models. 4. Βιβλία McGullagh, P and Nelder, J.A. (989), Generalzed Lnear Models, London: Chapman and Hall. Agrest, A. (990, 00), Categorcal Data Analyss. New York: Wley. Hosmer, D.W. and Lemeshow, S. (989, 000), Appled Logstc Regresson. New York: Wley. Dobson & Barnett (008), An Introducton to Generalzed Lnear Models, Taylor & Francs. Ατζέντα μαθήματος η Εβδομάδα. Εισαγωγή-εργαλεία:. Κατασκευή μοντέλων,. Η «γενίκευση» των ΓΓΜ,.3 Πίνακες συνδιακύμανσης και έλεγχος του Wald,.4 Συνάρτηση πιθανοφάνειας,.5 Εκτίμηση μέγιστης πιθανοφάνειας. η Εβδομάδα. Εισαγωγή-εργαλεία (συνέχεια): τα scores,.6 Πληροφορία του Fsher,.7 Στατιστικές ιδιότητες των εκτιμητριών μέγιστης πιθανοφάνειας,.8 Σύγκριση μοντέλων: έλεγχος λόγου πιθανοφανειών, απλή και σύνθετη μηδενική και εναλλακτική. 3η Εβδομάδα. Εισαγωγή-εργαλεία (συνέχεια):.9 Κατανομή λόγου πιθανοφανειών υπό τη μηδενική, γραμμικό μοντέλο (με γνωστή και άγνωστη διακύμανση) γεωμετρική ερμηνεία,.0 Η εκθετική οικογένεια κατανομών.

5 5 4η Εβδομάδα. Το γενικευμένο γραμμικό μοντέλο:. Οι συνιστώσες του ΓΓΜ, ανάλυση πιθανοφάνειας του ΓΓΜ,. Εκτίμηση μέγιστης πιθανοφάνειας των συντελεστών του ΓΓΜ, σχέση με σταθμισμένα ελάχ. τετρ., υπολογισμός των scores και αλγόριθμος Newton-Raphson, υπολογισμός πληροφορίας του Fsher,.3 Συμπερασματολογία για συντελεστές. 5η Εβδομάδα. Το γενικευμένο γραμμικό μοντέλο (συνέχεια):.4 Απόκλιση από το κορεσμένο μοντέλο (Devance), απόκλιση του Pearson,.5 Μοντέλα με άγνωστη διακύμναση,.6 Κατάλοιπα (απόκλισης και Pearson). 6η Εβδομάδα 3. Δυωνυμική απαντητική μεταβλητή: 3. Εισαγωγή, 3. Συναρτήσεις σύνδεσμοι, ερμηνεία συντελεστών, γραφικός έλεγχος για σύνδεσμο, 3.3 Συμπερασματολογία, Απόκλιση, Αραιότητα πινάκων. 7η Εβδομάδα 3. Δυωνυμική απαντητική μεταβλητή (συνέχεια): 3.3 Συμπερασματολογία (συνέχεια): Overdsperson, 3.4 Το παράδειγμα των δεδομένων χρήσης αντισύλληψης, 3.4. Ανάλυση κατά ένα κατηγορικό παράγοντα, ομαδοποιημένα/αναλυτικά δεδομένα, άλλες παραμετροποιήσεις και πίνακες σχεδιασμού, 3.4. Ανάλυση με ένα συνεχή παράγοντα, ομαδοποιημένα/αναλυτικά δεδομένα και πίνακες σχεδιασμού. 8η Εβδομάδα 3. Δυωνυμική απαντητική μεταβλητή (συνέχεια): Ανάλυση με ένα συνεχή και ένα κατηγορικό παράγοντα, αλληλεπιδράσεις, διαφορετικές παραμετροποιήσεις και πίνακες σχεδιασμού, Ανάλυση με δύο κατηγορικές μεταβλητές, αθροιστικό μοντέλο, παραμετροποιήσεις, πίνακες σχεδιασμού, μοντέλο με αλληλεπιδράσεις, παραμετροποιήσεις, πίνακες σχεδιασμού 9η Εβδομάδα 3. Δυωνυμική απαντητική μεταβλητή (συνέχεια): Ανάλυση με δύο κατηγορικές μεταβλητές (συνέχεια): παράδειγμα, γραφική ερμηνεία αλληλεπιδράσεων. Επιλογή μοντέλου με διαδοχικούς ελέγχους, παραδείγματα ελέγχων, προοπτικές/αναδρομικές μελέτες με logt σύνδεσμο. 4. Μοντέλα Posson και log-lnear: διακριτή απαντητική. Παράδειγμα δεδομένων: Αριθμός παιδιών ανά γυναίκα, Log σύνδεσμος, ερμηνεία συντελεστών, συμπερασματολογία, ομαδοποιημένα/αναλυτικά δεδομένα. 0η Εβδομάδα 4. Μοντέλα Posson και log-lnear (συνέχεια): παράδειγμα ανάλυσης δεδομένων και ελέγχων. 5. Πίνακες συνάφειας και log-lnear μοντέλα: 5. Εισαγωγή-Πaραδείγματα, Δισδιάστατοι πίνακες, πίνακες περισσοτέρων διαστάσεων, 5. Μοντέλο πολυωνυμικό και ισοδυναμία με Posson/log-lnear η Εβδομάδα

6 6 5. Πίνακες συνάφειας και log-lnear μοντέλα (συνέχεια): 5.3 Γινόμενο πολυωνυμικών και ισοδυναμία με Posson/log-lnear, 5.4 Σχέση log-lnear μοντέλων και λογιστικής παλινδρόμησης, 5.5 Εξαρτήσεις μεταξύ μεταβλητών και log-lnear μοντέλα, 5.5. Δισδιάστατοι πίνακες: αθροιστικό μοντέλο, απουσία κύριας επίδρασης, εκτίμηση έλεγχος ανεξαρτησίας η Εβδομάδα Πίνακες συνάφειας και log-lnear μοντέλα (συνέχεια): 5.5. Τρεις- και πολύ-διάστατοι πίνακες, το παράδειγμα δεδομένων «Σχέδια τελειόφοιτων για κολέγιο», πλήρης ανεξαρτησία, Ανεξαρτησία κατά ομάδες, Δεσμευμένη ανεξαρτησία Ι, Δεσμευμένη ανεξαρτησία ΙΙ: το παράδειγμα δεδομένων «Ανταπόκριση λυμφώματος σε θεραπεία» 3η Εβδομάδα Πίνακες συνάφειας και log-lnear μοντέλα (συνέχεια): 5.5. (συνέχεια): Δεσμευμένη ανεξαρτησία ΙΙΙ: το παράδοξο του Smpson, Ομοιόμορφη εξάρτηση, 5.6 Γραφήματα αλληλεπιδράσεων, 5.7 Σχέση log-lnear μοντέλων και λογιστικής παλινδρόμησης στο παράδειγμα των δεδομένων «Σχέδια τελειόφοιτων για κολέγιο».

7 7. ΕΙΣΑΓΩΓΗ- ΕΡΓΑΛΕΙΑ.. ΣΤΟΙΧΕΙΑ ΚΑΤΑΣΚΕΥΗΣ ΜΟΝΤΕΛΩΝ (βλέπε και GLM Chapter,.) Έστω ότι έχω παρατηρήσεις y,...,y μιας ποσότητας από n άτομα. Για κάθε άτομο I =,..,n εκτός από την χαρακτηριστικά x,,...,x.,p n y, παρατηρώ και μια σειρά από άλλα π.χ y : εισόδημα, y : ζήτηση σε ποσότητα x,: εκπαίδευση, ή x,: τιμή ενός προϊόντος x : ηλικία x, : ποιότητα ενός προϊόντος, x,3 : κλάδος απασχόλησης Με ενδιαφέρει να κατανοήσω τη σχέση αφ ενός μεταξύ αυτών των (εξαρτημένη/ απαντητική μεταβλητή) και αφ ετέρου των x,,...,x,p (ανεξάρτητες μεταβλητές/ παράγοντες ). y, Η προσέγγιση της Στατιστικής σ αυτό το ζήτημα είναι να υποθέσει ότι οι παρατηρήσεις y προέρχονται από έναν μηχανισμό, στον οποίον παρεμβαίνει και η τυχαιότητα: ακόμα και δύο άτομα που θα είχαν ακριβώς τις ίδιες τιμές στους παράγοντες x,,...,x,p, δεν θα είχαν απαραίτητα την ίδια τιμή y.

8 8 Έτσι η Στατιστική θεωρεί την y έκβαση μιας τυχαίας μεταβλητής Y. Η κατανομή της Υ συνδέεται με τους παράγοντες x,,...,x,p μέσω μιας «συστηματικής συνιστώσας», η οποία μπορεί για παράδειγμα να προσδιορίζει μια σχέση μεταξύ της EY και των x,,...,x. Επίσης, συχνά υποθέτουμε ότι η σχέση μεταξύ των x,,...,x,p και της συστηματικής συνιστώσας ρυθμίζεται από παραμέτρους T,p β,...,. 0 p Την «πραγματική» (αλλά άγνωστη) τιμή του β, εκείνη δηλαδή που «γέννησε τα δεδομένα», θα τη σημειώνουμε με * β. Πέραν όμως αυτής της συστηματικής συνιστώσας, υπάρχουν και τυχαίες αποκλίσεις, η «τυχαία συνιστώσα», των οποίων τα χαρακτηριστικά ( π.χ. η διακύμανση) μπορούν πάλι να εξαρτώνται από τα x,,...,x.,p Υποθέτουμε δηλ. ότι : όπου η f * x,,...,x,p β Y f x,...,x *,,p β είναι η συστηματική συνιστώσα και τα η τυχαία συνιστώσα. Τα επίσης συχνά ονομάζονται «σφάλματα» ή «αποκλίσεις». Η f * x,,...,x,p σχέση: β θα μπορούσε για παράδειγμα να δίνει μία γραμμική * f x,...,x x... x β * * *,,p 0, p,p

9 9 Ο ερευνητής ενδιαφέρεται με ερωτήματα όπως τα παρακάτω: Υπάρχει σχέση μεταξύ της Y και της x,( για παράδειγμα); Πόσο καλά εξηγώ τα Y όταν γνωρίζω τα, x,...,x ;,p Για καινούργιες τιμές των x,,...,x,p μπορώ να προβλέψω το Y ; Πόσο καλά; Για να προχωρήσει η μελέτη, ο ερευνητής πρέπει να κάνει πιο συγκεκριμένες υποθέσεις για τα μοντέλα που εξετάζει (το τυχαίο μηχανισμό, που γέννησε τα δεδομένα σε συνάρτηση με τους παράγοντες). Έτσι, για παράδειγμα, στα γραμμικά μοντέλα υποθέτουμε ότι: f x,...,x x... x - * β - * * *,,p 0, p,p ανεξάρτητες, με E 0, var, και κανονικές Οι υποθέσεις αυτές (ή άλλες αντίστοιχες) προσδιορίζουν μια οικογένεια μοντέλων μέσα στην οποία ο ερευνητής δουλεύει. Αυτό σημαίνει ότι υποθέτει πως ο πραγματικός (άγνωστος) μηχανισμός, που γέννησε τα δεδομένα όντως ανήκει σ αυτή την οικογένεια. Τα ζητήματα που θέλει να εξετάσει ( π.χ τα παραπάνω ερωτήματα) συνήθως διατυπώνονται σε όρους των παραμέτρων του μοντέλου: π.χ Υπάρχει σχέση μεταξύ της Y και της x, * 0

10 0 Καθώς η πραγματική τιμή του * β είναι άγνωστη στον ερευνητή, αυτός πρέπει να στηρίξει τα συμπεράσματα του σε μια εκτιμήτρια ˆβ του * β, την οποία θα υπολογίσει από τα δεδομένα του. Καθώς, όμως, τα δεδομένα του αποκλίνουν τυχαία από την «πραγματική» σχέση, το ίδιο συμβαίνει και με την εκτιμήτρια: τα ˆβ θα αποκλίνουν τυχαία από την * β. Προκειμένου να αποφασίσει αν για παράδειγμα η συγκεκριμένη τιμή για το ˆβ, που πήρε, επιτρέπει ή αντιθέτως καθιστά απίθανο ( για παράδειγμα) να ισχύει από το * 0 - ο ερευνητής χρειάζεται θεωρία για την κατανομή της ˆβ γύρω * β, την οποία σημειώνουμε με β ˆ β * L. Η ορθότητα των συμπερασμάτων του εξαρτάται από την ορθότητα της θεωρίας του! Η θεωρία αυτή είναι αποτέλεσμα των υποθέσεων που έχει κάνει, της οικογένειας μοντέλων μέσα στην οποία εργάζεται! Διαφορετική θεωρία παίρνει κανείς - για την ίδια εκτιμήτρια- αν υποθέσει π.χ ανεξαρτησία των σφαλμάτων και διαφορετική αν υποθέσει εξαρτήσεις. Η ορθότητα της επίσης, προφανώς εξαρτάται από το εάν ο πραγματικός μηχανισμός που γέννησε τα δεδομένα, όντως ανήκει στην οικογένεια των μοντέλων που θεωρεί ο ερευνητής: Αν έχω υποθέσει ανεξαρτησία των σφαλμάτων, αλλά στην πραγματικότητα έχω εξαρτήσεις, τα αποτελέσματα μου θα είναι παραπλανητικά. Γι αυτό είνα σημαντικό να ελεγχθούν αυτές οι υποθέσεις. Δηλαδή τα δεδομένα μας φαίνονται να είναι συμβατά με αυτές. Αν όχι, ο ερευνητής θα πρέπει να περάσει σε μια νέα πιο «ελαστική» οικογένεια μοντέλων.

11 Έτσι, αν για παράδειγμα διαπιστώσει ότι η διακύμανση των σφαλμάτων εξαρτάται από το μέσο τους, θα πρέπει να εγκαταλείψει τα γραμμικά μοντέλα, που δέχονται σταθερή διακύμανση, και να περάσει σε μια οικογένεια μοντέλων που επιτρέπουν αυτή τη συμπεριφορά. Η διαδικασία κατασκευής μοντέλου, πέραν του προσδιορισμού της οικογένειας μοντέλων μέσα στην οποία εργαζόμαστε, συμπεριλαμβάνει και μια διαδικασία επιλογής κατάλληλου μοντέλου: Μέσα στην ίδια οικογένεια, άλλα μοντέλα θα προσαρμόζουν καλύτερα και άλλα χειρότερα τα δεδομένα σε άλλα θα συμπεριλαμβάνονται κάποιοι παράγοντες, ενώ σε άλλα θα αποκλείονται σε άλλα η επίδραση ενός παράγοντα θα είναι σταθερή, ενώ σε άλλα θα μεταβάλλεται ανάλογα με τις τιμές άλλων παραγόντων. Σε αυτή τη διαδικασία είναι σημαντικό να διαθέτουμε εργαλεία ( και θεωρία) για τη σύγκριση δύο μοντέλων. Σχηματικά, λοιπόν, η διαδικασία μπορεί να παρασταθεί έτσι:.προσδιορισμός οικογένειας μοντέλων- (κατ αρχάς συμβατής με την φύση των δεδομένων) =>. Επιλογή μοντέλων (ένα/πολλά: περιορισμός αρχικής οικογένειας) 3. Έλεγχοι υποθέσεων επιλεγέντος μοντέλου Αν οκ, τότε Αποδοχή μοντέλου, συμπερασματολογία, πρόγνωση Αν όχι, είτε επιστροφή στο : επανεξέταση επιλογής είτε επιστροφή στο : μετασχηματισμοί, διεύρυνση οικογένειας

12 .. ΓΕΝΙΚΕΥΜΕΝΑ ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ: πρώτη γεύση! Στα γραμμικά μοντέλα υποθέτουμε ότι: * * * T * E Y x... x x β, 0, p,p όπου β * * * * 0,..., p και x T,x,,...,x,p και Y N, ανεξάρτητα. Στα γενικευμένα γραμμικά μοντέλα υποθέτουμε ότι: T * g E Y x β όπου g μία γνωστή συνάρτηση. T * Π.χ log x β ή x β T * Η g ονομάζεται συνάρτηση σύνδεσμος (lnk functon) Η υπόθεση αυτή σημαίνει ότι σε σχέση με την EY τα x,,...,x,p «παίζουν» γραμμικά και το αποτέλεσμα μεταφράζεται στην EY μέσω της συνάρτησης συνδέσμου που δεν είναι απαραίτητα η ταυτοτική συνάρτηση- όπως στα γραμμικά μοντέλα- αλλά μία άλλη γνωστή συνάρτηση.

13 3 Η κατανομή των Υ δεν είναι αναγκαστικά η κανονική, αλλά ανήκει σε μια ευρύτερη οικογένεια κατανομών, την εκθετική. Πιο ειδικά, σε αυτή την οικογένεια α) συμπεριλαμβάνονται και διακριτές κατανομές επομένως η απαντητική μεταβλητή Υ δεν είναι απαραίτητα συνεχής.(αυτό είναι ίσως η σημαντικότερη συνέπεια για πρακτικές εφαρμογές.) β) επιτρέπει κατανομές όπου η var Y εξαρτάται από την EY, άρα οι παρατηρήσεις δεν είναι απαραίτητα ομοσκεδαστικές, όπως στα γραμμικά μοντέλα. Ωστόσο αυτή η εξάρτηση var Y V δεν είναι τελείως ελέυθερη: κάθε μέλος της εκθετικής οικογένειας θα έχει μια δικιά του συνάρτηση V, που θα προσδιορίζει την επιτρεπόμενη. σχέση μεταξύ του var Y και του EY Στην εκθετική οικογένεια ανήκουν για παράδειγμα η διωνυμική και η POISSON κατανομή. Μπορούμε δηλαδή να έχουμε: T * Y P g T * xβ ή Y b,g x β. Σημείωση: Κάποια από τα προβλήματα που λύνουν τα γενικευμένα γραμμικά μοντέλα θα μπορούσαν ενδεχομένως να αντιμετωπιστούν και στο πλαίσιο της θεωρίας των γραμμικών μοντέλων, θεωρώντας μετασχηματισμούς των και των x,). Y (ή

14 4 Ενδέχεται όμως τέτοιοι μετασχηματισμοί να χαλάνε άλλες υποθέσεις του γραμμικού μοντέλου. Έτσι, αν π.χ τα * * 0 E Y exp x Y έχουν και var Y, ο μετασχηματισμός Y logy θα έφτιαχνε τη γραμμικότητα της EY, αλλά θα χαλούσε την ομοσκεδαστικότητα των σφαλμάτων. Αντίθετα τα γενικευμένα γραμμικά επιτρέπουν τη χρήση μιας κατάλληλης συνάρτησης συνδέσμου g με μια άλλη κατάλληλη κατανομή καταλοίπων..3. ΠΙΝΑΚΕΣ ΣΥΝΔΙΑΚΥΜΑΝΣΗΣ Έστω Z,...,Z τυχαίες μεταβλητές και k Z Z το τυχαίο διάνυσμα με Z k συντεταγμένες τις Z,...,Z. * Αν EZ και k μ γράφουμε και μ EZ, όπου η τελευταία εξίσωση είναι διανυσματική και διαβάζεται κατά συντεταγμένες: η συντεταγμένη της εξίσωσης λέει: EZ * Αν covz,zj,j ορίζουμε τον πίνακα συνδιακύμανσης Var Z της Z ως :

15 5 Var Z Σ : EZ μz μ T Z (z )(z ) (z )(z ) 3 (z )(z ) 3 Δηλαδή το, j στοιχείο του Σ Z είναι το συμμετρικός κα μη- αρνητικά ορισμένος. πάντα πραγματικές και μη αρνητικές., j. Ο Σ Z θα είναι πάντα Οι ιδιοτιμές του θα είναι ΠΡΟΤΑΣΗ: Αν A ένας rxk σταθερός (μη τυχαίος ) πίνακας, τότε E E AZ A Z Aμ T Var AZ Σ AΣ A AZ Z Απόδειξη του δεύτερου: T ΣAZ E AZ E AZ AZ E AZ T T EAZμ Z μ A T T A E Z μ Z μ A = AΣ A Z T

16 6 ΕΦΑΡΜΟΓΕΣ: Αν k a και Y: a Ζ Τότε var( ) T a Σα Z Αν Z,...,Z ανεξάρτητες, k var( ), τότε ΣZ Ι. Αν ορίσουμε Υ ΑΖ, τότε ΣY ΑΑ T Έστω Z,...,Z k ανεξάρτητες, και var( ). Για δοσμένο πίνακα Σ ( συμμετρικό, μη- αρνητικά ορισμένο) πώς θα κατασκευάσω Υ, με Σ Σ ; Y Απάντηση: θέτω Υ : / Σ Ζ. Τότε, Σ Σ ΙΣ Σ Y / / Υ 0 Σ. Τότε Έστω ~, Y Υ Σ Y ~ T Y Διότι: Αν θέσουμε Ζ Σ Υ, θα έχουμε / / T : / Y Σ Σ Σ Σ Ι Z Y Y Y Δηλαδή οι Z,...,Z θα είναι ανεξάρτητες κανονικές με διακύμανση. k Άρα Z Z... Z ~. Αλλά: Z Z... Z Z Z Y Σ Σ Y Y Σ Y T T / / T Y Y Y Επομένως: Y Σ Y ~ T Y

17 7 ˆ Αν έχω μια εκτιμήτρια ˆ ˆ β του β και γνωρίζω n βˆ β ~ ( 0, Σ ), τότε μπορώ να ελέγξω την υπόθεση με το στατιστικό. ˆ ˆ Η 0 : 0 και 0 nβ Σ β, το οποίο υπό την υπόθεση Η 0 θα έχει κατανομή.4. Η ΣΥΝΑΡΤΗΣΗ ΠΙΘΑΝΟΦΑΝΕΙΑΣ. (βλέπε και GLM Chapter,.3.) Παρατηρούμε y, y,..., y n από ανεξάρτητες τυχαίες μεταβλητές Y,...,Y. n Έστω Y. Υ. και. Y n y. y... y n Η συνάρτηση πυκνότητας f Y (y) μιας Υ συχνά εξαρτάται από άγνωστες παραμέτρους θ (,..., p). Π.χ και * Γράφουμε τότε: f Y(y) fyy, γέννησε τα δεδομένα. θ, όπου. Προφανώς η από κοινού συνάρτηση πυκνότητας των * n * Y f y, θ Y f y, θ * θ η πραγματική τιμή της θ που θα είναι : ~

18 8 Αν γνωρίζουμε την τιμή της θ, που γέννησε τα δεδομένα (του f, Y * θ ) η * y θ θα δίνει την κατανομή της Y. Εδώ η y είναι μεταβλητή: τρέχει στον R n * και η f, * y f Y y, θ. y θ (για σταθερό * Y θ ) είναι μια συνάρτηση n : Στη στατιστική συνήθως έχουμε το ανάποδο πρόβλημα: Γνωρίζουμε τις παρατηρήσεις y,...,y n και θέλουμε πληροφορία για το * θ. Λογικά η f y, θ θα πρέπει να μας είναι χρήσιμη σε αυτό, καθώς συνδέει την Y παράμετρο με τα δεδομένα. Για να προσεγγίσουμε αυτό το πρόβλημα, λοιπόν, «αντιστρέφουμε» τη συνάρτηση: για κάθε τιμή του θ αποτιμούμε την f, Y y θ για y = οι παρατηρήσεις μας ( το y δεν είναι πια μεταβλητή της συνάρτησης, αλλά τίθεται ίσο με τις παρατηρήσεις μας). Κάνοντας το αυτό παίρνουμε για συνάρτηση στο θ : για κάθε θ L θ : f y, θ, όπου y = οι παρατηρήσεις μας. Y p θ παίρνουμε μια τιμή: Η συνάρτηση αυτή λέγεται συνάρτηση πιθανοφάνειας (lkelhood). Συχνά επίσης θεωρούμε την : log L θ θ, ( log-lkelhood). Σημειώστε ότι για κάθε δείγμα y,...,y n, παίρνω και μια άλλη συνάρτηση πιθανοφάνειας. Αν δηλαδή ξαναθεωρήσω τα y,...,y n τυχαίες μεταβλητές (αντί για σταθερές) η Lθ (και η θ ) θα είναι μια τυχαία συνάρτηση.

19 9 ΠΑΡΑΔΕΙΓΜΑ. Δυωνυμική:, με πιθανότητα p. Εδώ θ p 0, πιθανότητα -p Η συνάρτηση πιθανοφάνειας θα είναι: n y n y y y L(p) f (,p) p ( p) p ( p) Y y και ο λογάριθμός της θα είναι: (p) log L(p) nylog(p) n( y)log( p) ΠΑΡΑΔΕΙΓΜΑ. Κανονική: Y ~ N(, ). Εδώ θ (, ) Η συνάρτηση πιθανοφάνειας θα είναι: L f, exp n y ( ) θ n Y y θ και ο λογάριθμός της θα είναι: n n θ: log Lθ log log n y

20 0 0 Lkelhood functon for bernoull data true p= sample sample sample3 sample Lkelhood functon for bernoull data true p= sample sample sample3 sample

21 .5. ΕΚΤΙΜΗΣΗ ΜΕΓΙΣΤΗΣ ΠΙΘΑΝΟΦΑΝΕΙΑΣ (βλέπε και GLM Chapter,.3.,.3.3) Έστω έχω μία μόνο διακριτή παρατήρηση y, η οποία μπορεί να προέρχεται από διαφορετικές κατανομές, την παρίστανται γραφικά ως εξής: f (.) και την f (.), οι οποίες f(theta) f(theta) Το θέμα είναι: αν έχω παρατηρήσει την y να διαλέξω ένα από τα δύο, θ, θ, ως εκείνο από το οποίο προήλθε η παρατήρηση μου. Δηλαδή να κατασκευάσω μια εκτιμήτρια ˆ y που μπορεί να πάρει τις τιμές,. Η μέθοδος μέγιστης πιθανοφάνειας προτείνει την εξής προσέγγιση:

22 Αν αποτιμήσω την f Y y, στην παρατήρηση μου (θέσω y= παρατήρηση), η τιμή που θα πάρω μου λέει: πόσο πιθανό είναι να έχω πάρει τη συγκεκριμένη παρατήρηση, αν η πραγματική τιμή του θ ήταν το. Η ιδέα είναι λοιπόν: διάλεξε εκείνο το θ από το οποίο είναι πιο πιθανό να έχει προέλθει η παρατήρηση. Δηλαδή: Y Y ΠΑΡΕ: ˆ, αν f (y, ) f (y, ), αν f Y(y, ) f Y(y, ) Δηλαδή, εκείνο το ˆ, που μεγιστοποιεί τη συνάρτηση πιθανοφάνειας. Παρατηρήστε ότι στο προηγούμενο σχήμα: Για y {,,3,4,5,6,}, θα διάλεγα ˆ Ενώ για y {7,8,9,0,}, θα διάλεγα ˆ. Σημειώστε ότι: καθώς η L( ) f (y, ) εξαρτάται από την παρατήρηση y, το ίδιο ισχύει και για το σημείο ˆ που τη μεγιστοποιεί. Επομένως αν θεωρήσω τώρα την y τυχαία μεταβλητή, το ˆ θα είναι κι αυτό τυχαία μεταβλητή ( διαφορετικά δείγματα, οδηγούν σε διαφορετικό ˆ ). Αν έχω n παρατηρήσεις T y (y,...,y n) ή και πολλές παραμέτρους T θ (,..., p) η μέθοδος της μέγιστης πιθανοφάνειας γενικεύεται προφανώς ως εξής:

23 3 ΟΡΙΣΜΟΣ: Εκτιμήτρια μέγιστης πιθανοφάνειας ˆ ˆ ˆ T θ (,..., p) είναι εκείνο το σημείο του p που μεγιστοποιεί την από κοινού συνάρτηση πυκνότητας/ πιθανότητας των T Y (Y,...,Y n) αποτιμημένη στο σημείο των παρατηρήσεων μας T y (y,...,y n). Έτσι, L ˆ f, ˆ L f, θ y θ θ y θ, ( όπου Y Y y οι παρατηρήσεις μας) για ~ κάθε p θ. Σημείωση: Καθώς η log είναι αύξουσα συνάρτηση μεγιστοποίηση της για εύρεση της ˆθ είναι ισοδύναμη με μεγιστοποίηση της Lθ ως προς θ θ : log L θ. ΠΑΡΑΔΕΙΓΜΑ. Βernoull: Έστω,..., n Βernoull(p). Τότε log f (,p) nylog p n y log p Υ y Παραγωγίζουμε ως προς p και θέτουμε 0:! logf (,p) ny n( y) 0 p y Υ p p ny pny np npy 0 ˆp y

24 4 ΠΑΡΑΔΕΙΓΜΑ : Κανονική Y ~ N(, ) ~ (, ) n(y )! logf (, ) (y ˆ ) 0 y y θ Υ n! log f (, ) (y ) 0 y θ Υ ( ) ˆ n (y ˆ) ΠΑΡΑΔΕΙΓΜΑ 3: Posson Αν ~ P( ), τότε y f y, Και επομένως f, Y y Y e n n e y! y! y y Y log f, n y log log y! y y ˆ Υ log f (, ) n y 0 y n

25 5 ΓΕΝΙΚΑ: θ θ θ p θ θ p ˆ 0.. p εξισώσεις με p αγνώστους (θ ˆ ˆ,...,θ p). ˆ 0 επειδή γενικώς οι εξισώσεις αυτές είναι μη γραμμικές -> συχνά λύση με αριθμητικές μεθόδους (αλγόριθμοι που ψάχνουν τη ρίζα). Τα scores Τα scores uθ ορίζονται ως το διάνυσμα των μερικών παραγώγων της log lkelhood (ως συνάρτηση στο θ ) : u θ όπου y οι παρατηρήσεις μας. θ log f Υ( y, θ) uθ......,... up θ θ logf Υ( y, θ) p p

26 6 ΣΗΜΕΙΩΣΗ: Αν θέσω θ θ, ˆ τότε u ˆ ˆ θ 0 u θ 0 Αν αντικαταστήσω την παρατήρηση y με την τυχαία μεταβλητή Y, τα scores γίνονται τυχαία συνάρτηση και τα γράφω με κεφαλαία για να υποδηλώσω ότι τα θεωρώ πάλι τυχαία μεταβλητή: U θ log f Υ( Y, θ) U θ Up θ logf Υ( Y, θ) p ΠΡΟΤΑΣΗ: E U θ * 0 όταν * θ η πραγματική παράμετρος που γέννησε τα Y. ~

27 7 ΑΠΟΔΕΙΞΗ: * * * EU θ U θ f y, θ dy Y * log f Υ( y, θ ) f Y, d f Y, d 0 y θ y * * y θ y ΠΑΡΑΔΕΙΓΜΑ. Bernoull ny n( Y) Y ~ Bernoull U(p) p p E(U(p)) 0 E(Y) p ΠΑΡΑΔΕΙΓΜΑ : Κανονική Y ~ N(, ) Τότε και έτσι: U (, ) n(y ) n U (, ) (Y ) ( ) EU 0 E(Y) και EU 0 E (Y ) n

28 8.6. ΠΛΗΡΟΦΟΡΙΑ ΤΟΥ FISHER (βλέπε και GLM Chapter,.3.4) Έστω y παρατηρήσεις από Y~ f Y( y, θ ), p θ. Ο δειγματικός πίνακας πληροφορίας ορίζεται ως ο pxp πίνακας με στοιχεία: H log f (, ) u j θ y θ θ Y j j όπου η f Y έχει αποτιμηθεί στο δείγμα μας. Για p= παίρνουμε τον πραγματικό αριθμό H log f, Y y Αν αντικαταστήσουμε στον παραπάνω ορισμό το δείγμα μας y με την τυχαία μεταβλητή Y, τότε ο πίνακας γίνεται «πίνακας τυχαίων μεταβλητών». Η αναμενόμενη τιμή του ορίζεται ως ο «αναμενόμενος πίνακας πληροφορίας» ή «πίνακας πληροφορίας του Fsher- Iθ» Πληροφορία του Fsher I θ θ H θ όταν το θ είναι αυτό που γέννησε τα δεδομένα μας.

29 9 ΠΡΟΤΑΣΗ (Υπό προϋποθέσεις ισχύει ότι:) Ο πίνακας συνδιακύμανσης των scores ισούται με τον πίνακα πληροφορίας του Fsher. όταν Var U θ : θ U θ U θ θ * * T * * * θ είναι αυτό που γέννησε τα δεδομένα μας. Απόδειξη : * * * * j Var U θ : U θ U θ = θ,j log f y, θ log f y, θ f y, θ dy * * * Y Y Y j * * f y, θ f y, θ dy * f y, θ Y Y j Y Από την άλλη: I E log f, j θ j * * θ * Y y θ * * Y j Y log f y, θ f y, θ dy

30 30 f y, θ f, * Y j * * Y y θ Y y θ * f Y y, θ j * * Y y θ f Y y, θ f, dy f, dy f, f, * * y θ Yy θ Y j * Y y θ * f Y y, θ f, dy Y Y Y j j * * * f y, θ dy f y, θ f y, θ dy * f y, θ 0 VarU θ το οποίο ολοκληρώνει την απόδειξη. *, j Y Για p= έχουμε: * Var * U θ E * log f, * Y y θ θ θ ΠΑΡΑΔΕΙΓΜΑ. Bernoull ~ Bernoull Up n n n p p p p p U ny n Y Hp p p p

31 3 np n p Ip EHp p p n n n p p p p p n n Var Up Var (Y p) p p p p n p n p p ΠΑΡΑΔΕΙΓΜΑ : Κανονική Αν Y ~ N(, ) τότε είχαμε υπολογίσει πως n Y U (, ) n U (, ) 4 Από εδώ για το πίνακα πληροφορίας παίρνουμε: U U n 4 H, U U ny n (y ) n 0, H, n 0 4 n Y

32 3 Αυτά μπορούμε να τα επιβεβαιώσουμε και με απ ευθείας υπολογισμούς: n n n 4 var U var (Y ) n y n n var U var var n 4 4 Cov(U,U ) ΣΤΑΤΙΣΤΙΚΕΣ ΙΔΙΟΤΗΤΕΣ ΤΩΝ ΕΚΤΙΜΗΤΡΙΩΝ ΜΕΓΙΣΤΗΣ ΠΙΘΑΝΟΦΑΝΕΙΑΣ (βλέπε και GLM Chapter,.3.5) Έστω παρατηρήσεις y y,...,y T από τυχαίες μεταβλητές n Y Y T *,...,Y n ~ f Y y, θ, με,..., p εκτιμήτρια μεγίστης πιθανοφάνειας του θ * * * p και έστω θ * θ. ˆ θˆ Y η Πρόταση: ˆ * ~ N * 0, θ θ I θ, * για n, όπου I θ το αντίστροφο του πίνακα πληροφορίας, αποτιμημένου στο δεδομένα. * θ, και * θ η πραγματική παράμετρος που γέννησε τα

33 33 Εφαρμογή για p=: ˆ ~ N 0, I * * Κατασκευή διαστημάτων εμπιστοσύνης για θ: * * * ˆ ˆ ˆ I ~ 0, I ~ 0, * ˆ.96 P ~ 0.95 Iˆ Έλεγχος υποθέσεων: : η υπόθεση απορρίπτεται αν 0 0 ˆ 0.96 I 0 * Παρατήρηση: Εδώ γνωρίζω το υπό την 0. Δε χρειάζεται να το εκτιμήσω. * Ερώτηση: Που είναι το - Απάντηση: Μέσα στο n ;. I( ) Προσέξτε στα παραδείγματα ότι : I( ) ~ n σταθερός πίνακας. 0

34 34 Παράδειγμα : Y ~ Bernoull. Τότε είδαμε πως Ip n p p και πως η εκτιμήτρια μέγιστης πιθανοφάνειας είναι ˆp Y. Παίρνουμε, λοιπόν, p( p) ˆp Y ~ N p, n. Άρα: 95% δ.ε για p : ˆp.96 y( y) n Παράδειγμα : Y ~ N(, ). Τότε είδαμε πως ˆ Y και n 0 Επίσης, n 0 4 Ι. Άρα: Ι, n ˆ (Y Y). 4 0 n 0 n Παίρνουμε: δ.ε για μ: ˆ ˆ.96 n δ.ε για : 4 ˆ ˆ.96 ˆ (.96 ) n n

35 35 Εφαρμογή για p Έλεγχος 0 Απορρίπτω αν ˆ Όπου 0 : το στοιχείο του αντίστροφου πίνακα πληροφορίας αποτιμημένο στην H 0 : 0. Έλεγχος του Wald: έλεγχος... p 0 Υπενθύμιση: αν Y~ N( 0, Σ ) τότε: Y Σ Y ~ T p θˆ 0 Ι θ ˆ 0 Απορρίπτω αν : (0) p,0.95 «Απόδειξη» της πρότασης (για p=) Έχουμε: * U log f, Αφού τα n Y Y * Y * log f Y, Y είναι ανεξάρτητα, το ίδιο συμβαίνει και με τα Z Z και * επομένως το U είναι άθροισμα ανεξάρτητων και ισόνομων τυχαίων μεταβλητών. * * Άρα για n : U ~ N0,I

36 36 Τώρα αναπτύσσοντας την παίρνουμε: U κατά Taylor γύρω από το * ˆ * ˆ * ' * U U U ό ( ό) Καθώς ˆ U 0 συμπεραίνουμε : ˆ * U U * ' * Τώρα κάνουμε την προσέγγιση: U ' * U ' * * Με αυτή την προσέγγιση: ˆ * U I * *. * * Καθώς U ~ N0, παίρνουμε τελικά : ˆ * * ~ N * 0,I 0, * I I

37 37.8. ΣΥΓΚΡΙΣΗ ΜΟΝΤΕΛΩΝ: ΈΛΕΓΧΟΣ ΥΠΟΘΕΣΕΩΝ (βλέπε και GLM Chapter,.3.6 &.3.7) Έστω παρατηρήσεις y από τυχαία μεταβλητή Y~ f y, θ με θ, όπου το σύνολο των δυνατών τιμών της θ, p. Y Ενδιαφέρομαι να συγκρίνω δύο εναλλακτικές υποθέσεις μοντέλων, ως προς την ικανότητα τους να εξηγήσουν τα δεδομένα, τη μηδενική υπόθεση 0 και την εναλλακτική υπόθεση. Αυτές οι δύο περιγράφονται με τη βοήθεια του ως εξής: ~ Μηδενική υπόθεση: : θ και * 0 0 Εναλλακτική υπόθεση: : θ \, * 0 όπου * θ το πραγματικό θ που γέννησε τα δεδομένα και 0 και κατάλληλα υποσύνολα του. Συχνά 0 και επομένως η μηδενική προκύπτει από την εναλλακτική από έναν περιορισμό του θ : να ανήκει σε ένα μικρότερο υποσύνολο το 0. Ο ρόλος της μηδενικής και εναλλακτικής υπόθεσης δεν είναι συμμετρικός. Η μηδενική είναι το μοντέλο «αναφοράς», αυτό από το οποίο τείνω να δεχτώ (γιατί π.χ είναι απλούστερο) εκτός και δεν μπορώ να κάνω αλλιώς.

38 38 Το ερώτημα, λοιπόν, που με νοιάζει είναι: Ένα μοντέλο όπου το θ υπόκειται σε έναν περιορισμό θ 0 είναι επαρκές για να εξηγήσει τα δεδομένα ή μήπως αντίθετα τα δεδομένα είναι πολύ μακριά» από αυτό που θα επέτρεπε η μηδενική, και πρέπει, λοιπόν, να θεωρήσω ότι είναι ασύμβατα με αυτήν (να «δεχτώ» την εναλλακτική) ; Ένας στατιστικός έλεγχος συνίσταται στο να οριστεί μια κρίσιμη περιοχή C n. Η C αντιπροσωπεύει το σύνολο των δειγμάτων, τα οποία παραείναι μακριά από τη μηδενική για να είναι συμβατά με αυτήν. Τότε: αν y C: απορρίπτω την Η0 στατιστικός έλεγχος αν y C: δεν απορρίπτω την Η 0 Στην κατασκευή ενός στατιστικού ελέγχου, ο στόχος είναι να οριστεί μια κριτική περιοχή C, τέτοια ώστε η πιθανότητα να απορρίψω τη μηδενική, ενώ αυτή ισχύει ( λάθος τύπου Ι) να είναι μικρή: max P Y C θ 0 θ Ανάμεσα στους ελέγχους που ικανοποιούν αυτή τη συνθήκη με ενδιαφέρουν ιδιαίτερα εκείνοι που έχουν τη μεγαλύτερη ισχύ: τη μεγαλύτερη πιθανότητα να απορρίψουν τη μηδενική όταν αυτή δεν ισχύει. W θ: P Y C μέγιστο για θ \ 0 θ

39 39 Απλή μηδενική και εναλλακτική υπόθεση Έστω 0 0 και. Πώς θα κατασκευάσουμε έλεγχο; Ιδέα: Λόγος πιθανοφανειών Όσο πιο μεγάλο είναι το 0 f y, σε σχέση με το f y,, τόσο πιο «πιθανό» είναι τα δεδομένα να έχουν προέλθει από όσο πιο μεγάλο το να ισχύει η μηδενική. f y, σε σχέση με το f y, 0 0. Και ανάποδα :, τόσο πιο «απίθανο» f y, Όρισε, λοιπόν, Cy f y, 0 και διάλεξε k ώστε : P 0 Y C θ k Ερμηνεία: η 0 f y, μπορεί να θεωρηθεί μέτρο του πόσο καλά το προσαρμόζει τα δεδομένα y, καθώς όσο μεγαλύτερη είναι η τιμή του, τόσο «πιθανότερο» τα δεδομένα να έχουν προέλθει από αυτό. 0 Ο παραπάνω έλεγχος, λέει, λοιπόν: προσαρμογή των δεδομένων από το με την προσαρμογή των δεδομένων από το απόρριψε τη μηδενική αν η «παρα-είναι» καλύτερη σε σχέση 0.

40 40 Ισοδύναμα, καθώς ο log είναι αύξουσα συνάρτηση, θα μπορούσα να γράψω: f y, C y log k 0 f y,, για κατάλληλο k 0 y log f y, log f y, k 0 y log f y, log f y, k Έρμηνεία: το 0 log f y, μπορεί να θεωρηθεί μέτρο της «απόστασης μεταξύ δείγματος και προσαρμογής του υπό 0, (το ανάποδο της προσαρμογής). Απορρίπτω, λοιπόν, όταν η απόσταση του y από την προσαρμογή του υπό «παρα-είναι» μικρότερη από την απόσταση του y από την προσαρμογή του y υπό 0. y log f y, 0 log f y, προσαρμογή του y υπό Θ 0 προσαρμογή του y υπό Θ

41 4 Παράδειγμα: Y ~ N(,) ανεξάρτητα. Τότε: logf y, 0 y 0 σταθερά T όπου y 0 y 0,...,, η τετραγωνική απόσταση ανάμεσα στο δείγμα και το,..., T. 0 ΣΥΝΘΕΤΗ ΥΠΟΘΕΣΗ ΚΑΙ ΕΝΑΛΛΑΚΤΙΚΗ Όταν η μηδενική και εναλλακτική δεν αποτελούνται από ένα μοναδικό στοιχείο η καθεμία, αλλά από σύνολα 0 και, λέγονται σύνθετες. : θ, : θ \ Ιδέα: Βρές εκείνο το θ από τη μηδενική υπόθεση 0 που εξηγεί (προσαρμόζει) το δυνατό καλύτερο το δείγμα και σύγκρινε την προσαρμογή του με την προσαρμογή εκείνου του θ από προσαρμόζει το καλύτερο δυνατό το δείγμα. την εναλλακτική που Δηλαδή, έστω: και 0 0 θˆ :f y, θˆ maxf y, θ θ θˆ :f y, θˆ max f y, θ θ \ 0 0 οι εκτιμήτριες μέγιστης πιθανοφάνειας υπό τη μηδενική και την εναλλακτική υπόθεση.

42 4 Απορρίπτω 0 όταν η καλύτερη δυνατή προσαρμογή από την εναλλακτική «παραείναι» καλύτερη από την καλύτερη δυνατή προσαρμογή από τη μηδενική. Δηλ. : Cy max f y, θ \ 0 k maxf y, θ θ 0 θ y f y, θˆ f y, θˆ 0 k με k : max P y C a θ 0 θ Ισοδύναμα: με log και θέτοντας ˆ 0 ˆ L 0 : log f y, θ log f y, θ, παίρνουμε C y L k', για κατάλληλο k'. 0 Γεωμετρική ερμηνεία, παράδειγμα: Y ~ N,, =,..,n 0 :.. 0: και : μ. 0 για n0 και v, για n0 μ Span : v μ Span, : μ

43 43 P E y: η προσαρμογή του y υπό H log f, ˆ y 0 y ˆ y ˆ L0 log f, log f, y log f, ˆ y P E 0 0 y του y υπό H : η προσαρμογή 0 E E 0.9. ΚΑΤΑΝΟΜΗ ΤΟΥ ΛΟΓΟΥ ΜΕΓΙΣΤΩΝ ΠΙΘΑΝΟΦΑΝΕΙΩΝ ΥΠΟ ΤΗ ΜΗΔΕΝΙΚΗ (βλέπε και GLM Chapter,.3.7 και.4 για γραμμικό μοντέλο) ΠΡΟΤΑΣΗ: Έστω 0, υπόχωροι με 0 και dm d, dm d Τότε υπό 0 (αν θ 0) έχουμε: 0 0 L ~ X, για n 0 d d 0

44 44 Απόδειξη: ( για p= και dd0 ) Έστω το ˆ : * το πραγματικό. Αναπτύσσουμε την κατά Τaylor γύρω από log f, log f, U U' Έχουμε * * * y y ˆ ˆ ˆ ˆ ˆ * * U'. Το προσεγγίζουμε με y ˆ y * * ˆ * log f, log f, 0 ˆ * ~ 0, ˆ ~ 0, Τώρα καθώς * * * ˆ ~. [ γενικώς * με d dm, αν d * ] Τώρα αν * 0, τότε και *, έχουμε : * * Υ ˆ Υ Υ ˆ Υ L0 log f, log f, log f, 0 log f, Εδώ, ο πρώτος όρος είναι Zk, έστω λοιπόν d N 0,. Ο δεύτερος είναι d0 για τα ίδια Z! Επομένως k Z k k d 0 d για ανεξάρτητες Z k k και μάλιστα αποδεικνύεται ότι είναι d L Z 0 kd k d d 0 0

45 45 ΠΑΡΑΔΕΙΓΜΑ : Y ~ Bernoull,,...,n και έστω 0: p p0 και : p 0,. Έχουμε ότι: υπό η ΕΜΠ είναι ˆp y υπό 0 η ΕΜΠ είναι ˆp0 p0. Επίσης γνωρίζουμε ότι: logf y,p nylog p n ylog p. Άρα ο έλεγχος λόγου πιθανοφανειών δίνεται από το στατιστικό: L0 nylog y n ylog y nylog p0 n ylog p0 log f y,pˆ log f y,pˆ0 y y nylog n ylog p 0 p 0 Σύμφωνα με τη θεωρία μας, το στατιστικό αυτό θα έχει υπό 0 κατανομή Διαλέγουμε, λοιπόν, k, τέτοιο ώστε P k. Γραμμικό μοντέλο με γνωστή διακύμανση y x β, ~ 0,, : γνωστό. Ή ισοδύναμα:

46 46 y x β y yn x nβ n. μ. n Χ x Τ Τ 0 x.... ε Χ β ε. μ. Τ p x n β μ Αν οι στήλες του Χ συμβολιστούν με τιμές της πρώτης μεταβλητής για όλα τα άτομα. 0 p Χ, Χ,..., Χ [ όπου,...,n ] Χ : οι Τότε: 0 p 0... p μ Χβ Χ Χ Χ δηλαδή το μ είναι γραμμικός συνδυασμός των 0 p Χ, Χ,..., Χ. Άρα αν θέσουμε : το μοντέλο μας γράφεται ως: 0 p Span Χ, Χ,..., Χ μ Η log - πιθανοφάνεια δίνεται από: logf y, β log f y, μβ y μ β σταθερά η οποία μεγιστοποιείται, όταν ελαχιστοποιείται το β y μ, για μ :

47 47 μˆ y Xβ ˆ, όπου P ˆ β Χ Χ Χ y Σχηματικά: log f y, μˆ y E μˆ =P E y : η προσαρμογή του y υπό H ˆ ˆ ˆ =, μ Xβ β X X X y Υπενθύμιση: ˆ β Χ Χ Χ y Χ Χ Χ μ Και Var Χ Χ Χ. μ ˆ β Χ Χ Χ Χ Χ Χ Χ Χ Στο γραμμικό μοντέλο οι έλεγχοι υποθέσεων έχουν σχεδόν πάντα τη μορφή: : μ με 0 υπόχωρο του. 0 0 Π.χ η 0: 0 σημαίνει 0 0 p μ : Span Χ, Χ,..., Χ, (λείπει η Χ.) Συχνά, λοιπόν, η μηδενική γράφεται ως μ Χ0β 0, για κατάλληλο Χ 0.

48 48 Υπό 0, η log -πιθανοφάνεια μεγιστοποιείται πάλι, όταν ελαχιστοποιείται το β y μ, για μ 0. Δηλαδή για: T μˆ P y X0ˆ β, όπου T βˆ Χ0Χ0 Χ0y 0

49 49 Ο Έλεγχος λόγου πιθανοφανειών θα χρησιμοποιεί, λοιπόν, το στατιστικό: 0 y μ y μ L ˆ ˆ 0 log f, log f, μˆ μ ˆ, 0 y μˆ y μ ˆ 0 καθώς: 0 μˆ μˆ y μ ˆ από το πυθαγόρειο. Σύμφωνα με τη θεωρία μας, αυτό το στατιστικό θα έχει κατανομή υπό 0 ( αν μ 0) dm dm 0 Σχηματικά: μˆ P E y : η προσαρμογή log f y, μˆ του y υπό H ˆ ˆ ˆ =, μ Xβ β X X X y y 0 log f y, μˆ 0 y μ y μ L ˆ ˆ 0 log f, log f, E E 0 0 μˆ P E y : η προσαρμογή 0 του y υπό H T ˆ ˆ T μˆ X β, β Χ Χ Χ y

50 50 Γραμμικό μοντέλο με άγνωστη διακύμανση. y x β, ~ 0, Τώρα η log - πιθανοφάνεια δίνεται από: n log f y, μ, log y μ Μεγιστοποιώντας ως προς μ E (ή ισοδύναμα ως πρός p β ) παίρνουμε ακριβώς όπως πριν: μˆ P y και επομένως: n log f,, log Μεγιστοποιώντας τώρα ως προς y μ ˆ y μ ˆ παίρνουμε: ˆ n y ˆ n y μ ˆ Άρα n log f,, log y μ ˆ ˆ ˆ Και ο έλεγχος λόγου πιθανοφανειών γίνεται: 0 0 μˆ ˆ μ ˆ ˆ 0 L log f y,, log f y,, ˆ 0 n logˆ 0 logˆ n log ˆ ˆ ˆ ˆ ˆ n log 0 0 n ˆ ˆ μˆ μˆ n y μˆ 0 ~ d d 0 Δηλαδή, όπως πρίν μόνο που τώρα το ˆ. στον παρανομαστή εκτιμάται.

51 5 Καλύτερη προσέγγιση στην κατανομή υπό 0 : μˆ μˆ d d0 y μˆ n d 0 ~F d d,nd 0.0. Η ΕΚΘΕΤΙΚΗ ΟΙΚΟΓΕΝΕΙΑ ΚΑΤΑΝΟΜΩΝ ΟΡΙΣΜΟΣ: (βλέπε και GLM Chapter,.) Η πυκνότητα μιας τυχαίας μεταβλητής Y ανήκει στην εκθετική οικογένεια κατανομών με κανονική παράμετρο και παράμετρο ενόχλησης ( nusance), όταν μπορεί να γραφτεί στη μορφή: b y f y,, exp cy, b expy exp exp cy, για κατάλληλες συναρτήσεις b,a,c. Ο παραπάνω ορισμός σημαίνει ότι η f σπάει σε ένα γινόμενο παραγόντων έτσι ώστε: Στον παράγοντα που συνυπάρχουν y,, η σχέση τους είναι log - γραμμική και το εμφανίζεται ως παράγων.

52 5 Στον παράγοντα που συνυπάρχουν πηλίκο. &, η σχέση τους γράφεται ως Στον παράγοντα που συνυπάρχουν y&, η σχέση τους μπορεί να είναι οποιαδήποτε. Συνήθως υποθέτουμε ότι η είναι γνωστή ( δεν είναι άγνωστη παράμετρος). Το θα παίζει το ρόλο παραμέτρου κλίμακας, κάτι δηλαδή σα διακύμανση. Αν η f ανήκει στην εκθετική οικογένεια, πώς υπολογίζονται τα scores; Πόση είναι η Y Var Y ; και η U : log f y,, y a b' : U b'' a : b'' a όπου, δεν εξαρτώνται πια από το y. Αυτό οφείλεται στη γραμμικότητα της σχέσης y, στον πρώτο παράγοντα. Γνωρίζουμε: (με 0 τη πραγματική παράμετρο)

53 53 Και 0 Var 0 0 Y b' 0 U 0 0 b' a 0 0 U Y b' b'' Var a a Var Y a b'' a Var Y a b'' 0 0 Αν θέσουμε τότε έπεται όπου b' η αντίστροφη συνάρτηση της b'. b' b', Επίσης Var Y a b'' a b'' b' Αν ορίσουμε τη συνάρτηση: V : b'' b', τότε η ως εξής: Var a V Var Y γράφεται

54 54 Δηλαδή η διακύμανση της επιτρέπεται να εξαρτάται από το, μέσω μιας συνάρτησης V, που θα είναι διαφορετική για κάθε συγκεκριμένη κατανομή. Πάντως τα δεν είναι απαραίτητα ομοσκεδαστικά, όταν έχουν διαφορετικούς μέσους. Η συνάρτηση a συνήθως έχει τη μορφή, όπου το είναι μια w παράμετρος κλίμακας και το w ένα σταθμό ( π.χ αριθμός παρατηρήσεων).

55 55 ΠΑΡΑΔΕΙΓΜΑ : Η, είναι εκθετική με κανονική παράμετρο. f y,, exp y y exp log y y exp log y y exp log Άρα, συγκρίνοντας με τον ορισμό, βλέπουμε: b y c y, log και. Έχουμε: Y b', Var a b'' και V b'' b'

56 56 ΠΑΡΑΔΕΙΓΜΑ : Η Posson είναι εκθετική με κανονική παράμετρο log. y e f y, exp ylog log y! y! exp ylog exp log log y! y exp Άρα, συγκρίνοντας με τον ορισμό, βλέπουμε: log, b exp, cy, log y!, Έχουμε: και και Y b' exp log Var a b'' exp V b'' b' exp log.

57 57 ΠΑΡΑΔΕΙΓΜΑ 3: Η δυωνυμική bn,p n με n γνωστό είναι εκθετική n f y,p p p ny ny n y n exp nylog p n ylog p log ny p ylog log p p n exp log n ny Άρα : p log p η κανονική παράμετρος e p e e e b log p log log e cy, n log ny n

58 58 και και e Y b' log e ' p e e Var Y a b'' ' n e e e e e e e e p p n n n V b'' b'. ΠΑΡΑΔΕΙΓΜΑ 4: Αντί για y, e y, αντικαθιστώντας, γράφουμε: y, e y Οπότε, με αυτή τη παραμετροποίηση, η πιθανοφάνεια δίνεται από: y log f y,, exp log log log y Παίρνουμε:

59 59 b log log log Έχουμε: Y b' και Var Y a b'' και V b'' b'

60 60

61 6. ΤΟ ΓΕΝΙΚΕΥΜΕΝΟ ΓΡΑΜΜΙΚΟ ΜΟΝΤΕΛΟ.. ΟΙ ΣΥΝΙΣΤΩΣΕΣ ΤΟΥ ΓΕΝΙΚΕΥΜΕΝΟΥ ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ. Τυχαία συνιστώσα: Έστω n ανεξάρτητες παρατηρήσεις y,...,y n από τυχαίες μεταβλητές Y,...,Y n, οι οποίες προέρχονται όλες από την ίδια εκθετική οικογένεια (ίδιες συναρτήσεις b,a,c για όλα τα έχει «δικό της»,.,...,n ), αλλά κάθε μία μπορεί να - Η πιθανοφάνεια των παρατηρήσεων δίνεται από: n n f y, θφ y b Y, fy y,, exp a n cy

62 6 Υπενθύμιση: : Y b' var Y a b'' a V Συστηματική συνιστώσα Έστω ότι για κάθε άτομο,...,n εκτός από την «εξαρτημένη» Y παρατηρούμε και p παράγοντες x,...,x p ( ανεξάρτητες μεταβλητές, σταθερές ). Στο γραμμικό μοντέλο υποθέτουμε: : Y x... x X 0 p p x β :, T με x x x,.. xp 0 β και.. p X x. T... x T n. Στο γενικευμένο γραμμικό επιτρέπουμε η Y : να εξαρτάται από το x β μέσω μιας γνωστής συνάρτησης συνδέσμου g ( lnk functon). T T g ή x β gy

63 63 Η g μπορεί να είναι οποιαδήποτε αμφιμονοσήμαντη συνάρτηση με πεδίο ορισμού το πεδίο όπου η συγκεκριμένη εκθετική οικογένεια επιτρέπει να είναι η Y, δηλαδή Αν, τότε g:, διότι g: π.χ στην + Posson, λ άρα η + g: στην bnomp,n, p 0, άρα η g : 0,. T Αντιστρέφοντας τη σχέση x β gy, έχουμε: Y T g g x β. Επομένως σε γράφημα Y έναντι T x β ( ή έναντι x j) θα βλέπουμε την g (την αντίστροφη της lnk). Ανάλυση πιθανοφάνειας: Μας ενδιαφέρει η σχέση μεταξύ Y και x,...,x p, δηλαδη τα β! Προς το παρόν έχουμε εκφράσει την πιθανοφάνεια ως συνάρτηση των θ. Πρέπει, λοιπόν, να γράψουμε την πιθανοφάνεια ως συνάρτηση των β, για να μπορούμε να τα εκτιμήσουμε και να κάνουμε συμπερασματολογία. Έχουμε: θ L y, θ

64 64 Θέλουμε: β L y, β Αρκεί: να εκφράσω τα θ ως συνάρτηση των β : β θ β L y, θ β Το πέρασμα αυτό βγαίνει από την υπόθεση: g ως εξής: g b β, b T g x β όπου b διότι b. Δηλαδή έχουμε: x β b b g b g x β :G T T όπου G : gb. Έτσι παίρνω: n T T yg x β b G x β logf Y y, βφ, cy, a Ειδικά αν διαλέξω: g : b, θα έχω: G.

65 65 Αυτό το g απλουστεύει ιδιαίτερα την πιθανοφάνεια και γι αυτό λέγεται κανονικό lnk. ( Διαφορετικό για κάθε οικογένεια). Σε αυτή την περίπτωση παίρνω: n T T y x β b x β logf Y y, βφ, cy, a p y xj n j T j0 bx β cy, a a p T bx β j Tj cy, a j0 με n yx j Tj. a Οι στατιστικές T j περιέχουν όλη την πληροφορία για τα j. Π.χ logfy Tj y κάτι που δεν εξαρτάται από y. j

66 66 Περίληψη: ( παραδείγματα) ΚΑΤΑΝΟΜΗ ΚΑΝΟΝΙΚΗ Posson(λ) Bernoull(p) Gamma p log log p b b' b' V Κανονικό lnk exp log e exp log log e e log g log log

67 67.. ΕΚΤΙΜΗΣΗ ΜΕΓΙΣΤΗΣ ΠΙΘΑΝΟΦΑΝΕΙΑΣ ΤΟΥ β. Παρένθεση: γραμμικό μοντέλο με Var Y I Στο γραμμικό μοντέλο έχουμε ότι οι εκτιμήτριες μεγίστης πιθανοφάνειας είναι οι εκτιμήτριες ελαχίστων τετραγώνων. Αυτές έχουν και την ιδιότητα Gauss- Markov: έχουν ελάχιστη διακύμανση ανάμεσα σε όλες τις αμερόληπτες γραμμικές εκτιμήτριες. Υποθέσεις: Υ β ε με ε~ 0,. ˆ X X X T β Y. T Οι εκτιμήτριες ελαχίστων τετραγώνων δίνονται από Και έχουν πίνακα διακυμάνσεων- συνδιακυμάνσεων: ˆ T T T T Var β X X X X X X X X. Παραλλαγή: γραμμικό μοντέλο με Var Y Ας παραλλάξουμε λίγο το μοντέλο υποθέτοντας ότι ε~ 0,, με γνωστό. Σ αυτό το μοντέλο η εκτιμήτρια ελαχίστων τετραγώνων δεν έχει πια τις παραπάνω καλές ιδιότητες: παραμένει αμερόληπτη, αλλά όχι βέλτιστη.

68 68 Πώς θα βρούμε μια βέλτιστη εκτιμήτρια; Απάντηση: Πολλαπλασίασε την εξίσωση Υ β ε από αριστερά με. Τότε θα έχω: Θέτοντας: Y β ε Y * Y, X * και ε * ε η εξίσωση διαβάζεται ως : Y Xβε * * * * Με Var ε Var ε T Τώρα, λοιπόν, τηρούνται οι υποθέσεις του γνωστού γραμμικού μοντέλου και η βέλτιστη εκτιμήτρια του β είναι η: *T * *T * T ˆ T β X X X X X X, ενώ η *T * ˆ T Var β X X X X.

69 69 Eιδική περίπτωση: n 0.. n Η παραπάνω ανάλυση λέει: πάρε ως εκτιμήτρια του β, την εκτιμήτρια ελαχίστων τετραγώνων, όχι στα y,x, αλλά στα * x x. * y y και στα y xβ T Αυτό ισοδυναμεί με το β, που ελαχιστοποιεί την ( σταθμισμένα ελάχιστα τετράγωνα) (Αν γνωστά! ). Ακόμα πιο ειδική περίπτωση: EY άγνωστος, Y ανεξάρτητα με Var Y V V. Vό, δηλ. Var Y. Vn Τί κάνω; Ιδέα: Ξεκίνα από την εκτιμήτρια των ελαχίστων τετραγώνων (αδιαφορώντας για την ετεροσκεδαστικότητα), 0 ˆ.

70 Αυτή δίνει 0 0 : σ ˆ ˆ =V 0 0 ˆ ˆ. Έτσι έχω μια πρώτη εκτίμηση για τα. Αυτά τα χρησιμοποιώ για να κάνω σταθμισμένα ελάχιστα τετράγωνα παίρνω καινούργια εκτιμήτρια 70 ˆ. Συνεχίζω αυτή τη διαδικασία ˆ ˆ ˆ ˆσ... μέχρι να συγκλίνω. Αυτό ακριβώς θα δούμε ότι κάνουν οι εκτιμήτριες μεγίστης πιθανοφάνειας στα γενικευμένα γραμμικά μοντέλα. Τα scores του β. Υπενθύμιση: θ y θ Και y b logf,, c y, β x β a T g b' logf y,, Για να βρούμε τα ˆβ, πρέπει να θέσουμε: U β log f y, β 0, για 0,,...,p, όσες και οι παράμετροι μου. Υπολογισμός των U β : β y b U log fy 0 a

71 7 n y b a y b' n a b'' g' n y x όπου: Var Y g' Var Y a b'' n x y g' Var Y x g' n x z w X T Wz με z Y g' και w Var Y Var z g'. z. z και. zn w. W.. w n Ισοδύναμα: U. Uβ. Up β β T X Wz

72 7 Τα β εμπλέκονται στα και επομένως στα z,w. Θέτοντας T X Wz 0 έχουμε ένα σύστημα p+ μη γραμμικών εξισώσεων στα άγνωστα 0 p.,..., Πώς λύνω αριθμητικά ( αλγοριθμικά) μη γραμμικές εξισώσεις; Μονομεταβλητό: έχω μη γραμμική συνάρτηση U και ψάχνω ˆ ˆ: U 0. Αλγόριθμος Newton-Raphson: U tan U t tan U t U t t U U t t t t U t t Παίρνε. Θα συγκλίνει στο ˆ. t U

73 73 Πολυμεταβλητό ανάλογο: t t t t β β U β U β β β Άρα χρειάζομαι την β: Uβ. Υπολογισμός της παραγώγου των scores: β β = jk U j n y Var Y x g' j x n Var Y g' Var Y g' n x y j j προσεγγίζοντας το πίνακα με την αναμενόμενη τιμή του (και καθώς ο δεύτερος προσθετέος έχει Ε()=0) Iβ E Hβ jk x x jk n Var Y j x g' n j k x x w Var Y g' j k Iβ X T WX καθώς: xj. g' j j

74 74 Αλγόριθμος για την εύρεση του ˆ : - Ξεκινάμε από μία αρχική εκτιμήτρια 0 ˆβ. - Για t 0,,... έχουμε t ˆβ και υπολογίζουμε ˆ t β ως εξής: Από το t ˆβ υπολογίζουμε : t t xˆ β, =,...,n μ g, =,...,n t t w Τέλος θέτουμε: ˆ t ˆ t ˆ t ˆ t β β β U β Newton-Raphson ή εναλλακτικά: ˆ ˆ ˆ ˆ t t t t β β β U β Fsher-scorng. - Σταματάμε όταν ˆt ˆt t β β είναι μικρό και θέτουμε βˆ β ˆ.

75 75 Τί σχέση έχει αυτή η διαδικασία με τα σταθμισμένα ελάχιστα τετράγωνα; Υπενθύμιση: Σταθμισμένα ελάχιστα τετράγωνα: ˆ t Y, όπου var Y εξαρτάται από t ˆ. Fsher- scorng: ˆ ˆ T T X W X X W t t t t t β z T t T t t T X W X X W Xβˆ X W t z t η T t T t t T X W X X W η X W t z t t T T X W X X W t η t z t ξ με y g' t t t t Μία «προσαρμοσμένη εξαρτημένη μεταβλητή», ή «ψευδοπαρατηρήσεις» (για να το υπολογίσω χρειάζομαι το ).

76 76 E t t t var g' Var Y Άρα t w W t Cov t ξ. Άρα το Fsher- scorng κάνει σταθμισμένα ελάχιστα τετράγωνα στις ψευδοπαρατηρήσεις ξ. Παρατήρηση: Για μικρό gy. Var Y Y ~ η είναι η ανάπτυξη κατά Taylor της Παρατήρηση: Στο γραμμικό μοντέλο έχουμε: g. Δηλαδή g και var Y. Άρα w var Y g z y g y y και z y y. και Οι ψευδοπαρατηρήσεις συμπίπτουν με τις παρατηρήσεις y.

77 77 Παρατήρηση: Αν έχουμε επιλέξει ως g το κανονικό lnk, τότε το Newton- Raphson και το Fsher-scorng ταυτίζονται. Η διαφορά μεταξύ των δύο μεθόδων έγκειται στον όρο: y j var Y g. Θα δείξουμε ότι αν g το κανονικό lnk, τότε: j x var Y g 0 Έχουμε var Y b" και g κανονικό lnk g b' * g' b' b" b' b". Και επομένως j var Y g 0 j, αφού δεν εξαρτάται από β. Άρα: β β * Υπενθύμιση: Αν h f y y η αντίστροφη της f : x y, τότε: h'. f ' f y y

78 78.3. Συμπερασματολογία για β Από τα κεφάλαια.6-.7 γνωρίζουμε ότι: Εδώ: X WX, για n ˆ * ~ 0, 0 β β. και άρα Με w var Y g β ˆ * β ~ 0, X WX. Σημείωση: το W εξαρτάται από το άγνωστο * β : Για διαστήματα εμπιστοσύνης αντικαθιστούμε το W με Ŵ, το οποίο υπολογίζεται ως εξής: ˆ ˆ g' ˆ και var Y ˆ a V ˆ. ( Για ελέγχους υποθέσεων μηδενική υπόθεση). Η : β 0 * β, αντικαθιστούμε με τα που δίνει η Έτσι: 95% δ.ε για : ˆ.96 X WX

79 79.4. Απόκλιση από το κορεσμένο μοντέλο (scaled) Devance Έχουμε y από Y~ f y, θφ, και ένα μοντέλο 0 Η : ηβ για q β και X nxq. q n n β η μ θ. T x β b' ( ) g Το γεγονός ότι q β με q n έχει ως αποτέλεσμα το μοντέλο μου να συνιστά ένα περιορισμό για τα η, μ, θ. Έτσι για παράδειγμα στην περίπτωση του γραμμικού μοντέλου ( g ) ο περιορισμός έγκειται στο ότι το μ επιτρέπεται να κινείται στο Span των στηλών του, όχι σε ολόκληρο τον n! Ο στόχος είναι να βρώ ένα «μέτρο» για το πόσο καλά προσαρμόζει το μοντέλο μου τα δεδομένα. Ιδέα: Κατασκεύασε ένα υποθετικό/ιδεατό μοντέλο που προσαρμόζει τέλεια τα δεδομένα- το κορεσμένο μοντέλο. Πάρε ως «μέτρο» της προσαρμοστικότητας του αρχικού μας μοντέλου Η 0 την «απόσταση μεταξύ Η 0 και κορεσμένου»: τη διαφορά του λογαρίθμου των πιθανοφανειών των μοντέλων.

80 80 Κορεσμένο μοντέλο: Έστω s ένας «υποθετικός» αντιστρέψιμος nxn πίνακας. Τότε για οποιοδήποτε n θ υπάρχει n β τέτοιο ώστε: β... θ. Πάρε: g b'. β Xs.. gb' n Άρα το θ είναι ελεύθερο μέσα στον n, δεν είναι πια περιορισμένο, και για να μεγιστοποιήσω την πιθανοφάνεια, μπορώ να διαλέξω οποιοδήποτε n θ. θˆ s argmax f y, θ, φ θ n Σημειώστε ότι κάτι τέτοιο δεν συμβαίνει στο μοντέλο Η 0 : το θ δεν επιτρέπεται να κινείται μέσα σε όλο τον n, αλλά μόνο σε ένα υποσύνολο του, που προσδιορίζεται από q β (q n!), καθώς και τη σχέση που συνδέει β και θ. Στο κορεσμένο μοντέλο, λοιπόν, για να μεγιστοποιήσω την πιθανοφάνεια αρκεί να παραγωγίσω ως προς θ : d log f y, θφ, 0 d y b' 0 ˆ s b' y.

81 8 Αλλά αφού γενικώς ισχύει ˆ b' ˆ, θα πρέπει ˆ y. Δηλαδή, η προσαρμογή του κορεσμένου μοντέλου συμπίπτει με τις παρατηρήσεις μας. s Η απόκλιση μεταξύ 0 και κορεσμένου δίνεται από το στατιστικό της διαφοράς λογαρίθμου πιθανοφανειών: s 0 y θˆ y θ ˆ Los logf, logf, όπου το 0 ˆθ υπολογίζεται από το 0 ˆ, από: ˆ0 Tˆ0 b g x, ενώ ˆ s b y Αν το μοντέλο 0 είναι το πραγματικό, τότε σύμφωνα με τη θεωρία μας η L os ~ nq Έτσι, αν η L os υπερβαίνει το -α ποσοστιαίο σημείο της απορρίπτουμε nq την υπόθεση ότι το 0 είναι ένα επαρκές μοντέλο για τα δεδομένα μας. Σημείωση: η L ~ X για μεγάλο n δεν ισχύει πάντα, αλλά μόνο σε μεμονωμένες os n q περιπτώσεις. Έτσι, ισχύει για κανονική, δυωνυμική και Posson κατανομή, αλλά όχι π.χ σε Bernoull δεδομένα.

82 8 Σημείωση: η L os υπολογίζεται ως: L os s 0 s 0 ˆ ˆ ˆ ˆ y b b a 0 0 y b' y b' ˆ ˆ b b' y b b' a Στατιστικό του Pearson Ένα εναλλακτικό μέτρο για την απόκλιση μεταξύ προσαρμογής του 0 και του κορεσμένου είναι η στατιστική του Pearson: n y ˆ var Yˆ a V ˆ Ένα είδος τετραγωνικής απόστασης μεταξύ των παρατηρήσεων και προσαρμογής του 0, σταθμισμένου με τις διακυμάνσεις των παρατηρήσεων. Θα δούμε ότι και η 0 0 L os είναι ποιοτικά και τα δύο ένα είδος σταθμισμένης τετραγωνικής απόστασης. Συχνά, όμως για μικρά δείγματα η προσέγγιση της κατανομής της στατιστικής του Pearson από καλύτερη από αυτήν της L os. Xn q είναι

83 83 Σημείωση: Για να συγκρίνουμε δύο μοντέλα 0 και το στατιστικό διαφοράς λογαρίθμου πιθανοφανειών L 0, γράφεται ως διαφορά των αποκλίσεων των δύο μοντέλων από το κορεσμένο: 0 y ˆ y ˆ L0 logf, logf, s 0 s y ˆ y ˆ y ˆ y ˆ logf, logf, logf, logf, L L os s Άρα για να κατασκευάσουμε τον έλεγχο σύγκρισης 0 και, αρκεί να γνωρίζουμε την απόκλιση από το κορεσμένο καθενός από τα δύο. Παράδειγμα : Γραμμικό, κανονικότητα. T y x β, ~ 0, Υπενθύμιση: gx x T x β b, b,.

84 84 Άρα: L os s 0 s 0 y b b a ˆ ˆ 0 0 y y y, ˆ x β 0 T ˆ 0 y ˆ ˆ 0 0 y 0 y ˆ RSS. Εδώ η Αν το L os ταυτίζεται με το στατιστικό του Pearson. ήταν άγνωστο, δηλαδή ελεύθερο, δεν θα μπορούσα να ελέγξω την υπόθεση: «το 0 προσαρμόζει επαρκώς τα δεδομένα μου», καθώς η «ελευθερία» του θα κάλυπτε οποιαδήποτε απόσταση. Παράδειγμα : Posson Y ~ posson Υπενθύμιση: log, b exp b exp log. Άρα b. var Y.

85 85 Άρα: s 0 s 0 os L y b b 0 0 y log y log ˆ y ˆ, με ˆ x β 0 T 0 g ˆ y y log y ˆ 0 0 ˆ Η στατιστική του Pearson δίνεται από: n 0 y ˆ. 0 ˆ Η L os είναι περίπου ίση με τη στατιστική του Pearson αν y ˆ, 0 δηλαδή ˆ μικρά. Αυτό φαίνεται ως εξής: 0 Αναπτύσσοντας log x x x παίρνουμε: y 0 y y 0 ˆ ˆ ˆ ˆ ˆ y log y y y y y ˆ 0 y ˆ y ˆ y ˆ 0 y 0 0 ˆ ˆ ˆ y 0 ˆ y 0 0 ˆ ˆ Pearson ay

86 86 Παράδειγμα 3: Μέσοι Δυωνυμικών Y ~ bnn,p n Υπενθύμιση: p log p, b log e, e b log e Άρα και b log log log var Y,. n n Άρα η L os s 0 s 0 y b b a 0 y ˆ 0 ny log log n 0 log y log ˆ y ˆ y y ny log n 0 y log 0 ˆ ˆ Τί τιμές παίρνει το y ylog όταν το y 0 ή y= ;

87 87 y y= ylog log log y 0 y ylog ylog y 0log logy y lm y 0 y y Αναπτύσσοντας log x x x, παίρνουμε ˆ y 0 για L os ~ ˆ ˆ ˆ ˆ 0 0 ˆ ˆ n y y n y y ˆ ˆ ˆ ˆ 0 0 ˆ ˆ n y y n y y ˆ ˆ ˆ ˆ 0 0 ˆ ˆ n y y y y n y ˆ y ˆ ˆ y ˆ ˆ ˆ ˆ 0 0 y ˆ y ˆ n n : Pearson X ˆ ˆ ˆ ˆ

88 88.5. Μοντέλα με άγνωστο Σε κάποια μοντέλα το Π.χ Posson bn,p n n είναι γνωστό. Σε άλλα είναι πιο σωστό να υποθέσει κανείς ότι είναι άγνωστη παράμετρος. Συνήθως υποθέτουμε: m, όπου άγνωστο, αλλά κοινό για όλα τα m είναι γνωστά σταθμά.( π.χ τα y είναι μέσοι y, ενώ τα m παρατηρήσεων). Έτσι π.χ στο γραμμικό μοντέλο έχω var Y, m. Η απόκλιση από το κορεσμένο μοντέλο γράφεται τότε ως: L m y ˆ ˆ m b ˆ b ˆ s 0 s 0 os D os Αντίστοιχα όταν θέλω να συγκρίνω δύο μοντέλα 0: 0 και :, το στατιστικό της διαφοράς του λογαρίθμου των πιθανοφανειών γράφεται ως: L0 L0s Ls D0s D s ~ X p p. 0

89 89 Καθώς τώρα το είναι άγνωστο το στατιστικό δεν μπορεί να υπολογιστεί. Είμαστε αναγκασμένοι να το αντικαταστήσουμε με μια εκτιμήτρια του. Πώς θα εκτιμήσουμε το ; Ιδέα: EL E D EX n p E D Πάρε, λοιπόν, s s n p s np ˆ : D n p s Θα είναι μια αμερόληπτη εκτιμήτρια του. Έλεγχος H 0 έναντι H : Απορρίπτω όταν D D D D ˆ D n p 0s s 0s s s είναι μεγάλο. Καθώς η D είναι ανεξάρτητη από τη διαφορά D0s Ds για να καταλήξω s σε γνωστή κατανομή διαιρώ τον αριθμητή με τους βαθμούς ελευθερίας του:

90 90 p D D p Ds n p 0s s 0 F: ~ F p p,np, όταν θ 0 0 Συμπερασματολογία για : ˆ T Χρειάζομαι το var X WX, όπου w W.. w n και w m var Y g Vˆ g. Αντικαθιστώ το ˆ αντί για στον τύπο των w. Εκτίμηση του βάσει στατιστικού του Pearson Άλλη, εναλλακτική, εκτιμήτρια του το X του Pearson: μπορεί να κατασκευαστεί με βάση m y ˆ ~ np V ˆ m y ά : n p ˆ V ˆ.

91 9 Καθώς η προσέγγιση του του Pearson από την είναι καλύτερη για μικρό δείγμα ( απ ότι για την Devance), η εκτιμήτρια αυτή είναι καλύτερη για μικρά δείγματα. np Εκτίμηση Μέγιστης Πιθανοφάνειας του Τέλος, θα μπορούσε να προσπαθήσει κανείς να πάρει την εκτιμήτρια μεγίστης πιθανοφάνειας του! Π.χ στη Γάμμα κατανομή: Υπενθύμιση: y log log f y,, v vlog v log v v log y v όπου και Vμ, αφ v n y log log f y,, v vlog v log v v log y v και logf y,,v! y v log n log v 0 v y v v y ˆv : n log v log v y

92 9 Έχουμε: y s y 0 Dev log s ˆ log 0 ˆ ˆ ˆ 0 y ˆ log 0 ˆ y. Άρα ψάχνουμε ˆv : v logv Dev v. n D Μια προσεγγιστική λύση αυτής της μη γραμμικής εξίσωσης δίνεται από: D 6 D ˆv 6 D, με λάθος προσέγγιση της τάξης του ˆv. Ωστόσο αυτή η εκτιμήτρια μεγίστης πιθανοφάνειας του ˆv είναι ευαίσθητη σε περιπτώσεις όπου υπάρχουν εκτιμήτριας που βασίζεται στο y 0. Γι αυτό συνίσταται η χρήση της X του Pearson. y ˆ ˆv : nq ˆ.

93 93.6. ΚΑΤΑΛΟΙΠΑ Τα κατάλοιπα στο γραμμικό μοντέλο ορίζονται ως r : y ˆ και χρησιμοποιούνται για τον έλεγχο των υποθέσεων του μοντέλου. Έτσι π.χ σε ένα διάγραμμα r έναντι το σύννεφο των σημείων πρέπει να απλώνεται γύρω από την μηδενική γραμμή και να έχει σταθερό εύρος. Αποκλίσεις από το πρώτο θα ήταν ένδειξη για εσφαλμένες υποθέσεις ως προς την συστηματική συνιστώσα του μοντέλου, ενώ αποκλίσεις από το δεύτερο θα ήταν ένδειξη για απόκλιση από την υπόθεση της ομοσκεδαστικότητας. Καθώς θα θέλαμε μια αντίστοιχη ερμηνεία και στα γενικευμένα γραμμικά διαιρούμε με την εκτιμώμενη τυπική απόκλιση για να έχουμε και εδώ σταθερό εύρος του σύννεφου των σημείων. Τα κατάλοιπα του Pearson ορίζονται ως: με Var Y a V ˆ. r y ˆ p Var Y Αν έχουμε επιλέξει εσφαλμένη lnk-functon το σύννεφο ενδέχεται να εμφανίζει αποκλίσεις από τη μηδενική γραμμή ως κέντρο του σύννεφου. Αν έχουμε επιλέξει εσφαλμένη Varance-functon σταθερό εύρος. V δεν θα έχει

94 94 Καθώς το στατιστικό n X του Pearson γράφεται ως p r, θα μπορούσαμε τώρα αντίστοιχα να ξεκινήσουμε από την Devance και να ορίσουμε καινούργια κατάλοιπα D r έτσι ώστε p r να δίνουν την Devance. Έτσι ορίζουμε τα κατάλοιπα της Devance ως: r D 0 sgn y ˆ s 0 s 0 ˆ ˆ ˆ ˆ y b b a ( στην περίπτωση του γραμμικού μοντέλου τα D p r και r συμπίπτουν)

95 95 3. Διωνυμικά Δεδομένα (κυρίως από Notes Rodr. Ch3 Bnary) 3.. Εισαγωγή- γενικά Απαντητική ( εξαρτημένη) μεταβλητή σ αυτό το κεφάλαιο θα είναι μια διχοτομική μεταβλητή, μια μεταβλητή δηλαδή που παίρνει τις τιμές 0/ ή ΟΧΙ/ ΝΑΙ κ.λ.π. Θεωρούμε, λοιπόν, ότι παρατηρούμε για N άτομα Y, =,...,N όπου : με πιθανότητα p Y = 0 με πιθανότητα -p Εκτός αυτής για κάθε άτομο παρατηρούμε και μία σειρά από ανεξάρτητες μεταβλητές x,...,x p x. Αυτές μπορεί να είναι: είτε συνεχείς μεταβλητές είτε κατάλληλες ψευδομεταβλητές που κατασκευάζονται βάσει παρατηρούμενων κατηγορικών μεταβλητών D,...,D όπου η παίρνει τιμές στο " κατηγορ", "κατηγορ",..., όπως π.χ ηλικιακές ομάδες " 5", "6-35", "36-45", " 45". D

96 96 Αν παρατηρούμε μόνο κατηγορικές μεταβλητές (και όχι συνεχείς), τότε αντί να κρατάμε όλη την πληροφορία για όλα τα άτομα ( μια γραμμή στα δεδομένα μας για κάθε άτομο nxp πίνακας δεδομένων) έχουμε ισοδύναμη πληροφορία- με την έννοια ότι οδηγεί στην ίδια πιθανοφάνεια, και επομένως ίδια συμπερασματολογία- αν κρατήσουμε: για κάθε δυνατό συνδυασμό τιμών των κατηγορικών μεταβλητών " j" τον αριθμό των ατόμων για τα οποία j Y = R # Y = x "j" Καθώς και το σύνολο των ατόμων που εμπίπτουν στον συνδυασμό τιμών των ανεξάρτητων μεταβλητών " j" j N # x "j" Και σχηματίζουμε την καινούργια τυχαία μεταβλητή : j Y j ~ Nj R bn p j,n j N, j,...,n j Όπου n το σύνολο των δυνατών συνδυασμών τιμών των ανεξάρτητων μεταβλητών. Προφανώς: n Nj N. j

97 97 Στόχος μας είναι να φτιάξουμε ένα μοντέλο για τα των x : p ως συνάρτηση T gp x β Έτσι π.χ αν είχαμε δυο κατηγορικές μεταβλητές D 0, και D " 5","6 45"," 45" και N 000 άτομα θα συγκεντρώναμε όλη την πληροφορία σε ένα πίνακα με x3 6 γραμμές: j D D R j N j Y j / Σύνολο 000

98 98 Στο παρακάτω παράδειγμα (από σημειώσεις Rodrguez, Notes Rodr. Ch3 Bnary, 3..) εξετάζεται η χρήση αντισύλληψης ανάμεσα σε γυναίκες στα νησιά Fj, και η σχέση της με την ηλικιακή ομάδα (Age), το επίπεδο εκπαίδευσης (Educaton), και την επιθυμία της γυναίκας να αποκτήσει και άλλα παιδιά (Desres more chldren). Ενώ στην έρευνα συμμετέχουν 607 γυναίκες (και τόσες γραμμές θα είχε ο αναλυτικός πίνακας των δεδομένων), ο συγκεντρωτικός πίνακας έχει μόνο N=6 γραμμές, όσοι και οι πιθανοί συνδυασμοί τιμών των ανεξάρτητων μεταβλητών.

99 Συναρτήσεις σύνδεσμοι Θέλουμε συνάρτηση g τέτοια ώστε: Άρα πρέπει g : 0,. gp με p 0, και Η «κανονική» συνάρτηση σύνδεσμος της διωνυμικής οικογένειας είναι η λεγόμενη logt: p logtp : log p Από το p (πιθανότητα για Υ=), ορίζουμε το λεγόμενο λόγο συμπληρωματικών πιθανοτήτων p p πιθανότητα του Υ= προς την πιθανότητα του Υ=0. (odds). Αυτός μας δίνει τη Έτσι αν p το odds του p είναι :. Αν p το odds του p 3 είναι προς =/. ( Με τα odds εκφράζονται οι πιθανότητες π.χ στα στοιχήματα). Καθώς το odds 0, παίρνοντας το λογάριθμο του p logtp : log p παίρνουμε μια ποσότητα στο,.

100 00 Τέλος, είναι πιο «δίκαιη» συνάρτηση διότι π.χ για p και για p τα 3 3 odds θα ήταν αντιστοίχως και, ενώ τα logt τους log και log θα ήταν «απολύτως» ίδια. Άλλες συναρτήσεις σύνδεσμοι Το logt συχνά προτιμάται διότι έχει μία άμεση ερμηνεία: τα odds! Ωστόσο, μπορεί να χρησιμοποιηθεί ως συνάρτηση σύνδεσμο οποιοδήποτε g p F p με F την αθροιστική συνάρτηση κατανομής μιας τυχαίας μεταβλητής που παίρνει τιμές στο,. Έτσι, συχνά χρησιμοποιούνται: o H probt p : p κατανομής. o Η «complementary, όπου η η αθροιστική της κανονικής» : log log p log log, που είναι η αντίστροφη της αθροιστικής συνάρτ.κατανομής του log ( εκθετικής κατανομής). o Η log log : log logp συνάρτησης κατανομής της, που είναι αντίστροφη της αθροιστικής log (εκθετικής). Τέλος, η ίδια η logt είναι και αυτή αντίστροφη της αθροιστικής συνάρτησης κατανομής της logstc κατανομής.

101 0 Ερμηνεία-συζήτηση Η χρήση μιας F ως lnk έχει μια ενδιαφέρουσα ερμηνεία: Έστω άνεργος με πιθ. p Y = 0 εργαζόμενος με πιθ. -p Ας υποθέσουμε ότι υπάρχει μία λανθάνουσα μεταβλητή * Y «η απασχολησιμότητα» που είναι συνεχής. Και ότι γίνεσαι «άνεργος» όταν η απασχολησιμότητα πέσει κάτω από ένα όριο C. Έστω ότι Y x β, με ~F. Τότε: * T * T T x β x β p=p Y P Y c P c F c F p c x β. T Αν δηλαδή η * Y είναι γραμμική στα x και έχει κατανομή F, τότε η φυσική συνάρτηση σύνδεσμος για τα p είναι η F.

102 0 Τύπος Όνομα Αντίστροφη αθροιστική της.. g log Logt ή logstc Logstc κατανομής: f e x x x e g Probt ή unverse normal Κανονικής κατανομής: 3 fx exp x g log log Complementary log-log Log(εκθετικής): 4 x f exp x e g log log Log-log - log(εκθετικής) x Σημειώσεις:. Η logt g είναι η κανονική lnk functon.. Για 0. p 0.9 η logt και η probtg συνδέονται σχεδόν γραμμικά μεταξύ τους. 3. Για μικρά p : Η logstcg και η complementary log-log σχεδόν ταυτίζονται Και έχουν τιμές μικρότερες από probt και log-log.

103 03 4. Για μεγάλα p : Η log-log και η logstc ταυτίζονται και έχουν τιμές μεγαλύτερες από probt και complementary log-log. Γραφικός έλεγχος για επιλογή του g Θέλουμε p 0 p g : g p x... x. Δηλαδή: το gp πρέπει να συνδέεται με γραμμική σχέση με τα Όμως το p είναι άγνωστο. Μπορεί όμως, να εκτιμηθεί με gy. (Υποθέτοντας y ~ bp, με μεγάλο). x! Άρα κατ αρχάς ένα διάγραμμα των περίπου γραμμικό. x και g y θα έπρεπε να είναι Ειδικά στο logt lnk προτείνει η βιβλιογραφία τη χρήση του: y N log y N y, αντί του log y. [ y ~ bn p,n N ] Ως καλύτερης εκτιμήτριας του p log ( διόρθωση μεροληψίας). p

104 04 Τέλος, πέραν της σχέσης gp με μία συνεχή μεταβλητή x, η επιλογή της g επηρεάζει και την αθροιστικότητα του μοντέλου. Έτσι αν έχω μία συνεχή x και μια κατηγορική z που παίρνει τις τιμές 0,, για κάποια επιλογή του g, μπορεί να παίρνω παράλληλες ευθείες για τις δυό ομάδες, οπότε να μη χρειάζομαι αλληλεπιδράσεις x *z στο μοντέλο μου. Ενώ για άλλη επιλογή του g, οι ευθείες να μην είναι παράλληλες και να χρειάζομαι αλληλεπιδράσεις Ερμηνεία συντελεστών στο logt μοντέλο Έστω το μοντέλο του ; p log 0 x. Ποιά είναι η ερμηνεία της τιμής p Μια αλλαγή του x κατά μία μονάδα προκαλεί: Αύξηση του p log p κατά. ( αθροιστικά) αύξηση του p p κατά exp ( πολλαπλασιαστικά) σχετική αύξηση του odds κατά oddsx oddsx odds x odds x odds x exp odds x exp

105 05 Το ίδιο το p αλλάζει αθροιστικά κατά:? dp x dp x d x px px dx d x dx αφού: px x e και x e e dp x e e e e p p d x e e. Άρα: μοναδιαία αλλαγή στο x προκαλεί αλλαγή στο p ίση με p p εξαρτάται δηλαδή από το p., Συμβουλή: Σημείωσε ότι μοναδιαία αλλαγή στο x προκαλεί αύξηση του κατά. Και δώσε διάγραμμα των και μια αλλαγή στο επηρεάζει το p. pg απ όπου φαίνεται πόσο 3.4. Συμπερασματολογία υπενθύμιση: n yp logf, N y log p N y log p

106 06 εκθετική με p log p b log e EY b... p, Var Y p p N και κανονικό lnk p g b log p Κανονικές εξισώσεις: T X Wz 0 με z y pˆ gpˆ και w var Y g p ˆ για logt lnk έχουμε gp p p και τα z,w γίνονται: z y ˆ p pˆ pˆ N pˆ pˆ w N pˆ pˆ pˆ ˆ p Άρα οι κανονικές εξισώσεις γράφονται: N ˆ y p N... N y pˆ T X 0 n n n

107 07 * δηλαδή, (αν θέσει κανείς του y στο χώρο στηλών του X dag N,...,N X) τα ˆp θα είναι η προβολή * X. n Παράδειγμα πιθανοφάνειας με ασύμπτωτο: Ας υποθέσουμε ότι y 0 για x 0 και y για x 0. Όσο το αυξάνει η προσαρμογή γίνεται ολοένα και καλύτερη. Επομένως στον αλγόριθμο t ˆ και ο αλγόριθμος δε σταματάει... Ωστόσο η Devance των προσαρμοσμένων μοντέλων σταθεροποιείται ( 0). Σε αυτές τις περιπτώσεις δεν έχουμε εμπιστοσύνη στους εκτιμηθέντες συντελεστές ˆ t και στις τυπικές αποκλίσεις τους, αλλά μπορούμε να έχουμε εμπιστοσύνη στα εκτιμώμενα ˆp καθώς και στη Devance του μοντέλου που εκτιμήθηκε. Devance: Είχαμε υπολογίσει ότι στην περίπτωση των διωνυμικών δεδομένων: L N y y log N y y log n 0s pˆ ˆ p 0 0 Έστω ο πίνακας:

108 08 x "" # επιτυχιών # αποτυχιών yn x "" j j. x "n" y N yn j y N j Όπου x " j" συμβολίζει τον j πιθανό συνδυασμό τιμών των ανεξάρτητων μεταβλητών. Παρατηρήστε ότι η L 0s έχει την μορφή: Ny #observed #observed log και ότι το άθροισμα επεκτείνεται πάνω σε όλα #expected 0 Np ˆ τα xn κελιά του παραπάνω πίνακα. «Αραιότητα» πινάκων/ Sparseness Για να ισχύει D 0s ~ Xn p χρειάζομαι: j j N p j ( αναμενόμενος αριθμός ατόμων σε κάθε κελί είναι μεγάλος) Δηλαδή: Σε κάθε κελί του πίνακα έχω «πολλά άτομα».

109 09 Πίνακες που κάποια κελιά έχουν πολύ λίγα άτομα ( π.χ όταν υπάρχει και μία συνεχής ανεξάρτητη μεταβλητή) λέγονται sparse. Η συμπερασματολογία σε αυτούς τους πίνακες έχει πολλά προβλήματα και θέλει ιδιαίτερη προσοχή. Ενδεικτικά ας σταθούμε στο εξής: Μία από τις συνέπειες της Np είναι η ανεξαρτησία ανάμεσα στην τυχαία μεταβλητή ˆp 0. Η ιδιότητα αυτή είναι σημαντική για να μπορεί το μέτρο προσαρμογής. D 0s και στα ˆ 0 και D 0s να λειτουργεί ως Γιατί; Φανταστείτε ότι συμβαίνει το ανάποδο, δηλαδή η κατανομή του D 0s δεσμευμένη ως προς ˆ διαφέρει για τις διαφορετικές τιμές του ˆ. Τότε η ίδια τιμή του D 0s θα μπορούσε να θεωρείται ΟΚ π.χ για μεγάλα ˆ, αλλά «παραείναι» μεγάλη π.χ. για μικρά ˆ : Το D 0s χάνει την «αντικειμενικότητα» του ως μέτρο προσαρμογής. Ας πάρουμε το παράδειγμα όπου Τότε: N, δηλαδή y 0,. ˆ ˆ D y log y y log y y logp y log p 0s 0 ˆp ˆ ylog log p pˆ T x β ˆ ˆ y log p 0

110 0 ˆ log pˆ pˆ ˆ log pˆ ˆ [αλλά οι κανονικές εξισώσεις Για δοσμένη τιμή του ˆ, η είναι: ˆp ] D 0s παίρνει συγκεκριμένη τιμή: είναι εκφυλισμένη τυχαία μεταβλητή. Δηλαδή όχι απλώς δεν είναι ανεξάρτητη του ˆ, αλλά είναι ακριβώς συνάρτηση του. Η κατανομή του D 0s δεσμευμένη ως προς ˆ όχι απλά δεν είναι σταθερή (ανεξαρτησία) αλλά είναι εκφυλισμένη τυχαία μεταβλητή (σταθερά) που αλλάζει τιμές για διαφορετικά ˆ Προβλήματα υπάρχουν ακόμα και όταν κάμποσα N και για την D 0s και για τη Ωστόσο: X. Αν έχω τουλάχιστον N N μεγάλο, μπορεί να μην ισχύει D ~ X, και επομένως να μην μπορώ να κάνω τον έλεγχο αν το 0s n p μοντέλο προσαρμόζει καλά τα δεδομένα, όμως εξακολουθεί να ισχύει D D ~ X για μικρά d d0. 0s s d d 0 Άρα μπορώ να συγκρίνω μοντέλα μεταξύ τους για μικρή διαφορά βαθμών ελευθερίας. Πιο πολλή εμπιστοσύνη έχει πάντως ( σε αυτή την περίπτωση) στη προσέγγιση της X X ~ X παρά στη αντίστοιχη της Devance. 0 d d 0

111 Aν τα N είναι μεν μικρά, αλλά μεγαλύτερα του μπορεί ως μέτρο προσαρμογής να χρησιμοποιείται η X, καθώς έχουν υπολογιστεί η ˆ var X ˆ [ βλέπε McGullagh & Nelder, 4.4.5] EX και η Overdsperson Είναι το φαινόμενο κατά το οποίο η διακύμανση της απαντητικής μεταβλητής Y ξεπερνά την «ονομαστική» «(υποτιθέμενη) διακύμανση p p. Στην πραγματικότητα είναι αρκετά συχνό στην πράξη: είναι μάλλον εξαίρεση η ονομαστική διακύμανση να συμπίπτει με την πραγματική. Έτσι είναι γενικώς καλύτερα να υποθέσουμε ότι τα NY δεν είναι ακριβώς διωνυμικά, αλλά ότι : με Var Y p p άγνωστη παράμετρο που πρέπει να εκτιμηθεί. N Ποιοί μηχανισμοί, όμως, μπορεί να οδηγούν σε τέτοια συμπεριφορά; Ένας απ αυτούς είναι το Cluster-samplng: Ας υποθέσουμε ότι ο πληθυσμός μας διαιρείται σε clusters μεγέθους k. Στη δειγματοληψία μας διαλέγουμε τυχαία όλα τα άτομα του Cluster στο δείγμα, δηλαδή: N από αυτά και συμπεριλαμβάνουμε k

112 Ας υποθέσουμε ότι η πιθανότητα επιτυχίας στο - cluster είναι p και ότι το p είναι τυχαία μεταβλητή με Ep p και var p t p p είναι μια παράμετρος που ρυθμίζει τη διακύμανση των clusters του πληθυσμού.. Το Αν Y είναι το ποσοστό επιτυχίας στο δείγμα μας, αποδεικνύεται ότι: EY p t p μεταξύ των p p var Y k t N μέγεθος των clusters., όπου το εξαρτάται από το o Η var Y εξαρτάται από το cluster- sze (k ) και από την. Ισούται με p p N μόνο για k (δηλαδή δεν κάνω cluster-samplng) Απόδειξη: Έστω z ο αριθμός των επιτυχιών στο - cluster. Τότε δοθέντος του E z p p θα έχουμε kp και var z p kp p z... z Προφανώς Y N.. Τότε: z ~ bn k,p και επομένως E z p... E z p EY E EY p p Ep N

113 3 kp... kp k N N Ep E p p p p var Y E Y EY E E Y EY E E Y E Y E Y EY p p p p p p p A B E var Y E E Y EY p Υπολογίζουμε χωριστά τα Α και Β: N A E var Y p p Ep var z... z p E var z p... var z p p N E kp p... kp p N p k E p p N E p var p Ep p k N k p p p p N p p N =

114 4 Ep kp... kp p k Ep p p... p p k E p p p k var p k p p k N p p Επομένως: p p p p var Y k N N p p k N

115 Τα δεδομένα Χρήσης Αντισύλληψης.. Ανάλυση κατά ένα παράγοντα (από Notes Rodr. Ch3 Bnary, 3.4.) Ενδιαφερόμαστε μόνο για την επίδραση ενός παράγοντα π.χ των ηλικιακών ομάδων " 5","5 9","30 39","40 49" στην πιθανότητα χρήσης αντισύλληψης. Αν είχαμε συλλέξει μόνο αυτή την πληροφορία ως ανεξάρτητη μεταβλητή θα παίρναμε τον συγκεντρωτικό πίνακα που φαίνεται παρακάτω: Table 3.4: Contraceptve Use by Age Age Usng Not Total Usng y n- y n p odds logt logtlogt(<5) < Total Ο πίνακας έχει 4 γραμμές, μία για κάθε ηλικιακή ομάδα και ως παρατηρήσεις y θεωρούμε τις y R N,,...,4 [ table 3.4] Το μοντέλο μας «κατά ένα παράγοντα» επιτρέπει για κάθε επίπεδο του παράγοντα μία ελεύθερη τιμή για το g logt p, όπου p η πιθανότητα,... χρήσης αντισύλληψης όταν ο παράγοντας έχει επίπεδο

116 6 Έτσι: logt p,,...,4 για ελεύθερο και έτσι ο πίνακας σχεδιασμού γι αυτό το μοντέλο σε αυτά τα δεδομένα προκύπτει από: logt p logt p η : logtp X Καθώς το μοντέλο αυτό για αυτά τα δεδομένα είναι το κορεσμένο θα έχουμε: και ˆ logt pˆ ˆp y R N [ βλέπε table 3.4] Το ίδιο μοντέλο στα αναλυτικά δεδομένα του table 3.: Ας ονομάσουμε τα δεδομένα του αναλυτικού πίνακα table 3. R j,n j όπου: o,...,4 αντιστοιχεί στα επίπεδα της ηλικίας,...,4 o και j,...,4 τα δεδομένα μέσα σε κάθε επίπεδο ηλικίας, που αντιστοιχούν σε επίπεδα άλλων παραγόντων. Δηλαδή θα έχουμε με τη σειρά:

117 7 R R R R R R R και θέτουμε yj Rj Nj. Προφανώς y R N, όπου 4 R R R και j j 4 N N N. j j Το μοντέλο μας τώρα γράφεται : EYj p. Και ο πίνακας σχεδιασμού προκύπτει από:

118 8 logt p logtp logtp η 4 logtp logtp logtp4 Η πιθανοφάνεια δίνεται από: 4 4 yp j j j logf, N y log p y log p j Παραγωγίζοντας κατά p έχουμε: 4 d log f yp, yj yj Nj dp j p p Θέτοντας= 0 βρίσκουμε : y p 4 j Nj j p p ˆp j j N j 4 N y 4 R Rj N N Άρα οι εκτιμήτριες των p στα αναλυτικά δεδομένα είναι οι ίδιες με αυτές που είχαμε πάρει στα συγκεντρωτικά δεδομένα. ( Ωστόσο θα έχουμε άλλη Devance για το ίδιο μοντέλο στα συγκεντρωτικά και τα αναλυτικά δεδομένα, καθώς αλλάζει το κορεσμένο μοντέλο)

119 9 Το Σταθερό Μοντέλο Υποθέτει ότι EYj p. Δηλαδή ότι έχω ίδια αναμενόμενη τιμή για όλες τις παρατηρήσεις. Η log πιθανοφάνεια θα ήταν: 4 4 y j j j logf,p N y log p y log p j και 4 4 dlogf y,p yj p... Nj dp p p j Θέτοντας =0 βρίσκουμε: R j j j j j ˆp N y R N N N Η εκτιμήτρια του p στο σταθερό μοντέλο θα είναι η ίδια είτε πάρω τα δεδομένα του Τable 3. είτε αυτά του Table 3.4. Ωστόσο το σταθερό μοντέλο μπορεί να μην απορρίπτεται για τα συγκεντρωτικά δεδομένα (Table 3.4) και να απορρίπτεται για τα αναλυτικά (Table 3.). Ο λόγος είναι ότι αλλάζει το κορεσμένο μοντέλο! Έτσι, το σταθερό μοντέλο μπορεί να είναι επαρκές στα ομαδοποιημένα δεδομένα, αλλά ανεπαρκές για τα αναλυτικά.

120 0 Άλλες παραμετροποιήσεις για το ίδιο μοντέλο ( κατά ένα παράγοντα) Το μοντέλο: logt p,,...,4, που αφήνει ελεύθερο p για j κάθε επίπεδο,...,4 του παράγοντα γράφεται με διαφορετικές παραμέτρους και ως: j logt p,,...,4. Καθώς τώρα έχουμε 5 παραμέτρους,,..., 4 αντί για τις 4 (,..., 4 ) που είχαμε πριν, και προκειμένου να μπορούμε να αντιστοιχίσουμε μονοσήμαντα τα (,..., 4 ) στα (,,..., 4) και αντίστροφα, χρειαζόμαστε ένα περιορισμό στα. Συνήθεις είναι δύο περιορισμοί ( έναν εκ των οποίων διαλέγουμε): και 0 N 0 Καθένας από αυτούς καταλήγει σε διαφορετική ερμηνεία των παραμέτρων,,..., και προκειμένου να εκτιμηθεί, διαφορετικό πίνακα σχεδιασμού. 4 Ας τους πάρουμε ξεχωριστά: 0 Τότε: και από 0 Δηλαδή: το είναι το logt p που αντιστοιχεί στο πρώτο επίπεδο του παράγοντα μας, που λέγεται κελί αναφοράς.

121 Τα για δίνουν τη διαφορά του που αντιστοιχεί στο επίπεδο του παράγοντα από το επίπεδο του παράγοντα. Δηλ.,..., 4 4. Ο πίνακας σχεδιασμού του μοντέλου για τα αναλυτικά δεδομένα προκύπτει από: ή

122 Εκτίμηση με 0 στο παράδειγμά μας Table 3.4: Contraceptve Use by Age Age Usng Not Total Usng y n- y n p odds logt logtlogt(<5) < Total Table 3.5: Estmates and Standard Errors for Logt Model of Contraceptve Use by Age n Groups Parameter Estmate Std.Error z-rato Constant η Age 5 9 α α α Γυναίκες <5 ετών: Odds= 0. (:5 περίπου), Logt=-.5 = η. Γυναίκες 5-9 ετών: αυξάνεται το logt κατά α=0,46. Επομένως τα odds "να χρησιμοποιεί αντισύλληψη" πολλαπλασιάζονται με exp(α) =,59, είναι δηλαδή αυξημένα κατά 59% σε σχέση με τις γυναίκες <5. Έλεγχος "α=α3=α4=0": Devance (σταθερού μοντέλου από κορεσμένο) = *397*0.8*log(0.8/0.3) + *397*(-0.8)*log( (-0.8)/(-0.3)) + = 79. με 3 β.ε. (P-val= 4 *0-7 ) Άλλος έλεγχος για την ίδια υπόθεση

123 3 N 0 Από τη σχέση αυτή προκύπτει 4 4 N N Άρα 4 N N ο σταθμισμένος μέσος των παρατήρησης. ή ο απλός μέσος των κάθε Και επομένως με,...,4 η απόκλιση της επίδρασης του - επιπέδου του παράγοντα από το γενικό μέσο. Τα,,, 3 θα μπορούσαν να εκτιμηθούν δίνοντας τον πίνακα σχεδιασμού: N N4 N N4 N3 N καθώς

124 4 Γενικώς Για να εκτιμήσουμε το μοντέλο η X όταν ο α X (k+ στήλες) είναι τάξης k, ενώ w. w.. w k α k, χρειαζόμαστε έναν περιορισμό T w 0 α, όπου Για να εκτιμήσουμε τις παραμέτρους βρίσκουμε πίνακα Ckxk τέτοιον ώστε ο C ικανή συνθήκη ώστε ο (που είναι kxk) να είναι τάξεως k (αναγκαία και συνήθως * X, παρακάτω, να είναι τάξεως k) και οι στήλες του C να είναι στο w. Π.χ Βρές βάση του W στήλες του C Μετά θέτουμε X X α * X * * * * α X C και εκτιμούμε το μοντέλο. Τέλος, παίρνουμε αc * α. Τότε με αυτό το α θα έχουμε ότι Π.χ Xα * * Xα και T T * * w α w Cα 0α 0 α, N 0 0 N w C N N4 N N N 3 N4 N4 N 4

125 N N4 N N4 N3 N N N N N N N * X X X C και * a * a * a a a * C a με τον περιορισμό που θέλουμε * a α 3 * a 3 a 3 a 4 N * N * N3 * a a a3 N4 N4 N 4

126 6.. Ανάλυση με μια συνεχή μεταβλητή (από Notes Rodr. Ch3 Bnary, 3.4.3) Εδώ θεωρούμε την ηλικία συνεχή μεταβλητή και όχι κατηγορική. Υποθέτουμε, γι αυτό το σκοπό, ότι όλα τα άτομα κάποιας ηλικιακής ομάδας έχουν ηλικία ίση με το μέσο του διαστήματος που προσδιορίζει την ομάδα, x. Δηλαδή: x 0 x 7.5. x 35 3 x 45 4 Για τις 4 ομάδες του συγκεντρωτικού πίνακα ( Table 3.4) υποθέτουμε τώρα: logt p a x Η διαφορά σε σχέση με την προηγούμενη ανάλυση βρίσκεται στο ότι: όταν θεωρούμε την ηλικία κατηγορική τα logt p,,...,4 είναι ελεύθερα να πάρουν ό,τι τιμή θέλουν το καθένα. Αντίθετα τώρα που η ηλικία θεωρείται συνεχής υποχρεώνονται από το μοντέλο να έχουν μία γραμμική σχέση μεταξύ τους: Σ ένα διάγραμμα προς βρίσκονται σε μία ευθεία. x τα «θεωρητικά» του μοντέλου πρέπει να

127 7 Αυτό συνιστά ένα περιορισμό ως προς το προηγούμενο μοντέλο και επομένως το μοντέλο με την ηλικία «συνεχή» είναι φωλιασμένο μέσα στο μοντέλο με την ηλικία κατηγορική. Ο πίνακας σχεδιασμού για τα συγκεντρωτικά δεδομένα θα ήταν: x x4 Ενώ για τα αναλυτικά:

128 8 x..... x. x x.. x x Η εκτίμηση του μοντέλου δίνει Devance (από κορεσμένο μοντέλο)=,4 με β.ε. (καλό ft) τα logt του να χρησιμοποιείς αντισύλληψη αυξάνουν κατά 0,06 κάθε χρονιά (ηλικίας). Δηλαδή τα αντίστοιχα odds πολλαπλασιάζονται με exp(0.06)=.063 δηλαδή αυξάνουν κατά 6,3% κάθε χρονιά. έλεγχος β=0: -devance(αυτού του μοντέλου από κορεσμένο)- ή Wald test: 8.54 devance(σταθερού μοντέλου από κορεσμένο)= , = 76,8 με βαθμό ελευθερίας Ερώτηση: Θα είχαμε τις ίδιες εκτιμήτριες συγκεντρωτικά [ Τ. 3.4] δεδομένα; ˆ, ˆ στα αναλυτικά [ Τ.3.] και στα

129 9 ή ισοδύναμα θα είχαμε το ίδιο ft ˆp,,...4 ; ή ισοδύναμα ««τις ίδιες κανονικές εξισώσεις για το ˆp ; Οι κανονικές εξισώσεις στα συγκεντρωτικά δεδομένα είναι: N N ˆ N 3 N4 T X y p 0 4 που γράφονται και ως: N ˆ y p 0 και ˆ Στα αναλυτικά αντίστοιχα θα ήταν: Nj y ˆ j p 0 και j j ˆ j j 4 N x y p 0 Ο - αθροιστέος του δεύτερου, για παράδειγμα, ισούται με: 4 ˆ x N y p x N y pˆ N j j j j j N x y p 0 R x ˆ ˆ R j p N x N p N R y Ταυτίζεται δηλαδή με τον - αθροιστέο συγκεντρωτικών δεδομένων. Παρομοίως για τον πρώτο... του αντίστοιχου όρου των Επομένως οι εξισώσεις στις δύο περιπτώσεις ταυτίζονται, άρα και οι λύσεις τους, άρα και τα. ˆ, ˆ

130 30..3 Mια συνεχής και μια κατηγορική μεταβλητή (από Notes Rodr. Ch3 Bnary, 3.5.5) Έστω ότι εκτός από την ηλικία ( ως συνεχή μεταβλητή) συμπεριλαμβάνουμε στο μοντέλο μας και μία κατηγορική μεταβλητή D που έχει τιμές Yes/No π.χ επιθυμεί και άλλα παιδιά: ΝΑΙ/ΟΧΙ. [ βλέπε TABLE 3.7] Το μοντέλο που έχουμε στο νού μας για τις ομάδες που δημιουργεί η κατηγορική μεταβλητή είναι: a x για Dj Yes j logtpj a j x, =,...,4, j =, a x για Dj No Η ερμηνεία των παραμέτρων σε αυτό το μοντέλο δίνεται και στο παρακάτω διάγραμμα:

131 3 D No D Yes a a Εισάγοντας μια ψευδομεταβλητή d j με τιμές dj αν αν Dj No ο πίνακας σχεδιασμού προκύπτει από: Dj Yes ενώ dj 0 d d x d d x... x a... x a d d x d4 d4 x 4 Άλλη παραμετροποίηση: Ισοδύναμα θα μπορούσαμε να γράψουμε το ίδιο μοντέλο και ως: logt p x d, που συνεπάγεται: j j

132 3 logt p j a x +γ για dj Dj Yes a x για dj 0 Dj No Έτσι η αντιστοιχία με το προηγούμενο μοντέλο είναι: a0 a και a a ( αντιστοιχεί σε κελί «αναφοράς») D No D Yes a Ο πίνακας σχεδιασμού προκύπτει από: d x x. d x x... x. a... x x x d4 x 4 x 4

133 33 Το σημαντικό σε αυτό το μοντέλο είναι η υπόθεση που κάνουμε ότι: η επίδραση της D είναι πάντα ανεξαρτήτως της τιμής του x! Δηλαδή υποθέτουμε ότι οι δύο ευθείες ( μία για κάθε ομάδα του D ) είναι παράλληλες!! Λέμε και ότι οι παράγοντες επιδρούν αθροιστικά! Με αλληλεπιδράσεις των παραγόντων: Αν θέλουμε να επιτρέψουμε η επίδραση της D να εξαρτάται γραμμικά από το x θα καταλήγαμε σε δύο ευθείες, όχι απαραίτητα παράλληλες: η κάθε μία θα είχε τη δική της κλίση: a x για Dj Yes logtpj a j jx a x για Dj No D No D Yes a a Εδώ ο πίνακας σχεδιασμού θα προέκυπτε από:

134 34 d dx d d x d dx d d x d4 d4x4 d4 d4 x 4 Ισοδύναμα αν προτιμάμε την παραμετροποίηση ως προς ένα κελί αναφοράς θα γράφαμε: logt p x d d x j j j όπου: o τα αντίστοιχα για αναφοράς]. d 0 Dj No [ ομάδα o η διαφορά των συντελεστών ως προς την ομάδα αναφοράς. D No D Yes

135 35 Τώρα ο πίνακας σχεδιασμού δίνεται από: x d dx. x d dx x 4. d4x 4 x4 d4 d4x 4 Η εκτίμηση του μοντέλου με αλληλεπιδράσεις δίνει: Η χρήση αντισυλληπτικών αυξάνεται με την ηλικία ταχύτερα για όσους δεν θέλουν παιδιά Σε μέση ηλικία 30.6 ετών (έχουμε χρησιμοποιήσει την μεταβλητή ηλικία-30.6 αντί για σκέτη ηλικία) τα odds του να χρησιμοποιείς αντισύλληψη αυξάνουν όταν θέλεις παιδιά κατά exp(0.75)=.3, δηλαδή υπερδιπλασιάζονται. Αυτή η διαφορά αυξάνει κατά 5% το χρόνο (ηλικίας) περίπου.