ΕΚΤΙΜΗΣΗ ΠΟΣΟΣΤΙΑΙΩΝ ΣΗΜΕΙΩΝ ΓΙΑ ΕΠΙΛΕΓΜΕΝΟ ΕΚΘΕΤΙΚΟ ΠΛΗΘΥΣΜΟ ΑΠΟ k ΠΛΗΘΥΣΜΟΥΣ

Transcript

1 ΚΩΝΣΤΑΝΤΙΝΟΣ Γ. ΑΓΓΕΛΟΥ ΕΚΤΙΜΗΣΗ ΠΟΣΟΣΤΙΑΙΩΝ ΣΗΜΕΙΩΝ ΓΙΑ ΕΠΙΛΕΓΜΕΝΟ ΕΚΘΕΤΙΚΟ ΠΛΗΘΥΣΜΟ ΑΠΟ k ΠΛΗΘΥΣΜΟΥΣ ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΑΤΡΙΒΗ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΔΙΑΤΜΗΜΑΤΙΚΟ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ «ΜΑΘΗΜΑΤΙΚΑ ΤΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΚΑΙ ΤΩΝ ΑΠΟΦΑΣΕΩΝ» ΜΑΙΟΣ 2014 ΠΑΤΡΑ

2 ΕΙΣΗΓΗΤΗΣ Κωνσταντίνος Πετρόπουλος Επίκουρος Καθηγητής Τμήμα Μαθηματικών Πανεπιστημίου Πατρών ΕΠΙΤΡΟΠΗ Σταύρος Κουρούκλης Καθηγητής Τμήμα Μαθηματικών Πανεπιστημίου Πατρών Φίλιππος Αλεβίζος Αναπληρωτής Καθηγητής Τμήμα Μαθηματικών Πανεπιστημίου Πατρών [2]

3 Περιεχόμενα Εισαγωγή... 3 Κεφάλαιο Εισαγωγή-Αμερόληπτοι Εκτιμητές Συνάρτηση Ζημίας -Συνάρτηση Κινδύνου Η έννοια της Επάρκειας Ιδιότητα της Πληρότητας Αμερόληπτος εκτιμητής Ελάχιστης Διασποράς Παραμετρική Εκθετική Οικογένεια Κατανομών Εκτίμηση με τη μέθοδο της Μέγιστης Πιθανοφάνειας Σύγκριση εκτιμητών και Αντίστροφοι μετασχηματισμοί Αναλλοίωτο Πρόβλημα Εκτίμησης Κεφάλαιο Διπαραμετρική Εκθετική Κατανομή Ποσοστιαίο σημείο Διπαραμετρικής Εκθετικής Κατανομής Εύρεση για το ποσοστιαίο σημείο Εύρεση εκτιμητή για το ποσοστιαίο σημείο Κεφάλαιο Βέλτιστος εκτιμητής στην κλάση των εκτιμητών Τεχνικές κατασκευής βελτιωμένων εκτιμητών Brewster-Zidek όταν Βέλτιστος αναλλοίωτος εκτιμητής στην κλάση των αναλλοίωτων εκτιμητών Τεχνικές κατασκευής βελτιωμένων εκτιμητών Brewster-Zidek όταν Κεφάλαιο Παράρτημα Βιβλιογραφία [3]

4 Εισαγωγή Η παρούσα διατριβή εντάσσεται ερευνητικά στην περιοχή της Στατιστικής Θεωρίας Αποφάσεων και ειδικότερα στην (σημειακή) εκτίμηση του ποσοστιαίου σημείου στο μοντέλο της διπαραμετρικής εκθετικής κατανομής. Το πρόβλημα της εκτίμησης του ποσοστιαίου σημείου από τη σκοπιά της Στατιστικής Θεωρίας Αποφάσεων ακολούθησε αυτό της παραμέτρου κλίμακας, ειδικότερα αναφέρουμε το πρόβλημα εκτίμησης της διασποράς κανονικής κατανομής με άγνωστη μέση τιμή από τον Stein (1964). Στην εργασία εκείνη ο Stein απέδειξε ότι, με κριτήριο το μέσο τετραγωνικό σφάλμα, ο βέλτιστος αναλλοίωτος εκτιμητής της διασποράς είναι μη αποδεκτός, κατασκευάζοντας άλλον με μικρότερο μέσο τετραγωνικό σφάλμα. Εν συνεχεία, οι Brewster and Zidek (1974) παρουσίασαν δύο γενικές τεχνικές κατασκευής βελτιωμένων εκτιμητών, εφαρμόσιμες για τυχαία bowl-shaped συνάρτηση ζημίας και αποτελεσματικές, κυρίως όταν η υπό εκτίμηση παράμετρος είναι η παράμετρος κλίμακας και επί πλέον υπάρχει και άλλη άγνωστη παράμετρος. Αντικείμενο της μεταπτυχιακής διατριβής είναι η εκτίμηση του ποσοστιαίου σημείου θεωρώντας ανεξάρτητα τυχαία δείγματα από εκθετικούς πληθυσμούς με την ίδια παράμετρο θέσης και διαφορετική παράμετρο κλίμακας για κάθε πληθυσμό ξεχωριστά. Βασιζόμενοι στην εργασία των Kumar and Sharma (1996) βρίσκουμε εκτιμητή μέγιστης πιθανοφάνειας και αμερόληπτο εκτιμητή ελάχιστης διασποράς για το ποσοστιαίο σημείο από τον πρώτο εκθετικό πληθυσμό και στην συνέχεια εφαρμόζουμε τη τεχνική κατασκευής, βελτιωμένων εκτιμητών, των Brewster and Zidek (1974). Η παρουσίαση των επί μέρους θεμάτων και αποτελεσμάτων της διατριβής αυτής οργανώνεται ως εξής. Στο Κεφάλαιο 1 αναφέρονται κάποια βασικά στοιχεία θεωρίας από τη Μαθηματική Στατιστική, όπως βασικοί ορισμοί και θεωρήματα σχετικά κυρίως με τη συνάρτηση κινδύνου (risk function), τους εκτιμητές (UMVUE), τους εκτιμητές μέγιστης πιθανοφάνειας (MLE) και τους αναλλοίωτους (equivariant) εκτιμητές. Στο Κεφάλαιο 2 ορίζεται η διπαραμετρική εκθετική κατανομή και το ποσοστιαίο σημείο της διπαραμετρικής εκθετική κατανομής,, θετική σταθερά,από τον πρώτο εκθετικό πληθυσμό, το οποίο στη συνέχεια εκτιμάται από τον εκτιμητή μέγιστης πιθανοφάνειας και από τον εκτιμητή. Στο Κεφάλαιο 3 χρησιμοποιούνται τεχνικές βελτίωσης του εκτιμητή του ποσοστιαίου σημείου. Αρχικά εντοπίζεται ο βέλτιστος εκτιμητής του ποσοστιαίου σημείου στην κλάση των εκτιμητών με κριτήριο το μέσο τετραγωνικό σφάλμα και στη συνέχεια χρησιμοποιείται η τεχνική κατασκευής, βελτιωμένων εκτιμητών, των Brewster and Zidek (1974) όταν και όταν. Τέλος στο Κεφάλαιο 4 αναφέρονται κάποια Λήμματα τα οποία χρησιμοποιούνται σε αποδείξεις προτάσεων της διατριβής. Κ. Αγγέλου, Πάτρα (2014). [4]

5 Κεφάλαιο 1 Βασικοί Ορισμοί και Θεωρήματα Σε αυτό το κεφάλαιο θα αναφέρουμε κάποια βασικά στοιχεία θεωρίας από τη Μαθηματική Στατιστική. (Βλ. Κουρούκλης (1991)) Εισαγωγή-Αμερόληπτοι Εκτιμητές Έστω ότι δίνονται δεδομένα με από κοινού πυκνότητα πιθανότητα, που εξαρτάται από μία άγνωστη παράμετρο, η οποία ανήκει σε κάποιο σύνολο Το λέγεται άγνωστη παράμετρος και το καλείται παραμετρικός χώρος. Σκοπός μας είναι, χρησιμοποιώντας τα δεδομένα να εκτιμήσουμε μία συνάρτηση του, έστω, η οποία ονομάζεται παραμετρική συνάρτηση. Το τυχαίο διάνυσμα αναφέρεται ως δείγμα. Αν επιπλέον οι τυχαίες μεταβλητές είναι ανεξάρτητες και ισόνομες, δηλαδή έχουν την ίδια κατανομή, τότε το αναφέρεται σαν τυχαίο δείγμα. Ορισμός Μία συνάρτηση μόνο του δείγματος καλείται στατιστική συνάρτηση. Ορισμός Μία στατιστική συνάρτηση που χρησιμοποιείται για την εκτίμηση της άγνωστης παραμέτρου ή γενικότερα για την εκτίμηση της παραμετρικής συνάρτησης αναφέρεται σαν εκτιμητής του ή του αντίστοιχα. Ορισμός Ο εκτιμητής ονομάζεται αμερόληπτος εκτιμητής (Α.Ε) της παραμετρικής συνάρτησης αν Ένα από τα πιο συνηθισμένα κριτήρια επιλογής εκτιμητών είναι το Μέσο Τετραγωνικό Σφάλμα ( ) του εκτιμητή Συνάρτηση Ζημίας (Loss Function)-Συνάρτηση Κινδύνου (Risk Function) Γενικά, η εκτίμηση της παραμετρικής συνάρτησης από μία τιμή μετριέται από την συνάρτηση ζημίας, για την οποία ισχύουν, για όλα τα. για όλα τα. Έτσι ώστε η ζημιά να είναι μηδέν όταν η παράμετρος εκτιμάται από τη σωστή τιμή. Ορισμός Η ακρίβεια ή μη-ακρίβεια ενός εκτιμητή, μετριέται από την συνάρτηση κινδύνου που ορίζεται ως, [5]

6 Το Μέσο Τετραγωνικό Σφάλμα ( ) είναι μία συνάρτηση ζημίας, οπότε μπορούμε να επαναδιατυπώσουμε τους παραπάνω ορισμούς αντικαθιστώντας το με μια άλλη συνάρτηση ζημίας. Ορισμός Το Μέσο Τετραγωνικό Σφάλμα ορίζεται ως εξής,. Πρόταση Η ποσότητα καλείται μεροληψία ή συστηματικό σφάλμα του εκτιμητή για την ποσότητα, οπότε Παρατήρηση Αν είναι αμερόληπτος εκτιμητής της παραμετρικής συνάρτησης, τότε. Ορισμός Ο εκτιμητής ονομάζεται καλύτερος του εκτιμητή για την εκτίμηση της παραμετρικής συνάρτησης αν, και επιπλέον, για κάποιο. Εάν ο εκτιμητής είναι καλύτερος από τον εκτιμητή ως προς το μέσο τετραγωνικό σφάλμα για την, τότε ο λέγεται μη αποδεκτός εκτιμητής της παραμετρικής συνάρτησης. Ορισμός Ο ονομάζεται βέλτιστος εκτιμητής ως προς το μέσο τετραγωνικό σφάλμα για την αν είναι καλύτερος από κάθε άλλο εκτιμητή της παραμετρικής συνάρτησης. Πρόταση Έστω ένα τυχαίο δείγμα από μία κατανομή, και η μέση τιμή της κατανομής, τότε ο δειγματικός μέσος αμερόληπτος εκτιμητής του., είναι Πρόταση Έστω ένα τυχαίο δείγμα από μία κατανομή, και η διασπορά της κατανομής, τότε η δειγματική διασπορά είναι αμερόληπτος εκτιμητής του. [6]

7 1.2.1 Η έννοια της Επάρκειας Η έννοια της επάρκειας είναι μία από τις σημαντικότερες έννοιες της Στατιστικής Συμπερασματολογίας και χαρακτηρίζει εκείνες τις στατιστικές συναρτήσεις που έχουν την ιδιότητα να περιέχουν όλες τις πληροφορίες για την άγνωστη παράμετρο που περιέχει το δείγμα. Η επαρκής στατιστική συνάρτηση παρουσιάζει το σημαντικό πλεονέκτημα έναντι του δείγματος, ότι συνήθως έχει πολύ μικρότερη διάσταση από τη διάσταση του, με αυτήν την έννοια η επάρκεια προκαλεί επιθυμητή μείωση των προς ανάλυση δεδομένων χωρίς απώλεια πληροφοριών για το. Ορισμός Η στατιστική συνάρτηση λέγεται επαρκής ή επαρκής για το εάν η δεσμευμένη κατανομή του δοθέντος ότι δεν εξαρτάται από το, για κάθε τιμή του για την οποία μπορεί να ορισθεί η δεσμευμένη κατανομή. Ένας τρόπος εύρεσης μίας επαρκούς στατιστικής συνάρτησης, εκτός του ορισμού, δίνεται από το παρακάτω θεώρημα των Neyman-Fisher (ή παραγοντικό κριτήριο των Neyman- Fisher) Θεώρημα (Neyman-Fisher) Εάν το δείγμα έχει κατανομή με συνάρτηση πυκνότητας πιθανότητας, τότε η στατιστική συνάρτηση είναι επαρκής εάν και μόνο εάν υπάρχουν συναρτήσεις και έτσι ώστε, Παρατήρηση ) Το δείγμα είναι τετριμμένα επαρκής στατιστική συνάρτηση αφού, με και. 2) Εάν είναι ένα τυχαίο δείγμα από μία κατανομή και είναι οι διατεταγμένες στατιστικές συναρτήσεις, δηλαδή μικρότερη παρατήρηση, τότε, η δεύτερη μικρότερη παρατήρηση,, η όπου Επομένως η στατιστική συνάρτηση συνάρτηση. είναι επαρκής στατιστική [7]

8 3) Έστω ότι η στατιστική συνάρτηση είναι επαρκής και είναι μετασχηματισμός της. Τότε και είναι επαρκής γιατί Ορισμός Ελάχιστη επαρκής στατιστική συνάρτηση είναι μία επαρκής στατιστική συνάρτηση η οποία προέρχεται από την μεγαλύτερη δυνατή σύμπτυξη ( δηλαδή έχει την μικρότερη δυνατή διάσταση). Παρατήρηση Σχεδόν πάντα, η διάσταση της παραμετρικής συνάρτησης συμπίπτει με την διάσταση της ελάχιστης επαρκούς στατιστικής συνάρτησης. Μία σημαντική εφαρμογή της έννοιας της επάρκειας δίνεται στο επόμενο θεώρημα των Rao- Blackwell. Το θεώρημα αυτό δείχνει ότι εάν είναι επαρκής στατιστική συνάρτηση και είναι ένας εκτιμητής του (με πραγματική συνάρτηση) που δεν είναι συνάρτηση του, τότε υπάρχει εκτιμητής που είναι συνάρτηση του και έχει μέσο τετραγωνικό σφάλμα μικρότερο από αυτό του. Συνεπώς οι εκτιμητές που δεν είναι συναρτήσεις της επαρκούς στατιστικής συνάρτησης είναι μη αποδεκτοί. Θεώρημα (Rao-Blackwell) Έστω επαρκής στατιστική συνάρτηση και ένας εκτιμητής του. Ακόμη έστω, τότε έχουμε τα εξής: 1) και συνεπώς εάν ο είναι αμερόληπτος εκτιμητής του το ίδιο ισχύει και για τον. 2) και ισχύει γνήσια ανισότητα εκτός και εάν ο εκτιμητής είναι συνάρτηση του, οπότε. 3) και ισχύει γνήσια ανισότητα εκτός εάν ο εκτιμητής είναι συνάρτηση του, οπότε. Παρατήρηση ) Ο εκτιμητής λέγεται Rao-Blackwell βελτίωση του εκτιμητή. 2) Από το (3) του Θεωρήματος προκύπτει ότι εάν ο εκτιμητής δεν είναι συνάρτηση του, τότε είναι μη αποδεκτός αφού ο εκτιμητής έχει μικρότερο μέσο τετραγωνικό σφάλμα. Από το Θεώρημα των Rao-Blackwell είδαμε ότι εάν έχουμε μία επαρκής στατιστική συνάρτηση και έναν αμερόληπτο εκτιμητή του,, τότε η βελτίωση Rao-Blackwell του,, είναι επίσης αμερόληπτος εκτιμητής και έχει μικρότερη διασπορά από αυτή του. Εάν όμως η στατιστική συνάρτηση έχει μία ακόμα ιδιότητα, αυτή της πληρότητας, τότε ο εκτιμητής δεν είναι απλώς καλλίτερος εκτιμητής από τον ως προς τη διασπορά, αλλά είναι καλλίτερος από οποιοδήποτε άλλον αμερόληπτο εκτιμητή του. [8]

9 1.2.2 Ιδιότητα της Πληρότητας Ορισμός Η στατιστική συνάρτηση λέγεται πλήρης εάν η σχέση συνεπάγεται, δηλαδή για κάθε δυνατή τιμή της στατιστική συνάρτησης. Παρατήρηση Παρατηρούμε ότι η στατιστική συνάρτηση είναι πλήρης εάν και μόνο εάν η μόνη συνάρτηση του με μέση τιμή μηδέν για κάθε είναι η σταθερά συνάρτηση μηδέν. Μία στατιστική συνάρτηση που ικανοποιεί τη συνθήκη του ορισμού,, αναφέρεται σαν αμερόληπτος εκτιμητής του μηδενός. Συνεπώς η στατιστική συνάρτηση είναι πλήρης εάν και μόνο εάν ο μόνος αμερόληπτος εκτιμητής του μηδενός είναι η σταθερά συνάρτηση μηδέν. Ανεξαρτησία στατιστικών συναρτήσεων Στο παρακάτω θεώρημα, στην βιβλιογραφία αναφέρεται και ως Θεώρημα του Basu, αποδεικνύεται η ανεξαρτησία στατιστικών συναρτήσεων, χρησιμοποιώντας την έννοια της επάρκειας. Θεώρημα (Basu) Έστω ότι η στατιστική συνάρτηση είναι επαρκής και πλήρης και μία στατιστική συνάρτηση με κατανομή που δεν εξαρτάται από την άγνωστη παράμετρο. Τότε και είναι ανεξάρτητες στατιστικές συναρτήσεις Αμερόληπτος εκτιμητής Ελάχιστης Διασποράς Ορισμός Η στατιστική συνάρτηση ελάχιστης διασποράς ( ) για το εάν, ονομάζεται αμερόληπτος εκτιμητής 1) είναι αμερόληπτος, δηλαδή 2) και κάθε άλλο αμερόληπτο εκτιμητή του Από τον ορισμό φαίνεται ότι για να βρούμε τον εκτιμητή πρέπει να ελαχιστοποιήσουμε όσο το δυνατόν περισσότερο τη διασπορά μίας στατιστικής συνάρτησης σε σχέση με την προς εκτίμηση ποσότητα, δηλαδή είναι επιθυμητό να βρούμε ένα κάτω φράγμα για τη διασπορά των αμερόληπτων εκτιμητών αυτής της ποσότητας. Αυτό το κάτω φράγμα μας το προσφέρει το Θεώρημα Cramer-Rao. Θεώρημα (Cramer-Rao) Έστω ένα δείγμα με από κοινού πυκνότητα πιθανότητας Εάν είναι στατιστική συνάρτηση με, και ισχύουν οι εξής συνθήκες, Ο παραμετρικός χώρος είναι ανοικτό υποσύνολο του. Το σύνολο δεν εξαρτάται από το. [9]

10 Αν και. Η ποσότητα ονομάζεται αριθμός ή μέτρο πληροφορίας του Fisher. Τότε To κάτω φράγμα για τη διασπορά των αμερόληπτων εκτιμητών του Cramer-Rao κάτω φράγμα. (C.R.-Κ.Φ.) ονομάζεται Παρατήρηση Ιδιότητες υπολογισμού αριθμού πληροφορίας Fisher, 1). 2) Αν το δείγμα αποτελείται από ανεξάρτητες τυχαίες μεταβλητές, όπου κάθε μία από τις ακολουθεί μία κατανομή με πυκνότητα πιθανότητας, τότε όπου 3)Αν το δείγμα είναι τυχαίο, τότε, όπου είναι ο αριθμός πληροφορίας του Fisher για κάθε μία από τις. Η δυσκολία του θεωρήματος Cramer-Rao βρίσκεται στην επαλήθευση των συνθηκών, η οποία άρεται όταν η οικογένεια κατανομών του τυχαίου διανύσματος ανήκει στην Μονοπαραμετρική Εκθετική Οικογένεια Κατανομών ( ). Θεώρημα (Lehmann-Scheffe) Έστω επαρκής και πλήρης στατιστική συνάρτηση και αμερόληπτος εκτιμητής του, τότε είναι ο μοναδικός εκτιμητής του. [10]

11 Πόρισμα Έστω επαρκής και πλήρης στατιστική συνάρτηση και ένας αμερόληπτος εκτιμητής του, που είναι συνάρτηση του, τότε ο είναι ο μοναδικός αμερόληπτος εκτιμητής ελάχιστης διασποράς του. Παρατήρηση Το θεώρημα και το πόρισμα παρέχουν δύο τρόπους εύρεσης εκτιμητή. Οι δύο αυτές διαφορετικές μέθοδοι απαιτούν αρχικά, σε πρώτο στάδιο, την εύρεση επαρκούς και πλήρους στατιστικής συνάρτησης, το θεώρημα δηλώνει ότι εάν ευρεθεί ένας οποιοσδήποτε αμερόληπτος εκτιμητής του τότε, ο οποίος αποτελεί την Rao-Blackwell βελτίωση του εκτιμητή, είναι ο εκτιμητής (απαιτεί υπολογισμό της δεσμευμένης μέσης τιμής). Το πόρισμα δηλώνει ότι εάν ευρεθεί αμερόληπτος εκτιμητής του που είναι συνάρτηση της επαρκούς και πλήρης στατιστικής συνάρτησης τότε αυτός είναι ο εκτιμητής του. Πρόταση Έστω δύο εκτιμητές του, τότε Παραμετρική Εκθετική Οικογένεια Κατανομών Ορισμός Η οικογένεια κατανομών του τυχαίου διανύσματος, ανήκει στην Πολυπαραμετρική Εκθετική Οικογένεια Κατανομών διάστασης, εάν υπάρχουν πραγματικές συναρτήσεις έτσι ώστε,, όπου το σύνολο δεν εξαρτάται από το Παρατήρηση Για Κατανομών ( ) εάν η οικογένεια κατανομών του ανήκει στην Μονοπαραμετρική Εκθετική Οικογένεια το σύνολο δεν εξαρτάται από την άγνωστη παράμετρο Πρόταση Έστω ότι η οικογένεια κατανομών ανήκει στην Πολυπαραμετρική Εκθετική Οικογένεια κατανομών ( τότε έχουμε τα εξής: του τ.δ. ) για κάποιο 1) Η στατιστική συνάρτηση είναι επαρκής. 2)Εάν το πεδίο τιμών της συνάρτησης περιέχει ένα ανοικτό υποσύνολο του τότε η στατιστική συνάρτηση είναι πλήρης. [11]

12 Πόρισμα Έστω ένα τυχαίο διάνυσμα από την, τότε έχουμε τα εξής: 1) Η στατιστική συνάρτηση είναι επαρκής. 2) Εάν το πεδίο τιμών της συνάρτησης περιέχει ένα ανοικτό υποσύνολο του τότε η στατιστική συνάρτηση είναι πλήρης., Εκτίμηση με τη μέθοδο της Μέγιστης Πιθανοφάνειας Η μέθοδος μέγιστης πιθανοφάνειας αποτελεί ένα γενικό τρόπο κατασκευής εκτιμητών για μία άγνωστη παράμετρο. Η μέθοδος στηρίζεται στην απλή και βασική αρχή ότι εάν η τιμή του τ.δ., όπου είναι τα προς ανάλυση δεδομένα, τότε επιλέγεται σαν εκτίμηση του η τιμή που μεγιστοποιεί ως προς την πιθανοφάνεια του (αρχή μέγιστης πιθανοφάνειας). Για διακριτό η πιθανοφάνεια είναι η πιθανότητα να παρατηρηθεί η παρατηρηθείσα τιμή, Γενικά εάν το έχει κατανομή η συνάρτηση πιθανοφάνειας ορίζεται από τη σχέση. Ο εκτιμητής μέγιστης πιθανοφάνειας ορίζεται ως εξής. Ορισμός Ο εκτιμητής εάν. λέγεται εκτιμητής μέγιστης πιθανοφάνειας του Η εύρεση του εκτιμητή μέγιστης πιθανοφάνειας ανάγεται στην εύρεση του μέγιστου της συνάρτησης πιθανοφάνειας. Το μέγιστο μπορεί να επιτυγχάνεται για μία μοναδική τιμή ή για περισσότερες από μία ή να μην υπάρχει. Ανάλογα ο εκτιμητής μέγιστης πιθανοφάνειας είναι μοναδικός ή υπάρχουν πολλοί ή δεν υπάρχει. Σημειώνουμε ότι εάν η συνάρτηση παραγωγίζεται για και το μέγιστο υπάρχει τότε μπορεί να ευρεθεί με παραγώγιση. Σε αυτή τη περίπτωση είναι συχνά πιο εύκολο να μεγιστοποιήσουμε τον λογάριθμο, οπότε και η τιμή του που μεγιστοποιεί την είναι ο γιατί ο λογάριθμος είναι γνησίως αύξουσα συνάρτηση. Στην περίπτωση τυχαίου δείγματος από την κατανομή η συνάρτηση πιθανοφάνειας έχει τη μορφή, [12]

13 Στην περίπτωση που το παίρνει πραγματικές τιμές και το μέγιστο μπορεί να ευρεθεί με παραγώγιση ο ικανοποιεί την εξίσωση, Η εξίσωση αυτή λέγεται εξίσωση πιθανοφάνειας. Αν τώρα, που το είναι διάνυσμα και το μέγιστο μπορεί να ευρεθεί με παραγώγιση ο ικανοποιεί το σύστημα εξισώσεων, Οι εξισώσεις αυτές λέγονται εξισώσεις πιθανοφάνειας. Παρατήρηση Ιδιότητες εκτιμητών μέγιστης πιθανοφάνειας. 1) Από τον ορισμό προκύπτει ότι αν υπάρχει τότε παίρνει τιμές μέσα στον παραμετρικό χώρο. 2) Αν ο του είναι μοναδικός, τότε είναι συνάρτηση της ελάχιστης επαρκούς στατιστικής συνάρτησης. 3) Αν είναι του τότε ο της παραμετρικής συνάρτησης είναι ο. 4) Οι είναι υπό ορισμένες συνθήκες συνεπείς εκτιμητές. Ορισμός Έστω ένας εκτιμητής της παραμετρικής συνάρτησης. Τότε ο εκτιμητής ονομάζεται συνεπής αν Πρόταση Έστω ότι ο εκτιμητής ικανοποιεί τις παρακάτω συνθήκες, 1) 2) Τότε ο είναι συνεπής εκτιμητής της παραμετρικής συνάρτησης. 5) Οι είναι υπό ορισμένες συνθήκες ασυμπτωτικά κανονικοί και αποδοτικοί εκτιμητές. Πιο συγκεκριμένα εάν το είναι πραγματική παράμετρος και το δείγμα είναι τυχαίο τότε μπορεί να δειχθεί ότι η ασυμπτωτική κατανομή του του (δηλαδή η κατανομή του για ) [13]

14 είναι κανονική όπου είναι η πληροφορία Fisher που περιέχεται σε μία παρατήρηση. Ο είναι ασυμπτωτικά αποτελεσματικός εκτιμητής, δηλαδή αν κάποιος άλλος εκτιμητής του, έστω, έχει κατά προσέγγιση κανονική κατανομή τότε υπό ορισμένες συνθήκες,. Οι παραπάνω ιδιότητες των εκτιμητών μέγιστης πιθανοφάνειας συνεπάγονται ότι ο είναι ασυμπτωτικά για το, δηλαδή αν υπάρχουν οι και για κάποια, τότε αυτοί δεν διαφέρουν ασυμπτωτικά Σύγκριση εκτιμητών και Δίνουμε κάποια συγκριτικά στοιχεία τα οποία θα μπορούσαν να ληφθούν υπόψη όταν καλούμαστε να χρησιμοποιήσουμε μία από τις δύο κατηγορίες εκτιμητών. 1) Οι παίρνουν τιμές μέσα στο σύνολο των δυνατών τιμών της παραμετρικής συνάρτησης που εκτιμούν. Αυτή είναι μία βασική και επιθυμητή ιδιότητα ενός εκτιμητή που όμως δεν την έχουν πάντοτε οι εκτιμητές. 2) Οι εκτιμητές είναι πάντοτε συνάρτηση της ελάχιστης επαρκούς στατιστικής συνάρτησης. Ο είναι συνάρτηση της επαρκούς στατιστικής συνάρτησης εάν είναι μοναδικός. 3) Ο εκτιμητής, εάν υπάρχει είναι μοναδικός, ενώ ο είναι συνήθως μοναδικός. 4) Οι υπάρχουν πιο συχνά από τους εκτιμητές και όταν υπάρχουν είναι πιο εύκολο να υπολογισθούν από τους εκτιμητές. Η μέθοδος μέγιστης πιθανοφάνειας είναι πιο γενική και απλή. 5) Εάν είναι της παραμέτρου τότε είναι της παραμετρικής συνάρτησης. Οι εκτιμητές δεν έχουν αυτήν την ιδιότητα 6) Για μεγάλα δείγματα,, οι εκτιμητές και οι ουσιαστικά δίνουν την ίδια εκτίμηση Αντίστροφοι μετασχηματισμοί Θεώρημα Έστω μία συνεχής τυχαία μεταβλητή με πυκνότητα πιθανότητα, εκτός από πεπερασμένου πλήθους σημεία. Έστω επίσης μία μετρήσιμη συνάρτηση, τέτοια ώστε η είναι μία τυχαία μεταβλητή. Θεωρούμε το σύνολο και είναι η εικόνα της μέσω της Αν, 1) η συνάρτηση είναι αμφιμονοσήμαντη, οπότε υπάρχει η αντίστροφος συνάρτηση. [14]

15 2) η συνάρτηση είναι παραγωγίσιμη και η παράγωγός της είναι συνεχής στον, τότε η πυκνότητα πιθανότητας της,, δίνεται από τη σχέση,. Θεώρημα Θεωρούμε το συνεχές k-διάστατο τυχαίο δείγμα με πυκνότητα πιθανότητας,εκτός από κάποιο πεπερασμένο πλήθος σημείων. Έστω επίσης ένας μετρήσιμος μετασχηματισμός, όπου, τέτοιος ώστε είναι ένα διάστατο τυχαίο διάνυσμα. Θεωρούμε το σύνολο και είναι η εικόνα της μέσω της Αν, 1) η συνάρτηση είναι αμφιμονοσήμαντη, οπότε υπάρχει ο αντίστροφος μετασχηματισμός. 2) Υπάρχουν οι μερικές παράγωγοι της συνάρτησης,, και είναι συνεχής στον. Τότε η πυκνότητα του τυχαίου διανύσματος δίνεται από τη σχέση, όπου είναι η Ιακωβιανή και ορίζεται ως,, Αναλλοίωτο Πρόβλημα Εκτίμησης Θεωρούμε ότι είναι μία τυχαία μεταβλητή η οποία παίρνει τιμές σε ένα δειγματικό χώρο, σύμφωνα με μία πυκνότητα πιθανότητας από την οικογένεια κατανομών Ορίζουμε σαν μία κλάση μετασχηματισμών. Ορισμός (i) Έστω είναι μετασχηματισμός. Αν, επίσης, για κάθε, η κατανομή της τυχαίας μεταβλητής είναι μέλος της κλάσης, έστω, όπου, τότε η οικογένεια κατανομών της Σχέσης ονομάζεται αναλλοίωτη ως προς τον μετασχηματισμό. [15]

16 (ii) Αν ισχύει η (i) για κάθε μέλος της κλάσης των μετασχηματισμών, τότε η οικογένεια κατανομών είναι αναλλοίωτη ως προς την. Παρατήρηση Μια κλάση μετασχηματισμών, η οποία αφήνει μια οικογένεια κατανομών αναλλοίωτη μπορεί πάντα να θεωρηθεί ότι είναι μια ομάδα ) η οποία γεννιέται από την κλάση. Έστω είναι μια ομάδα μετασχηματισμών του δειγματικού χώρου, η οποία αφήνει την οικογένεια κατανομών αναλλοίωτη. Αν η τυχαία μεταβλητή έχει κατανομή, τότε είναι μία συνάρτηση και ο μετασχηματισμός είναι, δεδομένου ότι οι κατανομές, είναι διαφορετικές. Επιπλέον, οι μετασχηματισμοί δημιουργούν μία ομάδα μετασχηματισμών, η οποία θα αναφέρεται ως. Από τον ορισμό της, έπεται ότι, Θεωρούμε το γενικό πρόβλημα εκτίμησης μίας παραμετρικής συνάρτησης στην οικογένεια κατανομών η οποία θεωρείται ότι είναι αναλλοίωτη ως προς τους μετασχηματισμούς, Μία επιπλέον συνθήκη που απαιτείται είναι ότι για κάθε, η εξαρτάται από το, μόνο μέσω της, δηλαδή ισχύει ότι, Η κοινή τιμή του ), για όλα τα για τα οποία η παίρνει την ίδια τιμή θα ορίζεται από τη σχέση, Αν είναι το σύνολο των τιμών της οι μετασχηματισμοί δημιουργούν μία ομάδα μετασχηματισμών. Η εκτιμώμενη τιμή της, όταν εκφρασθεί στις καινούργιες συντεταγμένες γίνεται, Αφού τα προβλήματα εκτίμησης είτε της σε σχέση με την τριάδα, είτε της σε σχέση με την τριάδα, αναπαριστά την ίδια φυσική κατάσταση εκφρασμένη σε καινούργιο σύστημα συντεταγμένων, η συνάρτηση ζημίας θα πρέπει να ικανοποιεί τη σχέση, [16]

17 Ορισμός Αν η οικογένεια κατανομών είναι αναλλοίωτη ως προς την η συνάρτηση ζημίας ικανοποιεί τη σχέση, και η ικανοποιεί τη Σχέση, τότε το πρόβλημα εκτίμησης της με συνάρτηση ζημίας είναι αναλλοίωτο ως προς την. Ορισμός Σε ένα αναλλοίωτο πρόβλημα εκτίμησης, ένας εκτιμητής αναλλοίωτος (equivariant) αν, ονομάζεται. [17]

18 Κεφάλαιο 2 Εκτίμηση Ποσοστιαίου σημείου Διπαραμετρικής Εκθετικής Κατανομής Σε αυτό το κεφάλαιο θεωρούμε ανεξάρτητα τυχαία δείγματα από εκθετικούς πληθυσμούς με την ίδια παράμετρο θέσης και διαφορετικές παραμέτρους κλίμακας, για κάθε πληθυσμό ξεχωριστά. Βασιζόμενοι στην εργασία των Kumar and Sharma (1996), ασχολούμαστε με την εκτίμηση του ποσοστιαίου σημείου από τον πρώτο εκθετικό πληθυσμό βρίσκοντας τον εκτιμητή μέγιστης πιθανοφάνειας. Επίσης υπολογίζουμε τον εκτιμητή του, ο οποίος δίνεται στην εργασία των Sharma and Kumar (1994). 2.1 Διπαραμετρική Εκθετική Κατανομή Αρχικά θα ορίσουμε την διπαραμετρική εκθετική κατανομή. Ορισμός Μία συνεχής τυχαία μεταβλητή κατανομή με παραμέτρους R και, εάν η συνάρτηση πυκνότητας πιθανότητας της είναι, ακολουθεί την διπαραμετρική Εκθετική και η συνάρτηση κατανομή της είναι, Συμβολικά γράφουμε. Παρατήρηση Με τη μορφή δείκτριας συνάρτησης η συνάρτηση πυκνότητας πιθανότητας και η συνάρτηση κατανομής παίρνουν τη μορφή, Ορισμός Έστω τ.μ με πυκνότητα πιθανότητας της μορφής, τότε το καλείται παράμετρος θέσης της κατανομής. Ορισμός Έστω τ.μ με πυκνότητα πιθανότητας της μορφής, τότε το καλείται παράμετρος κλίμακας της κατανομής. [18]

19 Παρατήρηση Το είναι η παράμετρος θέσης της διπαραμετρικής εκθετικής κατανομής, δηλαδή το σημείο που αντιστοιχεί στην τιμή της μεταβλητής γύρω από την οποία τείνουν να συγκεντρωθούν οι μεταβλητές του πληθυσμού (καθορίζουμε την κεντρική θέση της κατανομής) ενώ το είναι η παράμετρος κλίμακας, δηλαδή ένα μέτρο διασποράς που έχει τη δυνατότητα να εκτιμάει τις αποκλίσεις των τιμών της τυχαίας μεταβλητής γύρω από τη παράμετρο θέσης. 2.2 Ποσοστιαίο σημείο Διπαραμετρικής Εκθετικής Κατανομής Ορισμός Το με την ιδιότητα, ποσοστιαίο σημείο μιας συνεχής κατανομής ορίζεται ως το σημείο,. Πρόταση Έστω τυχαία μεταβλητή από τη διπαραμετρική Εκθετική κατανομή, R και, τότε το ποσοστιαίο σημείο της κατανομής είναι της μορφής Απόδειξη: Θέτουμε, όπου οπότε. 2.3 Εύρεση για το ποσοστιαίο σημείο Ανεξάρτητα τυχαία δείγματα είναι διαθέσιμα από εκθετικούς πληθυσμούς, οι οποίοι έχουν την ίδια παράμετρο θέσης και διαφορετικές παραμέτρους κλίμακας i,. Παίρνουμε ανεξάρτητα τυχαία δείγματα, από την κατανομή και θέτουμε, [19]

20 του πληθυσμού, όπου είναι ο δειγματικός μέσος, ή διαφορετικά, Σε αυτήν την ενότητα υπολογίζεται ο του ποσοστιαίου σημείου από τον πρώτο εκθετικό πληθυσμό. Εκμεταλλευόμενοι τις ιδιότητες των (βλ. Παρατήρηση 1.4.2) θα υπολογίσουμε, αρχικά, τους των παραμέτρων και, Πρόταση Οι της παραμέτρου θέσης και παραμέτρων κλίμακας είναι οι στατιστικές συναρτήσεις και, αντίστοιχα. Απόδειξη: Θεωρούμε ανεξάρτητα τυχαία δείγματα διαθέσιμα από πληθυσμούς. εκθετικούς, Παίρνουμε τη μικρότερη παρατήρηση από κάθε δείγμα και συμβολίζουμε ως,. Τότε η στατιστική συνάρτηση μπορεί να γραφεί και ως, Η από κοινού συνάρτηση πυκνότητας πιθανότητας του τ.δ είναι, Οπότε, η από κοινού συνάρτηση πυκνότητας πιθανότητας των,, που είναι και η συνάρτηση πιθανοφάνειας, δίνεται από τη σχέση, Για να υπολογίσουμε τον για τις άγνωστες παραμέτρους, αρκεί να μεγιστοποιήσουμε την συνάρτηση πιθανοφάνειας, Αρχικά μεγιστοποιούμε την συνάρτηση πιθανοφάνειας ως προς, παρατηρούμε ότι, [20]

21 δηλαδή η μεγιστοποιείται, όταν η παράμετρος πάρει την τιμή, οπότε ο για το, θα είναι Θα βρούμε τους εκτιμητές μέγιστης πιθανοφάνειας για τα παρακάτω σύστημα εξισώσεων, επιλύοντας το όπου, έχουμε, άρα ο του, είναι, ή διαφορετικά Πρόταση Ο του ποσοστιαίου σημείου από τον πρώτο εκθετικό πληθυσμό είναι ο. Απόδειξη: Για την εύρεση του του ποσοστιαίου σημείου του πρώτου εκθετικού πληθυσμού θα βασιστούμε στην παρακάτω ιδιότητα. Αν είναι του τότε ο της παραμετρικής συνάρτησης είναι ο. (βλ. Παρατήρηση 1.4.2) [21]

22 Από την Πρόταση 2.3.1, γνωρίζουμε ότι και,, άρα είναι ο του. 2.4 Εύρεση εκτιμητή για το ποσοστιαίο σημείο Θεωρούμε ανεξάρτητα τυχαία δείγματα από εκθετικούς πληθυσμούς, όπου ο καθένας από αυτούς έχει την ίδια παράμετρο θέσης και διαφορετική παράμετρο κλίμακας,. Σε αυτήν την ενότητα στοχεύουμε στην εύρεση του εκτιμητή των άγνωστων παραμέτρων και αντίστοιχα, ώστε να καταλήξουμε στον εκτιμητή του ποσοστιαίου σημείου του πρώτου εκθετικού πληθυσμού. Τα κύρια αποτελέσματα αυτής της ενότητας αναφέρονται στην εργασία των Kumar and Sharma (1994). Σε πρώτο στάδιο σκοπός μας είναι η εύρεση μίας επαρκούς και πλήρους στατιστικής συνάρτησης έτσι ώστε να ευρεθεί ένας αμερόληπτος εκτιμητής του ποσοστιαίου σημείου που να είναι συνάρτηση της επαρκούς και πλήρους στατιστικής συνάρτησης. Από το Θεώρημα Lehmann-Scheffe (βλ. Θεώρημα ) φαίνεται ότι η πληρότητα σε συνδυασμό με την επάρκεια μπορεί να οδηγήσει στην εύρεση εκτιμητή. Θεωρούμε τα τυχαία δείγματα, από την διπαραμετρική εκθετική κατανομή και θέτουμε, όπως και στην προηγούμενη ενότητα, τις εξής στατιστικές συναρτήσεις, και Η στατιστική συνάρτηση δηλώνει το μικρότερο στατιστικό στοιχείο, ενώ είναι ο δειγματικός μέσος του οστού δείγματος. Πρόταση Η στατιστική συνάρτηση είναι επαρκής. Απόδειξη: Θα εξετάσουμε αν η στατιστική συνάρτηση είναι επαρκής χρησιμοποιώντας το παραγοντικό κριτήριο Neyman-Fisher. Έστω τότε η στατιστική συνάρτηση είναι επαρκής εάν και μόνο εάν υπάρχουν συναρτήσεις και έτσι ώστε, δηλαδή αν η μπορεί να παραγοντοποιηθεί σαν γινόμενο δύο παραγόντων με την προηγούμενη μορφή. Η από κοινού συνάρτηση πυκνότητας πιθανότητας των,,, είναι, [22]

23 οπότε για προκύπτει ότι η στατιστική συνάρτηση, είναι επαρκής. Στη συνέχεια της απόδειξης θα κάνουμε χρήση των ιδιοτήτων για τις επαρκείς συναρτήσεις και συγκεκριμένα την ιδιότητα (3) της Παρατήρησης Έστω επαρκής στατιστική συνάρτηση και όπου είναι απεικόνιση τότε η στατιστική συνάρτηση είναι επαρκής. Έχουμε τη στατιστική συνάρτηση, δηλαδή Όμως όπου είναι μία απεικόνιση της στατιστικής συνάρτησης που είναι επαρκής, οπότε και η στατιστική συνάρτηση είναι επαρκής. Άρα επαρκής στατιστική συνάρτηση. Εφόσον δείξαμε την επάρκεια της στατιστικής συνάρτησης επόμενες προτάσεις που ακολουθούν θα βρούμε τις κατανομές των στατιστικών συναρτήσεων και αντίστοιχα. στις [23]

24 Πρόταση Η τυχαία μεταβλητή, η μικρότερη παρατήρηση του δείγματος, ακολουθεί την διπαραμετρική εκθετική κατανομή Απόδειξη: Βρίσκουμε την κατανομή της της. χρησιμοποιώντας την συνάρτηση κατανομής Επειδή είναι ανεξάρτητες και ισόνομες (τυχαίο δείγμα) έχουμε, οπότε η τυχαία μεταβλητή. Πρόταση Όταν, η τυχαία μεταβλητή ακολουθεί τη διπαραμετρική εκθετική κατανομή όπου. Απόδειξη: Για να βρούμε την κατανομή της κατανομής. θα κάνουμε χρήση της συνάρτησης Έστω η συνάρτηση κατανομής της, τότε,, ανεξάρτητες και ισόνομες. Συνεχίζοντας έχουμε,, η μικρότερη παρατήρηση του πρώτου δείγματος και, η μικρότερη παρατήρηση του δεύτερου δείγματος αντίστοιχα, όπου [24]

25 Οπότε η τυχαία μεταβλητή με συνάρτηση πυκνότητας πιθανότητας Παρατήρηση Κατά τον ίδιο τρόπο βρίσκουμε τη συνάρτηση πυκνότητας πιθανότητας της τυχαίας μεταβλητής, Πρόταση Θεωρούμε ανεξάρτητα τυχαία δείγματα από δύο εκθετικούς πληθυσμούς, τότε η από κοινού συνάρτηση πυκνότητας πιθανότητας των τ.μ, όπου δίνεται από τη σχέση, Απόδειξη: Έχουμε ορίσει ως έχουμε, οπότε για δύο εκθετικούς πληθυσμούς όπου. [25]

26 Οπότε έχουμε, Θέτουμε, οπότε γράφεται ως, αντίστοιχα για το έχουμε, Θα υπολογίσουμε τη συνάρτηση επιβίωσης του τυχαίου διανύσματος πιθανότητα,, δηλαδή την Χρησιμοποιώντας την ανεξαρτησία των με και με, η οποία αποδεικνύεται στο Λήμμα 4.1 του Παραρτήματος και δεδομένου ότι έχουμε πάρει τυχαία δείγματα, το με την εφαρμογή του πολλαπλασιαστικού θεωρήματος γράφεται ως, [26]

27 Αντίστοιχα για το έχουμε, Χρησιμοποιώντας τα Λήμματα (4.1), (4.2), (4.3), (4.4), (4.5), του Παραρτήματος μπορούμε να υπολογίσουμε τις παρακάτω πιθανότητες. Οπότε, Συνδυάζοντας τις Σχέσεις ), ( και η από κοινού συνάρτηση πυκνότητας πιθανότητας των τ.μ είναι, Παρατήρηση Συμπεραίνουμε ότι η από κοινού σ.π.π των είναι της μορφής, η οποία ανήκει στις Πολυπαραμετρικές Εκθετικές Οικογένειες Κατανομών τάξης, οπότε σύμφωνα με την Πρόταση 1.3.3, η στατιστική συνάρτηση είναι πλήρης., [27]

28 Παρατήρηση Γενικεύοντας την Πρόταση 2.4.5, παίρνουμε ανεξάρτητα τυχαία δείγματα από εκθετικούς πληθυσμούς και βρίσκουμε ότι η από κοινού σ.π.π των τ.μ είναι της μορφής,. Πρόταση Η στατιστική συνάρτηση είναι πλήρης. Απόδειξη: Για συγκεκριμένα η στατιστική συνάρτηση είναι πλήρης για. Όπως δείξαμε στη Πρόταση 2.4.3, η τυχαία μεταβλητή ακολουθεί τη διπαραμετρική εκθετική κατανομή, όπου. Η συνάρτηση πυκνότητας πιθανότητας της είναι, Έστω τότε, όμως Επομένως η σ.σ είναι πλήρης. Παρατήρηση Χρησιμοποιώντας το θεώρημα παραγοντοποιήσης αποδείξαμε στην Πρόταση ότι η στατιστική συνάρτηση είναι επαρκής στατιστική [28]

29 συνάρτηση για προέρχεται από τις. Στη συνέχεια θα δείξουμε ότι η οικογένεια κατανομών που είναι πλήρης. Πρώτα όμως θα δείξουμε την ανεξαρτησία της σ.σ από την. Σημειώνουμε ότι επαρκής σ.σ και καθορισμένο η είναι πλήρης για ενώ έχουν μια κοινή κατανομή ανεξάρτητη από τη παράμετρο. Ως εκ τούτου χρησιμοποιώντας το θεώρημα Basu (βλ. Θεώρημα ), και είναι ανεξάρτητες μεταξύ τους στατιστικές συναρτήσεις. Παρατήρηση Στην Πρόταση 2.4.3, δείξαμε ότι η τυχαία μεταβλητή, όπου, δηλαδή 2. Στην Πρόταση 2.4.8, δείξαμε ότι είναι πλήρης σ.σ. 3. Στην Παρατήρηση 2.4.6, είδαμε ότι η από κοινού σ.π.π των είναι της μορφής,, η οποία ανήκει στις Πολυπαραμετρικές Εκθετικές Οικογένειες Κατανομών τάξης, οπότε η σ.σ είναι πλήρης. 4. Στην Παρατήρηση 2.4.9, είδαμε πως οι σ.σ και είναι ανεξάρτητες μεταξύ τους. Οπότε από τα (1).,(2).,(3).,(4)., μπορούμε να συμπεράνουμε ότι η στατιστική συνάρτηση είναι πλήρης. Έχουμε τη στατιστική συνάρτηση, η οποία όπως έχουμε δείξει είναι επαρκής και πλήρης (βλ. Πρόταση 2.4.1, Παρατήρηση ). Οπότε είμαστε σε θέση να βρούμε τους αμερόληπτους εκτιμητές των άγνωστων παραμέτρων, που να είναι συναρτήσεις της επαρκούς και πλήρης στατιστικής μας συνάρτησης, τότε οι εκτιμητές αυτοί θα είναι και οι μοναδικοί των (βλ. Πόρισμα ). Στην παρακάτω πρόταση βρίσκουμε εκτιμητή για την παράμετρο θέσης. Πρόταση Για πληθυσμούς, ο εκτιμητής της παραμέτρου θέσης, όταν άγνωστα, είναι ο, [29]

30 Απόδειξη: Έχουμε ορίσει ως τη μικρότερη παρατήρηση από δύο δείγματα τα οποία έχουμε λάβει από δύο εκθετικούς πληθυσμούς αντίστοιχα. Στην Πρόταση δείξαμε ότι όπου. Αφού η τ.μ τότε, Σημειώνουμε ότι για γνωστά ο του είναι. Όπως αναφέρθηκε παραπάνω έχουμε ορίσει ως, οπότε θα χρειαστούμε τους αμερόληπτους εκτιμητές των. Από Λήμμα 4.4 (βλ. Παράρτημα) έχουμε ότι η τ.μ, ομοίως η τ.μ, οπότε, επομένως, Σημειώνουμε ότι έχουμε ορίσει εξ αρχής ως, άρα για τότε. Αντίστοιχα, αν. [30]

31 Έχουμε αποδείξει ότι η στατιστική συνάρτηση είναι επαρκής και πλήρης (βλ. Πρόταση 2.4.1, Παρατήρηση ), θα δείξουμε ότι ο αμερόληπτος εκτιμητής του είναι η σ.σ,. Αρκεί να δείξουμε ότι ισχύει η παρακάτω σχέση, Θέτουμε, όπου,. Οπότε, [31]

32 Άρα, δηλαδή είναι αμερόληπτος εκτιμητής του. Από τη Σχέση έχουμε, Δηλαδή ο εκτιμητής είναι αμερόληπτος εκτιμητής του και επειδή είναι συνάρτηση της επαρκούς και πλήρης σ.σ, έπεται ότι είναι και ο μοναδικός εκτιμητής του. Στην παρακάτω πρόταση βρίσκουμε εκτιμητή για την παράμετρο κλίμακας. Πρόταση Ο εκτιμητής της παραμέτρου κλίμακας είναι ο, Απόδειξη: Η τυχαία μεταβλητή ακολουθεί την διπαραμετρική εκθετική κατανομή (βλ. Πρόταση 2.4.3), οπότε έχουμε, Από την Πρόταση , έχουμε ότι ο εκτιμητής, είναι αμερόληπτος εκτιμητής του, δηλαδή. Άρα [32]

33 Λόγω της Πρότασης ισχύει ότι, επομένως από τη Σχέση έχουμε, Επειδή η τυχαία μεταβλητή ακολουθεί την κατανομή (βλ. Παράρτημα, Λήμμα 4.4) έχουμε,, οπότε από την Σχέση (2.3), Άρα είναι αμερόληπτος εκτιμητής του και επειδή είναι συνάρτηση της επαρκούς και πλήρους σ.σ, έπεται ότι ο είναι ο μοναδικός του Εφόσον έχουμε αποδείξει ότι η στατιστική συνάρτηση είναι επαρκής και πλήρης, αρκεί να βρούμε έναν αμερόληπτο εκτιμητή του (ποσοστιαίο σημείο 1 ου εκθετικού πληθυσμού) για τον οποίο ισχύει ότι, τότε αυτός θα είναι ο μοναδικός του. [33]

34 Πρόταση Ο εκτιμητής του ποσοστιαίου σημείου του πρώτου εκθετικού πληθυσμού είναι, Απόδειξη: Στην Πρόταση , έχουμε δείξει ότι ο είναι ο, επομένως εκτιμητής της παραμέτρου θέσης Επίσης, από την Πρόταση , έχουμε δείξει ότι ο κλίμακας είναι ο, οπότε εκτιμητής της παραμέτρου Προσθέτοντας τις Σχέσεις, κατά μέλη έχουμε, ή δηλαδή ο αμερόληπτος εκτιμητής του είναι ο, και επειδή είναι συνάρτηση της επαρκούς και πλήρης σ.σ, έπεται ότι ο εκτιμητής του. είναι ο μοναδικός [34]

35 Παρατήρηση Για την εύρεση του εκτιμητή του ποσοστιαίου σημείου ορίσαμε αρχικά τις εξής στατιστικές συναρτήσεις, και. Αν αντί για είχαμε εξ αρχής ορίσει ως την τότε ο εκτιμητής της παραμέτρου θέσης θα ήταν ο ενώ ο εκτιμητής της παραμέτρου κλίμακας θα ήταν ο. Οπότε ο εκτιμητής του ποσοστιαίου σημείου της σχέσης διαμορφώνεται τελικώς ως, Παρατήρηση Στην Πρόταση δείξαμε ότι ο εκτιμητής του ποσοστιαίου σημείου του πρώτου εκθετικού πληθυσμού, από εκθετικούς πληθυσμούς έχει τη μορφή, Για εκθετικούς πληθυσμούς ο εκτιμητής του ποσοστιαίου σημείου είναι, [35]

36 Κεφάλαιο 3 Τεχνικές Βελτίωσης Εκτιμητή Ποσοστιαίου Σημείου Διπαραμετρικής Εκθετικής Κατανομής Στο κεφάλαιο αυτό θα ασχοληθούμε με τεχνικές κατασκευής βελτιωμένων εκτιμητών για το ποσοστιαίο σημείο της διπαραμετρικής εκθετικής κατανομής. Αρχικά θα αναζητήσουμε των βέλτιστο εκτιμητή στην κλάση των εκτιμητών, με κριτήριο την ελαχιστοποίηση της συνάρτησης κινδύνου, και στη συνέχεια θα εφαρμόσουμε την τεχνική των Brewster and Zidek (1974) ώστε να προχωρήσουμε σε περεταίρω βελτίωση του εκτιμητή του ποσοστιαίου σημείου, όταν ή. Τα κύρια αποτελέσματα αυτού του κεφαλαίου βρίσκονται επίσης στην εργασία των Sharma and Kumar (1994). 3.1 Βέλτιστος εκτιμητής στην κλάση των εκτιμητών Σε αυτήν την ενότητα θα ασχοληθούμε με την βελτίωση του εκτιμητή του ποσοστιαίου σημείου. Θεωρούμε ανεξάρτητα τυχαία δείγματα από εκθετικούς πληθυσμούς. Θα ψάξουμε να βρούμε τον βέλτιστο εκτιμητή ως προς το Μέσο Τετραγωνικό Σφάλμα ( μέσα στην κλάση των εκτιμητών του, Σημειώνουμε ότι ο εκτιμητής της κλάσης, συμπίπτει με τον εκτιμητή,, του ποσοστιαίου σημείου (βλ. Πρόταση ). Παίρνουμε το του εκτιμητή, [36]

37 Η συνάρτηση κινδύνου είναι μία κυρτή συνάρτηση του. Ελαχιστοποιούμε την ως προς και θέτουμε ίση με το μηδέν, Από την Παρατήρηση 2.4.9, οι στατιστικές συναρτήσεις και είναι ανεξάρτητες σ.σ, επομένως, η Σχέση γίνεται, Για να υπολογίσουμε τη θα χρειαστεί να υπολογίσουμε πρώτα τις εξής μέσες τιμές, Από την Πρόταση 2.4.3, έχουμε ότι άρα, Από την Πρόταση 2.4.5, έχουμε ότι η από κοινού συνάρτηση πυκνότητας πιθανότητας των τ.μ είναι, οπότε μπορούμε να υπολογίσουμε την. [37]

38 Στην απόδειξη της Πρότασης 2.4.5, δείξαμε ότι την Πρόταση έχουμε ότι,. Επίσης, από, ενώ στην Πρόταση έχουμε δείξει ότι, [38]

39 Επομένως είμαστε σε θέση να υπολογίσουμε την, Από την Παρατήρηση 2.4.7, έχουμε αναφέρει ότι η από κοινού συνάρτηση πυκνότητας πιθανότητας των τυχαίων μεταβλητών είναι,. Χρησιμοποιώντας την παραπάνω από κοινού σ.π.π των τυχαίων μεταβλητών παίρνουμε την σ.π.π της τυχαίας μεταβλητής, άρα, [39]

40 Αντικαθιστούμε στη Σχέση τις Σχέσεις και έχουμε, [40]

41 Επομένως η τιμή ελαχιστοποιεί την, όπου ως έχουμε ορίσει την συνάρτηση κινδύνου (ή ), η οποία όπως ήδη έχουμε αναφέρει είναι μία κυρτή συνάρτηση (bowl-shaped), και το ελάχιστο της δίνεται από την τιμή της. Όμως η προκύπτουσα τιμή εξαρτάται από τις άγνωστες παραμέτρους κλίμακας και, οπότε είναι προφανές ότι δεν έχουμε καταλήξει σε βέλτιστο εκτιμητή της κλάσης, Παρατήρηση Αν θέλαμε να βρούμε τον βέλτιστο εκτιμητή του ποσοστιαίου σημείου, της Παρατήρησης , ως προς το Μέσο Τετραγωνικό Σφάλμα ( μέσα στην κλάση των εκτιμητών του, Θα παίρναμε το του εκτιμητή, και θα καταλήγαμε, με την ίδια μέθοδο που δείξαμε παραπάνω, ότι η συνάρτηση ελαχιστοποιεί τη συνάρτηση κινδύνου, που [41]

42 3.2 Τεχνικές κατασκευής βελτιωμένων εκτιμητών Brewster-Zidek όταν Στην Ενότητα 3.1 ασχοληθήκαμε με την εύρεση ενός βέλτιστου εκτιμητή μέσα στην κλάση,, των εκτιμητών του ποσοστιαίου σημείου με κριτήριο το Μέσο Τετραγωνικό Σφάλμα. Καταλήξαμε να βρούμε μία συνάρτηση που ελαχιστοποιεί το, όμως εξαρτάται από τις άγνωστες παραμέτρους κλίμακας. Σε αυτήν την ενότητα θα προσπαθήσουμε να βρούμε άνω και κάτω φράγματα για την που να μην εξαρτώνται από τις άγνωστες παραμέτρους και. Εφαρμόζουμε την τεχνική των Brewster and Zidek (1974) για τη βελτίωση του εκτιμητή, στην κλάση των εκτιμητών, Θεώρημα Αν ο είναι ο εκτιμητής του ποσοστιαίου σημείου στην κλάση των εκτιμητών, με τιμές για το, τότε ως προς το Μέσο Τετραγωνικό Σφάλμα, ο εκτιμητής βελτιώνεται από τους Για ο εκτιμητής είναι αποδεκτός στην κλάση των εκτιμητών, [42]

43 Απόδειξη: Παρατηρούμε ότι, όπου, προκειμένου να εφαρμόσουμε την τεχνική των Brewster και Zidek (1974), θα χρειαστούμε το και το της, Υπολογίζουμε την πρώτη παράγωγο της, Το πρόσημο της εξαρτάται από την. Η είναι μία κοίλη συνάρτηση, με τοπικό μέγιστο (αφού ), Αναφέρουμε ότι, Θα εξετάσουμε τις περιπτώσεις όπου, Αν τότε η για, άρα η είναι φθίνουσα συνάρτηση του με, Μιας και το Μέσο Τετραγωνικό Σφάλμα είναι κυρτή συνάρτηση του, η τεχνική των Brewster και Zidek (1974) οδηγεί στη βελτίωση του αν, [43]

44 Αντίστοιχα υπολογίζουμε το infimum της, Κατά συνέπεια η κλάση των εκτιμητών όταν. είναι ουσιαστικά πλήρης στην κλάση Παραγωγίζουμε την ως προς και θέτουμε ίσον με το μηδέν. Οι πραγματικές λύσεις της είναι, Υπολογίζουμε τη δεύτερη παράγωγο της, Παρατηρούμε ότι, οπότε η έχει τοπικό ελάχιστο στο ενώ οπότε η έχει τοπικό μέγιστο στο. Επίσης ισχύει πάντα ότι ενώ αν και αν. Θα εξετάσουμε τις περιπτώσεις και ξεχωριστά. [44]

45 Όταν τότε, άρα το και το Εφαρμόζοντας την τεχνική των Brewster και Zidek (1974), καταλήγουμε ότι ο εκτιμητής βελτιώνει τον, κατά συνέπεια η κλάση των εκτιμητών είναι ουσιαστικά πλήρης στην κλάση. Όταν και, τότε το και το Οπότε καταλήγουμε στο συμπέρασμα, άρα ο βελτιώνει τον και η κλάση των εκτιμητών είναι ουσιαστικά πλήρης στην κλάση. άρα ο βελτιώνει τον και η κλάση των εκτιμητών είναι ουσιαστικά πλήρης στην κλάση. τότε ο δεν μπορεί να βελτιωθεί από τον [45]

46 3.3 Βέλτιστος αναλλοίωτος εκτιμητής στην κλάση των αναλλοίωτων εκτιμητών του ποσοστιαίου σημείου για δύο Εκθετικούς Πληθυσμούς Σε αυτήν την ενότητα θα χρησιμοποιήσουμε τη μορφή ενός αναλλοίωτου εκτιμητή, του ποσοστιαίου σημείου, όπου, βασισμένο στην επαρκή και πλήρη στατιστική συνάρτηση, για εκθετικούς πληθυσμούς. Σκοπός μας είναι να ελαχιστοποιήσουμε την συνάρτηση κινδύνου ως προς ώστε να βρεθεί μία βελτίωση του εκτιμητή, στην κλάση των εκτιμητών, Θεωρούμε το σύνολο των γραμμικών μετασχηματισμών,, θεωρούμε δηλαδή τους παρακάτω γραμμικούς μετασχηματισμούς,, όπου, όπου, όπου, όπου, όπου, όπου Το πρόβλημα της εκτίμησης του είναι αναλλοίωτο ως προς τους γραμμικούς μετασχηματισμούς. Θεωρούμε τη συνάρτηση ζημίας (loss function) παραμένει αναλλοίωτη εάν εφαρμόσουμε τους παραπάνω μετασχηματισμούς. η οποία Η μορφή ενός αναλλοίωτου εκτιμητή βασισμένου στην επαρκή και πλήρη στατιστική συνάρτηση, ή γενικότερα για εκθετικούς πληθυσμούς,, δίνεται από την παρακάτω σχέση, [46]

47 Σκοπός μας είναι να ελαχιστοποιήσουμε την συνάρτηση κινδύνου ως προς, αλλά για να ελαχιστοποιήσουμε την αρκεί να ελαχιστοποιήσουμε την. Οπότε δεσμευμένη μέση τιμή ως προς. Έστω, οπότε, Η συνάρτηση κινδύνου είναι μια κυρτή συνάρτηση της με ελάχιστο στο, Για να υπολογίσουμε την χρειαζόμαστε την υπό συνθήκη μέση τιμή των, και δοθέντος, οπότε υπολογίζουμε παρακάτω τις δεσμευμένες μέσες τιμές,. όπου, Θεωρώντας τον παρακάτω μετασχηματισμό (βλ. Θεώρημα 1.5.2), η σ.π.π ισούται με, [47]

48 όπου είναι η Ιακωβιανή, Οπότε έχουμε, Υπολογίζουμε την, [48]

49 Οπότε είμαστε σε θέση να βρούμε την, Υπολογίζουμε τη δεσμευμένη μέση τιμή, [49]

50 Υπολογίζουμε τη δεσμευμένη μέση τιμή, Αντικαθιστούμε στη Σχέση τις Σχέσεις και έχουμε, [50]

51 Επομένως η τιμή της ελαχιστοποιεί την συνάρτηση κινδύνου, όπου Όμως η προκύπτουσα τιμή της εξαρτάται από τις άγνωστες παραμέτρους κλίμακας και, οπότε είναι προφανές ότι δεν έχουμε καταλήξει σε βέλτιστο εκτιμητή της κλάσης, Στην παρακάτω ενότητα θα εφαρμόσουμε την τεχνική των Brewster and Zidek (1974) έτσι ώστε να βρούμε άνω και κάτω φράγματα για την που να μην εξαρτώνται από τις άγνωστες παραμέτρους κλίμακας και. 3.4 Τεχνικές κατασκευής βελτιωμένων εκτιμητών Brewster-Zidek όταν Στην Ενότητα 3.3 χρησιμοποιήσαμε τη μορφή ενός αναλλοίωτου εκτιμητή, του ποσοστιαίου σημείου, βασισμένο στην επαρκή και πλήρη στατιστική συνάρτηση, για εκθετικούς πληθυσμούς. Υπολογίσαμε ότι η συνάρτηση κινδύνου ελαχιστοποιείται όταν, Σε αυτήν την ενότητα θα προσπαθήσουμε να βρούμε άνω και κάτω φράγματα για την που να μην εξαρτώνται από τις άγνωστες παραμέτρους και, όταν. Εφαρμόζουμε την τεχνική των Brewster and Zidek (1974) για τη βελτίωση του εκτιμητή, στην κλάση των εκτιμητών, [51]

52 Θεώρημα Θεωρούμε ότι έχουμε δύο εκθετικούς πληθυσμούς. Η τεχνική των Brewster and Zidek (1974) οδηγεί στην βελτίωση του εκτιμητή του ποσοστιαίου σημείου, όταν, από τους εκτιμητές, που ορίζονται ως, όπου, Σε διαφορετική περίπτωση, ο στην κλάση. εκτιμητής, είναι αποδεκτός για την εκτίμηση του Απόδειξη: Θεωρούμε ότι,. Το της είναι το Υπολογίζουμε την πρώτη παράγωγο της ως προς, Συμβολίζουμε τον αριθμητή της Σχέσης ως, [52]

53 Παραγωγίζουμε την ως προς και θέτουμε ίσον με μηδέν, Ως έχουμε ορίσει το λόγο που είναι πάντοτε μεγαλύτερος του μηδενός, άρα άτοπο, οπότε δηλαδή είναι αύξουσα συνάρτηση της, άρα Θα εξετάσουμε τις περιπτώσεις όπου, και 1 η περίπτωση Στην περίπτωση όπου τότε, για όλα τα. Άρα η συνάρτηση είναι αύξουσα συνάρτηση της, οπότε, για οποιαδήποτε τιμή της στο διάστημα ισχύει, Άρα το της για, και είναι, Στην περίπτωση όπου ισχύει η ανισότητα, τότε ο εκτιμητής βελτιώνει τον εκτιμητή. [53]

54 Όμως άρα θα πρέπει όπου ισχύει για. Οπότε έχουμε, Καταλήγουμε στο συμπέρασμα ότι ο εκτιμητής βελτιώνει τον εκτιμητή όταν, 2 η περίπτωση Στην περίπτωση όπου τότε. Θέτουμε. Οι τιμές της για τις οποίες είναι, Στην περίπτωση όπου, το της για, επιτυγχάνεται για την τιμή η οποία είναι η μεγαλύτερη από τις δύο λύσεις της [54]

55 Στην περίπτωση όπου ισχύει η ανισότητα, τότε ο εκτιμητής βελτιώνει τον εκτιμητή. Η ανισότητα της Σχέσης ισχύει μόνο στην περίπτωση που, Θέτουμε τιμές των για τις οποίες ισχύει η παραπάνω εξίσωση είναι,, και βρίσκουμε πως οι [55]

56 Καταλήγουμε στο συμπέρασμα ότι ο εκτιμητής βελτιώνει τον εκτιμητή όταν, Θεωρούμε ότι έτσι ώστε. Παρατήρηση Θεωρούμε ότι έχουμε εκθετικούς πληθυσμούς, Θα εξετάσουμε το και το της όταν. Το της επιτυγχάνεται όταν, ενώ το της είναι το για οποιοδήποτε τιμή του. Για τον εκτιμητή έχουμε ότι, Θα εξετάσουμε την ανισότητα Για το αριστερό μέλος της ανισότητας έχουμε, ισχύει για και. Για το δεξιό μέλος της ανισότητας έχουμε ότι για οπότε η ανισότητα της Σχέσης δεν επαληθεύεται. Για η τεχνική των Brewster and Zidek δεν βελτιώνει τον εκτιμητή [56]

57 Κεφάλαιο 4 Παράρτημα Λήμμα 4.1 Θα δείξουμε ότι, και ανεξάρτητες στατιστικές συναρτήσεις. και ανεξάρτητες στατιστικές συναρτήσεις. Απόδειξη: Για να αποδείξουμε την ανεξαρτησία των και θεωρούμε ότι γνωστό και άγνωστο. Υπό αυτές τις συνθήκες είναι εύκολο να δειχθεί ότι η στατιστική συνάρτηση είναι επαρκής και πλήρης. Παρατηρούμε ότι οι τ.μ έχουν κατανομή η οποία δεν εξαρτάται από το, οπότε και η κατανομή του τυχαίου διανύσματος,, δεν εξαρτάται από το. Έχουμε, επαρκής και πλήρης σ.σ και έχει κατανομή που δεν εξαρτάται από τη παράμετρο, αφού είναι συνάρτηση του τ.δ., επομένως χρησιμοποιώντας το θεώρημα Basu, (βλ. Θεώρημα ) οι στατιστικές συναρτήσεις και είναι ανεξάρτητες. Αντίστοιχα αποδεικνύουμε ότι και είναι ανεξάρτητες στατιστικές συναρτήσεις. Λήμμα 4.2 Αν έχουμε τις τυχαίες μεταβλητές και, τότε η πιθανότητα. Απόδειξη: Επειδή η πυκνότητα πιθανότητα της είναι, Επίσης άρα η πυκνότητα πιθανότητα της είναι, Άρα η από κοινού συνάρτηση πυκνότητας πιθανότητας των τ.μ, δίνεται από τη σχέση, οπότε μπορούμε να υπολογίσουμε την, [57]

58 Επίσης υπολογίζουμε και την, ως εξής, Λήμμα 4.3 Αν έχουμε τις τυχαίες μεταβλητές και, τότε η πιθανότητα Απόδειξη: Υπολογίζουμε την πιθανότητα Υπολογίζουμε ξεχωριστά το ορισμένο ολοκλήρωμα, Οπότε η αρχική μας ολοκλήρωση γίνεται, [58]

59 οπότε έχουμε ότι, Επίσης από την παραπάνω ολοκλήρωση μπορούμε να συμπεράνουμε ότι και η πιθανότητα, Λήμμα 4.4 Η τυχαία μεταβλητή ακολουθεί την κατανομή Απόδειξη: Για να βρούμε την κατανομή της τυχαίας μεταβλητής, θα κάνουμε χρήση των ροπογεννητριών συναρτήσεων. Ισχύει ότι, επίσης έχουμε, Έχουμε δείξει ότι οι στατιστικές συναρτήσεις και είναι ανεξάρτητες (βλ. Λήμμα 4.1), άρα και οι στατιστικές συναρτήσεις, είναι ανεξάρτητες. Θεωρούμε ως με ροπογεννήτρια συνάρτηση, Θεωρούμε, επίσης, ως με ροπογεννήτρια συνάρτηση, [59]

60 Τέλος έχουμε την Όπως αναφέραμε παραπάνω και ανεξάρτητες στατιστικές συναρτήσεις, οπότε έχουμε, άρα. Ομοίως, αποδεικνύεται ότι,. Λήμμα 4.5 Έστω, οι τυχαίες μεταβλητές, και συνθήκη ότι., τότε η τυχαία μεταβλητή, υπό τη Απόδειξη: Όπως δείξαμε στο Λήμμα 4.4 η τ.μ, ενώ έχουμε δείξει στο Λήμμα 4.3 ότι υπό τη συνθήκη ότι,. Επειδή και είναι ανεξάρτητες σ.σ έχουμε, από τις αναπαραγωγικές ιδιότητες, ότι. Ομοίως αποδεικνύεται ότι, ), υπό την προϋπόθεση ότι. [60]

61 Βιβλιογραφία [1] Brewster, J. F. and Zidek, J. V.: Improving on equivariant estimators. Ann. Statist. 2 (1974), [2] Epstein, B., and Tsao, C. K. (1953): Some tests based on ordered observations from two exponential populations. Ann. Math. Statist., 24, [3] Ghosh, M. and Razmpour, A.: Estimation of the common location parameter of several exponentials. Sankhya, Ser. A, 48 (1984), [4] Kumar, S. and Kar, A.: Estimating quantiles of a selected exponential population. Statist. and Probability Letters, 52 (2001), [5] Kumar, S. and Sharma, D.: A note on estimating quantiles of exponential populations. Statist. and Probability Letters, 26 (1996), [6] Sharma, D. and Kumar, S. (1994), Estimating quantiles of exponential populations. Statist. and Decisions 12, [7] Σ. Κουρούκλης, Στατιστική Ι, πανεπιστημιακές παραδόσεις τμήματος Μαθηματικών Πανεπιστημίου Πατρών, (1991). [61]