2πσ 2 e (x µ)2 /2σ 2 dx = 1. (13.1) e x2 dx. e y2 dy, I = 2. e (y2 +z 2) dy dz.

Transcript

1 Κεφάλαιο 3 Κ.Ο.Θ.: Λίγη θεωρία και αποδείξεις Σε αυτό το κεφάλαιο θα δούμε τέσσερις αποδείξεις αποτελεσμάτων που σχετίζονται με την κανονική κατανομή και το Κ.Ο.Θ., οι οποίες είναι αρκετά πιο απαιτητικές, από μαθηματική άποψη, από τις περισσότερες αποδείξεις που έχουμε συναντήσει ως τώρα. Στην Ενότητα 3. θα δώσουμε την απόδειξη, την οποία παραλείψαμε νωρίτερα, ενός απλού αποτελέσματος από την Ενότητα 2.: Το ολοκλήρωμα της πυκνότητας οποιασδήποτε κανονικής Τ.Μ. ισούται με ένα. Κατόπιν, στην Ενότητα 3.2 θα δούμε πως το Κ.Ο.Θ., κάτω από πολύ γενικές συνθήκες, μπορεί να χρησιμοποιηθεί για να αποδειχθεί ο Ν.Μ.Α. Κατά συνέπεια είναι, ως μαθηματικό αποτέλεσμα, αυστηρά ισχυρότερο από τον Ν.Μ.Α. Οπως αναφέραμε στο προηγούμενο κεφάλαιο, η απόδειξη του Κ.Ο.Θ. είναι τεχνικής φύσεως και ξεπερνά τους στόχους του παρόντος βιβλίου. Παρ όλα αυτά, στις Ενότητες 3.3 και 3.4 θα δούμε κάποιες ενδιαφέρουσες πτυχές αυτού του θέματος. Συγκεκριμένα, στην Ενότητα 3.3 θα αποδείξουμε μια ισχυρή μορφή του Κ.Ο.Θ., το λεγόμενο «θεώρημα de Moivre-Laplace», για την απλή περίπτωση που οι Τ.Μ. {X } έχουν κατανομή Beroulli. Η απόδειξη αυτή όπως κι εκείνη της επόμενης ενότητας είναι κάπως μακροσκελής, και η αλήθεια είναι πως υπάρχουν πολύ πιο σύντομες αποδείξεις του Κ.Ο.Θ. κάτω από πιο γενικές συνθήκες. Αυτές όμως απαιτούν τη χρήση εργαλείων της ανάλυσης Fourier ή άλλων αρκετά πιο προχωρημένων μαθηματικών περιοχών. Τέλος, στην Ενότητα 3.4, θα δώσουμε μια όμορφη απόδειξη, εκείνη του Lideberg, για τη γενική περίπτωση του Κ.Ο.Θ. όπως διατυπώθηκε στο Κεφάλαιο 2. Σε αντίθεση με την απόδειξη του θεωρήματος de Moivre-Laplace, η οποία βασίζεται σε μια σειρά από στοιχειώδεις υπολογισμούς, η κεντρική ιδέα της απόδειξης του Lideberg είναι μια έξυπνη χρήση κάποιων πολύ απλών αποτελεσμάτων του διαφορικού λογισμού. 27

2 28 ΚΕΦΑΛΑΙΟ 3. Κ.Ο.Θ.: Λ ΙΓΗ ΘΕΩΡ ΙΑ ΚΑΙ ΑΠΟΔΕ ΙΞΕΙΣ 3. Το γκαουσιανό ολοκλήρωμα Εδώ θα δείξουμε πως η πυκνότητα, fx = 2πσ 2 e x µ2 /2σ 2, x R, μιας Τ.Μ. με κατανομή µ, σ 2 έχει πράγματι ολοκλήρωμα ίσο με ένα, δηλαδή, J = 2πσ 2 e x µ2 /2σ 2 dx =. 3. Ξεκινάμε με την αντικατάσταση y = x µ/ 2σ 2, οπότε dx = 2σdy, και, J = π e x2 dx. Άρα, για να δείξουμε το ζητούμενο αποτέλεσμα της σχέσης 3. αρκεί να αποδείξουμε πως το πιο κάτω ολοκλήρωμα I ισούται με π: Εφόσον η e y2 I = είναι άρτια συνάρτηση του y, έχουμε, I = 2 e y2 dy = π. 3.2 e y2 dy, και παίρνοντας το τετράγωνο αυτής της σχέσης, I 2 = 2 e y2 dy 2 δηλαδή, 4 I2 = e z2 dz, e y2 +z 2 dy dz. Τώρα, για κάθε συγκεκριμένο z, στο εσωτερικό ολοκλήρωμα κάνουμε την αντικατάσταση y = zs, οπότε dy = zds και, 4 I2 = e z2 +s 2 z ds dz = e z2 +s 2 z dz ds, όπου στο τελευταίο βήμα αλλάξαμε τη σειρά των δύο ολοκληρωμάτων βλ. θεώρημα του Fubii στο Κεφάλαιο 5. Παρατηρούμε πως, d dz e z2 +s 2 = 2z + s 2 e z2 +s 2,

3 3.2. Κ.Ο.Θ. Ν.Μ.Α.: ΑΠ ΟΔΕΙΞΗ 29 άρα το εσωτερικό ολοκλήρωμα παραπάνω μπορεί να επιλυθεί ακριβώς, [ ] 4 I2 +s = s 2 e z2 ds = 2 + s 2 ds. Τέλος, θυμίζουμε πως η παράγωγος της συνάρτησης arcta x είναι η, οπότε καταλήγουμε +x 2 στη σχέση, 4 I2 = [ ] arcta s 2 = [ π ] 2 2 = π 4, η οποία μας δίνει το ζητούμενο αποτέλεσμα, I = π, αποδεικνύοντας την 3.2 και, κατά συνέπεια, το αρχικό μας ζητούμενο αποτέλεσμα Κ.Ο.Θ. Ν.Μ.Α.: Απόδειξη Εστω οι ανεξάρτητες συνεχείς ή διακριτές Τ.Μ. X, X 2,..., οι οποίες έχουν όλες την ίδια κατανομή, και άρα έχουν την ίδια μέση τιμή µ = EX i και την ίδια διασπορά σ 2 = VarX i. Ο Ν.Μ.Α. μάς λέει πως, για μεγάλα, ο εμπειρικός τους μέσος όρος, X = X i, θα είναι κοντά στη μέση τιμή τους µ, με μεγάλη πιθανότητα. Επιπλέον, όπως είδαμε στο προηγούμενο κεφάλαιο, το Κ.Ο.Θ. μάς δίνει μια πιο λεπτομερή ποσοτική περιγραφή του X : Για μεγάλα, ο εμπειρικός μέσος όρος X έχει κατά προσέγγιση µ, σ 2 / κατανομή. Σε αυτή την ενότητα θα δείξουμε πως το Κ.Ο.Θ. είναι πράγματι πιο ισχυρό αποτέλεσμα, με την αυστηρά μαθηματική έννοια, από τον Ν.Μ.Α. Είναι μάλιστα αξιοσημείωτο πως για να αποδείξουμε τον Ν.Μ.Α. δεν χρειάζεται να κάνουμε οποιαδήποτε άλλη υπόθεση για τις Τ.Μ. {X } λόγου χάρη, δεν είναι απαραίτητο να θεωρήσουμε καν ότι είναι ανεξάρτητες πέραν του ότι ικανοποιούν το Κ.Ο.Θ. Πρόταση 3. Εστω μια οποιαδήποτε ακολουθία {X } τυχαίων μεταβλητών, και σταθερές µ R, σ >, για τις οποίες ισχύει το Κ.Ο.Θ. όπως διατυπώνεται στη σχέση 2.4 του Θεωρήματος 2.2. Τότε, για τις {X } ισχύει και ο Ν.Μ.Α.: Ο εμπειρικός τους μέσος όρος X τείνει στη σταθερά µ κατά πιθανότητα καθώς το. Υπενθύμιση: lim sup και lim if. Ως γνωστόν, μια ακολουθία {a } πραγματικών αριθμών δεν είναι απαραίτητο να έχει κάποιο όριο καθώς το. Αλλά μπορούμε πάντα να ορίσουμε, και i= ā = lim sup a = lim sup a k k ā = lim if a = lim if a k, k

4 22 ΚΕΦΑΛΑΙΟ 3. Κ.Ο.Θ.: Λ ΙΓΗ ΘΕΩΡ ΙΑ ΚΑΙ ΑΠΟΔΕ ΙΞΕΙΣ όπου τα δύο παραπάνω όρια πάντοτε υπάρχουν και ικανοποιούν ā ā γιατί;. Στην απόδειξη που ακολουθεί και σε κάποια άλλα σημεία του κεφαλαίου θα χρειαστούμε αυτές τις έννοιες, όπως και την απλή παρατήρηση ότι το όριο της {a } υπάρχει και ισούται με a, αν και μόνο αν έχουμε ā = ā = a. Απόδειξη της Πρότασης 3.: Εστω αυθαίρετο ɛ >. Για τον Ν.Μ.Α. πρέπει να αποδείξουμε πως, Pr X µ < ɛ, καθώς το, για το οποίο αρκεί να δείξουμε πως για κάθε δ >, lim if Pr X µ < ɛ δ. 3.3 Εστω λοιπόν δ > αυθαίρετο. Εφόσον η τυπική κανονική συνάρτηση κατανομής Φz καθώς το z, και Φz καθώς το z, μπορούμε να διαλέξουμε ένα K > αρκετά μεγάλο ώστε να έχουμε, ΦK Φ 2K δ. 3.4 Παρατηρούμε πως η πιθανότητα Pr X µ < ɛ που μας ενδιαφέρει ισούται με, Pr X i µ < ɛ i= = Pr σ X i µ < ɛ σ i= = Pr S < ɛ /σ = Pr S < ɛ /σ Pr S ɛ /σ Pr S ɛ /2σ Pr S ɛ /σ, 3.5 όπου S είναι το κανονικοποιημένο άθροισμα όπως στο Κ.Ο.Θ. Από τον δεύτερο κανόνα πιθανότητας, ξέρουμε πως η πρώτη πιθανότητα στην έκφραση 3.5 είναι αύξουσα συνάρτηση του και η δεύτερη φθίνουσα. Άρα, για κάθε > 2σK/ɛ 2, έχουμε, Pr X µ < ɛ Pr S K Pr S 2K, και παίρνοντας το όριο, από το Κ.Ο.Θ. συμπεραίνουμε πως, lim if Pr X µ < ɛ ΦK Φ 2K δ, όπου η δεύτερη ανισότητα προκύπτει από τον τρόπο που επιλέξαμε το K στη σχέση 3.4. Άρα έχουμε αποδείξει πως, για κάθε δ > ισχύει η 3.3, αποδεικνύοντας έτσι τον Ν.Μ.Α.

5 3.3. ΤΟ ΘΕ ΩΡΗΜΑ DE MOIVRE-LAPLACE Το θεώρημα de Moivre-Laplace Σκοπός αυτής της παραγράφου είναι η παρουσίαση της απόδειξης μιας ισχυρής μορφής του Κ.Ο.Θ. στην περίπτωση που οι X i είναι Berp τυχαίες μεταβλητές. Σε αυτή την ειδική περίπτωση το Κ.Ο.Θ. ονομάζεται «θεώρημα de Moivre-Laplace» και μπορεί να αποδειχθεί με στοιχειώδεις υπολογισμούς. Οπως θα δούμε, το θεώρημα de Moivre-Laplace μάς δίνει μια ακριβή προσέγγιση για την πυκνότητα του εμπειρικού μέσου όρου X των X i ή, ισοδύναμα, για την πυκνότητα του αθροίσματός τους S = X = X + X X. Συμβολισμός a b και a = ob. Θυμίζουμε πως δύο ακολουθίες πραγματικών αριθμών {a } και {b } λέμε ότι είναι ασυμπτωτικά ισοδύναμες, το οποίο συμβολίζεται με a b, όταν ο λόγος τους τείνει στο, lim a /b =. Επίσης, ο συμβολισμός a = ob σημαίνει πως τα a τείνουν να είναι σημαντικά μικρότερα από τα b, δηλαδή, lim a /b =. Για παράδειγμα, αν a = o, τότε η ακολουθία {a /} τείνει στο μηδέν καθώς το, ενώ αν a = o τότε a. Θεώρημα 3. Θεώρημα de Moivre-Laplace Εστω μια ακολουθία {X } από ανεξάρτητες τυχαίες μεταβλητές X, X 2,... που έχουν όλες κατανομή Berp, και έστω S το άθροισμα τους S = X + X X. Για κάθε y R, καθώς έχουμε την εξής προσέγγιση για την πυκνότητα του S : Pr S = p + y p p 2πp p exp y 2 / Παρατηρήσεις. Αν και το αποτέλεσμα του θεωρήματος έχει διαφορετική μορφή από εκείνη της γενικής περίπτωσης του Κ.Ο.Θ. στο Κεφάλαιο 2, η οποία αφορούσε το κανονικοποιημένο άθροισμα, S = p p X i p, σημειώνουμε πως η έκφραση 3.6 είναι ισχυρότερη από τη σύγκλιση των αντίστοιχων συναρτήσεων κατανομής όπως στο Θεώρημα 2.2. Συγκεκριμένα, ένας απλός αλλά αρκετά τεχνικός και άνευ ιδιαιτέρου ενδιαφέροντος υπολογισμός βασισμένος στις απλές ιδιότητες του ορισμού του ολοκληρώματος Riema, αποδεικνύει πως πράγματι η 3.6 συνεπάγεται ότι η συνάρτηση κατανομής των S τείνει στην Φx. Το θεώρημα αυτό πρωτοδημοσιεύτηκε το 738 από τον Abraham de Moivre στη δεύτερη έκδοση του βιβλίου του, The Doctrie of Chaces. Η πρώτη έκδοσή του, το 78, ήταν το πρώτο βιβλίο που γράφτηκε ποτέ με αντικείμενο εξ ολοκλήρου τις πιθανότητες. Ο de Moivre ήταν Γάλλος Ουγενότος, και έγραψε το βιβλίο στα αγγλικά ενώ ζούσε αυτοεξόριστος στην Αγγλία, προκειμένου να γλιτώσει τις διώξεις στις οποίες υπόκεινταν οι Ουγενότοι στη Γαλλία. i=

6 222 ΚΕΦΑΛΑΙΟ 3. Κ.Ο.Θ.: Λ ΙΓΗ ΘΕΩΡ ΙΑ ΚΑΙ ΑΠΟΔΕ ΙΞΕΙΣ Το βασικό περίγραμμα αυτού του υπολογισμού έχει ως εξής. Ξεκινάμε παρατηρώντας ότι, για οποιοδήποτε x R, Pr S S p x = Pr x p p = Pr S p + x p p = p+x p p k= Pr S = k. Αντικαθιστώντας τώρα την ασυμπτωτική έκφραση της πυκνότητας PrS = k του S από την 3.6, και εξετάζοντας με λίγη προσοχή το πιο πάνω άθροισμα, εύκολα διαπιστώνουμε ότι, για μεγάλα, κατά προσέγγιση ισούται με, Pr S x 2π x 2π y x p p exp y 2 /2 exp y 2 /2 dy, όπου στο παραπάνω άθροισμα τα διαδοχικά y που αθροίζονται έχουν μεταξύ τους απόσταση / p p, άρα κάθε όρος του αθροίσματος ισούται με το μήκος ενός διαστήματος επί την τιμή της συνάρτησης exp y 2 /2 σε εκείνο το διάστημα. Συνεπώς η τελική προσέγγιση προκύπτει από τον ορισμό του ολοκληρώματος Riema. 2. Για την απόδειξη του θεωρήματος θα χρειαστούμε την ακριβή μορφή του τύπου του Stirlig, όπως δίνεται στη σημείωση που ακολουθεί το Λήμμα 7.. Καθώς το :! 2π e. 3.7 Απόδειξη: Η βασική ιδέα της απόδειξης είναι απλή: Θα εφαρμόσουμε τον τύπο του Stirlig στην πυκνότητα της διωνυμικής κατανομής. Κατ αρχάς, λοιπόν, παρατηρούμε πως S Διων, p. Για λόγους ευκολίας, γράφουμε q = p, και ορίζουμε μια ακολουθία ακεραίων k = p + x, για κάθε, όπου τα {x } είναι τέτοια ώστε η ακολουθία {x / } να είναι φραγμένη. Χρησιμοποιώντας τον τύπο της πυκνότητας της διωνυμικής κατανομής έχουμε, PrS = k = p k q k = = k! k! k! pp+x q q x! p + x!q x! pp+x q q x,

7 3.3. ΤΟ ΘΕ ΩΡΗΜΑ DE MOIVRE-LAPLACE 223 εφαρμόζοντας την ακριβέστερη μορφή του τύπου του Stirlig όπως δίνεται στη 3.7 βρίσκουμε, PrS = k 2π e p p+x q q x 2π p + x p + x p+x e p+x 2π q x q x q x e, q x και απλοποιώντας, PrS = k { 2π p + x q x exp p x log + x + q + x log x }. p q Στη συνέχεια θα απλοποιήσουμε περαιτέρω την έκφραση που βρίσκεται στον εκθέτη της τελευταίας παραπάνω έκφρασης. Χρησιμοποιώντας το απλό αποτέλεσμα που δίνεται στη σχέση 3.9 του Λήμματος 3. παρακάτω, ο εκθέτης αυτός ισούται με, x + p x p x2 2 2 p 2 + o x 2 2 p 2 = x2 p x + x3 2 2 p 2 + x2 2p + o + x x2 q + x2 2q x3 2 2 q 2 + o + q x x 3 2 p 2 x 2 q + o + o x q + x 2 p x 3 2 q 2, x2 x q 2 + o 2 q 2 όπου παρατηρούμε πως, από την υπόθεσή μας ότι η ακολουθία {x / } είναι φραγμένη, προκύπτει πως το άθροισμα των τεσσάρων όρων της μορφής o παραπάνω ισούται με έναν όρο που τείνει στο μηδέν. Άρα, ο εκθέτης που εξετάζουμε τελικά ισούται με, x 2 p + 2p q + 2q + o = x2 2pq + o, και, αντικαθιστώντας στην προηγούμενη έκφραση για την πυκνότητα του S, έχουμε, [ ] PrS = k 2π p + x q x exp x2 2pq + o [ ] exp x πpq 2pq Τώρα μπορούμε να εφαρμόσουμε την πιο πάνω σχέση στην περίπτωση όπου το k είναι της μορφής k = p + y pq για κάποια σταθερά y R, το οποίο είναι προφανώς της μορφής k = p + x που έχουμε υποθέσει. Σε αυτή την περίπτωση, η 3.8 μας δίνει, αποδεικνύοντας το θεώρημα. Pr S = p + y pq 2πpq exp y 2 /2,

8 224 ΚΕΦΑΛΑΙΟ 3. Κ.Ο.Θ.: Λ ΙΓΗ ΘΕΩΡ ΙΑ ΚΑΙ ΑΠΟΔΕ ΙΞΕΙΣ Λήμμα 3. Καθώς, log + = o 2, και, κατά συνέπεια, για οποιαδήποτε ακολουθία {a } που τείνει στο άπειρο παρομοίως έχουμε, log + = a a 2a 2 + o a Απόδειξη: Η σχέση 3.9 είναι προφανής συνέπεια της πρώτης πρότασης του λήμματος, οπότε αρκεί να δείξουμε ότι: lim log =. 2 Σε αυτό το όριο εμφανίζεται απροσδιοριστία της μορφής /, η οποία μπορεί να αφαιρεθεί αν κάνουμε χρήση του κανόνα του L Hôpital. Πράγματι, τότε έχουμε, lim άρα αποδείξαμε το ζητούμενο. log = lim = lim +/ /2 + / 2 / / 3 [ ] 2 = lim 2 + =, 3.4 Το θεώρημα του Lideberg Στην τελευταία αυτή ενότητα του κεφαλαίου, θα δώσουμε μια πλήρη απόδειξη του Κ.Ο.Θ., και μάλιστα κάτω από γενικές συνθήκες. Ακολουθώντας τις βασικές γραμμές μιας απόδειξης του Lideberg 922, θα αποδείξουμε τη γενική μορφή του Κ.Ο.Θ. όπως ακριβώς είναι διατυπωμένο στο Θεώρημα 2.2 του Κεφαλαίου 2. Οπως αναφέραμε πιο πάνω, αν και η απόδειξη είναι μακροσκελής, δεν απαιτεί τη χρήση ιδιαίτερων μαθηματικών εργαλείων πέρα από κάποια απλά αποτελέσματα του διαφορικού λογισμού για συναρτήσεις μίας μεταβλητής. Επιπλέον, έχει το πλεονέκτημα ότι εύκολα γενικεύεται σε πολλές περιπτώσεις ακολουθιών τυχαίων μεταβλητών οι οποίες δεν ικανοποιούν τις παρούσες συνθήκες. Τέτοια θέματα, όμως, δεν θα μας απασχολήσουν εδώ περαιτέρω.

9 3.4. ΤΟ ΘΕ ΩΡΗΜΑ ΤΟΥ LIDEBERG 225 Απόδειξη του Lideberg για το Κ.Ο.Θ.: Χωρίζουμε την απόδειξη σε έξι βήματα, χάριν ευκολίας στην ανάγνωση και την κατανόησή της. Οπως θα καταστεί σαφές, το σημαντικότερο και πιο πρωτότυπο βήμα είναι το πέμπτο. Θυμίζουμε τις υποθέσεις του Θεωρήματος 2.2: Οι τυχαίες μεταβλητές {X } είναι ανεξάρτητες, έχουν όλες την ίδια κατανομή και, κατά συνέπεια, έχουν κοινή μέση τιμή µ = EX i και διασπορά σ 2 = VarX, για κάθε i. Ο στόχος μας είναι να δείξουμε ότι, για κάθε x R, Pr S x = Pr σ X i µ x Φx, καθώς. 3. i= Βημα. Ισχυριζόμαστε πως αρκεί να δείξουμε τη 3. για την περίπτωση µ = και σ 2 = : Εστω ότι, για οποιαδήποτε ακολουθία ανεξάρτητων Τ.Μ. {Y i } με μέση τιμή μηδέν και διασπορά ίση με ένα, γνωρίζουμε πως, Pr i= Y i x Φx, καθώς. 3. Δεδομένης της ακολουθίας {X } που μας ενδιαφέρει, αν ορίσουμε τις νέες Τ.Μ. Y = X µ σ, για =, 2,..., τότε βλ. Παρατήρηση 2 στην Ενότητα 9.2 και Θεώρημα 5. στο Κεφάλαιο 5 οι {Y } είναι ανεξάρτητες, και, από τις ιδιότητες των Θεωρημάτων 6. και.2, επίσης έχουμε, Xi µ EY i = E = EX i µ = σ σ Xi µ και VarY i = Var = σ σ 2 VarX i =. Μπορούμε άρα να εφαρμόσουμε τη 3. στις {Y }, η οποία αμέσως μας δίνει τη 3.. Βημα 2. Εστω οι ανεξάρτητες Τ.Μ. {Y }, όλες με την ίδια κατανομή και με µ = EY i = και σ 2 = VarY i = για κάθε i. Συμβολίζουμε με T το κανονικοποιημένο άθροισμά τους, T = και με F x τη συνάρτηση κατανομής του T x. Τότε η ζητούμενη σχέση 3. γίνεται, i= Y i, F x = Pr T x Φx, καθώς. 3.2 Εστω τώρα Z, με συνάρτηση κατανομής Φx. Οπως στην Άσκηση 2 του Κεφαλαίου 7, ορίζουμε, για κάθε x R, τις δείκτριες συναρτήσεις, h x : R {, } ως, {, αν y x, h x y = 3.3, αν y > x,

10 226 ΚΕΦΑΛΑΙΟ 3. Κ.Ο.Θ.: Λ ΙΓΗ ΘΕΩΡ ΙΑ ΚΑΙ ΑΠΟΔΕ ΙΞΕΙΣ και παρατηρούμε πως οι F x και Φx μπορούν να εκφραστούν, αντίστοιχα, ως, F x = E[h x T ] και Φx = E[h x Z]. Άρα, το ζητούμενό μας είναι να αποδείξουμε πως, E[h x T ] E[h x Z], καθώς, 3.4 για κάθε δείκτρια συνάρτηση h x της μορφής 3.3. Βημα 3. Εδώ ισχυριζόμαστε πως, αντί να αποδείξουμε τη σύγκλιση της σχέσης 3.4 για κάθε δείκτρια συνάρτηση h x y, αρκεί να αποδείξουμε πως, E[h T ] E[hZ], καθώς, 3.5 για όλες τις συναρτήσεις h : R R οι οποίες ικανοποιούν:. Η τρίτη παράγωγος h y υπάρχει για όλα τα y R και είναι φραγμένη, και 2. Για κάποιο M >, η hy = για όλα τα y [ M, M]. Το ότι η 3.5 πράγματι ισχύει είναι το πιο ενδιαφέρον μέρος της απόδειξης και θα το δείξουμε στο πέμπτο βήμα. Το ότι η 3.5 για όλες αυτές τις συναρτήσεις είναι αρκετή για να αποδειχθεί η ζητούμενη σύγκλιση 3.4 για κάθε x R είναι το λιγότερο ενδιαφέρον μέρος της απόδειξης, και θα δειχθεί στο τελευταίο βήμα. Παρατηρούμε πως, αν η hy ικανοποιεί τις δύο παραπάνω συνθήκες, τότε και η hy και οι τρεις πρώτοι παράγωγοί της είναι φραγμένες συναρτήσεις. Επιπλέον, από το ανάπτυγμα Taylor έχουμε ότι, για κάθε x, y, hx + y = hx + yh x + y2 2! h x + y3 3! h ξ, για κάποιο ξ μεταξύ των τιμών x και x + y. Το ότι η h y είναι φραγμένη σημαίνει πως υπάρχει κάποια σταθερά C 3 < τέτοια ώστε h z C 3 για όλα τα z R. Οπότε, δεδομένου αυθαίρετου ɛ >, αν θέσουμε δ = 6ɛ/C 3 >, το παραπάνω ανάπτυγμα μας δίνει, hx + y hx yh x y2 2 h x y 2 C 3 y 6 { ɛy 2, αν y < δ, Cy 2, για όλα τα y R, ɛy 2 + Cy 2 [ h δ y ], 3.6 όπου η σταθερά C = MC 3 /6 <, με M το φράγμα που έχουμε από το γεγονός ότι η hy ικανοποιεί τη δεύτερη από τις παραπάνω συνθήκες, και όπου η h δ είναι δείκτρια συνάρτηση της μορφής που ορίσαμε στη 3.3.

11 3.4. ΤΟ ΘΕ ΩΡΗΜΑ ΤΟΥ LIDEBERG 227 Βημα 4. Πριν προχωρήσουμε στο πέμπτο και σημαντικότερο βήμα, θυμίζουμε μια απλή ιδιότητα που είδαμε, στην περίπτωση των διακριτών Τ.Μ., στην Άσκηση 3 του Κεφαλαίου 7: Εστω μια οποιαδήποτε διακριτή Τ.Μ. V τέτοια ώστε E V <. Δεδομένης μιας δείκτριας συνάρτησης h x όπως στα προηγούμενα δύο βήματα, για οποιοδήποτε δεδομένο x >, ορίζουμε επίσης τη συμπληρωματική δείκτρια συνάρτηση, H x v = h x v = {, αν v > x,, αν v x. Από το αποτέλεσμα της Άσκησης 3 του Κεφαλαίου 7, με Y = V, έχουμε, lim E[ V H x V ] =. x 3.7 Επιπλέον, στην Άσκηση 4 στο τέλος αυτού του κεφαλαίου θα δείξουμε ότι το ίδιο ισχύει αν η V είναι συνεχής. Και μια και το ίδιο ακριβώς αποτέλεσμα μπορεί να εφαρμοστεί στη V 2, αν θεωρήσουμε ότι ικανοποιεί EV 2 <, έχουμε παρομοίως ότι, για οποιαδήποτε συνεχή ή διακριτή Τ.Μ. με EV 2 <, lim EV 2 H x V = lim EV 2 H x 2V 2 =, 3.8 x x γεγονός το οποίο θα χρησιμοποιήσουμε παρακάτω. Βημα 5. Σε αυτό το βήμα θα δούμε το συλλογισμό που βρίσκεται στην καρδιά της απόδειξης του Lideberg. Θα αποδείξουμε τη σχέση 3.5 όπως απαιτείται από το τρίτο βήμα. Εστω λοιπόν μια αυθαίρετη συνάρτηση h : R R που ικανοποιεί τις δύο συνθήκες του τρίτου βήματος. Επιπλέον, ορίζουμε τις ανεξάρτητες Τ.Μ. Z, Z 2,..., Z με κάθε Z i,. Από την τέταρτη ιδιότητα του Θεωρήματος 2., ξέρουμε ότι το κανονικοποιημένο άθροισμα R = i= Z i των Z i έχει κατανομή R,. Άρα, το ζητούμενό μας είναι να δείξουμε πως, καθώς, E [ h [ ] [ ] T E h R = E {h i= ]} { [ Y i E h ή, θέτοντας, για ευκολία, Y i = Y i/ και Z i = Z i/, ότι, καθώς, { [ = E h i= Y i i= Z i ]}, ]} { [ E h Z i]}. 3.9 Η κεντρική ιδέα της απόδειξης είναι η πιο κάτω έξυπνη αναπαράσταση, όπου αντικαθιστούμε i=

12 228 ΚΕΦΑΛΑΙΟ 3. Κ.Ο.Θ.: Λ ΙΓΗ ΘΕΩΡ ΙΑ ΚΑΙ ΑΠΟΔΕ ΙΞΕΙΣ έναν-έναν τους όρους Y i του αθροίσματος με τις αντίστοιχες κανονικές Τ.Μ.: { [ k ]} { [ k = E h Y i + Z i E h Y i + Z i]} k= i= i=k+ i= i=k { [ k ]} { [ k E h Y i + Z i E h Y i + Z i]} k= i= i=k+ i= i=k { [ k ] [ k = E h Y i + Z i + Y k h Y i + Z i + Z k]}. k= i= i=k+ i= i=k+ Δεδομένου αυθαίρετου ɛ >, χρησιμοποιώντας δύο φορές το φράγμα που βρήκαμε στη σχέση 3.6 από το ανάπτυγμα Taylor, ο κάθε όρος στο τελευταίο πιο πάνω άθροισμα μπορεί να εκφραστεί ως, { ]} { ]} + 2 E E [ Y k Z k k h i= Y i + i=k+ Z i Y 2 k Z 2 [ k k h i= Y i + i=k+ + EA k + EB k, 3.2 όπου οι όροι των «υπολοίπων» A k και B k που προέρχονται από το ανάπτυγμα Taylor ικανοποιούν, A k ɛy 2 k + CY 2 k H δ Y k και B k ɛz 2 k + CZ 2 k H δ Z k, με H δ τη συμπληρωματική δείκτρια συνάρτηση που ορίσαμε στην 3.7. Η κρίσιμη παρατήρηση σε αυτό το σημείο είναι πως, λόγω της ανεξαρτησίας των Τ.Μ. Y i και Z i, και επειδή όλες αυτές οι Τ.Μ. έχουν μέση τιμή μηδέν και ίδια διασπορά /, οι δύο πρώτες μέσες τιμές στην έκφραση 3.2 είναι ίσες με μηδέν. Οπότε, αντικαθιστώντας, a = ɛ k= k= { ɛey 2 k + CE [ Y 2 k H δ Y k ] + ɛez 2 k + CE [ Z 2 k H δ Z k ] } [ E b = 2ɛ + C c = 2ɛ + C Y 2 k k= [ E Z 2 ] + E k + C k= [ E Y 2 k H δ [ ] E Yk 2 H δ Y k + E Zk 2 H δ Z k Y 2 H δ Y ] + E ZH 2 δ Z, Yk + E Zk 2 H δ Z i Zk ] όπου για την ισότητα a αντικαταστήσαμε τους ορισμούς των Y k, Z k, για την b χρησιμοποιήσαμε το γεγονός ότι όλες αυτές οι Τ.Μ. έχουν μέση τιμή μηδέν και διασπορά ένα και την παρατήρηση

13 3.4. ΤΟ ΘΕ ΩΡΗΜΑ ΤΟΥ LIDEBERG 229 πως, εξ ορισμού, H δ a / = H δ a, και για την c χρησιμοποιήσαμε το ότι όλοι οι όροι του τελευταίου αθροίσματος είναι ίδιοι για κάθε k. Εφαρμόζοντας τώρα το αποτέλεσμα 3.8 του τέταρτου βήματος πιο πάνω, έχουμε πως, lim sup 2ɛ, και, αφού το ɛ > ήταν αυθαίρετο, έχουμε τελικά αποδείξει το ζητούμενο αποτέλεσμα της σχέσης 3.9: lim =. Βημα 6. Το μόνο που απομένει να κάνουμε είναι να τεκμηριώσουμε τον ισχυρισμό του βήματος 3, δηλαδή ότι αν, E[h T ] E[hZ], καθώς, για όλες τις συναρτήσεις h : R R για τις οποίες η τρίτη παράγωγος h y υπάρχει για όλα τα y R, και hy = για όλα τα y [ M, M], για κάποιο M >, τότε έχουμε και ότι, E[h x T ] E[h x Z], καθώς, 3.2 για κάθε δείκτρια συνάρτηση h x της μορφής 3.3. Η απόδειξη αυτού του ισχυρισμού είναι κυρίως τεχνική και ελάχιστα σχετίζεται με ιδέες και εργαλεία των πιθανοτήτων. Δεν θα παρεξηγήσουμε λοιπόν τους αναγνώστες που θα τη δεχτούν χωρίς να τη διαβάσουν, και συνεχίζουμε μόνο για τους πιο φανατικούς της μαθηματικής ανάλυσης. Εστω μια δείκτρια συνάρτηση h x για κάποιο δεδομένο x R. Θα προσεγγίσουμε την h x y μέσω της ακολουθίας συναρτήσεων {s m }, όπου, για m > x +,, αν t m m, A mt+m exp z z dz, αν m m < t < m, s m t =, αν m t x m, A mt x+ exp z z dz, αν x m < t < x,, αν t x, και η σταθερά A = exp z z dz. Από τον ορισμό της είναι εύκολο να διαπιστώσουμε ότι, για μεγάλα m, η s m y προσεγγίζει όλο και περισσότερο την h x y: Καθώς το m μεγαλώνει, αφενός το διάστημα [ m, x /m] στο οποίο η s m y = προσεγγίζει όλο και περισσότερο το αντίστοιχο διάστημα, x] όπου η h x y =, και αφετέρου, τα διαστήματα όπου s m y παίρνει τιμές αυστηρά μεταξύ και γίνονται όλο και μικρότερα ώσπου στο όριο εξαφανίζονται. Ενα παράδειγμα αυτής της συμπεριφοράς φαίνεται στο Σχήμα 3., όπου, για την περίπτωση x =, έχουμε σχεδιάσει τα γραφήματα των συναρτήσεων s m y για m = 2 και m = 4.

14 23 ΚΕΦΑΛΑΙΟ 3. Κ.Ο.Θ.: Λ ΙΓΗ ΘΕΩΡ ΙΑ ΚΑΙ ΑΠΟΔΕ ΙΞΕΙΣ h x t, x = s t m x=, m=4-7/4-4 -5/2-2 -/2 -/4 t h x t, x = s t m x=, m=2-7/4-4 -5/2-2 -/2 -/4 t Σχήμα 3.: Τα γραφήματα των συναρτήσεων s m t στην περίπτωση x =, για m = 2 κάτω και για m = 4 επάνω. Στην απόδειξή η ακολουθία {s m } χρησιμοποιείται ως προσέγγιση της δείκτριας συνάρτησης h x t, της οποίας το γράφημα αναπαρίσταται με τη διακεκομμένη γραμμή. Από τον ορισμό της s m προφανώς έχουμε s m t = για t [ m +, m + ] και εύκολα μπορούμε να διαπιστώσουμε ότι η τρίτη της παράγωγος s mt υπάρχει για κάθε t R. Άρα για κάθε δεδομένο m, από το προηγούμενο βήμα έχουμε ότι, E[s m T ] E[s m Z], καθώς Επιπλέον, έχουμε s m t s m+ t h x t για κάθε m και κάθε t R, αλλά αφού s m t = για όλα τα t [ m, x /m], έχουμε και ότι s m t h x /m t h m t, οπότε, E[s m Z] E[h x /m Z h m Z] = Φx /m Φ m.

15 3.4. ΤΟ ΘΕ ΩΡΗΜΑ ΤΟΥ LIDEBERG 23 Άρα, δεδομένου αυθαίρετου ɛ >, αφού η Φz είναι συνεχής και lim z Φz =, μπορούμε να επιλέξουμε m αρκετά μεγάλο ώστε να έχουμε E[s m Z] Φx ɛ για όλα τα m m. Συνδυάζοντας τις παραπάνω παρατηρήσεις, προκύπτει ότι, lim if E[h x T ] lim if E[s m T ] = E[s m Z] Φx ɛ = E[h x Z] ɛ, για κάθε m m. Και εφόσον το ɛ > ήταν αυθαίρετο, έχουμε ότι, lim if E[h x T ] E[h x Z] ɛ Τέλος επιτέλους!, για να δείξουμε το αντίστοιχο άνω φράγμα, παρατηρούμε ότι, για κάθε m και t, s m t h x /m t h m t, οπότε, E[h x /m T ] E[s m T ] + E[h m T ]. Για τον τελευταίο όρο, χρησιμοποιώντας το γεγονός ότι το T έχει μέση τιμή μηδέν και διασπορά ίση με ένα, και εφαρμόζοντας ανισότητα Chebychev, έχουμε, E[h m T ] = Pr T m Pr T m EVar T m 2 = m 2, οπότε, αντικαθιστώντας, E[h x /m T ] E[s m T ] + m 2. Παίρνοντας το όριο, από το αποτέλεσμα 3.22 του τρίτου βήματος, lim sup E[h x /m T ] E[s m Z] + m 2 E[h xz] + m 2, και εφόσον αυτή η σχέση ισχύει για κάθε x και κάθε m, αντικαθιστώντας το x με το x + /m, lim sup E[h x T ] E[h x+/m Z] + m 2 Φx + /m + m 2. Άρα, δεδομένου αυθαίρετου ɛ >, από το γεγονός ότι η Φx είναι συνεχής συνάρτηση, μπορούμε να επιλέξουμε m αρκετά μεγάλο ώστε /m 2 ɛ/2 και Φx + /m Φx + ɛ/2, για κάθε m m. Τότε, lim sup E[h x T ]Φx + ɛ = E[h x Z] + ɛ, και επειδή το ɛ > ήταν αυθαίρετο, έχουμε τελικά αποδείξει ότι, lim sup E[h x T ] E[h x Z] Ο συνδυασμός των αποτελεσμάτων 3.23 και 3.24 συνεπάγεται ότι, lim E[h x T ] = E[h x Z], το οποίο αποδεικνύει τον ισχυρισμό του τρίτου βήματος και ολοκληρώνει την απόδειξη.

16 232 ΚΕΦΑΛΑΙΟ 3. Κ.Ο.Θ.: Λ ΙΓΗ ΘΕΩΡ ΙΑ ΚΑΙ ΑΠΟΔΕ ΙΞΕΙΣ 3.5 Ασκήσεις. Σύγκλιση κατά πιθανότητα σύγκλιση κατά κατανομή. Αποδείξτε πως, αν οι Τ.Μ. {X } τείνουν κατά πιθανότητα σε κάποια Τ.Μ. X, τότε τείνουν στη X και κατά κατανομή. 2. Σύγκλιση κατά κατανομή σύγκλιση κατά πιθανότητα. Εδώ θα δούμε πως η αντίστροφη πρόταση εκείνης που αποδείξαμε στην προηγούμενη άσκηση δεν ισχύει πάντα. Εστω δύο ανεξάρτητες Ber/2 Τ.Μ. Y, Z. Ορίζουμε την ακολουθία Τ.Μ. X = Y + Z, για κάθε =, 2,.... Αποδείξτε πως οι {X }: αʹ Συγκλίνουν κατά κατανομή στην Y. βʹ Συγκλίνουν κατά κατανομή στη Z. γʹ Συγκλίνουν κατά πιθανότητα στην Y. δʹ Δεν συγκλίνουν κατά πιθανότητα στη Z. Άρα έχουμε X Z κατά κατανομή αλλά όχι κατά πιθανότητα. 3. Σύγκλιση κατά κατανομή και κατά πιθανότητα σε σταθερά. Αντίθετα με τη γενική περίπτωση της προηγούμενης άσκησης, εδώ θα δείξετε πως, στην ειδική περίπτωση που μια ακολουθία τυχαίων μεταβλητών {X } συγκλίνει κατά κατανομή σε μια σταθερά c R, τότε οι {X } συγκλίνουν και κατά πιθανότητα στην c. 4. Η ουρά της μέσης τιμής μιας συνεχούς Τ.Μ. Εστω μια συνεχής Τ.Μ. Y η οποία παίρνει πάντα τιμές μεγαλύτερες ή ίσες του μηδενός και έχει πεπερασμένη μέση τιμή EY. Οπως είδαμε και στην Άσκηση 3 του Κεφαλαίου 7 για διακριτές Τ.Μ., δείξτε και εδώ πως, καθώς το x, E[Y H x Y ], όπου H x y είναι οι συμπληρωματικές δείκτριες συναρτήσεις τις οποίες ορίσαμε στη σχέση Σύγκλιση ως προς την απόσταση χ 2. Στην Άσκηση 8 του Κεφαλαίου 6, για δύο οποιεσδήποτε διακριτές πυκνότητες P x και Qx στο ίδιο πεπερασμένο σύνολο S, ορίσαμε τη χ 2 -απόσταση της Q από την P ως, d χ 2P, Q = P x Qx 2. Qx x S Εστω μια ακολουθία διακριτών Τ.Μ. {X } όπου το κάθε X έχει πυκνότητα P στο πεπερασμένο σύνολο τιμών S, και έστω μια άλλη Τ.Μ. X με πυκνότητα P στο S. Αποδείξτε πως αν, καθώς, οι αποστάσεις d χ 2P, P, τότε και οι Τ.Μ. {X } τείνουν στη X κατά κατανομή.

17 3.5. ΑΣΚ ΗΣΕΙΣ Σύγκλιση της διωνυμικής στην Poisso. Στο Πόρισμα 7. του Κεφαλαίου 7 δείξαμε πως, αν για κάθε η P k είναι η πυκνότητα μιας Τ.Μ. X με Διων, λ/ κατανομή και P x είναι η πυκνότητα της Z Poissoλ, τότε οι Τ.Μ. {X } τείνουν στη Z υπό την έννοια ότι οι πυκνότητες P συγκλίνουν στην P : lim P k = P k, για κάθε k =,, αʹ Δείξτε ότι οι {X } τείνουν στη Z και κατά κατανομή. βʹ Γενικότερα, έστω {X } μια οποιαδήποτε ακολουθία Τ.Μ. με αντίστοιχες πυκνότητες P k και σύνολο τιμών S = {,, 2,...}. Δείξτε πως, αν οι πυκνότητες P συγκλίνουν όπως στη 3.25 στην πυκνότητα P κάποιας Τ.Μ. Z με το ίδιο σύνολο τιμών S, τότε οι {X } τείνουν στη Z και κατά κατανομή.

18