Ροπές
πίνακας περιεχομένων Πότε χρειάζεται η ανεξαρτησία;....................... 3 Ιδιότητες κλιμάκωσης.............................. 8 Μέση τιμή και ccdf.............................. 1 Ο νόμος των μεγάλων αριθμών....................... 14 Σχέση διακριτού και συνεχούς........................ 2 2
Άσκηση 1: Θεωρήστε δύο διακριτές ΤΜ X 1 και X 2 με κοινή pmf την f X1 X 2 x 1, x 2 = PX 1 = x 1, X 2 = x 2. 1. Αποδείξτε ότι ισχύει: EX 1 + X 2 = EX 1 + EX 2 1 χωρίς να έχει σημασία εάν οι ΤΜ είναι μεταξύ τους ανεξάρτητες, όπου E είναι ο τελεστής της στατιστικής μέσης τιμής. Γενικεύστε για n ΤΜ. 2. Αποδείξτε, επιπλέον, ότι ισχύει: VarX 1 + X 2 = σ 2 X 1 + σ 2 X 2 2 αν οι ΤΜ είναι μεταξύ τους ανεξάρτητες, όπου Var είναι ο τελεστής της διασποράς ως εναλλακτική του σ 2. Γενικεύστε για n ΤΜ. Θεωρήστε, τώρα, τη διακριτή ΤΜ Y με κατανομή τη διωνυμική: Y Binomialn, p. 3. Αποδείξτε ότι για τη μέση τιμή της Y ισχύει: EY = np 3 και για τη διασπορά της: σ 2 Y = np1 p. 4 Λύση: Μιας διακριτής ΤΜ X με pmf f X x η μέση τιμή ορίζεται ως εξής: EX x = x xf X x xpx = x 5 όπου το άθροισμα «τρέχει» επί όλων των τιμών x της X. Σχετικά με το Ερώτημα 1, η EX 1 + X 2 ορίζεται, ανάλογα, ως εξής: EX 1 + X 2 x 1,x 2 x 1 + x 2 f X1 X 2 x 1, x 2 6 όπου και πάλι το εννοούμενο διπλό άθροισμα τρέχει επί όλων των τιμών των X 1 και X 2. Αναπτύσσοντας με την επιμεριστική ιδιότητα την 6: EX 1 + X 2 = x 1 f X1 X 2 x 1, x 2 + x 2 f X1 X 2 x 1, x 2 x 1,x 2 = x 1,x 2 x 1 f X1 X 2 x 1, x 2 + x 1,x 2 x 2 f X1 X 2 x 1, x 2 7 3
σχέση η οποία με ρητή χρήση του διπλού αθροίσματος γίνεται: EX 1 + X 2 = x 1 f X1 X 2 x 1, x 2 8 x 1 x 2 + x 2 f X1 X 2 x 1, x 2 9 x 1 x 2 = x 1 f X1 X 2 x 1, x 2 1 x 1 x 2 + x 2 f X1 X 2 x 1, x 2. 11 x 2 x 1 Η 1 προέρχεται από την 8 και από την παρατήρηση ότι όσο το μέσα άθροισμα της 8 τρέχει τις τιμές του x 2, το x 1 παραμένει σταθερό, ελεγχόμενο από το έξω άθροισμα, οπότε βγαίνει ως κοινός παράγοντας. Ιδια εξήγηση ισχύει για το πώς η 11 προήρθε από την 9 με την επιπλέον παρατήρηση ότι η σειρά της άθροισης στην 9 μπορεί να εναλλαχθεί. Στη συνέχεια, ο νόμος της ολικής πιθανότητας για την 1 δίνει: x 2 f X1 X 2 x 1, x 2 = f X1 x 1 12 και παρομοίως για την 11: x 1 f X1 X 2 x 1, x 2 = f X2 x 2. 13 Ετσι, η 1 γράφεται ως εξής: x 1 x 1 x 2 f X1 X 2 x 1, x 2 12 = x 1 x 1 f X1 x 1 = x 1 x 1 Px 1 14 ενώ η 11: x 2 x 2 x 1 f X1 X 2 x 1, x 2 = EX 1 13 = x 2 x 2 f X2 x 2 = x 2 x 2 Px 2 = EX 2 15 και έτσι αποδείξαμε την 1 χωρίς να χρειαστεί κάποια υπόθεση για την ανεξαρτησία των X 1 και X 2. Για την περίπτωση των n ΤΜ δεν αλλάζει τίποτα στη λογική. Η απόδειξη αφήνεται στον αναγνώστη, ενώ για τη συνέχεια θεωρείται δεδομένη. 4
Σχετικά με το Ερώτημα 2, η διασπορά μιας διακριτής ΤΜ X δίνεται, εξ ορισμού, από την ακόλουθη σχέση: σ 2 X x = x x EX 2 PX = x. 16 x EX 2 fx x Παρομοίως και για το άθροισμα των X 1 και X 2 : VarX 1 + X 2 x 1,x 2 x1 EX 1 + x 2 EX 2 2 fx1 X 2 x 1 x 2. 17 Για την απάντηση του ερωτήματος, αναπτύσσουμε τώρα το δεξί μέρος της τελευταίας εξίσωσης με χρήση της ταυτότητας a + b 2 = a 2 + b 2 + 2ab, ως εξής: 17 = x 1 x 2 x1 EX 1 2 fx1 X 2 x 1 x 2 18 + x 1 x 2 x2 EX 2 2 fx1 X 2 x 1 x 2 19 + 2 x 1 x 2 x1 EX 1 x 2 EX 2 f X1 X 2 x 1 x 2. 2 Η 18 αναγνωρίζεται ως η σx 2 1. Πράγματι: x1 EX 1 2 x1 fx1 X 2 x 1 x 2 = EX 1 2 f X1 X 2 x 1 x 2 x 2 x 2 x 1 x 1 = x 1 x1 EX 1 2 fx1 x 1. Αναλόγως, η 19 αναγνωρίζεται ως η σ 2 X 2. Τέλος, η 2 είναι το διπλάσιο της συμμεταβλητότητας covariance των διακριτών ΤΜ X 1, X 2, η οποία ορίζεται ως: CovX 1, X 2 E [ X 1 EX 1 X 2 EX 2 ]. 21 Εάν οι ΤΜ X 1 και X 2 είναι ανεξάρτητες, τότε f X1 X 2 x 1 x 2 = f X1 x 1 f X2 x 2 και η 2 χωρίς το συντέλεστη 2 γράφεται: 2 x 1 x 2 x1 EX 1 x 2 EX 2 f X1 x 1 f X2 x 2 = x 1 x1 EX 1 f X1 x 1 x 2 x2 EX 2 f X2 x 2 όπου το κάθε άθροισμα, εκτελώντας την επιμεριστική ιδιότητα, τελικά δίνει. Ετσι αποδείξαμε και τη 2. Η γενίκευση για n ΤΜ αφήνεται και πάλι στον αναγνώστη για το τελευταίο ερώτημα που ακολουθεί, η ισχύς της θεωρείται δεδομένη. 5 22
Οσον αφορά το Ερώτημα 3, διωνυμική κατανομή Binomialn, p ακολουθεί το άθροισμα n iid 1 ΤΜ, καθεμία από τις οποίες ακολουθεί την κατανομή Bernoullip βλ. Σειρά Ασκήσεων 2, Άσκ. 3. Ετσι, μπορούμε να φανταστούμε πως η Y έχει προέρθει από ένα τέτοιο άθροισμα, ως εξής: Y = X 1 + X 2 +... + X n 23 όπου X i Bernoullip για καθένα 1 i n, δηλαδή: PX i = x = { p, για x = 1 1 p, για x =. 24 Η δε pmf της Y ορίζεται ως: f Y y = PY = y n = p y 1 p n y. y 25 Για τον υπολογισμό της EY, από την 23 και ύστερα από τη γενίκευση της 1 έχουμε: n EY = E X i = n EX i = nex i επομένως μένει να υπολογιστεί η EX i. Από τον ορισμό της μέσης τιμής διακριτής ΤΜ: 26 EX i = x xf Xi x = 1 xpx i = x x= 24 = 1 p + 1 p = p. 27 Αντικαθιστώντας το αποτέλεσμα της 27 στην 26 ολοκληρώνεται η ζητούμενη απόδειξη της 3. 1 independent, identically distributed: χαρακτηρισμός για τυχαίες μεταβλητές οι οποίες είναι μεταξύ τους ανεξάρτητες και ακολουθούν καθεμία από αυτές την ίδια κατανομή. 6
Για τον υπολογισμό της σy 2, από την 23 και ύστερα από τη γενίκευση της 2 έχουμε: n σ 2 Y = Var = X i n VarX i = nσ 2 X i επομένως μένει να υπολογιστεί η σ 2 X i. Από τον ορισμό της διασποράς διακριτής ΤΜ: 28 σ 2 X i = x x EXi 2 fxi x = 1 x p 2 PX i = x x= 24 = 1 p 2 p + p 2 1 p = p1 p. 29 Αντικαθιστώντας το αποτέλεσμα της 29 στην 28 ολοκληρώνεται και η ζητούμενη απόδειξη της 4. Επιμύθιο: Για τη μέση τιμή του αθροίσματος n ΤΜ X 1, X 2,..., X n ισχύει: n E X i = n EX i χωρίς να ενδιαφέρει εάν οι ΤΜ είναι μεταξύ τους ανεξάρτητες. Εάν, όμως, είναι, τότε για τη διασπορά του αθροίσματός τους ισχύει: n Var X i = n VarX i. Ερωτήματα: Το Ερώτημα 2 μάς καλούσε να δείξουμε ότι εάν οι ΤΜ X 1, X 2,..., X n είναι μεταξύ τους ανεξάρτητες, η 2 ισχύει. 1. Μπορείτε να δείξετε ότι η 2 ισχύει εάν και μόνο εάν οι ΤΜ είναι ανά δύο ασυσχέτιστες; Προσέξτε ότι η απόδειξη αυτή περιλαμβάνει ένα ευθύ κι ένα αντίστροφο μέρος. 2. Μπορείτε να αποδείξετε τις 1 και 2 όταν οι ΤΜ είναι συνεχείς; 7
Άσκηση 2: Εστω μία διακριτή ΤΜ X με pmf f X x. 1. Αποδείξτε ότι: και: όπου c σταθερά. EcX = cex 1 VarcX = c 2 VarX 2 2. Αποδείξτε τις ίδιες ιδιότητες, εάν η X είναι συνεχής ΤΜ με pdf f X x. Λύση: Γενικά, η σχέση η οποία δίνει τη μέση τιμή μιας συνάρτησης g της διακριτής ΤΜ X είναι η εξής: E gx = x = x gxf X x gxpx = x. 3 όπου το άθροισμα «τρέχει» επί όλων των τιμών x της X. Η 3 ισχύει επειδή η καινούρια ΤΜ gx παίρνει την τιμή gx με την ίδια πιθανότητα με την οποία η X παίρνει την τιμή x. Στην περίπτωσή μας gx = cx, οπότε, ξεκινώντας την απάντηση στο Ερώτημα 1, η 3 γίνεται: EcX = cxf X x. 4 x Βγάζοντας τη σταθερά c εκτός αθροίσματος ως κοινό παράγοντα, προκύπτει το ζητούμενο: cxf X x = c xf X x x x 5 = cex. Οσον αφορά τη διασπορά της ΤΜ cx: VarcX = x cx EcX 2fX x 6 = x cx cex 2fX x 7 = x c 2 x EX 2 fx x 8 = c 2 x x EX 2fX x 9 = c 2 VarX. 1 Παρατηρήστε στην 6 ότι από την cx έχουμε αφαιρέσει την EcX και όχι την EX, μιας και η διασπορά μιας ΤΜ μετράει πόσο αυτή «παίζει» γύρω από τη δική της μέση τιμή. 8
Σχετικά με το Ερώτημα 2, η μέση τιμή μιας συνάρτησης g της συνεχούς ΤΜ X δίνεται από την ακόλουθη σχέση: E gx = gxf X x dx 11 x οπότε και στην περίπτωσή μας: EcX = cxf X x dx x 12 = c xf X x dx x = cex. Οσο για τη διασπορά της cx: VarcX = = x x = c 2 cx EcX 2fX x dx cx cex 2fX x dx x = c 2 VarX. x EX 2fX x dx 13 Στο Σχήμα 1 παραθέτουμε ένα παράδειγμα για το πώς αλλάζει η μορφή της pdf μιας ΤΜ X όταν πολλαπλασιαστεί με το 2. Η X ακολουθεί την κανονική κατανομή N 1, 1, δηλαδή μέσης τιμής και διασποράς 1. Σχήμα 1: Γραφική παράσταση των pdf των N 1, 1 και N 2, 4. 9
Άσκηση 3: Εστω X μια μη αρνητική διακριτή ΤΜ. 1. Αποδείξτε ότι: EX = F c Xx dx 1 όπου FX c x είναι η συμπληρωματική συνάρτηση αθροιστικής κατανομής της X complementary cumulative distribution function, ccdf, ορισμένη ως: F c Xx PX > x = 1 PX x = 1 F X x 2 με F X x να είναι η cdf της X. 2. Αποδείξτε το ίδιο, αν η X είναι μη αρνητική συνεχής ΤΜ. Λύση: Θα αποδείξουμε το Ερώτημα 1 γραφικά για την περίπτωση που x {, a 1, a 2, a 3, a 4 } με < a 1 < a 2 < a 3 < a 4. Το γράφημα, λοιπόν, της FX c x ποιοτικά δίνεται ακολούθως.1 FX c x 1 PX > PX > a 1 PX > a 2 PX > a 3 PX > a 4 a 1 a 2 a 3 a 4 x Σχήμα 1: Γραφική παράσταση της ccdf διακριτής ΤΜ. Το ολοκλήρωμα F c X x dx στην περίπτωσή μας γίνεται a 4 F c X x dx και δίνει το εμβαδό, έστω S, κάτω από την μπλε καμπύλη του Σχήματος 1. Το εμβαδό αυτό αν υπολογιστεί από τα τέσσερα οριζόντια ορθογώνια παραλληλόγραμμα που έχουμε σχηματίσει προκύπτει ίσο με: S = PX > PX > a 1 a 1 + PX > a 1 PX > a 2 a 2 + PX > a 2 PX > a 3 a 3 + PX > a 3 PX > a 4 a 4. 3 1 Βλ. και Σειρά Ασκήσεων 2, Άσκ. 3. 1
Σχετικά με την πρώτη σειρά της 3 ισχύει: PX > = PX = a 1 + PX = a 2 + PX = a 3 + PX = a 4 PX > a 1 = PX = a 2 + PX = a 3 + PX = a 4 4 οπότε Ανάλογα έχουμε: PX > PX > a 1 = PX = a 1. 5 PX > a 1 PX > a 2 = PX = a 2 PX > a 2 PX > a 3 = PX = a 3 PX > a 3 PX > a 4 = PX = a 4. 6 Κατόπιν τούτων, το Σχήμα 1 μεταπίπτει στο ακόλουθο. 1 F c X x PX = a 1 PX = a 2 PX = a 3 PX = a 4 a 1 a 2 a 3 a 4 x Σχήμα 2: Ισοδύναμο του Σχήματος 1. Επίσης, η 3 γίνεται: S = PX = a 1 a 1 + PX = a 2 a 2 + PX = a 3 a 3 + PX = a 4 a 4 4 = a i PX = a i + PX = = EX 7 όπου η τελευταία σειρά ισχύει εξ ορισμού. Τελικά δείξαμε ότι: a4 F c Xx dx = EX. 8 Παρόλο που για τη γραφική απόδειξη της εξίσωσης 1 θεωρήσαμε μια συγκεκριμένη ΤΜ, κανείς μπορεί να πειστεί ότι η 1 αφορά οποιαδήποτε μη αρνητική διακριτή ΤΜ, συμπεριλαμβανομένων εκείνων που παίρνουν αριθμήσιμα άπειρες τιμές, ακολουθώντας την 11
ίδια λογική τεμαχισμού του εμβαδού της FX c x σε οριζόντια ορθογώνια παραλληλόγραμμα. Το Ερώτημα 2 θα το αποδείξουμε αναλυτικά. Αρχικά, για τη συνεχή ΤΜ X θεωρούμε ότι x [,. Επειτα φανταζόμαστε τη συνάρτηση gx = xfx c x. Για το διαφορικό αυτής, dg, ισχύει: dg dx = g x dg = g x dx όπου g x είναι η παράγωγος της gx. Επομένως: d xf c Xx = xf c Xx dx = F c Xx dx + x F c Xx dx = F c Xx dx + x 1 F X x dx = F c Xx dx xf X x dx όπου f X x είναι η pdf της X. Ολοκληρώνοντας από έως τα δύο μέλη της 1: d xf c Xx = xf c Xx lim x xf c Xx = F c Xx dx = FXx c dx EX F c Xx dx EX. xf X x dx Εάν αποδείξουμε ότι lim x xfx c x =, θα έχουμε αποδείξει και αυτό που ζητάει το Ερώτημα 2. Θα βασιστούμε στο κριτήριο παρεμβολής, φράσσοντας την gx από πάνω και κάτω με κατάλληλες συναρτήσεις και παίρνοντας το όριο αυτών στο άπειρο. Καταρχάς ισχύει gx, ως γινόμενο των μη αρνητικών συναρτήσεων x και FX c x. Άρα η gx φράσσεται από κάτω από το. Για την εύρεση ενός άνω φράγματος εργαζόμαστε ως εξής: EX = = α α xf X x dx xf X x dx + xf X x dx + α α xf X x dx αf X x dx όπου η τελευταία ανισότητα ισχύει λόγω του ότι xf X x αf X x όταν x α. Επιπλέον, αναγνωρίζουμε ότι: α αf X x dx = α α f X x dx = αpx > α = αf c Xα. 12 9 1 11 12 13
Ετσι, η 12 βάσει της 13 γίνεται: EX α αf c Xα EX xf X x dx + αf c Xα α Παίρνοντας, τέλος, το όριο α και στα δύο μέλη: lim αf Xα c lim EX lim α α = EX EX =. xf X x dx. α α xf X x dx 14 15 Ετσι, δείξαμε ότι: δηλαδή ότι: lim x xf c Xx 16 lim xf Xx c =. 17 x Με αντικατάσταση της 17 στην 11 αποδεικνύεται το ζητούμενο του Ερωτήματος 2. Ερωτήματα: Σχετικά με το Ερώτημα 1 αναφύονται, επιπλέον, οι ακόλουθες περιέργειες: 1. Είναι δυνατό να αποδειχθεί η 1 χωρίζοντας το εμβαδό του Σχήματος 1 σε κατακόρυφα ορθογώνια παραλληλόγραμμα; 2. Μπορείτε να αποδείξετε την 1 όταν x {a 1, a 2, a 3,...} με < a 1 < a 2 < a 3 < a 4, όταν, δηλαδή, η τιμή δεν περιλαμβάνεται στο πεδίο ορισμού της X; 13
Άσκηση 4: Αποδείξτε τις ακόλουθες ανισότητες συγκέντρωσης: 1. Ανισότητα Markov Για μια μη αρνητική ΤΜ X και μια σταθερά t >, δείξτε ότι: PX > t EX. 1 t 2. Ανισότητα Chebyshev Εστω Y μια ΤΜ με μέση τιμή µ Y και διασπορά σ 2 Y. Για μια σταθερά ɛ >, δείξτε ότι: P Y µ Y > ɛ σ2 Y ɛ 2. 2 3. Ασθενής νόμος των μεγάλων αριθμών Εστω Z 1, Z 2,..., Z n μια ακολουθία iid 1 ΤΜ με μέση τιμή µ και διασπορά σ 2 η καθεμία. Εστω, επίσης, ο δειγματικός μέσος όρος Z n = 1 n n Z i. Δείξτε ότι: P Z n µ > ɛ σ2 nɛ 2. 3 Συνεπώς, η P Z n µ > ɛ καθώς το n, γεγονός το οποίο είναι γνωστό ως ο ασθενής νόμος των μεγάλων αριθμών weak law of large numbers. Λύση: Σχετικά με το Ερώτημα 1, θα δείξουμε πρώτα γραφικά γιατί η 1 ισχύει, και στη συνέχεια αναλυτικά. Αναγνωρίζουμε το αριστερό της μέλος ως, εξ ορισμού, την τεταγμένη της ccdf FX c x στο σημείο x = t: F c Xt PX > t. 4 Ποιοτικά, η ccdf μιας διακριτής ΤΜ δίνεται στο Σχήμα 1, και μιας συνεχούς στο Σχήμα 2. Στα ίδια σχήματα δίνεται και το σημείο t, PX > t. Αν μεταφέρουμε τον παρονομαστή t στο αριστερό μέλος της 1, έχουμε: tpx > t EX. 5 Τώρα πια η γραφική απόδειξη της 1 έγινε προφανής: το δεξί μέλος της 5 είναι το εμβαδό κάτω από ολόκληρη την καμπύλη της FX c x βλ. Άσκηση 3, ενώ το αριστερό μέλος είναι το γραμμοσκιασμένο εμβαδό στα Σχήματα 1 και 2. Για την αναλυτική απόδειξη της ανισότητας Markov υπάρχουν πολλοί τρόποι ένας από αυτούς, υποθέτοντας ότι η X είναι συνεχής ΤΜ, έχει ως εξής: EX = = t t xf X x dx xf X x dx + xf X x dx t xf X x dx 1 independent, identically distributed: αναφέρεται σε ΤΜ οι οποίες είναι ανεξάρτητες μεταξύ τους και ακολουθούν καθεμία από αυτές την ίδια κατανομή. 14 6
F c X x 1 PX > t t x Σχήμα 1: Γραφική παράσταση ccdf διακριτής ΤΜ. 1 F c X x PX > t t x Σχήμα 2: Γραφική παράσταση ccdf συνεχούς ΤΜ. όπου η τελευταία σειρά ισχύει επειδή t xf Xx dx, κι αυτό λόγω του ότι η ολοκληρωτέα συνάρτηση είναι μη αρνητική στο συγκεκριμένο διάστημα ολοκλήρωσης. Συνεχίζοντας την 6: EX = t t t t xf X x dx 7 tf X x dx 8 f X x dx 9 όπου η 8 προέκυψε επειδή xf X x tf X x όταν x t. Τέλος, το ολοκλήρωμα f t X x dx στην 9 είναι η PX > t, οπότε και ολοκληρώθηκε η απόδειξη. Για την περίπτωση που η X είναι διακριτή ΤΜ, η μόνη αλλαγή είναι η αντικατάσταση του ολοκληρώματος από τον τελεστή του αθροίσματος. Η ανισότητα Markov λέει πως η πιθανότητα η ΤΜ X να πάρει τιμή μεγαλύτερη της 15
EX μειώνεται όσο η τιμή αυτή απομακρύνεται από την EX. Με άλλα λόγια, μια μη αρνητική ΤΜ τείνει να συγκεντρώνεται γύρω από τη μέση τιμή της. Το Ερώτημα 2 απαντιέται αντικαθιστώντας στην ανισότητα Markov 1 όπου X το Y µ Y 2 και όπου t τη σταθερά ɛ 2. Η αντικατάσταση X = Y µ Y 2 μπορεί να γίνει, μιας και η ΤΜ Y µ Y 2 είναι μη αρνητική. Ετσι παίρνουμε: P Y µ Y 2 > ɛ 2 E Y µ Y 2 P Y µ Y > ɛ σ2 Y ɛ 2 ɛ 2 1 όπου στο όρισμα της πιθανότητας εφαρμόσαμε την πράξη της ρίζας και στα δύο μέλη, ενώ για το δεξί μέλος της 1 εξ ορισμού είναι σ 2 Y E Y µ Y 2. Αυτό που λέει η ανισότητα Chebyshev είναι πως όσο πιο μικρή είναι η διασπορά μιας ΤΜ, τόσο πιο μικρή είναι και η πιθανότητα αυτή να παίρνει απομακρυσμένες τιμές από τη μέση τιμή της. Αποτελεί επίσης μιαν ανισότητα συγκέντρωσης και αφορά οποιαδήποτε ΤΜ δεν απαιτείται να είναι μη αρνητική. Γενικεύει, δηλαδή, το συμπέρασμα της ανισότητας Markov: μια ΤΜ τείνει να συγκεντρώνεται γύρω από τη μέση τιμή της. Οσον αφορά το Ερώτημα 3, θα εφαρμόσουμε την ανισότητα Chebyshev στην ΤΜ Z n. Η Z n είναι πράγματι τυχαία μεταβλητή, μιας και πρόκειται για σταθμισμένο άθροισμα ΤΜ. Για την ανισότητα Chebyshev απαιτείται η γνώση δύο ροπών: της μέσης τιμής και της διασποράς. Σχετικά με την πρώτη έχουμε: E Z n = E 1 n n Z i 11 n = 1 n E Z i 12 = 1 n EZ i n 13 = 1 n n µ 14 = nµ n 15 = µ 16 όπου για τη 12 βλ. Άσκηση 2 και για τη 13 βλ. Άσκηση 1. Καταλήξαμε, επομένως, στο ότι η στατιστική μέση τιμή των δειγματικών μέσων όρων ισούται και αυτή με µ. 2 2 Η ακολουθία ΤΜ Z 1, Z 2,..., Z n είναι μια στοχαστική διαδικασία. Οι δειγματικοί μέσοι όροι αφορούν καθεμία από τις πραγματοποιήσεις αυτής, z 1, z 2,..., z n, και αποτελούν τις τιμές μιας καινούριας ΤΜ, της Z n. Η EZ n είναι η στατιστική μέση τιμή αυτής της καινούριας ΤΜ. 16
Σχετικά με τη δεύτερη, κεντρική ροπή έχουμε: Var Z n = Var 1 n n Z i = 1 n 2 Var n Z i 17 18 = 1 n VarZ n 2 i 19 = 1 n σ 2 2 n 2 = nσ2 n 2 21 = σ2 n όπου πάλι για τη 18 βλ. Άσκηση 2 και για τη 19 βλ. Άσκηση 1. Διαπιστώνουμε ότι η διασπορά των δειγματικών μέσων όρων μειώνεται με την αύξηση του n. 3 Εχοντας υπολογίσει τις δύο απαιτούμενες ροπές, μπορούμε να εφαρμόσουμε στην Z n την ανισότητα Chebyshev: 22 P Z n E Z n > ɛ VarZ n ɛ 2 P Zn µ σ 2 > ɛ nɛ 2 n P Z i µ > ɛ σ2 n nɛ. 2 23 Παίρνοντας το όριο n προκύπτει ο ασθενής νόμος των μεγάλων αριθμών: n lim P Z i σ 2 µ > ɛ lim n n n nɛ 2 = 24 ο οποίος ισχύει για οποιαδήποτε σταθερά ɛ >, οσοδήποτε μικρή. Η ερμηνεία του εν λόγω νόμου πρέπει να είναι προσεκτική: είναι λάθος ότι η 24 λέει πως για n εξαλείφεται κάθε πραγματοποίηση z 1, z 2,..., z n για την οποία ι- n σχύει z i µ n > ɛ τέτοιες πραγματοποιήσεις εξακολουθούν να υπάρχουν, αλλά είναι εξαιρετικά απίθανο/σπάνιο υπό την έννοια της σχετικής συχνότητας να εμφανιστούν. 3 Αυτό σημαίνει ότι η ΤΜ Z n γίνεται όλο και «λιγότερο τυχαία» όσο μεγαλώνει το n, δηλαδή οι δειγματικοί μέσοι όροι των πραγματοποιήσεων της τυχαίας διαδικασίας Z 1, Z 2,..., Z n αποκλίνουν όλο και λιγότερο από τη μέση τιμή µ. Βλ. Σχήμα 3. 17
Σχήμα 3: Εξέλιξη ως προς το n των δειγματικών μέσων όρων πέντε πραγματοποιήσεων μιας τυχαίας διαδικασίας Z 1, Z 2,..., Z n. n [1, 2]. Επιπλέον, η 24 δεν λέει πως για n οποιοσδήποτε δειγματικός μέσος όρος θα ι- σούται με µ, αλλά ότι κατά πάσα πιθανότητα θα συγκεντρώνεται σε ένα οσοδήποτε μικρό διάστημα γύρω από το µ. Το τελευταίο δείχνεται στο Σχήμα 3. Επιμύθιο: Οι ανισότητες συγκέντρωσης καταγράφουν μιαν αλήθεια σχετικά με τη φύση των ΤΜ: αυτές τείνουν να συγκεντρώνονται γύρω από τη μέση τιμή τους. Ο δε ασθενής νόμος των μεγάλων αριθμών συσχετίζει τους δειγματικούς ή χρονικούς μέσους όρους των πραγματοποιήσεων μιας τυχαίας διαδικασίας με τη στατιστική μέση τιμή αυτής, λέγοντας πως οποιοσδήποτε από τους πρώτους κατά πάσα πιθανότητα τείνει στην τελευταία όσο το διάστημα παρατήρησης της αντίστοιχης πραγματοποίησης μεγαλώνει. 18
Σημείωση: Στην Άσκηση δείξαμε πώς ο νόμος των μεγάλων αριθμών επιτρέπει να προσεγγίσουμε τη μέση τιμή μιας ΤΜ Z μέσω ενός δειγματικού μέσου όρου. Εδώ θα δείξουμε ότι επιτρέπει τον υπολογισμό ολόκληρης της cdf F Z z, και πάλι μέσω αρκούντως πολλών, ανεξάρτητων τιμών της Z. Για μια οποιαδήποτε τιμή z, λοιπόν, ορίζουμε ως I j z την ενδείκτρια συνάρτηση indicator function του γεγονότος {Z j z} 4 ως εξής: { 1, αν Z j z I j z =, αν Z j > z όπου Z 1, Z 2,..., Z j,..., Z n είναι, όπως και στην Άσκηση, iid ΤΜ με cdf F Z z έκαστη. Οι συναρτήσεις I j z, 1 j n αποτελούν μιαν ακολουθία καινούριων iid ΤΜ στην οποία μπορούμε να εφαρμόσουμε τον ασθενή νόμο των μεγάλων αριθμών, εφόσον βρούμε τη μέση τιμή και διασπορά της I j z. Η πρώτη, έστω µ, υπολογίζεται ως εξής: µ = E I j z 1 i P I j z = i i= = P I j z = + 1 P I j z = 1 = P I j z = 1 = PZ j z = F Z z. Οσον αφορά τη διασπορά, αυτή παίρνει μια πεπερασμένη τιμή, την εξής: Var I j z = 1 i µ 2 P I j z = i i= = µ 2 P I j z = + 1 µ 2 P I j z = 1 = µ 2 P I j z = + P I j z = 1 + P I j z = 1 2µP I j z = 1 = µ 2 + µ 2µ 2 = µ1 µ = F Z zf c Zz όπου FZ c z είναι η ccdf της Z βλ. και Άσκηση 3. Εφαρμόζοντας, τώρα, το νόμο των μεγάλων αριθμών παίρνουμε: lim P n 1 n n I j z F Z z > ɛ =, για οποιοδήποτε z και ɛ > j=1 οπότε με την αύξηση του n ισχυροποιείται το ενδεχόμενο να προσεγγίσουμε οσοδήποτε καλά την τιμή F Z z, καταμετρώντας το ποσοστό των Z j για τις οποίες ισχύει Z j z. 4 Με λόγια, η I j z παίρνει την τιμή 1 εάν η ΤΜ Z j πάρει τιμή μικρότερη ή ίση της z, και αν πάρει μεγαλύτερη. 19
Άσκηση 5: Θεωρήστε τη Z ως μια ακέραια ΤΜ με pmf f Z z = 1/k για z k 1. Βρείτε τη μέση τιμή, τη διασπορά και τη χαρακτηριστική συνάρτηση της Z. Λύση: Η pmf της Z είναι η διακριτή ομοιόμορφη. Ποιοτικά αναπαρίσταται στο Σχήμα 1. f Z z 1 k ::: 1 2 ::: k 1 z Σχήμα 1: Διακριτή ομοιόμορφη pmf της ΤΜ Z. Η μέση τιμή της Z υπολογίζεται ως εξής: k 1 EZ zf Z z 1 z= = 1 k 1 z 2 k z= = 1 kk 1 k 2 = k 1 2 όπου το άθροισμα στη 2 αναγνωρίστηκε ως μια αριθμητική πρόοδος. υπολογίζουμε τη διασπορά της Z: 3 4 Στη συνέχεια k 1 σz 2 2fZ z EZ z 5 = 1 k = 1 k = 1 k z= k 1 z 2 2zEZ + EZ 2 6 z= k 1 k 1 k 1 z 2 2EZ z + EZ 2 z= k 1 z= z= z= 7 z 2 kk 1 2EZ + kez 2. 8 2 2
Στην 8 το άθροισμα k 1 z= z2 δεν αποτελεί ούτε αριθμητική, ούτε γεωμετρική πρόοδο το αποτέλεσμά του δίνεται από τον τύπο του Faulhaber, και είναι ίσο με: k 1 z 2 = z= kk 12k 1. 9 6 Αντικαθιστώντας τις 9 και 4 στην 8 παίρνουμε: 8 = 1 kk 12k 1 2 k 1 2 kk 1 k 1 + k 1 k 6 2 2 2 2 2 k 12k 1 k 1 k 1 = 2 + 11 6 2 2 2 k 12k 1 k 1 = 12 6 2 = k2 1 13 12 όπου στη 13 καταλήξαμε μετά από πράξεις. Ετσι, τελικά: σ 2 Z = k2 1 12. 14 Παρατηρούμε από τις 4 και 14 ότι η μέση τιμή της Z αυξάνει γραμμικά με το k, ενώ η διασπορά της τετραγωνικά. Οσον αφορά τη χαρακτηριστική συνάρτηση X Z ω, αυτή υπολογίζεται ως εξής: X Z ω Ee jωz 15 k 1 = e jωz f Z z 16 z= = 1 k 1 e jωz 17 k z= = 1 k 1 + e jω + e 2jω +... + e k 1jω 18 = 1 k 1 + e jω 1 + e jω 2 +... + e jω k 1 19 = 1 k 1 ejωk 1 e jω 2 όπου για να καταλήξουμε στην 2 αναγνωρίσαμε την 19 ως μια γεωμετρική πρόοδο με λόγο e jω. 21
Η λύση της άσκησης εδώ τελείωσε. λύσουμε είναι ο ακόλουθος: Ομως, ένας άλλος, ωραίος τρόπος για να τη 1. θεωρούμε μια συνεχή ΤΜ U ομοιόμορφα κατανεμημένη στο διάστημα, 1] και ανεξάρτητη της Z, 2. σχηματίζουμε το άθροισμα Z + U και δείχνουμε ότι πρόκειται για συνεχή ΤΜ ο- μοιόμορφα κατανεμημένη στο, k], 3. θεωρώντας γνωστές τις ροπές και τη χαρακτηριστική συνάρτηση των δύο παραπάνω ομοιόμορφων κατανομών, υπολογίζουμε τις EZ, σ 2 Z και X Zω από τις παρακάτω σχέσεις: EZ = EZ + U EU 21 σ 2 Z = σ 2 Z+U σ 2 U 22 X Z ω = X Z+Uω X U ω 23 όπου τις 21 και 22 τις έχουμε αποδείξει στην Άσκηση 1, ενώ η 23 απορρέει από την ανεξαρτησία των Z και U, όπως θα δούμε στη συνέχεια. Οσον αφορά, λοιπόν, την κατανομή της Y = Z + U σκεφτόμαστε ως εξής: αν η διακριτή ΤΜ Z λάβει μια δεδομένη τιμή z, σε αυτήν θα επικαθίσει μια πραγματική τιμή u με < u 1 ως αποτέλεσμα, η τελική τιμή y = z + u θα κείται στο συνεχές διάστημα z, z + 1]. Η κατανομή f Y Z y z, δηλαδή, είναι η συνεχής ομοιόμορφη στο z, z + 1]. Το παράδειγμα της f Y Z y 1 δίνουμε στο ακόλουθο σχήμα. f YjZ yjz = 1 1 1 2 ::: k 1 y Σχήμα 2: Ομοιόμορφη pdf της ΤΜ Y για z = 1. Αφήνοντας τη Z να διατρέξει όλες τις τιμές z και καθίζοντας σε καθεμία από αυτές τη U, θα δημιουργηθεί μια συρραφή ομοιόμορφων κατανομών f Y Z y z με αρχή το και τέλος 22
το k. Η σκέψη αυτή επιβεβαιώνεται και αναλυτικά, υπολογίζοντας την pdf f Y y από το νόμο της ολικής πιθανότητας: k 1 f Y y = f Y Z y, z z= k 1 = Pzf Y Z y z z= = 1 k 1 f Y Z y z k z= = 1 k 1 f U y z. k z= Για την ισότητα των δύο τελευταίων σειρών αναρωτηθείτε: εάν γνωρίζουμε ότι Z = z, ποια η πιθανότητα η Y = y; Από τη σχέση ορισμού Y = Z + U, αυτή ισούται με την πιθανότητα η U να πάρει την τιμή u = y z. Πράγματι, λοιπόν, η f Y y συνίσταται από επαναλαμβανόμενα αντίγραφα της f U y πλάτους 1/k, στις θέσεις y =, 1, 2,..., k 1. Αυτό δείχνουμε στο Σχήμα 3. Τελικά, λόγω της συνέχειας στα σημεία y = 1, 2,..., k 1, η f Y y παρουσιάζεται στο Σχήμα 4. f Y y 24 1 k ::: 1 2 ::: k 1 k y Σχήμα 3: Επαναλαμβανόμενα αντίτυπα της f U στις θέσεις y =, 1, 2,..., k 1. Η f Y y μπορεί να υπολογιστεί και από τη συνέλιξη των f Z z και f U u: f Y y = f U u f Z z = f U u 1 δz + δz 1 + δz 2 +... + δz k 1 k 25 = 1 fu y + f U y 1 + f U y 2 +... + f U y k 1 k με y, k]. Η τελευταία σειρά οφείλεται στην ιδιότητα ολίσθησης της συνάρτησης δέλτα, και είναι το ίδιο αποτέλεσμα με την 24. 23
f Y y 1 k Σχήμα 4: Συνεχής ομοιόμορφη pdf της ΤΜ Y. k y Αφού αιτιολογήσαμε διαισθητικά και αναλυτικά δις ότι η Y Uniform, k, ας υπενθυμίσουμε για τις ροπές της ότι: EY = k 2 26 και Παρομοίως για τη U Uniform, 1: σ 2 Y = k2 12. 27 EU = 1 2 28 και σ 2 U = 1 12. 29 Κατόπιν αυτών, η 21 θα δώσει: EZ = EY EU = k 1 2 3 το οποίο συμφωνεί με την 4, ενώ η 22: σ 2 Z = σ 2 Y σ 2 U = k2 1 12 31 το οποίο, με τη σειρά του, συμφωνεί με την 14. 24
Οσον αφορά τη X Z ω, αυτή δίνεται από την 23 επειδή: X Z+U ω E e jωz+u 32 = E e jωz e jωu 33 = E e jωz E e jωu 34 = X Z ω X U ω 35 όπου η 34 απορρέει από την ανεξαρτησία των Z και U, άρα και των αντίστοιχων συναρτήσεων αυτών, e jωz και e jωu. Για την κατανομή της Z + U Uniform, k, η X Z+U ω δίνεται από την ακόλουθη σχέση: Ανάλογη είναι και η X U ω για την U Uniform, 1: Ετσι: X Z+U ω = ejωk 1 jωk. 36 X U ω = ejω 1 jω. 37 X Z ω = X Z+Uω X U ω = e jωk 1 jωk e jω 1 jω = ejωk 1 ke jω 1 38 το οποίο συμφωνεί με την 2. Επιμύθιο: Η άσκηση εμφανίζει ενδιαφέρον κυρίως για το δεύτερο τρόπο επίλυσής της, ο οποίος αναδεικνύει τη δυνατότητα προσδιορισμού των ροπών μιας διακριτής κατανομής από αυτές της συνεχούς της εκδοχής, όταν οι τελευταίες είναι γνωστές. 25