Τυχαία Διανύσματα και Ανεξαρτησία

Τυχαία Διανύσματα και Ανεξαρτησία Θα γενικεύσουμε την έννοια της τυχαίας μεταβλητής από συνάρτηση στο R σε συνάρτηση στο R n. Ακολούθως, θα επεκτείνουμε τις έννοιες με τις οποίες ασχοληθήκαμε μέχρι τώρα σε τυχαία διανύσματα. Τέλος, θα ασχοληθούμε με την ανεξαρτησία τυχαίων μεταβλητών. Τυχαίο Διάνυσμα Όπως έχουμε πει, η τυχαία μεταβλητή ορίζεται ως μια συνάρτηση που μεταφέρει ένα χώρο πιθανότητας στον R. Κατ επέκταση μπορούμε να ορίσουμε και το τυχαίο διάνυσμα ως μια συνάρτηση η οποία μεταφέρει ένα χώρο πιθανότητας στον χώρο R n. Μπορούμε να σκεφτούμε μία συνάρτηση f : Ω R n ως ένα διάνυσμα αποτελούμενο από n πραγματικές συναρτήσεις f i : Ω R. Δηλαδή για ω Ω μπορούμε να γράψουμε: f ω f ω fω. f n ω Επομένως, έστω χώρος πιθανότητας Ω, Σ Ω, P και συνάρτηση X : Ω R n. Το X λέγεται τυχαίο διάνυσμα αν A BR n, X A Σ Ω, όπου BR n B R B }{{ R όπου θυμηθείτε ότι το B } R συμβολίζει όλα τα μετρήσιμα υποσύνολα του R. n-φορές Σύμφωνα με τα παραπάνω, ένα τυχαίο διάνυσμα διάστασης n είναι απλά ένα διάνυσμα αποτελούμενο από n τυχαίες μεταβλητές, δηλαδή: X X X. όπου X,..., X τυχαίες μεταβλητές. Ισοδύναμα, η προϋπόθεση για να είναι το X τυχαίο διάνυσμα είναι να οι X,..., X να είναι τυχαίες μεταβλητές δηλαδή A B R, X A Σ Ω.

Αθροιστική Συνάρτηση F X : R n R με F X z P X z, X z,..., z z z όπου z. Rn. Ιδιότητες: z n Δεξιά συνεχής a R n. lim z i,i,...,n F Xz 0. lim z i,i,...,n F Xz. Αύξουσα. Παράδειγμα: Διμεταβλητή Κανονική Κατανομή X µ Έστω τυχαίο διάνυσμα X, µ R X µ σ σ και Σ σ σ θετικά ορισμένη μήτρα. Τότε αν X Nµ, Σ η αθροιστική θα είναι: F X z z π Σ / για οποιοδήποτε z z z z exp x µ Σ x µ dx dx R, όπου x x Σε αυτή την περίπτωση λέμε ότι το X ακολουθεί την διμεταβλητή κανονική κατανομή με μέσο µ και μήτρα διακυμάνσεων-συνδιακυμάνσεων Σ. Τα στοιχεία της μήτρας δίνουν τις συνδιακυμάνσεις μεταξύ των τυχαίων μεταβλητών οι οποίες αποτελούν το τυχαίο διάνυσμα. Συγκεκριμένα, x. σ ij CovX i, X j E{X i EX i X j EX j } Βάσει αυτής της σχέσης είναι εύκολο να δούμε ότι θα ισχύει σ σ, επομένως η μήτρα Σ είναι πάντα συμμετρική. Στήριγμα Το στήριγμα της κατανομής ενός τυχαίου διανύσματος θα ορίζεται ως το μικρότερο υποσύνολο του R n στο οποίο η κατανομή αποδίδει πιθανότητα. Επιπλέον θα ισχύει ότι το στήριγμα του τυχαίου διανύσματος X θα είναι ίσο με το

καρτεσιανό γινόμενο των στηριγμάτων των τυχαίων μεταβλητών που το αποτελούν. Στο παράδειγμα της διμεταβλητής κανονικής κατανομής το στήριγμα θα είναι το R. Συνάρτηση Πυκνότητας Πιθανότητας Αν η F X είναι παντού συνεχής και σχεδόν παντού παραγωγίσιμη ως προς τα x, x,..., x n τότε ορίζεται η συνάρτηση πυκνότητας της κατανομής ως η συνάρτηση f X : R n R όπου f X n F X z z... z n όπου η F X είναι παραγωγίσιμη ενώ παίρνει αυθαίρετες τιμές αλλού. Επίσης, θα ισχύει: α f X z 0, z R n β... f X zdz dz... dz n Παράδειγμα: Διμεταβλητή Κανονική Κατανομή f X x f X x, x exp { x π Σ / µ Σ x µ } l, u l, u αν A. όπου l i < u i R {, }, i,..., n τότε l n, u n P X A P X l, u,..., X l, u u u Οριακή συνάρτηση πυκνότητας l l... u n l n f X x, x,..., x n dx n... dx Γνωρίζοντας την συνάρτηση πυκνότητας ενός n-διάστατου διανύσματος X είναι δυνατόν να υπολογίσουμε την συνάρτηση πυκνότητας οποιασδήποτε τυχαίας μεταβλητής το αποτελεί, η οποία και θα ονομάζεται οριακή συνάρτηση πυκνότητας. Για οποιοδήποτε i,,..., n θα έχουμε f Xi x i... f Xn x, x,..., x n dx dx... dx i dx i+... dx n 3

σ 0 Στο παράδειγμά μας, στην περίπτωση όπου σ 0 έχουμε Σ 0 σ και, επομένως, Σ Τότε f X x, x πσ / σ / σ 0 0 σ πσ exp και Σ / σ / σ /. { exp [ x µ x µ σ + x ]} µ σ σ πσ exp Επομένως η οριακή συνάρτηση πυκνότητας της X θα ορίζεται ως: f X x f X x, x dx exp πσ exp πσ exp πσ x µ σ x µ σ x µ σ exp πσ exp πσ x µ σ x µ σ x µ σ dx dx απ όπου προκύπτει ότι X Nµ, σ. Αναλόγως προκύπτει ότι X Nµ, σ. Ροπές τυχαίων διανυσμάτων Γενικεύοντας την έννοια της ροπής στις τυχαίες μεταβλητές, μπορούμε να υπολογίσουμε ροπές τυχαίων διανυσμάτων. π.χ. Ροπή πρώτης τάξης: EX EX EX... xdf X. E Διακύμανση: V arx CovX, X CovX, CovX, X V arx CovX, V arx...... η οποία Cov, X Cov, X V ar 4

είναι συμμετρική και θετικά ορισμένη μήτρα. Ροπογεννήτριες συναρτήσεις M X : R n R με M X t Eexpt X... expt xdf X... expt x + t x +... + t n x n df X } {{ } n φορές ενώ αν υπάρχει η συνάρτηση πυκνότητας:... expt x + t x +... + t n x n f X dx dx... dx n Για X Nµ, Σ έχουμε EX µ και V arx Σ. Επιπλέον, αν σ 0 μπορούμε να δείξουμε ότι M X t exp t µ + t µ + t σ + t σ Ανεξαρτησία τυχαίων μεταβλητών Έστω χώρος πιθανότητας Ω, Σ Ω, P Ω. Αν A, B Σ Ω μετρήσιμα υποσύνολα του Ω τότε τα A, B λέγονται ανεξάρτητα ενδεχόμενα ανν P Ω A B P Ω AP Ω B. Επεκτείνοντας το παραπάνω σε τυχαίες μεταβλητές έχουμε το ακόλουθο θεώρημα: Θεώρημα: Δύο τυχαίες μεταβλητές X, X : Ω R θα ονομάζονται ανεξάρτητες ανν P Ω X A X A P Ω X AP Ω X A για κάθε μετρήσιμο A R. Παρατήρηση. Το παραπάνω θεώρημα μπορεί να επεκταθεί και για n τυχαίες μεταβλητές. Λέμε ότι είναι ανεξάρτητες μεταξύ τους αν είναι ανά δύο ανεξάρτητες. Θεώρημα: Οι X, X,..., : Ω R n θα είναι ανεξάρτητες ανν P X A P X z,..., z n P X z P X z P z n F X z F X z... F Xn z z z i R, i,,..., n όπου z z, z ] X z., A., X X, z n ]. z n 5

Λήμμα: Αν η f X υπάρχει τότε το παραπάνω είναι ισοδύναμο με f X f X... f X, όπου f Xi η pdf της X i για i,,..., n. Σημείωση: η f Xi υπάρχει εξαιτίας της ύπαρξης της f X. Παρατήρηση. Έχουμε καταφέρει επομένως να εκφράσουμε την έννοια της ανεξαρτησίας ως δυνατότητα παραγοντοποίησης της από κοινού κατανομής πιθανότητας, και συνεπώς και της από κοινού αθροιστικής συνάρτησης. Και, επιπροσθέτως, εφόσον υπάρχει, και της από κοινού συνάρτησης πυκνότητας πιθανότητας. X X Θεώρημα: Οι X, X είναι ανεξάρτητες τυχαίες μεταβλητές ανν f, g : R R ισχύει ότι EfX gx EfX EfX Θεώρημα: Αν X, X,..., ανεξάρτητες τότε εφόσον υπάρχει η ροπογεννήτρια του τυχαίου διανύσματος X θα ισχύει. M X M X M X... M Xn Απόδειξη. Αν υπάρχει η M X t : R n R όπου M X t : Eexpt x σε κατάλληλο υποσύνολο του R n τότε εξαιτίας του προηγούμενου θεωρήματος: M X t E exp i t i x i Eexpt x expt x expt n x n Eexpt x Eexpt x Eexpt n x n M X t M X t M Xn t n Independent and Identically Distributed IID τυχαίες μεταβλητές Για συντομία θα λέμε ότι n τυχαίες μεταβλητές είναι iid όταν είναι μεταξύ τους ανεξάρτητες και ακολουθούν όλες μία προς μία την ίδια κατανομή. Στο εξής θα ασχοληθούμε μόνο με περιπτώσεις τυχαίων μεταβλητών που είναι iid. X X Άσκηση. Έστω X, X,..., ανεξάρτητες τυχαίες μεταβλητές με X i Nµ i, σi, µ i R, σi > 0, i,,..., n. Να βρεθεί η συνάρτηση πυκνότητας πιθανότητας του τυχαίου διανύσματος X.. 6

Λύση. πσ i Η pdf της κανονικής κατανομής: f Xi x i ; µ, σ exp x i µ i. σi Λόγω ανεξαρτησίας θα ισχύει: f X z, z,..., z n f X z f X z... f Xn z n z, z,..., z n R Άρα: fz, z,..., z n π n n i π n n σ i σi i exp πσ exp exp i i z i µ i σ i z i µ i σ i z µ σ exp z π Σ / µ Σ z µ µ µ όπου µ., z z. µ n και Σ διαγώνια μήτρα με στοιχεία τα σ, σ,..., σ n. Παρατηρήσεις: z z n exp πσn z n µ σ. Στην περίπτωση της κανονικής κατανομής, μηδενική συνδιακύμανση μεταξύ τυχαίων μεταβλητών συνεπάγεται ανεξαρτησία.. Στο παραπάνω παράδειγμα, οι τυχαίες μεταβλητές θα είναι iid ανν µ µ... µ n, σ σ... σ n. 3. Σύμφωνα με το τελευταίο θεώρημα, λόγω ανεξαρτησίας, η ροπογεννήτρια t του X θα είναι, t. Rn, M X M X t M Xn exp t µ + t σ n exp t i µ i + t i σ i i τότε: M X t exp µ n t i + σ t t i t t n exp ενώ αν µ i µ και σ i t n µ n + t nσ n σ i περίπτωση iid 7

Στη συνέχεια θα δούμε παραδείγματα συναρτήσεων πυκνότητας πιθανότητας τυχαίων διανυσμάτων που ακολουθούν πολυμεταβλητές κατανομές, τις οποίες έχουμε δει στην απλή μονομεταβλητή τους μορφή. Σε κάθε περίπτωση θα υποθέτουμε ότι τυχαίες μεταβλητές που αποτελούν το τυχαίο διάνυσμα είναι iid, το οποίο θα μας επιτρέπει να γράψουμε την συνάρτηση πυκνότητας πιθανότητας ως γινόμενο οριακών συναρτήσεων πυκνότητας οι οποίες προέρχονται από την ίδια μονομεταβλητή κατανομή. Άσκηση. Έστω X, X,..., iid τυχαίες μεταβλητές με X Binomialn, p. Να βρεθεί η συνάρτηση πιθανότητας του τυχαίου διανύσματος X.. Δίνεται η συνάρτηση πιθανότητας της διωνυμικής: fx; n, p X X n p x x p n x Λύση. Δεδομένου ότι οι τυχαίες μεταβλητές είναι iid θα ακολουθούν όλες την ίδια κατανομή, άρα X i Binomialn, p, i,,..., n. Επίσης, λόγω ανεξαρτησίας, η συνάρτηση πιθανότητας του X θα είναι ίση με το γινόμενο των συναρτήσεων πιθανότητας καθεμίας από τις τυχαίες μεταβλητές. Επομένως f X x; n, p f X x, x,..., x n ; n, p f X x ; n, pf X x ; n, p f Xn x n ; n, p n fx i ; n, p i n n p x i p n x i Άσκηση 3. Έστω X, X,..., iid τυχαίες μεταβλητές και X P oissonλ. Να βρεθεί η συνάρτηση πιθανότητας του τυχαίου διανύσματος X.. Δίνεται η συνάρτηση πιθανότητας της μονομεταβλητής Poisson: px; λ λx x! e λ. Λύση. Δεδομένου ότι οι τυχαίες μεταβλητές είναι iid θα ακολουθούν όλες την ίδια κατανομή, άρα X i P oissonλ, i,,..., n. Επίσης, η συνάρτηση πιθανότητας του X θα είναι ίση με το γινόμενο των συναρτήσεων πιθανότητας καθεμίας από τις τυχαίες μεταβλητές. i x i X X 8

Άρα η συνάρτηση πιθανότητας του διανύσματος X θα είναι: p X x, x,..., x n px ; λpx ; λ px n ; λ n px i ; λ n e λn n i λ x i. x i! i i λ x i x i! e λ Άσκηση 4. Έστω X, X,..., iid τυχαίες μεταβλητές με X Nµ, σ, µ R, σ > 0. Να βρεθεί α η συνάρτηση πυκνότητας πιθανότητας και β η X X ροπογεννήτρια του τυχαίου διανύσματος X.. Παρατήρηση: η λύση του α μπορεί να προκύψει απλά αν στο αποτέλεσμα της Άσκησης θέσουμε µ i µ και σi σ. { Δίνεται η pdf της μονομεταβλητής κανονικής κατανομής fx; µ, σ exp πσ Λύση. α Λόγω ανεξαρτησίας θα ισχύει: f X z, z,..., z n f X z f X z... f Xn z n z, z,..., z n R Επίσης, από iid οι τυχαίες μεταβλητές θα έχουν ταυτόσημη κατανομή, άρα: f X z, z,..., z n fz ; µ, σ fz ; µ, σ fz n ; µ, σ πσ exp πσ n exp πσ n exp z µ σ i i exp πσ z i µ σ z i µ σ. z n µ σ β Λόγω ανεξαρτησίας θα ισχύει M X t M X t M X t M Xn t n. Αλλά όπως έχουμε δει M Xi t e µt+ t σ, i,..., n. Άρα M X t e µt + t σ e µt + t σ e µt n+ t n σ exp µ t i + σ i Άσκηση 5. Έστω X, X,..., iid τυχαίες μεταβλητές με X Expλ, λ > 0. Να βρεθεί α η συνάρτηση πυκνότητας πιθανότητας και β η ροπογεννήτρια i t i }. x µ σ 9

X X του τυχαίου διανύσματος X.. Δίνεται η pdf της εκθετικής fx; λ Λύση. α Όπως πριν, λόγω iid θα έχουμε: { λe λx, x > 0 0, αλλιώς f X x, x,..., x n fx ; λfx ; λ fx n ; λ λe λx λe λx λe λx n λ n exp λ x i β Λόγω ανεξαρτησίας θα ισχύει M X t M X t M X t M Xn t n. Αλλά όπως έχουμε δει M Xi t λ, i,..., n. λ t Άρα i M X t λ λ λ λ t λ t λ t n λ n n λ t i i 0