Εστω X : Ω R d τυχαίο διάνυσμα με ΠΟΛΥΔΙΑΣΤΑΤΗ ΚΑΝΟΝΙΚΗ ΚΑΤΑΝΟΜΗ X Εχουμε δει ότι η γνώση της κατανομής καθεμιάς από τις X, X,, X d δεν αρκεί για να προσδιορίσουμε την κατανομή του X, αφού δεν περιέχει πληροφορία για το πώς αυτές σχετίζονται μεταξύ τους Είναι δυνατόν να περιγράψουμε την κατανομή του X χρησιμοποιώντας μια μεγαλύτερη συλλογή από μονοδιάστατες κατανομές; Το ακόλουθο λήμμα που δεν θα αποδείξουμε απαντά θετικά, αν η συλλογή περιλαμβάνει την κατανομή των προβολών του X σε οποιαδήποτε κατεύθυνση του R d Λήμμα Η κατανομή του τυχαίου διανύσματος X : Ω R d προσδιορίζεται πλήρως από την κατανομή των πραγματικών τυχαίων μεταβλητών {l T X} l R d, όπου l T X l j X j X X X d j Ορισμοί Ορισμός Θα λέμε ότι το τυχαίο διάνυσμα X : Ω R d ακολουθεί d-διάστατη κανονική κατανομή, αν για κάθε l R d η πραγματική τυχαία μεταβλητή l T X ακολουθεί κανονική κατανομή Το ακόλουθο λήμμα εξασφαλίζει ότι αν οι συνιστώσες του X είναι ανεξάρτητες τυπικές κανονικές τυχαίες μεταβλητές, τότε το X ακολουθεί d-διάστατη κανονική κατανομή σύμφωνα με τον ορισμό που δώσαμε Λήμμα Αν οι X, X,, X d είναι ανεξάρτητες τυπικές κανονικές τυχαίες μεταβλητές, τότε για κάθε l R d l T X N, l Απόδειξη: Αν οι X και Y είναι ανεξάρτητες τμ με X N, σ και Y N, σ οι συναρτήσεις πυκνότητας πιθανότητάς τους είναι οι f X x e x σ και f πσ Y x e x σ πσ Επομένως η X + Y έχει συνεχή κατανομή με συνάρτηση πυκνότητας πιθανότητας όπου f X+Y x f X f Y x + + f X yf Y x ydy y exp πσ σ σ + xy σ σ πσ + σ exp x + σ + σ x σ dy πσ exp y µ dy, µ σ x σ + και σ σ σ σ σ + σ Παρατηρήστε ότι η ποσότητα μέσα στο ολοκλήρωμα στην είναι η συνάρτηση πυκνότητας πιθανότητας της κατανομής N µ, σ Επομένως το ολοκλήρωμα στην ισούται με και f X+Y x πσ + σ exp x σ + σ σ
Βλέπουμε λοιπόν ότι X + Y N, σ + σ Επεκτείνοντας επαγωγικά αυτό το συμπέρασμα για το άθροισμα d ανεξάρτητων κανονικών τυχαίων μεταβλητών και εφαρμόζοντάς το για τις {l i X i } i d, έχουμε πως l T X l i X i N, l i, που είναι και ο ισχυρισμός του λήμματος Η ακόλουθη πρόταση περιγράφει τις παραμέτρους μιας κανονικής κατανομής στον R d i Πρόταση Η κατανομή του d-διάστατου τυχαίου διανύσματος X προσδιορίζεται από το διάνυσμα μέσων τιμών µ µ m με µ i E [ X i, i,,, d µ d i και τον πίνακα συνδιακυμάνσεων Σ Σ Σ d Σ Σ Σ d Σ Σ d Σ d Σ dd με Σ ij Cov X i, X j, i, j,,, d Απόδειξη: Η κανονική κατανομή σε μία διάσταση προσδιορίζεται από δύο παραμέτρους, τη μέση τιμή και τη διασπορά της Από το Λήμμα συμπεραίνουμε ότι η κατανομή μιας d-διάστατης κανονικής τυχαίας μεταβλητής X προσδιορίζεται πλήρως, αν γνωρίζουμε για κάθε l R d τη μέση τιμή και τη διασπορά της τυχαίας μεταβλητής l T X Εχουμε όμως ότι Επίσης, E [ l T X E [ d l i X i i V [ l T X Cov l T X, l T X Cov d l i X i, Επόμενως η κατανομή του X προσδιορίζεται από τα m και Σ i l i E [ X i l T m i l j X j j l i l j Cov X i, X j l T Σl 4 i,j Ορισμός Θα συμβολίζουμε με N m, Σ την d-διάστατη κανονική κατανομή που έχει παραμέτρους m R d και Σ Π d d και θα γράφουμε X N m, Σ Επομένως X N m, Σ l T X N l T m, l T Σl, για κάθε l R d 5 Παράδειγμα Στην περίπτωση που εξετάσαμε στο Λήμμα, όπου οι X,, X d είναι ανεξάρτητες τυπικές κανονικές τυχαίες μεταβλητές, έχουμε ότι X N, I Γραμμικοί μετασχηματισμοί - Περιθώριες κατανομές Θεώρημα Κάθε γραμμικός μετασχηματισμός μιας κανονικής τυχαίας μεταβλητής ακολουθεί κανονική κατανομή Συγκεκριμένα, αν X N m, Σ με m R d, Σ Π d d και A Π d, b R, τότε για το τυχαίο διάνυσμα Y AX + b στον R έχουμε Y N Am + b, AΣA T
Απόδειξη: Εστω l R Εχουμε ότι Εφόσον A T l R d και X N m, Σ έχουμε ότι Επομένως, η 6 δίνει ότι l T Y l T AX + b l T AX + l T b A T l T X + l T b 6 A T l T X N A T l T m, A T l T ΣA T l N l T Am, l T AΣA T l l T Y N l T Am + b, l T AΣA T l για κάθε l R Αυτό όμως είναι από τον ορισμό 5 ο ισχυρισμός του Θεωρήματος Πόρισμα Αν το X είναι τυχαίο διάνυσμα στον R d που ακολουθεί κανονική κατανομή και Y P X είναι η προβολή του X σε κάποιον υπόχωρο του R d διάστασης, τότε το Y ακολουθεί κανονική κατανομή σε διαστάσεις Ειδικότερα, η περιθώρια κατανομή μιας πολυδιάστατης κανονικής κατανομής είναι επίσης κανονική Παράδειγμα Εστω X τυχαίο διάνυσμα στον R που ακολουθεί κανονική κατανομή N m, Σ με m και Σ Ας υποθέσουμε ότι θέλουμε να βρούμε την περιθώρια κατανομή του ζεύγους X, X Από το προηγούμενο πόρισμα, το ζεύγος ακολουθεί κανονική κατανομή Οι παράμετροι αυτής της κατανομής μπορούν να διαβαστούν από τις παραμέτρους της X Πράγματι, E [ X µ και E [ X µ, ενώ Επομένως, Cov X, X Σ, Cov X, X Cov X, X Σ Σ, Cov X, X Σ X X N m, Σ, όπου m και Σ Παρατηρήστε ότι οι παράμετροι της περιθώριας κατανομής προκύπτουν από εκείνες της πλήρους κατανομής, αν διαγράψουμε τις στήλες και τις γραμμές που αντιστοιχούν στις μεταβλητές που δεν μας ενδιαφέρουν εδώ στη X Πόρισμα Σε κάθε διάνυσμα m R d και σε κάθε συμμετρικό θετικά ορισμένο πίνακα Σ αντιστοιχεί μία d-διάστατη κανονική κατανομή Απόδειξη: Από την βλέπουμε ότι ο πίνακας συνδιακυμάνσεων Σ μιας d-διάστατης κανονικής κατανομής είναι συμμετρικός Από την 4 βλέπουμε ότι ο Σ είναι θετικά ορισμένος δηλ l T Σl, για κάθε l R d και μάλιστα Σl αν και μόνο αν το τυχαίο διάνυσμα X παίρνει τιμές στο υπερεπίπεδο {x R d : l T x c} με πιθανότητα, για κάποιο c R Αντίστροφα, κάθε συμμετρικός θετικά ορισμένος πίνακας Σ μπορεί να γραφεί ως Σ LL T πχ ανάλυση Cholesky Μάλιστα, αν rakσ k d τότε μπορούμε να επιλέξουμε τον L ώστε να είναι ένας d k πίνακας Ας θεωρήσουμε τώρα το τυχαίο διάνυσμα Z στον R k με Z,, Z k ανεξάρτητες τυπικές κανονικές τυχαίες μεταβλητές και ας ορίσουμε X LZ + m Από το Λήμμα και το Θεώρημα έχουμε ότι X N m, Σ Εχουμε δει ότι αν μια συλλογή από τυχαίες μεταβλητές {X i } i d είναι ανεξάρτητες, τότε είναι και ασυσχέτιστες ενώ το αντίστροφο δεν είναι εν γένει σωστό Η ανεξαρτησία είναι επομένως πιο ισχυρή συνθήκη από τη μηδενική συσχέτιση Με τη βοήθεια του Λήμματος θα δείξουμε ότι στο πλαίσιο των από κοινού κανονικών τυχαίων μεταβλητών οι δύο έννοιες ταυτίζονται Θεώρημα Αν X είναι ένα τυχαίο διάνυσμα στον R d με X N m, Σ, τότε οι {X i } i d είναι ανεξάρτητες αν και μόνο αν είναι ασυσχέτιστες, δηλαδή Cov X i, X j για i j
Απόδειξη: Αρκεί να αποδείξουμε ότι αν Cov X i, X j για i j, τότε οι {Xi } i d είναι ανεξάρτητες Πράγματι, σ αυτήν την περίπτωση από την έχουμε ότι ο πίνακας συνδιακυμάνσεων Σ είναι διαγώνιος, Σ diag [ Σ,, Σ dd diag [ V X,, V X d Χωρίς βλάβη υποθέτουμε ότι Σ ii V X i > για κάθε i,,, d Σε διαφορετική περίπτωση η X i θα ήταν σταθερή με πιθανότητα, επομένως ανεξάρτητη από οποιεσδήποτε άλλες τυχαίες μεταβλητές Ορίζουμε τώρα τον γραμμικό μετασχηματισμό Y i X i µ i Σii, i,,, d Από το Θεώρημα για το τυχαίο διάνυσμα Y που έχει συντεταγμένες τις Y i έχουμε Y N, I Από το Λήμμα έχουμε ότι οι {Y i } i d είναι ανεξάρτητες τυπικές κανονικές τυχαίες μεταβλητές Επομένως και οι {X i } i d θα είναι ανεξάρτητες αφού X i Σ ii Y i + µ i για i,, d Παράδειγμα Αν οι X, Y είναι ανεξάρτητες τυπικές κανονικές τυχαίες μεταβλητές, θα δείξουμε ότι οι U, W με U X + Y και W X Y είναι επίσης ανεξάρτητες τυπικές κανονικές τυχαίες μεταβλητές Εφόσον τον ζεύγος X, Y ακολουθεί κανονική κατανομή σε διαστάσεις Λήμμα και U W X Y συμπεραίνουμε αμέσως ότι το ζεύγος U, V ακολουθεί κανονική κατανομή σε δύο διαστάσεις Μπορούμε να υπολογίσουμε τις παραμέτρους της κατανομής των U, V είτε από το Θεώρημα είτε παρατηρώντας ότι E [ U E [ X + E [ Y και ομοίως E [ W, ενώ V U V W V X + V Y και Cov U, W Cov X + Y, X Y Παράδειγμα 4 Αν οι X,, X είναι ανεξάρτητες, ισόνομες τυχαίες μεταβλητές με X i N µ, σ και τότε οι X X και X είναι ανεξάρτητες X X X X X + + X, Από το Θεώρημα το ζεύγος X X, X ακολουθεί κανονική κατανομή σε δύο διαστάσεις αφού X X Από το Θεώρημα αρκεί να ελέγξουμε ότι Cov X X, X Πράγματι, Cov X X, X Cov X, X Cov X, X j Cov X, X j X i,j Cov X i, X j Φυσικά δεν υπάρχει κάτι ιδιαίτερο για τη μεταβλητή X Θα μπορούσαμε με τον ίδιο τρόπο να δείξουμε ότι οι X i X και X είναι ανεξάρτητες
Παράδειγμα 5 Αν το ζεύγος X, Y ακολουθεί κανονική κατανομή σε δύο διαστάσεις τότε καθεμιά από τις τυχαίες μεταβλητές X και Y ακολουθεί κανονική κατανομή Αυτό είναι άμεση συνέπεια του ορισμού, παίρνοντας ως l το μοναδιαίο διάνυσμα σε κάθε κατεύθυνση Ισχύει άραγε το αντίστροφο εν γένει; Είναι δηλαδή σωστό ότι αν X N µ, σ και Y N µ, σ τότε το ζεύγος X, Y ακολουθεί κανονική κατανομή σε δύο διαστάσεις; Η απάντηση είναι αρνητική Θεωρήστε για παράδειγμα X N,, μια τυχαία μεταβλητή Z ανεξάρτητη από τη X, η οποία παίρνει τις τιμές + ή - με πιθανότητα την καθεμία και ορίστε Η Y ακολουθεί επίσης κανονική κατανομή Πράγματι, Y X Z F Y t P [ Y t P [ Y t, Z + + P [ Y t, Z P [ X t, Z + + P [ X t, Z P[ X t + P[ X t Μπορεί κανείς να δει, διακρίνοντας περιπτώσεις ανάλογα με το αν t ή t <, ότι η τελευταία έκφραση είναι πάντα η συνάρτηση κατανομής πιθανότητας της τυπικής κανονικής κατανομής Φt Επομένως Y N, Επιπλέον, το ζεύγος X, Y δεν ακολουθεί κανονική κατανομή σε δύο διαστάσεις Αν αυτό συνέβαινε, τότε από τον ορισμό η τυχαία μεταβλητή X + Y θα ακολουθούσε κανονική κατανομή Εχουμε όμως επομένως η κατανομή της X + Y δεν είναι καν συνεχής Δεσμευμένες κατανομές P [ X + Y P [ X, Z + + P [ X, Z, Μια πολύ χρήσιμη συνέπεια του Θεωρήματος είναι ότι, αν το ζεύγος X, Y ακολουθεί κανονική κατανομή, τότε μπορούμε να αναλύσουμε την Y σε δύο συνιστώσες, μία που είναι πολλαπλάσιο της X και μία που είναι ανεξάρτητη από την X Λήμμα Εστω ζεύγος X, Y που ακολουθεί κανονική κατανομή σε διαστάσεις, με V X > Τότε Y λx + Z, όπου λ Cov X, Y V X και η τυχαία μεταβλητή Z είναι ανεξάρτητη της X και ακολουθεί κατανομή N E [ Y λe [ X, V Y λ V X Απόδειξη: Ορίζουμε Z Y Cov X, Y V X Το ζεύγος X, Z ακολουθεί κανονική κατανομή αφού το ζεύγος X, Y ακολουθεί κανονική κατανομή και X X Z λ Y Επιπλέον, Cov X, Z Cov X, Y λx Cov X, Y λcov X, X Από το Θεώρημα οι X και Z είναι ανεξάρτητες Από το Πόρισμα η Z ακολουθεί κανονική κατανομή Για να βρούμε τις παραμέτρους της κατανομής της Z παρατηρούμε ότι ενώ εφόσον οι λx, Z είναι ανεξάρτητες έχουμε ότι X E [ Y λe [ X + E [ Z E [ Z E [ Y λe [ X, V Y V λx + V Z V Z V Y λ V X
Ως τώρα δεν έχουμε δει έναν τύπο για την συνάρτηση πυκνότητας πιθανότητας ενός ζεύγους X, X που ακολουθεί κανονική κατανομή σε δύο διαστάσεις Θα ασχοληθούμε τώρα με αυτό το πρόβλημα Θεώρημα Εστω ζεύγος τυχαίων μεταβλητών X, X που ακολουθεί κανονική κατανομή N m, Σ σε διαστάσεις Αν ο πίνακας συνδιακυμάνσεων Σ είναι αντιστρέψιμος, η συνάρτηση πυκνότητας πιθανότητας του ζευγους δίνεται από τον τύπο! h x µ x µ x µ x µ i p exp + ρ, f x, x ρ σ σ σ σ πσ σ ρ όπου σi Σii είναι η τυπική απόκλιση της Xi και ρ ΣΣΣ είναι ο συντελεστής γραμμικής συσχέτισης των X, X Μπορούμε να γράψουμε την πυκνότητα και σε πιο συμπαγή μορφή ως x mt Σ x m p f x exp 7 π detσ Απόδειξη: Η ιδέα της απόδειξης είναι να χρησιμοποιήσουμε το Λήμμα ώστε να γράψουμε το ζεύγος X, X ως γραμμικό μετασχηματισμό ενός ζεύγους U, V όπου οι U και V είναι ανεξάρτητες κανονικές τυχαίες μεταβλητές Η πυκνότητα του ζεύγους U, V θα είναι τότε γνωστή και μπορούμε να φτάσουμε από αυτήν στην πυκνότητα του ζεύγους X, X Συγκεκριμένα από το Λήμμα έχουμε ότι X Σ X + V Σ Σ όπου η V είναι ανεξάρτητη της X και ακολουθεί κατανομή N µv, σv, όπου µv µ Σ Σ µ και σv Σ Σ Αν θέσουμε U X, εφόσον οι U και V είναι ανεξάρτητες, η από κοινού συνάρτηση πυκνότητας πιθανότητάς τους δίνεται από την v µv u µ p exp fu,v u, v fx ufv v p exp σ σv πσv πσ Εχουμε όμως X, X ΨU, V, όπου Ψu, v u, Σ Σ u + v Η Ιακωβιανή του αντίστροφου μετασχηματισμού u, v x, Σ /Σ x + x είναι ίση με Jx, x Σ Σ Επομένως fx,x x, x fu,v x, x Σ Σ x fx x fv x x Σ Σ 8 Το υπόλοιπο της απόδειξης είναι απλές αλγεβρικές πράξεις που μπορείτε να επιβεβαιώσετε εύκολα y y z - -4 - - - x ρ 5-4 - - - - - - - - - y Στο ακόλουθο Σχήμα φαίνονται δείγματα του ζεύγους X, Y για διάφορες τιμές του συντελεστή συσχέτισης ρ Σε όλες τις περιπτώσεις έχουμε X N, και Y N, -4 - - - x ρ -4 - - - x ρ + -4 - - - x ρ +8
Πόρισμα Αν το ζεύγος τυχαίων μεταβλητών X, X ακολουθεί κανονική κατανομή N m, Σ σε διαστάσεις, τότε η δεσμευμένη συνάρτηση πυκνότητας πιθανότητας της X δεδομένης της X δίνεται από την f X X y x f V y Σ Σ x πσ ρ exp Σ ρ y µ Σ x µ Σ Μπορούμε επομένως να πούμε ότι η δεσμευμένη κατανομή της X δεδομένου ότι X x είναι κανονική, με μέση τιμή E [ X X x µ + Σ Σ x µ και διασπορά V X X x Σ ρ Απόδειξη: Προκύπτει άμεσα από την 8 και τους τύπους για τις µ V και σ V Αν οι X, X έχουν θετική συσχέτιση Σ > και ξέρουμε ότι η X πήρε μια τιμή x μεγαλύτερη από τη μέση τιμή της, παρατηρήστε ότι η δεσμευμένη μέση τιμή της X είναι κι αυτή μεγαλύτερη από τη μέση τιμή µ της X Αντίθετα, αν Σ <, η E [ X X x αποκλίνει από την µ προς την αντίθετη κατεύθυνση από εκείνη που η x αποκλίνει από την µ Παρατηρήστε τέλος ότι η γνώση της τιμής της X μειώνει την αβεβαιότητά μας για την X όταν υπάρχει κάποια μεταξύ τους συσχέτιση ρ Πράγματι, η εκ των προτέρων διασπορά της τυχαίας μεταβλητής X είναι V X Cov X, X Σ, ενώ η διασπορά της X με δεδομενη την X είναι V X X x Σ ρ < Σ Παράδειγμα 6 Το ζευγάρι τυχαίων μεταβλητών X, Y ακολουθεί κανονική κατανομή σε διαστάσεις με μέση τιμή m και πίνακα συνδιακυμάνσεων Σ Η περιθώρια κατανομή της Y είναι κανονική με μέση τιμή µ και διασπορά Σ Επομένως η συνάρτηση πυκνότητας πιθανότητας της Y είναι f Y y exp y, y R 4π 4 Με δεδομένο ότι X x, η δεσμευμένη κατανομή της Y είναι κανονική με μέση τιμή µ + Σ x µ + x x Σ και διασπορά Επομένως Σ ρ Σ Σ Σ f Y X y x y x exp, y R π Θα γενικεύσουμε τώρα το Λήμμα και τις συνέπειές του σε περισσότερες διαστάσεις Ας υποθέσουμε λοιπόν ότι το X είναι ένα τυχαίο διάνυσμα με τιμές στον R d και X N m X, Σ XX και αντίστοιχα ότι το Y είναι ένα τυχαίο διάνυσμα με τιμές στον R και Y N m Y, Σ Y Y Θα υποθέσουμε ακόμα ότι το τυχαίο διάνυσμα W στον R d+ με X W Y ακολουθεί κανονική κατανομή N m, Σ στον R d+ Θα έχουμε τότε mx ΣXX Σ XY m και Σ m Y Σ Y X Σ Y Y
Οι πίνακες Σ XY και Σ Y X που εμφανίζονται στην παραπάνω σχέση περιέχουν τις συνδιακυμάνσεις συντεταγμένων των X και Y Συγκεκριμένα ο Σ XY είναι ένας d πίνακας με Σ XY ij Cov X i, Y j, i d, j, ενώ ΣY X Σ T XY Ας προσπαθήσουμε τώρα να βρούμε έναν d πίνακα Λ ώστε Y ΛX + Z 9 όπου το τυχαίο διάνυσμα Z ακολουθεί κανονική κατανομή στον R και είναι ανεξάρτητο του X Η παραπάνω σχέση σημαίνει Y j Λ ji X i + Z j, j,,, i Παίρνοντας τη συνδιακύμανση των δύο μελών με την τυχαία μεταβλητή X k, για k d έχουμε ότι επομένως Cov d Y j, X k Cov Λ ji X i, X k + Cov Zj, X k i Λ ji Cov X i, X k, i Σ Y X jk Λ Σ XX jk, k d, j Βλέπουμε δηλαδή ότι αν η 9 ισχύει για κάποιο Z ανεξάρτητο του X θα πρέπει Σ Y X Λ Σ XX Το ακόλουθο Λήμμα γενικεύει το Λήμμα σε πολλές διαστάσεις Λήμμα 4 Εστω ζεύγος τυχαίων διανυσμάτων X, Y N m, Σ σε d + διαστάσεις, με mx ΣXX Σ XY m και Σ m Y και Σ XX αντιστρέψιμο Τότε Y Λ X + Z, και το τυχαίο διάνυσμα Z στον R είναι ανεξάρτητο του X με Σ Y X Σ Y Y όπου Λ Σ Y X Σ XX Π d Z N m Y Λ m X, Σ Y Y Σ Y X Σ XX Σ XY Απόδειξη: Η απόδειξη ακολουθεί τα επιχειρήματα της μονοδιάστατης περίπτωσης Ορίζουμε Z Y Σ Y X Σ XX X Το ζεύγος X, Z ακολουθεί κανονική κατανομή σε d + διαστάσεις αφού το ζεύγος X, Y ακολουθεί κανονική κατανομή και X Id X Z Λ Y Επιπλέον, για κάθε i, j με i d και j έχουμε Cov Z j, X i Cov Yj I Λ jk X k, X i Cov Yj, X i λ jk Cov X k, X i ΣY X ΛΣ XX ji k k
Από το Θεώρημα οι X i και Z j είναι ανεξάρτητες Από το Πόρισμα η Z ακολουθεί κανονική κατανομή σε διαστάσεις Για να βρούμε τις παραμέτρους της κατανομής της Z παρατηρούμε ότι για j {,, } E [ Y j Λ jk E [ [ X k + E Zj mz m Y Λ m X, ενώ εφόσον οι X k, Z j είναι ανεξάρτητες, για κάθε i, j,,, έχουμε k Cov d Y i, Y j Cov Λ ik X k + Z i, k Λ jr X r + Z j Επομένως, αν συμβολίσουμε με Σ ZZ τον πίνακα συνδιακυμάνσεων του Z, r k,r Λ ik Cov X k, X r Λ T rj + Cov Z i, Z j Σ Y Y Λ Σ XX Λ T + Σ ZZ Σ ZZ Σ Y Y Σ Y X Σ XX Σ XY Εντελώς αντίστοιχα μπορούμε να βρούμε τη συνάρτηση πυκνότητας πιθανότητας ενός διανύσματος X που ακολουθεί κανονική κατανομή σε d διαστάσεις Ο τύπος 7 παίρνει τη μορφή fx πd detσ exp x mt Σ x m ενώ για τη δεσμευμένη κατανομή του Y δεδομένου του X έχουμε f Y X y x f Z y ΣY X Σ XX x Μπορούμε επομένως να πούμε ότι η δεσμευμένη κατανομή του Y δεδομένου ότι X x είναι κανονική, με μέση τιμή και πίνακα συνδιακυμάνσεων E [ Y X x my + Σ Y X Σ XX x m X Σ Y Y Xx Σ ZZ Σ Y Y Σ Y X Σ XX Σ XY Παρατηρήστε και πάλι ότι η γνώση της τιμής του X μειώνει την αβεβαιότητά μας για το Y όταν υπάρχει κάποια μεταξύ τους συσχέτιση Σ XY Πράγματι, για κάθε l R έχουμε l T Σ ZZ l l T Σ Y Y l l T Σ Y X Σ XX Σ XY l l T Σ Y Y l Σ XY l T Σ XX Σ XY l l T Σ Y Y l Παράδειγμα 7 Η τριάδα X, Y, Z ακολουθεί κανονική κατανομή σε διαστάσεις με μέση τιμή m και πίνακα συνδιακυμάνσεων Σ Η κατανομή της Z είναι κανονική με μέση τιμή µ και διασπορά Σ Επομένως f Z z exp z, z R 6π 6 Για να βρούμε την δεσμευμένη κατανομή της Z δεδομένων των X, Y χωρίζουμε τον πίνακα Σ σε μπλοκ Σ Αν ξέρουμε ότι X x και Y y, η δεσμευμένη κατανομή της Z είναι και πάλι κανονική, με μέση τιμή που δίνεται από την x µ x,y + y y
Η διασπορά της δεσμευμένης κατανομής της Z δίνεται από την και είναι σx,y Επομένως, η δεσμευμένη συνάρτηση πυκνότητας πιθανότητας της Z είναι f Z X,Y z x, y z + y exp, π z R Εναλλακτικά μπορούμε να επαναλάβουμε το επιχείρημα της απόδειξης του Λήμματος 4 Πρώτα ψάχνουμε να βρούμε σταθερές α, β ώστε η τυχαία μεταβλητή W Z αx βy να είναι ανεξάρτητη από τις X, Y Από το Θεώρημα η από κοινού κατανομή των X, Y, W είναι κανονική σε διαστάσεις, διότι X Y W α β Από το Θεώρημα, προκειμένου η W ανεξάρτητη από τις X, Y αρκεί να έχουμε Cov W, X Cov W, Y Οι εξισώσεις αυτές δίνουν Cov W, X Cov Z αx βy, X Σ ασ βσ α + β και Cov W, Y Cov Z αx βy, Y Σ ασ βσ + α β Λύνοντας το σύστημα βρίσκουμε ότι α, β, επομένως η W Y + Z είναι ανεξάρτητη από τις X, Y Η μέση τιμή της W είναι μηδέν, ενώ η διασπορά της είναι σ W Cov W, W Cov Y + Z, Y + Z Cov Y, Z + Cov Y, Z + Cov Z, Z Σ + Σ + Σ + + Εχουμε επομένως ότι Z Y + W, όπου η W είναι ανεξάρτητη από τις X, Y με W N, Ετσι, με δεδομένο ότι X x, Y y η δεσμευμένη κατανομή της Z είναι N y, και η δεσμευμένη πυκνότητα δίνεται από την Μια τρίτη προσέγγιση θα ήταν να βρούμε την από κοινού συνάρτηση πυκνότητας πιθανότητας f X,Y,Z των X, Y, Z, την περιθώρια συνάρτηση πυκνότητας πιθανότητας f X,Y των X, Y και να υπολογίσουμε την δεσμευμένη συνάρτηση πυκνότητας X Y Z f Z X,Y z x, y f X,Y,Zx, y, z f X,Y x, y Αυτός ο τρόπος όμως είναι μάλλον πιο επίπονος και λιγότερο παιδαγωγικός Παράδειγμα 8 Η τριάδα X, Y, Z ακολουθεί κανονική κατανομή σε διαστάσεις με μέση τιμή m και πίνακα συνδιακυμάνσεων Σ Θέλουμε να βρούμε τη δεσμευμένη κατανομή του ζεύγους X, Y δεδομένου ότι Z z Η δεσμευμένη μέση τιμή του ζεύγους δεδομένου ότι Z z δίνεται από την και είναι µx z + / z z µ y z / Ο δεσμευμένος πίνακας συνδιακυμάνσεων των X, Y δεδομένου ότι Z z δίνεται από την και είναι Σ z / / / / / 4/ / /
Μπορούμε τώρα να γράψουμε τη δεσμευμένη συνάρτηση πυκνότητας πιθανότητας του ζεύγους X, Y f X,Y Z x, y z x π exp y + xy + zy z 4 Εναλλακτικά μπορούμε να επαναλάβουμε το επιχείρημα της απόδειξης Από το Λήμμα έχουμε X Σ Σ Z + W Z + W και Y Σ Σ Z + W Z + W όπου οι W και W είναι ανεξάρτητες της Z Εχουμε επομένως ότι X / Z Y / + W όπου το διάνυσμα W είναι ανεξάρτητο της Z Από το Θεώρημα το W ακολουθεί κανονική κατανομή σε δύο διαστάσεις αφού / W X Y / Z Μπορούμε πολύ εύκολα να προσδιορίσουμε τις παραμέτρους της κατανομής του W Συγκεκριμένα, E [ [ W E X E[ Z και E [ [ W E Y E[ Z Από το Λήμμα έχουμε ακόμα ότι V W V X V Z Σ 9 Σ και V W V Y V Z Σ 4 9 Σ Τέλος, Εχουμε λοιπόν ότι Cov W, W Cov X Z, Y Z Σ Σ Σ + 9 Σ όπου το W είναι ανεξάρτητο από την Z με W N και καταλήγουμε πάλι στην 4 X Y, / Z / / / / / + W Επομένως f X,Y Z x, y z f W x z/, y z/ Μια τρίτη προσέγγιση θα ήταν να βρούμε την από κοινού συνάρτηση πυκνότητας πιθανότητας f X,Y,Z των X, Y, Z, την περιθώρια συνάρτηση πυκνότητας πιθανότητας f Z της X και να υπολογίσουμε τη δεσμευμένη συνάρτηση πυκνότητας πιθανότητας ως f X,Y Z x, y z f X,Y,Zx, y, z f Z z Για να υπολογίσουμε την f X,Y,Z χρειαζόμαστε την detσ και τον αντίστροφο του Σ Σ Από τον τύπο έχουμε f X,Y,Z π exp x y z + xy + yz, x, y, z R Από την άλλη, η Z είναι κανονική τυχαία μεταβλητή με μέση τιμή µ και διασπορά Σ Επομένως f Z z exp z, z R 6π 6 Διαιρώντας τις παραπάνω σχέσεις ξαναβρίσκουμε την 4
4 Εφαρμογές στη Στατιστική Ας θεωρήσουμε μια ακολουθία {X i } i από ανεξάρτητες, ισόνομες τυχαίες μεταβλητές με κοινή κατανομή N µ, σ Αν ορίσουμε τότε από το Θεώρημα έχουμε ότι X X + + X, X N µ, σ X µ N, 5 σ Ας ορίσουμε τώρα S Xi X 6 i Θεώρημα 4 Αν οι {X i } i είναι ανεξάρτητες, ισόνομες τυχαίες μεταβλητές με κοινή κατανομή N µ, σ, τότε η S που ορίζεται στην 6 είναι ανεξάρτητη της X και S σ χ Απόδειξη: Από το Παράδειγμα 4 έχουμε ότι οι X i X είναι ανεξάρτητες από την X για i,,,, επομένως και η S είναι ανεξάρτητη από την X Επιπλέον έχουμε ότι S Xi µ X µ [ Xi µ + X µ X µx i µ i i i X i µ + X µ X µ X i µ X i µ X µ i Μπορούμε να ξαναγράψουμε την τελευταία σχέση ως εξής Xi µ σ i S σ + i X µ 7 Εφόσον οι τυχαίες μεταβλητές Xi µ σ είναι ανεξάρτητες τυπικές κανονικές, το αριστερό μέλος της 7 είναι το άθροισμα των τετραγώνων ανεξάρτητων τυπικών κανονικών τυχαίων μεταβλητών, επομένως ακολουθεί κατανομή χ, δηλαδή Xi µ χ σ i σ Εφόσον η S και η X είναι ανεξάρτητες, το δεξί μέλος της 7 είναι το άθροισμα δύο ανεξάρτητων τυχαίων μεταβλητών, εκ των οποίων η μία ακολουθεί κατανομή χ Συγκεκριμένα, X µ χ λόγω της 5 Δεν είναι δύσκολο να δούμε πχ με τη βοήθεια χαρακτηριστικών συναρτήσεων ότι θα πρέπει σ που ολοκληρώνει την απόδειξη του Θεωρήματος S σ χ,
Λήμμα 5 Αν X N,, Y χ και οι X, Y είναι ανεξάρτητες, τότε η συνάρτηση πυκνότητας πιθανότητας της τμ Z X Y/ είναι f z Γ + Γ + z π + 8 Απόδειξη: Εφόσον οι X και Y είναι ανεξάρτητες, η από κοινού συνάρτηση πυκνότητας πιθανότητας του ζεύγους X, Y είναι η f X,Y x, y fxg y e x π Θα υπολογίσουμε τη συνάρτηση κατανομής πιθανότητας της Z Γ y e y, x, y R R+ F Z t P [ Z t P [ X t Y/ P [ X, Y D t D t fxgy dxdy, όπου D t {x, y R R + : x t y/} Επομένως, με την αλλαγή μεταβλητής x z y/ έχουμε F Z t t t y/ fxgydx dy t y y f z gydy dz Η πυκνότητα της Z είναι λοιπόν ίση με y y f z f z gydy π Γ y yz π e y e y + z dy όπου στο τελευταίο βήμα κάναμε την αλλαγή μεταβλητής t y y y f z dz gydy Γ z + πγ + z + Επομένως, f z Γ + Γ + z π + y e y dy t e t dt, Ορισμός Αν μια τυχαία μεταβλητή T έχει συνάρτηση πυκνότητας πιθανότητας την f της 8 λέμε ότι η T ακολουθεί την κατανομή Studet με βαθμούς ελευθερίας και συμβολίζουμε T St
Παρατηρήστε ότι εφόσον f z f z για κάθε z R, η κατανομή Studet είναι συμμετρική ως προς το Παρατηρήστε ακόμα ότι καθώς οι βαθμοί ελευθερίας της κατανομής Studet αυξάνονται, αυτή μοιάζει όλο και περισσότερο με την τυπική κανονική κατανομή Στο διπλανό σχήμα φαίνονται οι πυκνότητες δύο Studet με κόκκινο και μπλε βαθμούς ελευθερίας και μιας τυπικής κανονικής κατανομής μαύρο Με τη βοήθεια του τύπου του Stirlig μπορείτε να δείτε ότι Γ + ενώ Γ π, π + + z e z -4-4 4 x St St N, Πόρισμα 4 Αν οι {X i } i είναι ανεξάρτητες, ισόνομες τυχαίες μεταβλητές με κοινή κατανομή N µ, σ, τότε T X µ S/ St Απόδειξη: Είδαμε ότι οι τυχαίες μεταβλητές Z X µ σ είναι ανεξάρτητες, το Λήμμα 5 δίνει ότι N, και Z Z Z / X µ S/ St S σ χ Τα επόμενα δύο θεωρήματα κατασκευάζουν διαστήματα εμπιστοσύνης για τη μέση τιμή µ μιας κανονικής κατανομής χωρίς πληροφορία για τη διασπορά της και για τη διασπορά σ χωρίς πληροφορία για τη μέση τιμή της Θεώρημα 5 Αν οι {X i } i είναι ανεξάρτητες, ισόνομες τυχαίες μεταβλητές με κοινή κατανομή N µ, σ και t > είναι ένας πραγματικός αριθμός ώστε t f z dz + γ, 9 τότε [ S P X t µ X S + t γ Απόδειξη: Από το Πόρισμα 4 η τυχαία μεταβλητή T X µ S/ έχει συνάρτηση πυκνότητα πιθανότητας την f Από την 9 έχουμε ότι P [ T > t γ Από τη συμμετρία της κατανομής έχουμε επίσης P [ γ T < t γ Επομένως, t t P [ [ T t γ P t µ X [ S/ t S γ P X t µ X S + t γ γ f γ
Θεώρημα 6 Αν οι {X i } i είναι ανεξάρτητες, ισόνομες τυχαίες μεταβλητές με κοινή κατανομή N µ, σ και < χ < χ είναι δύο πραγματικοί αριθμοί ώστε χ χ g z dz γ, όπου g είναι η συνάρτηση πυκνότητας πιθανότητας της κατανομής χ, τότε [ S P σ S γ χ χ Απόδειξη: Από το Θεώρημα 4 η τυχαία μεταβλητή Z S σ έχει συνάρτηση πυκνότητα πιθανότητας την g Από την έχουμε ότι P [ χ Z χ γ Επομένως, γ P [ χ S [ S σ χ P σ S χ χ χ γ g χ 5 Ασκήσεις Άσκηση Αν οι τμ X, Y είναι ανεξάρτητες, με ομοιόμορφη κατανομή στο διάστημα [, δείξτε ότι οι τμ U l X cosπy V l X siπy είναι ανεξάρτητες και ακολουθούν την τυπική κανονική κατανομή Σ αυτόν τον υπολογισμό βασίζεται η μέθοδος Box-Muller για την προσομοίωση κανονικών τμ στον υπολογιστή Βλέπετε πώς; Άσκηση Οι X, X,, X είναι ανεξάρτητες ισόνομες τμ με κατανομή N, σ Ορίζουμε X X+ +X Ποια είναι η δεσμευμένη σππ f Xx X µ; Άσκηση Δείξτε ότι αν το τυχαίο διάνυσμα X, Y R ακολουθεί τυπική κανονική κατανομή τότε και το διάνυσμα X cos α si α X Y si α cos α Y ομοίως ακολουθεί τυπική κανονική κατανομή Δηλαδή η N, I μένει αναλλοίωτη από στροφές Άσκηση 4 Η από κοινού κατανομή των τυχαίων μεταβλητών X, Y, Z είναι κανονική σε διαστάσεις με μέση τιμή m και πίνακα συνδιακυμάνσεων Σ 4 4 4 Βρείτε την δεσμευμένη κατανομή των X, Y δεδομένου ότι Z Βρείτε την απο κοινού κατανομή των τυχαίων μεταβλητών Y και X Z Ποια είναι η δεσμευμένη κατανομή της Y δεδομένου ότι X Z; Άσκηση 5 Εστω X N, και X 5 X + 4 5 W για κάθε N, όπου {W } N είναι μια ακολουθία από ανεξάρτητες, ισόνομες τυχαίες μεταβλητές με τυπική κανονική κατανομή και ανεξάρτητες από την X Δείξτε ότι η από κοινού κατανομή των X, X, X, X είναι κανονική σε 4 διαστάσεις Ποιος είναι ο πίνακας συνδιακυμάνσεων; Ποια είναι η περιθώρια κατανομή των X, X, X ; Ποια είναι η δεσμευμένη κατανομή της X δεδομένου ότι X x και X y;
Άσκηση 6 Ας είναι X, Y ανεξάρτητες, ισόνομες τμ με κατανομή N, Ορίζουμε U X+Y, V X Y α Ποια είναι η σππ του τυχαίου διανύσματος X, Y ; β Υπολογίστε την σππ του τυχαίου διανύσματος U, V Είναι οι τμ U, V ανεξάρτητες; γ Εστω S N, ανεξάρτητη από τις X, Y Υπολογίστε την σππ του διανύσματος U, V + S δ Θεωρούμε δύο ακόμα ανεξάρτητες τμ Z, W με κατανομή N, και ανεξάρτητες από τις X, Y X Z Αν A, και Λ W Y Λ είναι οι ιδιοτιμές του συμμετρικού πίνακα A+A υπολογίστε την από κοινού κατανομή των Λ, Λ Άσκηση 7 Οι στοχαστικές διαδικασίες είναι τυχαίες συναρτήσεις, και ένας τρόπος να τις φανταστεί κανείς είναι ότι η τιμή τους κάθε χρονική στιγμή είναι μια τυχαία μεταβλητή Η κίνηση Brow είναι μια στοχαστική διαδικασία όπου B t N, t Αυτό δεν καθορίζει πλήρως την κίνηση Brow αφού την ίδια ιδιότητα έχει και η διαδικασία Y t tχ όπου χ N, και t Χρειάζεται να καθορίσουμε και το πώς σχετίζονται μεταξύ τους οι τιμές της διαδικασίας σε διαφορετικούς χρόνους, πώς εξελίσσεται δηλαδή η διαδικασία στο χρόνο Ο τρόπος που αυτό συμβαίνει για την κίνηση Brow είναι ότι για κάθε s, t R + με s < t η μεταβολή της B t B s είναι ανεξάρτητη από το παρελθόν της, είναι δηλαδή ανεξάρτητη από τις τμ B r με r s με κατανομή N, t s Αν r < s < t βρείτε την από κοινού κατανομή των B r, B s, B t και την δεσμευμένη σππ της B s δεδομένων των B r, B t Άσκηση 8 Εστω {X i, Y i } i ανεξάρτητα, ισόνομα τυχαία διανύσματα με κατανομή Xi µ N, Σ Ορίζουμε X X+ +X, Ȳ Y+ +Y και Y i S D µ X i Y i + Ȳ X Αν το t είναι όπως στην 9, δείξτε ότι οποιοσδήποτε κι αν είναι ο πίνακας συνδιακυμάνσεων Σ έχουμε i [ S D P X Ȳ t µ µ X Ȳ + t S D γ Άσκηση 9 Δίνονται {X i } i ανεξάρτητες, ισόνομες τμ με κατανομή N µ, σ και {Y j } j m ανεξάρτητες, ισόνομες τμ με κατανομή N µ, σ, οι οποίες είναι και ανεξάρτητες από τις {X i } i Ορίζουμε ν m +m Ποια κατανομή ακολουθεί η X Ȳ ; Ορίζουμε ακόμα + m S X i X m + Y j Ȳ SX + m SY i Ποια κατανομή ακολουθεί η τυχαία μεταβλητή j T X Ȳ µ µ S/ ; ν Μπορείτε να βρείτε μια σχέση όπως η για τη διαφορά µ µ που δεν χρησιμοποιεί την άγνωστη διασπορά σ ;