Η πολυδιάστατη κανονική κατανομή Ορίζουμε την τυπική πολυδιάστατη κανονική, σαν την κατανομή του τυχαίου (,, διανύσματος =, όπου ~ N ( 0, και όλα τα μεταξύ τους ανεξάρτητα Τότε = (,, = ( 0, ( 0, f x f x x N x N x,, = exp x exp x x / = / ( π = ( π Εμφανώς οι περιθώριες είναι όλες τυπικές κανονικές εφόσον = = ( 0, ( 0, f x f x dx N x N x dx j j j j j ( 0, ( j 0, j ( 0, = N x N x d x= N x j Η μέση τιμή του είναι το μηδενικό διάνυσμα = ( 0,,0 ( µ = =,, =,, = 0,,0 = Ορίζουμε τον πίνακα συνδιασποράς του τυχαίου διανύσματος, σαν τον πίνακα ( (εναλλακτικός συμβολισμός με j στοιχείο ( (, = Cov = σ j j j Επειδή και µ διανύσματος µ µ, το γινόμενο (outer product του με το διάνυσμα ( µ ( µ ( µ ( j µ j = Παίρνοντας την μέση τιμή έχουμε: ( = ( µ ( j µ j ( ( µ ( j µ j ( Cov(, j ( σj = = = µ, θα έχει διάσταση Ι Χατζησπύρος Πιθανότητες II Chapter - he ultvarate Normal
Παρατηρούμε ότι ο πίνακας ( είναι συμμετρικός, με διαγώνια στοιχεία τις περιθώριες διασπορές σ = σ Πιο συγκεκριμένα, για την τυπική πολυδιάστατη κανονική έχουμε ( ( ( ( δ = = = = = j j j υμβολίζουμε την τυπική πολυδιάστατη κανονική ως N( x, = exp x x ~ N / (, ( π Θέτοντας για A ( a j = με A και A = ( b j det 0 µ ( µ = = + A = = A, ή ισοδύναμα σε συντεταγμένες, για =,, (,, µ (,, ( µ = = + a = = b k k k k k k= k= Η ιακωβιανή ορίζουσα του αντίστροφου μετασχηματισμού ( x,, x x Jac ( = =, είναι η ορίζουσα των μερικών παραγώγων y,, y y yj y j k = x = = = = Έτσι ( ( b det det k yk µ k bj Jac A A f ( y = f ( ( y Jac ( = f A y det / ( π det ( A ( A ( ( µ = exp ( A ( yµ ( A ( yµ Παρατηρούμε ότι ( A ( A ( A ( A ( AA det = det = det det = det, Ι Χατζησπύρος Πιθανότητες II Chapter - he ultvarate Normal
και ( A yµ A y µ = yµ A A y µ ( y µ ( AA ( y µ =, που δίνουν υμβολίζοντας με = = AA τον πίνακα συνδιασποράς, η πυκνότητα γίνεται f ( y = exp y y = N y, det ( π ( µ ( µ ( µ ή ότι ~ (, ορισμένος, το τελευταίο σημαίνει ότι εάν Q( y ( y µ ( y µ m ( yµ ( y µ = Q( µ = 0 y Εφαρμογή N µ Ο πίνακας συνδιασποράς είναι συμμετρικός και θετικά Εάν ~ N µ, (, j Cov σ, j = = 0, j Ο πίνακας συνδιασποράς είναι: = τότε, και τα είναι μεταξύ τους ασυσχέτιστα, δηλαδή τότε τα είναι μεταξύ τους ανεξάρτητα = dag ( σ,, σ = dag,, σ σ σ σ y µ y,, µ y ( y µ µ = σ σ = σ ( y µ ( y µ = ( y µ dag,, ( y µ Έτσι έχουμε f ( y y µ = exp det π = σ Ι Χατζησπύρος Πιθανότητες II Chapter - he ultvarate Normal 3
y µ y µ = exp = exp σ π σ π = σ = σ π σ ( ( y µ = exp = σ π σ N ( y µ, σ = = Άσκηση Δίνεται ότι η τμ (, 0 ρ (, ~ N, 0 ρ Δείξτε ότι ~ 0, ~ N 0, N και f ( y ακολουθεί την δισδιάστατη κανονική κατανομή [ = y] ~ N( ρy, ρ και [ = x] ~ N( ρx, ρ, ( t, s = exp ( t + ρts + s Η παλινδρόμηση του στο είναι ˆ [ ] = = y = ρ y Η γραμμική παλινδρόμηση του στο ταυτίζεται με την παλινδρόμηση του στο ( f, x, y = exp x ρxy + y π ρ ρ ( exp f x = x ρxy y dy + π ρ ρ x ( ρxy + y = exp exp dy π ρ ( ρ ( ρ x (( y ρx ρ x = exp exp dy π ρ ( ρ ( ρ x ρ x ( y ρx = exp + exp dy π ρ ( ρ ( ρ ( ρ Ι Χατζησπύρος Πιθανότητες II Chapter - he ultvarate Normal 4
( y ρx x = exp exp dy π π ( ρ ( ρ x = = π exp N x 0, Ενώ από συμμετρία έχουμε ότι f ( y = N( y 0, ( xy, ( y ( x ρxy ( ρ f, f ( x y = f, ( xy, exp f ( x ρ y exp N x y, f ρ ρ x y = N x ρy,ρ ( ρ f y x = N y ρx, ρ Ενώ από συμμετρία έχουμε ότι Για την δισδιάστατη ροπογεννήτρια έχουμε: t + s t + s s t = = { } = { }, ts, e e e e = s e t { } Γνωρίζουμε ότι [ = y] ~ N( ρy, ρ Έτσι η δεσμευμένη ροπογεννήτρια για = y είναι { ρ ( ρ } ρ ( ρ t exp / exp e = y = yt+ t t = t + t Έτσι, = { } { exp{ ( }} = + ρ + ρ / {( ρ t } { {( s ρt } } s ts e t s t t, = exp / exp + Η περιθώρια ως προς είναι τυπική κανονική έτσι exp exp { {( s+ ρt } } = s+ ρt = s+ ρt Τελικά έχουμε: Ι Χατζησπύρος Πιθανότητες II Chapter - he ultvarate Normal 5
( (, t, s = exp ρ t exp s + ρt = exp t + ρts + s = = y = xn x ρy ρ = ρy [ ] (, σ α = [ ] β [ ] = 0, β = ρ, = ρ = α + βy = ρy σ Ορισμός: Ένας πίνακας λέμε ότι είναι θετικά ορισμένος εάν είναι,, συμμετρικός και η τετραγωνική μορφή Q ( x x x θετική για κάθε x * = \{ } =, όπου x ( x x =, είναι = = = σ 0, = j= j j > * Q x x x xx x την περίπτωση θετικά ημιορισμένου πίνακα ζητάμε Q x x 0, * τον πιο πάνω ορισμό το είναι ισοδύναμο με το να ζητήσουμε η συνάρτηση Q (,, x x να έχει ολικό ελάχιστο στο, ή ότι, 0 = Q < Q x,, x, x (να είναι δηλαδή γνησίως κυρτή * Οι θετικά ορισμένοι και ημιορισμένοι πίνακες είναι πολύ σημαντικοί στην στατιστική εφόσον αντιστοιχούν σε πίνακες συνδιασποράς Από την γραμμική άλγεβρα γνωρίζουμε ότι εάν ο πίνακας είναι συμμετρικός, τότε όλες οι ιδιοτιμές του είναι πραγματικές, δηλαδή spec(, με spec( = { λ C : det ( λ = 0} Έστω ιδιοτιμή λ spec( με αντίστοιχο ιδιοδιάνυσμα v, τότε v= λ v που σημαίνει ότι εάν ο είναι και θετικά ορισμένος Q ( v > 0 ή ότι Q v = v v= λv v= λ v > 0 λ > 0 he purely quadratc form assocated wth Με spec συμβολίζουμε το spectrum φάσμα, δηλαδή το σύνολο ιδιοτιμών ενός πίνακα Ι Χατζησπύρος Πιθανότητες II Chapter - he ultvarate Normal 6
Έτσι όλες οι ιδιοτιμές ενός συμμετρικού και θετικά ορισμένου πίνακα + είναι θετικές, δηλαδή spec(, με αποτέλεσμα ο να είναι και αντιστρέψιμος εφόσον det ( = λ > 0 λ spec Έστω ότι ο είναι συμμετρικός Εάν υπάρχουν διαφορετικά ζεύγη ( λ, v τέτοια ώστε v = λv, τότε [ v,, v] = [ v,, v] D όπου D = ( λδ j Ο πίνακας P= [ v v ] είναι ορθογώνιος, δηλαδή P = P P= P και,, D = P P Επειδή PP = θα έχουμε και ( P ( P είναι και θετικά ορισμένος, θα έχουμε det ( P = det = det = Εάν επιπροσθέτως ο Άσκηση Να βρεθούν οι ελάχιστες συνθήκες κάτω από τις οποίες ο = m j είναι θετικά ορισμένος πίνακας συμμετρικός m m x Q x, y = x y = m x + m xy + m y m m y m m m m m m x y y y m x y m y m m m m m = + + = + + m > 0 m > 0 Q xy > xy m (, 0, (, Άσκηση (,, = = Δείξτε ότι [ ] = [ ] * m > 0 det ( > 0 m Δίνεται δτμ Εάν [ ] = [ ] = mj j = m j j = [ ] j j = m j ορίζουμε την δτμ Εάν ο είναι θετικά ορισμένος τότε μπορεί να παραγοντοποιηθεί σαν = LL όπου L είναι πίνακας κάτω τριγωνικός, με θετικά διαγώνια στοιχεία Ο πίνακας L καλείται Cholesky παράγοντας του είτε τετραγωνική ρίζα του Τότε ο Ι Χατζησπύρος Πιθανότητες II Chapter - he ultvarate Normal 7
έχει Cholesky παράγοντα είναι και αυτός θετικά ορισμένος L, εφόσον ( L L =, και για αυτό το λόγο Είναι προφανές ότι εάν ορισμένος, πράγματι: = LL τότε ο είναι συμμετρικός και θετικά LL LL = = =, * Q x = xllx= Lx Lx= Lx > 0, x Επίσης = LL = L L διότι Παρόμοια και = Τα επόμενα έως το τέλος του PDF είναι εκτός LL L L L L L L = = = LL = Παράδειγμα Να αποδειχθεί ότι ο πίνακας είναι θετικά ορισμένος 5 5 5 = 5 8 0, 5 0 Αρκεί να δείξουμε ότι LL = LL με l 0 0 L l l = 0 l3 l3 l 33 ( l ( ll ( ll 3 5 5 5 = ll ( l + l ( ll3 + ll3 = 5 8 0 l 5 0 3l l3l + l3l ( l3 l3 l 33 + + και l > 0 για =,,3 Λύνοντας τις εξισώσεις στις παρενθέσεις παίρνουμε: 5 0 0 L = 3 3 0 3 Άσκηση l 0 0 Να βρεθεί ο αντίστροφος του πίνακα L l l με l > 0 για =,,3 τη = 0 l3 l3 l 33 συνέχεια να αντιστραφεί ο πίνακας L του προηγούμενου παραδείγματος Ι Χατζησπύρος Πιθανότητες II Chapter - he ultvarate Normal 8
Ο L είναι αντιστρέψιμος εφόσον ( L lll 33 την εξίσωση ( j ( j L l r = έχουμε 0 0 l l = ( rj = 0 ll l l3l l3 l3 lll 33 ll 33 ll 33 l33 = > 3 L = ( r j det 0 5 0 0 Αντικαθιστώντας L = 3 3 0 παίρνουμε 3 Πρόταση,, Δίνεται η δτμ = όπου τα L Έστω, τότε από 0 0 5 = 0 5 3 5 9 3 για Η ροπογεννήτρια της δτμ = µ + B όπου µ αντιστρέψιμος πίνακας (δηλαδή det B 0 είναι ( t = exp t µ + t ( BDB t είναι ανεξάρτητα και ~ N( 0, σ και = exp( = exp( µ exp( = exp( µ ( t t t t B t B t exp( exp exp u = u = u = u = exp exp u = σu = σu Ορίζουμε τον διαγώνιο πίνακα D ( σδ j =, τότε, u Du = σ u Έτσι η ροπογεννήτρια του μπορεί να αναπαρασταθεί σαν ( u = exp u Du 3 Είναι πολύ εύκολο να δείξουμε ότι οι ιδιοτιμές του L είναι τα διαγώνια στοιχεία του B Ι Χατζησπύρος Πιθανότητες II Chapter - he ultvarate Normal 9
Για τη ροπογεννήτρια της έχουμε ( t = exp( tµ ( Bt = exp( tµ exp ( Bt D( Bt = exp t µ + t ( BDB t Παρατηρούμε ότι: ( σδ = = j = j = j = D ( µ ( µ = = B B = B B = BDB Άσκηση Δείξτε ότι ο είναι θετικά ορισμένος Πράγματι BDB = B D B = BDB Εάν t B u Q t = t BDB t γίνεται BDB ( ( Q B u = B u BDB ( B u = u Du = σ u > 0 BDB = τότε η τετραγωνική μορφή Κάνοντας τον αντίστροφο μετασχηματισμό Q ( t = σ 0 BDB bt j j > j = = έχουμε ότι u Bt bt j j j Πρόταση Εάν γνωρίζουμε ότι ( t = exp t µ + t t τότε υπάρχει δτμ (,, = όπου τα είναι ανεξάρτητα και ~ N( 0, σ για και = P ( µ, όπου P είναι ο πίνακας που διαγωνιοποιεί τον, δηλαδή D P P = με D ( σδ j = = exp( = exp( ( µ = exp( µ exp( u u u P u P u P Ι Χατζησπύρος Πιθανότητες II Chapter - he ultvarate Normal 0
exp( u P µ ( Pu = Επειδή t = exp t µ + t t, θέτοντας t Pu = έχουμε ( Pu = exp u P µ + u P Pu = exp( u P µ exp u P Pu exp( u P µ ( Pu = exp u P Pu Που δίνει ( u = exp u P Pu = exp u Du = exp σ u = exp σ u = ( u Δηλαδή η δτμ,, = είναι τέτοια ώστε τα είναι ανεξάρτητα ~ N 0, σ και ( Παράδειγμα (,, Δίνεται δτμ = όπου τα είναι ανεξάρτητα και ~ N 0, σ για D = σδ (, επίσης θέτουμε ( j Να βρεθεί η πυκνότητα f της δτμ B µ Δείξτε ότι ( π = + για f y < f µ =, y \{ µ } det det B 0 Εάν = ( = B + µ τότε ( B ( µ είναι = = Η Ιακωβιανή του Jac = = = y det x det det ( B ( B f x = f x = N x 0, = exp x ( σ πσ σ Ι Χατζησπύρος Πιθανότητες II Chapter - he ultvarate Normal
= exp x = exp xd x / ( π σ σ σ det ( π D Όμως f y = f y Jac που δίνει = ( µ f y f B det ( B = exp µ B D B µ det ( π D det ( B = exp ( µ ( BDB ( µ det π BDB Θέτοντας = BDB τον πίνακα συνδιασποράς του παίρνουμε τελικά f ( y = exp det ( π Q ( y µ ( y µ ( y µ = ( µ ( µ Επειδή εάν είναι θετικά ορισμένος τότε και θετικά ορισμένος έχουμε ότι η τετραγωνική μορφή Q ( y µ είναι αυστηρά κυρτή με ελάχιστο 0 στο y = µ Δηλαδή 0= Q 0 < Q y, y \ Q y < 0, y \ exp Q ( y µ <, y \ { µ } f ( y < f ( µ =, y \{ µ } det π ( µ { µ } ( µ { µ } Παρατήρηση Η συμβολική αναπαράσταση των προηγουμένων είναι Εάν τα είναι ανεξάρτητα και ~ ( 0, γράφουμε N σ για ( ~ N 0, D, με D ( σδ j = τότε Ι Χατζησπύρος Πιθανότητες II Chapter - he ultvarate Normal
Επειδή B µ = + με Τότε είναι εμφανές ότι det B 0 γράφουμε = B + µ ~ B N 0, D + µ ~ N µ, BDB ( µ µ ( ( µ ( 0, D ~ N, BDB ~ N 0, BDB = = B ~ N 0, B BDB B N 0, B B D B B = N Δηλαδή µ ( µ ~ N 0, D = B + ~ N, BDB Εάν A με det A 0 τότε η δτμ Z = A + µ έχει κατανομή Παράδειγμα ( Z = A + µ ~ N Aµ + µ, A BDB A = N Aµ + µ, AB D AB Δίνεται ότι τα είναι ανεξάρτητα με ~ ( 0, κατανομή της δτμ,, Z = Z Z, όπου N για Να βρεθεί η Z= a + b, με j j j= A= a j αντιστρέψιμο πίνακα, καθώς και ο πίνακας συνδιασποράς Z ( Z = A + b ~ A N 0, + b = N b, AA Z = Z b Z b = A A = A A = A A = AA Ι Χατζησπύρος Πιθανότητες II Chapter - he ultvarate Normal 3