Η πολυδιάστατη κανονική κατανομή Ορίζουμε την τυπική πολυδιάστατη κανονική, σαν την κατανομή του τυχαίου (,, διανύσματος X X X ), όπου X ~ N (,) και όλα τα X μεταξύ τους ανεξάρτητα Τότε ( ) (,, ) (, ) (,) fx x fx,, X x x N x N x exp exp / x x x / π π Εμφανώς οι περιθώριες είναι όλες τυπικές κανονικές εφόσον ( ) ( ) (, ) (,) f x f x dx N x N x dx X X j j j j j (, ) ( j, ) j (,) N x N x d x N x j Η μέση τιμή του X είναι το μηδενικό διάνυσμα (,,) ( ) µ X X,, X X,, X,, X Ορίζουμε τον πίνακα συνδιασποράς του τυχαίου διανύσματος X, σαν τον πίνακα ( X ) (εναλλακτικός συμβολισμός Σ X είτε Σ ) με j στοιχείο ( ( )) (, ) X Cov X X σ j j j Επειδή ( X µ ) και ( X µ ) διανύσματος ( X µ ) με το διάνυσμα ( X µ ) ( ) ( X µ )( X µ ) ( X µ )( X j µ j) Παίρνοντας μέση τιμή έχουμε: ( ) ( X) ( X µ X )( X ) j µ X j ( ( X µ )( X j µ ) j ) ( Cov( X, X j )) ( σj ), το γινόμενο (outer product) του, θα έχει διάσταση Σ Ι Χατζησπύρος Πιθανότητες II Chapter - he Multvarate Normal
Παρατηρούμε ότι ο πίνακας ( X ) είναι συμμετρικός, με διαγώνια στοιχεία τις περιθώριες διασπορές σ σ Πιο συγκεκριμένα, για την τυπική πολυδιάστατη κανονική έχουμε ( ) X X X XX ( XX ) ( XX ) ( δ ) Συμβολίζουμε την τυπική πολυδιάστατη κανονική ως N( x, ) exp x x X ~ N / (, ) ( π ) Θέτοντας για A ( a j ) με ( ) A και A ( b j ) det ( ) µ ( ) ( µ ) Y X + AX X Y A Y, ή ισοδύναμα σε συντεταγμένες, για,, j j j (,, ) µ (,, ) ( µ ) Y X X + a X X Y Y b Y k k k k k k k Η ιακωβιανή ορίζουσα του αντίστροφου μετασχηματισμού (,, ) (,, ) x x x Jac ( ), y y y είναι η ορίζουσα των μερικών παραγώγων x yj y j k ( ) ( ) ( b det ) det ( ) k yk µ k bj Jac A A Έτσι η πυκνότητα του Y τυχαίου διανύσματος είναι f ( y) f ( ( y) ) Jac ( ) f A y Y X det X / ( π ) det ( A) ( A) ( ( µ )) exp ( A ( yµ )) ( A ( yµ )) Επειδή Σ Ι Χατζησπύρος Πιθανότητες II Chapter - he Multvarate Normal
( A) ( A) ( A) ( A ) ( AA ) det det det det det, και ( ( )) ( ) µ ( µ ) ( µ ) ( µ ) ( y µ ) ( AA ) ( y µ ) A y A y y A A y, παίρνουμε fy ( y) exp ( y µ ) ( AA ) ( y µ ) / ( π ) det ( AA ) Συμβολίζοντας με ΣΣ Y AA τον πίνακα συνδιασποράς του τυχαίου διανύσματος Y, η πυκνότητα γίνεται fy ( y) exp y Σ y N y, Σ det ( π Σ) ( µ ) ( µ ) ( µ ) ή ότι ~ (, ) ορισμένος, το τελευταίο σημαίνει ότι εάν Q( y µ, ) ( y µ ) ( y µ ) m ( yµ ) Σ ( y µ ) Q( µ µ, Σ ) y Εφαρμογή Y N µ Σ Ο πίνακας συνδιασποράς Σ είναι συμμετρικός και θετικά ( ) Εάν Y ~ N µ, Σ δηλαδή Cov( Y, Yj) Σ Σ τότε, και τα Y είναι μεταξύ τους ορθογώνια (γραμμικά ασυσχέτιστα), σ, j, j Ο πίνακας συνδιασποράς είναι: τότε τα Y είναι μεταξύ τους ανεξάρτητα Σ ( σδ j ) dag ( σ,, σ ) Σ dag,, σ σ Q y y y y dag y σ σ ( ) ( µ ) Σ ( µ ) ( µ ),, ( µ ) Σ Ι Χατζησπύρος Πιθανότητες II Chapter - he Multvarate Normal 3
y µ y,, µ y ( y µ ) µ σ σ σ Έτσι έχουμε y µ fy ( y) exp det ( π ) Σ σ y µ exp ( σ π ) ( σ ) π σ y µ exp N y µ, σ fy y σ σ π ( ) ( ), που σημαίνει ότι τα Y είναι μεταξύ τους ανεξάρτητα Ορισμός: Ένας πίνακας Σ λέμε ότι είναι θετικά ορισμένος εάν είναι συμμετρικός και η τετραγωνική μορφή Q( x Σ ) x Σ x, όπου (,, x x x ), x, δηλαδή: είναι θετική για κάθε * \{ } ΣΣ σ j j j * ( ) Q x Σ x Σ x xx >, x Στην περίπτωση θετικά ημιορισμένου πίνακα ζητάμε ( ) Q x Σ, x Στον πιο πάνω ορισμό το είναι ισοδύναμο με το να ζητήσουμε η συνάρτηση Q( x,, x Σ) να έχει ολικό ελάχιστο στο, ή ότι, Q Σ < Q x,, x Σ, x (να είναι δηλαδή γνησίως κυρτή) * Οι θετικά ορισμένοι και ημιορισμένοι πίνακες είναι πολύ σημαντικοί στην στατιστική εφόσον αντιστοιχούν σε πίνακες συνδιασποράς Από την γραμμική άλγεβρα γνωρίζουμε ότι εάν ο πίνακας M είναι συμμετρικός, τότε όλες οι ιδιοτιμές του είναι πραγματικές, δηλαδή spec M λ C : det M λ λ spec M με spec( M ), με ( ) { ( ) } Έστω ( ) he purely quadratc form assocated wth M Με spec συμβολίζουμε το spectrum φάσμα, δηλαδή το σύνολο ιδιοτιμών ενός πίνακα Σ Ι Χατζησπύρος Πιθανότητες II Chapter - he Multvarate Normal 4
αντίστοιχο ιδιοδιάνυσμα v, τότε M v ορισμένος Q( v M ) > θα έχουμε και ( ) Q v M v Mv λv v λ v > λ > λ v που σημαίνει ότι εάν ο M είναι θετικά Έτσι όλες οι ιδιοτιμές ενός συμμετρικού και θετικά ορισμένου πίνακα + M είναι θετικές, δηλαδή spec( M ), με αποτέλεσμα ο M να είναι και αντιστρέψιμος εφόσον det ( M ) λ > λ spec( M ) Έστω ότι ο M είναι συμμετρικός Εάν υπάρχουν διαφορετικά ζεύγη ( λ, v) τέτοια ώστε Mv λv, τότε M[ v,, v] [ v,, v] D όπου D ( λδ j ) Ο πίνακας P [ v v ] είναι ορθογώνιος, δηλαδή P P P P και,, D P MP Επειδή PP θα έχουμε και ( P) ( P) M είναι και θετικά ορισμένος, θα έχουμε det ( P ) det det Εάν επιπροσθέτως ο Άσκηση Να βρεθούν οι ελάχιστες συνθήκες κάτω από τις οποίες ο M m j είναι θετικά ορισμένος πίνακας ( ) συμμετρικός m m x Qxy (, M) ( xy, ) mx mxy m y m m + + y m m m m m m x+ y + y y m x+ y + m y m m m m m (, ), (, ) m > m > Qxy M > xy m Άσκηση (,, X X X ) MX Δείξτε ότι [ Y] M [ X] * m > det ( M ) > m Δίνεται δτμ Εάν ( ) Y M m j ορίζουμε την δτμ Σ Ι Χατζησπύρος Πιθανότητες II Chapter - he Multvarate Normal 5
[ Y] [ MX] mj Xj m j X j M [ X] j j Εάν ο M είναι θετικά ορισμένος τότε μπορεί να παραγοντοποιηθεί σαν M LL όπου L είναι πίνακας κάτω τριγωνικός, με θετικά διαγώνια στοιχεία Ο πίνακας L καλείται Cholesky παράγοντας του M είτε τετραγωνική ρίζα του M Τότε ο M έχει Cholesky παράγοντα L, εφόσον ( M L ) L, και για αυτό το λόγο είναι και αυτός θετικά ορισμένος Είναι προφανές ότι εάν ορισμένος, πράγματι: M LL τότε ο M είναι συμμετρικός και θετικά ( ), M LL LL M * Q x M xllx Lx Lx Lx >, x Επίσης ( ) M LL L L διότι ( ) Παρόμοια και M M MM LL L L L L L L LL Παράδειγμα Να αποδειχθεί ότι ο πίνακας είναι θετικά ορισμένος M 5 5 5 5 8, 5 Αρκεί να δείξουμε ότι LL M LL με l L l l l3 l3 l 33 ( l) ( ll ) ( ll ) 3 5 5 5 ll ( l + l ) ( ll3 + ll3 ) 5 8 l 5 3l l3l + l3l ( l3 l3 l 33 ) + + και l > για,,3 Λύνοντας τις εξισώσεις στις παρενθέσεις παίρνουμε: 5 L 3 3 3 Άσκηση Σ Ι Χατζησπύρος Πιθανότητες II Chapter - he Multvarate Normal 6
l L l l Να βρεθεί ο αντίστροφος του πίνακα με l > για,, 3 l3 l3 l 33 συνέχεια να αντιστραφεί ο πίνακας L του προηγούμενου παραδείγματος Ο L είναι αντιστρέψιμος εφόσον ( L) lll 33 την εξίσωση ( j )( j ) L l r έχουμε l l ( rj ) ll l l3l l3 l3 lll 33 ll 33 ll 33 l33 > 3 L ( r j ) det Στη Έστω, τότε από Αντικαθιστώντας 5 L 3 3 3 παίρνουμε L 5 5 3 5 9 3 Η πολυδιάστατες studet και ormal gamma πυκνότητες Δίνεται τυχαίο διάνυσμα ( ) [ X Z z] ~ N(, z ),, X X X, και τμ Z έτσι ώστε δηλαδή ο πίνακας συνδιασποράς είναι ( ) πίνακας των precsos Τότε ( ) ( ) ( ) fx Z x z N x, z N x, λ ( λ) ( π ) / z z exp λ exp det x x x x, π X Z z z λ, όπου λ z ο 3 Είναι πολύ εύκολο να δείξουμε ότι οι ιδιοτιμές του L είναι τα διαγώνια στοιχεία του Σ Ι Χατζησπύρος Πιθανότητες II Chapter - he Multvarate Normal 7
και θέτουμε / z fxz ( x z) Cz exp x x, C π Εάν Z ~ Ga ν, ν τότε / ν / ( ν /) Γ( ν ) ν ν ν / ν fz ( z) Ga z, Cz exp z, C / και η από κοινού των X και Z γίνεται / z ν / ν fx, Z( x, z) fxz ( x z) fz( z) CC z exp x xz exp z ν + z x x CC z ν ν exp ( ν x x) Ga + + + z,, και έτσι, ν + x x CC ν + ν + x x f X, Z( x, z) Ga z,, C 3 C3 ν + Γ ν + Ολοκληρώνοντας στο + την προηγούμενη πυκνότητα, ως προς z, παίρνουμε: ν + ν + Γ / CC ν ( /) ν ν + x x fx, Z( xz, ) / C3 ( π ) Γ( ν /) ν + Γ ν / ν+ ν+ ( ν /) ν x x / + Γ( ν /) ( π ) ν ν + Γ ν + x x St / ( x,, ν + ) Γ ν / νπ ν Σ Ι Χατζησπύρος Πιθανότητες II Chapter - he Multvarate Normal 8
Η πυκνότητα St ( x,, ν ) ελευθερίας είναι η τυπική διάστατη studet με ν βαθμούς Για τις περιθώριες κατανομές έχουμε για d x dx j fx ( x ) ( ), (, ) fx x dx fx Z x z dz dx z> f XZ ( x z) fz( z) dz d x fz( z) f XZ ( x z) d x dz z> z> Επειδή ( ) ( ) ( ) f x z dx N x, z dx N x, z, XZ j η περιθώρια τμ X θα έχει κατανομή ν ν f x N x z Ga z dz St x ( ) (, ), (,, ν ) X z> Εμφανώς ( ) X X,, X X,, X,, ενώ ( ) ( ) ( ) ( j) ( XX j Z) X XX XX Z X X Z ( ) όμως [ X Z z] ~ N(, z ) και έτσι ( ) ν ( X) ( Z δj ) Z ( δj ) ν j j XX Z z z δ, που δίνει Για την γενική μορφή της πολυδιάστατης studet, θέτουμε A ( a j ) με ( ) A και A ( b j ) det Σ Ι Χατζησπύρος Πιθανότητες II Chapter - he Multvarate Normal 9
( ) µ ( ) ( µ ) Y X + AX X Y A Y, ή ισοδύναμα σε συντεταγμένες, για,, (,, ) µ (,, ) ( µ ) Y X X + a X X Y Y b Y k k k k k k k Η ιακωβιανή ορίζουσα του αντίστροφου μετασχηματισμού είναι (,, ) (,, ) x x x Jac ( ) y y y και yj y j k x Έτσι ( ) ( ) ( b det ) det ( ) k yk µ k bj Jac A A (,, ν ) ( ) ( ( µ ),, ν) f y St y Jac Y St A y det ( A) ν + Γ / ( A ( y µ )) ( A ( y µ )) ν + ( νπ ) det ( A) ν Γ Παρατηρούμε ότι ( A) ( A) ( A) ( A ) ( AA ) det det det det det, και ότι ( ( )) ( ) µ ( µ ) ( µ ) ( µ ) ( y µ ) ( AA ) ( y µ ) A y A y y A A y, που δίνουν ν + Σ Ι Χατζησπύρος Πιθανότητες II Chapter - he Multvarate Normal
ν + Γ fy ( y) ( y µ ) ( AA ) ( y µ ) ν + ( νπ ) det ( AA ) ν Γ ν + Συμβολίζοντας με ΣΣ Y AA τον πίνακα συνδιασποράς, έχουμε ν + Γ fy ( y) St( y µ, Σ, ν ) ( y µ ) ( y µ ) ν + Σ det ( νπ ) ν Γ Σ Για τις περιθώριες Y έχουμε ν + ( ) ( µ, Σ, ν) f x St y d y Y ν ν N( x µ, z Σ) Ga z, dz d x z> ν ν N( x µ, z Σ) d x Ga z, dz z> ( ν ν N x, ), (, µ z σ Ga z dz St x µ σ, ν) z> Εμφανώς ( ) Y Y,, Y Y,, Y µ,, µ µ ενώ ν ν ν ( Y ) ( µ + AX ) A ( X ) A A ( δj ) A A A Σ ν ν ν Η ( + ) διάστατη κατανομή Ng x, z,, ν, ν ν ν µ N( x µ, z Σ Σ) Ga z, είναι ειδική περίπτωση της ( + ) διάστατης ormal gamma κατανομής: Σ Ι Χατζησπύρος Πιθανότητες II Chapter - he Multvarate Normal
(, µ,,, ) ( µ, ) (, ) Ng xz Σ ab N x z Σ Ga z ab Για το x margal της Ng ( x, z,, a, b) µ Σ έχουμε ( ) (, µ, Σ,, ) ( µ, Σ) (, ) f x Ng xz ab N x z Ga z ab dz X z> z> και θέτοντας, u sz παίρνουμε u b f X ( x) N x µ, Σ Ga u a, du s s u>, για s b a η περιθώρια f ( ) X x τελικά γίνεται b b f ( x) N x µ, u Σ Ga ( u a, a) du St x µ, Σ,a a X a u> Normal πολυδιάστατο μοντέλο με γνωστό πίνακα συνδιασποράς, και άγνωστο διάνυσμα μέσων Εδώ έχουμε να εκτιμήσουμε τη locato παράμετρο του ormal μοντέλου για γνωστό πίνακα συνδιασποράς Σ λ δηλαδή η κατανομή δειγματοληψίας είναι ( ) x x,,, x j, j j dj ( ) ( ) d xj ϑ ~ Nd ϑ, Σ, ϑ ϑ,, ϑd Θ λ π( x ϑ) Nd ( x ϑλ, ) det exp ( x ϑ) λ( x ϑ) π, d όπου λ det π det det Σ ( πλ ) ( π ) Η πιθανοφάνεια θα είναι Σ Ι Χατζησπύρος Πιθανότητες II Chapter - he Multvarate Normal
λ π( x,, x ϑ) Nd ( x ϑλ, ) det exp ( x ϑ) λ( x ϑ) π / λ det exp ( x ϑ) Σ ( x ϑ) π Για την κλασσική εκτίμηση έχουμε για x ( x x ) ϑ log π( x ϑ) Q( x ϑλ, ), όπου Q( x ϑλ, ) ( x ϑ) λ( x ϑ),,, Q( x ϑ, λ) x λx x λϑ ϑ λ x + ϑ λϑ Τότε για,, ϑ ϑ ϑ έχουμε d ϑ ϑ ϑ ϑ Q( x ϑ, λ) x λϑ ϑ λ x + ϑ λϑ Θέτοντας (,, d),, d (,, d ) x x x x x x x x Παίρνουμε Q( x, ) x x + ϑ ϑ ϑ ϑ ϑ λ λϑ ϑ λ ϑ λϑ Επειδή ο λ είναι συμμετρικός πίνακας, θα έχουμε x λϑ x λ ϑ x λ x λ λ x λx ( ) ( ) ( ) ϑ ϑ ϑλx ϑ λx ( λx ) λx ϑ ϑ Σ Ι Χατζησπύρος Πιθανότητες II Chapter - he Multvarate Normal 3
3 ϑ λϑ λϑ + λjϑϑ j λkϑk λϑ ϑ ϑ < j k Επίσης παρατηρούμε ότι από τις παραγωγίσεις και, η παραγώγιση 3 έχει τον κανόνα: ( ) + ( )( ) + ( ) ϑ λϑ ϑ λϑ ϑ λ ϑ λϑ ϑ λ λϑ Q x x x ϑ ( ϑ, λ) λ + λϑ λ ( ϑ) log π ϑ λ ϑ ϑ,, ϑ ( x ) ( x ) ˆ x ( x x ) d MLE d Η posteror για pror λ π ( ϑ) N d ( ϑ µ, λ ) det exp ( ϑ µ ) λ( ϑ µ ) π γίνεται π ( ϑ x) exp ( ϑ µ ) λ( ϑ µ ) ( x ϑ) λ( x ϑ) + exp ( ϑλϑ ϑλµ µλϑ x λϑ ϑλx + ϑλϑ) exp ( ϑ ( λ + λ) ϑ ϑ ( λ µ + λ x ) ( µ λ + x λ) ϑ) Εάν π ( ϑ x) N d ( ϑ µ, λ ) θα έχουμε και π( ϑ x) exp ( ϑ λϑ ϑ λµ µ λϑ ) Έτσι βρίσκουμε ότι: Σ Ι Χατζησπύρος Πιθανότητες II Chapter - he Multvarate Normal 4
λ λ + λ λ λ + λ λµ λµ + λx µ ( λ + λ) ( λµ + λx) µλ µλ + x λ ή ότι ( ) ( x) N ( + ) ( + x),( + ) π ϑ ϑ λ λ λ µ λ λ λ d ( ) ( + ) ( + ) ( + ) ( ) + ( + ) ϑ x λ λ λ µ λx λ λ λ ϑ x λ λ λx Θέτοντας ( ) γ λ + λ λ και επειδή ( λ λ) λ ( λ λ) λ ( λ λ) ( λ λ) + + + + +, η posteror μέση τιμή θα είναι ( x) ( x) + ( ) ˆ ϑ γ ϑ γ ϑ MLE Για την pror predctve έχουμε ( x) ( ( x ϑ) ) ( ϑ ) µ ( x) ( ( x )) ( x ) ( ) ϑ + ϑ ϑ + λ λ + λ Είναι εύκολο να δούμε ότι για μια παρατήρηση d x έχουμε ( x) N (, ) ( ) ( d x Nd, d Nd x, + ) π ϑλ ϑ µ λ ϑ ϑλ λ d Σ Ι Χατζησπύρος Πιθανότητες II Chapter - he Multvarate Normal 5