ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ A. M. 138

Transcript

1 ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΓΚΙΤΣΗΣ ΣΠΥΡΟΣ A. M. 38 ΘΕΜΑ: ΑΝΑΛΥΣΗ ΣΕ ΚΥΡΙΕΣ ΣΥΝΙΣΤΩΣΕΣ ΚΑΙ ΠΑΡΑΓΟΝΤΙΚΗ ΑΝΑΛΥΣΗ ΕΠΙΒΛΕΠΩΝ ΚΑΘΗΓΗΤΗΣ ΦΙΛΙΠΠΟΣ ΑΛΕΒΙΖΟΣ

2 ΠΕΡΙΕΧΟΜΕΝΑ ΚΕΦΑΛΑΙΟ 8 ΚΥΡΙΕΣ ΣΥΝΙΣΤΩΣΕΣ. ΕΙΣΑΓΩΓΗ. ΚΥΡΙΕΣ ΣΥΝΙΣΤΩΣΕΣ ΠΛΗΘΥΣΜΩΝ 3. ΔΕΙΓΜΑΤΙΚΕΣ ΚΥΡΙΕΣ ΣΥΝΙΣΤΩΣΕΣ 4 4. ΣΥΜΠΕΡΑΣΜΑΤΑ ΜΕΓΑΛΩΝ ΔΕΙΓΜΑΤΩΝ 5 ΚΕΦΑΛΑΙΟ 9 65 ΠΑΡΑΓΟΝΤΙΚΗ ΑΝΑΛΥΣΗ. ΕΙΣΑΓΩΓΗ 9. ΤΟ ΟΡΘΟΓΩΝΙΟ ΠΑΡΑΓΟΝΤΙΚΟ ΜΟΝΤΕΛΟ ΜΕΘΟΔΟΙ ΕΚΤΙΜΗΣΗΣ ΠΑΡΑΓΟΝΤΙΚΗ ΠΕΡΙΣΤΡΟΦΗ ΣΥΓΚΡΙΣΗ ΚΥΡΙΩΝ ΣΥΝΙΣΤΩΣΩΝ ΚΑΙ ΠΑΡΑΓΟΝΤΙΚΗΣ ΑΝΑΛΥΣΗΣ 64 ΒΙΒΛΙΟΓΡΑΦΙΑ 66

3 ΚΕΦΑΛΑΙΟ ΚΥΡΙΕΣ ΣΥΝΙΣΤΩΣΕΣ. ΕΙΣΑΓΩΓΗ Η ανάλυση πολυμεταβλητών δεδομένων καθίσταται ιδιαίτερα δύσκολη όταν το πλήθος των μεταβλητών, (διάσταση των δεδομένων), είναι μεγάλο. Επίσης δυσκολία υπάρχει στην ανάλυση, όταν οι μεταβλητές είναι υψηλά συσχετισμένες μεταξύ τους. Η ανάλυση κύριων συνιστωσών είναι πολυμεταβλητή στατιστική τεχνική που ασχολείται με την δομή διασπορών συνδιασπορών, μέσω μερικών γραμμικών συνδυασμών των αρχικών μεταβλητών. Γενικότερα τα αντικείμενα της είναι () η μείωση των δεδομένων και () η ανάλυση (ερμηνεία) τους. Παρόλο που απαιτούνται μεταβλητές για να ερμηνευτεί η συνολική μεταβλητότητα του συστήματος, συχνά, η περισσότερη από αυτή τη μεταβλητότητα μπορεί να ερμηνευτεί από ένα μικρό αριθμό k κύριων συνιστωσών. Αν πράγματι συμβεί αυτό, τότε, υπάρχει (σχεδόν) τόση πληροφορία στις k συνιστώσες, όση υπάρχει στις αρχικές μεταβλητές. Οι k κύριες συνιστώσες μπορούν τότε να αντικαταστήσουν τις αρχικές μεταβλητές, και το αρχικό σύνολο δεδομένων που αποτελείται από n μετρήσεις των μεταβλητών, μειώνεται σε ένα σύνολο δεδομένων που αποτελείται από n μετρήσεις των k μεταβλητών. Οι k κύριες συνιστώσες είναι γραμμικός συνδυασμός των αρχικών μεταβλητών, και μάλιστα είναι ασυσχέτιστες μεταξύ τους. Έτσι, οδηγούμαστε από ένα σύνολο συσχετισμένων μεταβλητών, σ ένα μικρότερο σύνολο k ασυσχέτιστων μεταβλητών. Η μείωση αυτή των δεδομένων είναι πολύ σημαντικό γεγονός, διότι αντί να αναλύουμε δεδομένα στο R, αναλύουμε δεδομένα στο R k. Σε ορισμένες περιπτώσεις το k, η νέα διάσταση, είναι ή 3 και τότε έχουμε μια οπτική ιδέα, μια εικόνα των δεδομένων. Κλείνοντας την εισαγωγή, θα πρέπει να αναφέρουμε ότι η τεχνική κύριων συνιστωσών δεν επιτυγχάνει πάντοτε την μείωση της διάστασης, π.χ., αυτό συμβαίνει όταν οι αρχικές μεταβλητές είναι ασυσχέτιστες. Τότε θα πρέπει να αναζητηθούν άλλες μέθοδοι μείωσης της διάστασης.

4 . ΚΥΡΙΕΣ ΣΥΝΙΣΤΩΣΕΣ ΠΛΗΘΥΣΜΩΝ Αλγεβρικά, οι κύριες συνιστώσες είναι μερικοί γραμμικοί συνδυασμοί των τυχαίων μεταβλητών Χ, Χ,, Χ. Γεωμετρικά, αυτοί οι γραμμικοί συνδυασμοί παριστάνουν την επιλογή του νέου συστήματος συντεταγμένων που λαμβάνεται με την περιστροφή του αρχικού συστήματος με Χ, Χ,, Χ ως άξονες συντεταγμένων. Οι νέοι άξονες παριστάνουν τις διευθύνσεις με την μεγαλύτερη μεταβλητότητα και παρέχουν μια απλούστερη περιγραφή της δομής της συνδιασποράς. Όπως θα δούμε, οι κύριες συνιστώσες εξαρτώνται μόνο από τον πίνακα συνδιασπορών Σ (ή τον πίνακα συσχετίσεων Ρ) των Χ, Χ,, Χ. Η ανάπτυξη τους δεν απαιτεί πολυμεταβλητή κανονική κατανομή. Από την άλλη μεριά, οι παραγόμενες κύριες συνιστώσες για τους πολυμεταβλητούς κανονικούς πληθυσμούς, έχουν χρήσιμες ερμηνείες για τους όρους των ελλειψοειδών σταθερής πυκνότητας. Έστω το τυχαίο διάνυσμα Χ [Χ, Χ,, Χ ] που έχει πίνακα συνδιασπορών Σ με ιδιοτιμές λ λ... λ 0. Θεωρούμε τους γραμμικούς συνδυασμούς τότε Y lx l X + l X l X Y l X l X + l X l X. ( ).. Y l X l X + l X l X Var(Y ) lσl,,, ( ) Cov(Y, Y k ) lσl, k,,, ( 3) k Οι κύριες συνιστώσες είναι αυτοί οι ασυσχέτιστοι γραμμικοί συνδυασμοί Υ, Υ,, Υ των οποίων οι διασπορές στην ( ) είναι οι μεγαλύτερες δυνατές. Η πρώτη κύρια συνιστώσα είναι ο γραμμικός συνδυασμός με τη μεγαλύτερη διασπορά. Δηλαδή, η μέγιστη διασπορά είναι Var(Y ) l Σ l. Είναι φανερό ότι η Var(Y ) lσl μπορεί να αυξηθεί πολλαπλασιάζοντας κάθε l με οποιαδήποτε σταθερά. Για να εξαλείψουμε αυτή την αοριστία είναι βολικό να περιορίσουμε την προσοχή μας στους συντελεστές διανυσμάτων με μοναδιαίο μήκος. Έτσι ορίζουμε: Πρώτη κύρια συνιστώσα γραμμικός συνδυασμός lx που μεγιστοποιεί την Var( l X ) υπό την προϋπόθεση ότι ll. Δεύτερη κύρια συνιστώσα γραμμικός συνδυασμός lx που μεγιστοποιεί την Var( l X ) υπό την προϋπόθεση ότι ll και Cov( lx, l X ) 0. Για την κύρια συνιστώσα γραμμικός συνδυασμός lx που μεγιστοποιεί την Var( l X ) υπό την προϋπόθεση ότι ll και Cov( l X, l X ) 0 για κάθε k <. k

5 Πρόταση.. Έστω Σ ο πίνακας συνδιασπορών του τυχαίου διανύσματος Χ [Χ, Χ,, Χ ]. Έστω ότι ο πίνακας Σ έχει ιδιοτιμές ιδιοδιανύσματα τα ζεύγη (λ, e ), (λ, e ),, (λ, e ) όπου λ λ... λ 0. Η οστή κύρια συνιστώσα δίνεται από με Υ X e X + e X e X,,,, ( 4) eí Var(Y ) e Σe λ,,, Cov(Y, Y k ) e Σek 0 k ( 5) Αν κάποια λ είναι ίσα, η επιλογή του αντίστοιχου διανύσματος e, και ως εκ τούτου του Υ, δεν είναι μοναδική. Απόδειξη Είναι γνωστό ότι Όμως ee lσ l max λ (επιτυγχάνεται όταν l e ) l 0 ll αφού τα ιδιοδιανύσματα είναι κανονικοποιημένα. Ως εκ τούτου Ομοίως lσ l e Σe max λ l 0 max ll l e,e,...,ek ll ee e Σe Var(Y) lσ l λk+ k,,, Για την περίπτωση l e k+, με e e 0, για,,, k και k,,,, k+ e Σe k+ k+ ek+ek+ e Σe Var(Yk+) k+ k+ Αλλά ek+( Σe k+) λk+ e k+e k+ λ k+ και έτσι Var(Y k+ ) λ k+. Απομένει να δείξουμε ότι όταν e είναι κάθετο στο e k (δηλαδή, ee k 0, k) τότε Cov(Y, Y k ) 0. Τώρα τα ιδιοδιανύσματα του Σ είναι ορθογώνια αν όλες οι ιδιοτιμές λ, λ,, λ είναι διακεκριμένες. Αν οι ιδιοτιμές δεν είναι όλες διακεκριμένες, τα ιδιοδιανύσματα που αντιστοιχούν στις κοινές ιδιοτιμές, μπορούν να επιλεγούν κατάλληλα ώστε να είναι ορθογώνια. Συνεπώς, για δυο οποιαδήποτε ιδιοδιανύσματα e και e k, έχουμε ee k 0, k. Αφού Σek λe k, έχουμε Cov(Y, Y k ) eσe k eλkek λkee k 0 για οποιαδήποτε kκαι η απόδειξη ολοκληρώθηκε. Από πρόταση., οι κύριες συνιστώσες είναι ασυσχέτιστες και έχουν διασπορές ίσες με τις ιδιοτιμές του Σ. 3

6 Πρόταση.. Έστω ότι το Χ [Χ, Χ,, Χ ] έχει πίνακα συνδιασπορών Σ, με ιδιοτιμές ιδιοδιανύσματα τα ζεύγη (λ, e ), (λ, e ),, (λ, e ) όπου λ λ... λ 0. Έστω Υ ex, Υ ex,, Υ exείναι οι κύριες συνιστώσες. Τότε Απόδειξη σ + σ + + σ Var( X ) λ + λ + + λ Var( Y ) Γνωρίζουμε ότι σ + σ + + σ tr(σ). Επίσης Σ ΡΛΡ όπου Λ είναι ο διαγώνιος πίνακας των ιδιοτιμών και Ρ [e, e,, e ] έτσι ώστε ΡΡ Ρ Ρ Ι. Έτσι έχουμε tr(σ) tr(ρλρ ) tr(λρ Ρ) tr(λ) λ + λ + + λ Ως εκ τούτου Var( X ) tr(σ) tr(λ) Var( Y ) Η πρόταση.. λέει: Ολική πληθυσμιακή διασπορά σ + σ + + σ λ + λ + + λ ( 6) και επομένως, το ποσοστό της συνολικής διασποράς που οφείλεται (εξηγείται από) στην k οστη κύρια συνιστώσα είναι: ποσοστο της συνολικης διασπορας που εξηγειται απο την k οστη κυρια συνιστωσα λk λ + λ λ, k,,, ( 7) Αν η περισσότερη (για παράδειγμα 80 με 90%) από την συνολική πληθυσμιακή διασπορά, για μεγάλο, μπορεί να αποδοθεί στην πρώτη, στις δυο πρώτες, ή στις τρεις πρώτες συνιστώσες, τότε αυτές οι συνιστώσες μπορούν να αντικαταστήσουν τις αρχικές μεταβλητές χωρίς μεγάλη απώλεια πληροφορίας. Κάθε συνιστώσα του διανύσματος e [e,, e k,, e ] επίσης αξίζει προσοχής. Το μέγεθος e k μέτρα την σημαντικότητα της k οστης μεταβλητής στην οστη κύρια συνιστώσα, άσχετα από τις άλλες μεταβλητές. Ιδιαίτερα, το e k είναι ανάλογο του συντελεστή συσχέτισης μεταξύ Υ και Χ k. Πρόταση.3. Αν Υ ex, Υ ex,, Υ exείναι οι κύριες συνιστώσες που λαμβάνονται από τον πίνακα συνδιασπορών Σ, τότε 4

7 e λ k ρ Y, X, k,,, ( 8) k σkk είναι οι συντελεστές συσχέτισης μεταξύ των κύριων συνιστωσών Υ και των μεταβλητών Χ k. Όπου (λ, e ), (λ, e ),, (λ, e ) είναι τα ζεύγη ιδιοτιμών ιδιοδιανυσμάτων για τον Σ. Απόδειξη Θεωρούμε l [0,, 0,, 0,, 0] έτσι ώστε Χk l Χ και Cov(Χk, Υ ) k Cov( l k X, e X) lk Σe. Αφού Σe λ e, Cov(Χ k, Υ ) l k λ e λ e k. Τότε Var(Υ ) λ και Var(Χ k ) σ kk δίνουν k Cov( Y, Xk) ρ Y, X k Var( Y) Var( X ) λek λ σ k kk e k σ λ kk, k,,, Το παρακάτω παράδειγμα ερμηνεύει τις προτάσεις.,.,.3. Παράδειγμα.. Θεωρούμε τις τυχαίες μεταβλητές Χ, Χ, Χ 3 που έχουν πίνακα συνδιασπορών Σ Εύκολα προκύπτει ότι τα ζεύγη ιδιοτιμών ιδιοδιανυσμάτων είναι: λ 5.83 e [0.383, 0.94, 0] λ.00 e [0, 0, ] λ e 3 [0.94, 0.383, 0] Ως εκ τούτου, οι κύριες συνιστώσες γίνονται: Υ ex 0.383Χ 0.94Χ Υ ex Χ3 Υ 3 ex 0.94Χ Χ 3 Η μεταβλητή Χ 3 είναι μια από τις κύριες συνιστώσες διότι είναι ασυσχέτιστη με τις άλλες δυο μεταβλητές. Η εξίσωση ( 5) μπορεί εύκολα να αποδειχθεί. Για παράδειγμα, Var(Y ) Var(0.383X 0.94X ) Var(X ) + ( 0.94) Var(X ) ( 0.94) Cov(X, X ) 5

8 ( ) 5.83 λ Cov(Υ, Υ ) Cov(0.383X 0.94X, Χ 3 ) Cov(X, Χ 3 ) 0.94 Cov(X, Χ 3 ) Είναι επίσης φανερό ότι σ + σ + + σ λ + λ + + λ αφού σ + σ + + σ και λ + λ + + λ αποδεικνύοντας την σχέση ( 6) για αυτό το παράδειγμα. Το ποσοστό της συνολικής διασποράς που εξηγείται από την πρώτη κύρια συνιστώσα είναι λ ή 73% λ + λ + λ 3 8 Συνεχίζοντας, το ποσοστό της συνολικής διασποράς που εξηγείται από τις δυο πρώτες συνιστώσες είναι λ+ λ ή 98% λ + λ + λ 3 8 Σε αυτή την περίπτωση οι συνιστώσες Υ και Υ μπορούν να αντικαταστήσουν τις τρεις αρχικές μεταβλητές με μια πολύ μικρή απώλεια πληροφορίας. Επίσης, χρησιμοποιώντας την ( 8) έχουμε e λ ρ Y, X 0.95 σ ρ Y, X e λ σ 5 Συμπεραίνουμε ότι οι Χ και Χ είναι η καθεμία εξίσου σημαντική για την πρώτη κύρια συνιστώσα. Επίσης ρ Y, X ρ Y, X 0 και e 3 ρ Y, X 3 σ33 λ (όπως αναμενόταν) Οι υπόλοιπες συσχετίσεις μπορούν να παραλειφθούν αφού η τρίτη κύρια συνιστώσα είναι ασήμαντη. Είναι σημαντικό να ασχοληθούμε με την περίπτωση όπου θεωρούμε ότι οι κύριες συνιστώσες παράγονται από πολυμεταβλητές κανονικές τυχαίες μεταβλητές. Ας 6

9 υποθέσουμε ότι το Χ ακολουθεί την κατανομή Ν (μ, Σ). Γνωρίζουμε ότι η πυκνότητα του Χ είναι σταθερή πάνω στο ελλειψοειδές με κέντρο το μ: (x μ) Σ (x μ) c όπου έχει άξονες ± c λ e,,,,, όπου τα (λ, e ) είναι τα ζεύγη ιδιοτιμών ιδιοδιανυσμάτων του Σ. Ένα σημείο που βρίσκεται πάνω στον οστό άξονα του ελλειψοειδούς θα έχει συντεταγμένες ανάλογες του e [e, e,, e ] στο σύστημα αξόνων που έχει αρχή το μ και άξονες που είναι παράλληλοι στους αρχικούς άξονες x, x,, x. Θα θεωρήσουμε την βολική περίπτωση μ 0 στο επιχείρημα που ακολουθεί. Έτσι έχουμε c x Σ x ( ) λ ex + ( ) λ ex + + ( ex ) λ όπου ex, ex,, Θέτοντας y ex, y ex,, y ex είναι αναγνωρισμένες ως οι κύριες συνιστώσες του x. ex, έχουμε c λ y + λ y + + λ y και αυτή η εξίσωση ορίζει ένα ελλειψοειδές (αφού λ, λ,, λ είναι θετικά) σ ένα σύστημα συντεταγμένων με άξονες y, y,, y που βρίσκονται στις διευθύνσεις των e, e,, e αντίστοιχα. Αν λ είναι η μεγαλύτερη ιδιοτιμή, τότε ο μεγαλύτερος άξονας βρίσκεται στην διεύθυνση του e. Οι υπόλοιποι μικρότεροι άξονες βρίσκονται στις διευθύνσεις που ορίζονται από τα e,, e. Συνοψίζοντας, οι κύριες συνιστώσες y ex, y ex,, y ex βρίσκονται στις διευθύνσεις των αξόνων ενός ελλειψοειδούς σταθερής πυκνότητας. Ως εκ τούτου, κάθε σημείο του οστού άξονα του ελλειψοειδούς έχει x συντεταγμένες ανάλογες του e [e, e,, e ] και κύριων συνιστωσών συντεταγμένες στη μορφή [0,, 0, y, 0,, 0]. Όταν μ 0, τότε η μέση κεντροποιημένη κύρια συνιστώσα y e (x μ) έχει μέση τιμή 0 και βρίσκεται πάνω στην διεύθυνση του e. Μιας σταθερής πυκνότητας έλλειψη και οι κύριες συνιστώσες για ένα δυο μεταβλητών κανονικό τυχαίο διάνυσμα με μ 0 και ρ 0.75 φαίνεται στο σχήμα.. Βλέπουμε ότι οι κύριες συνιστώσες λαμβάνονται με περιστροφή των αρχικών αξόνων κατά μια γωνία θ μέχρι να συμπέσουν με τους άξονες της σταθερής πυκνότητας έλλειψης. Αυτό ισχύει και για τις περιπτώσεις όπου >. 7

10 y ex x y ex θ x Σ x c x μ 0 ρ 0.75 Σχήμα.. Η σταθερή πυκνότητας έλλειψη, x Σ x c, και οι κύριες συνιστώσες y, y για το δυο μεταβλητών κανονικό τυχαίο διάνυσμα Χ που έχει μέση τιμή 0. Κύριες συνιστώσες που λαμβάνονται από τυποποιημένες μεταβλητές. Οι κύριες συνιστώσες μπορούν επίσης να ληφθούν και από τις τυποποιημένες μεταβλητές. ( X μ ) Z σ ( X μ ) Z σ... Z Σε συμβολισμό πινάκων ( X μ ) σ ( 9) Z (V / ) (X μ) ( 0) όπου V / ο διαγώνιος πίνακας τυπικών αποκλίσεων. Έχουμε Ε(Ζ) 0 και Cov(Z) (V / ) Σ(V / ) Ρ Οι κύριες συνιστώσες του Ζ μπορούν να ληφθούν από τα ιδιοδιανύσματα του πίνακα συσχετίσεως Ρ. Όλα τα προηγούμενα αποτελέσματα εφαρμόζονται με μερικές απλοποιήσεις αφού η διασπορά της κάθε Ζ είναι μοναδιαία. Θα συνεχίσουμε να χρησιμοποιούμε το συμβολισμό Υ για να αναφερόμαστε στη οστη κύρια συνιστώσα και (λ, e ) για το ζεύγος ιδιοτιμών ιδιοδιανυσμάτων. Οπωσδήποτε αυτές 8

11 οι ποσότητες που παράγονται από τον Σ είναι διαφορετικές από αυτές που παράγονται από τον Ρ. Πρόταση.4. Η οστη κύρια συνιστώσα των τυποποιημένων μεταβλητών Ζ [Ζ, Ζ,, Ζ ], με Cov(Z) Ρ, δίνεται από Επιπλέον και Y Z (V / ) (X μ),,,, e e Var( Y ) Y, Zk ρ e k λ Var( Z) ( ), k,,, Σ αυτή τη περίπτωση, (λ, e ), (λ, e ),, (λ, e ) είναι τα ζεύγη ιδιοτιμών ιδιοδιανυσμάτων για τον Ρ με λ λ... λ 0. Απόδειξη Η πρόταση.4. ακολουθεί τις προτάσεις.,.,.3, με Ζ, Ζ,, Ζ στη θέση των Χ, Χ,, Χ και Ρ στη θέση του Σ. Βλέπουμε από την ( ) ότι η συνολική (τυποποιημένων μεταβλητών) πληθυσμιακή διασπορά είναι απλώς, το άθροισμα των διαγώνιων στοιχείων του πίνακα Ρ. Χρησιμοποιώντας την ( 7) με Ζ στη θέση του Χ, το ποσοστό της συνολικής διασποράς που εξηγείται από k οστη κύρια συνιστώσα του Ζ είναι ποσοστο της (τυποποιημενων μεταβλητων) ολικης διασπορας που εξηγειται απο την k οστη κυρια συνιστωσα λ k, k,,, ( ) όπου λ k είναι οι ιδιοτιμές του Ρ. Παράδειγμα.. (Κύριες συνιστώσες που λαμβάνονται από τον πίνακα συνδιασποράς και τον πίνακα συσχέτισης) Θεωρούμε τον πίνακα συνδιασποράς Σ και τον παραγόμενο πίνακα συσχέτισης 9

12 0.4 Ρ 0.4 Τα ζεύγη ιδιοτιμών ιδιοδιανυσμάτων για τον Σ είναι λ 00.6, [0.040, 0.999] λ 0.84, e e [0.999, 0.040] Ομοίως τα ζεύγη ιδιοτιμών ιδιοδιανυσμάτων για τον Ρ είναι λ.4, e [0.707, 0.707] λ 0.6, [0.707, 0.707] Οι κύριες συνιστώσες είναι e Σ: Υ 0.040Χ Χ Υ 0.999Χ 0.040Χ X μ X Ρ: Υ 0.707Ζ Ζ μ (Χ μ ) (Χ μ ) X μ X Y 0.707Z 0.707Z μ (Χ μ ) (Χ μ ) Εξαιτίας της μεγάλης της διασποράς, η Χ επικρατεί απολύτως στην πρώτη κύρια συνιστώσα που προσδιορίζεται από τον Σ. Επιπλέον, η πρώτη κύρια συνιστώσα εξηγεί το ποσοστό του λ λ + λ ή 99,% της συνολικής πληθυσμιακής διασποράς. Όταν οι Χ και Χ τυποποιούνται, οι προκύπτουσες μεταβλητές συμβάλλουν εξίσου στις κύριες συνιστώσες που προσδιορίζονται από τον Ρ. Χρησιμοποιώντας την πρόταση.4. και ρ e λ Y, Z ρ e λ Y, Z Σ αυτή την περίπτωση, η πρώτη κύρια συνιστώσα εξηγεί ένα ποσοστό λ ή 70% της συνολικής (των τυποποιημένων μεταβλητών) πληθυσμιακής διασποράς. 0

13 Παρατηρούμε ότι όταν χρησιμοποιηθεί ο Ρ, οι τυποποιημένες μεταβλητές επηρεάζουν κατά το ίδιο ποσό τις κύριες συνιστώσες, σε αντίθεση με τις μεταβλητές όταν χρησιμοποιηθεί ο Σ. Στην τελευταία περίπτωση επειδή η ολική διασπορά οφείλεται σχεδόν αποκλειστικά στην Χ, αυτή ουσιαστικά καθορίζει την πρώτη κύρια συνιστώσα Υ (δες τον συντελεστή 0.999). Ακόμη, παρατηρούμε ότι όταν αντικατασταθούν οι αρχικές μεταβλητές αντί των τυποποιημένων, ο τρόπος που οι Χ, Χ επηρεάζουν την πρώτη κύρια συνιστώσα από το Σ είναι σε πλήρη αντίθεση με τον τρόπο που οι Χ, Χ επηρεάζουν την πρώτη κύρια συνιστώσα από τον Ρ (συντελεστές και 0.999, ενώ και ). Το προηγούμενο παράδειγμα αποδεικνύει ότι οι κύριες συνιστώσες που προέρχονται από τον Σ είναι διαφορετικές από τις κύριες συνιστώσες που προέρχονται από τον Ρ. Επιπλέον, ένα σύνολο κύριων συνιστωσών δεν είναι μια απλή συνάρτηση των άλλων. Αυτό υποδηλώνει ότι η τυποποίηση δεν είναι ασήμαντη. Οι μεταβλητές πιθανόν θα πρέπει να τυποποιούνται αν μετριούνται σε ένα ευρέως μεγάλο πεδίο τιμών ή αν οι μονάδες μετρήσεως δεν είναι ανάλογες. Για παράδειγμα αν η Χ παριστάνει ετήσιες πωλήσεις με 0,000 έως 300,000 ευρώ πεδίο τιμών και η Χ είναι ο λόγος (καθαρό ετήσιο εισόδημα) / (συνολικό κεφάλαιο) με 0. έως 0.6 πεδίο τιμών, τότε η συνολική μεταβλητότητα θα εξηγείται σχεδόν αποκλειστικά από τις πωλήσεις σε ευρώ. Σ αυτή τη περίπτωση, θα πρέπει να περιμένουμε μια μοναδική (σημαντική) κύρια συνιστώσα στην οποία συντριπτικό βάρος θα έχει η Χ. Εναλλακτικά, αν και οι δυο μεταβλητές τυποποιηθούν, τότε τα μεγέθη τους θα είναι στον ίδιο βαθμό (δηλ. χωρίς μονάδες) και η Χ (ή η Ζ ) θα παίζει μεγαλύτερο ρόλο στη κατασκευή των κύριων συνιστωσών. Αυτή η συμπεριφορά παρατηρείτε στο παράδειγμα.. Κύριες συνιστώσες με πίνακες συνδιασπορών με ειδική δομή. Υπάρχουν βεβαίως μοντέλα πινάκων συνδιασπορών και συσχετίσεων των οποίων οι κύριες συνιστώσες μπορούν να εκφραστούν σε απλές μορφές. Ας υποθέσουμε ότι ο Σ είναι ο διαγώνιος πίνακας Σ σ σ σ ( 3) Θεωρώντας e [0,, 0,, 0,, 0], με στην οστή θέση, παρατηρούμε ότι σ σ σ σ ή Σe σ e

14 και συμπεραίνουμε ότι το (σ, e ) είναι το οστό ζεύγος ιδιοτιμών ιδιοδιανυσμάτων. Αφού ο γραμμικός συνδυασμός e Χ Χ, το σύνολο των κύριων συνιστωσών είναι απλώς το αρχικό σύνολο των ασυσχέτιστων τυχαίων μεταβλητών. Για τον πίνακα διασπορών με την μορφή της ( 3), τίποτα δεν κερδίζουμε με την δημιουργία των κύριων συνιστωσών. Από την άλλη μεριά, αν η Χ ακολουθεί την κατανομή Ν (μ, Σ), η καμπύλη της σταθερής πυκνότητας είναι ελλειψοειδής της οποίας οι άξονες βρίσκονται ήδη στις διευθύνσεις της μέγιστης μεταβλητότητας. Συνεπώς, δεν χρειάζεται να περιστρέψουμε το σύστημα συντεταγμένων. Η τυποποίηση δεν αλλάζει σημαντικά την κατάσταση για τον Σ της ( 3). Σ αυτή την περίπτωση, Ρ I, όπου Ι ο μοναδιαίος πίνακας. Είναι φανερό ότι Ρe e, έτσι η ιδιοτιμή έχει πολλαπλότητα και e [0,, 0,, 0,, 0],,,,, είναι βολικές επιλογές για τα ιδιοδιανύσματα. Συνεπώς, οι κύριες συνιστώσες που προσδιορίζονται από τον Ρ είναι επίσης οι αρχικές μεταβλητές Ζ, Ζ,, Ζ. Επιπλέον, σ αυτή τη περίπτωση των ίσων ιδιοτιμών, το πολυμεταβλητό κανονικό ελλειψοειδές σταθερής πυκνότητας είναι σφαιροειδές. Άλλο μοντέλο πίνακα συνδιασπορών, το οποίο συχνά περιγράφει την αντιστοιχία μεταξύ βιολογικών μεταβλητών, όπως τα μεγέθη ζωντανών πραγμάτων, έχει τη γενική μορφή σ ρσ ρσ ρσ σ ρσ Σ ( 4) ρσ ρσ σ Ο παραγόμενος πίνακας συσχέτισης, ρ ρ ρ ρ Ρ ( 5) ρ ρ είναι επίσης ο πίνακας συνδιασπορών για τις τυποποιημένες μεταβλητές. Από το πίνακα στην ( 5) συνεπάγεται ότι οι μεταβλητές Χ, Χ,, Χ είναι ίσα συσχετισμένες μεταξύ τους. Δεν είναι δύσκολο να δειχθεί ότι οι ιδιοτιμές του πίνακα συσχετίσεων ( 5) μπορούν να διαιρεθούν σε δυο γκρουπ. Η μεγαλύτερη ιδιοτιμή είναι με αντίστοιχο ιδιοδιάνυσμα λ + ( ) ( 6) e,,..., ( 7) οι υπόλοιπες ιδιοτιμές είναι λ λ 3 λ

15 και μια επιλογή για τα ιδιοδιανύσματα τους είναι e e 3 e Η πρώτη κύρια συνιστώσα e,,0,...,0,,,0,..., ( ),...,,,0,...,0 ( ) ( ) ( ) ( ),...,, ( ) ( ) ( ) Υ e Χ X είναι ανάλογη του αθροίσματος των αρχικών μεταβλητών. Αυτή η κύρια συνιστώσα εξηγεί ένα ποσοστό λ +( ) ρ ρ + ρ ( 8) της συνολικής πληθυσμιακής μεταβλητότητας. Βλέπουμε ότι λ / ρ για ρ κοντά στο ή για πολύ μεγάλο. Για παράδειγμα, αν ρ 0.80 και 5, η πρώτη κύρια συνιστώσα εξηγεί το 84% της συνολικής διασποράς. Όταν το ρ είναι κοντά στο, οι τελευταίες συνιστώσες, μαζί, συμβάλλουν πολύ λίγο στη συνολική διασπορά και συχνά παραλείπονται. Αν οι τυποποιημένες μεταβλητές Ζ, Ζ,, Ζ ακολουθούν πολυμεταβλητή κανονική κατανομή με πίνακα συνδιασπορών που δίνεται από την ( 5), τότε το ελλειψοειδές σταθερής πυκνότητας έχει «μακρόστενη» μορφή με μεγαλύτερο άξονα ανάλογο στην πρώτη κύρια συνιστώσα Υ (/ )[,,, ] Χ. Αυτή η κύρια συνιστώσα είναι η προβολή του Χ πάνω στο διάνυσμα [,,, ]. Οι μικρότεροι άξονες (και οι υπόλοιπες κύριες συνιστώσες) βρίσκονται σε σφαιρικές συμμετρικές διευθύνσεις κάθετα στο μεγαλύτερο άξονα (και στη πρώτη κύρια συνιστώσα). 3

16 .3. ΔΕΙΓΜΑΤΙΚΕΣ ΚΥΡΙΕΣ ΣΥΝΙΣΤΩΣΕΣ Τώρα έχουμε τον απαραίτητο εξοπλισμό να μελετήσουμε το πρόβλημα της σύνοψης της μεταβλητότητας σε n μετρήσιμες, από τις, μεταβλητές με μερικούς συνετά επιλεγμένους γραμμικούς συνδυασμούς. Θεωρούμε ότι τα στοιχεία x, x,, x n παριστάνουν n ανεξάρτητα διανύσματα από κάποιο διάστατο πληθυσμό με μέση τιμή μ και πίνακα συνδιασπορών Σ. Αυτά τα δεδομένα δίνουν τη δειγματική μέση τιμή x, το δειγματικό πίνακα συνδιασπορών S, και το δειγματικό πίνακα συσχετίσεων R. Το αντικείμενο μας σ αυτή τη παράγραφο θα είναι η κατασκευή ασυσχέτιστων γραμμικών συνδυασμών των μετρήσιμων χαρακτηριστικών που ευθύνονται για το μεγαλύτερο μέρος της μεταβλητότητας στο δείγμα. Οι ασυσχέτιστοι συνδυασμοί με τις μεγαλύτερες διασπορές θα ονομάζονται δειγματικές κύριες συνιστώσες. Θεωρούμε τις n τιμές ενός οποιουδήποτε γραμμικού συνδυασμού lx l x + l x l x, j,,, n j j j j που έχει δειγματικό μέσο l x και δειγματική διασπορά lsl. Επίσης, το ζεύγος τιμών ( l x, l x ), για δυο γραμμικούς συνδυασμούς, έχει δειγματική συνδιασπορά lsl. j j Οι δειγματικές κύριες συνιστώσες ορίζονται όπως αυτοί οι γραμμικοί συνδυασμοί που έχουν μέγιστη δειγματική διασπορά. Όπως με τις πληθυσμιακές ποσότητες, περιορίζουμε τα διανύσματα, ώστε να ικανοποιούν την ll. Ειδικότερα, l Πρώτη δειγματική κύρια συνιστώσα γραμμικός συνδυασμός lx j την δειγματική διασπορά του προϋπόθεση ότι ll. που μεγιστοποιεί lx j υπό την Δεύτερη δειγματική κύρια συνιστώσα γραμμικός συνδυασμός lx j που μεγιστοποιεί την δειγματική διασπορά του l x υπό την προϋπόθεση ότι ll και j μηδενική δειγματική συνδιασπορά για το ζεύγος ( l x, l x ). Για την δειγματική κύρια συνιστώσα γραμμικός συνδυασμός l x j j j που μεγιστοποιεί την δειγματική διασπορά του l x υπό την προϋπόθεση ότι ll και j μηδενική δειγματική συνδιασπορά για όλα τα ζεύγη ( l x, l x ), k <. j k j Η πρώτη κύρια συνιστώσα μεγιστοποιεί την lsl ή ισοδύναμα, lsl ll ( 9) 4

17 Το μέγιστο είναι η μεγαλύτερη ιδιοτιμή, λ, που επιτυγχάνεται για την επιλογή l το ιδιοδιάνυσμα e, του S. Διαδοχικές επιλογές του την προϋπόθεση ότι 0 Se l k l k λk k e, ή l l κάθετο στο μεγιστοποιούν την ( 9) υπό e. Ως εκ τούτου, όπως στην απόδειξη των προτάσεων..3, λαμβάνουμε τα παρακάτω αποτελέσματα που αφορούν τις δειγματικές κύριες συνιστώσες. Αν S {s k } είναι ο δειγματικός πίνακας συνδιασπορών με ζεύγη ιδιοτιμών λ e λ ιδιοδιανυσμάτων (, ), (, συνιστώσα δίνεται από e ),, ( λ, e ), η οστη δειγματική κύρια k y ex x e + e x + + e x,,,, όπου λ λ 0 και x είναι μια οποιαδήποτε παρατήρηση των μεταβλητών Χ, Χ,, Χ. Επίσης λ δειγματική διασπορά ( y k ) λ k, k,,, ( 0) Επίσης και δειγματική συνδιασπορά ( y, y k ) 0, k συνολική δειγματική διασπορά e λ k r y, xk skk s,, k,,, λ + λ + + λ Θα δηλώσουμε τις δειγματικές κύριες συνιστώσες με y, y,, y, ασχέτως αν λαμβάνονται από τον S ή από τον R. Οι συνιστώσες που κατασκευάζονται από τον S δεν είναι ίδιες με τις συνιστώσες που κατασκευάζονται από τον R, γενικώς, αλλά θα είναι ξεκάθαρο από τα συμφραζόμενα ποιος πίνακας θα χρησιμοποιηθεί και ποιος συμβολισμός y είναι βολικός. Είναι επίσης βολικό να χαρακτηρίσουμε με e το συντελεστή διανυσμάτων της συνιστώσας και λ την διασπορά των συνιστωσών και για τις δυο περιπτώσεις. Οι παρατηρήσεις x j κεντροποιούνται αφαιρώντας τη x. Αυτό δεν έχει καμία επίδραση στο δειγματικό πίνακα συνδιασπορών S και δίνει την οστη κύρια συνιστώσα y e (x x ),,,, ( ) για κάθε παρατήρηση x. Αν θεωρήσουμε τις τιμές της oστης συνιστώσας 5

18 y e (xj x ),,,, ( ) j που παράγονται από την αντικατάσταση κάθε παρατήρησης x j από το αυθαίρετο x στην ( ), τότε y n n e( xj x ) j e x x e0 0 ( 3) n n ( j ) n j Δηλαδή, ο δειγματικός μέσος της κάθε κύριας συνιστώσας είναι μηδέν. Οι δειγματικές διασπορές εξακολουθούν να δίνονται από τα λ, όπως στην ( 0). Παράδειγμα.3 Μια πρόσφατη απογραφή παρέχει πληροφορίες για 5 κοινωνικοοικονομικές μεταβλητές για την περιοχή Μάντισον. Τα δεδομένα από 4 παρατηρήσεις βρίσκονται στον πίνακα.. Αυτά τα δεδομένα παράγουν τις παρακάτω συνοπτικές στατιστικές. x [4.3, 4.0,.95,.7,.45] Total Medan Total Health Medan oulaton school emloyment servces value (thousands) years (thousands) emloyment home (hundreds) ($0,000s) και S Πίνακας. Παρατήρηση Total oulaton (thousands) Medan school years Total emloyment (thousands) Health servces emloyment (hundreds) Medan value home ($0,000s)

19 Μπορεί η δειγματική μεταβλητότητα να περιληφθεί σε μια ή δυο κύριες συνιστώσες ; Μεταβλητή Total oulaton Medan school years Total emloyment Health servces emloyment Medan value home e ( r ) e ( ) y, xk 0.78 (0.99) (0.6) (0.98) 0.46 (0.80) ( 0.0) r e 3 e 4 e5 y, xk 0.07 ( 0.04) ( 0.76) (0.) (0.55) 0.6 ( 0.49) Διασπορά λ Αθροιστικό ποσοστό της συνολικής διασποράς Η πρώτη κύρια συνιστώσα εξηγεί το 74,% της συνολικής δειγματικής διασποράς. Οι πρώτες δυο κύριες συνιστώσες, συλλογικά, εξηγούν το 93,% της συνολικής δειγματικής διασποράς. Συνεπώς, η δειγματική μεταβλητότητα συνοψίζεται πολύ καλά σε δυο κύριες συνιστώσες και μια μείωση στα δεδομένα, από 4 παρατηρήσεις των 5 μεταβλητών σε 4 παρατηρήσεις των κύριων συνιστωσών, είναι δυνατή. Δίνοντας τους συντελεστές των συνιστωσών παραπάνω, η πρώτη κύρια συνιστώσα εμφανίζεται να είναι ουσιωδώς, ένας σταθμικός μέσος όρος των πρώτων τεσσάρων μεταβλητών. Όταν επιχειρούμε μια υποκειμενική ερμηνεία των κύριων συνιστωσών, οι συσχετίσεις r y, xk μπορεί να είναι πιο αξιόπιστος οδηγός απ ότι οι συντελεστές των συνιστωσών. Οι συσχετίσεις επιτρέπουν τις διαφορές στις διασπορές των αρχικών μεταβλητών και συνεπώς αποφεύγεται το πρόβλημα ερμηνείας που δημιουργείται από διαφορετικές μονάδες μέτρησης. Στο παράδειγμα.3, οι συντελεστές συσχέτισης που επιδεικνύονται στον πίνακα, επιβεβαιώνουν την ερμηνεία που παρέχεται από τους συντελεστές συνιστωσών. e k 7

20 Ερμηνεία των δειγματικών κύριων συνιστωσών Οι δειγματικές κύριες συνιστώσες έχουν πολλές ερμηνείες. Πρώτα, ας υποθέσουμε ότι η κατανομή της Χ ακολουθεί την Ν (μ, Σ). Τότε οι δειγματικές κύριες συνιστώσες, y e (x x ), είναι μοντέλα των πληθυσμιακών κύριων συνιστωσών Υ e(x μ), που έχει κατανομή Ν(0, Λ). Ο διαγώνιος πίνακας Λ έχει στοιχεία λ, λ,, λ και (λ, e ) είναι τα ζεύγη ιδιοτιμών ιδιοδιανυσμάτων του Σ. Επίσης, από τις δειγματικές τιμές x j, μπορούμε να προσεγγίσουμε το μ με το x και το Σ με το S. Αν ο S είναι θετικά ορισμένος, η καμπύλη που αποτελείται από όλα τα διανύσματα x που ικανοποιούν την (x x ) S (x x ) c ( 4) εκτιμά την καμπύλη σταθερής πυκνότητας (x μ) Σ (x μ) c που βρίσκεται κάτω από κανονική πυκνότητα. Η προσεγγιστική καμπύλη μπορεί να σχεδιαστεί στο σχεδιάγραμμα διασποράς για να δείξει την κανονική κατανομή που παράγουν τα δεδομένα. Η προϋπόθεση της κανονικότητας είναι χρήσιμη για την διαδικασία συμπερασμάτων, αλλά δεν απαιτείται απαραίτητα για την ανάπτυξη των ιδιοτήτων των δειγματικών κύριων συνιστωσών που συνοψίζονται στην ( 0). Ακόμα και όταν υποπτευόμαστε ότι έχουμε την προϋπόθεση της κανονικότητας και το σχεδιάγραμμα διασποράς ίσως μοιάζει κάπως με ένα ελλειπτικό μοντέλο, μπορούμε να εξάγουμε τις ιδιοτιμές από τον S και να λάβουμε τις δειγματικές κύριες συνιστώσες. Γεωμετρικά, τα δεδομένα μπορούν να σχεδιαστούν ως n σημεία σε χώρο διάστασης. Τα δεδομένα μπορούν τότε να εκφραστούν στις νέες συντεταγμένες, οι οποίες συμπίπτουν με τους άξονες της καμπύλης της ( 4). Τώρα η ( 4) ορίζει ένα υπερελλειψοειδές που έχει κέντρο το x και του οποίου οι άξονες δίνονται από τα ιδιοδιανύσματα του S ή ισοδύναμα του S. Το μήκος των αξόνων του υπερελλειψοειδούς είναι ανάλογο στην λ > 0 είναι οι ιδιοτιμές του S. λ,,,,, όπου λ λ Επειδή το e έχει μήκος, η απόλυτη τιμή της οστής κύριας συνιστώσας, y e ( ) x x, δίνει το μήκος της προβολής του διανύσματος ( x x ) στο μοναδιαίο διάνυσμα e. Ως εκ τούτου οι δειγματικές κύριες συνιστώσες y e ( x x ),,,,, βρίσκονται κατά μήκος των αξόνων του υπερελλειψοειδούς και οι απόλυτες τιμές τους είναι τα μήκη των προβολών των ( x x) στις διευθύνσεις των αξόνων e. Συνεπώς, οι δειγματικές κύριες συνιστώσες μπορούν να παρατηρηθούν ως το αποτέλεσμα, της παράλληλης μετατόπισης της αρχής του αρχικού συστήματος συντεταγμένων στο x και μετά την περιστροφή των αξόνων συντεταγμένων μέχρι να συμπέσουν με τις διευθύνσεις της μέγιστης διασποράς. Η γεωμετρική ερμηνεία των δειγματικών κύριων συνιστωσών παρουσιάζεται στο σχήμα. για. Το σχήμα.(a) δείχνει μια έλλειψη σταθερής πυκνότητας, με κέντρο το x, με λ > λ. Οι δειγματικές κύριες συνιστώσες είναι καλώς ορισμένες. Βρίσκονται κατά μήκος των αξόνων, της έλλειψης, στις κάθετες μεταξύ τους 8

21 διευθύνσεις, της μέγιστης δειγματικής διασποράς. Το σχήμα.(b) δείχνει μια σταθερής πυκνότητας έλλειψη, με κέντρο το x, με λ λ. Σ αυτή τη περίπτωση, οι άξονες της έλλειψης (κύκλος) της σταθερής πυκνότητας δεν είναι μονοσήμαντα ορισμένοι και μπορούν να βρίσκονται σε δυο οποιεσδήποτε κάθετες διευθύνσεις, συμπεριλαμβανομένου των διευθύνσεων του αρχικού συστήματος αξόνων. Ομοίως, οι δειγματικές κύριες συνιστώσες μπορούν να βρίσκονται σε δυο οποιεσδήποτε κάθετες διευθύνσεις, συμπεριλαμβανομένου και εκείνων των διευθύνσεων του αρχικού συστήματος αξόνων. Όταν η καμπύλη της σταθερής πυκνότητας είναι σχεδόν κυκλική, ή ισοδύναμα, όταν οι ιδιοτιμές του S είναι σχεδόν ίσες, η δειγματική μεταβλητότητα είναι ομογενής σε όλες τις διευθύνσεις. Δεν είναι τότε δυνατόν να αναπαραστήσουμε τα δεδομένα καλώς σε λιγότερες από διευθύνσεις. Αν οι τελευταίες ιδιοτιμές, λ, είναι ικανοποιητικά μικρές έτσι ώστε η μεταβλητότητα στις αντίστοιχες e διευθύνσεις να είναι αμελητέα, οι τελευταίες δειγματικές κύριες συνιστώσες μπορούν να αγνοηθούν και τα δεδομένα μπορούν επαρκώς να προσεγγιστούν από την αναπαράσταση τους στο χώρο (διάστασης) των εναπομεινάντων συνιστωσών. Σχήμα. x y y (x x ) S (x x ) c y y x x x (x x ) S (x x ) c x x x x (a) > (b) λ λ λ λ Τυποποιημένες δειγματικές κύριες συνιστώσες Οι δειγματικές κύριες συνιστώσες, γενικά, δεν είναι ανεπηρέαστες όσον αφορά τις διαφορετικές μονάδες. Όπως αναφέραμε στην επεξεργασία των πληθυσμιακών συνιστωσών, οι μεταβλητές που μετρούνται σε διαφορετικές μονάδες ή σε μια κοινή μονάδα με ευρέως διαφορετικά πεδία τιμών, συχνά τυποποιούνται. Για το δείγμα, η τυποποίηση γίνεται με την κατασκευή 9

22 z j D / (x x ) x x x j j j x s x s x s j,,..., ( 5) O n πίνακας δεδομένων των τυποποιημένων παρατηρήσεων Ζ [z, z,, z n ] z z zn z z z n z z zn x x x x xn x s s s x x x x xn x s s s x x x x xn x s s s ( 6) δίνει το διάνυσμα του δειγματικού μέσου z n Ζ n n j j n j j n j x x x j x s x s 0 ( 7) x s και πίνακα δειγματικών συνδιασπορών S z n (Z n Z ) (Ζ n Ζ ) n (Ζ z ) (Ζ z ) n ΖΖ 0

23 n (n ) s (n ) s (n ) s s s s s s (n ) s (n ) (n ) s s s s s s s (n ) s (n ) s (n ) s s s s s s R ( 8) Οι δειγματικές κύριες συνιστώσες των τυποποιημένων μεταβλητών δίνονται από την ( 0), με το πίνακα R στη θέση του S. Αφού οι παρατηρήσεις είναι ήδη κεντροποιημένες, δεν χρειάζεται να γράψουμε τις συνιστώσες στη μορφή της ( ). Αν z, z,, z n είναι οι τυποποιημένες παρατηρήσεις με πίνακα συνδιασπορών R, η οστη δειγματική κύρια συνιστώσα είναι y e z e z + e z e z,,,, όπου ( λ, e ) είναι η οστό ζεύγος ιδιοτιμών ιδιοδιανυσμάτων του R με λ λ λ > 0. Επίσης, δειγματική διασπορά ( y ) λ,,,, ( 9) δειγματική συνδιασπορά ( y, y k ) 0, k Επίσης συνολική (τυποποιημένων) δειγματική διασπορά tr(r) λ και λ λ r e λ,, k,,, k y, xk Χρησιμοποιώντας την ( 9), το ποσοστό της συνολικής δειγματικής διασποράς που εξηγείται από την οστη δειγματική κύρια συνιστώσα είναι ποσοστο της (τυποποιημενων) δειγματικης διασπορας που εξηγει η οστη δειγματικη κυρια διασπορα λ,,, ( 30) Ένας κανόνας που προτείνεται είναι να κρατάμε μόνο εκείνες τις συνιστώσες των οποίων οι διασπορές λ, είναι μεγαλύτερες της μονάδας, ή ισοδύναμα, μόνο εκείνες τις συνιστώσες οι οποίες, ατομικά, εξηγούν τουλάχιστον ένα ποσοστό / της

24 συνολικής συνιστώσας. Αυτός ο κανόνας δεν έχει μεγάλη θεωρητική υποστήριξη και οπωσδήποτε δεν εφαρμόζεται τυφλά. Παράδειγμα.4 Ο εβδομαδιαίος δείκτης κέρδους για πέντε προμηθευτές (Alled Chemcal, du Pont, Unon Carbde, Exxon, Texaco) βρίσκεται στους κατάλογους που ανταλλάσσουν οι προμηθευτές της Νέας Υόρκης και προσδιορίζουν την περίοδο Ιανουάριος 995 έως Δεκέμβριος 996. Ο εβδομαδιαίος δείκτης κέρδους ορίζεται ως (τρέχουσα Παρασκευής τιμή κλεισίματος προηγούμενη Παρασκευής τιμή κλεισίματος) / (προηγούμενη Παρασκευής τιμή κλεισίματος). Τα δεδομένα παρουσιάζονται στον πίνακα.. Οι παρατηρήσεις σε 00 διαδοχικές εβδομάδες εμφανίζονται να κατανέμονται ανεξάρτητα, αλλά οι δείκτες του κέρδους των προμηθευτών είναι συσχετισμένοι, αφού, όπως ο καθένας θα περίμενε, οι προμηθευτές τείνουν να αλλάζουν μαζί, στο πλαίσιο των γενικών οικονομικών όρων. Πίνακας. Εβδομάδα Alled du Pont Unon Exxon Texaco Chemcal Carbde Έστω ότι x, x,, x 5 δείχνουν τους εβδομαδιαίους δείκτες κέρδους που έχουν παρατηρηθεί για τις Alled Chemcal, du Pont, Unon Carbde, Exxon, Texaco. Τότε και x [0.0054, , , , ] R Σημειώνουμε ότι ο R είναι ο πίνακας συνδιασπορών για τις τυποποιημένες παρατηρήσεις

25 z x x, z s x x x5 x5,..., z5 s s 55 Οι ιδιοτιμές και τα αντίστοιχα ιδιοδιανύσματα του R είναι λ λ λ 3 λ 4 λ 5.875, e [0.464, 0.457, 0.470, 0.4, 0.4] 0.809, e [0.40, 0.509, 0.60, 0.56, 0.58] , e [ 0.6, 0.78, 0.335, 0.54, 0.435] , e [0.387, 0.06, 0.66, 0.47, 0.38] , e [ 0.45, 0.676, 0.400, 0.76, 0.385] Χρησιμοποιώντας τις τυποποιημένες μεταβλητές, λαμβάνουμε τις πρώτες δυο δειγματικές κύριες συνιστώσες. y z z y e e z z z3 z4 5 z z z z z3 z4 5 Αυτές οι συνιστώσες, οι οποίες εξηγούν το λ+ λ 00% % 73% της συνολικής (τυποποιημένων) δειγματικής διασποράς, έχουν ενδιαφέρουσες ερμηνείες. Η πρώτη κύρια συνιστώσα είναι ένα (περίπου) εξίσου σταθμικό άθροισμα, ή «δείκτης» των πέντε προμηθευτών. Αυτή η συνιστώσα μπορεί να ονομαστεί συνιστώσα μάρκετινγκ. Η δεύτερη κύρια συνιστώσα εκφράζει την αντίθεση ανάμεσα στους χημικούς προμηθευτές (Alled Chemcal, du Pont, Unon Carbde) και στους προμηθευτές πετρελαίου (Εxxon και Τexaco). Ως εκ τούτου, βλέπουμε ότι το μεγαλύτερο μέρος της μεταβλητότητας οφείλεται στην δραστηριότητα μάρκετινγκ, και στην ασυσχέτιστη με αυτή δραστηριότητα βιομηχανίας. Οι υπόλοιπες συνιστώσες δεν είναι εύκολο να ερμηνευτούν και συλλογικά, να αναπαρασταθεί η μεταβλητότητα που πιθανόν να είναι ειδική σε κάθε προμηθευτή. Σε κάθε περίπτωση, δεν εξηγούν πολύ από την συνολική δειγματική διασπορά. Αυτό το παράδειγμα είναι μια περίπτωση όπου φαίνεται λογικό να κρατήσουμε την δεύτερη συνιστώσα, παρόλο που συνδέεται με μια ιδιοτιμή μικρότερη του. Σχόλιο. Μια ασυνήθιστα μικρή τιμή για την τελευταία ιδιοτιμή, είτε από τον πίνακα δειγματικής συνδιασποράς είτε από τον πίνακα δειγματικής συσχετίσεως, μπορεί να δείξει μια μη παρατηρούμενη γραμμική εξάρτηση στο σύνολο δεδομένων. Αν αυτό συμβαίνει, μια (ή περισσότερες) μεταβλητές είναι ταυτολογικές (χωρίς σημασία) και πρέπει να διαγράφει. Θεωρούμε την κατάσταση όπου x, x, x 3 είναι επιδόσεις τεστ και την συνολική επίδοση x 4 που είναι το άθροισμα x + x + x 3. Τότε, 3

26 παρόλο που ο γραμμικός συνδυασμός e x [,,, ] x x + x + x 3 x 4 είναι πάντα μηδέν, τα λάθη στρογγυλοποιήσεων στους υπολογισμούς των ιδιοτιμών, μπορεί να μας οδηγήσουν σε μια μικρή, μη μηδενική τιμή. Αν η γραμμική παράσταση που συνδέει την x 4 με το (x, x, x 3 ) παραβλέπεται αρχικά, το μικρότερο ζεύγος ιδιοτιμής ιδιοδιανύσματος δίνει μια σημασία στην ύπαρξη της. Ως εκ τούτου, παρόλο που οι μεγάλες ιδιοτιμές και τα αντίστοιχα ιδιοδιανύσματα είναι σημαντικά στην ανάλυση των κύριων συνιστωσών, οι ιδιοτιμές που είναι πολύ κοντά στο μηδέν, δεν θα πρέπει από ρουτίνα να αγνοηθούν. Τα ιδιοδιανύσματα που συνδέονται με αυτές τις τελευταίες ιδιοτιμές, μπορούν να αναδείξουν γραμμικές εξαρτήσεις στο σύνολο δεδομένων που μπορούν να είναι αίτια ερμηνείας και υπολογισμών προβλημάτων στη ανάλυση. 4

27 .4 ΣΥΜΠΕΡΑΣΜΑΤΑ ΜΕΓΑΛΩΝ ΔΕΙΓΜΑΤΩΝ Έχουμε δει ότι οι ιδιοτιμές και τα ιδιοδιανύσματα του πίνακα συνδιασπορών (συσχετίσεως) είναι η ουσία της ανάλυσης των κύριων συνιστωσών. Τα ιδιοδιανύσματα ορίζουν τις διευθύνσεις της μέγιστης μεταβλητότητας και οι ιδιοτιμές προσδιορίζουν τις διασπορές. Όταν οι λίγες πρώτες ιδιοτιμές είναι πολύ μεγαλύτερες από τις υπόλοιπες, η περισσότερη από την συνολική διασπορά μπορεί να εξηγηθεί σε λιγότερες από διαστάσεις. Πρακτικά, οι αποφάσεις σχετικά με την ποιότητα της προσέγγισης των κύριων συνιστωσών θα πρέπει να βασίζονται στα ζεύγη ιδιοτιμών ιδιοδιανυσμάτων λ, e που εξάγονται από τον S ή τον R. Εξαιτίας της δειγματικής διασποράς, αυτές οι ιδιοτιμές και τα ιδιοδιανύσματα θα διαφέρουν από τις πληθυσμιακές ποσότητες που εκτιμούν. Εμείς εδώ, απλώς, θα συνοψίσουμε τα σχετικά αποτελέσματα των μεγάλων δειγμάτων. Μεγάλων δειγμάτων ιδιότητες των λ και e Τα τρέχοντα διαθέσιμα αποτελέσματα αφορούν, για τα μεγάλα δείγματα, τα διαστήματα εμπιστοσύνης των λ και e, υποθέτοντας ότι οι παρατηρήσεις Χ, Χ,, Χ n είναι ένα τυχαίο δείγμα από έναν κανονικό πληθυσμό. Επίσης πρέπει να υποθέσουμε ότι οι (άγνωστες) ιδιοτιμές του Σ είναι διακεκριμένες και θετικές, έτσι ώστε λ > λ > > λ > 0. Η μοναδική εξαίρεση είναι η περίπτωση όπου ο αριθμός των ίσων ιδιοτιμών είναι γνωστός. Συνήθως τα συμπεράσματα για τις διακεκριμένες ιδιοτιμές εμφανίζονται, εκτός και αν υπάρχει σημαντικός λόγος να πιστεύουμε ότι ο Σ έχει μια ειδική δομή που αποφέρει ίσες ιδιοτιμές. Ακόμα και όταν η υπόθεση κανονικότητας παραβιάζεται, τα διαστήματα εμπιστοσύνης που λαμβάνονται με αυτό τον τρόπο, παρέχουν κάποιες ενδείξεις από την αβεβαιότητα των λ και e. Οι Anderson και Grshck απέδειξαν την παρακάτω, για μεγάλα δείγματα, θεωρία λ λ κατανομής για τις ιδιοτιμές [,, λ ] και τα ιδιοδιανύσματα e,, e του S.. Έστω Λ ο διαγώνιος πίνακας των ιδιοτιμών λ,, λ του Σ, τότε το n( λ λ ) ακολουθεί την Ν (0, Λ ).. Έστω λk Ε λ ee k (λ λ ) k k k k τότε n( e e ) ακολουθεί την Ν (0, E ). 3. Κάθε λ κατανέμεται ανεξάρτητα του στοιχείου e που συνδέεται. Από τη πρόταση συνεπάγεται ότι, για μεγάλο n, τα κατανέμονται ανεξάρτητα. Επιπλέον, τα λ λ ακολουθούν κατανομή Ν(λ, ). Χρησιμοποιούμε αυτή την n λ 5

28 κατανομή P[ λ λ z(α/) λ /n] α. Ένα, μεγάλου δείγματος, 00( α)% διάστημα εμπιστοσύνης για το λ, ως εκ τούτου δίνεται από λ (+ z(α/) / n) λ λ ( z(α/) / n) ( 3) όπου z(α/) είναι το άνω 00(α/) οστό εκατοστημόριο της τυπικής κανονικής κατανομής. Παράδειγμα.5 Θα πάρουμε ένα 95% διάστημα εμπιστοσύνης για το λ, τη διασπορά της πρώτης πληθυσμιακής κύριας συνιστώσας, χρησιμοποιώντας τα στοιχεία του πίνακα.. Υποθέτουμε ότι ο ρυθμός προμήθειας αναπαριστάται από ένα ανεξάρτητο Ν 5 (μ, Σ) πληθυσμό, όπου ο Σ είναι θετικά ορισμένος με διακεκριμένες ιδιοτιμές λ > λ > > λ 5 > 0. Αφού n 00 είναι μεγάλο, μπορούμε να χρησιμοποιήσουμε την ( 3) με, κατασκευάζουμε ένα 95% διάστημα εμπιστοσύνης για το λ. Έχουμε λ και επιπλέον z(0.05).96. Ως εκ τούτου, με 95% συντελεστή εμπιστοσύνης, λ ή λ Κάθε φορά που μια ιδιοτιμή είναι μεγάλη, όπως 00 ή ακόμα και 000, τα διαστήματα που παράγονται από την ( 3) μπορούν να είναι αρκετά μεγάλα (σε εύρος), για λογικά επίπεδα εμπιστοσύνης, ακόμα και όταν το n είναι αρκετά μεγάλο. Έλεγχος της δομής ίσων συσχετίσεων Η ειδική δομή συσχέτισης Cov(X, X k ) σσ kk ρ, ή Corr(X, X k ) ρ, για k, είναι σημαντική δομή όπου οι ιδιοτιμές του Σ δεν είναι διακεκριμένες και τα προηγούμενα αποτελέσματα δεν εφαρμόζονται. Για τον έλεγχο αυτής της δομής, θεωρούμε Η 0 : R R 0 ( ) ρ ρ ρ ρ ρ ρ H : R R0 6

29 Ένας έλεγχος της Η 0 έναντι της Η μπορεί να βασίζεται σ ένα στατιστικό λόγο πιθανοφάνειας, αλλά έχει αποδειχθεί ότι μια ισοδύναμη διαδικασία ελέγχου μπορεί να κατασκευαστεί από τα μη διαγώνια στοιχεία του R. Η διαδικασία απαιτεί τις ποσότητες r k r ( ) rk k,,, k rk ( 3) < k γ ( ) [ ( r) ] ( )( r) Είναι φανερό ότι το r k είναι ο μέσος όρος των μη διαγώνιων στοιχείων της k οστής στήλης (ή γραμμής) του R και r είναι ο συνολικός μέσος όρος όλων των μη διαγώνιων στοιχείων. Ενός μεγάλου δείγματος, ο έλεγχος επιπέδου α έχει τη μορφή: απορρίπτουμε την Η 0 αν (n ) Τ ( r) ( rk r) γ ( rk r) < k k > χ ( 33) ( + (α) )( )/ όπου το χ (+ )( )/ ( + )( )/ βαθμούς ελευθερίας. Παράδειγμα.6 (α) είναι το άνω 00α οστό εκατοστημόριο της κατανομής χ με Έστω n 50 και R Θα χρησιμοποιήσουμε αυτόν τον πίνακα συσχετίσεων για να επεξηγήσουμε τον έλεγχο μεγάλου δείγματος της ( 33). Εδώ έχουμε 4 και θεωρούμε Η 0 : R R 0 ρ ρ ρ ρ ρ ρ ρ ρ ρ ρ ρ ρ H : R R 0 7

30 Χρησιμοποιώντας τις ( 3) και ( 33), r r ( ) r 0.77 r r ( ) (3) (rk r) ( ) + ( ) + + ( ) < k ( r k r) ( ) + + ( ) k και γ (4 ) [ ( ) ] 4 (4 )( ).39 (50 ) Τ [0.077 (.39)(0.0045)].4 ( ) Αφού ( + )( )/ 5, η 5% κρίσιμη τιμή για τον έλεγχο στην ( 33) είναι χ 5 (0.05).07. Η τιμή στο στατιστικό έλεγχο μας είναι προσεγγιστικά ίση με, του μεγάλου δείγματος, το 5% κρίσιμο σημείο, έτσι η ένδειξη εναντίον της Η0 είναι δυνατή αλλά όχι υπερβολικά δυνατή. 8

31 ΚΕΦΑΛΑΙΟ ΠΑΡΑΓΟΝΤΙΚΗ ΑΝΑΛΥΣΗ. ΕΙΣΑΓΩΓΗ Η παραγοντική ανάλυση έχει προκαλέσει μάλλον αρκετή αμφισβήτηση καθ όλη την διάρκεια της ιστορίας της. Το σύγχρονο ξεκίνημα της βρίσκεται στις αρχές του εικοστού αιώνα, από απόπειρες του Κarl Pearson, του Charles Searman και άλλων, να οριστεί και να μετρηθεί η «νοημοσύνη». Επειδή συνδέθηκε νωρίς με κατασκευές, όπως η νοημοσύνη, η παραγοντική ανάλυση ανατράφηκε και αναπτύχθηκε κυρίως με επιστήμες που ενδιαφέρονταν για ψυχομετρικούς υπολογισμούς. Επιχειρήματα πάνω στις ψυχολογικές ερμηνείες πολλών πρόωρων μελετών και η τύχη των δυναμικών υπολογιστικών ευκολιών εμπόδισαν την αρχική ανάπτυξη της ως στατιστική μέθοδο. Η άφιξη των υψηλής ταχύτητας υπολογιστών, παρήγαγε ένα αναθεωρημένο ενδιαφέρον στο θεωρητικό και στο υπολογιστικό ύφος της παραγοντικής ανάλυσης. Οι περισσότερες αρχικές τεχνικές έχουν εγκαταλειφθεί και οι πρώιμες αμφισβητήσεις αναλύθηκαν στο δρόμο της πρόσφατης ανάπτυξης. Είναι ακόμα αληθές ότι κάθε εφαρμογή της τεχνικής πρέπει να εξεταστεί πάνω στις δικές της δυνατότητες για να προσδιοριστεί η επιτυχία της. Δηλαδή, θα πρέπει να κριθεί πάνω στη δική της άξια, στα δικά της κριτήρια, έτσι ώστε να μπορεί να διαπιστωθεί η επιτυχία της κάθε φορά. Ένας ουσιώδης σκοπός της παραγοντικής ανάλυσης είναι να περιγράψει, όσο είναι δυνατόν, την συνδιασπορά μεταξύ πολλών μεταβλητών που βρίσκονται κάτω από όρους τυχαίων ποσοτήτων που ονομάζονται παράγοντες. Βασικά, το παραγοντικό μοντέλο κινείται σύμφωνα με το παρακάτω επιχείρημα. Ας υποθέσουμε ότι οι μεταβλητές μπορούν να ομαδοποιηθούν, βάση των συσχετίσεων τους. Δηλαδή, όλες οι μεταβλητές που βρίσκονται σε ένα χαρακτηριστικό γκρουπ είναι υψηλά συσχετισμένες μεταξύ τους, αλλά έχουν σχετικά μικρές συσχετίσεις με τις μεταβλητές των άλλων γκρουπ. Είναι κατανοητό ότι κάθε γκρουπ μεταβλητών αναπαριστά μια μόνο κατασκευή, ένα δηλαδή παράγοντα, που είναι υπεύθυνος για τις παρατηρούμενες συσχετίσεις. Για παράδειγμα, συσχετίσεις από ένα γκρουπ με βαθμούς στα τεστ των Γαλλικών, Αγγλικών, μαθηματικών και στη μουσική προτείνεται να είναι κάτω από ένα παράγοντα ευφυΐας. Ένα δεύτερο γκρουπ μεταβλητών, που αναπαριστά βαθμούς φυσικό αρμοδιοτήτων, όσο είναι δυνατόν, μπορεί να αντιστοιχεί σε έναν άλλο παράγοντα. Είναι αυτός ο τύπος δομής που η παραγοντική ανάλυση ερευνά να επιβεβαιώσει. Η παραγοντική ανάλυση μπορεί να θεωρηθεί ως μια επέκταση της ανάλυσης των κύριων συνιστωσών. Και οι δυο μπορούν να θεωρηθούν ως μέθοδοι να προσεγγιστεί ο πίνακας συνδιασπορών Σ. Οπωσδήποτε, η προσέγγιση που βασίζεται στο μοντέλο της παραγοντικής ανάλυσης είναι πιο επεξεργασμένη. 9

32 . ΤΟ ΟΡΘΟΓΩΝΙΟ ΠΑΡΑΓΟΝΤΙΚΟ ΜΟΝΤΕΛΟ Το παρατηρήσιμο τυχαίο διάνυσμα Χ, με συνιστώσες, έχει μέση τιμή μ και πίνακα συνδιασπορών Σ. Το παραγοντικό μοντέλο έχει ως αξίωμα ότι το Χ είναι γραμμικά εξαρτημένο πάνω σε μερικές μη παρατηρήσιμες τυχαίες μεταβλητές F, F,, F m, που καλούνται κοινοί παράγοντες, και επιπρόσθετες πήγες μεταβλητότητας ε, ε,, ε, που καλούνται σφάλματα ή, μερικές φορές, ειδικοί παράγοντες. Πιο συγκεκριμένα, το μοντέλο παραγοντικής ανάλυσης είναι: X μ l F + l F l F + ε m m X μ l F + l F l F + ε m m μ ε X lf lf lmfm ( ) ή, με συμβολισμό πινάκων, X μ L F + ε ( ) ( ) ( m) (m ) ( ) Ο συντελεστής l j ονομάζεται φορτίο της οστης μεταβλητής πάνω στο j οστό παράγοντα, έτσι ο πίνακας L είναι ο πίνακας των παραγοντικών φορτίων. Σημειώνουμε ότι ο οστος ειδικός παράγοντας ε συνδέεται μόνο με το οστό αντίστοιχο X. Οι αποκλίσεις Χ μ, Χ μ,, Χ μ εκφράζονται στους όρους των + m τυχαίων μεταβλητών F, F,, F m, ε, ε,, ε οι οποίες είναι μη παρατηρήσιμες. Με τόσες πολλές μη παρατηρήσιμες ποσότητες, μια άμεση επαλήθευση του παραγοντικού μοντέλου μόνο από τις παρατηρήσεις των Χ, Χ,, Χ είναι ανέλπιδο. Όμως, με κάποιες επιπλέον υποθέσεις για τα τυχαία διανύσματα F και ε, από το μοντέλο ( ) συνεπάγονται σχέσεις συνδιασπορών, οι οποίες μπορούν να ελεγχθούν. Υποθέτουμε ότι Ε(F) 0, Cov(F) E[FF ] (m ) I (m m) Ε(ε) 0, Cov(ε) E[εε ] ( ) ψ Ψ ψ ( ) 0 0 ψ ( 3) και ότι τα F και ε είναι ανεξάρτητα έτσι ώστε Cov(ε, F) E[εF ] 0 ( m) 30

33 Αυτές οι υποθέσεις και η σχέση ( ) αποτελούν το ορθογώνιο παραγοντικό μοντέλο. Ορθογώνιο παραγοντικό μοντέλο με m κοινούς παράγοντες. X μ + L F + ε ( ) ( ) ( m) (m ) ( ) μ μέση τιμή της μεταβλητής ε o οστός ειδικός παράγοντας F j o j οστός κοινός παράγοντας l j φορτίο της οστης μεταβλητής πάνω στο j οστό παράγοντα ( 4) Τα μη παρατηρήσιμα τυχαία διανύσματα F και ε ικανοποιούν F και ε είναι ανεξάρτητα Ε(F) 0, Cov(F) Ι Ε(ε) 0, Cov(ε) Ψ, όπου Ψ είναι ένας διαγώνιος πίνακας Από το ορθογώνιο παραγοντικό μοντέλο συνεπάγεται μια δομή συνδιασποράς για το Χ. Από το μοντέλο ( 4), (Χ μ)(χ μ) (LF + ε)(lf + ε) (LF + ε)((lf) + ε) LF(LF) + ε(lf) + LFε + εε και έτσι Σ Cov(X) E(Χ μ)(χ μ) LE(FF )L + Ε(εF )L + LΕ(Fε ) + Ε(εε ) LL + Ψ σύμφωνα με την ( 3). Επίσης από το μοντέλο ( 4), (Χ μ)f (LF + ε)f LFF + εf, έτσι Cov(X, F) Ε(Χ μ)f LE(FF ) + Ε(εF ) L. Δομή συνδιασποράς για το ορθογώνιο παραγοντικό μοντέλο. Cov(X) LL + Ψ ή Var(X ) + + l + ψ l Cov(X, X k ) ll l l ( 5) k. Cov(X, F) L ή Cov(X, F j ) l j m m km 3

34 Το μοντέλο Χ μ LF + ε είναι γραμμικό ως προς τους κοινούς παράγοντες. Αν οι αποκρίσεις του Χ είναι, στην πραγματικότητα, συσχετισμένες με τους παράγοντες, αλλά οι σχέσεις είναι μη γραμμικές, όπως Χ μ l F 3 + ε, Χ μ l FF 3 + ε, και ούτε κάθε εξής, τότε η δομή συνδιασποράς LL + Ψ που δίνεται από την ( 5) μπορεί να μην είναι αρκετή. Οι πολύ σημαντικές υποθέσεις γραμμικότητας είναι σύμφυτες με την διατύπωση του παραδοσιακού παραγοντικού μοντέλου. Το μέρος της διασποράς της οστης μεταβλητής που συνεισφέρετε από τους m κοινούς παράγοντες ονομάζεται οστη communalty. Το μέρος της Var(X ) σ που οφείλεται στον ειδικό παράγοντα συχνά ονομάζεται μοναδικότητα, η ειδική διασπορά. Δηλώνοντας την οστη communalty με σ h l + l lm + F, βλέπουμε από την ( 5) ότι Var(X ) communalty + ειδική διασπορά ή h l + l lm και ( 6) σ h + ψ,,,, Η οστη communalty είναι το άθροισμα των τετραγώνων των φορτίων της οστης μεταβλητής πάνω στους m κοινούς παράγοντες. Παράδειγμα. Θεωρούμε τον πίνακα συνδιασπορών ψ Η ισότητα Σ ή Σ LL + Ψ μπορεί να επαληθευτεί από την άλγεβρα πινάκων. Συνεπώς, ο Σ έχει την δομή που παράγεται από ένα ορθογώνιο παραγοντικό μοντέλο με m. Αφού 3

35 l l 4 ψ l l L 7 0 ψ 0 0, Ψ l3 l ψ 3 0 l4 l ψ 4 η communalty της Χ είναι, από την ( 6), h l+ l και η διασπορά της Χ μπορεί να αναλυθεί ως σ ( l + l ) + ψ + ψ h ή 9 διασπορά communalty + ειδική διασπορά ομοίως και για τις υπόλοιπες μεταβλητές. Το παραγοντικό μοντέλο υποθέτει ότι οι + ( )/ ( + )/ διασπορές και συνδιασπορές για το Χ μπορούν να αναπαραχθούν από τα m παραγοντικά φορτία l j και τις ειδικές διασπορές ψ. Όταν m, κάθε πίνακας συνδιασπορών Σ μπορεί να αναπαραχθεί ακριβώς ως LL, έτσι ο Ψ μπορεί να είναι ο μηδενικός πίνακας. Οπωσδήποτε, όταν το m είναι μικρό σε σχέση με το τότε η παραγοντική ανάλυση είναι πιο χρήσιμη. Σ αυτή τη περίπτωση το παραγοντικό μοντέλο παρέχει μια απλή εξήγηση της συνδιασποράς στο Χ με λιγότερες παραμέτρους απ ότι οι ( + )/ παράμετροι του Σ. Για παράδειγμα, αν το Χ περιέχει μεταβλητές και το παραγοντικό μοντέλο της ( 4) με m είναι κατάλληλο, τα ( + )/ (3)/ 78 στοιχεία του Σ περιγράφονται από m + () + 36 παραμέτρους l j και ψ του παραγοντικού μοντέλου. Δυστυχώς για τους αναλυτές, οι περισσότεροι πίνακες συνδιασπορών δεν μπορούν να παραγοντοποιηθούν ως LL + Ψ, όταν ο αριθμός των παραγόντων m είναι πολύ πιο μικρός από το. Το παρακάτω παράδειγμα αποδεικνύει ένα από τα προβλήματα που μπορούν να εμφανιστούν όταν προσπαθούμε να προσδιορίσουμε τις παραμέτρους lj και ψ από τις διασπορές και συνδιασπορές των παρατηρήσιμων μεταβλητών. Παράδειγμα. Έστω 3 και m και ας θεωρήσουμε ότι οι τυχαίες μεταβλητές Χ, Χ και Χ 3 έχει τον θετικά ορισμένο πίνακα συνδιασπορών Σ

36 Χρησιμοποιώντας το παραγοντικό μοντέλο της ( 4), Χ μ Χ μ l F + ε l + ε F Χ 3 μ 3 l + ε 3 F 3 Από την δομή συνδιασπορών της ( 5) συνεπάγεται ή Σ LL + Ψ l + ψ l l l l3 l 0.40 l l3 l3 + ψ3 + ψ από το ζεύγος των εξισώσεων 0.70 l l l l3 συνεπάγεται l 0.40 l 0.70 αντικαθιστώντας αυτό το αποτέλεσμα για το 0.90 l l στην εξίσωση l παίρνουμε l.575 ή l ±.55. Αφού Var(F) (από υπόθεση) και Var(X ), l Cov(X, F ) Corr(X, F ). Ένας συντελεστής συσχέτισης δεν μπορεί να είναι μεγαλύτερος από την μονάδα (σε απόλυτη τιμή) έτσι, από αυτή την άποψη, το.55 είναι πολύ μεγάλο. Επίσης η ισότητα l δίνει l + ψ ή ψ ψ l που είναι μη ικανοποιητικό (αποδεκτό) αφού δίνει αρνητική τιμή στη Var(ε ) ψ. Ως εκ τούτου, για αυτό το παράδειγμα για m, είναι δυνατόν να πάρουμε μοναδική αριθμητική λύση για την εξίσωση Σ LL + Ψ. Οπωσδήποτε, η λύση δεν είναι συνεπής με την στατιστική ερμηνεία των συντελεστών, έτσι δεν είναι η κατάλληλη λύση. Όταν m >, υπάρχει πάντα κάποια σύμφυτη αμφιλογία που συνδέεται με το παραγοντικό μοντέλο. Για να το δούμε αυτό, ας θεωρήσουμε Τ έναν οποιοδήποτε 34