ΑΝΑΛΥΣΗ ΚΑΝΟΝΙΚΗΣ ΣΥΣΧΕΤΙΣΗΣ

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ Η/Υ & ΠΛΗΡΟΦΟΡΙΚΗΣ ΔΠΜΣ: "ΜΑΘΗΜΑΤΙΚΑ ΤΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΚΑΙ ΤΩΝ ΑΠΟΦΑΣΕΩΝ" ΑΝΑΛΥΣΗ ΚΑΝΟΝΙΚΗΣ ΣΥΣΧΕΤΙΣΗΣ ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Νικόλαος Βλάχος A.M. 307 Επιβλέπων Καθηγητής: Φίλιππος Αλεβίζος Πάτρα, Ιούνιος 016 1

2

3 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ Η/Υ & ΠΛΗΡΟΦΟΡΙΚΗΣ ΔΠΜΣ: "ΜΑΘΗΜΑΤΙΚΑ ΤΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΚΑΙ ΤΩΝ ΑΠΟΦΑΣΕΩΝ" ΑΝΑΛΥΣΗ ΚΑΝΟΝΙΚΗΣ ΣΥΣΧΕΤΙΣΗΣ ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Νικόλαος Βλάχος A.M. 307 Επιβλέπων Καθηγητής: Φίλιππος Αλεβίζος Τριμελής εξεταστική επιτροπή: Νικόλαος Τσάντας Σταύρος Κουρούκλης Πάτρα, Ιούνιος 016 3

4 Νικόλαος Βλάχος Πτυχιούχος Μαθηματικός Πανεπιστημίου Πατρών Copyright Νικόλαος Βλάχος, 016. Με επιφύλαξη παντός δικαιώματος. All rights reserved. Απαγορεύεται η αντιγραφή, αποθήκευση και διανομή της παρούσας εργασίας, εξ ολοκλήρου ή τμήματος αυτής, για εμπορικό σκοπό. Επιτρέπεται η ανατύπωση, αποθήκευση και διανομή για σκοπό μη κερδοσκοπικό, εκπαιδευτικής ή ερευνητικής φύσης, υπό την προϋπόθεση να αναφέρεται η πηγή προέλευσης και να διατηρείται το παρόν μήνυμα. Ερωτήματα που αφορούν τη χρήση της εργασίας για κερδοσκοπικό σκοπό πρέπει να απευθύνονται προς τον συγγραφέα. Οι απόψεις και τα συμπεράσματα που περιέχονται σε αυτό το έγγραφο εκφράζουν τον συγγραφέα και δεν πρέπει να ερμηνευτεί ότι εκφράζουν τις επίσημες θέσεις του Πανεπιστημίου Πατρών. 4

5 5

6 ΠΕΡΙΛΗΨΗ Στην παρούσα διπλωματική εργασία παρουσιάζεται μία μελέτη μίας σημαντικής μεθόδου που χρησιμοποιείται στην μείωση της δομής της συσχέτισης. Η μέθοδος αυτή ονομάζεται Ανάλυση Κανονικής Συσχέτισης. Πιο συγκεκριμένα, στο πρώτο κεφάλαιο της εργασίας δίνονται κάποιες εισαγωγικές έννοιες για την δισδιάστατη και πολυμεταβλητή κανονική κατανομή, για τον συντελεστή συσχέτισης και τις δεσμευμένες κατανομές. Στο δεύτερο κεφάλαιο εισάγεται η έννοια της Ανάλυσης Κανονικής Συσχέτισης και δίνονται τα βασικά στοιχεία της. Στη συνέχεια, παρουσιάζονται ο έλεγχος ανεξαρτησίας και ο έλεγχος για την επιτυχία της κανονικής συσχέτισης μετά την πρώτη επιτυχία. Στο τρίτο κεφάλαιο παρουσιάζονται οι τυποποιημένοι συντελεστές και οι συσχετίσεις μεταξύ των μεταβλητών του δείγματος και των κανονικών μεταβλητών. Επίσης, δίνονται οι έννοιες της περιστροφής των συντελεστών και της ανάλυσης πλεονασμού (redundancy analysis) για την καλύτερη ερμηνεία των κανονικών μεταβλητών. Στη συνέχεια, αναφέρονται οι κανονικές συσχετίσεις, οι οποίες χρησιμοποιούνται ως γενίκευση των άλλων συσχετίσεων και ερμηνεύονται γεωμετρικά. Τέλος, παρουσιάζονται οι δειγματικές κανονικές μεταβλητές και συσχετίσεις. Το τέταρτο κεφάλαιο επικεντρώνεται σε ένα παράδειγμα εφαρμογής της Ανάλυσης Κανονικής Συσχέτισης μέσω του στατιστικού προγράμματος SPSS. 6

7 Περιεχόμενα ΕΙΣΑΓΩΓΗ ΜΟΝΤΕΛΑ ΚΑΝΟΝΙΚΗΣ ΣΥΣΧΕΤΙΣΗΣ Εισαγωγή Δισδιάστατη κανονική κατανομή Δεσμευμένες κατανομές Συμπεράσματα για τον συντελεστή συσχέτισης Πολυμεταβλητή κανονική κατανομή ΑΝΑΛΥΣΗ ΚΑΝΟΝΙΚΗΣ ΣΥΣΧΕΤΙΣΗΣ Εισαγωγή Ορισμός και Βασικά στοιχεία Έλεγχος Ανεξαρτησίας Έλεγχος για την επιτυχία της κανονικής συσχέτισης μετά την πρώτη επιτυχία ΕΡΜΗΝΕΙΑ ΤΩΝ ΚΑΝΟΝΙΚΩΝ ΜΕΤΑΒΛΗΤΩΝ Εισαγωγή Τυποποιημένοι συντελεστές Συσχετίσεις μεταξύ μεταβλητών και κανονικών μεταβλητών Περιστροφή συντελεστών Ανάλυση Πλεονασμού (Redundancy Analysis) Κανονικές συσχετίσεις ως γενίκευση άλλων Συντελεστών συσχέτισης Γεωμετρική Ερμηνεία Δειγματικές κανονικές μεταβλητές και συσχετίσεις ΕΦΑΡΜΟΓΗ ΜΕ SPSS Εισαγωγή Παρουσίαση αποτελεσμάτων ΠΑΡΑΡΤΗΜΑ ΒΙΒΛΙΟΓΡΑΦΙΑ

8 ΕΙΣΑΓΩΓΗ Η Ανάλυση Κανονικής Συσχέτισης είναι ένα πολυπαραγοντικό στατιστικό μοντέλο που διευκολύνει τη μελέτη των αλληλεξαρτήσεων μεταξύ των συνόλων με πολλαπλές εξαρτημένες και πολλαπλές ανεξάρτητες μεταβλητές. Λαμβάνοντας υπόψη ότι η πολλαπλή παλινδρόμηση προβλέπει μία εξαρτημένη μεταβλητή από ένα σύνολο πολλαπλών ανεξάρτητων μεταβλητών, η κανονική συσχέτιση προβλέπει ταυτόχρονα πολλαπλές εξαρτημένες μεταβλητές από πολλές ανεξάρτητες μεταβλητές. Αποτελεί το πιο γενικευμένο μέλος της οικογένειας των πολυδιάστατων στατιστικών τεχνικών. Στόχος της κανονικής συσχέτισης είναι να ποσοτικοποιήσει την ισχύ της σχέσης μεταξύ δύο συνόλων μεταβλητών (ανεξάρτητων και εξαρτημένων) και να προσδιορίσει τη βέλτιστη δομή του κάθε συνόλου μεταβλητών που μεγιστοποιεί μεταξύ των δύο συνόλων. Η Ανάλυση Κανονικής Συσχέτισης ασχολείται με τη σχέση μεταξύ των συνιστωσών των δύο συνόλων. Με τον τρόπο αυτό αναπτύσσει ένα πλήθος ανεξάρτητων κανονικών συναρτήσεων που μεγιστοποιούν τη συσχέτιση μεταξύ των γραμμικών συνδυασμών των συνιστωσών, δηλαδή των κανονικών μεταβλητών, που είναι σύνολα των εξαρτημένων και ανεξάρτητων μεταβλητών. Κάθε κανονική συνάρτηση βασίζεται στη συσχέτιση μεταξύ δύο κανονικών μεταβλητών, μίας μεταβλητής για τις ανεξάρτητες μεταβλητές και μίας για τις εξαρτημένες μεταβλητές. Ένα άλλο χαρακτηριστικό της κανονικής συσχέτισης είναι ότι οι μεταβλητές εξάγονται για να μεγιστοποιήσουν την συσχέτισή τους. Επιπλέον, η κανονική συσχέτιση δεν εξάγει μόνο μία σχέση μεταξύ των δύο συνόλων των μεταβλητών αλλά εξάγει ένα πλήθος κανονικών συναρτήσεων. 8

9 ΚΕΦΑΛΑΙΟ 1 1. ΜΟΝΤΕΛΑ ΚΑΝΟΝΙΚΗΣ ΣΥΣΧΕΤΙΣΗΣ 1.1 Εισαγωγή Τα μοντέλα συσχέτισης, όπως και τα μοντέλα παλινδρόμησης βασίζονται στο γενικό γραμμικό μοντέλο Y = a + b 1 X 1 + b X + + b p X p και αποτελούνται από μεταβλητές που είναι όλες τυχαίες. Στα μοντέλα συσχέτισης προσδιορίζεται πλήρως η από κοινού συνάρτηση πυκνότητας των μεταβλητών X και Y και όχι μόνο οι δεσμευμένες κατανομές της Y. Επιπλέον, οι μεταβλητές σε ένα μοντέλο συσχέτισης παίζουν συμμετρικό ρόλο, χωρίς καμία να ορίζεται αυτόματα ως εξαρτημένη μεταβλητή. Τα μοντέλα συσχέτισης χρησιμοποιούνται για να μελετηθεί η φύση των σχέσεων μεταξύ των μεταβλητών, και μπορούν επίσης να χρησιμοποιηθούν για την εξαγωγή συμπερασμάτων για κάθε μία από τις μεταβλητές συναρτήσει των άλλων μεταβλητών. Το μοντέλο συσχέτισης που χρησιμοποιείται κυρίως είναι το κανονικό μοντέλο συσχέτισης το οποίο βασίζεται στην δισδιάστατη και πολυδιάστατη κανονική κατανομή. 1. Δισδιάστατη κανονική κατανομή Το κανονικό μοντέλο στην περίπτωση των δύο μεταβλητών βασίζεται στην δισδιάστατη κανονική κατανομή. Ας θεωρήσουμε X 1 και X τις δύο μεταβλητές. Λέμε ότι οι X 1 και X είναι από κοινού κατανεμημένες εάν η από κοινού συνάρτηση πυκνότητας του είναι αυτή της κανονικής δισδιάστατης κατανομής, η οποία δίνεται στον ακόλουθο τύπο: f(x 1, X ) = όπου 1 πσ 1 σ 1 p exp { 1 (1 p ) [(X 1 μ 1 ) p ( X 1 μ 1 ) ( X μ ) σ 1 σ 1 σ + ( X μ ) ]}, (1.1) σ 9

10 1. μ 1, μ είναι αντίστοιχα οι μέσες τιμές των X 1, X. σ 1, σ είναι αντίστοιχα οι τυπικές αποκλίσεις των X 1, X και 3. p είναι ο συντελεστής συσχέτισης των μεταβλητών X 1, X, ο οποίος ορίζεται ως p = σ 1 σ 1 σ με σ 1 να είναι η συνδιασπορά των μεταβλητών X 1, X, η οποία ορίζεται ως: σ 1 = Ε[(Χ 1 μ 1 )(Χ μ )] Για τις παραμέτρους ισχύει ότι μ 1, μ μπορεί να είναι οποιοιδήποτε πραγματικοί αριθμοί, σ 1 > 0, σ > 0 και 1 p 1. Οι περιθώριες κατανομές των μεταβλητών Χ 1 και Χ οι οποίες είναι από κοινού κανονικά κατανεμημένες δίνονται ακολούθως. Η περιθώρια κατανομή της Χ 1 με μέση τιμή μ 1 και τυπική απόκλιση σ 1 είναι: f 1 (Χ 1 ) = 1 exp [ 1 π σ 1 (X 1 μ 1 ) ] (1.) σ 1 και η περιθώρια κατανομή Χ με μέση τιμή μ και τυπική απόκλιση σ είναι: f (Χ ) = 1 exp [ 1 π σ (X μ ) ] (1.3) σ Συνεπώς, όταν οι X 1 και Χ είναι από κοινού κανονικά κατανεμημένες, κάθε μία από τις μεταβλητές είναι κανονικά κατανεμημένη. Αυτό δεν αληθεύει πάντοτε, όμως, εάν οι X 1 και Χ είναι κανονικά κατανεμημένες τότε θα πρέπει να είναι από κοινού κατανεμημένες σύμφωνα με την σχέση (1.1). 1.3 Δεσμευμένες κατανομές Μία κύρια χρήση του δισδιάστατου μοντέλου συσχέτισης είναι η εξαγωγή συμπερασμάτων για την μία μεταβλητή δεδομένου ότι δίνεται η άλλη μεταβλητή. Για τον λόγο αυτό απαιτούνται οι δεσμευμένες κατανομές, οι οποίες παρουσιάζονται παρακάτω. 10

11 Η δεσμευμένη συνάρτηση κατανομής της X 1 για δοθείσα X συμβολίζεται με f(x 1 X ) και ορίζεται ως εξής: f(x 1 X ) = f(x 1, X ) f (X ) (1.4) όπου f(x 1 X ) είναι η από κοινού συνάρτηση κατανομής των μεταβλητών X 1 και Χ και f (X ) είναι η περιθώρια συνάρτηση κατανομής της Χ. Όταν οι X 1 και Χ είναι από κοινού κατανεμημένες σύμφωνα με την σχέση (1.1) έτσι ώστε η περιθώρια συνάρτηση κατανομής f (X ) να δίνεται από την σχέση (1.3) μπορούμε να βρούμε την f(x 1 X ). Συνεπώς, προκύπτει ότι η δεσμευμένη συνάρτηση πιθανότητας της X 1 για οποιαδήποτε δοθείσα τιμή της Χ είναι κανονική με μέση τιμή μ 1 + p σ 1 σ (X μ ) και τυπική απόκλιση σ 1 (1 p ), όπως φαίνεται παρακάτω: f(x 1 X ) = 1 π σ 1 (1 p ) exp { 1 σ 1 (1 p ) [X 1 μ 1 p σ 1 (X σ μ )] }. Οι τυχαίες μεταβλητές X 1 και Χ έχουν συμμετρικούς ρόλους στην δισδιάστατη κανονική κατανομή (1.1). Έτσι, προκύπτει ότι η δεσμευμένη συνάρτηση πιθανότητας της X για οποιαδήποτε δοθείσα τιμή X 1 είναι κανονική με μέση τιμή μ + p σ σ 1 (X 1 μ 1 ) και τυπική απόκλιση σ (1 p ), όπως φαίνεται παρακάτω: f(x X 1 ) = 1 π σ (1 p ) exp { 1 σ (1 p ) [X μ p σ (X σ 1 μ 1 )] }. 1 Οι δεσμευμένες κατανομές της X 1 και της X διαθέτουν τρία σημαντικά χαρακτηριστικά, κανονικότητα, γραμμική παλινδρόμηση και σταθερή διακύμανση. 1.4 Συμπεράσματα για τον συντελεστή συσχέτισης Μία βασική αρχή των μοντέλων συσχετίσεων είναι η μελέτη των σχέσεων μεταξύ των παραμέτρων. Σε ένα δισδιάστατο κανονικό μοντέλο, η παράμετρος p και το τετράγωνο της, p, μας δίνουν πληροφορίες για τον βαθμό της συσχέτισης μεταξύ των δύο μεταβλητών X 1 και X. Από τα δύο αυτά μέτρα το πιο σημαντικό είναι το p. 11

12 Το τετράγωνο του συντελεστή συσχέτισης p ονομάζεται συντελεστής απόφασης. Ας συμβολίσουμε με σ 1. και σ.1 τις διασπορές των μεταβλητών Χ 1 Χ και Χ Χ 1 αντίστοιχα. Οπότε, έχουμε ότι σ 1. = σ 1 (1 p ) και σ.1 = σ (1 p ). Οι σχέσεις αυτές, επιλύοντας ως προς p μπορούν να γραφούν ως εξής: p = σ 1 σ 1. σ 1 (1.5) και p = σ σ.1 σ. (1.6) Εξετάζοντας αρχικά την σχέση (1.5) παρατηρούμε ότι το p μετράει πόσο μικρότερη είναι η μεταβλητότητα σε οποιαδήποτε δεσμευμένη κατανομή της X 1 δοθέντος της X σε σχέση με την μεταβλητότητα στην περιθώρια κατανομή της X 1. Έτσι, το p μετράει την σχετική μείωση στην μεταβλητότητα της X 1 σε σχέση με την μεταβλητή X. Αντίστοιχα, εξετάζοντας την σχέση (1.6), το p μετράει την σχετική μείωση στην μεταβλητότητα της X σε σχέση με την μεταβλητή X 1. Αποδεικνύεται ότι 0 p 1. To p = 0 ισχύει εάν οι μεταβλητές X 1 και X είναι ανεξάρτητες, έτσι ώστε οι διασπορές καθεμίας μεταβλητής να μην είναι μικρότερη από την διασπορά της περιθώριας κατανομής. Ενώ p = 1 ισχύει εάν δεν υπάρχει μεταβλητότητα στις δεσμευμένες κατανομές κάθε μίας μεταβλητής, έτσι ώστε η μία μεταβλητή να προβλέπει την άλλη με τον καλύτερο δυνατό τρόπο. Σημειώνουμε ότι η παραπάνω ερμηνεία του p ισχύει μόνο στην περίπτωση της δισδιάστατης κανονικής κατανομής. Ο εκτιμητής μέγιστης πιθανοφάνειας του p, συμβολίζεται με r, και δίνεται από τον ακόλουθο τύπο: SX 1X r = S S X 1 X (X i1 X 1) (X i X ) = (X i1 X 1) (X i X ) ενώ ο συντελεστής απόφασης p εκτιμάται από το τετράγωνο του δειγματικού συντελεστή συσχέτισης, r. Αξίζει να σημειώσουμε ότι το μέγεθος του r στο δισδιάστατο κανονικό μοντέλο δεν επηρεάζεται καθώς καμία από τις μεταβλητές δεν ελέγχεται από τον ερευνητή. 1

13 Ένας έλεγχος υπόθεσης που μπορεί να εφαρμοστεί σε δισδιάστατο κανονικό πληθυσμό για τον συντελεστή συσχέτισης είναι ο ακόλουθος: Η 0 : p = 0 έναντι Η 1 : p 0. (1.7) Η αποδοχή της μηδενικής υπόθεσης, δηλαδή p = 0, συνεπάγεται ότι εάν οι μεταβλητές X 1 και Χ ακολουθούν από κοινού κανονική κατανομή θα είναι ανεξάρτητες. Ας συμβολίσουμε με β 1 = p σ 1 σ και β 1 = p σ σ 1. Τότε ο έλεγχος (1.7) θα είναι ισοδύναμος με τους παρακάτω δύο ελέγχους. Η 0 : β 1 = 0 έναντι Η 1 : β 1 0 (1.8) και Η 0 : β 1 = 0 έναντι Η 1 : β 1 0 (1.9) Η στατιστική συνάρτηση των ελέγχων (1.7) και (1.8) μπορεί να εκφραστεί μέσω του δειγματικού συντελεστή συσχέτισης και δίνεται από την σχέση t = r n 1 r και ακολουθεί την t student κατανομή με n βαθμούς ελευθερίας. Ο κανόνας απόφασης για την αποδοχή ή μη της μηδενικής υπόθεσης είναι: Εάν t t(1 a ; n ) αποδέχομαι την μηδενική υπόθεση Η 0. Εάν t t(1 a ; n ) απορρίπτω την μηδενική υπόθεση Η 0. Επειδή η δειγματική κατανομή του r όταν το p 0 είναι αρκετά περίπλοκη, χρησιμοποιούμε μία προσεγγιστική διαδικασία για να βρούμε το διάστημα εμπιστοσύνης για το p. Η διαδικασία αυτή ονομάζεται z-μετασχηματισμός του Fisher και η μορφή του είναι η ακόλουθη: z = 1 + r ln (1 1 r ) E(z ) = ζ = 1 + p ln (1 1 p ) (1.10) σ (z ) = 1 n 3 13

14 Εφόσον το z ακολουθεί προσεγγιστικά μία τυπική κατανομή για μεγάλο n, τότε η τυποποιημένη στατιστική συνάρτηση z ζ σ(z ) είναι προσεγγιστικά μία τυπική κανονική μεταβλητή. Συνεπώς, ένα διάστημα εμπιστοσύνης για το ζ είναι το ακόλουθο: z ± z (1 a ) σ(z ), όπου z (1 a ) είναι το (1 α ) ποσοστιαίο σημείο της τυπικής κανονικής κατανομής. Επομένως, χρησιμοποιώντας την σχέση (1.10) και γνωρίζοντας τα όρια του ζ, μπορούμε να βρούμε ένα διάστημα εμπιστοσύνης 1 α για το p. 1.5 Πολυμεταβλητή κανονική κατανομή Το κανονικό μοντέλο συσχέτισης για την περίπτωση που έχουμε p μεταβλητές, Χ 1,, Χ p, βασίζεται στην πολυμεταβλητή κανονική κατανομή. Η κατανομή αυτή είναι μία επέκταση της δισδιάστατης κανονικής κατανομής και έχει αντίστοιχες ιδιότητες. Συγκεκριμένα, εάν οι μεταβλητές Χ 1,, Χ p είναι από κοινού κανονικά κατανεμημένες, η περιθώρια συνάρτηση πιθανότητας καθεμιάς μεταβλητής Χ κ είναι κανονική με μέση τιμή μ k και τυπική απόκλιση σ κ. Η συνάρτηση πυκνότητας στην πολυμεταβλητή κανονική κατανομή ορίζεται με την βοήθεια πινάκων. Ας θεωρήσουμε Χ να είναι το διάνυσμα διαστάσεων p 1 των παρατηρήσεων με Χ 1 Χ στοιχεία Χ = ( ). Χ p 14

15 Εάν το Χ ακολουθεί μία πολυμεταβλητή κανονική κατανομή με διάνυσμα αναμενόμενων μ 1 μ τιμών μ = ( ) και πίνακα διασπορών-συνδιασπορών Σ = μ p συνάρτηση πυκνότητας θα δίνεται από την ακόλουθη σχέση: σ 1 σ 1 σ 1p σ 1 σ σ p η σ ( 1p σ p σ p ) 1 f(x) = ( π) p Σ 1 exp { 1 (X μ) Σ 1 (Χ μ)}, 1.(11) όπου Σ 1 είναι η τετραγωνική ρίζα της ορίζουσας του πίνακα διασπορών-συνδιασπορών. Όταν η μεταβλητή Χ έχει πυκνότητα αυτή που δίνεται στην σχέση (1.11) λέμε ότι η Χ ακολουθεί την κανονική κατανομή Ν p (μ, Σ). Στη συνέχεια θα παραθέσουμε κάποιες ιδιότητες ενός τυχαίου p 1διανύσματος X από μία πολυμεταβλητή κανονική κατανομή. 1. Κανονικότητα των γραμμικών συνδυασμών: α) Εάν το α είναι ένα διάνυσμα σταθερών, η γραμμική συνάρτηση α Χ = α 1 Χ α P Χ p είναι κανονική: Εάν Χ~Ν p (μ, Σ), τότε α Χ~Ν(α μ, α Σα) όπου Ε(α Χ) = α Ε(Χ) = α μ και Var(α X) = α Σα. β) Εάν το Α είναι ένας (q p) πίνακας σταθερών τάξης q, όπου q p, οι q γραμμικοί συνδυασμοί στο ΑΧ έχει μία πολυμεταβλητή κανονική κατανομή: Εάν Χ~Ν p (μ, Σ), τότε ΑΧ~Ν(Αμ, ΑΣΑ ) όπου Ε(ΑΧ) = ΑΕ(Χ) = Αμ και Var(ΑX) = ΑΣΑ.. Τυποποιημένες μεταβλητές: Ένα τυποποιημένο διάνυσμα z μπορεί να ληφθεί ως εξής: z = (Σ 1 1 ) (X μ), όπου Σ 1/ είναι ο συμμετρικός πίνακας τετραγωνικής ρίζας του Σ, οποίος ορίζεται έτσι ώστε Σ = Σ 1/ Σ 1/. 3. X κατανομή: Εάν Χ~Ν p (μ, Σ), τότε z~ν p (0, I) (1.1) Μία X τυχαία μεταβλητή με p βαθμούς ελευθερίας ορίζεται ως το άθροισμα των τετραγώνων των p ανεξάρτητων τυπικών κανονικών τυχαίων μεταβλητών. Εάν 15

16 θεωρήσουμε το τυποποιημένο διάνυσμα z που ορίσαμε με την σχέση (1.1) τότε το z p z = j=1 z j ακολουθεί την X κατανομή με p βαθμούς ελευθερίας, X p. Από την σχέση (1.1) μπορούμε να διαπιστώσουμε ότι z z = (Χ μ) Σ 1 (Χ μ). Εάν Χ~Ν p (μ, Σ), τότε (Χ μ) Σ 1 (Χ μ)~x p. 4. Κανονικότητα των περιθώριων κατανομών: Κάθε υποσύνολο του διανύσματος Χ ακολουθεί μία πολυμεταβλητή κανονική κατανομή, με διάνυσμα αναμενόμενων τιμών που αποτελείται από το αντίστοιχο υποδιάνυσμα του μ και πίνακα διασπορών-συνδιασπορών που αποτελείται από τον αντίστοιχο υποπίνακα του Σ. Ας θεωρήσουμε Χ 1 = (Χ 1, Χ,, Χ r ) το υποδιάνυμα που περιέχει τα πρώτα r στοιχεία του Χ και Χ = (Χ r+1, Χ r+,, Χ p ) το υποδιάνυσμα που περιέχει τα εναπομείναντα p r στοιχεία. Συνεπώς, τα Χ, μ και Σ διαμοιράζονται ως εξής: Χ = ( Χ 1 Χ ), μ = ( μ 1 μ ), Σ = ( Σ 11 Σ 1 Σ 1 Σ ) όπου Χ 1 και μ 1 είναι διάστασης r 1 και Σ 11 διάστασης r r. Τότε Χ 1 ακολουθεί μία πολυδιάστατη κανονική κατανομή. Εάν Χ~Ν p (μ, Σ), τότε Χ 1 ~Ν r (μ 1, Σ 11 ) Ας θεωρήσουμε ότι το διάνυσμα X διαμοιράζεται σε δύο υποδιανύσματα, τα Χ 1 διάστασης (p 1) και Χ διάστασης (q 1). Χ = Χ 1 (p 1) Χ ((q 1)), E ( Χ 1 Χ ) = ( μ 1 μ ), Σ 1 Cov ( Χ 1 ) = ( Σ 11 ) Χ Σ 1 Σ και υποθέτουμε ότι 5. Ανεξαρτησία: Σ 1 ( Χ 1 ) ~Ν Χ p+q [( μ 1 μ ), ( Σ 11 )] Σ 1 Σ Τα Χ 1, Χ είναι ανεξάρτητα εάν Σ 1 = 0 Όπως έχει ήδη αναφερθεί μια βασική χρήση των πολυμεταβλητών μοντέλων συσχέτισης είναι να εξάγουμε συμπεράσματα για μία από τις μεταβλητές δοθέντων των υπολοίπων. Για το λόγο αυτό είναι απαραίτητη η χρήση δεσμευμένων πολυμεταβλητών κατανομών. 16

17 6. Δεσμευμένη Κατανομή: Εάν τα Χ 1, Χ δεν είναι ανεξάρτητα, τότε Σ 1 0 και η δεσμευμένη κατανομή του Χ 1 δοθέντος του Χ, f(χ 1 Χ ), είναι πολυμεταβλητή κανονική με Ε(Χ 1 Χ ) = μ 1 + Σ 1 Σ 1 11 (Χ μ 1 ), Cov(Χ 1 Χ ) = Σ Σ 1 Σ 1 11 Σ 1. Στην συνέχεια, για την εκτίμηση των παραμέτρων της πολυμεταβλητής κατανομής θα χρησιμοποιήσουμε την μέθοδο της μέγιστης πιθανοφάνειας. Τα διανύσματα Χ 1, Χ,, Χ n θεωρούνται γνωστά και αναζητούνται τιμές των μ και Σ που να μεγιστοποιούν την από κοινού πυκνότητα των X, η οποία ονομάζεται συνάρτηση πιθανοφάνειας. Στην πολυμεταβλητή κανονική κατανομή οι εκτιμητές μέγιστης πιθανοφάνειας των μ και Σ είναι μ = Χ, S ( S ) jk n 1 S ( X X ) jj ij j n 1 i 1 n 1 S ( X X )( X X ) jk ij j ik k n 1 i 1 n Σ = 1 n (X i X )(X i X ) = 1 n i=1 n 1 W = n S, όπου W = n i=1 (X i X )(X i X ) και S είναι ο δειγματικός πίνακας διασπορώνσυνδιασπορών. Επειδή τα διανύσματα Χ i συνιστούν ένα τυχαίο δείγμα, είναι ανεξάρτητα και η από κοινού πυκνότητα είναι το γινόμενο των πυκνοτήτων των μέγιστης πιθανοφάνειας θα είναι n L(X 1, X,, X n, μ, Σ) = f(x i, μ, Σ) n i=1 = 1 ( π) p Σ 1 exp { 1 (X i μ) Σ 1 (Χ i μ)} i=1 n Χ i. Συνεπώς, η συνάρτηση 1 = ( π) np Σ n exp { 1 (X i μ) Σ 1 (Χ i μ) } (1.13) i=1 17

18 Για να δούμε αν το μ = Χ μεγιστοποιεί την συνάρτηση πιθανοφάνειας, προσθαφαιρούμε στο εκθετικό της σχέσης (13) το Χ, οπότε γίνεται n 1 (X i Χ + Χ μ) Σ 1 (Χ i Χ + Χ μ) i=1 το οποίο όταν επεκταθεί ως προς (X i Χ ) και (Χ μ), δύο από τους τέσσερις όρους n i=1 εξαφανίζονται καθώς (X i X ) = 0. Συνεπώς, η σχέση (1.13) γίνεται: n 1 L = ( π) np Σ exp { 1 n/ [ (X i μ) Σ 1 (Χ i μ) n(χ μ) Σ 1 (Χ μ)]} i=1 Εφόσον, ο πίνακας Σ 1 είναι θετικά ορισμένος, έχουμε ότι n (Χ μ) Σ 1 (Χ μ) 0 και 0 < exp { n (Χ μ) Σ 1(Χ μ) } 1, με το μέγιστο να επιτυγχάνεται όταν ο εκθέτης είναι μηδέν. Συνεπώς, η συνάρτηση πιθανοφάνειας L μεγιστοποιείται για μ = Χ. ΚΕΦΑΛΑΙΟ. ΑΝΑΛΥΣΗ ΚΑΝΟΝΙΚΗΣ ΣΥΣΧΕΤΙΣΗΣ.1 Εισαγωγή Η Ανάλυση Κανονικής Συσχέτισης μπορεί να θεωρηθεί ως η πιο γενική μέθοδος των μεθόδων ελαχίστων τετραγώνων για την ανάλυση δομών δεδομένων. Ο στόχος της είναι να δώσει μια απλή περιγραφή της δομής της συσχέτισης μεταξύ υποσυνόλων μεταβλητών, δηλαδή επιδιώκει να προσδιορίσει και να ποσοτικοποιήσει τις σχέσεις μεταξύ δύο συνόλων μεταβλητών. κατανομή, Ας υποθέσουμε ότι δύο σύνολα μεταβλητών Χ 1 και Χ έχουν κοινή κανονική Σ 1 ( Χ 1 ) ~Ν Χ p [( μ 1 μ ), ( Σ 11 )]. Σ 1 Σ 18

19 Η Ανάλυση Κανονικής Συσχέτισης εστιάζει στην συσχέτιση μεταξύ ενός γραμμικού συνδυασμού a X 1 των μεταβλητών σε ένα σύνολο Χ 1, και ενός γραμμικού συνδυασμού b X των μεταβλητών σε ένα άλλο σύνολο Χ. Η ιδέα είναι να καθορίσουμε πρώτα το ζεύγος των γραμμικών συνδυασμών που έχει τη μεγαλύτερη συσχέτιση. Στη συνέχεια προσδιορίζουμε το ζεύγος των γραμμικών συνδυασμών που έχει τη μεγαλύτερη συσχέτιση μεταξύ όλων των ζευγών, τα οποία είναι ασυσχέτιστα με το αρχικά επιλεγμένο ζεύγος και επαναλαμβάνουμε μέχρις ότου όλες οι πιθανές συσχετίσεις εξαντληθούν. Τα ζεύγη των γραμμικών συνδυασμών ονομάζονται κανονικές μεταβλητές και οι συσχετίσεις τους ονομάζονται κανονικές συσχετίσεις. Οι κανονικές συσχετίσεις μετρούν την ισχύ την συσχέτισης μεταξύ δύο συνόλων μεταβλητών. Η πτυχή μεγιστοποίησης της τεχνικής αντιπροσωπεύει μία προσπάθεια να επικεντρώσει μία υψηλών διαστάσεων σχέση μεταξύ δύο συνόλων μεταβλητών σε μερικά ζεύγη κανονικών μεταβλητών.. Ορισμός και Βασικά στοιχεία Υποθέτουμε ότι έχουμε δύο σύνολα μεταβλητών με την ίδια μονάδα μέτρησης. Το πρώτο σύνολο αποτελείται από p μεταβλητές και συμβολίζεται από το διάνυσμα Χ 1 = (Χ 11, Χ 1,, Χ 1p ), ενώ το δεύτερο σύνολο αποτελείται από q μεταβλητές και συμβολίζεται από το διάνυσμα Χ = (Χ 1, Χ,, Χ q ). Ας θεωρήσουμε ότι p < q, δηλαδή το σύνολο Χ 1 είναι το μικρότερο σύνολο. Θεωρούμε ότι για τα τυχαία διανύσματα Χ 1 και Χ ισχύουν Ε(Χ 1 ) = μ 1, Ε(Χ ) = μ, Cov(X 1 ) = Σ 11 Cov(X ) = Σ Cov(X 1, X ) = Σ 1 = Σ 1 Επίσης μπορούμε να θεωρήσουμε τα τυχαία διανύσματα Χ 1 και Χ από κοινού συνδεδεμένα σε ένα διάνυσμα Χ διάστασης (p + q) 1 το οποίο δίνεται παρακάτω 19

20 X = [ X 1 X ] = X 11 X 1 X 1p X 1 X με διάνυσμα μέσης τιμής μ διάστασης (p + q) 1 και πίνακα συνδιακύμανσης Σ διάστασης (p + q) (p + q), τα οποία δίνονται παρακάτω Σ = Ε(Χ μ)(χ μ) [ X q] μ = Ε(Χ) = [ Ε(Χ 1) Ε(Χ ) ] = [μ 1 μ ] = [ Ε(Χ 1 μ 1 )(Χ 1 μ 1 ) Ε(Χ 1 μ 1 )(Χ μ ) Ε(Χ μ )(Χ 1 μ 1 ) Ε(Χ μ )(Χ μ ) ] = [ Σ 11 Σ 1 Σ 1 Σ ], όπου Σ 11 είναι ο πίνακας συνδιακύμανσης p p του Χ 1, Σ 1 είναι ο πίνακας συνδιακύμανσης p q των Χ 1 και Χ, του οποίου τα στοιχεία μετρούν την σχέση μεταξύ των δύο συνόλων και Σ ο πίνακας συνδιακύμανσης q q του Χ. Ο κύριος σκοπός της Ανάλυσης Κανονικής Συσχέτισης είναι να συνοψίσει τις σχέσεις μεταξύ των συνόλων Χ 1 και Χ από την άποψη λίγων προσεκτικά επιλεγμένων συνδιασπορών αντί όλων των συνδιασπορών του πίνακα Σ 1. Όπως ήδη έχει αναφερθεί μας ενδιαφέρουν οι γραμμικοί συνδυασμοί των μεταβλητών. Οι γραμμικοί συνδυασμοί παρέχουν απλά συνοπτικά μέτρα ενός συνόλου μεταβλητών. Ας θέσουμε U = a Χ 1 = a 1 X 11 + a X a p X 1p V = b Χ = b 1 X 1 + b X + + b q X q (.1) για κάποιο ζεύγος διανυσμάτων συντελεστών a, b. Οι διασπορές των γραμμικών συνδυασμών U και V δίνονται από τις ακόλουθες σχέσεις: Var(U) = Var(a Χ 1 ) = a Cov( Χ 1 )a = a Σ 11 a Var(V) = Var(b Χ ) = b Cov( Χ )b = b Σ b (.) 0

21 ενώ η συνδιασπορά τους θα είναι Cov(U, V) = Cov(a Χ 1, b Χ ) = a Cov(Χ 1, Χ )b = a Σ 1 b (.3) Σκοπός μας είναι η εύρεση διανυσμάτων συντελεστών a, b έτσι ώστε o συντελεστής συσχέτισης των U, V, ο οποίος ορίζεται από την ακόλουθη σχέση (.4), να είναι όσο το δυνατόν μεγαλύτερος ρ U,V = Corr(U, V) = Cov(U, V) Var(U) Var(V) = a Σ 1b a Σ 11 a b Σ b. (.4) Ορισμός.1 Οι μεταβλητές U 1, U,, U p και V 1, V,, V q ορίζονται ως κανονικές μεταβλητές (canonical variables), ενώ οι αριθμοί ρ i, 1 ρ 1 ρ ρ p 0 ορίζονται ως κανονικές συσχετίσεις (canonical correlations). Ας ορίσουμε ότι το πρώτο ζεύγος κανονικών μεταβλητών, το οποίο μεγιστοποιεί τον συντελεστή συσχέτισης της σχέσης (.4) είναι το ζεύγος των γραμμικών συνδυασμών μοναδιαίας διασποράς U 1 = a 1 X 1, V 1 = b 1 X. Το δεύτερο ζεύγος κανονικών μεταβλητών, το οποίο μεγιστοποιεί τον συντελεστή συσχέτισης της σχέσης (.4) και είναι ασυσχέτιστο με το πρώτο ζεύγος είναι το ζεύγος των γραμμικών συνδυασμών μοναδιαίας διασποράς U = a X 1, V = b X. Το k-οστό ζεύγος κανονικών μεταβλητών, το οποίο μεγιστοποιεί τον συντελεστή συσχέτισης της σχέσης (.4) και είναι ασυσχέτιστο με τα προηγούμενα k-1 ζεύγη κανονικών μεταβλητών είναι το ζεύγος των γραμμικών συνδυασμών μοναδιαίας διασποράς U k = a k X 1, V k = b k X. Ας υποθέσουμε ότι p q και έστω τα τυχαία διανύσματα Χ 1,διάστασης p 1 και Χ, διάστασης q 1 με Cov( Χ 1 ) = Σ 11, Cov( Χ ) = Σ και Cov( Χ 1, Χ ) = Σ 1. Με την χρήση των διανυσμάτων a και b σχηματίζουμε τους γραμμικούς συνδυασμούς U = a Χ 1 και V = b Χ. Τότε η μεγιστοποίηση του συντελεστή συσχέτισης επιτυγχάνεται από τον γραμμικό συνδυασμό όπου max Corr(U, V) = ρ 1 a,b U 1 = a 1 Χ 1 και V 1 = b 1 Χ, a 1 = e 1 Σ 1/ 11 και b 1 = f 1 Σ 1/. 1

22 Αντίστοιχα, το k-οστό ζεύγος κανονικών μεταβλητών, k =,3,, p, όπου a k μεγιστοποιεί τον συντελεστή συσχέτισης U k = a k X 1 και V k = b k X, = e k Σ 1/ 11 και b k Corr(U k, V k ) = ρ k = f 1/ k Σ μεταξύ εκείνων των γραμμικών συνδυασμών που είναι ασυσχέτιστες με τις προηγούμενες 1,,, k κανονικές μεταβλητές. Οι αριθμοί ρ 1, ρ,, ρ k αποτελούν τις ιδιοτιμές του πίνακα Σ 1/ 11 Σ 1 Σ 1 1/ Σ 1 Σ 11,ενώ τα e 1, e,, e p είναι τα αντίστοιχα ιδιοδιανύσματα. Επίσης, οι αριθμοί ρ 1, ρ,, ρ k αποτελούν τις ιδιοτιμές του πίνακα Σ 1/ Σ 1 Σ 1 11 Σ 1 Σ 1/ ιδιοδιανύσματα τα f 1, f,, f p. με αντίστοιχα Οι κανονικές μεταβλητές έχουν τις εξής ιδιότητες: Var(U k ) = Var(V k ) = 1 Cov(U i, U j ) = Corr(U i, U j ) = 0, Cov(V i, V j ) = Corr(V i, V j ) = 0, Cov(U i, V j ) = Corr(U i, V j ) = 0, i j i j i j για i, j = 1,,, p. επίσης, γνωρίζουμε ότι οι μη μηδενικές ιδιοτιμές ενός πίνακα ΑΒ είναι οι ίδιες με του πίνακα ΒΑ, αν και μόνο αν οι πίνακες ΑΒ και ΒΑ είναι τετραγωνικοί, δεν ισχύει όμως το ίδιο και για τα ιδιοδιανύσματα των ΑΒ και ΒΑ. Εάν θεωρήσουμε ότι Α = Σ 1 11 Σ 1 και Β = Σ 1 Σ 1,τότε τα ρ 1, ρ,, ρ k μπορούν να υπολογιστούν είτε από τον πίνακα ΑΒ = Σ 1 11 Σ 1 Σ 1 Σ 1 είτε από τον πίνακα ΒΑ = Σ 1 Σ 1 Σ 1 11 Σ 1. Έτσι οι ιδιοτιμές μπορούν να προκύψουν και από καθεμία από τις παρακάτω χαρακτηριστικές εξισώσεις Σ 1 11 Σ 1 Σ 1 Σ 1 λ I = 0, Σ 1 Σ 1 Σ 1 11 Σ 1 λ I = 0. (.5) (.6)

23 Τα διανύσματα των συντελεστών a i και b i των κανονικών μεταβλητών U i = a i X 1 και V i = b i X αποτελούν τα ιδιοδιανύσματα των δύο ίδιων παρακάτω πινάκων: (Σ 1 11 Σ 1 Σ 1 Σ 1 λ I)a = 0, (Σ 1 Σ 1 Σ 1 11 Σ 1 λ I)b = 0. (.7) (.8) Έτσι, οι δύο πίνακες Σ 1 11 Σ 1 Σ 1 Σ 1 και Σ 1 Σ 1 Σ 1 11 Σ 1 έχουν τις ίδιες μη μηδενικές ιδιοτιμές, όπως υποδεικνύεται στις σχέσεις (.5) και (.6), αλλά διαφορετικά ιδιοδιανύσματα, όπως φαίνεται στις σχέσεις (.7) και (.8). Εφόσον, το X 1 είναι ένα διάνυσμα διάστασης p 1 και το X ένα διάνυσμα διάστασης q 1, τότε και τα a i και b i είναι διάστασης p 1 και q 1 αντίστοιχα. Αυτό μπορεί επίσης να φανεί στα μεγέθη των πινάκων των σχέσεων (.7) και (.8), όπου ο πίνακας Σ 1 11 Σ 1 Σ 1 Σ 1 είναι διάστασης p p και ο πίνακας Σ 1 Σ 1 Σ 1 11 Σ 1 είναι διάστασης q q. Εφόσον το p δεν είναι τυπικά ίσο με το q, ο μεγαλύτερος σε μέγεθος πίνακας θα είναι μη αντιστρέψιμος, και ο μικρότερος θα είναι αντιστρέψιμος. Όταν p < q, η τάξη του πίνακα Σ 1 11 Σ 1 Σ 1 1 Σ 1 είναι p, επειδή ο πίνακας Σ 11 έχει τάξη q και ο πίνακας Σ 1 Σ 1 Σ 1 έχει τάξη p. Στην περίπτωση αυτή, έχουμε p μη μηδενικές ιδιοτιμές και q p μηδενικές ιδιοτιμές. Γενικά, υπάρχουν k = min (p, q) τιμές του τετραγώνου της κανονικής συσχέτισης ρ i με k αντίστοιχα ζεύγη των κανονικών μεταβλητών U i = a i X 1 και V i = b i X. Για παράδειγμα, εάν p = 3 και q = 7, θα υπάρχουν τρεις κανονικές συσχετίσεις, ρ 1, ρ και ρ 3. Για κάθε i, το ρ i είναι η δειγματική συσχέτιση μεταξύ των U i και V i, δηλαδή ρ i = ρ Ui,V i. Όπως, ήδη αναφέραμε τα U 1, U,, U k είναι ασυσχέτιστα και επίσης δεν είναι ορθογώνια γιατί τα a 1, a,, a k είναι ιδιοδιανύσματα του πίνακα Σ 1 11 Σ 1 Σ 1 Σ 1, ο οποίος είναι μη συμμετρικός. Ομοίως τα V i, i = 1,,, k είναι ασυσχέτιστα και κάθε U i είναι ασυσχέτιστο με όλα τα V j, j i, εκτός φυσικά από το U i. Οι κανονικές συσχετίσεις μπορούν επίσης να υπολογιστούν από τον διαμερισμένο πίνακα συσχέτισης των Χ 1 και Χ, ο οποίος δίνεται παρακάτω ρ 1 ρ = ( ρ 11 ρ 1 ρ ), όπου ρ 11 είναι ο p p δειγματικός πίνακας συσχέτισης των Χ 1, ρ 1 είναι ο p q πίνακας των δειγματικών συσχετίσεων μεταξύ των Χ 1 και Χ, και ρ είναι ο q q δειγματικός πίνακας συσχέτισης των Χ. Ο πίνακας ρ 1 11 ρ 1 ρ 1 ρ 1 είναι ανάλογος του ρ = ρ 1 ρ 1 ρ 1 3 (.9)

24 στην μονοδιάσταση περίπτωση. Οι αντίστοιχες χαρακτηριστικές εξισώσεις των σχέσεων (.5) και (.6) με ιδιοτιμές τις ρ 1, ρ,, ρ k, δηλαδή ρ i = λ i, είναι ρ 1 11 ρ 1 ρ 1 ρ 1 λ I = 0, ρ 1 ρ 1 ρ 1 11 ρ 1 λ I = 0. Εάν χρησιμοποιήσουμε τον διαμερισμένο πίνακα συσχέτισης αντί για τον πίνακα διακύμανσης των σχέσεων (.7) και (.8) θα εξασφαλίσουμε τις ίδιες ιδιοτιμές, αλλά διαφορετικά ιδιοδιανύσματα: (ρ 1 11 ρ 1 ρ 1 ρ 1 λ I)c = 0, (ρ 1 ρ 1 ρ 1 11 ρ 1 λ I)d = 0. (.11) (.1) Η σχέση μεταξύ των ιδιοδιανυσμάτων c και d στις σχέσεις (.11) και (.1) και των ιδιοδιανυσμάτων a και b στις σχέσεις (.7) και (.8) είναι c = D x a και d = D y b, όπου D x = diag(s 11, s 1,, s 1p ) και D y = diag(s 1, s,, s q ). Τα ιδιοδιανύσματα c και d είναι τα κανονικοποιημένα διανύσματα συντελεστών. Πιο αναλυτικά, εάν οι αρχικές μεταβλητές είναι κανονικοποιημένες με Ζ 1 = (Ζ 11, Ζ 1,, Ζ 1p ) και Ζ = (Ζ 1, Ζ,, Ζ q ) τότε οι κανονικές μεταβλητές θα έχουν τη μορφή U k = a k Z 1 = e k ρ 1/ 11 Ζ 1 V k = b k Z = f k ρ 1/ Ζ. Εδώ, έχουμε ότι Cov(Z 1 ) = ρ 11, Cov(Z ) = ρ, Cov(Z 1, Z ) = ρ 1 = ρ 1 και τα e k, f k 1 είναι τα ιδιοδιανύσματα των πινάκων ρ 11 ρ 1 ρ ρ 1 ρ 11 και ρ ρ 1 ρ ρ 1 ρ αντίστοιχα. Οι κανονικές συσχετίσεις ικανοποιούν, ρ k, ικανοποιούν τη σχέση Corr(U k, V k ) = ρ k, k = 1,,, p όπου ρ 1 ρ ρ 1 ρ είναι οι μη μηδενικές ιδιοτιμές του πίνακα ρ 11 ρ 1 ρ 1 1 ρ 1 ρ 11, ή 1 ισοδύναμα οι μεγαλύτερες ιδιοτιμές του πίνακα ρ ρ 1 ρ ρ 1 ρ. 4

25 Παρατηρούμε ότι a k(x 1 μ 1 ) = a k1 (X 11 μ 11 ) + a k (X 1 μ 1 ) + + a kp (X 1p μ 1p ) (Χ 11 μ 11 ) (X 1 μ 1) (X 1p μ 1p) = a k1 σ 11 + a k σ + + a kp σ pp σ 11 σ σ pp όπου Var(X 1i ) = σ ii, i = 1,,, p. Επιπλέον, οι κανονικοί συντελεστές για τις κανονικοποιημένες μεταβλητές Ζ 1i = (X 1i μ 1i ) σ ii σχετίζονται με τους κανονικούς συντελεστές των αρχικών μεταβλητών X 1i. Συγκεκριμένα, εάν a k είναι το διάνυσμα του συντελεστή της k-οστής κανονικής μεταβλητής U k, τότε a k V 1/ 11 είναι το διάνυσμα του συντελεστή της k-οστής κανονικής μεταβλητής που προκύπτει από τις κανονικοποιημένες μεταβλητές Ζ 1. Εδώ, V 1/ 11 είναι ο διαγώνιος πίνακας με i-οστό διαγώνιο στοιχείο σ 1i. Ομοίως, εάν b k είναι το διάνυσμα του συντελεστή της k-οστής κανονικής μεταβλητής V k, τότε b k V 1/ είναι το διάνυσμα του συντελεστή της k-οστής κανονικής μεταβλητής που προκύπτει από τις κανονικοποιημένες μεταβλητές Ζ. Εδώ, V 1/ 11 θα είναι είναι ο διαγώνιος πίνακας με i-οστό διαγώνιο στοιχείο σ i = Var(X i ). Στο Παράδειγμα που ακολουθεί θα υπολογίσουμε τις κανονικές μεταβλητές και τις κανονικές συσχετίσεις με τη χρήση κανονικοποιημένων μεταβλητών. Παράδειγμα.1.1 Ας υποθέσουμε ότι Ζ 1 = [Ζ 11, Z 1 ] και Ζ = [Ζ 1, Z ] είναι οι κανονικοποιημένες μεταβλητές. Έστω Ζ = [Ζ 1, Ζ ] και Cov(Z) = [ ρ ρ 1 ρ 1 ρ ] = [ ] Τότε έχουμε ότι 1/ = [ ] ρ 11 1/ = [ ] ρ 1 και ρ 11 ρ 1 ρ 1 1 ρ 1 ρ = [ ] 5

26 Οι ιδιοτιμές ρ 1, ρ 1 του πίνακα ρ 11 ρ 1 ρ 1 1 ρ 1 ρ 11 υπολογίζονται από την χαρακτηριστική εξίσωση λ λ = 0 ( λ)( λ) = 0 λ λ = 0 Οπότε προκύπτει ότι ρ 1 = και ρ = Στη συνέχεια υπολογίζουμε τα ιδιοδιανύσματα. Το ιδιοδιάνυσμα e 1 εξίσωση = [0.8947,0.4466] προκύπτει από την ακόλουθη [ ] e 1 = e 1 Συνεπώς, a 1 1 = ρ 11 e 1 = [ ] Γνωρίζουμε ότι, f 1 ρ 1/ ρ 1 ρ 1/ 11 e 1 και b 1 = ρ 1/ f 1. Συνεπώς, Θα πρέπει να ισχύει ότι b 1 ρ ρ 1 a 1 = [ ] [ ] = [ ] Var(V 1 ) = Var(b 1 Z ) = b 1 ρ b 1 = 1 Οπότε το διάνυσμα [0.406, ] μας δίνει Έχουμε ότι = , άρα [0.406, ] [ ] [ ] = b 1 = [ ] = [ ] Επομένως, το πρώτο ζεύγος των κανονικών μεταβλητών είναι U 1 = a 1 Z 1 = 0.86Z Z 1 και η κανονική τους συσχέτιση είναι V 1 = b 1 Z = 0.54Z Z 6

27 ρ 1 = ρ 1 = = 0.74 Η συσχέτιση ρ 1 είναι η μεγαλύτερη δυνατή συσχέτιση μεταξύ των γραμμικών συνδυασμών των μεταβλητών από τα σύνολα των κανονικοποιημένων μεταβλητών Z 1 και Ζ. Η δεύτερη κανονική συσχέτιση, ρ, θα ισούται με ρ = = Παρατηρούμε ότι η συσχέτιση είναι πολύ μικρή, συνεπώς το δεύτερο ζεύγος κανονικών μεταβλητών, αν και ασυσχέτιστο με το πρώτο ζεύγος, μας δίνει ελάχιστες πληροφορίες για την σχέση μεταξύ των συνόλων. Το ζευγάρι των κανονικών μεταβλητών U 1, V 1 δεν διαφέρει σημαντικά από το ζεύγος U 1, V 1, όπου U 1 = a Z 1 = [3, 1] [ Z 11 Z 1 ] = 3Z 11 + Z 1 Για τις μεταβλητές αυτές ισχύουν τα ακόλουθα και V 1 = b Z = [1,1] [ Z 1 Z ] = Z 1 + Z Var(U 1) = a ρ 11 a = 1.4 Var(V 1) = b ρ b =.4 Cov(U 1, V 1) = a ρ 1 b = 4.0 Corr(U 1, V 1) = = Έλεγχος Ανεξαρτησίας Ας υποθέσουμε ότι έχουμε ένα τυχαίο δείγμα μεγέθους n από κανονική κατανομή Ν p+q (μ, Σ), όπου Σ = ( Σ 11 Σ 1 Σ 1 Σ ). Θα κατασκευάσουμε έναν έλεγχο ανεξαρτησίας, ο οποίος αντικατοπτρίζεται από την ακόλουθη μηδενική υπόθεση Η 0 : Σ 1 = 0 Η 0 : p 1 = = p s = 0 7

28 έναντι όλων των εναλλακτικών υποθέσεων. Κάτω από τη μηδενική υπόθεση H 0, δεν υπάρχει καμία (γραμμική) σχέση μεταξύ των Χ 1 και Χ και η H 0 είναι ισοδύναμη με το γεγονός ότι όλες οι κανονικές συσχετίσεις είναι μη σημαντικές. Ο αμερόληπτος εκτιμητής S του Σ διαχωρίζεται ως (n 1)S ρ = ( ρ 11 ρ 1 ρ 1 ρ ) και ρ~w p (n 1, Σ). Ο εκτιμητής μέγιστης πιθανοφάνειας Σ = ρ n είναι ανάλογος του S. Χωρίς κανέναν περιορισμό, οι εκτιμητές μέγιστης πιθανοφάνειας των Σ ij, i, j = 1, είναι Σ ij = ρ ij n. Όμως, υπό την μηδενική υπόθεση έχουμε ότι Σ 11 = Σ 1, Σ = Σ, Σ 1 = 0. Ο έλεγχος λόγου πιθανοφανειών θα πάρει την μορφή Λ = L (x, Σ 11, Σ, Σ 1 ) L(x, Σ 11, Σ, Σ 1 ) = Σ 11 n/ Σ n/ Σ n/. Έτσι, εφόσον Σ ρ και χρησιμοποιώντας την σχέση ρ = ρ 11 ρ.1, Λ 1 = ρ.1 ρ = ρ 11. ρ 11 = Ι ρ 1 ρ 1 ρ 1 ρ 1 11 s = (1 ρ i ). i=1 (.13) Παρατηρούμε, ότι ο έλεγχος λόγου πιθανοφανειών είναι μια συνάρτηση των δειγματικών κανονικών συσχετίσεων p i, όπου ρ i είναι η λύση της εξίσωσης ρ 1 ρ 1 ρ 1 11 ρ 1 λ I = 0 και ικανοποιούν την συνθήκη 1 > ρ 1 > > ρ s > 0. Παρατηρούμε ότι εάν ένα ή περισσότερα ρ i είναι μεγάλοι αριθμοί, τότε το Λ 1 θα είναι μικρός αριθμός. Η στατιστική συνάρτηση Λ 1 ακολουθεί την Λ p,q,n 1 q κατανομή, οπότε απορρίπτουμε την μηδενική υπόθεση H 0 εάν Λ 1 Λ a. Στην περίπτωση που οι παράμετροι υπερβαίνουν το εύρος των κρίσιμων τιμών για το Wilk s Λ μπορούμε να χρησιμοποιήσουμε την προσέγγιση της Χ κατανομής, Χ = [n 1 (p + q + 3)] ln Λ 1, 8

29 η οποία ακολουθεί την Χ κατανομή με pq βαθμούς ελευθερίας. Συνεπώς στην περίπτωση αυτή απορρίπτουμε τη μηδενική υπόθεση Η 0 εάν Χ Χ α. Μία εναλλακτική προσέγγιση για την στατιστική συνάρτηση είναι η προσέγγιση της F κατανομής, F = 1 Λ 1/t 1 df, 1/t Λ df 1 1 η οποία ακολουθεί την F κατανομή με df και df 1 βαθμούς ελευθερίας, όπου df 1 = pq, df 1 = wt 1 pq + 1, w = n 1 (p + q + 3), t = p q 4 p + q 5. Στην περίπτωση αυτή, απορρίπτουμε τη μηδενική υπόθεση Η 0 εάν F > F a. Εάν pq =, τότε το t ισούται με 1. Εάν s = min (p, q) ισούται με 1 ή η προσέγγιση της F είναι μία ακριβής κατανομή F. Για παράδειγμα, εάν ένα από τα δύο σύνολα αποτελείται από δύο μόνο μεταβλητές, ο έλεγχος υπόθεσης μπορεί να γίνει με την προσέγγιση της F κατανομής. Εν αντιθέσει, η προσέγγιση της Χ κατανομής δεν μπορεί να μειωθεί σε ένα ακριβή έλεγχο για καμία από τις τιμές των παραμέτρων. Για τον έλεγχο σημαντικότητας των κανονικών συσχετίσεων μπορούμε να χρησιμοποιήσουμε τρεις ακόμα πολυδιάστατες στατιστικές συναρτήσεις. Η στατιστική συνάρτηση του Pillai για την σημαντικότητα των κανονικών συσχετίσεων είναι s V s = ρ i i=1 Τα άνω ποσοστιαία σημεία του V s κατατάσσονται από τα. s = min(p, q), m = 1 ( q p 1), N = 1 (n q p ). Για παραμέτρους που δεν περιλαμβάνονται σε πίνακες μπορούμε να χρησιμοποιήσουμε μια στατιστική προσέγγιση F: F 1 = (N + s + 1)V s (m + s + 1)(s V s ), 9

30 η οποία προσεγγιστικά ακολουθεί την κατανομή F s(m+s+1),s(n+s+1). Δύο εναλλακτικές προσεγγίσεις δίνονται ακολούθως F = s(v E v H + s)v s pv H (s V s, ) με pv H και s(v E v H + s) βαθμούς ελευθερίας και με sd και s(v E p + s) βαθμούς ελευθερίας, όπου d = max(p, v H ). Η στατιστική συνάρτηση Lawley-Hotelling για την κανονική συσχέτιση είναι s U s = ρ i i=1 1 ρ i. Τα άνω ποσοστιαία σημεία του v E U s /v Η κατατάσσονται σύμφωνα με p, v H = q και v E = n q 1. Για παραμέτρους που δεν περιλαμβάνονται σε πίνακες μπορούμε να χρησιμοποιήσουμε μια στατιστική προσέγγιση F: F 1 = Us c, η οποία ακολουθεί προσεγγιστικά την κατανομή F a,b, όπου a = pv H, b = 4 + a + a(b ), c = B 1 b(v E p 1), Εναλλακτικές F προσεγγίσεις δίνονται από B = (v E + v H p 1)(v E 1). (v E p 3)(v E p) F = (sn + 1)Us s (m + s + 1), με s(m + s + 1) και (sn + 1) βαθμούς ελευθερίας και F 3 = [s(v E v H 1) + ]U s spv H, με pv H και s(v E v H 1) βαθμούς ελευθερίας. Εάν p v H, τότε οι προσεγγίσεις F και F 3 είναι ίδιες. 30

31 Η στατιστική συνάρτηση του Roy δίνεται από τη σχέση θ= ρ 1 με άνω ποσοστιαία σημεία όπως ορίστηκαν για τη στατιστική συνάρτηση του Pillai. Παράδειγμα.3.1 Στον Πίνακα 1 δίνονται τα αποτελέσματα ενός προγραμματισμένου πειράματος το οποίο περιλαμβάνει μία χημική αντίδραση (Box και Youle 1955). Οι ανεξάρτητες μεταβλητές του πειράματος είναι η θερμοκρασία, η συγκέντρωση και ο χρόνος και συμβολίζονται ως x 1, x, x 3 αντίστοιχα. Πίνακας 1: Δεδομένα χημικής αντίδρασης 31

32 Οι εξαρτημένες μεταβλητές του πειράματος είναι οι y 1 = το ποσοστό της αμετάβλητης πρώτης ύλης y = το ποσοστό που μετατράπηκε στο επιθυμητό προϊόν y 3 = το ποσοστό του ανεπιθύμητου προϊόντος. Ο πίνακας ρ xy των συσχετίσεων μεταξύ των μεταβλητών x και y είναι ο ακόλουθος Επίσης, οι τρεις κανονικές συσχετίσεις και τα τετράγωνά τους θα είναι ρ 1 = , ρ 1 =

33 ρ = 0.958, ρ = ρ 3 = 0.465, ρ 3 = Για τον έλεγχο σημαντικότητας των κανονικών συσχετίσεων υπολογίζονται οι ακόλουθες τέσσερις στατιστικές συναρτήσεις και τις προσεγγίσεις της F κατανομής. Η μη αποδοχή της H 0 στους ελέγχους αυτούς δηλώνει ότι τουλάχιστον το ρ 1 σημαντικά διάφορο του μηδενός. είναι.4 Έλεγχος για την επιτυχία της κανονικής συσχέτισης μετά την πρώτη επιτυχία Στον έλεγχο υπόθεσης (.13), ο οποίος με βάση όλες τις κανονικές συσχετίσεις απορρίπτει την H 0, δεν είμαστε βέβαιοι εάν οι κανονικές συσχετίσεις, εκτός της πρώτης, είναι σημαντικές. Για τον έλεγχο σημαντικότητας των ρ,, ρ s διαγράφουμε από τον τύπο της στατιστικής συνάρτησης Λ 1 το τετράγωνο της πρώτης κανονικής συσχέτισης ρ 1 και έχουμε ότι s Λ = (1 ρ i ) i= (.14) Εάν απορρίψουμε τη μηδενική υπόθεση του ελέγχου, καταλήγουμε στο συμπέρασμα ότι τουλάχιστον η ρ είναι σημαντικά διάφορη από το μηδέν. Συνεχίζοντας με τον ίδιο τρόπο, ελέγχουμε κάθε ρ i μέχρι να αποτύχουμε και να μη γίνει απόρριψη της μηδενικής υπόθεσης. Στο k-οστό βήμα της διαδικασίας αυτής ο τύπος της στατιστικής συνάρτησης θα είναι s Λ k = (1 ρ i ), i=k (.15) 33

34 η οποία ακολουθεί την κατανομή Λ p k+1,q k+1,n k q και ελέγχει τη σημαντικότητα των κανονικών συσχετίσεων ρ k, ρ k+1,, ρ s. Στον τύπο της στατιστικής συνάρτησης (.15) μπορούμε να εφαρμόσουμε τις X και F προσεγγίσεις. Η X προσέγγιση για την Λ k δίνεται από Χ = [n 1 (p + q + 3)] ln Λ k, με (p k + 1)(q k + 1) βαθμούς ελευθερίας. Η F προσέγγιση για το Λ k θα δίνεται από τη σχέση όπου F = 1 Λ 1/t k df 1, 1/t Λ df κ df 1 = (p k + 1)(q k + 1), df = wt 1 [(p k + 1)(q k + 1)] + 1, w = n 1 (p + q + 3), t = (p k + 1) (q k + 1) 4 (p k + 1) + (q k + 1) 5 Παράδειγμα.4.1 Θα χρησιμοποιήσουμε τα δεδομένα του Πίνακα 1 για να συνεχίσουμε την ανάλυση των κανονικών συσχετίσεων του πειράματος. Οι έλεγχοι των κανονικών συσχετίσεων συνοψίζονται στον ακόλουθο Πίνακα. Πίνακας : Έλεγχοι τριών κανονικών συσχετίσεων 34

35 Στην περίπτωση της στατιστικής συνάρτησης Λ παρατηρούμε ότι υπάρχει διαφορά ανάμεσα στην Wilk s Λ στατιστική συνάρτηση και στην στατιστική συνάρτηση της F προσέγγισης. Ο έλεγχος που βασίζεται το Λ είναι σημαντικός, ενώ ο έλεγχος F είναι σημαντικός. Για το λόγο αυτό κρίνεται αναγκαίο να ελεγχθούν οι κρίσιμες τιμές για τους ακριβείς ελέγχους οποτεδήποτε τα p-value για τους προσεγγιστικούς ελέγχους είναι κοντά στην τιμή του επιπέδου σημαντικότητας α. Η εφαρμογή του ελέγχου που βασίζεται στο Λ μας οδηγεί στο συμπέρασμα ότι μόνο η πρώτη κανονική συσχέτιση ρ 1 = είναι σημαντική. Τα σχετικά μεγέθη των τετραγωνικών κανονικών συσχετίσεων 0.980, και 0.14 θα έδειχναν δύο διαστάσεις της σχέσης, αλλά αυτό δεν επιβεβαιώνεται από τον έλεγχο Wilk s Λ, ίσως λόγω του μικρού μεγέθους του δείγματος σε σχέση με τον αριθμό των μεταβλητών (p + q = 1 και n = 19). Για την απεικόνιση των αποτελεσμάτων, παίρνουμε τις τιμές του Πίνακα 1 για k =. Από την σχέση (.14) υπολογίζουμε τη στατιστική συνάρτηση Λ 3 Λ = (1 ρ i ) = ( )(1 0.14) = i= Για k =, p = 3, q = 9 και n = 19, η κρίσιμη τιμή της Λ για α = 0.05 θα είναι Λ 0.05,p k+1,q k+1,n k q = Λ 0.05,,8,8 = Για την προσέγγιση F του Λ, έχουμε ότι t = (3 + 1) (9 + 1) 4 (3 + 1) +(9 + 1) 5 =, w = 19 1 ( ) = 11.5, df 1 = (3 + 1)(9 + 1) = 16, df = (11.5)() 1 [(3 + 1)(9 + 1)] + 1 = 16, F = 1 (0.075)1/ (0.075) 1/ =

36 ΚΕΦΑΛΑΙΟ 3 3. ΕΡΜΗΝΕΙΑ ΤΩΝ ΚΑΝΟΝΙΚΩΝ ΜΕΤΑΒΛΗΤΩΝ 3.1 Εισαγωγή Οι κανονικές μεταβλητές είναι τεχνητές, δηλαδή δεν έχουν καμία φυσική σημασία. Εάν χρησιμοποιούνται οι αρχικές μεταβλητές Χ 1 και Χ, οι κανονικοί συντελεστές a, b έχουν μονάδες μέτρησης ανάλογες των μεταβλητών Χ 1 και Χ. Εάν οι αρχικές μεταβλητές είναι τυποποιημένες με μηδενική μέση τιμή και διασπορά μονάδα, οι κανονικοί συντελεστές δεν έχουν μονάδα μέτρησης και πρέπει να ερμηνευθούν από την άποψη των κανονικοποιημένων μεταβλητών. Η ύπαρξη σχέσεων μεταξύ δύο συνόλων μεταβλητών προσδιορίζεται μέσω ελέγχου στατιστικής σημαντικότητας των κανονικών συντελεστών. Η ύπαρξη αρκετών ελέγχων στατιστικής σημαντικότητας δεν δυσκολεύει την ερμηνεία της πιθανότητας ότι οι συντελεστές είναι σημαντικά διαφορετικοί από το μηδέν. Τα προβλήματα ερμηνείας εμφανίζονται όταν γίνονται προσπάθειες για να εκτιμηθεί η σχέση μεταξύ των δύο συνόλων μεταβλητών σε πρακτικό επίπεδο. Εφόσον οι κανονικές συσχετίσεις είναι εξ ορισμού μέγιστες, οι κανονικές σχέσεις είναι κατά κανόνα υπερεκτιμημένες. 3. Τυποποιημένοι συντελεστές Οι συντελεστές στις κανονικές μεταβλητές U i = a i X 1 και V i = b i X αντανακλούν τις διαφορές στην κλίμακα των μεταβλητών, καθώς και τις διαφορές στην συμβολή των μεταβλητών στην κανονική συσχέτιση. Για την μη επιρροή από την κλίμακα, οι συντελεστές a i και b i, μπορούν να τυποποιηθούν εάν πολλαπλασιάσουμε με τις τυπικές αποκλίσεις των αντίστοιχων μεταβλητών: c i = D x a i και d i = D y b i 36

37 όπου D x = diag(s 11, s 1,, s 1p ) και D y = diag(s 1, s,, s q ). Εναλλακτικά τα c i και d i μπορούν να προκύψουν ως ιδιοδιανύσματα των ρ 1 11 ρ 1 ρ 1 ρ 1 και ρ 1 ρ 1 ρ 1 11 ρ 1. Έτσι, η επίδραση των διαφορών στο μέγεθος ή στην κλίμακα των μεταβλητών αφαιρείται και οι συντελεστές c i1, c i,, c ip του c i αντικατοπτρίζουν τη σχετική συνεισφορά του Χ 1 στο U i, ενώ οι συντελεστές d i1, d i,, d iq του d i αντικατοπτρίζουν τη σχετική συνεισφορά του Χ στο V i. Οι τυποποιημένοι συντελεστές δείχνουν την συμβολή των μεταβλητών παρουσία των άλλων. Έτσι, εάν κάποιες μεταβλητές διαγραφούν και άλλες προστεθούν, οι συντελεστές θα αλλάξουν. Αυτή είναι ακριβώς η συμπεριφορά που επιθυμούμε από τους συντελεστές σε μία πολυπαραγοντική ρύθμιση. Παράδειγμα 3..1 Χρησιμοποιώντας τα δεδομένα του Πίνακα 1 έχουμε τους παρακάτω τυποποιημένους συντελεστές για τις τρεις κανονικές μεταβλητές Έτσι, u 1 = 1.54 y 1 y 1 s y1 v 1 = 5.01 x 1 x 1 s x y y s y y 3 y 3 s y x x x 3 x 3 s x s x3 37

38 Οι μεταβλητές που συνεισφέρουν περισσότερο στην συσχέτιση μεταξύ των u 1 και v 1 είναι οι y 1, x 1, x, x 1 x, x 1 x 3, x 1. Η συσχέτιση μεταξύ των u και v οφείλεται σε μεγάλο βαθμό στις y 1, y, y 3, x 1, x, x 1 x, x Συσχετίσεις μεταξύ μεταβλητών και κανονικών μεταβλητών Αν και οι κανονικές μεταβλητές είναι τεχνητές, μπορούν να αναγνωριστούν με βάση τις αρχικές μεταβλητές. Αυτό επιτυγχάνεται με τον υπολογισμό των συσχετίσεων των κανονικών μεταβλητών και των αρχικών μεταβλητών. Με την μετατροπή των τυποποιημένων συντελεστών σε συσχετίσεις, οι οποίοι είναι γνωστοί ως συντελεστές δομής, έχουμε μία πιο έγκυρη ερμηνεία των κανονικών συντελεστών. Οι συσχετίσεις αυτές θα πρέπει να ερμηνευθούν σε προσοχή, γιατί παρέχουν μονοδιάστατες πληροφορίες, υπό την έννοια ότι δεν υποδεικνύουν πως οι αρχικές μεταβλητές συμβάλλουν από κοινού στην κανονική ανάλυση. Για τον λόγο αυτό είναι προτιμότερο η συνεισφορά των μεταβλητών στις αρχικές μεταβλητές να εκτιμάται από τους τυποποιημένους συντελεστές. Ας θεωρήσουμε A = [a 1, a,, a p ] και B = [b 1, b,, b q ], έτσι ώστε τα διανύσματα των κανονικών μεταβλητών U διάστασης (p 1) και V διάστασης (q 1) να δίνονται από τις ακόλουθες σχέσεις U = AX 1 και V = BX όπου μας ενδιαφέρουν οι πρώτες p κανονικές μεταβλητές στο διάνυσμα V. Τότε η συνδιασπορά των U και X 1 θα δίνεται από την ακόλουθη σχέση Cov (U, X 1 ) = Cov (AX 1, X 1 ) = AΣ 11 και ο συντελεστής συσχέτισης θα υπολογίζεται διαιρώντας την συνδιασπορά Cov (U, X 1 ) με την διασπορά του U i, Var (U i ) = 1, και την διασπορά του X 1k. Συνεπώς, Cov (U i, X 1k ) Corr (U i, X 1k ) = Var (U i, ) Var (X 1k ) = Cov (U i, X 1k) 1. Ισοδύναμα έχουμε ότι ο συντελεστής συσχέτισης ισούται με Corr (U i, X 1k ) = Cov (U i, σ 1/ κκ X 1k ). σ κκ 38

39 1 Εισάγοντας τον διαγώνιο πίνακα V 11, διάστασης (p p), με k-οστό διαγώνιο στοιχείο το 1 σ κκ προκύπτει ο ακόλουθος τύπος σε μορφή πινάκων για τον συντελεστή συσχέτισης των U και X 1 1 p U,X1 = Corr (U, X 1 ) = Cov (U, V 1 11 X 1 ) = Cov (AX 1, V 11 X 1 ) = AΣ 11 V 11 1 (3.1) Γνωρίζοντας ότι ισχύουν οι παρακάτω σχέσεις για τις υπόλοιπες συνδιασπορές των μεταβλητών Cov (U, X ) = Cov (AX 1, X ) = AΣ 1 Cov (V, X 1 ) = Cov (BX, X 1 ) = BΣ 1 Cov (V, X ) = Cov (BX, X ) = BΣ 1 και εισάγοντας τον διαγώνιο πίνακα V, διάστασης (q q) με i-οστό διαγώνιο στοιχείο την διασπορά του Χ, Var(X i ) προκύπτουν οι αντίστοιχοι συντελεστές συσχέτισης για τα ζεύγη των μεταβλητών (U, X ), (V, X 1 ) και (V, X ) 1 p U,X = Corr (U, X ) = Cov (U, V 1 X ) = Cov (AX 1, V X ) = AΣ 1 V 1 1 p V,X1 = Corr (V, X 1 ) = Cov (V, V 1 11 X 1 ) = Cov (BX, V 11 X 1 ) = BΣ 1 V 11 1 (3.) 1 p V,X = Corr (V, X ) = Cov (V, V 1 X ) = Cov (BX, V X ) = BΣ V 1 Οι κανονικές μεταβλητές που εξάγονται από τις τυποποιημένες μεταβλητές συνήθως ερμηνεύονται υπολογίζοντας τις συσχετίσεις. Έτσι, p U,Z1 = A z p 11 p U,Z = A z p 1 (3.3) p V,Z1 = B z p 1 p V,Z = B z p όπου οι γραμμές των πινάκων A z, διάστασης (p p) και B z, διάστασης (q q) αποτελούνται από τους κανονικούς συντελεστές των Ζ 1 και Ζ αντίστοιχα. Οι συσχετίσεις στους πίνακες των σχέσεων (3.3) έχουν τις ίδιες αριθμητικές τιμές με τους πίνακες των σχέσεων (3.1) και (3.). Αυτό συμβαίνει καθώς p U,X1 = p U,Z1 και ούτω καθεξής. Δηλαδή, οι συσχετίσεις δεν επηρεάζονται από την τυποποίηση των μεταβλητών. Πράγματι, 39

40 1 p U,X1 = AΣ 11 V 11 = AV 11 1 p U,X = AΣ 1 V = AV 1 p V,X1 = BΣ 1 V 11 = BV 11 1 p V,X = BΣ V = BV 1 1 V V 1 1 V V 1 Σ 11 V 11 = A z p 11 = p U,Z1 1 Σ 1 V = A z p 1 = p U,Z 1 Σ 1 V 11 = B z p 1 = p V,Z1 1 Σ V = B z p = p U,Z Στο επόμενο παράδειγμα θα υπολογίσουμε τις συσχετίσεις μεταξύ του πρώτου ζεύγους των κανονικών μεταβλητών και των συνιστωσών χρησιμοποιώντας τα δεδομένα του Παραδείγματος.1.1 Παράδειγμα Οι μεταβλητές στο Παράδειγμα.1.1 είναι ήδη τυποποιημένες οπότε μπορούμε να εφαρμόσουμε τις σχέσεις (3.3). Οπότε p 11 = [ ] p = [ ] p 1 = [ ] p 1 = [ ] Εφόσον μας ενδιαφέρει το πρώτο ζεύγος των κανονικών μεταβλητών από το Παράδειγμα.1.1 έχουμε ότι U 1 = a 1 Z 1 = 0.86Z Z 1 V 1 = b 1 Z = 0.54Z Z Συνεπώς, προκύπτουν οι πίνακες A z = [0.86, 0.8] και B z = [0.54, 0.74] έτσι οι ζητούμενες συσχετίσεις δίνονται παρακάτω 40

41 p U1,Z 1 = A z p 11 = [0.86, 0.8] [ ] = [0.97, 0.6] p V1,Z = B z p = [0.54, 0.74] [ ] = [0.69, 0.85] Συμπεραίνουμε ότι, από τις δύο μεταβλητές στο σύνολο Ζ 1, η πρώτη σχετίζεται πιο πολύ με την κανονική μεταβλητή U 1. Ενώ από τις δύο μεταβλητές του συνόλου Ζ, η δεύτερη σχετίζεται πιο πολύ με την κανονική μεταβλητή V 1. Στην περίπτωση αυτή, οι συσχετίσεις ενισχύουν τις πληροφορίες που εξάγονται από τους τυποποιημένους συντελεστές A z και Β z. Ωστόσο, οι συσχετίσεις ανυψώνουν την σχετική σημασία του Ζ 1 στο πρώτο ζεύγος και του Ζ 1 στο δεύτερο ζεύγος, καθώς αγνοούν την συνεισφορά των μεταβλητών που έχουν απομείνει σε κάθε σύνολο. Επίσης, από τις σχέσεις (3.3) προκύπτουν και οι συσχετίσεις p U1,Z = A z p 1 = [0.86, 0.8] [ ] = [0.51, 0.63] p V1,Z 1 = B z p 1 = [0.54, 0.74] [ ] = [0.71, 0.46] Περιστροφή συντελεστών Σε μία προσπάθεια για να βελτιωθεί η ερμηνεία των κανονικών μεταβλητών θα μπορούσαμε να περιστρέψουμε τους συντελεστές των μεταβλητών για να αυξηθεί ο αριθμός των υψηλών και χαμηλών συντελεστών και να μειωθεί ο αριθμός των ενδιάμεσων αυτών. Παρόλα αυτά ο τρόπος αυτός δεν ενδείκνυται για τους ακόλουθους δύο λόγους. 1. Η περιστροφή καταστρέφει το βέλτιστο των κανονικών συσχετίσεων. Για παράδειγμα η πρώτη κανονική συσχέτιση μειώνεται και δεν ισούται με το max a,b r a X 1,b X.. Η περιστροφή εισάγει συσχετίσεις μεταξύ των ακόλουθων κανονικών μεταβλητών. Έτσι οι μεταβλητές U 1 και U σχετίζονται μετά την περιστροφή. Ως εκ τούτου, ακόμη κι αν οι νέοι συντελεστές μπορούν να ερμηνεύσουν αντικειμενικά καλύτερα τις κανονικές μεταβλητές, το κέρδος αυτό αντισταθμίζεται από την αυξημένη πολυπλοκότητα λόγω της αλληλεξάρτησης μεταξύ των κανονικών μεταβλητών. Για παράδειγμα το ζεύγος U και V δεν 41

42 δίνει μία σχέση ασυσχέτιστη με το ζεύγος U 1 και V 1. Οι σχέσεις αλληλοκαλύπτονται και οι πληροφορίες που προσφέρει το ζεύγος U και V υπάρχουν ήδη στο ζεύγος των μεταβλητών U 1 και V Ανάλυση Πλεονασμού (Redundancy Analysis) Ο πλεονασμός (redundancy) είναι ένα μέτρο της σχέσης μεταξύ των Χ 1 και Χ που βασίζεται στις συσχετίσεις των μεταβλητών και των κανονικών μεταβλητών. Δεδομένου ότι οι συσχετίσεις αυτές παρέχουν μονοδιάστατες πληροφορίες, ο πλεονασμός (redundancy) αποδεικνύεται να είναι ένα μονοδιάστατο παρά ένα πολυδιάστατο μέτρο της σχέσης αυτής. Εάν το τετράγωνο της πολλαπλής συσχέτισης της παλινδρόμησης των Χ 1 επάνω στα X ορίζεται ως R X1 X και το τετράγωνο της πολλαπλής συσχέτισης της παλινδρόμησης των Χ επάνω στα X 1 ορίζεται ως R X X 1, τότε ο πλεονασμός των Χ 1 δοθέντος των U και ο πλεονασμός (redundancy) των Χ δοθέντος των V δίνονται από τις ακόλουθες σχέσεις και R d (X 1 U) = R d (X V) = p j=1 q j=1 R X 1 X p R X X 1 Εφόσον το R d (X V) είναι το μέσο τετράγωνο της πολλαπλής συσχέτισης της παλινδρόμησης των Χ επάνω στα X 1, δεν λαμβάνει υπόψιν τις συσχετίσεις των Χ. Συνεπώς είναι ένα μέσο μονοδιάστατο μέτρο της σχέσης των Χ και X 1, και όχι ένα πολυδιάστατο μέτρο. Οι παραπάνω δύο πλεονασμοί δεν είναι συμμετρικοί, R d (X 1 U) R d (X V). Έτσι, ο πλεονασμός δεν είναι ένα χρήσιμο μέτρο για την σχέση των συνόλων των μεταβλητών. q 3.6 Κανονικές συσχετίσεις ως γενίκευση άλλων Συντελεστών συσχέτισης Όταν καθένα από τα σύνολα των μεταβλητών Χ 1 και Χ αποτελείται από μία μεταβλητή, έτσι ώστε p = q = 1 έχουμε ότι 4