ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ. Αλέξανδρος Β. Μήτρου

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΟ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ ΣΤΑΤΙΣΤΙΚΗ ΚΑΙ ΕΠΙΧΕΙΡΗΣΙΑΚΗ ΕΡΕΥΝΑ «Διαχωριστική Ανάλυση με Εφαρμογές στην Εκπαίδευση» ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Αλέξανδρος Β. Μήτρου Επιβλέπων: Νικόλαος Φαρμάκης Επ. Καθηγητής Α.Π.Θ. Θεσσαλονίκη, Ιούνιος 007

2 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΟ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ ΣΤΑΤΙΣΤΙΚΗ ΚΑΙ ΕΠΙΧΕΙΡΗΣΙΑΚΗ ΕΡΕΥΝΑ «Διαχωριστική Ανάλυση με Εφαρμογές στην Εκπαίδευση» ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Αλέξανδρος Β. Μήτρου Επιβλέπων: Νικόλαος Φαρμάκης Επ. Καθηγητής Α.Π.Θ. Εγκρίθηκε από την τριμελή εξεταστική επιτροπή την 8η Ιουνίου 007. Φαρμάκης Νικόλαος Μαχαίρα-Κολυβά Φωτεινή Μπόρα-Σέντα Ευθυμία Επ. Καθηγητής Α.Π.Θ. Επ. Καθηγήτρια Α.Π.Θ. Επ. Καθηγήτρια Α.Π.Θ. Θεσσαλονίκη, Ιούνιος 007

3 .. Αλέξανδρος Β. Μήτρου Πτυχιούχος Μαθηματικός Α.Π.Θ. Copyright Αλέξανδρος Β.Μήτρου, 007. Με επιφύλαξη παντός δικαιώματος. All rights reserved. Απαγορεύεται η αντιγραφή, αποθήκευση και διανομή της παρούσας εργασίας, εξ ολοκλήρου ή τμήματος αυτής, για εμπορικό σκοπό. Επιτρέπεται η ανατύπωση, αποθήκευση και διανομή για σκοπό μη κερδοσκοπικό, εκπαιδευτικής ή ερευνητικής φύσης, υπό την προϋπόθεση να αναφέρεται η πηγή προέλευσης και να διατηρείται το παρόν μήνυμα. Ερωτήματα που αφορούν τη χρήση της εργασίας για κερδοσκοπικό σκοπό πρέπει να απευθύνονται προς τον συγγραφέα. Οι απόψεις και τα συμπεράσματα που περιέχονται σε αυτό το έγγραφο εκφράζουν τον συγγραφέα και δεν πρέπει να ερμηνευτεί ότι εκφράζουν τις επίσημες θέσεις του Α.Π.Θ.

4

5 Διαχωριστική Ανάλυση με Εφαρμογές στην Εκπαίδευση ΠΕΡΙΛΗΨΗ Η διαχωριστική ανάλυση είναι μία στατιστική τεχνική, η οποία έχει δύο στόχους: Την διάκριση ενός πληθυσμού σε ευδιάκριτα σύνολα και την ταξινόμηση παρατηρήσεων στα παραπάνω σύνολα (χρησιμοποιώντας έναν κανόνα σχέση). Η παρούσα εργασία χωρίζεται σε δύο μέρη: Στο πρώτο μέρος (κεφάλαια -7) γίνεται μία αναφορά στις βασικές αρχές της Διαχωριστικής Ανάλυσης (Εισαγωγή, κανόνες διαχωρισμού ομάδων, έννοιες, σχέση της Διαχωριστικής Ανάλυσης με την πολλαπλή Ανάλυση Παλινδρόμησης, σχέση με την ανάλυση κατά συστάδες). Στο δεύτερο μέρος (κεφάλαιο 8) δίνονται δύο εφαρμογές της Διαχωριστικής Ανάλυσης στην Εκπαίδευση με πραγματικά στοιχεία. ΛΕΞΕΙΣ ΚΛΕΙΔΙΑ Διαχωριστική Ανάλυση, Διαχωριστική συνάρτηση, Διαχωριστική ταξινόμηση, Διαχωριστικό σκορ (αποτέλεσμα).

6

7 Διαχωριστική Ανάλυση με Εφαρμογές στην Εκπαίδευση ABSTRACT The Discriminant analysis is statistical technical, which aims at two : The discrimination of population in distinct totals and the classification of observations in these totals of (using rule relation). The present work is separated in two parts: In the first part (capital -7) becomes a report in the basic beginnings of Discriminant Analysis (Import, rules of segregation of teams, significances, relation of Discriminant Analysis with the multiple Analysis of Regression, relation with the analysis at clusters). In the second part (capital 8) are given two applications of Discriminant Analysis in the Education with real elements. WORDS KEYS Discriminant Analysis, Discriminant function, Discriminant classification, Discriminant score.

8

9 Διαχωριστική Ανάλυση με Εφαρμογές στην Εκπαίδευση ΠΡΟΛΟΓΟΣ Η διπλωματική εργασία που ακολουθεί αποτελεί το επιστέγασμα μιας επίπονης προσπάθειας 6 μηνών. Στην διάρκεια αυτών των μηνών προσπάθησα να καλύψω το θέμα «Διαχωριστική Ανάλυση», όσο καλύτερα μπορούσα και στο τέλος εγώ ο ίδιος να είμαι ευχαριστημένος από την εργασία κατά κύριο λόγο και στη συνέχεια όλοι οι άλλοι. Θέλω να ευχαριστήσω τον κύριο Φαρμάκη για την βοήθεια που με πρόσφερε, καθώς και την οικογένειά μου που όλο αυτό το διάστημα έκανε υπομονή. Θεσσαλονίκη, Ιούνιος 007 Μήτρου Αλέξανδρος

10

11 Διαχωριστική Ανάλυση με Εφαρμογές στην Εκπαίδευση Π Ι Ν Α Κ Α Σ Π Ε Ρ Ι Ε Χ Ο Μ Ε Ν Ω Ν Κ Ε Φ Α Λ Α Ι Ο ο... Εισαγωγή... Τι είναι η διαχωριστική ανάλυση... Κ Ε Φ Α Λ Α Ι Ο ο... 5 Χωρισμός και ταξινόμηση σε δύο υπο-πληθυσμούς... 5 Κανόνες διαχωρισμού ομάδων... 5 Εισαγωγή... 5 Α. Κανόνας μέγιστης πιθανοφάνειας... 5 Β. Κανόνας του Bayes... 7 Γ. Ελαχιστοποίηση του κόστους λανθασμένης κατάταξης... 8 Κ Ε Φ Α Λ Α Ι Ο 3 ο... 5 Ταξινόμηση κανονικών υπο-πληθυσμών σε δύο ομάδες... 5 Εισαγωγή Ταξινόμηση των κανονικών πληθυσμών όταν Σ =Σ =Σ Ταξινόμηση των κανονικών υπο-πληθυσμών όταν Σ Σ Η Διαχωριστική συνάρτηση του Fisher Γενίκευση Διαχωριστικής ανάλυσης του Fisher για k ομάδες... Κ Ε Φ Α Λ Α Ι Ο 4 ο... 3 Άλλες προσεγγίσεις για το διαχωρισμό ομάδων... 3 Εισαγωγή Λογιστική παλινδρόμηση Δένδρα αποφάσεων Νευρωνικά Δίκτυα... 6 Κ Ε Φ Α Λ Α Ι Ο 5 ο... 7 Διαχωριστική Ανάλυση και S.P.S.S... 7 Εισαγωγή Βασικοί όροι και έννοιες στη Διαχωριστική Ανάλυση Υποθέσεις Επαρκές μέγεθος δειγμάτων Σταδιακή διαχωριστική ανάλυση Επικύρωση (Validation)... 38

12 Μήτρου Αλέξανδρος Κ Ε Φ Α Λ Α Ι Ο 6 ο Σχέση της Διαχωριστικής Ανάλυσης με την πολλαπλή ανάλυση παλινδρόμησης Εισαγωγή Κ Ε Φ Α Λ Α Ι Ο 7 ο Σχέση με την ανάλυση κατά συστάδες Κ Ε Φ Α Λ Α Ι Ο 8 ο Παραδείγματα ΕΡΓΑΣΙΑ η ΕΡΓΑΣΙΑ η ΒΙΒΛΙΟΓΡΑΦΙΑ... 85

13 Διαχωριστική Ανάλυση με εφαρμογές στην Εκπαίδευση Κ Ε Φ Α Λ Α Ι Ο ο Εισαγωγή Τι είναι η διαχωριστική ανάλυση Ας υποθέσουμε ότι έχουμε k υπο-πληθυσμούς (ομάδες), Π, Π,, Π k με k. Για τον κάθε υπο-πληθυσμό Π k έχουμε και μία κατανομή, fk ( x ). Η διαχωριστική (ή διακριτική ή διακρίνουσα κατά άλλους Discriminant analysis), ανάλυση είναι μία στατιστική τεχνική που έχει δύο στόχους:. Την διάκριση ενός πληθυσμού σε ευδιάκριτα σύνολα (ομάδες υποπληθυσμούς) και. Την ταξινόμηση παρατηρήσεων στους προηγούμενους γνωστούς πληθυσμούς με γνωστές κατανομές για κάθε πληθυσμό, με τη βοήθεια ενός κανόνα. Η διαχωριστική ανάλυση αποτελεί μία μέθοδο με πλήθος εφαρμογών σε πολλές επιστήμες. Μερικά παραδείγματα είναι τα εξής: Στην Ιατρική συνήθως ενδιαφερόμαστε να διαγνώσουμε την ασθένεια ενός ατόμου με βάση τα συμπτώματα που αυτός έχει. Δεδομένου ότι τα συμπτώματα κάθε ασθένειας (αυτές είναι και οι ομάδες) είναι γνωστά, θέλουμε να κατασκευάσουμε έναν κανόνα, ο οποίος με βάση τα συμπτώματα να κάνει διάγνωση για τον ασθενή. Στα χρηματοοικονομικά οι τράπεζες ενδιαφέρονται να εντοπίσουν «καλούς» (αυτοί που είναι συνεπείς απέναντι στην τράπεζα) και «κακούς» (αυτοί που δεν είναι συνεπείς) πελάτες πριν τη χορήγηση κάποιου δανείου. Χρησιμοποιώντας τα στοιχεία των προηγούμενων χρόνων, μπορούν να κατασκευαστούν κανόνες, ώστε η τράπεζα να κατατάξει τους πελάτες της σε μία από τις δύο κατηγορίες (ομάδες) και να πάρει έτσι την απόφαση να δώσει ή όχι το δάνειο που της ζητήθηκε. Στις προεκλογικές εκστρατείες και δημοσκοπήσεις υπάρχει ένα έντονο πρόβλημα με τους αναποφάσιστους. Η διαχωριστική ανάλυση μπορεί να δημιουργήσει κανόνες ώστε οι αναποφάσιστοι να κατατάσσονται σε κάποια κατηγορία (ομάδα πολιτικό κόμμα). Στο χώρο του marketing όπου ζητείται ο διαχωρισμός επιτυχημένων και αποτυχημένων αγορών ή διαφημιστικών εκστρατειών. Στην πρώτη περίπτωση μια εταιρεία αποφασίζει αν θα μπει σε μια αγορά ή όχι ενώ στη δεύτερη περίπτωση ποια διαφημιστική εκστρατεία ταιριάζει σε κάθε περίπτωση.

14 Μήτρου Αλέξανδρος Στις κοινωνικές επιστήμες υπάρχει έντονο το ενδιαφέρον να κατατάξουμε ομάδες πληθυσμού σε συγκεκριμένες κοινωνικές ομάδες με βάση μια σειρά από χαρακτηριστικά που έχουν, όπως προβλήματα, οικονομικοκοινωνικά χαρακτηριστικά κ.λ.π. Τέτοιες αποφάσεις μπορούν να χρησιμοποιηθούν για τη δημιουργία συγκεκριμένης κοινωνικής πολιτικής. Μία άλλη εφαρμογή της διαχωριστικής ανάλυσης προέρχεται από το χώρο της ασφάλισης όπου μια εταιρεία πρέπει να αποφασίσει αν θα ασφαλίσει ή όχι έναν κίνδυνο (insurance risk management) χρησιμοποιώντας υπάρχοντα στοιχεία και δημιουργώντας αντίστοιχους κανόνες. Τα παραδείγματα προφανώς δεν εξαντλούνται αλλά δείχνουν την ποικιλία εφαρμογών της μεθόδου. Είναι φανερό από τα παραδείγματα ότι η κατάταξη γίνεται είτε σε δύο ομάδες (π.χ. παράδειγμα τράπεζας) είτε σε περισσότερες (π.χ. παράδειγμα ιατρικής διάγνωσης). Η διαχωριστική ανάλυση αναπτύχθηκε από τον Ronald Fisher (το 936) για την επίλυση προβλημάτων ταξινόμησης των φυτών, οι τεχνικές της μεθόδου περιγράφονται σε πολλά εγχειρίδια, όπως Cooley and Lohnes (97), Geer (97), Tatsuoka (97), Morrison (976), Klecka (980), SPSS, κ.α. Η διαχωριστική ανάλυση μπορεί να αξιοποιεί δύο τεχνικές αναλόγως του σκοπού της μελέτης. Η πρώτη περίπτωση αναφέρεται ως περιγραφική διαχωριστική ανάλυση (Descriptive Discriminant Analysis - DDA), ενώ η δεύτερη ως προβλεπτική διαχωριστική ανάλυση (Predicted Discriminant Analysis P.D.A.). Στην πρώτη θεωρείται ότι εμπίπτει η περίπτωση κατά την οποία είναι εκ των προτέρων γνωστό σε ποια ομάδα ανήκει κάθε περίπτωση μελέτης και στόχος του ερευνητή είναι να προσδιορίσει τις διαφορές μεταξύ των ομάδων μελέτης και για να καθορίσει ποιες μεταβλητές κάνουν τις διαφορές μεταξύ δύο ή περισσοτέρων ομάδων. Αντιστοίχως στη δεύτερη περίπτωση στόχος είναι η ταξινόμηση μιας νέας περίπτωσης σε μια από τις ομάδες. Η περίπτωση της PDA έχει πολλά κοινά σημεία με τις τεχνικές παλινδρόμησης, ενώ διαφέρει κυρίως στη μεταβλητή, η οποία χρησιμοποιείται για την ταξινόμηση των περιπτώσεων μελέτης, η οποία στην περίπτωση της PDA πρέπει να είναι κατηγορική. Στην PDA καθορίζεται ένα σύνολο από κανόνες, πλήθους όσες και οι κατηγορίες

15 Διαχωριστική Ανάλυση με εφαρμογές στην Εκπαίδευση ταξινόμησης, το οποίο αποτελείται από εξισώσεις γραμμικού συνδυασμού των ανεξάρτητων μεταβλητών. Για τη δημιουργία των ως άνω εξισώσεων υπολογίζονται βάρη για κάθε μεταβλητή, τα οποία σχετίζονται με τις κατηγορικές ομάδες. 3

16

17 Διαχωριστική Ανάλυση με εφαρμογές στην Εκπαίδευση Κ Ε Φ Α Λ Α Ι Ο ο Χωρισμός και ταξινόμηση σε δύο υπο-πληθυσμούς Κανόνες διαχωρισμού ομάδων Εισαγωγή Ας υποθέσουμε ότι θέλουμε να χωρίσουμε και να ταξινομήσουμε παρατηρήσεις σε δύο υπο-πληθυσμούς. Παραδείγματα:. Καλοί και κακοί πιστωτές.. Αλκοολικοί και μη αλκοολικοί. 3. Αγοραστές και μη αγοραστές ενός νέου προϊόντος κ.λ.π. Θα δούμε τους κανόνες που χρησιμοποιούνται για την κατάταξη των παρατηρήσεων. Α. Κανόνας μέγιστης πιθανοφάνειας Ο πιο απλός κανόνας, στηρίζεται στην ιδέα της πιθανοφάνειας και κατατάσσει κάθε παρατήρηση στον πληθυσμό από τον οποίο είναι πιο πιθανό να έχει προέλθει. Αν συμβολίσουμε με fi( x) την πιθανοφάνεια του i υπο-πληθυσμού, τότε ορίζουμε ως την περιοχή που κατατάσσουμε στον i υπο-πληθυσμό. Ο κανόνας μέγιστης πιθανοφάνειας ορίζει τις περιοχές ως εξής: R = { x: f ( x) > f ( x), j=,,...,k με j i} i i j Στην απλή περίπτωση που έχουμε δύο ομάδες (υπο-πληθυσμούς), ο κανόνας γίνεται ως εξής: Μία παρατήρηση x την κατατάσσουμε στην ομάδα (υπο-πληθυσμό f( x θ) ή αλλιώς και Π ), αν ισχύει >, αλλιώς την κατατάσσουμε στην ομάδα f ( x θ ) (υπο-πληθυσμό ή αλλιώς και Π ). R i Παράδειγμα ο Ας υποθέσουμε ότι η τυχαία μεταβλητή Χ παίρνει τις τιμές 0,,, Οι δύο πληθυσμοί (Π και Π ) ακολουθούν κατανομή Poisson με παραμέτρους έστω θ και λ αντίστοιχα. Ο κανόνας μέγιστης πιθανοφάνειας γίνεται ως εξής: 5

18 Μήτρου Αλέξανδρος θ e x θ Αν θ x f ( x θ ) x! e θ = = λ x λ x f ( x λ ) e λ e λ > (Ι) x! τότε την παρατήρηση x θα την κατατάξουμε στην ομάδα (Π ), αλλιώς στην ομάδα (Π ) Αν λογαριθμίσουμε την σχέση (Ι), τότε ο κανόνας για το παράδειγμά μας γίνεται ως εξής: θ x θ x e θ e θ θ log > log log + log > 0 ( λ θ ) + x log( ) > 0 λ x λ x e λ e λ λ Δηλαδή την παρατήρηση x την κατατάσσουμε στη η ομάδα, αν ( λ θ ) + θ x log( ) > λ 0, αλλιώς την κατατάσσουμε στη η ομάδα. Παράδειγμα ο Έστω ότι έχουμε δύο κανονικούς πληθυσμούς Π : N( μ, σ ) με συνάρτηση πυκνότητας πιθανότητας ( ) σ = και f ( x ) e σ π x μ Π : N ( μ, σ ) με συνάρτηση πυκνότητας πιθανότητας f ( x ) = e σ π ( ) x μ σ Ο κανόνας μέγιστης πιθανοφάνειας θα κατατάξει μία παρατήρηση στην ομάδα Π, αν x μ ( ) σ ( μ, σ ) σ x μ ( ) ( x μ, σ ) σ σ e f x e > > f δύο μέλη παίρνουμε ότι: ή λογαριθμίζοντας και τα 6

19 Διαχωριστική Ανάλυση με εφαρμογές στην Εκπαίδευση σ x μ x μ + > σ σ σ log( ) ( ) ( ) 0 x μ x μ σ < σ σ σ ( ) ( ) log( ) x x + μ x μ x + μ x μ σ log( ) < σ σ σ μ μ μ μ σ ( ) ( ) ( ) log( ) x + < σ σ σ σ σ σ σ Β. Κανόνας του Bayes Ο κανόνας της μέγιστης πιθανοφάνειας που είδαμε δεν λαμβάνει υπ όψη του τα διαφορετικά μεγέθη των υπο-πληθυσμών, δηλαδή της πιθανότητας να πάρουμε παρατήρηση από κάθε υπο-πληθυσμό. Αν συμβολίσουμε με p j την πιθανότητα να πάρουμε μια παρατήρηση από τον j υπο-πληθυσμό, τότε ο κανόνας του Bayes χρησιμοποιεί για την κατάταξη των παρατηρήσεων την εκ των υστέρων πιθανότητα η παρατήρηση να προέρχεται από τον πληθυσμό αυτόν. Η πιθανότητα αυτή είναι η: w ij = k j = p f ( x ) j j i p f ( x ) j j i Οι περιοχές R i που κατατάσσουμε στον i πληθυσμό είναι οι εξής: R = { x : p f ( x) > p f ( x), j=,,...,k j i} i i i j j Όταν έχουμε δύο ομάδες ο κανόνας γίνεται ως εξής: Μία παρατήρηση την κατατάσσουμε στην ομάδα (υπο-πληθυσμό ή αλλιώς και Π ), αν ισχύει f( x θ) p >, αλλιώς την κατατάσσουμε στην ομάδα (υπο-πληθυσμό ή αλλιώς f ( x θ ) p και Π ). Στην περίπτωση που p j κανόνα μεγίστης πιθανοφάνειας. =, για κάθε υπο-πληθυσμό ο κανόνας ταυτίζεται με τον k 7

20 Μήτρου Αλέξανδρος Γ. Ελαχιστοποίηση του κόστους λανθασμένης κατάταξης Το αναμενόμενο κόστος ταξινόμησης μιας παρατήρησης που προέρχεται από την k ομάδα (ECM Expected Cost of misclassification) δίνεται ως εξής: k E CM = p c( m k) P( m k), όπου c(m k) είναι το κόστος να k k m = κατατάξουμε την παρατήρηση στην m ομάδα, ενώ ανήκει στην k., P(m k) είναι η πιθανότητα να κατατάξουμε την παρατήρηση στην m ομάδα, ενώ ανήκει στην k, και p k είναι η εκ των προτέρων πιθανότητα (prior probability) να ανήκει μία παρατήρηση στην k ομάδα (πληθυσμό). Το συνολικό κόστος είναι ίσο με το άθροισμα των επιμέρους ECM k. Επιλέγουμε να κατατάξουμε την παρατήρηση στην ομάδα με το μικρότερο αναμενόμενο κόστος λανθασμένης κατάταξης. Έστω ότι έχουμε δύο ομάδες (k=). Τότε: ECM = p [ c( ) P( ) + c( ) P( )] = και p [0 P ( ) + c( ) P ( )] = p c( ) P ( ) ECM = p [ c( ) P( ) + c( ) P( )] = p [ c( ) P ( ) + 0 P ( )] = p c( ) P ( ) Το συνολικό κόστος είναι ίσο με: ECM=ECM +ECM = p c( ) P ( ) + p c( ) P ( ) ECM Επιλέγουμε να κατατάξουμε την παρατήρησή μας στη η ECM, αλλιώς την κατατάσσουμε στην η ομάδα. ομάδα, αν Ακολουθεί μία πρόταση η οποία χρησιμοποιεί συναρτήσεις πυκνότητας πιθανότητας των δύο πληθυσμών, για να βγάλουμε το συμπέρασμα αν μία παρατήρηση ανήκει στην η ομάδα ή όχι. 8

21 Διαχωριστική Ανάλυση με εφαρμογές στην Εκπαίδευση Πρόταση. Κατατάσσουμε την παρατήρησή μας στην η ομάδα αν f ( x ) c ( ) p ( ) ( f ( x ) c ( ) p (λόγος πυκνοτήτων) (λόγος κόστους) (λόγος εκ των προτέρων πιθανοτήτων) και κατατάσσουμε την παρατήρησή μας στην η ομάδα αν f ( x ) c ( ) < ( ) ( p ) f ( x ) c ( ) p (λόγος πυκνοτήτων) < (λόγος κόστους) (λόγος εκ των προτέρων πιθανοτήτων) Απόδειξη Ας είναι f( x) και f( x) οι συναρτήσεις πυκνότητας πιθανότητας για τους πληθυσμούς Π και Π. Έστω R η περιοχή που κατατάσσουμε τον πληθυσμό στην η ομάδα (υπο-πληθυσμό) και R =Ω-R η περιοχή που κατατάσσουμε τον πληθυσμό στην η ομάδα (υπο-πληθυσμό). Πιο πάνω έχουμε αναφέρει ότι: ECM=ECM +ECM =p c( ) P( ) + p c( ) P( ) (.) όμως P( ) = P( X R π) = f( x) dx R=Ω R (.) και P( ) = P( X R π ) = f ( x) dx (.3). R=Ω R Η σχέση (.) λόγω των (.) και (.3) γίνεται: E CM = p c( ) f ( x) dx + p c( ) f ( x) dx R R, άρα μπορούμε να όμως Ω= R R οπότε = f ( x) dx = f ( x) dx + f ( x) dx Ω R R ) γράψουμε ότι: E CM = p c( ) [ f ( x) dx] + p c( ) f ( x) dx R R R [ p c( ) f ( x) p c( ) f ( x)] dx + p c( ) = (.4) Τώρα τα p, p, c( ), c( ) είναι μη αρνητικά, επιπλέον οι συναρτήσεις πυκνότητας πιθανότητας f( x), f( x) είναι μη αρνητικές για κάθε x και είναι οι μόνες ποσότητες στο ECM που εξαρτώνται από το x. Θέλουμε το ECM να γίνεται όσο το 9

22 Μήτρου Αλέξανδρος δυνατόν πιο μικρό. Οπότε θα έχουμε από την σχέση (4) ότι θα κατατάσσουμε την παρατήρησή μας στην η f ( x ) c ( ) p ομάδα αν ( ) ( ) και σε f ( x ) c ( ) p αντίθετη περίπτωση στην η ομάδα. Ειδικές περιπτώσεις p. Αν p = (ίσες εκ των προτέρων πιθανότητες) τότε κατατάσσουμε μία παρατήρηση στην η ( ) ( ) ομάδα αν f x c, αλλιώς την κατατάσσουμε f ( x) c( ) στην η ομάδα. c( ). Αν = (ίσα κόστη) τότε κατατάσσουμε μία παρατήρηση στην η ομάδα c( ) f ( x) f ( x) p p αν, αλλιώς την κατατάσσουμε στην η ομάδα. p c( ) p 3. Αν = = ή = τότε κατατάσσουμε μία παρατήρηση στην η p ( ) c( ) p c c( ) f ( x) ομάδα αν f ( x), αλλιώς την κατατάσσουμε στην η ομάδα. Παράδειγμα o (που ταξινομεί μια νέα παρατήρηση σε έναν από τους δύο υποπληθυσμούς) Ένας ερευνητής έχει αρκετά στοιχεία διαθέσιμα για να υπολογίσει τις συναρτήσεις πυκνότητας f (x) και f (x) που συνδέονται με τους υπο-πληθυσμούς Π και Π, αντίστοιχα. Υποθέτουμε ότι c ( ) = 5 μονάδες και c ( ) = 0 μονάδες. Επιπλέον, είναι γνωστό ότι το 0% των αντικειμένων ανήκει στον ο υπο-πληθυσμό (Π ). Αυτό σημαίνει ότι οι εκ των προτέρων πιθανότητες είναι p = 0.8 και p = 0. Λαμβάνοντας υπόψη τις εκ των προτέρων πιθανότητες και τα κόστη της λάθος ταξινόμησης, μπορούμε να χρησιμοποιήσουμε τους τύπους στην παραπάνω πρόταση, για να παραγάγουμε τις περιοχές ταξινόμησης R και R. Συγκεκριμένα, έχουμε: 0

23 Διαχωριστική Ανάλυση με εφαρμογές στην Εκπαίδευση R R f f : ( ) ( ) 0.5 και f f : ( ) ( ) 0.5 ( x) 0 0. = ( x) ( x) 0 0. < = ( x) Υποθέτουμε ότι οι συναρτήσεις πυκνότητας πιθανότητας που αξιολογούνται σε μια νέα παρατήρηση x 0 δίνουν f( x0) = 0.3 και f( x0) = 0.4. Που θα ταξινομήσουμε τη νέα παρατήρηση; Στον πληθυσμό ή στον πληθυσμό ; Για να απαντήσουμε στην f( x0) 0.3 ερώτηση παίρνουμε το λόγο = = 0.75 και συγκρίνουμε το αποτέλεσμα με f ( x ) το 0.5 που βρήκαμε παραπάνω. Αφού το 0.75 > 0.5, δηλαδή f( x0) c ( ) p = 0.75 > ( ) ( ) = 0.5, βρίσκουμε ότι το x0 R και f ( x ) c( ) p 0 ταξινομείται στον πληθυσμό Π. Παράδειγμα o: Σε ένα διαλογητήριο υπάρχουν p=0.05=5% ακατάλληλα ροδάκινα. Η πιθανότητα το μηχάνημα να «δει» ως ακατάλληλο ένα υγιές ροδάκινο είναι 0%. Η πιθανότητα να «δει» υγιές ένα ακατάλληλο είναι %. Τα κόστη στις δύο περιπτώσεις είναι 0.5 ανά τεμάχιο και ανά τεμάχιο αντίστοιχα. Να υπολογιστεί το κόστος της λανθασμένης ταξινόμησης. Απάντηση: Έχουμε k= ομάδες ταξινόμησης. Ορίζουμε =υγιές και =σκάρτο. Οι αντίστοιχες πιθανότητες είναι: P =0.95 και P =0.05. Φυσικά είναι: P(/)=0.0=% και P(/)=0.0=0% οι δύο πιθανότητες λανθασμένης επιλογής και τα αντίστοιχα κόστη συμβολίζονται: C(/)=0.5 /τεμ και C(/)= /τεμ. Ακολουθούν οι υπολογισμοί των ί των ECM k, k=,: ECM = P C( /) P(/) = = /τεμ ECM = P C(/ ) P(/ ) = = /τεμ με τελικό αποτέλεσμα αναμενόμενου κόστους συνολικά και ανά τεμάχιο ECM = = /τεμ.

24 Μήτρου Αλέξανδρος Παρατήρηση η : Αν στο παραπάνω κόστος ΕCM προστεθεί το εργατικό και το μηχανικό κόστος παρατήρησης-ελέγχου τότε προκύπτει το συνολικό αναμενόμενο κόστος. Αν είναι, π.χ. L=0.050 /τεμ, τότε έχουμε συνολικό κόστος ελέγχου με συνυπάρχουσα την όποια λανθασμένη κατάταξη είναι: Ctotal = ECM + L = = /τεμ. Παρατήρηση η : Πάντοτε ισχύει ότι το κόστος C(/) είναι μεγαλύτερο από το κόστος C(/), διότι αν θεωρήσουμε ακατάλληλο ένα υγιές φρούτο τότε το κόστος είναι μόνο το κόστος απώλειας (εξαίρεσης) του εν λόγω τεμαχίου. Αντίθετα αν θεωρήσουμε υγιές ένα ακατάλληλο προϊόν τότε αυτό θα παραμείνει μεν στη συλλογή αλλά θα έχουμε επιπτώσεις μετά λόγω διαμαρτυρίας των καταναλωτών και λόγω του κινδύνου να προκύψουν ακατάλληλα και άλλα τεμάχια λόγω συνύπαρξής τους με αυτό που το σύστημα το «βλέπει» υγιές. Παρατηρήσεις Στον πίνακα που ακολουθεί συνοψίζουμε τα κριτήρια κατάταξης για την περίπτωση δύο πληθυσμών και κάνουμε κάποιες παρατηρήσεις πάνω στους κανόνες Κανόνες Κατατάσσουμε την παρατήρηση x στην η ομάδα αν ισχύει Κανόνας μέγιστης πιθανοφάνειας f( x θ) > f ( x θ ) Κανόνας του Bayes f( x θ) p > f ( x θ ) p Κανόνας ελαχιστοποίησης κόστους λανθασμένης κατάταξης f( x θ) p c( ) > f ( x θ ) p c( ) Τι παρατηρούμε από τον παραπάνω πίνακα; Οι κανόνες στον παραπάνω πίνακα ξεκινούν από τον πιο απλό και καταλήγουν στον πιο σύνθετο. Ο κανόνας πιθανοφάνειας είναι ο πιο απλός αφού στηρίζεται μόνο στο τι μοιάζει πιο πιθανό. Στον κανόνα του Bayes λαμβάνουμε υπόψη τις

25 Διαχωριστική Ανάλυση με εφαρμογές στην Εκπαίδευση σταθερά. εκ των προτέρων πιθανότητες κάθε ομάδας, ενώ στον τελευταίο κανόνα λαμβάνουμε υπόψη και τα κόστη λανθασμένης κατάταξης. f( x θ) Ουσιαστικά όλα τα κριτήρια είναι της μορφής > c όπου c είναι μία f ( x θ ) 3

26

27 Διαχωριστική Ανάλυση με εφαρμογές στην Εκπαίδευση Κ Ε Φ Α Λ Α Ι Ο 3 ο Ταξινόμηση κανονικών υπο-πληθυσμών σε δύο ομάδες Εισαγωγή Οι διαδικασίες ταξινόμησης βασισμένες στους κανονικούς πληθυσμούς υπερισχύουν στη στατιστική πρακτική λόγω της απλότητας και της εύλογα υψηλής αποδοτικότητάς τους πέρα από μια ευρεία ποικιλία των προτύπων πληθυσμών. Τώρα υποθέτουμε ότι το f ( x) και το f ( x) είναι πολλών μεταβλητών κανονικές πυκνότητες πιθανότητες, η πρώτη με μέσο διάνυσμα μ και πίνακα συνδιακύμανσης Σ και η δεύτερη με μέσο διάνυσμα μ και πίνακα συνδιακύμανσης Σ. Η ειδική περίπτωση των ίσων πινάκων συνδιακύμανσης οδηγεί σε μια ιδιαίτερα απλή γραμμική στατιστική ταξινόμησης. 3. Ταξινόμηση των κανονικών πληθυσμών όταν Σ =Σ =Σ Υποθέτουμε ότι η συνάρτηση πυκνότητας πιθανότητας της τυχαίας μεταβλητής X = ' [ X, X,..., X p ] για τους πληθυσμούς Π και Π δίνεται από τη σχέση: fi( x) = exp[ ( x μ )' ( )] p / i Σ x μi για i=, ( π ) Σ για τους πληθυσμούς Π και Π οι παράμετροι μ, μ και Σ είναι γνωστά. Η ποσότητα ( x μi)' Σ ( x μ i ) ορίζει ένα μέτρο απόστασης, γνωστό ως απόσταση Mahalanobis. Ο λογαριθμικός λόγος των πιθανοφανειών δεν είναι τίποτα άλλο από το λόγο των αποστάσεων Mahalanobis της παρατήρησης από το μέσο κάθε ομάδας. f ( x) ln ( x μ) ' = Σ ( x μ) + ( x μ) ' Σ ( x ) f( x) Σημείωση: Γενικά η απόσταση Mahalanobis είναι ένα μέτρο της απόστασης μεταξύ δύο σημείων στο διάστημα που καθορίζεται από δύο ή περισσότερες συσχετιζόμενες μεταβλητές. Η απόσταση Mahalanobis δίνεται από τον τύπο: μ 5

28 Μήτρου Αλέξανδρος T dxy (, ) = x y M x y ό M = cov( x, y) που M (, i j) = cov( x, x ) = E[( x x)( x x )] i j i i j j Από την πρόταση. (σελίδα 9) θα έχουμε: c( ) p R: exp[ ( x μ)' Σ ( x μ) + ( x μ)' Σ ( x μ)] ( ) ( ) (3.) c( ) p και c( ) p R : exp[ ( x μ)' Σ ( x μ) + ( x μ)' Σ ( x μ)]<( ) ( ) (3.) c( ) p Πρόταση Η παρατήρηση x0 κατατάσσεται στον ο πληθυσμό αν c( ) p ( μ μ) ' Σ x0 ( μ μ) ' Σ ( μ + μ) ln[( )( )] c( ) p Απόδειξη (3.3) Παίρνοντας τους φυσικούς λογαρίθμους των δύο μελών στην σχέση (3.) προκύπτει ότι c( ) p ( x μ) ' Σ ( x μ) + ( x μ ) ' Σ ( x μ) ln[( ) ( )] c( ) p c( ) p (μ μ )' Σ x (μ μ)' Σ (μ + μ) ln[( ) ( )] c( ) p οπότε αποδείχθηκε το ζητούμενο. Συνεπώς c( ) p R: ( μ μ)' Σ x ( μ μ)' Σ ( μ+ μ) ln[( ( )] c( ) p c( ) p R : ( μ μ)' Σ x ( μ μ)' Σ ( μ+ μ) < ln[( ( )] c( ) p (3.4) 6

29 Διαχωριστική Ανάλυση με εφαρμογές στην Εκπαίδευση Θα κάνουμε τώρα τη σχέση (3.3) πιο απλή. Θέτουμε c ( ) L x L k ' '( μ + μ ) = ln[( )] c( ) p p L =Σ ( μ μ) (3.5), τότε κατατάσσουμε την παρατήρηση στην η ομάδα, αλλιώς στη η. και έχουμε ότι αν Η συνάρτηση U( x) = L' x L'( μ+ μ) λέγεται και διαχωριστική συνάρτηση του Fisher. Παίρνουμε τη μέση τιμή της U( x ). Τότε έχουμε: EU [ ( x)] = L' E( x) 0.5 L'( μ+ μ). Αν η παρατήρηση x προέρχεται από την η ομάδα, τότε EU [ ( x)] = ( μ μ)' Σ ( μ μ) = α, ενώ αν η παρατήρηση x προέρχεται από τη η ομάδα, τότε EU [ ( x)] = ( μ μ)' Σ ( μ μ) = a, όπου ~ a = ( μ μ)' Σ ( μ μ) είναι η απόσταση Mahalanobis μεταξύ των μέσων των δύο ομάδων. Η διακύμανση του U( x ) δίνεται ως εξής: Var[ U ( x)] = Var[ L ' x 0.5 L '( μ + μ )] = Var[ L ' x] = L ' Var( x) L = ( μ μ)' Σ ΣΣ ( μ μ) = ( μ μ)' Σ ( μ μ) = a Από τα παραπάνω έχουμε ότι: U( x) N( a/, a),αν η παρατήρηση x προέρχεται από την η ομάδα U( x) N( a/, a),αν η παρατήρηση x προέρχεται από την η ομάδα Οι μέσες τιμές των σκορ των διαχωριστικών συναρτήσεων ονομάζονται και κεντροειδή (centroid) καθώς είναι τα διανύσματα των μέσων και ουσιαστικά καθορίζουν το κέντρο της ομάδας. Η πιθανότητα να κατατάξουμε λανθασμένα μία παρατήρηση στην η ομάδα, ενώ ανήκει πραγματικά στην η, δίνεται από τη σχέση: P( κατάταξη στην η ομάδα αν ήκει στη η ) = PU ( ( x) k U( x) N( a/, a)) = ~ ~ U( x) + a/ k+ a/ k+ a/ k+ a/ k+ a/ P P Z P Z a a a a a ~ ( ) = ( ) = ( < ) = Φ( ) όπου Φ(x) είναι η συνάρτηση κατανομής της τυποποιημένης κανονικής κατανομής. Όμοια η πιθανότητα να κατατάξουμε λάθος μία παρατήρηση στη η ομάδα ενώ ανήκει στη η ομάδα, δίνεται ως εξής: 7

30 Μήτρου Αλέξανδρος P( κατάταξη στην η ομάδα αν ήκει στη η ) = PU ( ( x) < k U( x) N( a/, a)) = U( x) a/ k a/ k a/ k a/ P P Z a a a a ~ ( < ) = ( < ) =Φ( ) ~ ~ Άρα, η συνολική πιθανότητα λάθους είναι: P( λανθασμένης κατάταξης ) = P( λανθασμένης κατάταξης αν ήκει στην η ομάδα ) P( αν ήκει στην η ομάδα) + P( λανθασμένης κατάταξης αν ήκει στην η ομάδα ) P( αν ήκει στην ηομάδα ) = a a k k+ p Φ ( ) + p[ Φ( )] (3.6) a a c ( ) p Θυμίζουμε ότι ορίσαμε το k = ln[( )] c( ) και a = ( μ p ) μ)' Σ ( μ μ Αν το k=0 τότε από τη σχέση (3.6) η πιθανότητα λανθασμένης κατάταξης γίνεται ίση με: a a α α pφ ( ) + p[ Φ ( )] = pφ ( ) + p[ Φ( )] = a a α α α α pφ ( ) + p[ Φ( )] α α Επειδή όμως η κανονική κατανομή είναι συμμετρική ισχύει ότι Φ ( ) = Φ ( ), οπότε η πιθανότητα λανθασμένης κατάταξης είναι ίση με α α α α α pφ ( ) + p[ Φ ( )] = pφ ( ) + pφ ( ) =Φ ( )( p+ p ) = α Φ ( ), αφο ύ p+ p = Παρατήρηση: Από την παραπάνω σχέση παρατηρούμε ότι όσο πιο μεγάλο είναι το α (δηλαδή πιο μακριά τα δύο κεντροειδή), τόσο πιο πετυχημένος είναι ο διαχωρισμός. Ενώ όσο πιο κοντά είναι οι πληθυσμοί, τόσο πιο δύσκολο είναι να τους ξεχωρίσουμε και πιο πιθανό να κάνουμε λάθος. 8

31 Διαχωριστική Ανάλυση με εφαρμογές στην Εκπαίδευση 3. Ταξινόμηση των κανονικών υπο-πληθυσμών όταν Σ Σ Υποθέτουμε ότι οι συναρτήσεις πυκνότητας πιθανότητας της τυχαίας μεταβλητής X = ' [ X, X,..., X p ] για τους υπο-πληθυσμούς Π και Π δίνονται από τις σχέσεις: f( x) = exp[ ( x μ / )' Σ ( x )] p μ ( π ) Σ f x = x μ Σ x μ ( ) exp[ ( / )' ( )] p ( π ) Σ για τους υπο-πληθυσμούς Π και Π οι παράμετροι μ, μ, Σ και Σ με Σ Σείναι γνωστά. R: ' ' c( ) p x'( Σ Σ ) x+ ( μσ μσ ) x k ln[( ( )] c( ) p R : ' ' c( ) p x'( Σ Σ ) x+ ( μσ μσ ) x k < ln[( ( )] c( ) p Όταν όπου Σ k = + μ Σ μ μ Σ μ Σ ' ' ln( ) ( ) (3.8) (3.7) Σ =Σ τότε στην σχέση (3.8) η παράσταση '( ) x Σ Σ παραλείπεται και προκύπτει η σχέση (3.4) Συμπέρασμα. Μία παρατήρηση x0 ανήκει στον υπο-πληθυσμό ( η ομάδα) αν ' ' c( ) p x0'( Σ Σ ) x0 + ( μ Σ μ Σ ) x 0 k ln[( ( )] c( ) p. Μία παρατήρηση x0 ανήκει στον υπο-πληθυσμό ( η ομάδα) αν ' ' c( ) p x0'( Σ Σ ) x0 + ( μ Σ μ Σ ) x 0 k < ln[( ( )], όπου το k c( ) p έχει ορισθεί στη σχέση (3.8) Στην πράξη, στο παραπάνω συμπέρασμα, τα μ, μαντικαθίστανται με τα x, x αντίστοιχα και τα Σ, με τα S, οπότε τα παραπάνω συμπεράσματα παίρνουν την εξής μορφή: 9

32 Μήτρου Αλέξανδρος Μία παρατήρηση x0 ανήκει στον υπο-πληθυσμό ( η ομάδα) αν c( ) p x '( S S ) x + ( x ' S x ' S ) x k ln[( ( )] ( ) c p αλλιώς το ανήκει στην η ομάδα. 0 x Ο παραπάνω κανόνας λέγεται Τετραγωνικός κανόνας ταξινόμησης (Quadratic Classification Rule). 3.3 Η Διαχωριστική συνάρτηση του Fisher Ο Fisher έφθασε στη γραμμική στατιστική ταξινόμησης που είδαμε παραπάνω (σχέση 3.5 σελίδα 7), χρησιμοποιώντας ένα εξ ολοκλήρου διαφορετικό επιχείρημα. Η ιδέα του Fisher ήταν να μετασχηματίσει τις πολλών μεταβλητών παρατηρήσεις x σε μεταβλητές παρατηρήσεις y τέτοιες ώστε τα y που προήλθαν στις μεταβλητές από τους πληθυσμούς Π και Π να ήταν χωρισμένα όσο το δυνατόν περισσότερο. Ο Fisher πρότεινε τους γραμμικούς συνδυασμούς (η γραμμικότητα υιοθετήθηκε για λόγους ευκολίας) του x για να δημιουργήσει τα y επειδή είναι αρκετά απλές συναρτήσεις του x που αντιμετωπίζεται εύκολα. Η προσέγγιση του Fisher δεν υποθέτει ότι οι πληθυσμοί είναι κανονικοί. Εντούτοις, σιωπηρά υποθέτει ότι οι πίνακες συνδιακύμανσης πληθυσμών είναι ίση, επειδή μια συγκεντρωμένη εκτίμηση του κοινού πίνακα συνδιακύμανσης χρησιμοποιείται. Η μετατροπή των x σε y (μονοδιάστατα σκορ) γίνεται μέσω μιας συνάρτησης που λέγεται διαχωριστική συνάρτηση (discriminant function). Τα σκορ των δύο ομάδων θα πρέπει να είναι όσο το δυνατόν πιο απομακρυσμένα, έτσι ώστε να μπορούμε εύκολα να κάνουμε διαχωρισμό και ταξινόμηση των δύο ομάδων. y Έστω λοιπόν ότι τα σκορ δίνονται ως y, y,..., y n για τον πρώτο πληθυσμό και, y,..., y n για τον δεύτερο πληθυσμό τότε ο Fisher πήρε σαν μέτρο απόστασης των δύο ομάδων την ποσότητα: D y y s = =, όπου seperation y s y = n n ( yj y) + ( y j y) j= j= n + n Σκοπός είναι να μεγιστοποιήσουμε την ποσότητα D ή την απόσταση D, καθώς αυτό σημαίνει ότι τα σκορ των δύο ομάδων θα είναι όσο γίνεται πιο διαφορετικά μεταξύ τους. 0

33 Διαχωριστική Ανάλυση με εφαρμογές στην Εκπαίδευση Έστω ο γραμμικός συνδυασμός y = Lx ' τότε πρέπει να μεγιστοποιήσουμε την [ L'( x x)] ποσότητα D =, όπου S pooled είναι η συνδυασμένη κοινή L' S L pooled (poled) εκτίμηση των πινάκων συνδιακύμανσης και ορίζεται ως εξής: S pooled = k i= ( n ) S i n k i, με n= n + n και k = (πλήθος ομάδων) Άρα για L= c S ( x x)όπου c>0, έχουμε pooled D = ( x x )' S ( x x ) pooled δηλαδή τη μέγιστη απόσταση μεταξύ των μέσων και τον καλύτερο δυνατό διαχωρισμό. Το c είναι μία σταθερά και συνήθως παίρνουμε c=. Ο διαχωριστικός κανόνας ολοκληρώνεται ορίζοντας την κρίσιμη τιμή, η οποία είναι η μέση τιμή των y και y, δηλαδή η ποσότητα y + y L x x m = = '( ) έτσι ο διαχωριστικός κανόνας είναι ο εξής: α) Μία παρατήρηση x0 ανήκει στον ο πληθυσμό αν, y = ( x x )' S x m= ( x x )' S ( x + x ή y m 0 y m 0 pooled 0 pooled ) 0 0 β) Η παρατήρηση x0 ανήκει στον ο πληθυσμό αν, y = ( x x )' S x < m= ( x x )' S ( x + x ή 0 pooled 0 pooled ) y m< 0 y < m 0 0 Η ποσότητα y0 δύο διαχωριστικοί κανόνες ταυτίζονται. m είναι ίση με τη σχέση (3.5) (σελίδα 7) για k=0. Συνεπώς οι

34 Μήτρου Αλέξανδρος 3.4 Γενίκευση Διαχωριστικής ανάλυσης του Fisher για k ομάδες Ο Fisher εναλλακτικά πρότεινε μία επέκταση της μεθόδους του για το διαχωρισμό k ομάδων. Έτσι, λοιπόν, προτείνει τη χρήση k- γραμμικών συνδυασμών της μορφής ' Lx k με να είναι τα ιδιοδιανύσματα του πίνακα Δ= ( n k) S pooled W με τον L k περιορισμό ότι LS ' pooled L= με σειρά που αντιστοιχεί στο μέγεθος των ιδιοτιμών. Δηλαδή, L είναι το ιδιοδιάνυσμα που αντιστοιχεί στην μεγαλύτερη ιδιοτιμή, L είναι το ιδιοδιάνυσμα που αντιστοιχεί στην δεύτερη μεγαλύτερη ιδιοτιμή, κ.λ.π. και k W = ni ( xi x)( xi x)' είναι ένα μέτρο της διακύμανσης των μέσων τιμών των k i= οκάδων. Η ερμηνεία των παραπάνω διαχωριστικών συναρτήσεων είναι ότι η η διαχωριστική συνάρτηση μεγιστοποιεί τις διαφορές των μέσων σε μια διάσταση. Η η διαχωριστική συνάρτηση μεγιστοποιεί την απόσταση των μέσων σε μια κατεύθυνση ορθογώνια στην η, η 3 η μας δείχνει την απόσταση σε μια 3 η διάσταση ανεξάρτητη των άλλων δύο κ.λ.π. Μπορούμε να περιγράψουμε τις διαχωριστικές συναρτήσεις σαν παράγοντες (factors) που διαχωρίζουν βέλτιστα τα κεντροειδή (μέσες τιμές) σε σχέση με τη διασπορά μέσα σε κάθε ομάδα. Διαχωριστικός κανόνας (με r διαχωριστικές συναρτήσεις) Ταξινομούμε την παρατήρηση x στην k ομάδα, αν r r [ Lm( x xk)] [ Lm( x xi)] m= k= m για όλα τα i διαφορετικά του k

35 Διαχωριστική Ανάλυση με εφαρμογές στην Εκπαίδευση Κ Ε Φ Α Λ Α Ι Ο 4 ο Άλλες προσεγγίσεις για το διαχωρισμό ομάδων Εισαγωγή Η διαχωριστική ανάλυση δεν είναι η μόνη μέθοδος που προσπαθεί να κατατάξει παρατηρήσεις σε ομάδες. Υπάρχουν και άλλες μέθοδοι που κάνουν ή προσπαθούν να κάνουν το ίδιο. Εμφανίζουν πολύ καλά αποτελέσματα. Άλλες προσεγγίσεις που μπορούμε να χρησιμοποιήσουμε εναλλακτικά είναι: Η απλή γραμμική παλινδρόμηση (αναλύεται στο κεφάλαιο 6) Η λογιστική παλινδρόμηση (logistic regression) Τα δένδρα παλινδρόμησης και ταξινόμησης (CART: Classification And Regression Trees) Τα Νευρωνικά Δίκτυα (neural netkorks) και Συνδυασμός των παραπάνω 4. Λογιστική παλινδρόμηση Συχνά οι μεταβλητές που έχουμε μπορεί να είναι ποιοτικές ή κατηγορικές. Παραδείγματος χάριν η παρουσία ή η απουσία ενός χαρακτηριστικού. Το πρόβλημα αυτό λύνεται με τη χρήση μιας μεταβλητής δίτιμης (0-απουσία, -παρουσία). Σε τέτοιες περιπτώσεις είναι καλύτερο να χρησιμοποιείται μία άλλη τεχνική, η λογιστική παλινδρόμηση. Η λογιστική παλινδρόμηση είναι γενίκευση της απλής γραμμικής παλινδρόμησης για την περίπτωση όπου η εξαρτημένη μεταβλητή είναι δίτιμη (επιτυχία=, αποτυχία =0) και οι ανεξάρτητες μεταβλητές είναι οι: X, X,..., X p. Σε αυτή την περίπτωση έχουμε: p Y Binomial p N X X X i i (, ) με i i log[ ] = 0 i i... p β + β + β + + β p pi i όταν τα δεδομένα δίνονται ως αριθμός επιτυχιών Y i σε σύνολο N i πειραμάτων ή p Y Bernoulli p X X X i i ( ) με i log[ ] = 0 i i... p β + β + β + + β p pi i όταν η Yi υποδεικνύει σε ποια ομάδα ανήκει η i παρατήρηση. Οι παραπάνω σχέσεις είναι γνωστές ως σχέσεις (εξισώσεις) logit. Η πιθανότητα για κάθε παρατήρηση να ανήκει στη η ή η ομάδα είναι ίση με 3

36 Μήτρου Αλέξανδρος β 0+ βxi X pi e pi =. Αν πάρουμε ίσα κόστη και εκ των προτέρων πιθανότητες β0+ βxi X p + i e τότε η i παρατήρηση ανήκει στην η ομάδα (Υ=) αν ομάδα (Y=0). p 0.5, αλλιώς ανήκει στη η i Η λογιστική παλινδρόμηση μπορεί να γενικευτεί για την περίπτωση περισσοτέρων από πληθυσμούς με τη χρήση της multinomial logistic regression. Βασικά, το μοντέλο υποθέτει ότι σε κάθε παρατήρηση Y i είναι μια παρατήρηση από μια πολυωνυμική κατανομή με πιθανότητες p j j=,,,k με k j= p j =. Η μεταβλητή Yi περιέχει την τιμή που καθορίζει την ομάδα όπου ανήκει η παρατήρηση. Στη συνέχεια συνδέουμε τις πιθανότητες με τη χρήση του logit μετασχηματισμού με τις μεταβλητές που θα χρησιμοποιήσουμε για την κατασκευή του κανόνα κατάταξης. Με τη χρήση αυτού του μοντέλου εκτιμάμε τις πιθανότητες κάθε ομάδας και επομένως μπορούμε να κατατάξουμε τις παρατηρήσεις με βάση τη μεγαλύτερη πιθανότητα. 4. Δένδρα αποφάσεων Τα δένδρα αποφάσεων χωρίζονται σε δύο μεγάλες κατηγορίες με πολλά κοινά χαρακτηριστικά. Αυτές είναι: Τα δένδρα ταξινόμησης (classification trees) Τα δένδρα παλινδρόμησης (regression trees) Η βασική διαφορά είναι ότι στα δένδρα ταξινόμησης καταλήγουμε σε κάποια απόφαση που κατατάσσει την παρατήρηση σε κάποια ομάδα, ενώ στα δένδρα παλινδρόμησης καταλήγουμε σε μια τιμή που είναι η τιμή πρόβλεψης που έχουμε για την παρατήρησή μας. Τα δένδρα παλινδρόμησης και κατάταξης συνδέονται περισσότερο με την ανάλυση σε ομάδες παρά με την διαχωριστική ανάλυση. Η μέθοδος ξεκινάει με όλες τις παρατηρήσεις σε μια ομάδα και «σπάει» το δείγμα σε ομάδες ανάλογα με τα χαρακτηριστικά τους, (π.χ. ηλικία >50). Η διαδικασία συνεχίζεται μέχρι ένας κανόνας παύσης ικανοποιηθεί. Η μέθοδος αναπτύχθηκε κυρίως από τους Breiman (984) και είναι διαθέσιμη στο στατιστικό πακέτο SPLUS. 4

37 Διαχωριστική Ανάλυση με εφαρμογές στην Εκπαίδευση Παράδειγμα Έστω ότι μια τράπεζα έχει στη διάθεσή της τις μεταβλητές: μισθό, ιστορικό κακής πληρωμής και το αν είναι πελάτης ή όχι και θέλει να εξετάσει σε ποιους μελλοντικούς πελάτες θα πρέπει να δώσει δάνειο. Τότε ένα δένδρο ταξινόμησης είναι δυνατό να δίνεται ως εξής: ΜΙΣΘΟΣ > 5000 ΝΑΙ ΟΧΙ ΙΣΤΟΡΙΚΟ ΚΑΘΥΣΤΕΡΗΜΕ- ΝΗΣ ΠΛΗΡΩΜΗΣ GROUP ΟΧΙ ΝΑΙ ΠΕΛΑΤΗΣ ΤΗΣ ΤΡΑΠΕΖΑΣ GROUP ΝΑΙ ΟΧΙ GROUP GROUP 5

38 Μήτρου Αλέξανδρος Από το παραπάνω δένδρο βλέπουμε ότι έχουμε ομάδες. Η τράπεζα μπορεί να αποφασίσει τελικά να δίνει δάνειο αν ο μισθός είναι τουλάχιστον 5000, αν δεν έχει ιστορικό καθυστερημένης πληρωμής και αν είναι πελάτης. Συνήθως στα δένδρα ταξινόμησης χρειάζεται να κατηγοριοποιήσουμε τις συνεχείς μεταβλητές, ώστε να δουλέψουν καλύτερα οι αλγόριθμοι και αυτό μπορεί να οδηγήσει σε χάσιμο πληροφορίας. 4.3 Νευρωνικά Δίκτυα Υπάρχουν τέλος και τα νευρωνικά δίκτυα, μία εντατικά υπολογιστική προσέγγιση, η οποία μετατρέπει εισερχόμενη πληροφορία σε επιθυμητή εξερχόμενη πληροφορία. Η επεξεργασία της πληροφορίας βασίζεται σε συνδυασμένα δίκτυα μικρών επεξεργαστικών ομάδων, οι οποίες λέγονται νευρώνες (neuron) ή και κόμβοι (nodes). Τα νευρωνικά δίκτυα αποτελούν μία απλοποιημένη εφαρμογή του τρόπου λειτουργίας του ανθρώπινου μυαλού. Τρία είναι τα βασικά στοιχεία ενός νευρωνικού δικτύου: οι βασικές μονάδες υπολογισμού (νευρώνες ή κόμβοι), η δικτυακή αρχιτεκτονική, δηλαδή οι συνδέσεις μεταξύ των μονάδων υπολογισμού, και ο αλγόριθμος κατάρτισης που χρησιμοποιείται για να βρει τις τιμές των παραμέτρων δικτύων (βάρη) για την εκτέλεση ενός ιδιαίτερου στόχου. Τα νευρωνικά δίκτυα μπορούν να χρησιμοποιηθούν για τη διάκριση και την ταξινόμηση με επιδόσεις ανάλογες της λογιστικής παλινδρόμησης και της διαχωριστικής ανάλυσης. 6

39 Διαχωριστική Ανάλυση με εφαρμογές στην Εκπαίδευση Κ Ε Φ Α Λ Α Ι Ο 5 ο Διαχωριστική Ανάλυση και S.P.S.S. Εισαγωγή Η διαχωριστική ανάλυση χρησιμοποιείται για να ταξινομήσει τις περιπτώσεις, στις τιμές μιας κατηγορικής εξαρτώμενης μεταβλητής, συνήθως μιας διχοτομίας. Εάν η διαχωριστική ανάλυση λειτουργίας είναι αποτελεσματική για ένα σύνολο στοιχείων, ο πίνακας ταξινόμησης των σωστών και επακριβών εκτιμήσεων θα παραγάγει ένα υψηλό ποσοστό επιτυχίας. Εάν η εξαρτημένη μεταβλητή έχει δύο κατηγορίες, η Διαχωριστική Ανάλυση ονομάζεται απλή ή - ομάδα D.A (Discriminant Analysis D.A.), ενώ αν η εξαρτημένη μεταβλητή έχει περισσότερες από δύο κατηγορίες τότε μιλάμε για την πολλαπλάσια διαχωριστική ανάλυση (Multiple Discriminant Analysis M.D.A.). Υπάρχουν διάφοροι σκοποί για τη D.A ή/και M.D.A.: Να ταξινομήσει τις περιπτώσεις, στις ομάδες που χρησιμοποιούν μια διαχωριστική εξίσωση πρόβλεψης. Να εξετάσουν τη θεωρία με την παρατήρηση, εάν οι περιπτώσεις είναι ταξινομημένες όπως προβλέπονται. Να ερευνήσουν τις διαφορές μεταξύ των ομάδων. Να καθορίσουν τον πιο φειδωλό τρόπο που θα κάνει τη διάκριση μεταξύ των ομάδων. Να καθορίσουν τα τοις εκατό της διαφοράς στην εξαρτώμενη μεταβλητή που εξηγείται από τις ανεξάρτητες μεταβλητές. Να καθορίσει τα τοις εκατό της διαφοράς στην εξαρτώμενη μεταβλητή που εξηγείται από τις ανεξάρτητες επιπλέον της διαφοράς που αποτελείται από τις μεταβλητές ελέγχου, που χρησιμοποιούν τη διαδοχική διαχωριστική ανάλυση. Να αξιολογήσει την ανάλογη σημασία των ανεξάρτητων μεταβλητών στην ταξινόμηση της εξαρτώμενης μεταβλητής. Να απορρίψουν τις μεταβλητές που συσχετίζονται ελάχιστα με τις διακρίσεις ομάδας. 7

40 Μήτρου Αλέξανδρος Η Διαχωριστική Ανάλυση έχει δύο βήματα:. Μία δοκιμή F (Wilks lambda λ του Wilks) που χρησιμοποιείται για να εξετάσει εάν το διακρίνον πρότυπο συνολικά είναι σημαντικό, και. εάν η δοκιμή F παρουσιάζει σημασία, κατόπιν οι μεμονωμένες ανεξάρτητες μεταβλητές αξιολογούνται, για να δουν όποιες διαφέρουν σημαντικά στο μέσο όρο από την ομάδα και αυτές χρησιμοποιούνται για να ταξινομήσουν την εξαρτώμενη μεταβλητή. 5. Βασικοί όροι και έννοιες στη Διαχωριστική Ανάλυση Ακολουθούν έννοιες στη Διαχωριστική Ανάλυση, για τις οποίες γίνεται αναφορά στο στατιστικό πακέτο S.P.S.S. ) Διαχωριστικές μεταβλητές (Discriminant Variables): Αυτές είναι οι ανεξάρτητες μεταβλητές που συμμετέχουν στην ανάλυση. ) Η μεταβλητή κριτηρίου (the criterion variable): Αυτή είναι η εξαρτημένη μεταβλητή, αποκαλούμενη επίσης και μεταβλητή ομαδοποίησης στο S.P.S.S. Είναι το αντικείμενο των προσπαθειών ταξινόμησης. 3) Διαχωριστική συνάρτηση (Discriminant Function): Μια διαχωριστική συνάρτηση, αποκαλούμενη επίσης και κανονική ρίζα, είναι μια αφανής μεταβλητή που δημιουργείται ως γραμμικός συνδυασμός διαχωριστικών (ανεξάρτητων) μεταβλητών. Η τεχνική της διαχωριστικής ανάλυσης είναι κατά βάση μηχανισμός αναζήτησης του γραμμικού συνδυασμού ανεξάρτητων μεταβλητών με τον υπολογισμό των κατάλληλων συντελεστών, ώστε οι επιλεγόμενες διαχωριστικές μεταβλητές να διαχωρίζονται καλύτερα (να μεγιστοποιούν την απόσταση) μεταξύ των ομάδων της εξαρτημένης μεταβλητής, έτσι που τελικά ο λόγος του αθροίσματος των τετραγώνων των διαχωριστικών βαθμών (discriminant score) μεταξύ των ομάδων προς το ολικό άθροισμα των τετραγώνων να είναι όσο το δυνατόν μεγαλύτερος. Η γραμμική διαχωριστική συνάρτηση (είναι όμοια με αυτήν της πολλαπλής γραμμικής παλινδρόμησης), δίνεται από τη σχέση: D = a+b X + b X b X (5.) i i i ik k 8

41 Διαχωριστική Ανάλυση με εφαρμογές στην Εκπαίδευση ή από τη σχέση D = dz+ dz+ + dz, (5.) i i i... ik k όπου D i είναι ο διαχωριστικός βαθμός (αναλύεται παρακάτω) στη συνάρτηση i, X i οι μη τυποποιημένες τιμές των k ανεξάρτητων διαχωριστικών μεταβλητών, Zi οι τυποποιημένες τιμές τους, a μία σταθερά, b ik είναι οι μη τυποποιημένοι διαχωριστικοί συντελεστές συνάρτησης και d ik είναι οι τυποποιημένοι διαχωριστικοί συντελεστές συνάρτησης). Τόσο οι συντελεστές b όσο και οι d καλούνται συντελεστές κανονικοποιημένης διαχωριστικής συνάρτησης. Οι τιμές των συντελεστών d ik ik ik υπολογίζονται έτσι ώστε οι τιμές της διαχωριστικής συνάρτησης να διαφέρουν μεταξύ των ομάδων όσο το δυνατόν περισσότερο. 3α) Αριθμός διαχωριστικών συναρτήσεων (Number of discriminant functions): Ο μέγιστος αριθμός των διαχωριστικών συναρτήσεων που μπορούν να προκύψουν σε πρόβλημα διαχωριστικής ανάλυσης είναι είτε κατά μία μονάδα μικρότερος του αριθμού των ομάδων της εξαρτημένης μεταβλητής, είτε ίσος με τον αριθμό των διαχωριστικών μεταβλητών. Τέσσερις ομάδες μπορούν να περιγραφούν ικανοποιητικά από δύο συναρτήσεις, έστω και αν με αυτές δεν συγκεντρώνεται όλη η αναγκαία πληροφορία από τις διαχωριστικές μεταβλητές. Μικρό ποσοστό πληροφορίας που θα μπορούσε να δώσει μία τρίτη διαχωριστική συνάρτηση είναι στατιστικά μη σημαντικό, έτσι αυτή η συνάρτηση αγνοείται. 3β) Οι συντελεστές της Διαχωριστικής ανάλυσης (Discriminant Coefficients): Όπως είπαμε πιο πάνω η γραμμική διαχωριστική συνάρτηση, δίνεται από τη σχέση: D = a+b X + b X b X, i i i ik k όπου D i είναι ο διαχωριστικός βαθμός στη συνάρτηση i, X i οι μη τυποποιημένες τιμές των k ανεξάρτητων διαχωριστικών μεταβλητών, a μία σταθερά, b ik είναι οι μη τυποποιημένοι διαχωριστικοί συντελεστές συνάρτησης. Αυτοί οι συντελεστές 9

42 Μήτρου Αλέξανδρος απεικονίζουν τη μοναδική συμβολή κάθε μεταβλητής στην ταξινόμηση της μεταβλητής κριτηρίου. 3γ) Οι τυποποιημένοι συντελεστές της Διαχωριστικής Ανάλυσης (Standardized Discriminant Coefficients): Η γραμμική διαχωριστική συνάρτηση, μπορεί να δοθεί και από τη σχέση Di = dz i + dz i dz ik k όπου Di είναι ο διαχωριστικός βαθμός στη συνάρτηση i, των διαχωριστικών μεταβλητών και οι συντελεστές Z i οι τυποποιημένες τιμές είναι οι τυποποιημένοι διαχωριστικοί συντελεστές συνάρτησης. Η σημασία τους αξιολογείται σχετικά με το πρότυπο που αναλύεται. Η προσθήκη ή η διαγραφή των μεταβλητών στο πρότυπο μπορεί να αλλάξει προφανώς αυτούς τους συντελεστές. Αυτοί οι τυποποιημένοι συντελεστές μπορούν να βγουν αν πολλαπλασιάσουμε τους μη τυποποιημένους συντελεστές με τη συνδυασμένη εκτίμηση των τυπικών τους αποκλίσεων. d ik 3δ) Διαχωριστικός βαθμός αποτέλεσμα (Discriminant score): Είναι η αξία ως αποτέλεσμα της εφαρμογής μιας διαχωριστικής συνάρτησης, για μια δεδομένη περίπτωση (παρατήρηση). Δηλαδή, με βάση τους μη τυποποιημένους συντελεστές της διαχωριστικής συνάρτησης και τις μη τυποποιημένες τιμές ή με βάση τους τυποποιημένους συντελεστές της διαχωριστικής συνάρτησης και τις τυποποιημένες τιμές των επιμέρους ανεξάρτητων μεταβλητών για δεδομένη παρατήρηση, υπολογίζεται για την παρατήρηση αυτή ο διαχωριστικός βαθμός. Οι παρατηρήσεις στη συνέχεια, με βάση τους διαχωριστικούς βαθμούς κατηγοριοποιούνται σε ομάδες της εξαρτημένης μεταβλητής, κάθε δε ομάδα αντιπροσωπεύεται από κάποιο μέσο διαχωριστικό βαθμό (κεντροειδές της ομάδας centroid). Το άθροισμα των κεντροειδών των ομάδων ισούται με μηδέν, γι αυτό και ένα τουλάχιστον από αυτά έχει αρνητική τιμή. Στο S.P.S.S. υπολογίζονται τα σκορ-αποτελέσματα και αν θέλουμε σώζονται ως εξής Analyze Classify Discriminant μετά διαλέγουμε το υπό-μενού Save και τσεκάρουμε την επιλογή Discriminant scores. 30

43 Διαχωριστική Ανάλυση με εφαρμογές στην Εκπαίδευση 3ε) Pairwise group comparisons: Παρουσιάζουν τις αποστάσεις μεταξύ των μέσων ομάδας (της εξαρτώμενης μεταβλητής) στο πολυδιάστατο διάστημα που διαμορφώνεται από τις διαχωριστικές συναρτήσεις. (Μη εφαρμόσιμος στην δύο-ομάδα DA, όπου υπάρχει μόνο μια συνάρτηση). Ο πίνακας συγκρίσεων ομάδας δίνει τους δείκτες F (βασισμένους στις αποστάσεις Mahalanobis μεταξύ των αποστάσεων των μέσων ομάδας ανά ζεύγη), επιτρέποντας στον ερευνητή να καθορίσει εάν κάθε ομάδα σημαίνει ότι είναι σημαντικά απόμακρη από κάθε άλλη ομάδα. Στο S.P.S.S. βρίσκεται ως εξής Analyze Classify Discriminant μετά διαλέγουμε το υπό-μενού method. 3στ) Η ιδιοτιμή (the eigenvalue): Αποκαλούμενο επίσης και χαρακτηριστική ρίζα κάθε διαχωριστικής συνάρτησης. Είναι χρήσιμες ως δείκτες μέτρησης της διασποράς των κεντροειδών (centroids), στον αντίστοιχο πολυμεταβλητό χώρο. Η τιμή της χαρακτηριστικής ρίζας εκφράζει το λόγο του αθροίσματος των τετραγώνων των διαχωριστικών βαθμών μεταξύ των ομάδων της εξαρτημένης μεταβλητής προς το άθροισμα των τετραγώνων των διαχωριστικών βαθμών εντός των ομάδων. Γι αυτό και η χαρακτηριστική ρίζα αποτελεί, μέσω των διαχωριστικών βαθμών στις ομάδες, δείκτη της αποτελεσματικότητας της διαχωριστικής συνάρτησης και δείκτη επιλογής του αριθμού των διαχωριστικών συναρτήσεων. Όσο η τιμή της είναι μεγαλύτερη, τόσο πιο «τέλεια» είναι η διαχωριστική συνάρτηση. Υπάρχει ένα eigenvalue (ιδιοτιμή χαρακτηριστική ρίζα) για κάθε διαχωριστική συνάρτηση. Για την δύο-ομάδα DA, υπάρχει μια διαχωριστική συνάρτηση και επομένως ένα eigenvalue, το οποίο αποτελεί 00% της εξηγημένης διασποράς. Εάν υπάρχουν περισσότερες από μία διαχωριστικές συναρτήσεις, η πρώτη θα είναι η μεγαλύτερη και η σημαντικότερη, η δεύτερη η αμέσως σημαντικότερη στην επεξηγηματική δύναμη, και τα λοιπά. Στο S.P.S.S. οι χαρακτηριστικές ρίζες (ιδιοτιμές) βρίσκονται ως εξής: Analyze Classify Discriminant και μετά διαλέγουμε το υπό-μενού Statistics. 3

44 Μήτρου Αλέξανδρος 3ζ) Το σχετικό ποσοστό (the relative percentage): Το σχετικό ποσοστό μιας διαχωριστικής συνάρτησης είναι ίσο με την ιδιοτιμή (eigenvalue) μιας συνάρτησης που διαιρείται με το άθροισμα των ιδιοτιμών όλων των διαχωριστικών συναρτήσεων στο πρότυπο (μοντέλο). Κατά συνέπεια είναι το επί τοις εκατό της διαχωριστικής δύναμης για το πρότυπο που συνδέεται με μια δεδομένη διαχωριστική συνάρτηση. Το σχετικό ποσοστό, χρησιμοποιείται για να πει πόσες συναρτήσεις είναι σημαντικές. 3η) Ο δείκτης κανονικής συσχέτισης R (the canonical correlation): Ο δείκτης κανονικής συσχέτισης παίρνει τιμές από μηδέν μέχρι και ένα. Μας δείχνει πόσο συσχέτιση υπάρχει μεταξύ των ομάδων και των σκορ των διαχωριστικών συναρτήσεων. Όταν ο δείκτης R είναι μηδέν, τότε δεν υπάρχει καμία σχέση μεταξύ των ομάδων και της διαχωριστικής συνάρτησης. Όταν ο δείκτης είναι μεγάλος, τότε λέμε ότι υπάρχει ένας υψηλός βαθμός συσχέτισης μεταξύ των διαχωριστικών συναρτήσεων και των ομάδων. 3θ) Πίνακας και συναρτήσεις κεντροειδών (Functions at group centroids): Ο πίνακας των κεντροειδών μας δίνει τη μέση τιμή της κάθε κανονικοποιημένης διαχωριστικής συνάρτησης για κάθε ομάδα. Θέλουμε τα μέσα αυτά να είναι καλά χώρια, ώστε να παρουσιάσουμε ότι η διαχωριστική συνάρτηση κάνει σωστά τις διακρίσεις. Όσο πιο κοντά είναι τα μέσα, τόσο περισσότερα λάθη της ταξινόμησης πιθανόν θα υπάρξουν. Το S.P.S.S. παράγει έναν πίνακα κεντροειδών ως εξής: Analyze Classify Discriminant μετά διαλέγουμε το υπό-μενού method. 4) Ερμηνεία των διαχωριστικών συναρτήσεων Συντελεστές δομών και πίνακας δομών: Ο πίνακας δομής (structure matrix) μας δίνει τους δείκτες συσχέτισης κάθε ανεξάρτητης μεταβλητής με τις διαχωριστικές συναρτήσεις και μπορούν να χρησιμοποιηθούν για να αξιολογήσουμε πόσο σημαντική είναι κάθε μεταβλητή για την κατασκευή της διαχωριστικής συνάρτησης. Το S.P.S.S. παράγει τον πίνακα δομών ως εξής: Analyze Classify Discriminant μετά διαλέγουμε το υπό-μενού method. 3

45 Διαχωριστική Ανάλυση με εφαρμογές στην Εκπαίδευση 5) Test of significance 5α) Model Wilk s lambda (πρότυπο Wilk s lambda λ του Wilks): Χρησιμοποιείται για να εξετάσει τη σημασία της διαχωριστικής συνάρτησης συνολικά. Στο S.P.S.S., ο πίνακας "Wilk s lambda" θα παρουσιάσει έναν πίνακα για τον έλεγχο των διακυμάνσεων, όπου εκεί θα έχει μία στήλη με το Wilk s lambda. Τα "significance", δείχνουν το επίπεδο σημασίας της διαχωριστικής συνάρτησης συνολικά. Το Wilk s lambda είναι το ποσοστό της διακύμανσης που δεν εξηγείται από το μοντέλο της ανάλυσης της διακύμανσης. Στο SPSS βρίσκεται ως εξής: Analyze Classify Discriminant μετά διαλέγουμε το υπό-μενού Statistics. 5β) Το σταδιακό Wilk s lambda: Σε κάθε βήμα επιλέγουμε ποια μεταβλητή θα εισαγάγουμε στο μοντέλο, με βάση τη μείωση στο Wilk s lambda (λ του Wilks). Για κάθε ανεξάρτητη μεταβλητή υπολογίζεται ένα F test το οποίο βασίζεται στη διαφορά μεταξύ των Wilk s lambda για τα μοντέλα με και χωρίς την αντίστοιχη μεταβλητή. Στο S.P.S.S το σταδιακό λ του Wilks βρίσκεται ως εξής: Analyze Classify Discriminant μετά διαλέγουμε το υπό-μενού method. 5γ) Πίνακας ANOVA: Ο πίνακας ANOVA για τα διαχωριστικά αποτελέσματα είναι μια άλλη γενική δοκιμή του προτύπου της DA (Discriminant Analysis). Είναι ένα F test, όπου αν το significance που υπολογίσθηκε, είναι μικρότερο της στάθμης σημαντικότητας που έχουμε ορίσει, τότε αυτό σημαίνει ότι το πρότυπο μοντέλο διαφοροποιεί τα διαχωριστικά αποτελέσματα μεταξύ των ομάδων (δηλαδή, η αρχική υπόθεση ότι οι ομάδες δεν διαφέρουν, δεν γίνεται δεκτή). Λαμβάνεται στο SPSS ως εξής: Analyze Classify Discriminant μετά διαλέγουμε το υπό-μενού Statistics. 5δ) Μεταβλητή Wilk s lambda: Χρησιμοποιείται για να εξετάσει ποιες ανεξάρτητες μεταβλητές συμβάλλουν σημαντικά στη discriminant συνάρτηση. Όσο μικρότερο το Wilk s lambda για μια ανεξάρτητη μεταβλητή, τόσο περισσότερο η μεταβλητή συμβάλλει στη διαχωριστική 33

46 Μήτρου Αλέξανδρος συνάρτηση. Το Wilk s lambda κυμαίνεται από το μηδέν έως το ένα. Τιμές κοντά στο μηδέν υποδεικνύουν ισχυρές διαφορές ανάμεσα στις ομάδες, ενώ τιμές κοντά στο ένα ότι δεν υπάρχουν διαφορές. Το test F του Wilk s lambda παρουσιάζει τις συνεισφορές των μεταβλητών που είναι σημαντικές. Το λάμδα του Wilks καλείται μερικές φορές στατιστική του u. Στο S.P.S.S., αυτή η χρήση του Wilk s lambda είναι στο "έλεγχο των διακυμάνσεων για τις μέσες τιμές των ομάδων. Στο SPSS βρίσκεται ως εξής: Analyze Classify Discriminant μετά διαλέγουμε το υπό-μενού Statistics. 5ε) Η Απόσταση Mahalanobis, το Rao s V: Είναι δείκτες (όπως και το Wilks lambda) που δείχνουν το βαθμό στον οποίο μία διαχωριστική συνάρτηση κάνει διάκριση μεταξύ των ομάδων. Στο S.P.S.S βρίσκεται ως εξής: Analyze Classify Discriminant μετά διαλέγουμε το υπό-μενού method. 6) Συναρτήσεις και συντελεστές ταξινόμησης του Fisher: Άλλη μέθοδο υπολογισμού των διαχωριστικών βαθμών. Οι συντελεστές αυτοί είναι ανάλογοι των μη τυποποιημένων συντελεστών (unstandardized function coefficients). Στο S.P.S.S. βρίσκεται ως εξής Analyze Classify Discriminant μετά διαλέγουμε το μενού Statistics και τσεκάρουμε την επιλογή Fisher s. 7) Πίνακας ταξινόμησης (Classification table): Ο πίνακας αυτός είναι χρήσιμος για τον υπολογισμό της επιτυχίας της Διαχωριστικής Ανάλυσης. Στον πίνακα αυτόν στις σειρές είναι οι παρατηρηθείσες κατηγορίες, ενώ στις στήλες είναι οι προβλεφθείσες. Το ποσοστό στη διαγώνιο είναι το ποσοστό των σωστών ταξινομήσεων. Αυτό το ποσοστό ονομάζεται hit ratio. Στο SPSS, ο πίνακας ταξινόμησης βρίσκεται ως εξής: Analyze Classify Discriminant και μετά διαλέγουμε το υπό-μενού Classification. 34