ΣΧΟΛΗ ΕΠΙΣΤΗΜΩΝ & ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΤΜΗΜΑ ΣΤΑΤΙΣΤΙΚΗΣ ΜΕΤΑΠΤΥΧΙΑΚΟ. Fuzzy Clustering. Μαγδαληνή Ευαγγέλου Κουμπαρούλη

Transcript

1 ΣΧΟΛΗ ΕΠΙΣΤΗΜΩΝ & ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΤΜΗΜΑ ΣΤΑΤΙΣΤΙΚΗΣ ΜΕΤΑΠΤΥΧΙΑΚΟ Fuzzy Clustering Μαγδαληνή Ευαγγέλου Κουμπαρούλη ΕΡΓΑΣΙΑ Που υποβλήθηκε στο Τμήμα Στατιστικής του Οικονομικού Πανεπιστημίου Αθηνών ως μέρος των απαιτήσεων για την απόκτηση Μεταπτυχιακού Διπλώματος Συμπληρωματικής Ειδίκευσης στη Στατιστική Μερικής Παρακολούθησης (Part-time) Αθήνα Μάρτιος 2018

2

3 ΑΦΙΕΡΩΣΗ Στην Ειρήνη μου και στον Σωτήρη μου

4

5 ΕΥΧΑΡΙΣΤΙΕΣ Στο σημείο αυτό θα ήθελα να ευχαριστήσω την κυρία Ιουλία Παπαγεωργίου, επίκουρη καθηγήτρια του τμήματος Στατιστικής στο Οικονομικό Πανεπιστήμιο Αθηνών, η οποία δέχτηκε με μεγάλη προθυμία να αναλάβει την επίβλεψη της διπλωματικής μου εργασίας. Με την Κα Παπαγεωργίου είχα μια άψογη συνεργασία και μια υπέροχη επικοινωνία. Επίσης, πιστεύοντας στις δυνατότητες μου και στηρίζοντάς με, συνέβαλλε αποτελεσματικά στην όμορφη ολοκλήρωση της πορείας του μεταπτυχιακού μου διπλώματος. Επιπλέον, θα ήθελα να ευχαριστήσω τους ανθρώπους που με τον τρόπο τους συμμετείχαν στο ταξίδι αυτό. Τον άνθρωπό μου, Σωτήρη, που με στήριξε τις στιγμές που εγώ αμφέβαλλα για τις στατιστικές μου δυνατότητες. Την αδερφή μου, Ειρήνη, που με έμαθε να μη σταματώ και να εξελίσσομαι συνέχεια και τους γονείς μου, Βαγγέλη & Δήμητρα, για την οικονομική αλλά κυρίως ψυχολογική και ηθική στήριξη στην πανεπιστημιακή μου πορεία. Τέλος, θα ήθελα να ευχαριστήσω όλο το διδακτικό προσωπικό του τμήματος Στατιστικής για τις γνώσεις που αποκόμισα και τα εργαλεία που απέκτησα ως εφόδια για την μελλοντική επαγγελματική μου πορεία καθώς και ένα ευχαριστώ σε κάθε άτομο που συνέβαλε στη σωστή λειτουργία του μεταπτυχιακού προγράμματος. I

6 II

7 ΒΙΟΓΡΑΦΙΚΟ ΣΗΜΕΙΩΜΑ Ονομάζομαι Μαγδαληνή Κουμπαρούλη και γεννήθηκα στο Μαρούσι Αττικής στις 7 Φεβρουαρίου του Μεγάλωσα στο Νέο Ηράκλειο Αττικής και μέσω των πανελληνίων εξετάσεων μπήκα με απόλυτη επιτυχία, ως πρώτη εισακτέα, στο τμήμα της Στατιστικής του Οικονομικού Πανεπιστημίου Αθηνών το οποίο αποτελούσε την επιθυμία μου. Παράλληλα με τις προπτυχιακές μου σπουδές ασχολήθηκα με ζέση με τη σπουδή του κλασσικού χορού. Η επιθυμία μου για νέες πολύ-πολιτισμικές εμπειρίες με οδήγησε για ένα εξάμηνο στη Νορβηγία μέσω του προγράμματος Erasmus. Με το πέρας του προπτυχιακού προγράμματος, λόγω του έντονου ενδιαφέροντός μου για τη στατιστική, επέλεξα να εμπλουτίσω τις γνώσεις μου κάνοντας μεταπτυχιακές σπουδές στο πρόγραμμα της «Εφαρμοσμένης Στατιστικής» του Οικονομικού Πανεπιστημίου Αθηνών. Καθ όλη τη διάρκεια των σπουδών μου εργάστηκα ως βοηθός λογιστή ενώ τα τελευταία χρόνια δραστηριοποιήθηκα στην υποστήριξη φοιτητών πάνω στη στατιστική. Γνωρίζω άριστα την αγγλική γλώσσα, όπως και τα στατιστικά προγράμματα R, SPSS, E-views και Minitab και τέλος το λογιστικό πρόγραμμα Calculus καθώς και τα εργαλεία του Microsoft Office. Τα ενδιαφέροντά μου περιλαμβάνουν την ποδηλασία, την κολύμβηση, τη Forrest yoga, τη διατροφή καθώς και την ψυχολογία. Τέλος, μερικά από τα στοιχεία που με χαρακτηρίζουν είναι η εργατικότητα, η προθυμία, η θετικότητα, ο οραματισμός, το άγχος και η αλληλεγγύη. III

8 IV

9 ABSTRACT Magdalini Koubarouli Fuzzy Clustering March 2018 Clustering is the classification of objects into different groups, or more precisely, the partitioning of a data set into subsets (clusters), so that the data in each subset shares some common features. The objective of this thesis is to represent an alternative clustering technique which is among the most famous, called as Fuzzy c-means algorithm. Fuzzy clustering methods, like Fuzzy c-means and Gustafson Kessel extension presented in this dissertation, allow the objects to belong to several clusters simultaneously with different degrees of membership. Fuzzy c-means and Gustafson Kessel algorithm embody different distance norm in order to detect clusters of different geometrical shapes in one data set. These algorithms, as most of clustering techniques, depend on assumptions made as to the number of subgroups present in the data. Validity measurements are scalar indices that assess the goodness of obtained partition. Xie&Beni, Bezdek and Dave s indices are the most widely accepted validity measurements. In order to have a complete understanding of fuzzy clustering this thesis incorporates both theory and practical implementations. V

10 VI

11 ΠΕΡΙΛΗΨΗ Μαγδαληνή Κουμπαρούλη Fuzzy Clustering Μάρτιος 2018 Η ανάλυση κατά συστάδες (clustering) είναι η τοποθέτηση των αντικειμένων σε διαφορές ομάδες, πιο συγκεκριμένα, ο διαχωρισμός των δεδομένων σε υποόμαδες έτσι ώστε τα αντικείμενα σε κάθε υποομάδα να μοιράζονται κάποια κοινά χαρακτηριστικά. Ο σκοπός της εργασίας αυτής είναι να παρουσιάσει μία εναλλακτική μέθοδο ανάλυσης κατά συστάδες η οποία ονομάζεται «Ασαφής» ή Fuzzy c-means αλγόριθμος και είναι από τις γνωστότερες τεχνικές. Οι μέθοδοι fuzzy ομαδοποίησης, όπως οι Fuzzy c-means και Gustafson Kessel επέκταση οι οποίες παρουσιάζονται σε αυτή τη διπλωματική, επιτρέπουν τα αντικείμενα να ανήκουν σε περισσότερες από μία ομάδες ταυτόχρονα με διαφορετικό βαθμό συμμετοχής. Η Fuzzy c-means και η Gustafson Kessel παραλλαγή υιοθετούν διαφορετικό μέτρο απόστασης με στόχο να εντοπίσουν ομάδες με διαφορετικά γεωμετρικά σχήματα στα δεδομένα. Αυτές οι μέθοδοι, όπως και οι περισσότερες τεχνικές ομαδοποίησης, στηρίζονται στις υποθέσεις που κάνουμε για τον αριθμό των υποομάδων που παρουσιάζονται στα δεδομένα. Οι δείκτες εγκυρότητας είναι βαθμιδωτά μέτρα που εκτιμούν τον καλό διαχωρισμό των δεδομένων. Οι δείκτες των Xie&Beni, Bezdek και Dave είναι τα πιο ευρέως αποδεκτά μέτρα εγκυρότητας. Με σκοπό την πλήρη κατανόηση της fuzzy ομαδοποίησης, σε αυτή την εργασία, παρουσιάζεται η θεωρία και πρακτικές εφαρμογές των μεθόδων αυτών. VII

12 VIII

13 ΚΑΤΑΛΟΓΟΣ ΠΕΡΙΕΧΟΜΕΝΩΝ Σελίδα 1.Εισαγωγή 1 2.Κλασσικές Τεχνικές Ομαδοποίησης Εισαγωγή Μέτρα Απόστασης Ιεραρχική Ομαδοποίηση Μέθοδος k-means 6 3.«Ασαφής» Ομαδοποίηση Fuzzy Clustering Τα βασικά Δεδομένα Ομάδες και κέντρα «Αυστηρή» και Fuzzy διαμέριση «Αυστηρή» διαμέριση Fuzzy διαμέριση Possibilistic Διαμέριση «Δυνατή» Διαμέριση Fuzzy c-means ομαδοποίηση Πως λειτουργεί ο Fuzzy c-means αλγόριθμος; Οι παράμετροι της «ασαφής» c-means 18 ομαδοποίησης (FCM) 3.4.Ο Gustafson-Kessel αλγόριθμος Πως λειτουργεί ο Gustafson-Kessel αλγόριθμος Οι παράμετροι του Gustafson-Kessel 25 αλγορίθμου 3.5.Παραλλαγές-Επεκτάσεις της Fuzzy c-means 25 4.Εφαρμογές Εφαρμογή 1 Fuzzy c-means Εφαρμογή 2 Gustafson & Kessel επέκταση Εφαρμογή 3 Σύγκριση Fuzzy c-means και 42 Gustafson-Kessel τεχνικών 5.Συμπεράσματα 49 6.Βιβλιογραφία-Αναφορές 51 IX

14 X

15 ΚΑΤΑΛΟΓΟΣ ΠΙΝΑΚΩΝ Πίνακας Σελίδα 1.Κατανομή στοιχείων Fuzzy c-means αλγορίθμου 29 2.Αναλυτική κατανομή στοιχείων Fuzzy c-means 30 αλγορίθμου 3.Βαθμοί συμμετοχής αντικειμένων τοποθετημένων σε 33 «λανθασμένη» ομάδα (Fuzzy c-means αλγόριθμος) 4.Σύγκριση Ιεραρχικής Ομαδοποίησης & Fuzzy 36 Ομαδοποίησης 5.Σύγκριση k-means Ομαδοποίησης & Fuzzy 37 Ομαδοποίησης 6.Μέτρα εγκυρότητας ανά αριθμό ομάδων 39 7.Υπολογιστικός χρόνος FCM και GK τεχνικών σε 44 δευτερόλεπτα XI

16 XII

17 ΚΑΤΑΛΟΓΟΣ ΓΡΑΦΗΜΑΤΩΝ Γράφημα Σελίδα 1.Δενδρόγραμμα 6 2.Απεικόνιση δεδομένων παραδείγματος Διάγραμμα σημείων των Ίρις χαρακτηριστικών 29 4.Βαθμοί συμμετοχής αντικειμένων για όλες τις ομάδες 31 5.Βαθμοί συμμετοχής αντικειμένων στις ομάδες που 32 κατατάχθηκαν 6.Ομαδοποίηση κατά είδος λουλουδιού 34 7.Ομαδοποίηση κατά Fuzzy c-means 35 8.Visual Assessing of Tendency (VAT) 39 9.Ομαδοποίηση των 32 ευρωπαϊκών χωρών Απεικόνιση των δεδομένων Ομαδοποίηση υπό FCM και GK τεχνικές Ομαδοποίηση υπό Single, Complete και Average 46 Linkage 13. Ομαδοποίηση υπό divisible και k-means 47 XIII

18 XIV

19 1.Εισαγωγή Η ανάλυση κατά συστάδες (Clustering Analysis) είναι η διαδικασία της ομαδοποίησης των αντικειμένων με τέτοιο τρόπο ώστε αντικείμενα στην ίδια ομάδα-συστάδα να είναι πιο όμοια, με κάποιο κριτήριο, από αντικείμενα σε μία άλλη ομάδα-συστάδα. Η ανάλυση κατά συστάδες δεν εφαρμόζεται με κάποιον μοναδικό τρόπο. Απεναντίας υπάρχουν πολλοί διαφορετικοί αλγόριθμοι που διαφέρουν σημαντικά στο τι αποτελεί μια συστάδα-ομάδα και πως μπορούμε αποτελεσματικά να τη δημιουργήσουμε. Ένας γενικός διαχωρισμός των τεχνικών ανάλυσης κατά συστάδες είναι η «αυστηρή» ομαδοποίηση (hard clustering) και η «ασαφής» ομαδοποίηση (soft ή fuzzy clustering). Στην «αυστηρή» ομαδοποίηση ένα αντικείμενο είτε ανήκει σε κάποια συστάδα/ομάδα είτε όχι. Σε αντίθεση, στην «ασαφή» ομαδοποίηση ένα αντικείμενο ανήκει σε κάποια συστάδα με κάποιο βαθμό. Έτσι κάποιο αντικείμενο μπορεί να ανήκει σε περισσότερες από μία ομάδες. Ο βαθμός με τον οποίο ανήκει το αντικείμενο σε κάθε ομάδα, δηλαδή ο βαθμός συμμετοχής όπως θα δούμε στο κεφάλαιο 3, είναι αυτό που διαφοροποιεί τις τεχνικές fuzzy ομαδοποίησης από τις κλασσικές μεθόδους ομαδοποίησης. Μια από τις πιο ευρέως χρησιμοποιούμενες fuzzy τεχνικές είναι o Fuzzy c-means αλγόριθμος και είναι αυτός ο οποίος παρουσιάζεται στην παρούσα εργασία. Ως βελτίωση αυτού του αλγορίθμου παρουσιάζουμε και την Gustafson & Kessel επέκταση. Αυτές οι τεχνικές δίνουν μία σαφή εικόνα για την διαφοροποίηση αλλά και τη λειτουργία των fuzzy τεχνικών. Η Fuzzy ομαδοποίηση είναι μία σχετικά σύγχρονη μεθοδολογία η οποία ουσιαστικά αναπτύχθηκε το 1973 από τον J.C. Dunn και βελτιώθηκε το 1981 από τον J.C. Bezdek [8,4]. Στο κεφάλαιο 2 γίνεται μια σύντομη αναφορά στις κλασσικές μεθόδους ομαδοποίησης δηλαδή την ιεραρχική και την k-means,στα συνήθη μέτρα απόστασης και στους πιο γνωστούς τρόπους υπολογισμού των αποστάσεων. Ακολουθεί στο κεφάλαιο 3 εκτενής ανάλυση της Fuzzy c-means μεθόδου και της Gustafson-Kessel επέκτασης. Στο ίδιο κεφάλαιο αναλύουμε και ορίζουμε όλες τις παραμέτρους αυτών των μεθόδων καθώς και τους τρόπους εύρεσης 1

20 του καταλληλότερου αριθμού των ομάδων που σχηματίζουν τα δεδομένα. Στο κεφάλαιο 4 παρουσιάζουμε αναλυτικές εφαρμογές αυτών των μεθόδων και κάνουμε σύγκριση της Fuzzy c Means τεχνικής με την Gustafson-Kessel επέκταση. Τέλος, εφαρμόζουμε τις κλασσικές μεθόδους ομαδοποίησης και τις συγκρίνουμε με τις μεθοδολογίες που παρουσιάζονται στην παρούσα διπλωματική. Στο κεφάλαιο 5 κάνουμε τη σύνοψη και καταγράφουμε τα ουσιώδη σημεία και τα συμπεράσματα των τεχνικών που παρουσιάστηκαν στην εργασία αυτή. 2

21 2.Κλασσικές Τεχνικές Ομαδοποίησης 2.1.Εισαγωγή Η ομαδοποίηση των δεδομένων μπορεί χονδρικά να χωριστεί σε δύο βασικές τεχνικές, τη διαχωριστική ανάλυση και την ανάλυση κατά συστάδες (clustering). Στη διαχωριστική ανάλυση έχουμε ως σκοπό με επεξεργασία των ήδη γνωστών σε εμάς δεδομένων να βρούμε έναν κανόνα ομαδοποίησηςκατηγοριοποίησης ώστε να μπορούμε να κατατάξουμε τις μελλοντικές και άγνωστες παρατηρήσεις σε ήδη γνωστές σε εμάς ομάδες-πληθυσμούς. Η ανάλυση κατά συστάδες είναι μια μέθοδος της Πολυμεταβλητής Στατιστικής Ανάλυσης που σκοπό έχει να διαχωρίσει τα δεδομένα σε ομάδες-κατηγορίες. Στην ανάλυση κατά συστάδες χωρίς να έχουμε καμία προηγούμενη πληροφορία για τη δομή των δεδομένων προσπαθούμε να οργανώσουμε τα δεδομένα σε ομάδες βασιζόμενοι σε ομοιότητες μεταξύ των παρατηρήσεων. Επιδιώκουμε τα υποκείμενα σε κάθε ομάδα να «μοιράζονται» κάποια κοινά χαρακτηριστικά και τα χαρακτηριστικά αυτά να διαφέρουν μεταξύ των ομάδων. Η ομοιότητα των παρατηρήσεων συνήθως προσδιορίζεται από την εγγύτητα και υπολογίζεται σύμφωνα με κάποιο μέτρο απόστασης. Στην ανάλυση κατά συστάδες οι μεταβλητές είναι ισοδύναμα σημαντικές και έτσι δε μπορούμε να θεωρήσουμε κάποια ως μεταβλητή απόκρισης και κάποιες άλλες ως επεξηγηματικές μεταβλητές. Οι δυο πιο γνωστές μέθοδοι ανάλυσης κατά συστάδες είναι η ιεραρχική ομαδοποίηση και η Κ-means. Και οι δύο αυτές μέθοδοι στηρίζονται στον υπολογισμό της απόστασης ως ένδειξη της ομοιότητας των παρατηρήσεων. Μικρότερη απόσταση υποδηλώνει μεγαλύτερη ομοιότητα-εγγύτητα και το αντίστροφο, δηλαδή μεγαλύτερη απόσταση δηλώνει μικρότερη ομοιότητα. Τα μέτρα απόστασης άρα και ο υπολογισμός της ομοιότητας ορίζονται ανάλογα με τον τύπο των δεδομένων, τα οποία μπορεί να είναι συνεχή, κατηγορικά ή μεικτού τύπου. 3

22 2.2.Μέτρα Απόστασης Στα συνεχή δεδομένα η ομοιότητα των παρατηρήσεων υπολογίζεται με τον υπολογισμό της απόστασης των δεδομένων στον R p, όπου p το πλήθος των συνεχών μεταβλητών. Τα πιο γνωστά μέτρα απόστασης για συνεχή δεδομένα είναι η Ευκλείδεια απόσταση, η Τετραγωνική Ευκλείδεια, η Manhattan ή αλλιώς City Block, η Chebychev και η Minkovski. Πιο αναλυτικά, η Τετραγωνική Ευκλείδεια υπολογίζεται ως το τετράγωνο της Ευκλείδειας, η Manhattan ως το άθροισμα των απόλυτων διαφορών και η Chebychev ως το μέγιστο των απόλυτων διαφορών. Τέλος η Minkovski απόσταση είναι η m ρίζα των m διαφορών όπου m 1. Για m=1 η απόσταση αυτή ισοδυναμεί με την απόσταση Manhattan ενώ για m=2 με την Ευκλείδεια. Η ομοιότητα στα κατηγορικά δεδομένα ορίζεται διαφορετικά για τους διαφορετικούς τύπους μεταβλητών που έχουμε στα δεδομένα μας. Ο υπολογισμός της ομοιότητας στις δίτιμες κατηγορικές μεταβλητές στηρίζεται στο πλήθος των μεταβλητών που συμφωνούν ή διαφωνούν, συμφωνούν θετικά ή συμφωνούν αρνητικά. Τα πιο γνωστά μέτρα απόστασης για δίτιμες μεταβλητές είναι ο συντελεστής simple matching (Sokal and Michener, 1958), ο συντελεστής Rogers & Tanimoto (Rogers and Tanimoto, 1960) και ο συντελεστής Jaccard (Jaccard, 1901). Για τον υπολογισμό της ομοιότητας για δεδομένα σε ονομαστική κλίμακα γίνεται χρήση των παραπάνω μέτρων αφού πρώτα μετατραπούν οι μεταβλητές σε δίτιμες με τη χρήση ψευδομεταβλητών. Τέλος στα δεδομένα κατάταξης κάποιος θα μπορούσε να χρησιμοποιήσει τα προηγούμενα καθώς και το Chi-square και το Phi-square για τον υπολογισμό της ομοιότητας [30,31]. Υπάρχουν όμως πολλές περιπτώσεις που στα δεδομένα μας έχουμε μεικτού τύπου δεδομένα, δηλαδή δεδομένα που μπορεί να έχουν συνεχείς μεταβλητές, δίτιμες ή και μεταβλητές κατάταξης. Σε αυτή την περίπτωση ο καταλληλότερος τρόπος υπολογισμού της ομοιότητας των δεδομένων είναι το μέτρο απόστασης του Gower [21]. 4

23 2.3.Ιεραρχική Ομαδοποίηση Η Ιεραρχική μέθοδος ομαδοποίησης είναι μια επαναληπτική διαδικασία και διακρίνεται σε δύο κατηγορίες, την agglomerate και την divisible. Στην agglomerate τεχνική (ή τεχνική συνένωσης) ο αλγόριθμος ξεκινάει από την ακραία κατάσταση όπου κάθε παρατήρηση είναι μόνη της μία ομάδα. Σε κάθε βήμα της μεθόδου ο αλγόριθμος ενώνει εκείνες τις 2 παρατηρήσεις που «απέχουν» την μικρότερη απόσταση και τις τοποθετεί σε μία ομάδα. Η απόσταση ορίζεται σύμφωνα με το μέτρο ομοιότητας που έχει επιλεχθεί. Σε κάθε βήμα θα ενώσει τις παρατηρήσεις ή τις ομάδες με τη μικρότερη απόσταση ώσπου στο τέλος όλες οι παρατηρήσεις είναι τοποθετημένες σε μία ομάδα. Αντίθετα, η divisible διαδικασία (ή διαδικασία διαχωρισμού) ξεκινάει από την ακραία περίπτωση όπου όλες οι παρατηρήσεις αποτελούν μία ομάδα. Σε κάθε βήμα ο αλγόριθμος χωρίζει την παρατήρηση που «απέχει» την μεγαλύτερη απόσταση από την ομάδα και την τοποθετεί σε άλλη ομάδα. Τελικά η τεχνική θα φτάσει στο σημείο να ορίσει κάθε μία παρατήρηση ως μία διαφορετική ομάδα. Στην ιεραρχική ομαδοποίηση είναι σημαντικό να ορίσουμε την μέθοδο υπολογισμού της απόστασης μεταξύ δύο ομάδων. Οι πιο γνωστοί μέθοδοι είναι: Η μέθοδος του πλησιέστερου γείτονα (Nearest Neighbour ή Single Linkage) όπου η απόσταση των δύο ομάδων υπολογίζεται από την μικρότερη δυνατή απόσταση των παρατηρήσεων μιας ομάδας με τις παρατηρήσεις μιας άλλης ομάδας. Η μέθοδος του μακρύτερου γείτονα (Furthest Neighbour ή Complete Linkage) όπου η απόσταση υπολογίζεται ως η μεγαλύτερη δυνατή απόσταση των παρατηρήσεων μιας ομάδας με τις παρατηρήσεις μιας άλλης ομάδας. Average Linkage όπου η απόσταση ορίζεται ο μέσος όρος όλων των ανά δύο αποστάσεων των μελών των ομάδων. Centroid όπου η απόσταση μεταξύ των δύο ομάδων ορίζεται ως η απόσταση των κέντρων τους. Ward η οποία ελαχιστοποιεί τη διακύμανση μέσα στις ομάδες. 5

24 Ο πιο συνήθης τρόπος επιλογής του καταλληλότερου αριθμού ομάδων που σχηματίζονται στα δεδομένα είναι το δενδρόγραμμα το οποίο είναι ένα γράφημα που παρουσιάζει το «ιστορικό» ένωσης ή χωρισμού των παρατηρήσεων. Ένα τέτοιο διάγραμμα παρουσιάζεται παρακάτω. Γράφημα 1-Δενδρόγραμμα Στο δενδρόγραμμα συνήθως στον οριζόντιο άξονα είναι τοποθετημένες οι παρατηρήσεις και στον κάθετο άξονα η απόσταση που απέχουν οι παρατηρήσεις ή οι ομάδες οι οποίες ενώνονται. Φέρνοντας μία νοητή κάθετη γραμμή στον άξονα του ύψους (height), στο σημείο που επιθυμούμε, όσες γραμμές του δενδρογράμματος τέμνουν την γραμμή αυτή τόσες είναι και οι ομάδες. 2.4.Μέθοδος k-means Σε αντίθεση με τις ιεραρχικές μεθόδους, στην k-means ο αριθμός των ομάδων επιλέγεται πριν την έναρξη της διαδικασίας ομαδοποίησης από τον ερευνητή. Ο αλγόριθμος υπολογίζει τα αρχικά κέντρα και κατόπιν μετράει την απόσταση όλων των παρατηρήσεων από τα κέντρα αυτά. Η πιο συνήθης επιλογή ως μέτρο απόστασης είναι η Ευκλείδεια απόσταση. Κατόπιν τοποθετεί κάθε μια παρατήρηση στην ομάδα από της οποίας το κέντρο απέχει λιγότερο, επαναλαμβάνει το ίδιο για όλες τις παρατηρήσεις και υπολογίζει ξανά τα κέντρα των ομάδων. Τα κέντρα αυτά υπολογίζονται ως η μέση τιμή 6

25 των παρατηρήσεων της ομάδας για κάθε μεταβλητή. Ο αλγόριθμος συνεχίζει επαναληπτικά την ίδια διαδικασία ως ότου δε προκύψει καμία αλλαγή στα κέντρα των ομάδων. Έτσι σε αντίθεση με την ιεραρχική ομαδοποίηση κάποια παρατήρηση μπορεί να αλλάξει ομάδα στην οποία ανήκει. Η τοποθέτηση μίας παρατήρησης σε κάποια ομάδα μπορεί να αλλάξει στον επόμενο βήμα της επαναληπτικής διαδικασίας εάν απέχει μικρότερη απόσταση από το κέντρο μιας άλλης ομάδας. 7

26 8

27 3.«Ασαφής» Ομαδοποίηση-Fuzzy Clustering Σε αντίθεση με τις άλλες τεχνικές ομαδοποίησης η fuzzy («ασαφής» ή «θολή») ομαδοποίηση εισάγει την ιδέα της συνάρτησης συμμετοχής (membership function). Η συνάρτηση αυτή περιγράφει την αβεβαιότητα του καταμερισμού των δεδομένων στις αντίστοιχες ομάδες (clusters). Οι τιμές της συνάρτησης αυτής είναι πολύ σημαντικές στην κατανόηση των δεδομένων και στον εντοπισμό των πραγματικών ομάδων. Οι Bellman και Ruspini [1,2] ήταν οι πρώτοι που ξεκίνησαν την έρευνα στη fuzzy ομαδοποίηση. Κατόπιν μια πληθώρα ερευνητών έχει ασχοληθεί με την εξέλιξη της τεχνικής αυτής με πιο κλασσικούς τους Duda και Hart (1973), Bezdek (1981), Jain and Dubes (1988) και Bezdek and Pal (1992) [3-6]. Γενικά, η fuzzy ομαδοποίηση μπορεί να χωριστεί σε δύο κατηγορίες. Η πρώτη κατηγορία, η οποία είναι η πιο αποτελεσματική και αυτή που έχει εξεταστεί πιο εκτεταμένα, βασίζεται στις αντικειμενικές συναρτήσεις. Η δεύτερη κατηγορία στηρίζεται σε πίνακες σχέσεων όπως ο συντελεστής συσχετίσεων, η σχέση ισοδυναμίας, η σχέση ομοιότητας και άλλους. Αυτές οι μέθοδοι δεν είναι τίποτα περισσότερο από παραλλαγές της κλασσικής ιεραρχικής τεχνικής συνένωσης (agglomerate) γι αυτό και δεν έχει αναπτυχθεί περισσότερη έρευνα πάνω σε αυτό. Στην παρούσα εργασία θα ασχοληθούμε με την πρώτη κατηγορία τεχνικών. 3.1.Τα βασικά Δεδομένα H cluster ανάλυση εφαρμόζεται σε δεδομένα που είναι κατηγορικά, ποσοτικά ή και τα δυο. Σε αυτή την ενότητα θα εξεταστούν ποσοτικά δεδομένα. Κάθε παρατήρηση x αποτελείται από p χαρακτηριστικά-μετρήσεις, δηλαδή x = (x 1, x 2, x p ), και οι συνολικές παρατηρήσεις είναι n. Τα δεδομένα τοποθετούνται σε πίνακα όπως παρουσιάζεται παρακάτω: 9

28 x 11 x 12 x 1p x 21 x 22 x 2p X= [ ] x n1 x n2 x np όπου x ij η τιμή του αντικειμένου i στο χαρακτηριστικό j με i=1,2, n και j=1,2 p Ομάδες και κέντρα Ομάδα ή συστάδα (cluster) είναι ένα σύνολο από αντικείμενα που είναι πιο «όμοια» από αντικείμενα-μέλη μιας άλλης ομάδας ή συστάδας. Η ομοιότητα των αντικειμένων μετριέται με την απόσταση. Η απόσταση μπορεί να υπολογιστεί τόσο μεταξύ αντικειμένων όσο και μεταξύ αντικειμένου και κέντρου της εκάστοτε ομάδας. Τα κέντρα συνήθως δεν είναι γνωστά πριν την εφαρμογή της ομαδοποίησης και γι αυτό υπολογίζονται κατά τη διάρκεια της μεθοδολογίας. Τα δεδομένα μπορεί να έχουν διάφορα γεωμετρικά σχήματα και πυκνότητες όπως γραμμικά, σφαιρικά, ελλειψοειδή και άλλα. Οι ομάδες μπορεί να είναι καλά χωρισμένες μεταξύ τους, η μία συνέχεια της άλλης ή η μία να καλύπτει μέρος ή και ολόκληρη την άλλη. Η ομαδοποίηση μπορεί να επηρεαστεί από τα σχήματα, τις πυκνότητες των ομάδων όσο και από τις αποστάσεις αυτών. 3.2.«Αυστηρή» και Fuzzy διαμέριση Η «αυστηρή» διαμέριση των ομάδων ή αλλιώς hard partition βασίζεται στην κλασσική μεθοδολογία όπου ένα αντικείμενο είτε ανήκει είτε όχι σε μια ομάδα. Με τον όρο αυστηρή διαμέριση εννοούμε ότι τα δεδομένα εφόσον χωριστούν στις ομάδες ανήκουν αποκλειστικά σε αυτές. Εν αντιθέσει, η fuzzy διαμέριση επιτρέπει στα δεδομένα να ανήκουν ταυτόχρονα σε πολλαπλές ομάδες με διαφορετικό βαθμό συμμετοχής σε αυτές (degrees of membership). Σε πολλές περιπτώσεις η fuzzy διαμέριση είναι πιο αντιπροσωπευτική στα δεδομένα απ ότι η αυστηρή διαμέριση. Δεδομένα που βρίσκονται στα σύνορα μεταξύ διαφορετικών ομάδων δεν εξαναγκάζονται να ανήκουν σε μια ή σε άλλη ομάδα. Αντ αυτού ορίζουν ένα βαθμό συμμετοχής 10

29 σε κάθε ομάδα μεταξύ του 0 και 1 δείχνοντας την μερική συμμετοχή σε κάθε ομάδα [3,4,5,6] «Αυστηρή» διαμέριση O σκοπός της ομαδοποίησης είναι να χωρίσει το σετ των δεδομένων Χ σε c ομάδες ή κατηγορίες. Προς το παρόν ας υποθέσουμε ότι γνωρίζουμε, έστω από προηγούμενη πληροφορία, τον αριθμό c των ομάδων. Έστω τα αντικείμενα της g ομάδας A g όπου 1 g c. Μέχρι τώρα γνωρίζαμε: c g=1 Α g = X, A g A l =, 1 g l c Α g Χ, 1 g c Η πρώτη σχέση των σημαίνει ότι η ένωση των ομάδων Α g ισοδυναμεί με το σύνολο των αντικειμένων. Η δεύτερη σχέση ότι οι ομάδες πρέπει να είναι διακριτές μεταξύ τους και η τρίτη σχέση ότι καμία ομάδα δεν εμπεριέχει όλα τα δεδομένα ή δεν είναι τελείως άδεια. Αναφορικά με την εξίσωση συμμετοχής (membership function) η διαμέριση των δεδομένων μπορεί να παρουσιαστεί με τον πίνακα διαμέρισης (partition matrix) U = [u ig ] n c. Έτσι, η i γραμμή αυτού του πίνακα περιέχει το βαθμό συμμετοχής u i του i αντικειμένου της ομάδας Α g του πίνακα Χ. Σύμφωνα με τις παραπάνω εξισώσεις ( ) ο πίνακας U πρέπει να ικανοποιεί τις ακόλουθες συνθήκες: u gi {0,1}, 1 g c, 1 i n c g=1 u gi = 1, 1 i n n 0 < i=1 u gi < n, 1 g c Παράδειγμα 1 Έστω σετ δεδομένων X T = {x 1, x 2,, x 11 } όπου x i = (z i, y i ) με i=1,,11 το i αντικείμενο με χαρακτηριστικά z και y, που απεικονίζεται στο γράφημα 2. Όπως φαίνεται από το γράφημα 2 τα δεδομένα μπορούν να 11

30 χωριστούν σε δύο διαφορετικές ομάδες. Η πρώτη ομάδα περιλαμβάνει τα x 1, x 2, x 3 και x 4 ενώ η δεύτερη περιλαμβάνει τα x 7, x 8, x 9, x 10 και x 11. Παρατηρούμε ότι ανάμεσα στις δύο ομάδες υπάρχει το x 5 και επιπλέον ένα ακραίο αντικείμενο, το x 6. Γράφημα 2-Απεικόνιση δεδομένων παραδείγματος 1 Η διαμέριση των δεδομένων με την μέθοδο της «αυστηρής» διαμέρισης είναι: U = [ 0 1] Στην πρώτη στήλη του πίνακα U βρίσκεται ο βαθμός συμμετοχής της πρώτης ομάδας Α 1 του πίνακα Χ και η δεύτερη στήλη περιγράφει τον αντίστοιχο βαθμό συμμετοχής της δεύτερης ομάδας Α 2 του X. Κάθε αντικείμενο θα πρέπει να ανήκει σε ένα cluster από τα δύο. Στην περίπτωσή μας τόσο το αντικείμενο που βρίσκεται στα σύνορα των δύο clusters x 5 όσο και το outlier x 6 τοποθετήθηκαν στο πρώτο cluster. Είναι φανερό ότι η «αυστηρή» διαμέριση μπορεί να μη δίνει μια ρεαλιστική εικόνα για την μορφή των δεδομένων. Τα δεδομένα που βρίσκονται στα «σύνορα» των 12

31 clusters ενδεχομένως να απεικονίζουν μεικτές ιδιότητες από τα clusters A 1 και Α 2 και έτσι δεν μπορούν να τοποθετηθούν εξ ολοκλήρου σε ένα cluster ούτε μπορούν να δημιουργήσουν ένα καινούριο ξεχωριστό cluster. Αυτό το μειονέκτημα μπορεί να αντιμετωπιστεί με τεχνικές Fuzzy διαμέρισης όπως θα δούμε στις επόμενες παραγράφους του κεφαλαίου αυτού Fuzzy διαμέριση H Fuzzy γενίκευση της «αυστηρής» διαμέρισης έρχεται με το να επιτρέψουμε στο u ig να παίρνει οποιεσδήποτε πραγματικές τιμές στο διάστημα [0,1]. Οι περιορισμοί για τον fuzzy πίνακα διαμέρισης, ανάλογοι με τους προηγουμένους, δόθηκαν από τον Ruspini (1970) [7] και είναι οι εξής: u ig [0,1], 1 g c, 1 i n c g=1 u ig = 1, 1 i n n 0 < i=1 u ig < n, 1 g c Η δεύτερη σχέση των δηλώνει ότι το άθροισμα κάθε γραμμής είναι 1 και έτσι η αθροιστική συμμετοχή (total membership) κάθε αντικειμένου x i του X είναι 1. Η τρίτη σχέση σημαίνει ότι η g-στήλη του fuzzy πίνακα διαμέρισης U περιέχει τιμές της εξίσωσης συμμετοχής (membership function) της g-οστής ομάδας Α g του X. Παράδειγμα 2 Ας θεωρήσουμε τα δεδομένα του παραδείγματος 1. Μία fuzzy διαμέριση των αντικειμένων του X είναι η εξής: 13

32 U = [ ] Το αντικείμενο x 5 βρίσκεται ανάμεσα στις δύο ομάδες υποδηλώνοντας ότι η παρατήρηση αυτή φέρει χαρακτηριστικά και των δύο ομάδων (Α 1 και Α 2 ) και έτσι δεν μπορεί να τοποθετηθεί εξολοκλήρου σε μία ομάδα. Αυτή την πληροφορία προσπαθεί να αποτυπώσει ο βαθμός συμμετοχής του αντικειμένου x 5 στις ομάδες Α 1 και Α 2 που ισούται με 0.5. Έτσι το άθροισμα των βαθμών συμμετοχής του αντικειμένου αυτού στις δύο ομάδες ισούται με 1 ( =1). Παρατηρούμε επιπλέον ότι η ακραία τιμή x 6 έχει και αυτή τους ίδιους βαθμούς συμμετοχής στα δυο cluster που σημαίνει ότι αφενός βρίσκεται στην ίδια απόσταση και από τις δύο αυτές ομάδες και αφετέρου ότι μοιράζεται χαρακτηριστικά και των δύο clusters. Αυτό συμβαίνει λόγω του περιορισμού της δεύτερης σχέσης στην ο οποίος απαιτεί το άθροισμα των συμμετοχών στα cluster για κάθε αντικείμενο να είναι μονάδα. Όμως το αντικείμενο αυτό απέχει πολύ από τις ομάδες και μπορεί να θεωρηθεί λιγότερο χαρακτηριστικό αντικείμενο για τα cluster Α 1 και Α 2. Θα μπορούσε κάποιος να πει ότι σε αυτή την περίπτωση θα ήταν πιο κατάλληλο να κάνουμε τρία cluster αντί για δύο. Όμως στην πράξη είναι δύσκολο να διακρίνουμε τις ακραίες τιμές και να τις τοποθετήσουμε σε επιπλέον clusters. Αυτό το πρόβλημα έρχεται να αντιμετωπίσει η possibilistic διαμέριση Possibilistic Διαμέριση- «Δυνατή» Διαμέριση Μια πιο γενική μορφή της «ασαφής» διαμέρισης είναι η «Δυνατή» διαμέριση. Εδώ υπάρχει η δυνατότητα τα αντικείμενα να μην εγγραφτούν πλήρως στις ομάδες που δημιουργηθήκαν. Όμως κάθε αντικείμενο πρέπει 14

33 τουλάχιστον να συμμετέχει σε μία από τις υπάρχουσες ομάδες και έτσι ο βαθμός συμμετοχής των αντικειμένων πρέπει να είναι μεγαλύτερος του μηδενός όπως βλέπουμε παρακάτω στη δεύτερη σχέση της Έτσι οι νέοι περιορισμοί είναι: u ig [0,1], 1 g c, 1 i n g, u ig > 0, i n 0 < i=1 u ig < n, 1 g c) Παράδειγμα 3 Έστω και πάλι τα αντικείμενα του παραπάνω παραδείγματος. Η possibilistic διαμέριση των δεδομένων μας, σύμφωνα με τα παραπάνω και με χρήση του πακέτου ppclust στην R, γίνεται ως εξής: U = [ ] Όπως βλέπουμε από τον πίνακα το άθροισμα των βαθμών συμμετοχής των αντικειμένων στις δύο ομάδες δεν είναι πλέον ίσο με τη μονάδα. Βλέπουμε ότι η παρατήρηση x 5 συμμετέχει περίπου το ίδιο και στις δύο ομάδες επιβεβαιώνοντας το γεγονός ότι ανήκει στο σύνορο των 2 ομάδων ενώ η x 6 συμμετέχει ακόμη λιγότερο δείχνοντας έτσι ότι πρόκειται για μια ακραία τιμή. 15

34 3.3.Fuzzy c-means ομαδοποίηση Η «ασαφής» ομαδοποίηση πρώτα αναπτύχθηκε από τον Dunn (1974)[8] και κατόπιν εξελίχθηκε από τον Bezdek (1981)[4]. Όπως και πολλές άλλες μέθοδοι ομαδοποίησης έτσι και η fuzzy ομαδοποίηση βασίζεται στη βελτιστοποίηση της fuzzy c-means αντικειμενικής συνάρτησης. Ορίζουμε την ακόλουθη αντικειμενική συνάρτηση: c n 2 J(X; U, V) = (u ig ) m g=1 i=1 D iga (3.3.1) όπου: U = [u ig ] (3.3.2) ο πίνακας με τους βαθμούς συμμετοχής των αντικειμένων i στις ομάδες g του σετ δεδομένων Χ ή αλλιώς «ασαφής» πίνακας διαμέρισης των Χ V = [v 1, v 2,, v c ], v g R n (3.3.3) το διάνυσμα που περιέχει τα κέντρα των ομάδων g. 2 2 D iga = x i v g = (xi v A g ) T A(x i v g ) (3.3.4) η τετραγωνική κανονική απόσταση μεταξύ των δεδομένων x i και των κέντρων v g (square inner-product distance norm), και m [1, ) η παράμετρος που καθορίζει την «ασάφεια» των ομάδων. Όλοι οι παράμετροι καθώς και η επιλογή των αρχικών τιμών τους, θα περιγραφούν πιο αναλυτικά παρακάτω. Η αντικειμενική συνάρτηση J(X; U, V) (3.3.1) μπορεί να ελαχιστοποιηθεί μόνον αν ισχύουν οι παρακάτω δύο προϋποθέσεις: 1. u ig = 1 c (D iga D ila ) 2 (m 1) i=1, 1 g c, 1 i n (3.3.5) 16

35 2.v g = n (u ig) m i=1 x i n (u ig ) m i=1, 1 g c (3.3.6) που ουσιαστικά είναι o σταθμισμένος μέσος των δεδομένων που ανήκουν στην ομάδα g όπου τα βάρη είναι οι βαθμοί συμμετοχής. Για το λόγο αυτό η τεχνική ονομάζεται c-means όπου c είναι ο συνολικός αριθμός των ομάδων Πως λειτουργεί ο Fuzzy c-means αλγόριθμος; O FCM αλγόριθμος καταλήγει στο βέλτιστο αποτέλεσμα μέσα από μια επαναληπτική διαδικασία. Οι επαναλήψεις ορίζονται με l, δηλαδή για l=1 η πρώτη επανάληψη για l=2 η δεύτερη επανάληψη και ούτω καθεξής. Η χρήση του δείκτη αυτού αντιπροσωπεύει την αντίστοιχη μέτρηση στην l επανάληψη. Ο FCM αλγόριθμος αποτελείται αναλυτικότερα από τα ακόλουθα βήματα: Βήμα 1: Έστω n αντικείμενα p διαστάσεων του πίνακα X τα οποία πρέπει να ομαδοποιηθούν. Βήμα 2: Επέλεξε τον αριθμό των cluster: 1 < c < n. Βήμα 3: Επέλεξε την κατάλληλη παράμετρο «ασάφειας»: m>1. Βήμα 4: Επέλεξε έναν τυχαίο πίνακα συμμετοχής έστω U (0). Βήμα 5: Όρισε μια τερματική παράμετρο δηλαδή ένα μικρό ε για τον τερματισμό του αλγορίθμου, με ε>0 και πίνακας επαγόμενου μέτρου Α (norminducing matrix) Βήμα 6: Ξεκίνησε τη διαδικασία για l = 1 Βήμα 7: Υπολόγισε τα κέντρα των ομάδων για την l επανάληψη: v g (l) = (u (l 1) m n i=1 ig ) xi (l 1) m n i=1(u ig ), 1 g c Βήμα 8: Υπολόγισε τις αποστάσεις: 17

36 2 D iga = (x i v g (l) ) T A(x i v g (l) ), 1 g c, 1 i n Βήμα 9: Ανανέωσε τον πίνακα διαμέρισης U (l) με τις τρέχουσες τιμές των u (l) ig : Για 1 i n : αν D iga > 0 για όλα τα g = 1,2,, c τότε u (l) ig = αλλιώς 1 c (D iga D ila ) 2 (m 1) l=1 όπου D iga > 0 (l) τότε u ig = 0 (l) και όπου D iga = 0 τότε επέλεξε αυθαίρετα u ig [0,1] (l) με uig = 1 Βήμα 10: Έλεγξε αν U (l) U (l 1) < ε. Εάν ισχύει σταμάτα τον αλγόριθμο. Διαφορετικά επέστρεψε στο βήμα 7 για l = l + 1. c g= Οι παράμετροι της «ασαφής» c-means ομαδοποίησης (FCM) Πριν χρησιμοποιήσουμε τον FCM αλγόριθμο θα πρέπει να έχουμε αποφασίσει για την τιμή των παρακάτω παραμέτρων: Τον αριθμό των ομάδων. Ο αριθμός των ομάδων c είναι η πιο σημαντική παράμετρος. Οι υπόλοιποι παράμετροι επηρεάζουν λιγότερο το αποτέλεσμα του διαχωρισμού των δεδομένων σε ομάδες. Όταν εξετάζουμε δεδομένα για τα οποία δεν έχουμε προγενέστερη γνώση για τη δομή τους κάποιος θα μπορούσε να κάνει υποθέσεις για τον αριθμό των υπαρχόντων ομάδων. Ο αλγόριθμος φτιάχνει c ομάδες ανεξάρτητα από το αν αυτές παρουσιάζονται στα δεδομένα ή όχι. Οι δύο πιο βασικοί τρόποι για να αποφασιστεί ο κατάλληλος αριθμός ομάδων είναι: 18

37 1. Μέτρα εγκυρότητας (Validity measures). Τα μέτρα εγκυρότητας είναι κλιμακωτοί δείκτες που αξιολογούν πόσο καλά έγινε μια διαμέριση. Οι τεχνικές ομαδοποίησης γενικά έχουν ως σκοπό τον εντοπισμό τόσο των καλά διαχωρισμένων όσο και των συμπαγών ομάδων. Όταν ο αριθμός των ομάδων που έχει επιλεγεί είναι ο ίδιος με τις ομάδες που υπάρχουν στα δεδομένα, τότε ο αλγόριθμος της ομαδοποίησης μπορεί να τα αναγνωρίσει σωστά. Αντίθετα όταν δε συμβαίνει αυτό, τα δεδομένα τοποθετούνται λανθασμένα στις ομάδες. Έχουν αναπτυχθεί πολλά μέτρα εγκυρότητας. Εδώ θα παρουσιαστούν τα τρία πιο γνωστά μέτρα. Τα μέτρα αυτά θα παρουσιαστούν στην πράξη στο κεφάλαιο 4, με χρήση της R. Για περισσότερες πληροφορίες βλέπε [4,10,11,12]. Δείκτης Xie και Beni [13]: χ(x; U, V) = c n u ig m x i v g 2 g=1 i=1 c min g l ( v g v l 2 ) ( ) ο οποίος έχει βρεθεί ότι εφαρμόζεται καλά στην πράξη. Αυτός ο δείκτης μπορεί να ερμηνευτεί ως ο λόγος της συνολικής διακύμανσης μέσα στις ομάδες προς την απόσταση των κέντρων των ομάδων. Ο βέλτιστος αριθμός ομάδων βρίσκεται λύνοντας το: min 2 c i 1 χ(x; U, V) ( ) Δείκτης Bezdek [4]: O Bezdek εισήγαγε έναν από τους πιο γνωστούς δείκτες εγκυρότητας ο οποίος εξαρτάται μόνο από τον βαθμό συμμετοχής των αντικειμένων στις ομάδες που βρίσκεται στον πίνακα U και ουσιαστικά μετράει πόσο επικαλύπτονται οι ομάδες μεταξύ τους. Ο δείκτης αυτός παίρνει τιμές στο διάστημα [1 c, 1] και εκφράζεται ως: n g c=1 V PC = 1 (u n i=1 ic) 2 ( ) 19

38 όπου ο βέλτιστος αριθμός ομάδων δεδομένων βρίσκεται επιλύοντας την: για την καλύτερη ομαδοποίηση των max 2 c n 1 V PC ( ) Το μειονέκτημα του δείκτη αυτού είναι η έλλειψη απευθείας σύνδεσης με τα δεδομένα και τις ιδιότητες που αυτά φέρουν. Δείκτης εγκυρότητας του Dave [14]: Ο δείκτης εγκυρότητας του Dave χρησιμοποιείται επιτυχώς από πολλούς ερευνητές και είναι αποτελεσματικός όταν υπάρχουν «κρυμμένες» ομάδες στα δεδομένα. Ο δείκτης αυτός ορίζεται ως: c V MPC = 1 (1 V c 1 PC) ( ) όπου V PC ορίστηκε στην εξίσωση Ο δείκτης εγκυρότητας του Dave είναι μια παραλλαγή του δείκτη που εισήγαγε ο Bezdek [4]. O δείκτης του Dave παίρνει τιμές στο [0, 1] και όσο υψηλότερη είναι η τιμή τόσο καλύτερο είναι το αποτέλεσμα της διαμέρισης. Αξίζει να σχολιάσουμε εδώ ότι τόσο ο Δείκτης Bezdek όσο και ο δείκτης Dave αγνοούν βασικές παραμέτρους όπως τα κέντρα των ομάδων και δε χρησιμοποιούν πουθενά τα πραγματικά δεδομένα. Έτσι, πιθανά οι δείκτες αυτοί να «χάνουν» σημαντική πληροφορία. Τα μειονεκτήματα αυτά διορθώνει επιτυχώς ο δείκτης Xie & Beni. Όμως, ο δείκτης Xie&Beni είναι υπολογιστικά πιο απαιτητικός από τους δείκτες Bezdek και Dave. Παρόλο αυτά, ο κάθε δείκτης δίνει τη δική του πληροφορία και έτσι δεν υπάρχει κάποιος χειρότερος ή καλύτερος για όλες τις περιπτώσεις. Η συνήθης αντιμετώπιση στην ανάλυση δεδομένων είναι η εφαρμογή όλων των δεικτών και κατόπιν ο ορισμός του βέλτιστου αριθμού ομάδων στα δεδομένα. 2. Επαναλαμβανόμενη ένωση ή εισαγωγή των ομάδων. Η βασική ιδέα της ένωσης των ομάδων είναι να ξεκινήσουμε με έναν αρκετά μεγάλο αριθμό ομάδων και σταδιακά να μειώσουμε τον αριθμό τους με ένωση των πιο 20

39 «όμοιων» ομάδων σύμφωνα με κάποια καλά ορισμένα κριτήρια και ενδείκνυται κυρίως σε περιπτώσεις γραμμικών ομάδων ή επίπεδων ομάδων στον R p [15, 9]. Κάποιος επίσης θα μπορούσε να υιοθετήσει την αντίστροφη διαδικασία δηλαδή να ξεκινήσει με έναν μικρό αριθμό ομάδων και επαναλαμβανόμενα να εισάγει ομάδες στην περιοχή που τα δεδομένα έχουν μικρό βαθμό συμμετοχής στις υπάρχοντες ομάδες [11]. Παράμετρος «ασάφειας»: Ο εκθέτης m είναι και αυτός μια σημαντική παράμετρος καθώς επηρεάζει σημαντικά την «ασάφεια» - «θολότητα» (fuzziness) της τελικής διαμέρισης. Παίρνει τιμές m 1. Όταν m = 1 η διαμέριση των αντικειμένων στις ομάδες γίνεται «αυστηρή» όπου u ig {0,1} και τα κέντρα v g είναι οι κλασσικοί μέσοι των ομάδων. Όσο m, η διαμέριση γίνεται τελείως ασαφής με u ig = 1 c και οι μέσοι των ομάδων τείνουν να είναι ίσοι με τον μέσο του X. Συνήθως επιλέγεται m = 2 [20] κάτι που εφαρμόζεται και στην παρούσα εργασία. Τερματικό κριτήριο: O FCM αλγόριθμος σταματάει τις επαναλήψεις όταν η διαφορά των U στις δυο τελευταίες επαναλήψεις είναι μικρότερη από την τερματική παράμετρο ε. Η πιο συχνή επιλογή είναι ε = 0.001, παρόλο που ε = 0.01 λειτουργεί καλά στις περισσότερες περιπτώσεις και μειώνει δραστικά τις επαναλήψεις. Πίνακας επαγόμενου μέτρου: Το σχήμα των ομάδων ορίζεται από την επιλογή του πίνακα A στον υπολογισμό της απόστασης στην Μια κοινή επιλογή είναι Α = Ι, η οποία δίνει την τυπική Ευκλείδεια απόσταση: D 2 ig = (x i v g ) T (x i v g ) ( ) Μια άλλη επιλογή του πίνακα A είναι ο διαγώνιος πίνακας που έχει διαφορετική διακύμανση για κάθε μεταβλητή του πίνακα X: (1 σ 1 ) (1 σ A = 2 ) 2 0 [ 0 0 (1 σ p ) 2 ] ( ) 21

40 Ο πίνακας αυτός παράγει μία διαγώνια νόρμα στον R p. Τέλος ως επιλογή του πίνακα Α θα μπορούσε να οριστεί και ο αντίστροφος πίνακας της συνδιακύμανσης του X, δηλαδή A = R 1 με R = 1 n (x n i=1 i x )(x i x ) T ( ) όπου x ο μέσος των δεδομένων. Σε αυτή την περίπτωση ο πίνακας Α παράγει την Mahalanobis νόρμα στον R p. Ο πίνακας Α επηρεάζει το κριτήριο με το οποίο κατατάσσονται τα αντικείμενα σε ομάδες με το να αλλάζει τη μέτρηση της ανομοιότητας. Η Ευκλείδεια απόσταση παράγει σφαιρικές ομάδες στον υπέρχωρο. Από την άλλη τόσο η διαγώνια νόρμα όπως και η Mahalanobis γεννούν ελλειψοειδή ομάδες στον υπέρχωρο. Ένα μειονέκτημα των τεχνικών ομαδοποίησης που βασίζονται σε σταθερές αποστάσεις είναι ότι αναγνωρίζουν ομάδες με συγκεκριμένο σχήμα ακόμη και αυτό αν δεν παρουσιάζεται στα δεδομένα. Αρχικός πίνακας συμμετοχής U (0) : Ο πίνακας συμμετοχής αρχικά ξεκινάει με τυχαίες τιμές. Μια προσέγγιση θα ήταν να πάρουμε τυχαία τα κέντρα των ομάδων v g και να υπολογίσουμε το αντίστοιχο U σύμφωνα με την υλοποιώντας το βήμα 8 και το βήμα 9 του FCM αλγορίθμου. 3.4.Ο Gustafson-Kessel αλγόριθμος. Οι Gustafson και Kessel [16] εξέλιξαν το Fuzzy c-means αλγόριθμο με την τοποθέτηση προσαρμοσμένης απόστασης με σκοπό τον εντοπισμό ομάδων με διαφορετικά γεωμετρικά σχήματα σε ένα σετ δεδομένων. Κάθε ομάδα έχει τον δικό της πίνακα Α g που επηρεάζει την απόσταση όπως φαίνεται παρακάτω: 2 D igag = (x i v g ) T A g (x i v g ) (3.4.1) 22

41 Οι πίνακες Α g βελτιστοποιούν τις μεταβλητές στo c-means αλγόριθμο και έτσι επιτρέπουν σε κάθε ομάδα να προσαρμόζει τη δική της νόρμα υπολογισμού της απόστασης ανάλογα με την τοπική μορφή των δεδομένων. Η αντικειμενική συνάρτηση του GF αλγορίθμου ορίζεται ως εξής: c n 2 J(X; U, V, {A g }) = (u ig ) m g=1 i=1 D igag (3.4.2) Η αντικειμενική συνάρτηση δεν μπορεί να ελαχιστοποιηθεί ως προς Α g από τη στιγμή που είναι γραμμική ως προς αυτό. Για να λύσουμε το πρόβλημα πρέπει να θέσουμε έναν περιορισμό για το Α g. Ο πιο συνηθισμένος τρόπος είναι να θέσουμε περιορισμό στην ορίζουσα του Α g : A g = ρ g, ρ g > 0, g (3.4.3) Χρησιμοποιώντας τους πολλαπλασιαστές Lagrange η παραπάνω έκφραση διαμορφώνεται ως εξής [16]: Α g = [ρ g det(f g )] 1 p 1 F g (3.4.4) όπου F g είναι ο fuzzy πίνακας συνδιακύμανσης της g-οστής ομάδας και ορίζεται ως: F g = n (u ig) m (x i v g )(x i v g ) T i=1 n (u ig ) m i=1 (3.4.5) Ο GK αλγόριθμος είναι υπολογιστικά πιο σύνθετος από τον Fuzzy C- means αλγόριθμο καθώς τόσο ο αντίστροφος όσο και η ορίζουσα του πίνακα συνδιακύμανσης για κάθε ομάδα πρέπει να υπολογιστεί σε κάθε επανάληψη. Αναλυτικά ο GF αλγόριθμος παρουσιάζεται παρακάτω: Πως λειτουργεί ο Gustafson-Kessel αλγόριθμος; Βήμα 1: Έστω n αντικείμενα p διαστάσεων του πίνακα X τα οποία πρέπει να ομαδοποιηθούν. 23

42 Βήμα 2: Επέλεξε τον αριθμό των cluster: 1 < c < n. Βήμα 3: Επέλεξε την κατάλληλη παράμετρο «ασάφειας»: m>1. Βήμα 4: Επέλεξε έναν τυχαίο πίνακα συμμετοχής έστω U (0). Βήμα 5: Όρισε την τερματική παράμετρο ε>0 και την «ένταση» των clusters ρ g Βήμα 6: Ξεκίνησε τη διαδικασία με l = 1 Βήμα 7: Υπολόγισε τα κέντρα των ομάδων: v g (l) = (u (l 1) m n i=1 ig ) xi (l 1) m n i=1(u ig ), 1 g c Βήμα 8: Υπολόγισε τους πίνακες συνδιακύμανσης για τις ομάδες F g = n i=1(u ig Βήμα 9: Υπολόγισε τις αποστάσεις: (l 1) ) m (xi v g (l) )(xi v g (l) ) T n i=1 (l 1) m (u ig ) 2 D igag = (x i v (l) g ) T [ρ g det(f g )] 1 p F 1 g (x i v (l) g ), 1 g c, 1 i n Βήμα 10: Ανανέωσε τον πίνακα διαμέρισης: Για 1 i n : αν D iga > 0 για όλα τα g = 1,2,, c τότε u (l) ig = αλλιώς 1 c (D iga D ila ) 2 (m 1) l=1 όπου D iga > 0 (l) τότε u ig = 0 (l) και όπου D iga = 0 τότε επέλεξε αυθαίρετα u ig [0,1] (l) με uig = 1 Βήμα 10: Έλεγξε αν U (l) U (l 1) < ε. Εάν ισχύει σταμάτα τον αλγόριθμο. Διαφορετικά επέστρεψε στο βήμα 7 για l = l + 1. c g=1 24

43 3.4.2.Οι παράμετροι του Gustafson-Kessel αλγορίθμου Όπως και στη fuzzy c-means ομαδοποίηση έτσι και εδώ οι ίδιοι παράμετροι πρέπει να επιλεγούν εκτός από τον πίνακα επαγόμενου μέτρου Α ο οποίος προσαρμόζεται αυτόματα. Ο αριθμός των ομάδων c, η παράμετρος «ασάφειας» m και το τερματικό κριτήριο ε επιλέγονται με το ίδιο σκεπτικό όπως και παραπάνω. Οι επιπλέον παράμετροι εδώ είναι οι «εντάσεις» των ομάδων ρ g. Εάν δεν έχουμε καμία προηγούμενη πληροφόρηση για τις ομάδες τα ρ g ισοδυναμούν με 1 για κάθε ομάδα. Το μειονέκτημα όμως με αυτή την επιλογή είναι ότι λόγω του περιορισμού (3.4.3) ο Gustafson-Kessel αλγόριθμος μπορεί μόνο να βρει ομάδες που έχουν περίπου ίδια «ένταση». 3.5.Παραλλαγές-Επεκτάσεις της Fuzzy c-means Υπάρχουν αρκετοί fuzzy αλγόριθμοι ομαδοποίησης πέρα από τον Fuzzy c-means και τον Gustafson-Kessel. Οι αλγόριθμοι αυτοί «αναζητούν» ομάδες διαφορετικού σχήματος, μεγέθους και πυκνότητας χρησιμοποιώντας διαφορετικές αντικειμενικές συναρτήσεις. Θα μπορούσε κάποιος να ενδιαφερόταν να εντοπίσει ομάδες που θυμίζουν κομμάτια επιφάνειας χωρίς εσωτερικά σημεία. Αυτές οι ομάδες μπορούν να εντοπιστούν και με την χρήση αλγορίθμων fuzzy shell ομαδοποίησης. Ενδεικτικά ο fuzzy c ellipsoidal shell αλγόριθμος αναζητεί επιφάνειες με ομάδες που έχουν ελλειψοειδή μορφή [17,18]. Αντίστοιχα ο δευτεροβάθμιος fuzzy shell αλγόριθμος ανιχνεύει ομάδες με τετραγωνική μορφή [19]. Για τον εντοπισμό γραμμικών ομάδων ο compatible merging αλγόριθμος μπορεί να χρησιμοποιηθεί βασιζόμενος στον Gustafson-Kessel [15,17]. Οι περισσότεροι fuzzy αλγόριθμοι ομαδοποίησης εξαρτώνται από την αρχική επιλογή τόσο του αριθμού των ομάδων όσο και από τον ορισμό του 25

44 κέντρου των ομάδων. Ο Unsupervised fuzzy partition-optimal number of classes αλγόριθμος που είναι ένας συνδυασμός του fuzzy c-means αλγορίθμου με τον fuzzy εκτιμητή μέγιστης πιθανοφάνειας. Ο αλγόριθμος αυτός λειτουργεί καλά σε περιπτώσεις πολύ διαφορετικού σχήματος μεταξύ των ομάδων, διαφορετικών πυκνοτήτων καθώς και διαφορετικού αριθμού σημείων σε κάθε ομάδα [11]. Μια ακόμη μεθοδολογία που προσπαθεί να εκτιμήσει τον αριθμό των ομάδων στα δεδομένα και τον εντοπισμό των κέντρων τους είναι ο Subtractive (αφαιρούμενος) clustering algorithm [22]. Ο αλγόριθμος αυτός που εισήγαγε ο Chiu είναι μια επέκταση των Yager και Filev [23] βασιζόμενοι στoν mountain αλγόριθμο. Στην mountain μεθοδολογία η αντιμετώπιση του προβλήματος γίνεται με τη δημιουργία ενός πλέγματος στον χώρο που δημιουργούν τα δεδομένα και με τον υπολογισμό της ενδεχόμενης τιμής κάθε σημείου του πλέγματος βασιζόμενοι στις πραγματικές αποστάσεις από τα δεδομένα. Τα σημεία του πλέγματος που έχουν κοντά τους πολλά δεδομένα έχουν υψηλότερη ενδεχόμενη τιμή. Το σημείο με τη μεγαλύτερη ενδεχόμενη τιμή επιλέγεται ως το κέντρο της ομάδας και έτσι οι υπόλοιπες αποστάσεις των σημείων του πλέγματος μειώνονται καθώς τώρα υπολογίζονται σε σχέση με το κέντρο της ομάδας. Ο Subtractive clustering αλγόριθμος χρησιμοποιεί τα πραγματικά δεδομένα ως υποψήφια για τα κέντρα των ομάδων αντί για τα σημεία του πλέγματος. Στον fuzzy c-means αλγόριθμο ομαδοποίησης καθώς και στην Gustafson-Kessel επέκταση η «ασάφεια» των ομάδων περιγράφθηκε με την παράμετρο «ασάφειας» m. Η παράμετρος αυτή παρόλο που δουλεύει καλά στην πράξη δεν έχει καμία θεωρητική ερμηνεία. Επίσης, έτσι όπως είναι ορισμένη υποδηλώνει ότι τα κέντρα των ομάδων αποκτούνται υπολογίζοντας των γεωμετρικό μέσο των μεταβλητών με βάρη ίσα με τους βαθμούς συμμετοχής. Για τον λόγο αυτό οι Li και Mukaidono [24,25] καθώς και οι Miyamoto Mukaidono [26] αφαίρεσαν την παράμετρο «ασάφειας» m και αντί αυτού τοποθέτησαν έναν όρο εντροπίας που συγκεντρώνει μέσα του όλη την πληροφορία της ασάφειας των δεδομένων. 26

45 4.Εφαρμογές Στο προηγούμενο κεφάλαιο περιγράψαμε αναλυτικά τη μεθοδολογία που ακολουθούμε κατά τη χρήση της Fuzzy c-means αλλά και της Gustafson- Kessel επέκτασης. Σε αυτό το κεφάλαιο θα δώσουμε παραδείγματα που αφορούν τις μεθόδους αυτές έτσι ώστε μέσα από την πρακτική τους εφαρμογή να γίνουν περαιτέρω κατανοητές. Για το σκοπό αυτό θα παρουσιάσουμε τρεις αναλυτικές εφαρμογές. Πιο συγκεκριμένα, στο πρώτο παράδειγμα, για την παρουσίαση του Fuzzy c-means αλγορίθμου χρησιμοποιούμε δεδομένα τα οποία περιγράφουν τα χαρακτηριστικά των λουλουδιών Ίρις. Κατά την εφαρμογή του αλγορίθμου αυτού εξετάζουμε κατά πόσον η τεχνική αυτή κατάφερε να τοποθετήσει ορθά σε ξεχωριστές ομάδες τους διαφορετικούς τύπους λουλουδιών της Ίρις οικογένειας. Σε συνέχεια του παραδείγματος αυτού συγκρίνουμε την Fuzzy c-means μεθοδολογία με αυτή των ιεραρχική και k-means. Κατόπιν, στο δεύτερο παράδειγμα, εφαρμόζουμε την Gustafson- Kessel παραλλαγή χρησιμοποιώντας δεδομένα που προέρχονται από 31 ευρωπαϊκές χώρες και περιέχουν τρεις δείκτες ανεργίας. Ο στόχος του παραδείγματος αυτού είναι να τοποθετηθούν οι χώρες αυτές σε οικονομικά εύρωστες ή οικονομικά δυσχερείς ομάδες. Για την σωστή επιλογή του πλήθους των ομάδων γίνεται εφαρμογή των κατάλληλων δεικτών εγκυρότητας, όπως αυτοί παρουσιάστηκαν στο τρίτο κεφάλαιο. Τέλος, στο τρίτο και τελευταίο παράδειγμα, χρησιμοποιώντας προσομοιωμένα δεδομένα συγκρίνουμε τις δύο παραπάνω τεχνικές ομαδοποίησης και παράλληλα παρουσιάζουμε τα δυνατά καθώς και τα αδύναμα σημεία της κάθε μίας εξ αυτών. Επιπλέον κάνουμε χρήση της ιεραρχικής και k-means μεθόδου για να σχηματίσουμε μια συνολική άποψη της απόδοσης όλων των παραπάνω τεχνικών. Να σημειώσουμε σε αυτό το σημείο ότι για την ανάλυση των δεδομένων χρησιμοποιήσαμε το στατιστικό πακέτο R και συγκεκριμένα έγινε χρήση των βιβλιοθηκών ppclust, cluster, fclust και mclust. 27

46 4.1.Εφαρμογή 1 Fuzzy c-means Τα δεδομένα που χρησιμοποιούμε για την εφαρμογή αυτή αποτελούνται από ποσοτικά χαρακτηριστικά των λουλουδιών της Ίρις οικογένειας. Ο Βρετανός στατιστικός και βιολόγος Ronald Fisher το 1936 [27] ήταν ο πρώτος που εισήγαγε τα δεδομένα αυτά σε παράδειγμα για την εφαρμογή της διαχωριστικής ανάλυσης. Τα Ίρις λουλούδια του παραδείγματος μας είναι 150 και είναι τοποθετημένα στις εξής τρεις κατηγορίες: α)iris setosa β)iris versicolor και γ)iris virginica, 50 ανά κατηγορία. Σε κάθε ένα από αυτά μετρήθηκε το μήκος και το πλάτος του σεπάλου και του πετάλου. Στην πολυμεταβλητή ανάλυση ένας συνήθης τρόπος για την απεικόνιση των δεδομένων είναι η δημιουργία του matrix scatter plot. Το matrix scatter plot ουσιαστικά είναι ένα πολλαπλό διάγραμμα σημείων που παρουσιάζει όλες τις ανά δύο σχέσεις των μεταβλητών σε ένα πίνακα γραφημάτων. Χρησιμοποιείται για να περιγράψει σχέσεις μεταξύ δύο ή περισσοτέρων μεταβλητών. Το γράφημα αυτό μπορεί να μας αποκαλύψει και την ύπαρξη ομάδων στα δεδομένα. Ένα τέτοιο γράφημα εφαρμόστηκε στα δεδομένα μας (Γράφημα 3) και παρατηρούμε τα εξής: Το είδος iris setosa έχει χαρακτηριστικά τα οποία διακρίνονται εύκολα σε σχέση με τα άλλα δυο είδη. Τα χαρακτηριστικά των ειδών iris versicolor και iris virginica δημιουργούν ομάδες μέρος των οποίων επικαλύπτεται μεταξύ τους. Πιο έντονο είναι το φαινόμενο μεταξύ των μεταβλητών μήκος και πλάτος του σεπάλου. Κάτι τέτοιο δημιουργεί μεγαλύτερο ενδιαφέρον αλλά και δυσκολία στο σωστό εντοπισμό των διαφορετικών ομάδων. 28

47 Γράφημα 3-Διάγραμμα σημείων των Ίρις χαρακτηριστικών Στο παράδειγμα αυτό, όπως ήδη αναφέραμε, εφαρμόζουμε τη Fuzzy c-means μεθοδολογία η οποία υιοθετεί ως πίνακα επαγόμενου μέτρου τον Α = Ι με συνέπεια ο υπολογισμός της απόστασης να αντιστοιχεί στην Ευκλείδεια απόσταση. Γνωρίζοντας ότι τα διαφορετικά είδη των Ίρις λουλουδιών είναι τρία ορίζουμε ο αριθμός των ομάδων που θα αναζητήσει ο αλγόριθμος να είναι επίσης τρεις. Έτσι ο Fuzzy c-means αλγόριθμος, όπου c=3, τοποθέτησε 60 στοιχεία στην πρώτη ομάδα, 50 στη δεύτερη και 40 στην Τρίτη όπως βλέπουμε και στον πίνακα 1. Πίνακας 1-Κατανομή στοιχείων Fuzzy c-means αλγορίθμου Ομάδα Αριθμός στοιχείων 29

48 Παρατηρώντας τον πίνακα 1 δημιουργείται εύλογα η απορία εάν ο Fuzzy c- Means αλγόριθμος πραγματοποίησε σωστό διαχωρισμό καθώς γνωρίζαμε ότι από κάθε είδος Ίρις λουλουδιού είχαν συλλεχθεί 50 στοιχεία. Επομένως, χρειάζεται να διερευνήσουμε εάν εντόπισε σωστά τις ομάδες. Πίνακας 2-Αναλυτική κατανομή στοιχείων Fuzzy c-means αλγορίθμου Ομάδα Setosa Versicolor Virginica Στον πίνακα 2 φαίνεται ότι στο είδος Ίρις Setosa έγινε σωστός εντοπισμός των λουλουδιών που συμμετέχουν στην αντίστοιχη του είδους αυτού ομάδα. Αντίθετα, στις δύο άλλες ομάδες η Fuzzy c-means μεθοδολογία έχει τοποθετήσει πιθανώς λανθασμένα κάποια λουλούδια σε διαφορετική ομάδα από αυτή που πραγματικά ανήκουν. Πιο συγκεκριμένα, τοποθέτησε 13 στοιχεία στην ομάδα 1 ενώ θα έπρεπε να τα τοποθετήσει στην ομάδα 3 δηλαδή στο είδος Ίρις Virginica και 3 στοιχεία στην ομάδα 3 ενώ θα έπρεπε να τοποθετηθούν στο είδος Ίρις Versicolor. Όμως είναι άξιο απορίας για ποιο λόγο συνέβη αυτό. 30

49 Γράφημα 4-Βαθμοί συμμετοχής αντικειμένων για όλες τις ομάδες Στο γράφημα 4 βλέπουμε το ιστόγραμμα των βαθμών συμμετοχής των 150 Ίρις λουλουδιών στις 3 διαφορετικές ομάδες. Τα περισσότερα λουλούδια φαίνεται να έχουν βαθμό συμμετοχής από 0 έως 0.1 δείχνοντας σιγουριά ότι δεν συμμετέχουν σε μία ή περισσότερες ομάδες. Επιπλέον πολλά λουλούδια εμφανίζουν να έχουν βαθμό συμμετοχής σε ομάδα από 0.9 έως 1 κάτι που επίσης δείχνει σιγουριά στην τοποθέτησή τους στη «σωστή» ομάδα. Παρόλα αυτά παρατηρούμε ότι υπάρχουν αρκετά λουλούδια τα οποία έχουν βαθμό συμμετοχής από 0.4 έως 0.5 και 0.5 έως 0.6 ή 0.7. Αυτό σημαίνει ότι υπήρξαν κάποια αντικείμενα που ήταν «αβέβαια» σε ποια ομάδα να τοποθετηθούν καθώς απέχουν σχεδόν ίσο από τα κέντρα των ομάδων. Πιθανώς αυτά τα αντικείμενα να μοιράζονται χαρακτηριστικά και από τις δυο ομάδες και αυτό δικαιολογεί την τοποθέτηση τους σε «λάθος» ομάδα. 31

50 Γράφημα 5-Βαθμοί συμμετοχής αντικειμένων στις ομάδες που κατατάχθηκαν Στο γράφημα 5 παρουσιάζεται διάγραμμα σημείων των βαθμών συμμετοχής των 150 λουλουδιών στην ομάδα την οποία τελικά συμμετέχουν. Άρα φαίνεται με τι βαθμό συμμετοχής τοποθετείται το κάθε λουλούδι στην εκάστοτε ομάδα. Το γράφημα αυτό δείχνει ότι παρόλο που υπάρχει μεγάλο ς βαθμός συμμετοχής των λουλουδιών στις εκάστοτε ομάδες υπάρχουν και αρκετά αντικείμενα που συμμετέχουν σε κάποια ομάδα με χαμηλό βαθμό συμμετοχής. Αυτό συμβαίνει, όπως είπαμε και πριν, διότι κάποια αντικείμενα μπορεί να μην έχουν ακριβώς τα χαρακτηριστικά που χρειάζεται για να ενταχθούν σε μια ομάδα αλλά να μοιράζονται κάποιο χαρακτηριστικό από δύο ή περισσότερες ομάδες. Να σημειώσουμε εδώ πως το αντικείμενο τοποθετείται σε εκείνη την ομάδα στην οποία έχει το μεγαλύτερο βαθμό συμμετοχής. Στον πίνακα που ακολουθεί, πίνακας 3, εμφανίζονται οι βαθμοί συμμετοχής των αντικειμένων που τοποθετήθηκαν από τον Fuzzy c-means αλγόριθμο σε «λανθασμένη» ομάδα. Όπως βλέπουμε τα περισσότερα από τα αντικείμενα αυτά έχουν σχετικά μικρό βαθμό συμμετοχής στην ομάδα που τοποθετήθηκαν, κάτι που δικαιολογεί την τοποθέτηση τους σε διαφορετική ομάδα από αυτήν που είχαν 32

51 αρχικά τοποθετηθεί σύμφωνα με το είδος τους (Ίρις Setosa, Ίρις Versicolor και Ίρις Virginica). Επίσης, παρατηρούμε ότι κάποια αντικείμενα παρόλο που έχουν ικανοποιητικό βαθμό συμμετοχής, δηλαδή περίπου 0.7, βρίσκονται τοποθετημένα σε «λάθος» ομάδα. Αυτό συμβαίνει διότι βρίσκονται κοντινότερα στο κέντρο της «λανθασμένης» ομάδας απ ότι από το κέντρο της ομάδας που τυπικά ανήκουν. Πίνακας 3-Βαθμοί συμμετοχής αντικειμένων τοποθετημένων σε «λανθασμένη» ομάδα (Fuzzy c-means αλγόριθμος) Βαθμοί Συμμετοχής Ομάδα Εφαρμόζουμε την Μέθοδο των Κύριων Συνιστωσών. Κρατάμε τις 2 πρώτες κύριες συνιστώσες οι οποίες εξηγούν το 95.8% της διακύμανσης των δεδομένων. Στο γράφημα 6 απεικονίζονται τα δεδομένα με την τυπική τους ομαδοποίηση, όπως αυτά ομαδοποιήθηκαν από τον ερευνητή πριν την 33