Αποθήκες Δεδομένων και Εξόρυξη Δεδομένων

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ Αποθήκες Δεδομένων και Εξόρυξη Δεδομένων Ενότητα 7: Ομαδοποίηση Μέρος Α Αναστάσιος Γούναρης, Επίκουρος Καθηγητής

2 Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άλλου τύπου άδειας χρήσης, η άδεια χρήσης αναφέρεται ρητώς. 2

3 Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο» έχει χρηματοδοτήσει μόνο την αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους. 3

4 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ Ομαδοποίηση Μέρος Α Λειτουργία της ομαδοποίησης, τύποι συστάδων, αλγόριθμος k-means

5 Περιεχόμενα ενότητας 1. Αλγόριθμοι ομαδοποίησης: i. Αλγόριθμοι τμηματοποίησης. 5

6 Σκοποί ενότητας Παρουσίαση της λειτουργίας της ομαδοποίησης. Παρουσίαση των τύπων συστάδων. Περιγραφή του k-means αλγόριθμου, καθώς και παραλλαγές του. 6

7 Τί είναι ομαδοποίηση ανάλυση συστάδων Συστάδα: συλλογή από αντικείμενα o που είναι όμοια ή σχετίζονται με κάποιο τρόπο με τα υπόλοιπα αντικείμενα της ομάδας, o και που δεν είναι (τόσο) όμοια ή δεν σχετίζονται με τα αντικείμενα άλλων ομάδων. Ανάλυση συστάδων: o Ομαδοποίηση αντικειμένων σε συστάδες. Η ομαδοποίηση μπορεί να θεωρηθεί ως μη επιβλεπόμενη κατηγοριοποίηση: δεν υπάρχουν προκαθορισμένες κατηγορίες. Τυπικές εφαρμογές: o Ως αυτόνομο εργαλείο ανάλυσης και κατανόησης δεδομένων. o Ως προεπεξεργασία δεδομένων. 7

8 Παραδείγματα εφαρμογών (1/2) Χρήση γης: Εντοπισμός περιοχών με παρόμοια χρήση γης σε μία βάση δεδομένων με φωτογραφίες από δορυφόρους. Χωροταξικά σχέδια: Εντοπισμός ομάδων κτιρίων σύμφωνα με τον τύπο κατοικίας, αξία, γεωγραφική περιοχή, κλπ. Σεισμογραφικές μελέτες: Ομαδοποίηση βάσει επικέντρων και άλλων χαρακτηριστικών των σεισμών. 8

9 Παραδείγματα εφαρμογών (2/2) Ανάλυση προτύπων επεξεργασία εικόνας. Δεδομένα παγκοσμίου ιστού: ομαδοποίηση ιστοσελίδων, ομαδοποίηση συμπεριφορών χρήσης. Marketing: Βοήθεια στην ανακάλυψη ομάδων πελατών για στοχευμένη διαφήμιση/marketing. 9

10 Πότε η ομαδοποίηση είναι καλή; Μία καλή μέθοδος ομαδοποίησης παράγει συστάδες: o Με μεγάλη ομοιότητα μεταξύ των αντικειμένων στην ίδια συστάδα. o Και μικρή ομοιότητα μεταξύ των αντικειμένων σε διαφορετικές συστάδες. Η ποιότητα εξαρτάται από: o Τη μέθοδο υλοποίησης της τεχνικής ομαδοποίησης. o Το μέτρο ομοιότητας που χρησιμοποιείται. Επίσης εξαρτάται από το πόσο μπορεί να ανακαλύψει κρυφά πρότυπα στα δεδομένα. 10

11 Έννοια συστάδας Αλλά η έννοια της συστάδας δεν είναι πάντοτε αντικειμενική. Πόσα clusters? 6 Clusters 2 Clusters 4 Clusters 11

12 Διαχωρισμοί μεταξύ ομαδοποιήσεων Ιεραρχική vs Διαχωριστική (Partitional) ομαδοποίηση: o Η ιεραρχική ομαδοποίηση παράγει εμφωλευμένες συστάδες που ανήκουν σε μια ιεραρχία. o Η διαχωριστική παράγει μη επικαλυπτόμενες συστάδες. Αποκλειστική vs μη-αποκλειστική vs ασαφής. Πλήρης vs μερική. 12

13 Τύποι Συστάδων: Καλά διαχωρισμένες Καλά διαχωρισμένες (Well-Separated) συστάδες: o Οι συστάδες είναι σύνολα σημείων όπου κάθε σημείο είναι πιο κοντά σε κάθε άλλο σημείο της ίδιας συστάδας παρά σε κάποιο σημείο άλλης συστάδας. 3 καλά διαχωρισμένες συστάδες 13

14 Τύποι Συστάδων: Βασισμένες στο κέντρο Η συστάδα περιέχει τα αντικείμενα που είναι κοντύτερα στο δικό της «κέντρο». o Centroid vs medoid 14

15 Άλλοι Τύποι Συστάδων Βάσει γειτνίασης o Κάθε σημείο της συστάδας είναι πιο κοντά σε τουλάχιστον ένα άλλο σημείο της συστάδας παρά σε κάθε σημείο εκτός συστάδας. o Οι αντίστοιχες τεχνικές βασίζονται κυρίως σε θεωρίες γράφων. o Παράδειγμα με 8 συστάδες: o Βάσει πυκνότητας. o Πιο γενικά, βάσει κοινών ιδιοτήτων: 15

16 Γενικές Απαιτήσεις στην ΕΔ Κλιμάκωση. Δυνατότητα χειρισμού διαφορετικών τύπων δεδομένων. Ανακάλυψη συστάδων με οποιοδήποτε σχήμα. Ελάχιστη ή μηδαμινή απαίτηση γνώσης πεδίου (domain knowledge). Ικανότητα χειρισμού θορύβου και ανωμαλιών. Όχι εξάρτηση από την σειρά των δεδομένων. Χειρισμός πολλών διαστάσεων. Εισαγωγή περιορισμών. Ευχρηστία και εύκολη κατανόηση/επεξήγηση. 16

17 Μέτρα ομοιότητας/απόστασης: επανάληψη Ιδιότητες μέτρων ομοιότητας: o Ανακλαστική. o Συμμετρική. ΑΠΟΣΤΑΣΗ=ΜΟΝΟΤΟΝΑ_ΦΘΗΝΟΥΣΑ(ΟΜΟΙΟΤΗΤΑ). Ιδιότητες μετρικού απόστασης: o Θετικότητα: d( x, y) 0 o Ανακλαστική: d( x, y) 0 x y o Συμμετρική: d( x, y) d( y, x) o Τριγωνική ανισότητα: d( x, y) d( x, z) d( z, y) 17

18 Αλγόριθμοι Τμηματοποίησης (Partitioning Algorithms) Μεθοδολογία: Δημιουργία τμηματοποίησης μίας ΒΔ D με n αντικείμενα σε ένα σύνολο k συστάδων. Δεδομένου του k, πρέπει να βρεθεί η τμηματοποίηση που βελτιστοποιεί το κριτήριο τμηματοποίησης. Βέλτιστη λύση: πρέπει να εξεταστούν όλες οι περιπτώσεις. Ευρετικές μέθοδοι: k-means, k-medoids, k-nn. k-means (MacQueen 67): Κάθε συστάδα αντιπροσωπεύεται από το κέντρο της. k-medoids or PAM (Partition around medoids) (Kaufman & Rousseeuw 87): Κάθε συστάδα αντιπροσωπεύεται από ένα αντικείμενό της. 18

19 Συνολικός αριθμός ομαδοποιήσεων (1/3) S(n,k): αριθμός ομαδοποιήσεων n σημείων σε k ομάδες: o S(n-1,k-1) περιπτώσεις για k-1 ομάδες με n-1 σημεία. Το n- οστό σημείο δημιουργεί νέα ομάδα που συνδυάζεται με κάθε μία από τις S(n-1,k-1) ώστε να προκύψουν k ομάδες με n σημεία. Προκύπτουν συνολικά S(n-1,k-1) περιπτώσεις. o S(n-1,k) περιπτώσεις για k ομάδες με n-1 σημεία. Το n- οστό σημείο εντάσσεται σε κάθε μία από τις ομάδες ώστε να προκύψουν k ομάδες με n σημεία. Προκύπτουν συνολικά k*s(n-1,k) περιπτώσεις. 19

20 Συνολικός αριθμός ομαδοποιήσεων (2/3) Παράδειγμα: A,B,C,D σημεία. S(4,3) =? (A,B) (C) (A,B) (C) (D) (A,C) (B) (A,C) (B) (D) (A)(B,C) (A) (B,C) (D) S(3,2) = 3 S(3,2) περιπτώσεις (A) (B) (C) (A,D) (B) (C) (A) (B, D) (C) S(3,2) = 3 (A) (B) (C, D) 3*S(3,3) περιπτώσεις 20

21 Συνολικός αριθμός ομαδοποιήσεων (3/3) S( n, k) S( n 1, k 1) ks( n 1, k) k=4 S( n,1) 1, S( n, n) 1, S( n, k) 0, k n S( n, k) 1 k! i k 1 ( 1) k 1 k i i n 21

22 K-means 1. Διάλεξε k τυχαία κέντρα. (Τα κέντρα μπορεί να μην αντιστοιχούν σε ένα από τα δεδομένα αντικείμενα). 2. Ανάθεσε κάθε αντικείμενο στο πλησιέστερο προς αυτό κέντρο. 3. Για κάθε μία από τις k ομάδες, υπολόγισε το νέο κέντρο. 4. Αν όλα τα νέα κέντρα συμπίπτουν με τα προηγούμενα (δηλαδή, δεν υπήρξε μεταβολή), τότε τερμάτισε γιατί ο αλγόριθμος έχει συγκλίνει. Αλλιώς, επανάλαβε το βήμα 2. 22

23 Παράδειγμα K-means: Βήμα 1 y Διάλεξε τα αρχικά 3 κέντρα των συστάδων (τυχαία). k 1 k 2 k 3 x 23

24 Παράδειγμα K-means: Βήμα 2 y Ανάθεσε κάθε σημείο στο κοντινότερο κέντρο. k 1 k 2 k 3 x 24

25 Παράδειγμα K-means: Βήμα 3 y Μετακίνησε κάθε κέντρο στο μέσο της συστάδας. k 1 k 1 k 2 k 3 k 2 k 3 x 25

26 Παράδειγμα K-means: Βήμα 4 y Αναθεώρησε την ανάθεση των σημείων για τα οποία υπάρχει κοντινότερο κέντρο. k 1 Ε: Ποια είναι αυτά τα σημεία; k 2 k 3 x 26

27 Παράδειγμα K-means: Βήμα 4α y 3 σημεία ανατίθενται διαφορετικά k 1 k 2 k 3 x 27

28 Παράδειγμα K-means: Βήμα 4β y Επανα-υπολογισμός μέσων k 1 k 2 k 3 x 28

29 Παράδειγμα K-means: Βήμα 5 y k 1 Επανα-υπολογισμός μέσων k 2 k 3 x 29

30 Σύγκλιση σε τοπικά ελάχιστα SSE = 4 SSE = 16 Επανάληψη με άλλα αρχικά κέντρα 30

31 Ευαισθησία σε θόρυβο/outliers 31

32 Εναλλακτικές συνθήκες τερματισμού Μετά από συγκεκριμένο αριθμό επαναλήψεων. Το άθροισμα των μεταβολών των κέντρων είναι κάτω από ένα κατώφλι. 32

33 Πρόβλημα αρχικής επιλογής κέντρων Αν υπάρχουν K συστάδες πραγματικά με n σημεία η κάθε μία, η πιθανότητα επιλογής ενός κέντρου σε κάθε μία συστάδα είναι μικρή: o Για K = 10, τότε Ρ = 10!/1010 = o Κάποιες φορές τα κέντρα θα αυτορυθμιστούν σωστά, και κάποιες φορές όχι. 33

34 Λύσεις Πολλαπλές επαναλήψεις. Δειγματοληψία και εφαρμογή ιεραρχικής ομαδοποίησης. Επιλογή περισσότερων αρχικών σημείων και κατόπιν επιλογής των πιο απομακρυσμένων. Εκ των υστέρων επεξεργασία. Διχοτομικός (Bisecting) K-means. 34

35 Χαρακτηριστικά K-means Πλεονεκτήματα Απλός. Γρήγορος (O(nd)). Μειονεκτήματα Επιλογή k. Τοπικά ελάχιστα. Ευαισθησία σε θόρυβο, outliers. Χαμηλή αποτελεσματικότητα όταν οι πραγματικές συστάδες είναι διαφορετικού μεγέθους, πυκνότητας, ή δεν έχουν σφαιρικό σχήμα. o Χρειάζονται αυξημένο k. 35

36 Παραλλαγές K-means K-medians αντί για μέσες τιμές, χρησιμοποιούνται οι ενδιάμεσες. Mean των 1, 3, 5, 7, 9: 5 Mean των 1, 3, 5, 7, 1009: Median των 1, 3, 5, 7, 1009: 205 Προτέρημα των Median τιμών: δεν επηρεάζονται από ακραίες τιμές. Δειγματοληψία (για μεγάλες ΒΔ). 5 36

37 Σημείωμα Αναφοράς Copyright, Αναστάσιος Γούναρης. «. Ενότητα 7. Ομαδοποίηση Μέρος Α». Έκδοση: 1.0. Θεσσαλονίκη Διαθέσιμο από τη δικτυακή διεύθυνση:

38 Σημείωμα Αδειοδότησης Το παρόν υλικό διατίθεται με τους όρους της άδειας χρήσης Creative Commons Αναφορά - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0 [1] ή μεταγενέστερη, Διεθνής Έκδοση. Εξαιρούνται τα αυτοτελή έργα τρίτων π.χ. φωτογραφίες, διαγράμματα κ.λ.π., τα οποία εμπεριέχονται σε αυτό και τα οποία αναφέρονται μαζί με τους όρους χρήσης τους στο «Σημείωμα Χρήσης Έργων Τρίτων». Ο δικαιούχος μπορεί να παρέχει στον αδειοδόχο ξεχωριστή άδεια να χρησιμοποιεί το έργο για εμπορική χρήση, εφόσον αυτό του ζητηθεί. Ως Μη Εμπορική ορίζεται η χρήση: που δεν περιλαμβάνει άμεσο ή έμμεσο οικονομικό όφελος από την χρήση του έργου, για το διανομέα του έργου και αδειοδόχο που δεν περιλαμβάνει οικονομική συναλλαγή ως προϋπόθεση για τη χρήση ή πρόσβαση στο έργο που δεν προσπορίζει στο διανομέα του έργου και αδειοδόχο έμμεσο οικονομικό όφελος (π.χ. διαφημίσεις) από την προβολή του έργου σε διαδικτυακό τόπο [1]

39 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ Τέλος ενότητας Επεξεργασία: Ανδρέας Κοσματόπουλος Θεσσαλονίκη, Χειμερινό Εξάμηνο

40 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ Σημειώματα

41 Διατήρηση Σημειωμάτων Οποιαδήποτε αναπαραγωγή ή διασκευή του υλικού θα πρέπει να συμπεριλαμβάνει: το Σημείωμα Αναφοράς το Σημείωμα Αδειοδότησης τη δήλωση Διατήρησης Σημειωμάτων το Σημείωμα Χρήσης Έργων Τρίτων (εφόσον υπάρχει) μαζί με τους συνοδευόμενους υπερσυνδέσμους.