Συσταδοποίηση IIΙ DBSCAN. DBSCAN: Γενικά. DBSCAN: Γενικά. DBSCAN: Αλγόριθμος. DBSCAN: Αλγόριθμος

Transcript

1 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ Συσταδοποίηση IIΙ DBSCAN Μέρος των διαφανειών είναι από το P.-N. Tan, M.Stenbach, V. Kumar, «Introducton to Data Mnng», Addson Wesle, 6 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ DBSCAN: Γενικά DBSCAN: Γενικά O DBSCAN είναι ένας αλγόριθμος βασισμένος στην πυκνότητα Πυκνότητα = αριθμός σημείων (MnPts) μέσα σε ποια προκαθορισμένη ακτίνα (Eps) Τα σημεία διαχωρίζονται σε: Βασικά (core): ένα σημείο για το οποίο υπάρχουν περισσότερα από ένα προκαθορισμένο αριθμό (MnPts) σημεία σε ακτίνα Eps Αυτά είναι τα σημεία που είναι στο εσωτερικό μιας συστάδας Οριακά (border): ένα σημείο για το οποίο υπάρχουν λιγότερα από ένα προκαθορισμένο αριθμό (MnPts) σημεία σε ακτίνα Eps, αλλά είναι στη γειτονιά ενός βασικού σημείου Θορύβου (nose): ένα σημείο που δεν είναι ούτε βασικό ούτε οριακό Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ DBSCAN: Αλγόριθμος DBSCAN: Αλγόριθμος Βήμα & Βασικός Αλγόριθμος : Χαρακτήρισεκάθεσημείοωςβασικό, οριακό ή θόρυβο : Διέγραψε τα σημεία θορύβου : Τοποθέτησε μια ακμή μεταξύ όλων των βασικών σημείων που είναι σε απόσταση έως Eps μεταξύ τους : Κάνε κάθε ομάδα συνδεδεμένων βασικών σημείων μια διαφορετική συστάδα : Ανάθεσε κάθε οριακό σημεία σε μία από τις συστάδες των συσχετιζόμενων του βασικών σημείων Αρχικά σημεία Τύποι σημείων: core, border και nose Eps =, MnPts = Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 6

2 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 7 DBSCAN: Πλεονεκτήματα DBSCAN: Πολυπλοκότητα Βήμα & O(m χρόνος εντοπισμού σημείων σε eps-γειτονιά) Ο(m ) Για μικρό αριθμό διαστάσεων, υπάρχουν δομές που υποστηρίζουν την πράξη σε Ο(m logm) O(m) χώρος (κρατάμε μόνο ένα label) Αρχικά Σημεία Συστάδες Δεν επηρεάζεται από το θόρυβο Μπορεί να χειριστεί συστάδες με διαφορετικά σχήματα και μεγέθη Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 8 DBSCAN: Περιορισμοί DBSCAN: Καθορισμός των MnPts και Eps Αρχικά Σημεία (MnPts=, Eps=9.7). Η ιδέα είναι να κοιτάξουμε την απόσταση ενός σημείου από τον k-οστό κοντινότερο γείτονα του -> k-dst Γενικά, για τα σημεία που ανήκουν στην ίδια ομάδα, ητιμήτουk-dst θα είναι μικρή (αν το k δεν είναι μεγαλύτερο από το μέγεθος της συστάδας) Θαθέλαμεγιατασημείαμιαςσυστάδας, να έχουν περίπου την ίδια k-dst Τα σημεία θορύβου έχουν μεγαλύτερες k-dst Υπολογίζουμε την k-dst για όλα τα σημεία, για κάποιο k Ταξινομούμε τις αποστάσεις με φθήνουσα διάταξη Περιμένουμε ξαφνική αλλαγή στο k-dst που αντιστοιχεί στο Eps Οπότε k = MnPts και Eps = k-dst Διαφορετικές πυκνότητες Πολυ-διάστατα δεδομένα δύσκολος ορισμός πυκνότητας και δαπανηρός υπολογισμός γειτόνων (MnPts=, Eps=9.9) Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 9 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ Μεγάλα Σύνολα εδομένων Περιορισμένη μνήμη (πολύ μικρότερη από το μέγεθος των δεδομένων) ΣΤΟΧΟΣ: μείωση του χρόνου εισόδου/εξόδου (I/O) Κόστος I/O γραμμικό στο μέγεθος του συνόλου δεδομένων Αρκεί ένα πέρασμα (scan) των δεδομένων Ένα ή περισσότερα επιπρόσθετα περάσματα για βελτίωση της ποιότητας της συσταδοποίησης T. Zhang, R. Ramakrshnan and M. Lnv. : An Effcent Data Clusterng Method for Ver Large Databases, SIGMOD 996 : Balanced Iteratve Reducng and Clusterng usng Herarches Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ

3 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ Έστω μια συστάδα σημείων: Αντί να κρατάμε όλα τα σημεία μιας συστάδας κρατάμε κάποια «στατιστικά» για κάθε συστάδα και για τις σχέσεις μεταξύ των συστάδων Centrod(κεντρικό σημείο): Radus (ακτίνα) μέση απόσταση των σημείων της συστάδας από το κεντρικό σημείο Dameter (διάμετρος): μέση ανα-δύο απόσταση των σημείων της συστάδας Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ Μας ενδιαφέρει και η απόσταση των κεντρικών σημείων δυο συστάδων Συγχώνευση Συστάδων Μεταξύ δυο συστάδων Συστάδα {X }: =,,, N Συστάδα {X j }: j = N +, N +,, N +N centrod Eucldean dstance centrod Manhattan dstance X X j Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 6 Συστάδα X k = {X } + {X j }: l =,,, N, N +, N +,, N +N average nter-cluster (D) μέση απόσταση των σημείων της μιας συστάδας από τα σημεία της άλλης ntra-cluster (D) μέση απόσταση όλων των σημείων varance ncrease (D) Νέα Απόσταση D της συγχωνευμένης συστάδας Απόσταση στο C Απόσταση στο C j Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 7 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 8

4 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 9 : CF : CF Clusterng Feature (CF): μια περίληψη μιας υπο-συστάδας δεδομένων - Μια τριάδα (αριθμός-σημείων, γραμμικό-άθροισμα-σημείων-συστάδας, άθροισμα-τετραγώνου-σημείων-συστάδας) CF εγγραφές είναι συνοπτικές πολύ λιγότερη πληροφορία από ότι όλατασημείατηςυπο-συστάδας Λόγω της προσθετικής ιδιότητας μπορούμε να συγχωνεύσουμε δυο υπο-συστάδες σταδιακά Μια εγγραφή τα D-D CF έχει αρκετή πληροφορία για να υπολογίσουμε Σημαντική (προσθετική) ιδιότητα: Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ Ιεραρχικός αλγόριθμος Χτίζει σταδιακά καθώς διαβάζει τα δεδομένα ένα δεντρόγραμμα του οποίου κόμβοι είναι οι τιμές CF που περιγράφουν τα δεδομένα κάθε υπο-συστάδας Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ Εσωτερικός κόμβος Φύλλο CF CF CF B CF CF CF L A CF tree s a heght-balanced tree wth three parameters: branchng factor B, threshold T, and a leaf node contans Τ at most L entres. Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ Ρίζα CF CF CF B CF B CF B CF BB Υπο-συστάδα Εσωτερικός κόμβος Κάθε εσωτερικός κόμβος περιέχει έναν αριθμό από παιδιά - B (παράγοντας διακλάδωσης) εγγραφές <CF, παιδί > Κάθε φύλλο περιέχει έναν αριθμό από υπο-συστάδες το πολύ L CF εγγραφές [CF ] και <prev>, <net> ponters Κάθε εσωτερικός κόμβος μια υποσυστάδα που αποτελείται από τις υποσυστάδες των παιδιών του Όπως σε όλες τις σχετικές δομές απαιτούμε κάθε κόμβος του δέντρου να χωρά σε ένα block Το μέγεθος των κόμβων (B, L) καθορίζεται από τη διάσταση των δεδομένων και το μέγεθος της σελίδας P (που δίνεται ως είσοδος) Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ

5 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ : CF δέντρο Κάθε υποσυστάδα ενός φύλλου πρέπει να έχει διάμετρο μικρότερη από κάποιο κατώφλι T Το μέγεθος του T καθορίζει το μέγεθος του δέντρου Όσο πιο μεγάλο είναι το Τ, τόσο μικρότερο είναι το δέντρο Συνοπτικά, το CF-δέντρο είναι ένα ισοζυγισμένο δέντρο με δυο παραμέτρους Παράγοντα διακλάδωσης Β (που καθορίζεται από το μέγεθος του block) Κατώφλι Τ (που καθορίζει την ποιότητα της συσταδοποίησης) Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 6 Για ένα φύλλο: LS = SS = P N v P v P P N εισαγωγή στοιχείου Ο αλγόριθμος διαβάζει (scan) τα δεδομένα και τα εισάγει στο CF δέντρο ένα-ένα Για κάθε εσωτερικό κόμβο που έχει παιδιά τα N, N,, N k LS = SS = k = k = LS of N SS of N Η εισαγωγή ενός στοιχείου στο CF-δέντρο γίνεται με top-down διάσχιση ξεκινώντας από τη ρίζα με βάση μια συνάρτηση απόστασης Dstance(σημείο, cluster) Χρήση της D, D, D, D ή D Κάθε σημείο εισάγεται στην κοντινότερη υπο-συστάδα που υπάρχει σε κάποιο από τα φύλλα Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 7 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 8 εισαγωγή στοιχείου εισαγωγή στοιχείου. Εύρεση κατάλληλου φύλου αν το φύλλο μπορεί να το απορροφήσει (διάμετρος παραμένει <= Τ) ok, Αλλιώς. Ενημέρωση του φύλλου. ιάσπαση φύλλου. Ενημέρωση τιμής CF. Εύρεση φύλλου CF CF CF B CF CF CF L CF CF CF B CF B CF B CF BB subcluster Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 9 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ

6 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ. Τροποποίηση CF τιμών CF CF CF B CF CF CF L εισαγωγή στοιχείου CF CF CF B CF B CF B CF BB subcluster. Μετατροπή φύλλου CF CF CF B CF CF CF L εισαγωγή στοιχείου CF CF CF B CF B CF B CF BB subcluster Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ - ιάσπαση και ενημέρωση του μονοπατιού από τη ρίζα εισαγωγή στοιχείου CF CF CF B CF CF CF B CF B CF B CF BB - ιάσπαση και ενημέρωση του μονοπατιού από τη ρίζα εισαγωγή στοιχείου CF CF CF B CF CF CF B CF B CF B CF BB CF CF CF L subcluster CF CF CF CF subcluster Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ Κάθε σημείο εισάγεται στο κοντινότερη υπο-συστάδα που υπάρχει σε κάποιο από τα φύλλα Ανηεισαγωγήενόςσημείουμεγαλώσει τη διάμετρο της υποσυστάδας πάνω από T, τότε έχουμε δημιουργία νέας υποσυστάδας Αν η νέα συστάδα χωρά στο φύλλο, οk -> ενημέρωση προγόνων Αν η νέα συστάδα δε χωρά -> υπερχείλιση στο φύλλο ιάσπαση φύλλου (splt) ημιουργία νέου φύλλου και μοίρασμα των συστάδων, πως; Εύρεση των δύο υπο-συστάδων του φύλλου πού έχουν τη μεγαλύτερη απόσταση μεταξύ τους, έστω C και Cj Αυτές οι δύο αποτελούν το κριτήριο διάσπασης των υπο-συστάδων του φύλλου κάθε μια από αυτές σε ένα από τα δύο νέα φύλλα όλες οι άλλες υπο-συστάδες C ανατίθενται στο φύλλο της C ή στο φύλλο της Cj με βάση ποια από τις δύο είναι πιο όμοια της Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 6

7 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 7 ιάσπαση φύλλου μπορεί να οδηγήσει σε υπερχείλιση εσωτερικού κόμβου (όταν περιέχει περισσότερα παιδιά από ότι ο παράγοντας διακλάδωσης) ιάσπαση εσωτερικού κόμβου Οι εσωτερικοί κόμβοι διασπούνται αναδρομικά με βάση μια μέτρηση της απόσταση των συστάδων τους ιάσπαση της ρίζας, οδηγεί σε αύξηση του ύψους του δέντρου κατά Οι διασπάσεις οφείλονται στο ότι ξεπερνιέται το όριο της σελίδας μπορούν να οδηγήσουν σε κακές διασπάσεις! Μια μικρή διόρθωση: Όταν η διάσπαση κάποιων κόμβων τελειώνει (χωρούν σεένα κόμβο) έστω στον κόμβο N j κοιτάμε τον κόμβο N j και προσπαθούμε να συγχωνεύσουμε τις δύο πιο κοντινές συστάδες αν αυτές δε προέκυψαν από την πιο πρόσφατη διάσπαση Αυτό σημαίνει ότι πρέπει να συγχωνεύσουμε και τα αντίστοιχα παιδιά Αν χωρούν σε μια σελίδα -> ελάττωση χώρου, Αλλιώς ανακατανέμουμε τις εγγραφές Πως; κάνουμε πάλι διάσπαση Τελικά ή συγχώνευση και ελευθέρωση χώρου ή καλύτερη ανακατανομή των εγγραφών σε κάποιο από τα παιδιά Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 8 Νέα υπο-συστάδα sc sc8 sc sc sc sc7 sc sc8 sc sc sc sc7 sc LN sc sc8 LN Root LN LN LN sc sc sc sc sc Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 9 sc7 LN Αν ο παράγοντας διακλάδωσης του φύλλου είναι => διάσπαση του LN LN LN sc8 LN LN Root LN LN Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ LN sc sc sc sc sc7 sc LN Αν ο παράγοντας διακλάδωσης εσωτερικού κόμβου είναι είναι => διάσπαση της ρίζας και αύξηση του ύψους Έστω ότι η αρίθμηση των υποσυστάδων αντιστοιχεί στη σειρά δημιουργίας τους sc sc8 sc sc sc sc7 sc sc LN sc LN LN sc sc sc LN NLN LN LN Root NLN LN LN LN LN root LN LN Αν ο παράγοντας διακλάδωσης του φύλλου είναι => διάσπαση του LN sc8 sc sc sc sc sc sc7 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ sc sc sc sc sc Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ

8 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ sc sc sc sc sc sc sc LN sc sc sc LN LN sc sc LN sc sc root LN sc LN Merge? LN LN sc LN Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ root LN sc sc sc sc LN LN Συγχώνευση LN και LN και ο καινούργιος κόμβος θα διασπαστεί πάλι : αλγόριθμος Επειδή η κατασκευή επηρεάζεται από το μέγεθος της σελίδας: Οι συστάδες που δημιουργούνται μπορεί να μην είναι πραγματικές ανάλογα με το skew (κατανομή) και τη σειρά που έρχονται τα δεδομένα : αλγόριθμος Αυτό αντιμετωπίζεται με προαιρετικές επιπρόσθετες φάσεις Επίσης, αν ξανά-εισάγουμε ένα σημείο μπορεί να εισαχθεί σε διαφορετική συστάδα Αριθμός αντιστοιχεί στη σειρά εισαγωγής, Έστω dst(, ) > T Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 6 Δεδομένα Αρχικό CF δέντρο Μικρότερο CF δέντρο Καλές Συστάδες Καλύτερες Συστάδες Φάση : Κατασκευή CF δέντρου Φάση (προαιρετική): Κατασκευή μικρότερου CF δέντρου Φάση : Ολική Συσταδοποίηση Φάση (προαιρετική): βελτίωση της Συσταδοποίησης -αλγόριθμος Φάση : Μια δομή κύριας μνήμης που συνοψίζει τα δεδομένα Φάση : Κοιτά τα φύλλα και προσπαθεί να διώξει τους outlers και να ενοποιήσει «όμοιες» συστάδες που αντιστοιχούν σε περιοχές με πολλά σημεία Χρειάζεται για να βελτιώσει τη Φάση Φάση Ξανα-συσταδοποιεί τα φύλλα του δέντρου Γιατί; Πχ κοντινές συστάδες που (έτυχε να) είναι σε διαφορετικά φύλλα Πως; Για κάθε συστάδα που εμφανίζεται στα φύλλα, υπολογίζουμε το κεντρικό της σημείο (centrod) και τα θεωρούμε ως αρχικά σημεία αυτά τα αρχικά σημεία μπορούμε να τα συσταδοποιήσουμε χρησιμοποιώντας έναν οποιαδήποτε αλγόριθμο συσταδοποίησης Μπορούμε αντί ένα σημείο ανά συστάδα, κάθε συστάδα τόσες φορές όσες τα σημεία της Εναλλακτικά, μπορούμε να συσταδοποιήσουμε τις συστάδες ως έχουν πχ με έναν ιεραρχικό συγκεντρωτικό αλγόριθμο Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 7 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 8

9 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 9 Φάση (προαιρετική) Χρησιμοποιεί τα κεντρικά σημεία των συστάδων που παράγει η Φάση ως seeds, και αναδιανέμει όλα τα στοιχεία εισόδου (δεύτερο πέρασμα!) Μπορεί να έχουμε και παραπάνω από ένα επιπρόσθετα περάσματα (έχει αποδειχτεί σύγκλιση) Εξασφαλίζει ότι όλα τα αντίγραφα ενός σημείου πάνε στην ίδια συστάδα Μπορούμε επίσης να βάλουμε ως ετικέτα σε κάθε σημείο, τη συστάδα που ανήκει Μπορούμε να απαλλαγούμε από outlers (πχ σημεία πολύ μακριά από όλα τα seeds) Λίγα ακόμα για τη Φάση -αλγόριθμος Ξεκίνα με κάποια αρχική τιμή για το threshold (Τ) ιαβάζει τα δεδομένα και τα εισάγει στο δέντρο Αν ξεπεράσει το διαθέσιμο χώρο πριν διαβάσει όλα τα δεδομένα: Αύξηση του threshold Κτίσιμο νέου (μικρότερου) δέντρου ξαναεισάγοντας τις τιμές από το παλιό δέντρο Μόλις εισαχθούν όλες οι τιμές από το παλιό στο νέο δέντρο, Συνεχίζεται η ανάγνωση των δεδομένων από εκεί που είχε σταματήσει Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ Πως γίνεται η ανα-κατασκευή -αλγόριθμος Μονοπάτι-Μονοπάτι Ανακατασκευάζουμε κάθε μονοπάτι από τη ρίζα στο φύλλο, ξεκινώντας από το πιο αριστερό μονοπάτι (old-current path) ημιουργούμε το new-current path Κάθε φύλλο είτε στο new είτε στο newclosest -αλγόριθμος. Create the correspondng NewCurrentPath n the new tree. Insert leaf entres n OldCurrentPath to the new tree NewClosestPath NewCurrentPath. Free space n OldCurrentPath and NewCurrentPath. Set OldCurrentPath to the net path f there ests one Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ Καιάλλεςβελτιώσειςόπως: Έλεγχος για outlers Dela-splt Τοπικότητα: κάθε απόφαση σχετικά με συσταδοποίηση παίρνετε χωρίς να χρειάζεται να διαβαστούν όλα τα σημεία ή όλες οι υπάρχουσες συστάδες Σημεία σε αραιές περιοχές θεωρούνται οριακά (outlers) και (προαιρετικά) αφαιρούνται Λαμβάνει υπ όψιν τη διαθέσιμη μνήμη Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ

10 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ Ποιότητα Συσταδοποίησης Πόσο καλή είναι συσταδοποίηση που επιτύχαμε; ιαχείριση Ποιότητας Cluster valdt Οι αλγόριθμοι που είδαμε παράγουν κάποιες συστάδες ακόμα και όταν τα δεδομένα παράγονται τυχαία ύσκολη η αξιολόγηση, ιδιαίτερα σε πολλές διαστάσεις Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 6 Συστάδες σε Τυχαία εδομένα Κριτήρια Ορθότητας Συσταδοποίησης Τυχαία Σημεία DBSCAN ομάδες κοιτώντας την απόσταση του ου γείτονα. Υπάρχει τάση ομαδοποίησης (clusterng tendenc), δηλαδή μη τυχαία δομή στοσύνολοτωνδεδομένων;. Σύγκριση των αποτελεσμάτων της ανάλυσης της ομαδοποίησης με κάποια ήδη γνωστά αποτελέσματα, πχ κάποια ετικέτα που ήδη έχει δοθεί για μια συστάδα. Πόσο καλά τα αποτελέσματα της ανάλυσης ταιριάζουν με τα δεδομένα χωρίς αναφορά σε εξωτερική πληροφορία, χρησιμοποιώντας μόνο τα δεδομένα K-means ΣΙΣ με MAX-lnk. Σύγκριση των αποτελεσμάτων δυο διαφορετικών συσταδοποιήσεων για να αποφασιστεί ποια είναι καλύτερη.. Καθορισμός του «σωστού» αριθμού συστάδων Τα, και μπορεί να αφορούν είτε την ολική συσταδοποίηση είτε τη κάθε συστάδα χωριστά Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 7 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 8 Μετρήσεις Ποιότητας Συσταδοποίησης Μετρήσεις Ποιότητας Συσταδοποίησης Οι μετρήσεις για την ποιότητα (το πόσο καλή) είναι μια συσταδοποίηση ανήκουν σε μία από τις παρακάτω τρεις κατηγορίες: Με επίβλεψη (supervsed) - Εξωτερικό Ευρετήριο (Eternal Inde): Υπάρχει εξωτερική πληροφορία (πληροφορία εκτός των δεδομένων), πχ ετικέτες για τις συστάδες Μετράμε πόσο οι περιγραφές των συστάδων ταιριάζουν με τις ετικέτες των κλάσεων. πχ Εντροπία Χωρίς επίβλεψη (unsupervsed) Εσωτερικό Ευρετήριο (Internal Inde): Εκτιμάμε το πόσο καλή είναι μια συσταδοποίηση χωρίς παροχή εξωτερικής πληροφορίας Συνεκτικότητα (coheson) ιακριτότητα ή διαχωρισμός (separaton) Συγκριτικοί -Σχετικό Ευρετήριο (Relatve Inde): Χρησιμοποιείται για τη σύγκριση δυο διαφορετικών συσταδοποιήσεων ή συστάδων - Συχνά για αυτό το σκοπό χρησιμοποιείται ένα εσωτερικό ή εξωτερικό ευρετήριο Εσωτερικό, πχ δυο k-means συσταδοποιήσεις με βάση το SSE Κριτήρια vs Eυρετήρια κριτήριο: η γενική στρατηγική και ευρετήριο η αριθμητική μέτρηση που υλοποιεί το κριτήριο Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 9 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 6

11 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 6 Χαρακτηρισμός Ποιότητας Συσταδοποίησης χωρίς Επίβλεψη Χρήση Συνεκτικότητας και ιαχωρισμού Χρήση Πίνακα Γειτνίασης overall valdt = k = w valdt( C) Όπου το βάρος (w ) μπορεί να είναι πχ ανάλογο του μεγέθους της συστάδας ή η τετραγωνική ρίζα της συνεκτικότητας ή Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 6 Συσταδοποίηση βασισμένη σε κεντρικά σημεία - Centrod-based clusterng (πχ k-means) Συσταδοποίηση βασισμένη σε γραφήματα (ΣΙΣ) Η συνεκτικότητα μιας συστάδας (cluster coheson) είναι το άθροισμα των βαρών (συνήθως απόσταση) μεταξύ όλων των συνδέσεων σε μια συστάδα. Ο διαχωρισμός (cluster separaton) είναι το άθροισμα των βαρών (συνήθςσ απόσταση) μεταξύ κόμβων της συστάδας και των κόμβων εκτός συστάδας n coheson ( C) = promt(, c) C Αν promt = τετράγωνο της Ευκλείδειας, τότε ESS Όπου c to κεντρικό σημείο (X ) στον ακτίνα R στον ΒΙRCH/k-means seperaton ( C, Cj) = promt( c, cj) seperaton( C ) = promt( c, c) Όπου c το κέντρο όλων των σημείων αντιστοιχεί στa D (D) στον ΒΙRCH n coheson ( C) = promt(, ) seperaton ( C, Cj) = promt(, ) C C αντιστοιχεί στo D - διάμετρο στον ΒΙRCH C C j αντιστοιχεί στo D στον ΒΙRCH n Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 6 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 6 overall coheson = k = w coheson( C) Άθροισμα συνεκτικότητας κάθε συστάδας Σχέση prototpe και graph-based συνεκτικότητας και διαχωρισμού (για Ευκλείδειες αποστάσεις) overall seperaton = k = w seperaton( C) Άθροισμα διαχωρισμού των συστάδων overall valdt = k = seperaton(c) coheson(c) Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 6 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 66

12 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 67 Σχέση prototpe και graph-based συνεκτικότητας (για Ευκλείδειες αποστάσεις) Έστω Ευκλείδεια απόσταση, σχέση SSE με συνεκτικότητα (πόσο στενά σχετιζόμενα είναι τα αντικείμενα μιας συστάδας); cluster SSE = dst ( c, ) Αποδεικνύεται ότι Total SSE = cluster SSE = C K = C C dst ( c, ) dst (, c) = m C C dst(, ) ηλαδή, είτε πάρουμε την απόσταση από το κέντρο είτε το μέσο όρο των ανά δύο αποστάσεων των σημείων είναι το ίδιο Σχέση διαμέτρου και ακτίνας Σχέση δυο προσεγγίσεων διαχωρισμού (για Ευκλείδειες αποστάσεις) Έστω Ευκλείδεια απόσταση, σχέση SSB (group sum of squares) με διαχωρισμό (πόσο μακριά είναι οι συστάδες); Αποδεικνύεται ότι ολικό SSB = cluster SSB = dst( c, c) (ολικό ) SSB = C m dst K = m dst( c, c K K ( c, c) = dst( c, cj) K = j= K ηλαδή, είτε πάρουμε την απόσταση των κέντρων κάθε συστάδας από το ολικό κέντρο είτε το μέσο όρο των ανά δύο αποστάσεων των κέντρων κάθε συστάδας είναι το ίδιο ) m Ισομεγέθεις συστάδες m = m / K Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 68 c c c K= cluster: Total-SSE + Total-SSB = constant total SSE= ( ) + ( ) + ( ) + ( ) = total SSB= ( ) = Total = + = Αποδεικνύεται ότι Total SSB + Total SSE = constant TSS = K = C ( c) Ίσο με το τετράγωνο των αποστάσεων όλων των σημείων από το ολικό μέσο K= clusters: total SSE= (.) + (.) + (.) + (.) = total SSB= (.) + (. ) = 9 Total = + 9 = Ελαχιστοποίηση της SSE (συνεκτικότητας) => Μεγιστοποίηση του SSB (διαχωρισμού) Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 69 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 7 Μπορούν να χρησιμοποιηθούν για τη βελτίωση της συσταδοποίησης Πχ μια συστάδα με κακή συνεκτικότητα μπορεί να χρειαστεί να διασπαστεί υο συστάδες όχι καλά διαχωρισμένες μπορεί να συγχωνευτούν Το πόσο καλή είναι μια συσταδοποίηση Το ποσό καλή είναι μια συστάδα Το ποσό καλό είναι ένα σημείο σε μια συστάδα Συντελεστής Σκιαγράφησης Slhouette Coeffcent (συντελεστής σκιαγράφησης) Για κάθε σημείο, Υπολογισμός a = μέση απόσταση του από τα σημεία της συστάδας Υπολογισμός b = μέση απόσταση του aπόόλατασημείακάθεάλλης συστάδας επιλογή του μικρότερου, δηλαδή μέση απόσταση από την κοντινότερη συστάδα s = a/b f a < b, (or s = b/a - Συνήθως μεταξύ του και του Όσο πιο κοντά στο, τόσο το καλύτερο f a b, not the usual case) Μπορεί να χρησιμοποιηθεί και για μια συστάδα ή συσταδοποίηση θεωρώνταςμέσεςτιμέςγιαόλατασημείατουςήσυστάδες a b Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 7 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 7

13 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 7 Συντελεστής Σκιαγράφησης Slhouette Coeffcent (συντελεστής σκιαγράφησης) Πίνακας Γειτνίασης ύο Πίνακες Πίνακας Γειτνίασης (promt matr) ο πίνακας με την ομοιότητα των σημείων Πίνακας Εμφάνισης ( ncdence matr) Μιαγραμμήκαιμιαστήληγιακάθεσημείο Μια εγγραφή είναι αν το αντίστοιχο ζευγάρι σημείων ανήκει στην ίδια συστάδα Μια εγγραφή είναι αν το αντίστοιχο ζευγάρι σημείων ανήκει σε διαφορετική συστάδα O συντελεστής σκιαγράφησης για σημεία στις συστάδες Υπολογισμός της συσχέτισης (correlaton) των δύο πινάκων Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 7 Πίνακας Γειτνίασης Πίνακας Γειτνίασης Υπολογισμός correlaton των δύο πινάκων όταν χρησιμοποιείται ο K-means στα παρακάτω σύνολα Υψηλή συσχέτιση σημαίνει ότι τα σημεία που ανήκουν στην ίδια συστάδα είναι κοντινά μεταξύ τους εν είναι καλή μέτρηση για κάποιες συστάδες που βασίζονται σε πυκνότητα και σε συνέχεια (contgut) Επειδή, οι δυο πίνακες είναι συμμετρικοί, χρειάζεται ο υπολογισμός n(n-) / εγγραφών Corr = - Corr = -8 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 7 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 76 Πίνακας Γειτνίασης - Οπτικοποίηση Πίνακας Γειτνίασης - Οπτικοποίηση Αναδιατάσσουμε τα σημεία στον πίνακα έτσι ώστε τα σημεία που ανήκουνστηνίδιασυστάδαναείναιγειτονικά Συγκεκριμένα, τα διατάσουμε με βάση τη συστάδα: Σημεία Συστάδας, Σημεία Συστάδας, Σημεία Συστάδας Αναδιατάσσουμετασημείαστονπίνακαέτσιώστετασημείαπου ανήκουνστηνίδιασυστάδαναείναιγειτονικά Συγκεκριμένα, τα διατάσουμε με βάση τη συστάδα: Σημεία Συστάδας, Σημεία Συστάδας, Σημεία Συστάδας... Σημείωση s = (d mn_d)/(ma_d mn_d) Ponts Smlart Ponts Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 77 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 78

14 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 79 Πίνακας Γειτνίασης - Οπτικοποίηση Πίνακας Γειτνίασης - Οπτικοποίηση Ponts 6 Ponts Smlart Ponts. 6 8 Smlart Ponts. DBSCAN Κάποιεςσυστάδεςακόμακαι σε τυχαία δεδομένα K-means Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 8 Πίνακας Γειτνίασης - Οπτικοποίηση Πίνακας Γειτνίασης - Οπτικοποίηση 6 Ponts Smlart Ponts ΣΙΣ-ma DBSCAN Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 8 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 8 Πίνακας Γειτνίασης Ειδικά για ιεραρχικούς αλγόριθμους Cophenetc dstance: είναι η απόσταση (promt) όταν ο αλγόριθμος τοποθετεί τα δυο σημεία στην ίδια συστάδα για πρώτη φορά Πχ συγχωνεύω τα σημεία του C με τα σημεία του C σε απόσταση., όλατασημείατουc απέχουν από το C. CoPhenetc Correlaton Coeffcent (CPCC) Χρησιμοποείται για επιλογή του είδους της ιεραρχικής συσταδοποίησης Κατασκευάζω τον πίνακα των cophenetc αποστάσεων Θεωρώ τη συνέλιξη του με τον αρχικό πίνακα αποστάσεων Πίνακας Γειτνίασης 6 6 MIN 6 Group Average MAX Ward s Method 6 6 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 8 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 8

15 Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 8 Χρήση SSE για υπολογισμό του σωστού αριθμού συστάδων χρησιμοποιώντας τον K-means (Κ = και φαίνονται καλές τιμές) SSE K Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 86 Χαρακτηρισμός Ποιότητας Συσταδοποίησης με Επίβλεψη: Μας δίνονται κάποιες ετικέτες κλάσεων και θέλουμε να δούμε πόσο καλά ταιριάζουν με τα δεδομένα Classfcaton-orented (μετρήσεις για ταξινόμηση): κατά πόσο μια συστάδα περιέχει αντικείμενα μίας μόνο κλάσης Smlart-orented: κατά πόσο δύο αντικείμενα που ανήκουν στην ίδια κλάση, ανήκουν και στην ίδια συστάδα Θα τα δούμε όταν μιλήσουμε για ταξινόμηση Εξόρυξη Δεδομένων: Ακ. Έτος 7-8 ΣΥΣΤΑΔΟΠΟΙΗΣΗ IΙΙ 87