Ζητήματα ηήμ με τα δεδομένα

Transcript

1 Ζητήματα ηήμ με τα δεδομένα Ποιότητα Απαλοιφή θορύβου Εντοπισμός ανωμαλιών λώ Ελλιπείς τιμές Μετασχηματισμός Κβάντωση Μείωση μεγέθους Γραμμών: ειγματοληψία Στηλών: Ιδιοδιανύσματα, Επιλογή χαρακτηριστικών Μέτρα απόστασης 20

2 Κβάντωση Κβάντωση: ο μετασχηματισμός μίας συνεχούς ιδιότητας σε διακριτή ιακριτοποίηση (discretization) υαδική μετατροπή: Η ειδική περίπτωση του μετασχηματισμού συνεχούς ιδιότητας δό σε δυαδική (binarization). Χρήσεις, λόγοι; Απαιτήσεις Αλγορίθμων Απόδοση/Αποτελεσματικότητα μοντέλων 21

3 Αλγόριθμοι Κβάντωσης Υπολόγισε το μέγεθος, n, του διακριτού πεδίου Π.χ., χρησιμοποιώνατς τον τύπος Sturges: n=log 2 (M+1), Μ: πλήθος διαφορετικών τιμών Ταξινόμησε τις τιμές της συνεχούς μεταβλητής. ιαχώρισε τις τιμές αυτές σε n διακριτά διαστήματα, με καθορισμό n-1 σημείων διαχωρισμού. Αντιστοίχησε ένα-προς-ένα κάθε διάστημα με μία εκ των n τιμών του διακριτού πεδίου. 22

4 Ισο-ευρής διαχωρισμός ιαστήματα ίσου εύρους Κάθε διάστημα δεν αντιπροσωπεύεται από ισοδύναμο αριθμό σημείων Πρόβλημα στις ανομοιόμορφες (skewed) κατανομές 23

5 Εύρος ιαστημάτων Έχοντας ορίσει το n, n το εύρος W είναι: X max X min W = n X max X Εναλλακτικός ορισμός του n: n = W με W = 3.5( Q 3 Q ) , W = 3 M σ M min 24

6 Ισο-υψής διαχωρισμός Μεταβλητό εύρος των διαστημάτων Σταθερός αριθμός σημείων σε κάθε διάστημα Κάθε διάστημα αντιπροσωπεύεται από ισοδύναμο αριθμό σημείων 25

7 Επιβλεπόμενη κβάντωση β μ η β η Λαμβάνεται υπόψιν η πληροφορία της κλάσης όπου ανήκει άθ έ (k λά δ ή ) κάθε αντικέιμενο (k κλάσεις, n διαστήματα) i j i k j i j i i m m m m e =, 2 1, log i n i i j i e M m e m m = = 1 i i M =1 26

8 Ζητήματα ηήμ με τα δεδομένα Ποιότητα Απαλοιφή θορύβου Εντοπισμός ανωμαλιών Ελλιπείς τιμές Μετασχηματισμός Κβάντωση Μείωση μεγέθους Γραμμών: ειγματοληψία Στηλών: Ιδιοδιανύσματα, Επιλογή χαρακτηριστικών Μέτρα απόστασης 27

9 Μείωση μεγέθους μγ Σ1 Σ2 Σ3 Σ4 Σ5 δειγματοληψία Αρχικά δεδομένα Σ1 Σ2 Σ3 Σ4 Σ5 Σ 1 Σ 2 Σ1 Σ4 ιδιοδιανύσματα επιλογή χαρακτηριστικών 28

10 ειγματοληψία Χρησιμοποιείται για επιλογή δεδομένων τόσο στην προεπεξεργασία όσο στην τελική ανάλυση. Στη στατιστική, προτιμάται όταν το κόστος απόκτησης ολόκληρου του συνόλου δεδομένων είναι πολύ υψηλό ή χρονοβόρο. Στην Ε, προτιμάται όταν το κόστος επεξεργασίας ολόκληρου του συνόλου δεδομένων είναι πολύ υψηλό ή χρονοβόρο. Κλιμακούμενοι αλγόριθμοι έχουν μικρότερη ανάγκη από δειγματοληψία Η χρησιμοποίηση δείγματος δεν οδηγεί σε διαφορετικά αποτελέσματα σε σχέση με τη χρησιμοποίηση όλων των δεδομένων ΑΡΚΕΙ το δείγμα να είναι αντιπροσωπευτικό ηλ. να έχει τις ίδιες ιδιότητες (απο αυτές που μας ενδιαφέρουν) με το σύνολο 29

11 Τύποι ειγματοληψίας Απλή τυχαία δειγματοληψία Με επανατοποθέτηση Χωρίς επανατοποθέτηση Στρωματοποιημένη δειγματοληψία 30

12 Απλή τυχαία δειγματοληψία Μέγεθος δείγματος? ιατήρηση μέσης τιμής, κλπ. Ακρίβεια κατηγοριοποίησης Παράπλευρο όφελος: απαλοιφή outliers ιάστημα εμπιστοσύνης (με χρήση κεντρικού οριακού θεωρήματος) Για μέση τιμή δείγματος να απέχει από τη μέση τιμή του αρχικού πληθυσμου μ το πολύ δ, υπολογίζω μέγεθος δείγματος ως εξής: P( X μ δ ) = α n z σ 2 z a δ 2 Z α : κανονικοποιημένη τιμή της κανονικής κατανομής που αντιστοιχεί στην τιμή α. 31

13 Υπενθύμιση για κανονική κατανομή μ= 0 και σ=1 στην προηγούμενη διαφάνεια α Ζ α 32

14 Μέγεθος είγματος με Βάση την Ακρίβεια Παράδειγμα με το IRIS σύνολο δεδομένων Τα μεγάλα δείγματα δεν σημαίνουν καλύτερα αποτελέσματα λόγω γ του overfiting Αλλά μικρά δείγματα μπορούν να χάσουν πληροφορία συνδιασποράς! 33

15 Στρωματοποιημένη η δειγματοληψία ιαφορετικά μεγέθη μεταξύ των ομάδων η τυχαία δειγματοληψία παράγει δείγμα στο οποίο δεν αντιπροσωπεύονται ικανοποιητικά όλες οι ομάδες Στρωματοποιημένη δειγματοληψία εφαρμόζουμε μ τυχαία δειγματοληψία σε κάθε ομάδα ξχ ξεχωριστά [ 34

16 Ζητήματα ηήμ με τα δεδομένα Ποιότητα Απαλοιφή θορύβου Εντοπισμός ανωμαλιών Ελλιπείς τιμές Μετασχηματισμός Κβάντωση Μείωση μεγέθους Γραμμών: ειγματοληψία Στηλών: Ιδιοδιανύσματα, Επιλογή χαρακτηριστικών Μέτρα απόστασης 35

17 Μείωση στηλών Η «κατάρα της διαστασιμότητας» Με μείωση αριθμού διαστάσεων: απαλοιφή εξαρτήσεων άσχετων χαρακτηριστικών δυνατότητα προβολής (για <= 3 διαστάσεις) Καλύτερα,, πιο κατανοητά και γρηγορότερα ρ ρ αποτελέσματα 2 βασικές μέθοδοι 1. ημιουργία νέων χαρακτηριστικών Ανάλυση Πρωταρχικών Συνιστωσών Principal Component Analysis (PCA) 2. Επιλογή χαρακτηριστικών Φιλτράρισμα Μαύρο κουτί 36

18 Μείωση διαστάσεων Dimensions =

19 Παράδειγμα PCA Χ1 Χ Το ζητούμενο είναι να πάμε από 2 σε 1 διάσταση Ακολουθούμε μία διαδικασία 5 βημάτων 38

20 Βήμα 1: αφαίρεση μέσης τιμής 39

21 Βήμα 2: πίνακας συνδιασποράς C = E[( X X )( X X i, j i i j j )] C = διασπορά Πόσο μεταβάλλονται μαζί τα Χ1,Χ2 40

22 Βήμα 3: ιδιοδιανύσματα - ιδιοτιμές μς Cu = λu μεγαλύτερη εναπομένουσα διασπορά 2 λύσεις στην εξίσωση u1= [ ,0.6779] T λ1= u2= [0.6779, ] T λ2= Κατεύθυνση με τη μεγαλύτερη διασπορά 41

23 Βήμα 4: επιλογή νέων ιδιοτήτων 1. ιάταξη ιδιοδιανυσμάτων βάσει ιδιοτιμών. 2. Τα αντικείμενα περιγράφονται ως γραμμικός συνδυασμός των ιδιοδιανυσμάτων, που ονομάζονται κύριες συνιστώσες. U = [ u, u ] U 2 ( x 1, x 2 ) 1 ( x 1, x 2 ) U C = Οι νέες διαστάσεις είναι ασυσχέτιστες 42

24 Βήμα 5: μείωση διαστάσεων U ( x 1 U Επιλέγουμε τα πρώτα k ιδιοδιανύσματα = [ u, u,..., u,..., u ',..., 1 = [ u x n ) 2 1, u 2 ( x k,..., u 1,..., k x ] n n ] ) U ' k = 1 (+) k = 2 (o) 43

25 Παράδειγμα: Iris 150 λουλούδια 4 διαστάσεις (μήκος/πλάτος σέπαλου/πετάλου) 3 κλάσεις (Setosa, Versicolor, Virginica) Πως επιλέγουμε σε πόσες διαστάσεις θα γίνει η προβολή; 44

26 Επιλογή χαρακτηριστικών Τα ιδιοδιανύσματα δεν αντιστοιχούν στις αρχικές διαστάσεις Αν πρέπει να επιλέξουμε μεταξύ των αρχικών διαστάσεων; Φλ Φιλτράρισμα: Επιλέγουμε ανεξάρτητα του αλγορίθμου που θα εφαρμοσθεί στη συνέχεια Μαύρο κουτί: Χρησιμοποιούμε τον αλγόριθμο σαν μαύρο κουτί, για την εύρεση του καταλληλότερου υποσυνόλου διαστάσεων 45

27 Φιλτράρισμα ρ 3 πρώτα βήματα όπως και στο PCA Στο παράδειγμα IRIS: Επιλέγουμε τα δύο πρώτα ιδιοδιανύσματα u1 = (0.3614, , , ) T u2 = ( , , , ) 0755) T Παίρνουμε το άθροισμα u1 + u2 =( , , , ) T Η τρίτη και η τέταρτη θέση έχουν τη μεγαλύτερη τιμή Ένδειξη ότι η τρίτη και η τέταρτη ρηιδιότητα(μήκος - πλάτος πετάλου PL, PW) είναι οι καταλληλότερες για επιλογή 46

28 Παράδειγμα 47

29 Μαύρο κουτί 48

30 Μέτρα ομοιότητας/απόστασης ης Ιδιότητες μέτρων ομοιότητας Ανακλαστική s ( x, y) = 1 x = y Συμμετρική s ( x, y) = s( y, x) ΑΠΟΣΤΑΣΗ=ΜΟΝΟΤΟΝΑ_ΦΘΗΝΟΥΣΑ(ΟΜΟΙΟΤΗΤΑ) ( ) Ιδιότητες μετρικού απόστασης Θετικότητα d ( x, y ) 0 Ανακλαστικη d ( x, y) = 0 x = y Συμμετρικη d ( x, y ) = d ( y, x ) Τριγωνική ανισότητα d ( x, y) d ( x, z) + d ( z, y) 49

31 Μέτρα και Μετρικά: Τριγωνική ργ ανισότητα d ( x, y ) = 1, αν διαφέρουν και σε χρώμα και σε σχήμα 0, αλλιώς d(α, Γ) = 1, d(α, Β) = d(β, Γ) = 0 d(α, Γ) ) > d(α, Β) ) + d(β, Γ) ) 50

32 Απόσταση Minkowski Γενίκευση ευκλίδειας απόστασης όλα τα μέτρα είναι μετρικά n d( x, y) = r i=11 x i y i r r=1: Manhattan/block απόσταση r=2: Ευκλίδεια απόσταση r=άπειρο: υπέρτατη απόσταση d( x, y) = max( x i yi ) 51

33 Παράδειγμα 52

34 Ομοιότητα cos s ( x, x y x y y ) = x y = x y i i x = xi 2 Σύνοψη χαρακτηριστικών: Προτιμάται όταν το μέγεθος δεν παίζει ρόλο. Ανοχή-ανθεκτικότητα σε αραιά διανύσματα. Παραβιάζει όμως την ανακλαστική ιδιότητα! Αντίστοιχη είναι και η συσχέτιση Pearson. 53

35 Συσχέτιση Pearson corr X, Y = C X, Y σ X σ Y 54

36 Απόσταση Mahalanobis Τα σημεία είναι κατανεμημένα σε σχήμα έλλειψης αντί για κύκλου! d( x, y) = ( x y) C 1 ( x y) T C = d( p3, p2) = 1.5 = d p, p ) 2 ( 3 1 = (με Ευκλείδεια το p1 είναι πιο κοντά στο p3 από ότι το p2) 55

37 Απόσταση για δυαδικά δεδομένα s( x, y) = f 01 + f11 + f + f f 10 f f f s ( x, y ) = (Jaccard) f f 11 56