1.1 Εξόρυξη πληροφορίας: Ορισμός Τι μπορούν να μάθουν οι υπολογιστές 33 Τρεις θεωρήσεις για τις έννοιες 34 Καθοδηγούμενη εκμάθηση 36

Transcript

1

2

3 1.1 Εξόρυξη πληροφορίας: Ορισμός Τι μπορούν να μάθουν οι υπολογιστές 33 Τρεις θεωρήσεις για τις έννοιες 34 Καθοδηγούμενη εκμάθηση 36 Καθοδηγούμενη εκμάθηση: Παράδειγμα δένδρου αποφάσεων 37 Μη καθοδηγούμενη συσταδοποίηση Είναι η εξόρυξη πληροφορίας κατάλληλη για το πρόβλημά μου; 43 Εξόρυξη πληροφορίας ή ερωτήματα δεδομένων; 43 Σύγκριση εξόρυξης πληροφορίας και ερωτημάτων δεδομένων: Ένα παράδειγμα Έμπειρα συστήματα ή εξόρυξη πληροφορίας; Ένα απλό μοντέλο διαδικασίας εξόρυξης πληροφορίας 47 Συγκέντρωση δεδομένων 48 Η αποθήκη δεδομένων 49 Σχεσιακές βάσεις δεδομένων και επίπεδα αρχεία 50 Το στάδιο της εξόρυξης πληροφορίας 50 Ερμηνεία των αποτελεσμάτων 51 Εφαρμογή των αποτελεσμάτων Γιατί όχι μια απλή αναζήτηση; 52

4 20 Περιεχόμενα 1.7 Εφαρμογές εξόρυξης πληροφορίας 54 Παραδείγματα εφαρμογών 54 Εσωτερική αξία πελάτη Περίληψη κεφαλαίου Όροι-κλειδιά Ασκήσεις Στρατηγικές εξόρυξης πληροφορίας 64 Κατηγοριοποίηση 65 Εκτίμηση 66 Πρόβλεψη 66 Μη καθοδηγούμενη συσταδοποίηση 70 Ανάλυση του καλαθιού αγορών Τεχνικές καθοδηγούμενης εξόρυξης πληροφορίας 72 Βάση δεδομένων προώθησης πωλήσεων μέσω πιστωτικών καρτών 72 Κανόνες παραγωγής 74 Νευρωνικά δίκτυα 76 Στατιστική παλινδρόμηση Κανόνες συσχετισμού Τεχνικές συσταδοποίησης Αξιολόγηση απόδοσης 83 Αξιολόγηση μοντέλων καθοδηγούμενης εκμάθησης 84 Ανάλυση λάθους δύο κατηγοριών 85 Αξιολόγηση αριθμητικών αποτελεσμάτων 86 Σύγκριση μοντέλων με τη μετρική της ανύψωσης 87 Αξιολόγηση μη καθοδηγούμενων μοντέλων Περίληψη κεφαλαίου Όροι-κλειδιά Ασκήσεις Δένδρα αποφάσεων 100 Ένας αλγόριθμος για την κατασκευή δένδρων αποφάσεων 100 Δένδρα αποφάσεων για τη βάση δεδομένων προώθησης πωλήσεων μέσω πιστωτικών καρτών 106 Κανόνες δένδρων αποφάσεων 109 Άλλες μέθοδοι κατασκευής δένδρων αποφάσεων 110 Γενικές σκέψεις Δημιουργία κανόνων συσχετισμού 111 Εμπιστοσύνη και υποστήριξη 112 Εξόρυξη κανόνων συσχετισμού: Ένα παράδειγμα 113 Γενικές σκέψεις Αλγόριθμος K-Means 117 Ένα παράδειγμα χρήσης του αλγορίθμου K-Means 118 Γενικές σκέψεις 122

5 Περιεχόμενα Γενετική εκμάθηση 123 Γενετικοί αλγόριθμοι και καθοδηγούμενη εκμάθηση 124 Γενετικοί αλγόριθμοι και μη καθοδηγούμενη συσταδοποίηση 129 Γενικές σκέψεις Επιλογή μιας τεχνικής εξόρυξης πληροφορίας Περίληψη κεφαλαίου Όροι-κλειδιά Ασκήσεις Το idata Analyzer 140 Εγκατάσταση του ida 141 Περιορισμοί ESX: Ένα πολυσύνθετο εργαλείο εξόρυξης πληροφορίας Μορφή idav για εξόρυξη πληροφορίας Μια προσέγγιση πέντε βημάτων για μη καθοδηγούμενη συσταδοποίηση 149 * Εφαρμογή της προσέγγισης πέντε βημάτων για μη καθοδηγούμενη συσταδοποίηση * 149 Βήμα 1: Εισαγωγή των δεδομένων προς εξόρυξη 149 Βήμα 2: Εκτέλεση της συνεδρίας εξόρυξης γνώσης 150 Βήμα 3: Ανάγνωση και ερμηνεία αποτελεσμάτων σύνοψης 152 Βήμα 4: Ανάγνωση και ερμηνεία αποτελεσμάτων επιμέρους κατηγοριών 157 Βήμα 5: Οπτικοποίηση κανόνων επιμέρους κατηγοριών Προσέγγιση καθοδηγούμενης εκμάθησης με έξι βήματα 161 * Εφαρμογή της προσέγγισης έξι βημάτων για καθοδηγούμενη εκμάθηση * 162 Βήμα 1: Επιλογή χαρακτηριστικού εξόδου 162 Βήμα 2: Εκτέλεση της συνεδρίας εξόρυξης 162 Βήμα 3: Ανάγνωση και ερμηνεία αποτελεσμάτων σύνοψης 163 Βήμα 4: Ανάγνωση και ερμηνεία αποτελεσμάτων συνόλου ελέγχου 163 Βήμα 5: Ανάγνωση και ερμηνεία αποτελεσμάτων για επιμέρους κατηγορίες 165 Βημα 6: Οπτικοποίηση και ερμηνεία κανόνων κατηγοριών Τεχνικές δημιουργίας κανόνων Τυπικότητα στιγμιοτύπων Ειδικές σκέψεις και χαρακτηριστικά 171 Αποφυγή καθυστερήσεων στην εξόρυξη 171 Η δυνατότητα γρήγορης εξόρυξης 172 * Εφαρμογή της δυνατότητας γρήγορης εξόρυξης στη συλλογή δεδομένων του Τιτανικού * 173 Δεδομένα με σφάλματα και δεδομένα που λείπουν Περίληψη κεφαλαίου Όροι-κλειδιά Ασκήσεις 178

6 22 Περιεχόμενα 5.1 Ένα μοντέλο διαδικασίας KDD Βήμα 1: Προσδιορισμός στόχων Βήμα 2: Δημιουργία ενός συνόλου δεδομένων στόχου Βήμα 3: Προεπεξεργασία δεδομένων 191 Δεδομένα με θόρυβο 192 Δεδομένα που λείπουν Βήμα 4: Μετασχηματισμός των δεδομένων 195 Κανονικοποίηση δεδομένων 195 Μετατροπή τύπων δεδομένων 196 Επιλογή χαρακτηριστικών και στιγμιοτύπων Βήμα 5: Εξόρυξη πληροφορίας Βήμα 6: Ερμηνεία και αξιολόγηση Βήμα 7: Επόμενες ενέργειες Το μοντέλο επεξεργασίας CRISP-DM Πειραματισμός με το ESX 205 Ένα μοντέλο διαδικασίας για ανακάλυψη γνώσης τεσσάρων βημάτων 205 Πείραμα 1: Αξιολόγηση χαρακτηριστικών 205 * Εφαρμογή του μοντέλου επεξεργασίας τεσσάρων βημάτων στο σύνολο δεδομένων ελέγχου φερεγγυότητας για χορήγηση πιστωτικών καρτών * 207 Πειραμα 2: Αξιολόγηση παραμέτρου 210 * Εφαρμογή του μοντέλου επεξεργασίας τεσσάρων βημάτων στο σύνολο δεδομένων δορυφορικών εικόνων * Περίληψη κεφαλαίου Όροι-κλειδιά Ασκήσεις Επιχειρησιακές βάσεις δεδομένων 222 Μοντελοποίηση και κανονικοποίηση δεδομένων 223 Το σχεσιακό μοντέλο Σχεδίαση αποθήκης δεδομένων 226 Εισαγωγή δεδομένων στην αποθήκη 227 Κατασκευή της αποθήκης δεδομένων: Σχήμα αστέρα 229 Υποστήριξη αποφάσεων: Ανάλυση των δεδομένων της αποθήκης Αναλυτική επεξεργασία άμεσης επικοινωνίας 235 OLAP: Ένα παράδειγμα 236 Γενικές σκέψεις Συγκεντρωτικοί πίνακες του Excel για ανάλυση δεδομένων 241 * Δημιουργία ενός απλού Συγκεντρωτικού πίνακα * 242 * Εφαρμογή Συγκεντρωτικών πινάκων στον έλεγχο υποθέσεων * 246 * Δημιουργία ενός πολυδιάστατου Συγκεντρωτικού πίνακα * 249

7 Περιεχόμενα Περίληψη κεφαλαίου Όροι-κλειδιά Ασκήσεις Τι πρέπει να αξιολογηθεί; Εργαλεία αξιολόγησης 263 Συνοπτικά στατιστικά με μία τιμή 264 Κανονική κατανομή 264 Κανονικές κατανομές και μέσοι δειγμάτων 266 Ένα κλασικό μοντέλο ελέγχου υποθέσεων Υπολογισμός διαστημάτων εμπιστοσύνης του συνόλου δεδομένων ελέγχου Σύγκριση μοντέλων καθοδηγούμενης εκμάθησης Αξιολόγηση χαρακτηριστικών 276 Εντοπισμός χαρακτηριστικών που πλεονάζουν με το Excel 277 * Υπολογισμός συσχέτισης χαρακτηριστικών με το MS Excel * 277 * Δημιουργία διαγράμματος διασποράς με το MS Excel * 280 Έλεγχος υποθέσεων για τη σημαντικότητα αριθμητικών χαρακτηριστικών Τεχνικές μη καθοδηγούμενης αξιολόγησης 282 Μη καθοδηγούμενη συσταδοποίηση για καθοδηγούμενη αξιολόγηση 282 Καθοδηγούμενη αξιολόγηση για μη καθοδηγούμενη συσταδοποίηση 283 Επιπλέον μέθοδοι για την αξιολόγηση μιας μη καθοδηγούμενης συσταδοποίησης Αξιολόγηση καθοδηγούμενων μοντέλων με αριθμητικά αποτελέσματα Περίληψη κεφαλαίου Όροι-κλειδιά Ασκήσεις Νευρωνικά δίκτυα με τροφοδότηση προς τα εμπρός 296 Μορφή δεδομένων εισόδου νευρωνικών δικτύων 297 Μορφή εξόδου νευρωνικού δικτύου 299 Η σιγμοειδής συνάρτηση Εκπαίδευση νευρωνικών δικτύων: Μια εννοιολογική θεώρηση 302 Καθοδηγούμενη εκμάθηση με δίκτυα με τροφοδότηση προς τα εμπρός 302 Μη καθοδηγούμενη συσταδοποίηση με αυτο-οργανούμενους χάρτες Επεξήγηση νευρωνικών δικτύων Γενικές σκέψεις 307 Πλεονεκτήματα 307 Μειονεκτήματα 308

8 24 Περιεχόμενα 8.5 Εκπαίδευση νευρωνικών δικτύων: Μια λεπτομερής θεώρηση 308 Ο αλγόριθμος οπισθοδιάδοσης: Ένα παράδειγμα 308 Αυτο-οργανούμενοι χάρτες Kohonen: Ένα παράδειγμα Περίληψη κεφαλαίου Όροι-κλειδιά Ασκήσεις Προσέγγιση τεσσάρων βημάτων για εκμάθηση με οπισθοδιάδοση 320 Παράδειγμα 1: Μοντελοποίηση της συνάρτησης Exclusive-OR 320 * Εφαρμογή της προσέγγισης τεσσάρων βημάτων στη συνάρτηση XOR * 322 Παράδειγμα 2: Το σύνολο δεδομένων δορυφορικών εικόνων 327 * Εφαρμογή της προσέγγισης τεσσάρων βημάτων στο σύνολο δεδομένων δορυφορικών εικόνων * 328 Γενικές σκέψεις Προσέγγιση τεσσάρων βημάτων για συσταδοποίηση νευρωνικών δικτύων 332 Παράδειγμα: Το σύνολο δεδομένων ελαφοκυνηγών 332 * Εφαρμογή της προσέγγισης τεσσάρων βημάτων στο σύνολο δεδομένων ελαφοκυνηγών * 332 Γενικές σκέψεις Το ESX για ανάλυση συστάδων νευρωνικών δικτύων 338 * Εφαρμογή καθοδηγούμενης εκμάθησης για την αξιολόγηση της συσταδοποίησης νευρωνικών δικτύων * Περίληψη κεφαλαίου Όροι-κλειδιά Ασκήσεις Ανάλυση γραμμικής παλινδρόμησης 346 Απλή γραμμική παλινδρόμηση 346 Πολλαπλή γραμμική παλινδρόμηση με το Excel 347 * Εφαρμογή της συνάρτησης LINEST * 347 Δένδρα παλινδρόμησης Λογιστική παλινδρόμηση 352 Μετασχηματισμός του μοντέλου γραμμικής παλινδρόμησης 353 Λογιστική παλινδρόμηση: Παράδειγμα Κατηγοριοποιητής Bayes 356 Κατηγοριοποιητής Bayes: Παράδειγμα 357 Μετρητές πλήθους χαρακτηριστικών μηδενικής τιμής 359 Δεδομένα που λείπουν 360 Αριθμητικά δεδομένα Αλγόριθμοι συσταδοποίησης 363 Συσσωρευτική συσταδοποίηση 363 Εννοιολογική συσταδοποίηση 366 Αλγόριθμος ΕΜ (προσδοκίας-μεγιστοποίησης) 370

9 Περιεχόμενα Ευρετικές μέθοδοι ή στατιστικές τεχνικές; 373 Τεχνικές που βασίζονται σε ερωτήματα και οπτικοποίηση 373 Τεχνικές μηχανικής εκμάθησης και στατιστικές τεχνικές Περίληψη κεφαλαίου Όροι-κλειδιά Ασκήσεις Ανάλυση χρονοσειρών 384 Παράδειγμα με γραμμική παλινδρόμηση 385 Ένα παράδειγμα με νευρωνικό δίκτυο 388 Πρόβλεψη χαρακτηριστικών κατηγοριών 388 Γενικές σκέψεις Εξόρυξη στον Παγκόσμιο Ιστό 390 Εξόρυξη πληροφορίας στον Παγκόσμιο Ιστό: Γενικά θέματα 391 Εξόρυξη πληροφορίας για αξιολόγηση τοποθεσιών Ιστού 397 Εξόρυξη πληροφορίας για εξατομίκευση 397 Εξόρυξη πληροφορίας για προσαρμογή τοποθεσιών Ιστού Εξόρυξη πληροφορίας από κείμενο Βελτίωση απόδοσης 401 Μέθοδος συσσώρευσης εκκίνησης 402 Μέθοδος ενίσχυσης 402 Τυπικότητα στιγμιοτύπων Περίληψη κεφαλαίου Όροι-κλειδιά Ασκήσεις Εξερεύνηση της τεχνητής νοημοσύνης Η επίλυση προβλημάτων ως αναζήτηση σε χώρους καταστάσεων 420 Το πρόβλημα των δοχείων νερού 421 Ανάστροφη αλυσιδωτή σύνδεση 426 Εξόρυξη πληροφορίας και αναζήτηση χώρων καταστάσεων Έμπειρα συστήματα 432 Τα συστατικά ενός έμπειρου συστήματος 433 Διαχωρισμός γνώσης και συλλογιστικής πορείας 434 Ανάπτυξη ενός έμπειρου συστήματος Δόμηση ενός συστήματος που βασίζεται σε κανόνες 437 Παράδειγμα 1: Έντυπο εφορίας Προστατευόμενα μέλη 438 Παράδειγμα 2: Επιλογή μιας τεχνικής εξόρυξης πληροφορίας Περίληψη κεφαλαίου Όροι-κλειδιά Ασκήσεις 451

10 26 Περιεχόμενα 13.1 Αβεβαιότητα: Πηγές και λύσεις 456 Πηγές αβεβαιότητας 456 Γενικές μέθοδοι διαχείρισης της αβεβαιότητας Ασαφή συστήματα που βασίζονται σε κανόνες 459 Ασαφή σύνολα 460 Ασαφής συλλογιστική: Παράδειγμα Προσέγγιση της αβεβαιότητας με κανόνες 466 Πολλά ενδεχόμενα με το θεώρημα Bayes 469 Λόγοι πιθανοφάνειας: Αναγκαιότητα και επάρκεια 470 Γενικές σκέψεις Περίληψη κεφαλαίου Όροι-κλειδιά Ασκήσεις Χαρακτηριστικά των ευφυών πρακτόρων Τύποι πρακτόρων Συνδυασμός εξόρυξης πληροφορίας, έμπειρων συστημάτων, και ευφυών πρακτόρων Περίληψη κεφαλαίου Όροι-κλειδιά Ασκήσεις 487 Α.1 Εγκατάσταση λογισμικού 492 Εγκατάσταση ida 492 Εγκατάσταση Java 493 Επανεγκατάσταση του ida 493 Α.2 Απεγκατάσταση του ida 493 Α.3 Περιορισμοί του λογισμικού 494 Α.4 Γενικές οδηγίες για τη χρήση του λογισμικού 494 Α.5 Αντιμετώπιση προβλημάτων 495 Αδυναμία έναρξης μιας συνεδρίας εξόρυξης πληροφορίας 495 Μήνυμα σφάλματος που ενημερώνει ότι υπάρχει μια στήλη που περιέχει δεδομένα, αλλά δεν έχει όνομα χαρακτηριστικού 495 Η εκτέλεση μιας συνεδρίας εξόρυξης πληροφορίας προκαλεί σφάλμα μη επιτρεπτής λειτουργίας ή κλείσιμο του Excel 495 Δίνονται στατιστικά στοιχεία σύνοψης για χαρακτηριστικά πραγματικών τιμών που έχουν δηλωθεί ως μη χρησιμοποιούμενα 496 Α.6 Υποστήριξη λογισμικού 497

11 Περιεχόμενα 27 Β.1 Το πακέτο συνόλων δεδομένων του ida 500 Β.2 Τοποθεσίες Ιστού με σύνολα δεδομένων για εξόρυξη 507 DASL 507 Mlnet Online Information Service 507 KDNuggets 508 UCI Machine Learning Repository 508 JSE Data Archive 508 Δ.1 Στατιστικά σύνοψης με μία τιμή 516 Δ.2 Κανονική κατανομή 516 Δ.3 Σύγκριση μοντέλων καθοδηγούμενης εκμάθησης 517 Σύγκριση μοντέλων με ανεξάρτητα δεδομένα ελέγχου 517 Σύγκριση κατά ζεύγη με ένα και μόνο σύνολο ελέγχου 518 Δ.4 Διαστήματα εμπιστοσύνης για αριθμητικά αποτελέσματα 519 Δ.5 Σύγκριση μοντέλων με αριθμητικά αποτελέσματα 520

12

13 Κεφάλαιο Να γνωρίσετε τη διαδικασία KDD επτά βημάτων. Να καταλάβετε ότι η εξόρυξη πληροφορίας είναι ένα βήμα της διαδικασίας KDD. Να κατανοήσετε τεχνικές κανονικοποίησης, μετατροπής, και εξομάλυνσης δεδομένων. Να δείτε μεθόδους απαλοιφής και δημιουργίας χαρακτηριστικών. Να αναγνωρίσετε πλεονεκτήματα και μειονεκτήματα των μεθόδων για την αντιμετώπιση περιπτώσεων στις οποίες λείπουν δεδομένα. Να εξοικειωθείτε με το μοντέλο Cross Industry Standard Process Model for Data Mining (CRISP-DM).

14 186 Κεφάλαιο 5 Ανακάλυψη γνώσης σε βάσεις δεδομένων Στο Κεφάλαιο 1 περιγράψαμε ένα απλό μοντέλο μιας διαδικασίας εξόρυξης πληροφορίας. Στην Ενότητα 5.1 αυτού του κεφαλαίου θα παρουσιάσουμε μια τυποποιημένη διαδικασία KDD επτά βημάτων. Στις Ενότητες θα εξετάσουμε αναλυτικά το κάθε βήμα αυτού του μοντέλου. Στην Ενότητα 5.9 θα παρουσιάσουμε ένα δεύτερο μοντέλο ανακάλυψης γνώσης, το οποίο είναι γνωστό ως Cross Industry Standard Process Model for Data Mining (CRISP-DM). Στην Ενότητα 5.10 δίνονται δύο πειράματα με το ESX που δείχνουν την επαναληπτική φύση της διαδικασίας εξόρυξης πληροφορίας. Η ανακάλυψη γνώσης σε βάσεις δεδομένων (Knowledge Discovery in Databases KDD) είναι μια αλληλεπιδραστική, επαναληπτική διαδικασία που προσπαθεί να εξάγει υπονοούμενες, ενδεχομένως χρήσιμες γνώσεις από δεδομένα, οι οποίες δεν ήταν γνωστές νωρίτερα. Υπάρχουν πολλές παραλλαγές αυτού που είναι πλέον γνωστό ως μοντέλο διαδικασίας KDD. Αυτές οι παραλλαγές περιγράφουν τη διαδικασία KDD σε 4 μέχρι και 12 βήματα. Αν και ο αριθμός των βημάτων μπορεί να διαφέρει, οι περισσότερες περιγραφές είναι συνεπείς ως προς το περιεχόμενο. Προτιμούμε να χαρακτηρίζουμε τη διαδικασία KDD ως προσέγγιση επτά βημάτων για την ανακάλυψη γνώσης. Το μοντέλο διαδικασίας KDD επτά βημάτων φαίνεται στην Εικόνα 5.1. Ακολουθεί μια σύντομη περιγραφή του κάθε βήματος: 1. Προσδιορισμός στόχου. Το επίκεντρο αυτού του βήματος είναι η κατανόηση του πεδίου εφαρμογής που εξετάζεται για ανακάλυψη γνώσης. Διατυπώνουμε ξεκάθαρα τι πρόκειται να επιτευχθεί. Μπορούμε επίσης να διατυπώσουμε υποθέσεις για πιθανά ή επιθυμητά αποτελέσματα. 2. Δημιουργία ενός συνόλου δεδομένων προορισμού. Με τη βοήθεια ενός ή περισσότερων ειδικών και εργαλείων ανακάλυψης γνώσης, επιλέγουμε ένα αρχικό σύνολο δεδομένων που πρόκειται να αναλυθεί. 3. Προεπεξεργασία δεδομένων. Χρησιμοποιούμε διαθέσιμους πόρους για να διαχειριστούμε δεδομένα που έχουν θόρυβο. Αποφασίζουμε τι θα κάνουμε με τις τιμές δεδομένων που λείπουν και πώς θα χειριστούμε πληροφορίες χρονικής αλληλουχίας. 4. Μετασχηματισμός δεδομένων. Προστίθενται και εξαλείφονται χαρακτηριστικά και στιγμιότυπα από τα δεδομένα προορισμού. Αποφασίζουμε ποιες μεθόδους θα χρησιμοποιήσουμε για την κανονικοποίηση, μετατροπή, και εξομάλυνση δεδομένων. 5. Εξόρυξη πληροφορίας. Δημιουργείται το βέλτιστο μοντέλο αναπαράστασης των δεδομένων με την εφαρμογή ενός ή περισσότερων αλγορίθμων εξόρυξης πληροφορίας.

15 5.1 Ένα μοντέλο διαδικασίας KDD 187 Εικόνα 5.1 Ένα μοντέλο διαδικασίας KDD επτά βημάτων ÂÞìá 1: Ðñïóäéïñéóìüò óôü ùí ÊáèïñéóìÝíïé óôü ïé ÂÞìá 2: Äçìéïõñãßá äåäïìýíùí ðñïïñéóìïý ÂÞìá 3: Ðñïåðåîåñãáóßá äåäïìýíùí ÁðïèÞêç äåäïìýíùí «ÊáèáñéóìÝíá» äåäïìýíá ÂÜóç äåäïìýíùí óõíáëëáãþí Åðßðåäï áñ åßï ÄåäïìÝíá ðñïïñéóìïý ÂÞìá 4: Ìåôáó çìáôéóìüò äåäïìýíùí Ìåôáó çìáôéóìýíá äåäïìýíá ÂÞìá 6: Åñìçíåßá êáé áîéïëüãçóç ÂÞìá 5: Åîüñõîç ðëçñïöïñßáò ÌïíôÝëï äåäïìýíùí ÂÞìá 7: Åðüìåíåò åíýñãåéåò

16 188 Κεφάλαιο 5 Ανακάλυψη γνώσης σε βάσεις δεδομένων Εικόνα 5.2 Εφαρμογή της επιστημονικής μεθόδου στην εξόρυξη πληροφορίας Ç åðéóôçìïíéêþ ìýèïäïò íá ìïíôýëï äéáäéêáóßáò KDD Ðñïóäéïñéóìüò ðñïâëþìáôïò Äéáôýðùóç õðüèåóçò Ðñáãìáôïðïßçóç ðåéñüìáôïò ÅîáãùãÞ óõìðåñáóìüôùí Åðéêýñùóç óõìðåñáóìüôùí Ðñïóäéïñéóìüò óôü ïõ Äçìéïõñãßá äåäïìýíùí ðñïïñéóìïý Ðñïåðåîåñãáóßá äåäïìýíùí Ìåôáó çìáôéóìüò äåäïìýíùí Åîüñõîç ðëçñïöïñßáò Åñìçíåßá / áîéïëüãçóç Åðüìåíåò åíýñãåéåò 6. Ερμηνεία και αξιολόγηση. Εξετάζουμε τα αποτελέσματα (την έξοδο) του Βήματος 5 για να καθορίσουμε αν αυτό που ανακαλύφθηκε είναι χρήσιμο και ενδιαφέρον. Αποφασίζουμε αν θα επαναλάβουμε προηγούμενα βήματα με τη χρήση καινούργιων χαρακτηριστικών ή στιγμιοτύπων. 7. Επόμενες ενέργειες. Αν η γνώση που ανακαλύφθηκε θεωρείται χρήσιμη, τότε ενσωματώνεται και εφαρμόζεται άμεσα σε κατάλληλα προβλήματα. Η μέθοδος KDD αποτελεί την εφαρμογή της επιστημονικής μεθόδου (scientific method) στην εξόρυξη πληροφορίας. Το 1620, ο Sir Francis Bacon εξήγησε για πρώτη φορά την επιστημονική μέθοδο στο βιβλίο Novum Organum. Παρουσίασε την επιστημονική μέθοδο ως διαδικασία τεσσάρων βημάτων: 1. Προσδιορισμός του προβλήματος που πρέπει να επιλυθεί. 2. Διατύπωση υπόθεσης. 3. Πραγματοποίηση ενός ή περισσότερων πειραμάτων για την επιβεβαίωση ή τη διάψευση της υπόθεσης. 4. Εξαγωγή και επικύρωση συμπερασμάτων. Στην Εικόνα 5.2 φαίνεται η αντιστοιχία μεταξύ της επιστημονικής μεθόδου και του μοντέλου διαδικασίας KDD. Ας δούμε πιο προσεκτικά καθένα από τα βήματα που καθορίζουν τη διαδικασία ανακάλυψης γνώσης. Ένας βασικός αντικειμενικός σκοπός του προσδιορισμού στόχου είναι ο σαφής καθορισμός του τι πρέπει να επιτευχθεί. Το πρώτο βήμα είναι, από πολλές απόψεις, το πιο δύσκολο αφού πρέπει να ληφθούν αποφάσεις σχετικά με την κατανομή πόρων και τη μέτρηση της επιτυχίας. Οποτεδήποτε είναι δυνατό, οι γενικοί στόχοι θα πρέπει να διατυπώνονται με τη μορφή συγκεκριμένων αντικειμενικών σκοπών. Στη συνέχεια ακολουθεί ένας μερικός κατάλογος πραγμάτων που πρέπει να ληφθούν υπόψη σε αυτό το στάδιο:

17 5.3 Βήμα 2: Δημιουργία ενός συνόλου δεδομένων προορισμού 189 Δίνεται μια σαφής δήλωση του προβλήματος, καθώς και μια λίστα κριτηρίων για τη μέτρηση της επιτυχίας ή της αποτυχίας. Μπορούν να διατυπωθούν μία ή περισσότερες υποθέσεις για πιθανά ή επιθυμητά αποτελέσματα. Επιλέγεται το εργαλείο ή το σύνολο εργαλείων εξόρυξης πληροφορίας. Η επιλογή αυτή εξαρτάται από πολλούς παράγοντες, στους οποίους συγκαταλέγονται το απαιτούμενο επίπεδο ερμηνείας των δεδομένων και το αν η εκμάθηση είναι καθοδηγούμενη, μη καθοδηγούμενη, ή ένας συνδυασμός των δύο τεχνικών. Γίνεται εκτίμηση του κόστους του έργου. Καταρτίζεται ένα σχέδιο για τη διαχείριση των ανθρώπινων πόρων. Δίνεται μια ημερομηνία ολοκλήρωσης του έργου/παράδοσης του προϊόντος. Λαμβάνονται υπόψη νομικά θέματα που μπορεί να προκύψουν από την ε- φαρμογή των αποτελεσμάτων της διαδικασίας ανακάλυψης. Παρέχεται ένα σχέδιο κατάλληλο για τη συντήρηση ενός συστήματος που βρίσκεται σε λειτουργία. Καθώς γίνονται διαθέσιμα νέα δεδομένα, ένα σημαντικό ζήτημα είναι η ύπαρξη μιας μεθοδολογίας για την ενημέρωση του μοντέλου λειτουργίας. Σίγουρα, ο κατάλογος αυτός δεν μπορεί να θεωρείται πλήρης. Όπως σε ο- ποιοδήποτε έργο λογισμικού, τα πιο σύνθετα προβλήματα απαιτούν πρόσθετη σχεδίαση. Πολύ σημαντικά στοιχεία είναι η θέση, η διαθεσιμότητα, και η κατάσταση των δεδομένων των πόρων. Βασική θεωρείται η ύπαρξη ενός βιώσιμου συνόλου δεδομένων για την επιτυχία οποιουδήποτε έργου εξόρυξης πληροφορίας. Στην Εικόνα 5.1 απεικονίζεται η εξαγωγή δεδομένων προορισμού από τρεις βασικές πηγές μια αποθήκη δεδομένων, μία ή περισσότερες βάσεις δεδομένων συναλλαγών, ή ένα ή περισσότερα επίπεδα αρχεία. Πολλά εργαλεία εξόρυξης πληροφορίας απαιτούν να είναι αποθηκευμένα τα δεδομένα εισόδου σε μορφή επιπέδου αρχείου ή σε μορφή λογιστικού φύλλου. Αν τα αρχικά δεδομένα είναι αποθηκευμένα σε επίπεδο αρχείο, τότε η δημιουργία των αρχικών δεδομένων προορισμού γίνεται άμεσα. Ας εξετάσουμε τις άλλες πιθανότητες. Τα συστήματα διαχείρισης βάσεων δεδομένων (database management systems DBMS) αποθηκεύουν και χειρίζονται δεδομένα συναλλαγών. Οι εφαρμογές ενός DBMS είναι σε θέση να ενημερώνουν γρήγορα και να ανασύρουν πληροφορίες από μια αποθηκευμένη βάση δεδομένων. Τα δεδομένα ενός DBMS συχνά ακολουθούν τη δομή του σχεσιακού μοντέλου. Μια σχεσιακή βάση δεδομένων (relational database) αντιπροσωπεύει τα δεδομένα ως συλλογή πινάκων οι οποίοι περιέχουν γραμμές και στήλες. Κάθε στήλη ενός πίνακα αντιπροσωπεύει ένα χαρακτηριστικό, ενώ σε κάθε γραμμή του πίνακα αποθηκεύονται οι

18 190 Κεφάλαιο 5 Ανακάλυψη γνώσης σε βάσεις δεδομένων πληροφορίες μίας εγγραφής δεδομένων. Οι επιμέρους γραμμές ονομάζονται πλειάδες (tuples). Όλες οι πλειάδες ενός σχεσιακού πίνακα προσδιορίζονται με μοναδικό τρόπο από ένα συνδυασμό ενός ή περισσοτέρων χαρακτηριστικών του πίνακα. Ένας βασικός σκοπός του σχεσιακού μοντέλου είναι η μείωση του πλεονασμού των δεδομένων έτσι ώστε να είναι εφικτή η γρήγορη πρόσβαση στις πληροφορίες της βάσης δεδομένων. Με ένα σύνολο κανονικών μορφών που δεν ε- πιτρέπουν τον πλεονασμό δεδομένων καθορίζονται κανόνες μορφοποίησης για σχεσιακούς πίνακες. Αν ένας σχεσιακός πίνακας περιέχει πλεονάζοντα δεδομένα, ο πλεονασμός καταργείται με την ανάλυση του πίνακα σε δύο ή περισσότερες σχεσιακές δομές. Αντίθετα, ο σκοπός της εξόρυξης πληροφορίας είναι η α- ποκάλυψη του εγγενούς πλεονασμού στα δεδομένα. Κατά συνέπεια, συνήθως απαιτούνται μία ή περισσότερες σχεσιακές λειτουργίες σύζευξης για την αναδόμηση των δεδομένων σε μια μορφή που επιδέχεται εξόρυξη πληροφορίας. Για να το διαπιστώσουμε αυτό, ας θεωρήσουμε την υποθετική βάση δεδομένων προώθησης πωλήσεων μέσω πιστωτικών καρτών που ορίσαμε στον Πίνακα 2.3 του Κεφαλαίου 2. Θυμηθείτε τα χαρακτηριστικά του πίνακα: income range, magazine promotion, watch promotion, life insurance promotion, credit card insurance, sex, και age. Τα δεδομένα του Πίνακα 2.3 δεν μπορούν καν να θεωρηθούν ως βάση δεδομένων, αλλά αντιπροσωπεύουν μια δομή επίπεδου αρχείου που έχει εξαχθεί από μια βάση δεδομένων, όπως αυτή που φαίνεται στην Εικόνα 5.3. Η βάση δεδομένων πιστωτικών καρτών της υποθετικής εταιρείας Acme περιέχει πίνακες με πληροφορίες χρεώσεων πιστωτικών καρτών και παραγγελίες, εκτός από τις πληροφορίες για την προώθηση προϊόντων μέσω καρτών. Όπως μπορείτε να δείτε, οι πληροφορίες προώθησης που φαίνονται στον Πίνακα 2.3 περιέχονται σε δύο σχεσιακούς πίνακες μέσα στη βάση δεδομένων. Στο Κεφάλαιο 6 θα περιγράψουμε λεπτομερώς τη βάση δεδομένων που φαίνεται στην Εικόνα 5.3 και θα σας δείξουμε πώς μπορεί να αναδομηθεί για ένα περιβάλλον υποστήριξης λήψης αποφάσεων. Ακόμα, παρατηρήστε ότι η Εικόνα 5.1 δίνει επίσης τη δυνατότητα εξαγωγής δεδομένων από πολλές βάσεις δεδομένων ή πολλά αρχεία. Αν τα δεδομένα προορισμού πρόκειται να εξαχθούν από περισσότερες από μία πηγές, η διαδικασία μεταφοράς μπορεί να είναι κουραστική. Σκεφτείτε ένα απλό παράδειγμα στο οποίο αποθηκεύεται το γένος των πελατών σε μια επιχειρησιακή βάση δεδομένων με την κωδικοποίηση male = 1, female = 2. Σε μια δεύτερη βάση δεδομένων, το γένος αποθηκεύεται με την κωδικοποίηση male = M και female = F. Η κωδικοποίηση για male και female θα πρέπει να είναι συνεπής σε όλες τις εγγραφές των δεδομένων προορισμού, διότι διαφορετικά τα δεδομένα θα έχουν μικρή χρησιμότητα. Η διαδικασία επιβολής αυτής της συνέπειας κατά τη μεταφορά δεδομένων είναι μια μορφή μετασχηματισμού δεδομένων (data transformation). Στην Ενότητα 5.5 θα εξετάσουμε άλλους τύπους μετασχηματισμού δεδομένων.

19 5.4 Βήμα 3: Προεπεξεργασία δεδομένων 191 Εικόνα 5.3 Η βάση δεδομένων πιστωτικών καρτών της εταιρείας Acme Τέλος, μια τρίτη δυνατότητα για τη συγκομιδή δεδομένων προορισμού είναι η αποθήκη δεδομένων. Στο Κεφάλαιο 1, η αποθήκη δεδομένων ορίστηκε ως μια ιστορική βάση δεδομένων σχεδιασμένη ειδικά για την υποστήριξη λήψης αποφάσεων. Στο Κεφάλαιο 6 θα δείτε πώς μια καλά δομημένη αποθήκη δεδομένων υποστηρίζει κατά τον καλύτερο τρόπο τον πλεονασμό που απαιτείται για την κατασκευή μοντέλων εκμάθησης μέσω της διαδικασίας εξόρυξης πληροφορίας. Το μεγαλύτερο μέρος της προεπεξεργασίας δεδομένων αφορά τον καθαρισμό των δεδομένων (data cleaning), με τον οποίο αντιμετωπίζονται τα προβλήματα του θορύβου και των πληροφοριών που λείπουν. Σε ιδανικές συνθήκες, το μεγαλύτερο μέρος της προεπεξεργασίας δεδομένων γίνεται προτού τα δεδομένα αποθηκευτούν μόνιμα σε μια δομή, όπως μια αποθήκη δεδομένων.

20 192 Κεφάλαιο 5 Ανακάλυψη γνώσης σε βάσεις δεδομένων Ο θόρυβος (noise) αντιπροσωπεύει τυχαία σφάλματα στις τιμές των χαρακτηριστικών. Σε πολύ μεγάλα σύνολα δεδομένων, ο θόρυβος υπάρχει με πολλές μορφές. Στα συνηθισμένα προβλήματα δεδομένων με θόρυβο συγκαταλέγονται και τα παρακάτω: Πώς βρίσκουμε διπλότυπες εγγραφές; Πώς μπορούμε να εντοπίσουμε λανθασμένες τιμές χαρακτηριστικών; Ποιες λειτουργίες εξομάλυνσης δεδομένων θα πρέπει να εφαρμοστούν στα δεδομένα μας; Πώς μπορούμε να βρούμε και να επεξεργαστούμε έκτοπα στιγμιότυπα; Εντοπισμός διπλότυπων εγγραφών Ας υποθέσουμε ότι μια συγκεκριμένη εβδομαδιαία έκδοση έχει 100,000 συνδρομητές και ότι το 0.1% των καταχωρίσεων της ταχυδρομικής λίστας έχει ε- σφαλμένες διπλές καταχωρίσεις με μια παραλλαγή του ίδιου ονόματος (πχ. Jon Doe και John Doe). Κατά συνέπεια, κάθε εβδομάδα υφίστανται επεξεργασία και ταχυδρομούνται 100 επιπλέον τεύχη. Αν το κόστος επεξεργασίας και αποστολής είναι $2 για κάθε τεύχος, η εταιρεία ξοδεύει πάνω από $10,000 κάθε χρόνο σε αδικαιολόγητα έξοδα. Ιδανικά, τέτοια σφάλματα ανακαλύπτονται καθώς τα δεδομένα μεταφέρονται από το επιχειρησιακό περιβάλλον στην αποθήκη δεδομένων. Υπάρχουν βέβαια αυτοματοποιημένα εργαλεία με γραφικό περιβάλλον για να βοηθήσουν στον καθαρισμό και τη μεταφορά δεδομένων. Όμως η ευθύνη για τη μεταφορά δεδομένων εξακολουθεί να είναι στα χέρια του ειδικού της αποθήκης δεδομένων. Εντοπισμός λανθασμένων τιμών χαρακτηριστικών Ο εντοπισμός λαθών σε δεδομένα κατηγοριών αποτελεί πρόβλημα στα μεγάλα σύνολα δεδομένων. Μερικά εργαλεία εξόρυξης πληροφορίας δίνουν μια σύνοψη των τιμών συχνότητας και των ποσοστών προβλεψιμότητας για χαρακτηριστικά κατηγοριών. Θα πρέπει να θεωρούμε τις τιμές χαρακτηριστικών με ποσοστά προβλεψιμότητας κοντά στο 0 ως υποψήφια λάθη. Μηδενική τιμή για ένα χαρακτηριστικό όπως είναι η πίεση ή το βάρος αποτελεί προφανές λάθος. Τέτοια λάθη συμβαίνουν συχνά όταν λείπουν δεδομένα και αντιστοιχίζονται προεπιλεγμένες τιμές για να συμπληρώσουν τα κενά στοιχεία. Σε μερικές περιπτώσεις, τέτοια λάθη μπορούν να εντοπιστούν μόνο αν ε- ξεταστούν οι τιμές του μέσου και της τυπικής απόκλισης των κατηγοριών. Ό- μως, αν το σύνολο δεδομένων είναι μεγάλο και υπάρχουν μόνο μερικές εσφαλμένες τιμές, ο εντοπισμός τέτοιων σφαλμάτων μπορεί να είναι δύσκολος. Μερικά εργαλεία ανάλυσης δεδομένων επιτρέπουν στο χρήστη να εισάγει ένα διάστημα έγκυρων τιμών για τα αριθμητικά δεδομένα. Στιγμιότυπα με τιμές χαρακτηριστικών έξω από τα όρια του έγκυρου διαστήματος επισημαίνονται ως υ- ποψήφια λάθη.

21 5.4 Βήμα 3: Προεπεξεργασία δεδομένων 193 Εξομάλυνση δεδομένων Η εξομάλυνση δεδομένων είναι μια διαδικασία καθαρισμού και μετασχηματισμού των δεδομένων. Αρκετές τεχνικές εξομάλυνσης δεδομένων προσπαθούν να μειώσουν τον αριθμό των τιμών ενός αριθμητικού χαρακτηριστικού. Μερικοί κατηγοριοποιητές, όπως τα νευρωνικά δίκτυα, χρησιμοποιούν συναρτήσεις οι οποίες κάνουν εξομάλυνση των δεδομένων κατά τη διάρκεια της διαδικασίας της κατηγοριοποίησης. Όταν πραγματοποιείται κατά τη διάρκεια της κατηγοριοποίησης, λέμε ότι η εξομάλυνση δεδομένων είναι εσωτερική. Η εξωτερική εξομάλυνση δεδομένων διεξάγεται πριν από την κατηγοριοποίηση. Η στρογγυλοποίηση και ο υπολογισμός μέσων τιμών είναι δύο απλές τεχνικές εξωτερικής εξομάλυνσης δεδομένων. Η εξομάλυνση μέσης τιμής είναι κατάλληλη όταν θέλουμε να χρησιμοποιήσουμε έναν κατηγοριοποιητή ο οποίος δεν υποστηρίζει αριθμητικά δεδομένα και θα θέλαμε να κρατήσουμε αδρές πληροφορίες για τις αριθμητικές τιμές των χαρακτηριστικών. Τότε, όλες οι αριθμητικές τιμές γνωρισμάτων αντικαθίστανται από τον αντίστοιχο μέσο όρο της κατηγορίας. Μια άλλη συνηθισμένη τεχνική εξομάλυνσης δεδομένων προσπαθεί να ε- ντοπίσει και πιθανώς να εξαλείψει μη τυπικά στιγμιότυπα από το σύνολο δεδομένων. Όπως αναφέραμε στο Κεφάλαιο 2, είναι πάντα χρήσιμο να αναγνωρίζουμε τα έκτοπα στιγμιότυπα που περιέχονται στα δεδομένα, αλλά η απομάκρυνσή τους από τη βάση δεδομένων θα μπορούσε να αποδειχθεί αντιπαραγωγική. Θυμηθείτε ότι με το ida μπορούμε να αναγνωρίζουμε τα έκτοπα εξετάζοντας την τυπικότητα των στιγμιοτύπων. Τα έκτοπα αντιστοιχούν στα στιγμιότυπα με τις χαμηλότερες τιμές τυπικότητας. Τα στοιχεία που λείπουν αποτελούν ένα πρόβλημα που μπορεί να αντιμετωπιστεί με διάφορους τρόπους. Στις περισσότερες περιπτώσεις, οι τιμές που λείπουν υποδηλώνουν χαμένες πληροφορίες. Για παράδειγμα, μια απούσα τιμή για το χαρακτηριστικό age υποδηλώνει σίγουρα ένα στοιχείο δεδομένων το οποίο υπάρχει, αλλά είναι άγνωστο. Όμως μια απούσα τιμή για το χαρακτηριστικό salary μπορεί να εκληφθεί ως ένα στοιχείο δεδομένων που δεν καταχωρίστηκε, αλλά θα μπορούσε επίσης να αντιστοιχεί και σε έναν άνεργο. Μερικές τεχνικές εξόρυξης πληροφορίας είναι σε θέση να αντιμετωπίσουν απευθείας το πρόβλημα των τιμών που λείπουν. Όμως πολλοί κατηγοριοποιητές απαιτούν να έχουν τιμή όλα τα χαρακτηριστικά. Ακολουθούν κάποιες πιθανές επιλογές για την α- ντιμετώπιση δεδομένων που λείπουν προτού αυτά τροφοδοτηθούν σε έναν αλγόριθμο εξόρυξης πληροφορίας. Απόρριψη εγγραφών από τις οποίες λείπουν κάποιες τιμές. Αυτή η μέθοδος είναι η πλέον κατάλληλη όταν μόνο από ένα μικρό ποσοστό του συνολικού αριθμού των στιγμιοτύπων λείπουν κάποια δεδομένα, και μπορούμε να είμαστε σίγουροι ότι οι απούσες τιμές πραγματικά αντιπροσωπεύουν χαμένες πληροφορίες.

22