Βασίλης Γ. Αγγέλης Δρ. Μηχανικός Η/Υ και Πληροφορικής Η ΕΠΑΝΑΣΤΑΣΗ ΤΟΥ ΚΡΙΟΥ Μετατρέψτε τα δεδομένα σας σε κέρδος Αθήνα
Κάθε γνήσιο αντίγραφο έχει την υπογραφή του συγγραφέα Έκδοση 1 η, Copyright 2007 ISBN ΕΚΔΟΣΕΙΣ ΝΕΩΝ ΤΕΧΝΟΛΟΓΙΩΝ Στουρνάρη 49 Α, 106 82, Αθήνα Τηλ. 210-38.45.594 - Fax: 210-38.08.009 email: contact@newtech-publications.gr URL: www.newtech-publications.gr Εξώφυλλο: Σκούφος Γιώργος DTP: Κοίλιας Γεώργιος Απαγορεύεται η με οποιονδήποτε τρόπο ανατύπωση, καταχώρηση σε σύστημα αποθήκευσης και επανάκτησης ή μετάδοση με κάθε μορφή και μέσο (ηλεκτρονικό, μηχανικό, φωτοαντιγραφικό κ.λπ.) του συνόλου ή μέρους του βιβλίου αυτού, χωρίς την έγγραφη άδεια του εκδότη.
Αφιερώνεται στο γιο μου, Γιώργο
ΠΕΡΙΕΧΟΜΕΝΑ Λίγα Λόγια για το Συγγραφέα...13 Περίληψη...17 ΜΕΡΟΣ Α. ΕΙΣΑΓΩΓΗ...19 1. Εξόρυξη Δεδομένων...21 1.1 Εισαγωγή...22 1.2 Ορισμός...23 1.3 Ιστορικό...24 1.4 Χρήσεις...25 1.5 Διαδικασίες Ανακάλυψης Γνώσης...26 1.6. Βασικές μέθοδοι Data Mining...29 1.6.1. Ταξινόμηση...30 1.6.2. Παλινδρόμηση...30 1.6.3. Ομαδοποίηση...30 1.6.4. Σύνοψη...30 1.6.5. Μοντελοποίηση εξαρτήσεων...31 1.6.6. Ανίχνευση αλλαγών και αποκλίσεων...31 1.7 Βασικές τεχνικές Data Mining...31 1.7.1. Δέντρα αποφάσεων και κανόνες...31 1.7.2. Μη γραμμική παλινδρόμηση και μέθοδοι ταξινόμησης...31 1.7.3. Μέθοδοι βασισμένες στο παράδειγμα...32 1.7.4. Μοντέλα πιθανοτικής γραφικής εξάρτησης...32 1.8 Υφιστάμενη κατάσταση Data Mining...32 1.8.1. Ταυτότητα της έρευνας...32 1.8.2. Αποτελέσματα της έρευνας...33 ΜΕΡΟΣ Β. ΚΡΙΟΣ...37 2. Η Νέα Προσέγγιση...39 2.1 Εισαγωγή...40 2.2 Το μοντέλο...41 3. Η Πηγή Πλούτου των Δεδομένων...45 3.1 Εισαγωγή...46 3.2 Συλλογή Δεδομένων...47 3.3 Αποθήκες Δεδομένων και Εξερεύνηση...50
6 Η επανάσταση του ΚΡΙΟΥ 4. Κατανόηση και Οργάνωση του Πλούτου...55 4.1 Κατανόηση Δεδομένων...56 4.1.1 Δυσκολίες στην Κατανόηση...57 4.2 Οργάνωση Δεδομένων...58 5. Σχέδιο για την Εκμετάλλευση του Πλούτου...61 5.1 Εισαγωγή...62 5.2 Μοντέλο συσχέτισης οντοτήτων...63 5.2.1 Βασικά στοιχεία μοντέλου συσχέτισης οντοτήτων...63 5.2.2 Διάγραμμα Συσχέτισης Οντοτήτων...63 5.2.3 Σύμβολα των Διαγραμμάτων Συσχέτισης Οντοτήτων...64 5.2.4 Οντότητες και ιδιότητες...65 5.2.5 Τύποι οντότητας, Σύνολα τιμών και ιδιότητες κλειδιά...66 5.2.6 Σχέσεις και δομικοί περιορισμοί...66 5.2.7 Ασθενείς τύποι οντοτήτων...67 5.2.8 Διαδικασία σχεδιασμού...67 5.3 Κανονικοποίηση...68 5.4 ACID Μοντέλο...70 5.5 Η Διαδικασία ETL (Extract Transform Load)...71 6. Πληροφόρηση και Ενημέρωση...75 6.1 Ελλιπείς τιμές (Missing values)...76 6.1.1 Αντιμετώπιση των ελλιπών τιμών...76 6.2 Πληροφοριακό Σύστημα Διοίκησης (Management Information System)...77 6.2.1 Πλεονεκτήματα Πληροφοριακού Συστήματος Διοίκησης...78 6.3 Αναφορές (Reports)...79 6.4 Γραφήματα (Graphs)...82 6.5 Μοντέρνες Προσεγγίσεις Αναπαράστασης Πληροφορίας...85 6.5.1 Δείκτες κλειδιά αποδοτικότητας (Key Performance Indicators)...85 6.5.2 Visualization...89 6.6 Σύνοψη...92 7. Φώτα, Κάμερα, Πάμε...93 7.1 Ανάλυση Δεδομένων...94 7.2 Προχωρημένη αναλυτική διαδικασία...96 7.3 Συστήματα Υποστήριξης Λήψης Αποφάσεων...100 7.4 Η πρόκληση...102
Περιεχόμενα 7 7.5 Η ανάγκη...104 8. Ο Ανθρώπινος Παράγοντας...105 8.1 Εισαγωγή...106 8.2 Πελάτες...106 8.2.1 Προφίλ Πελάτη...107 8.2.2 Ικανοποίηση Πελάτη...108 8.2.3 Διατήρηση Πελάτη...109 8.2.4 Πίστη πελάτη...110 8.3 Αναλυτές...111 8.4 Διευθυντές...112 8.5 Ανώτατη Διοίκηση...113 ΜΕΡΟΣ Γ. ΟΙ ΙΔΙΟΤΗΤΕΣ ΤΟΥ ΚΡΙΟΥ...117 9. Ο Πολιορκητικός ΚΡΙΟΣ...119 9.1 Εισαγωγή...118 9.2 Διαφημιστικές καμπάνιες...121 9.2.1 RFM Ανάλυση...122 9.2.2 Η αξία της RFM ανάλυσης για τη διενέργεια καμπανιών...124 9.3 Καλάθι αγορών - Διασταυρωμένες πωλήσεις...127 9.3.1 Κανόνες συσχέτισης...127 9.3.2 Ενέργειες που γίνονται μετά την αποτύπωση των κανόνων συσχέτισης...128 9.4 Ωφέλεια σε διάφορες επιχειρηματικές δραστηριότητες...130 9.4.1 Τράπεζες...131 9.4.1.1 Ανίχνευση απάτης (fraud detection)...131 9.4.1.2 Ανακάλυψη κρυμμένων συσχετίσεων μεταξύ διαφορετικών τραπεζικών ή οικονομικών δεικτών...132 9.4.2 Εταιρίες Τηλεπικοινωνιών...134 9.4.3 Άλλα παραδείγματα...134 9.5 Διασύνδεση με CRM...135 10. Ο Ηλεκτρονικός Τραπεζικός ΚΡΙΟΣ...139 10.2.1 Κανόνες συναλλαγών...146 10.2.2 Ομάδες Συναλλαγών...147 10.2.3 Δημοφιλείς συναλλαγές...147 10.2.4 Ενέργειες...148 10.3.1 Χαρακτηριστικά πελατών που πληρώνουν ΟΤΕ και ΔΕΗ...162 10.3.2 Ενέργειες...163
8 Η επανάσταση του ΚΡΙΟΥ 10.4 e-churners...164 10.4.1 Ηλικία...170 10.4.2 Ημέρες εγγραφής στο internet banking...172 10.4.3 Τελευταία Ημέρα Κίνησης...174 10.4.4 Φύλο...175 10.4.5 Περιοχή...176 10.4.6 Ηλικία vs Τελευταίας Ημερομηνίας Κίνησης...176 10.4.7 Ηλικία vs Ημέρες εγγραφής στο internet banking...178 10.4.8 Ομαδοποίηση e-churners...179 10.4.9 Συμπεράσματα...183 10.5 RFM Ανάλυση πελατών internet banking...183 10.5.1 R (Recency)...185 10.5.2 F (Frequency)...185 10.5.3 M (Monetary)...186 10.5.4 Συνολική βαθμολογία...186 10.5.5 Ομαδοποίηση πελατών βάση του RFM score...186 10.5.6 Ομαδοποίηση πελατών β εξαμήνου...188 10.5.7 Μετακίνηση πελατών...190 10.6 Μοντέλο Πρόγνωσης RFM score...192 10.7 Δ.εντρο RFM Score...196 10.7.1 Πελάτες - Εταιρίες...197 10.7.2 Πελάτες Ιδιώτες (Άνδρες)...200 10.7.3 Πελάτες Ιδιώτες (Γυναίκες)...203 10.8 Επιστροφή γνώσης στον πελάτη...206 Επίλογος...210 Βιβλιογραφία...212
Περιεχόμενα 9 Ευρετήριο πινάκων Πίνακας 1 Μέθοδοι data mining που χρησιμοποιούνται σήμερα...33 Πίνακας 2 Αλγόριθμοι data mining που χρησιμοποιούνται σήμερα...34 Πίνακας 3 Δημοφιλέστερα εργαλεία Data Mining...35 Πίνακας 4 Προκλήσεις που αντιμετωπίζουν οι data miners...36 Πίνακας 5 RFM ομάδες με βαθμό ανταπόκρισης...126 Πίνακας 6 Δείγμα καλαθιού αγοράς...129 Πίνακας 7 Δείγμα δεδομένων για e-trans κανόνες συσχέτισης...143 Πίνακας 8 Δείγμα δεδομένων για ομαδοποίηση K-Means...149 Πίνακας 9 Κατανομή των πελατών ανά φύλο με μέσο όρο ηλικίας...157 Πίνακας 10 Κατανομή των πελατών ανά φύλο με μέσο όρο ετών εγγραφής...157 Πίνακας 11 Κατανομή των πελατών ανά φύλο με μέσο όρο ετών εγγραφής...158 Πίνακας 12 Κατανομή των πελατών ανά φύλο με μέσο όρο ηλικίας...158 Πίνακας 13 Κατανομή των πελατών ανά ηλικιακά group με μέσο όρο ετών εγγραφής...159 Πίνακας 14 Κατανομή των πελατών ανά ηλικιακά group με μέσο όρο ηλικίας...160 Πίνακας 15 Δείγμα δεδομένων...168 Πίνακας 16 Ομάδες e-churners...180 Πίνακας 17 M.O. ηλικίας ανά φύλο και ανά ομάδα e-churners...182 Πίνακας 18 M.O. ηλικίας ανά περιοχή και ανά ομάδα e-churners...182 Πίνακας 19 M.O. ημερών εγγραφής ανά φύλο και ανά ομάδα e-churners183 Πίνακας 20 R data...184 Πίνακας 21 F data...184 Πίνακας 22 M data...184 Πίνακας 23 R κλίμακα...185 Πίνακας 24 F κλίμακα...185 Πίνακας 25 RFM ομάδες...187 Πίνακας 26 R κλίμακα...188 Πίνακας 27 F κλίμακα...188 Πίνακας 28 M κλίμακα...189 Πίνακας 29 RFM ομάδες β εξαμήνου...189 Πίνακας 30 - Κατανομή ομάδων β εξαμήνου σε σχέση με ομάδες α εξαμήνου...191
10 Η επανάσταση του ΚΡΙΟΥ Ευρετήριο εικόνων Εικόνα 1 Διαδικασία ανακάλυψης γνώσης... 27 Εικόνα 2 Κατηγοριοποίηση τύπων στόχων ανακάλυψης γνώσης... 29 Εικόνα 3 Μοντέλο ΚΡΙΟΣ... 42 Εικόνα 4 Το χωνευτήρι της γνώσης... 47 Εικόνα 5 Συλλογή δεδομένων από πελάτη... 49 Εικόνα 6 Οργάνωση δεδομένων πελάτη... 60 Εικόνα 7 Ροή βημάτων ΚΡΙΟΥ έως την σχεδίαση... 62 Εικόνα 8 Σύμβολα Διαγράμματος Συσχέτισης Οντοτήτων... 65 Εικόνα 9 Διαδικασία ETL... 73 Εικόνα 10 Συγκεντρωτική τυπική αναφορά in-house MIS επιχείρησης... 79 Εικόνα 11 Συγκεντρωτική fancy αναφορά in-house MIS επιχείρησης... 79 Εικόνα 12 Best 3 αναφορά in-house MIS επιχείρησης... 80 Εικόνα 13 Συγκεντρωτική τυπική αναφορά με γράφημα in-house MIS επιχείρησης... 81 Εικόνα 14 Αναλυτική τυπική αναφορά MIS επιχείρησης... 81 Εικόνα 15 Συγκεντρωτική τυπική αναφορά MIS επιχείρησης... 82 Εικόνα 16 Γράφημα γραμμών in-house MIS επιχείρησης... 83 Εικόνα 17 Γράφημα κολώνων από Excel... 83 Εικόνα 18 Γράφημα κολώνων MIS επιχείρησης... 84 Εικόνα 19 Συνδυαστικό γράφημα MIS επιχείρησης... 84 Εικόνα 20 Γράφημα γραμμών MIS επιχείρησης... 85 Εικόνα 21 Αναπαράσταση KPI μέσω γραφημάτων... 87 Εικόνα 22 Αναπαράσταση KPI ως ταχύμετρου... 88 Εικόνα 23 Αναπαράσταση KPIs ως μέρος GIS... 88 Εικόνα 24 Αναπαράσταση KPIs ως ταχύμετρα... 89 Εικόνα 25 3D Visualization με χάρτη... 89 Εικόνα 26 Visualzitaion με χάρτη... 90 Εικόνα 27 3D visualization με γράφημα... 90 Εικόνα 28 Visualization με χάρτη συγκριτικό... 91 Εικόνα 29 3D visualization... 91 Εικόνα 30 Η εξέλιξη της Ανάλυσης Δεδομένων... 94 Εικόνα 31 Συμβολή του Data Mining... 95 Εικόνα 32 Αναλυτική Διαδικασία Πρόγνωσης... 97 Εικόνα 33 Αποδοτικότερος Προσεταιρισμός... 98 Εικόνα 34 Συχνότερο Up/Cross Selling... 99 Εικόνα 35 Μεγαλύτερη Διάρκεια Σχέσης... 99 Εικόνα 36 Πυραμίδα Αξιοποίησης Δεδομένων... 101
Περιεχόμενα 11 Εικόνα 37 Χωνευτήρι Γνώσης... 101 Εικόνα 38 Επιτακτικές Ανάγκες Διοίκησης... 102 Εικόνα 39 Η πρόκληση... 103 Εικόνα 40 Η ανάγκη...104 Εικόνα 41 Ικανότητες και Γνώσεις Επιχειρησιακού Αναλυτή... 111 Εικόνα 42 Το παράδειγμα της λάμπας...114 Εικόνα 43 RFM βαθμολογία... 123 Εικόνα 44 Βαθμός ανταπόκρισης με βάση το Recency... 124 Εικόνα 45 Ανταπόκριση με βάση το Frequency... 125 Εικόνα 46 Ανταπόκριση με βάση το Monetary... 126 Εικόνα 47 CRM με πρόταση cross sell (POSTBANK)... 136 Εικόνα 48 Site με customized πρόταση cross sell (ABN AMRO)... 136 Εικόνα 49 CRM με έξυπνη απεικόνιση της γνώσης (VODAFONE)... 137 Εικόνα 50 Κανόνες Συσχέτισης (A priori)... 144 Εικόνα 51 Αραχνοειδής γράφος κανόνων συσχέτισης... 145 Εικόνα 52 Ιστόγραμμα ομαδοποίησης... 150 Εικόνα 53 K-Means ομάδες... 151 Εικόνα 54 Ομάδες πελατών και σημαντικότητα χαρακτηριστικών... 156 Εικόνα 55 - Κατανομή των πελατών ανά φύλο σε κάθε ομάδα... 156 Εικόνα 56 - Κατανομή των πελατών ανά περιοχή σε κάθε ομάδα... 157 Εικόνα 57 - Κατανομή των πελατών ανά ηλικιακά group σε κάθε ομάδα... 159 Εικόνα 58 Δικτυακός γράφος χαρακτηριστικών ομαδοποίησης... 160 Εικόνα 59 Δικτυακός γράφος χαρακτηριστικών ομαδοποίησης (Links >30). 161 Εικόνα 60 Σχέσεις χαρακτηριστικών ομαδοποίησης (Links >30)... 161 Εικόνα 61 Ροή διαδικασίας... 165 Εικόνα 62 Stream e-churn... 167 Εικόνα 63 Αραχνοειδής γράφος των κινήσεων... 169 Εικόνα 64 Αραχνοειδής γράφων όλων των δεδομένων... 170 Εικόνα 65 Ηλικία e-churners (κατανομή ανά φύλο)... 171 Εικόνα 66 Ηλικία e-churners (κατανομή ανά περιοχή)... 171 Εικόνα 67 Ηλικία e-churners ανά περιοχή... 172 Εικόνα 68 Ημέρες εγγραφής στο winbank internet των e-churners (κατανομή ανά φύλο)... 172 Εικόνα 69 Ημέρες εγγραφής στο internet banking των e-churners (κατανομή ανά περιοχή)... 173 Εικόνα 70 Ημέρες εγγραφής των e-churners στο internet banking ανά περιοχή... 173 Εικόνα 71 Τελευταία ημέρα κίνησης στο internet banking των e-churners (κατανομή ανά φύλο)... 174
12 Η επανάσταση του ΚΡΙΟΥ Εικόνα 72 Τελευταία ημέρα κίνησης στο internet bankingτων e-churners (κατανομή ανά περιοχή)... 174 Εικόνα 73 Τελευταία ημέρα κίνησης στο internet banking των e-churners ανά φύλο περιοχή... 175 Εικόνα 74 Φύλο e-churners... 175 Εικόνα 75 Περιοχή e-churners... 176 Εικόνα 76 Διάγραμμα κατανομής ηλικίας ανά τελευταία ημέρα κίνησης (φύλο)... 177 Εικόνα 77 Διάγραμμα κατανομής ηλικίας ανά τελευταία ημέρα κίνησης (περιοχή)... 177 Εικόνα 78 Διάγραμμα κατανομής ηλικίας ανά ημέρες εγγραφής (φύλο)... 178 Εικόνα 79 Διάγραμμα κατανομής ηλικίας ανά ημέρες εγγραφής (περιοχή)... 178 Εικόνα 80 Κατανομή e-churners... 181 Εικόνα 81 Κατανομή φύλων ανά ομάδα e-churners... 182 Εικόνα 82 Stream rfm... 184 Εικόνα 83 Κατανομή RFM ομάδων... 187 Εικόνα 84 Ιστόγραμμα κατανομής πελατών με βάση το RFM score... 187 Εικόνα 85 Κατανομή RFM ομάδων β εξαμήνου... 189 Εικόνα 86 Ιστόγραμμα κατανομής πελατών με βάση το RFM score (β εξάμηνο)... 190 Εικόνα 87 Κατανομή ομάδων β εξαμήνου σε σχέση με ομάδες α εξαμήνου 190 Εικόνα 88 Win and Loss... 191 Εικόνα 89 Μετακινήσεις TOP πελατών... 192 Εικόνα 90 Δεντρο CART εταιριών... 199 Εικόνα 91 Γράφημα Gains... 199 Εικόνα 92 Δέντρο CART ιδιωτών ανδρών... 202 Εικόνα 93 Γράφημα Gains... 202 Εικόνα 94 Δέντρο CART ιδιωτών γυναικών... 205 Εικόνα 95 Γράφημα Gains... 205 Εικόνα 96 Στόχος έργου... 207 Εικόνα 97 Σύστημα επιστροφής γνώσης στον πελάτη... 209