Τεχνικές εξαγωγής και ανάλυσης συναισθημάτων σε μηνύματα του Twitter και υλοποίηση της ανάλυσης σε περιβάλλον cloud

Transcript

1 ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ Η/Υ & ΠΛΗΡΟΦΟΡΙΚΗΣ ΜΠΣ: «ΕΠΙΣΤΗΜΗ & ΤΕΧΝΟΛΟΓΙΑ ΥΠΟΛΟΓΙΣΤΩΝ» Τεχνικές εξαγωγής και ανάλυσης συναισθημάτων σε μηνύματα του Twitter και υλοποίηση της ανάλυσης σε περιβάλλον cloud Μεταπτυχιακή Διπλωματική Εργασία Μηταρά Ευδοξία, ΑΜ: 1063 Επιβλέπων: Μακρής Χρήστος Αναπληρωτής Καθηγητής Πάτρα, Οκτώβριος 2017

2 ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ Η/Υ & ΠΛΗΡΟΦΟΡΙΚΗΣ ΜΠΣ: «ΕΠΙΣΤΗΜΗ & ΤΕΧΝΟΛΟΓΙΑ ΥΠΟΛΟΓΙΣΤΩΝ» Τεχνικές εξαγωγής και ανάλυσης συναισθημάτων σε μηνύματα του Twitter και υλοποίηση της ανάλυσης σε περιβάλλον cloud Μεταπτυχιακή Διπλωματική Εργασία Μηταρά Ευδοξία, ΑΜ: 1063 Επιβλέπων: Μακρής Χρήστος Αναπληρωτής Καθηγητής Εγκρίθηκε από την τριμελή εξεταστική επιτροπή την 2 Οκτωβρίου Μακρής Χρήστος Αναπληρωτής Καθηγητής Πανεπιστήμιο Πατρών Μεγαλοοικονόμου Βασίλειος Καθηγητής Πανεπιστήμιο Πατρών Χατζηλυγερούδης Ιωάννης Αναπληρωτής Καθηγητής Πανεπιστήμιο Πατρών Πάτρα, Οκτώβριος 2017

3 Περίληψη Το συνεχώς αυξανόμενο ενδιαφέρον για την αποτελεσματική διαχείριση και εκμετάλλευση των Big Data, δημιουργεί νέα πεδία έρευνας. Η εκτεταμένη χρήση των μέσων κοινωνικής δικτύωσης παράγει ένα πολύ μεγάλο σύνολο δεδομένων προς ανάλυση, το οποίο έχει μεγάλη χρησιμότητα, ποικίλα και ιδιαίτερα χαρακτηριστικά. Στην παρούσα διπλωματική εργασία, το ενδιαφέρον επικεντρώνεται σε δεδομένα από το Twitter, το οποίο είναι μία microblogging πλατφόρμα στην οποία οι χρήστες εκφράζουν τις απόψεις τους για διάφορα ζητήματα. Το Twitter είναι μία σημαντική διαδικτυακή πλατφόρμα στην οποία οι χρήστες εκφράζουν τις απόψεις τους και επηρεάζουν άλλους χρήστες. Επομένως, η ανάλυση συναισθημάτων στα δεδομένα που παράγονται από το Twitter είναι ιδιαίτερα χρήσιμη για οργανισμούς και φορείς, ώστε να μπορούν να παρακολουθούν τις απόψεις του κοινού για τα προϊόντα τους. Στόχος της παρούσας διπλωματικής εργασίας είναι, αρχικά, η εύρεση των θεμάτων στα οποία αφορούν οι απόψεις και έπειτα, η ταξινόμηση του συναισθήματος που εκφράζεται για αυτά. Η υλοποίηση της πειραματικής διαδικασίας έγινε σε περιβάλλον Cloud με τη χρήση του εργαλείου Apache Spark. Λέξεις κλειδιά: Εξόρυξη Δεδομένων, Εξόρυξη Κειμένου, Ανάλυση Συναισθημάτων, Big Data, Cloud Computing Σελίδα i

4 Abstract The constantly increasing interest in the effective use of Big Data results to new fields of research. The wide use of social media produces a large dataset that needs to be analyzed and has great value and special features. In the present thesis, the data came from Twitter, a microblogging platform where users express their opinions on multiple matters. Twitter is an important online platform in which users express their opinions and have the ability to influence others. As a result of that, sentiment analysis on Twitter data is very useful to organizations and enterprises, in order to monitor people s opinions on their products. The aim of this thesis is to initially extract the subject of each tweet and afterwards, classify the sentiment expressed about them. The implementation uses Cloud Computing and the Apache Spark. Key words: Data Mining, Text Mining, Sentiment Analysis, Big Data, Cloud Computing Σελίδα ii

5 Περιεχόμενα Περίληψη... i Περιεχόμενα... iii Πίνακας Σχημάτων... vi Εισαγωγή... 1 Κεφάλαιο 1 ο - Big Data και Cloud Computing... 3 Εισαγωγή Τι είναι τα Big Data Κατηγοριοποίηση των big data Ανάλυση των big data Παραδοσιακή ανάλυση δεδομένων Μέθοδοι ανάλυσης για big data Εφαρμογές των big data Cloud computing Apache Spark Η σχέση μεταξύ των big data και του cloud computing Κεφάλαιο 2 ο Εξόρυξη Κειμένου Εισαγωγή Τι είναι η Εξόρυξη Κειμένου Ανακάλυψη Γνώσης Εξόρυξη Δεδομένων, Μηχανική Μάθηση και Στατιστική Μάθηση Ορισμός της Εξόρυξης Κειμένου Σχετικοί Τομείς Έρευνας Ανάκτηση Πληροφοριών (Information Retrieval) Επεξεργασία Φυσικής Γλώσσας (Natural Language Processing) Εξαγωγή Πληροφοριών (Information Extraction) Μέθοδοι Εξαγωγής Δεδομένων για κείμενο Ταξινόμηση Index Term Selection Naïve Bayes Classifier Nearest Neighbor Classifier Decision Trees Clustering Οι διαφορετικοί τύποι Clustering Ιεραρχική έναντι Διαχωριστικής Ομαδοποίησης Αποκλειστική έναντι της Επικαλυπτόμενης έναντι της Ασαφούς Ομαδοποίησης Σελίδα iii

6 Πλήρης έναντι Μερικής Ομαδοποίησης Εξόρυξη Κειμένου και Clustering Επεξεργασία Φυσικής Γλώσσας Natural Language Processing Τι είναι η Επεξεργασία Φυσικής Γλώσσας Στόχος της Επεξεργασίας Φυσικής Γλώσσας Κατανόηση της Φυσικής Γλώσσας και τα επίπεδά της Προσεγγίσεις στην Επεξεργασία Φυσικής Γλώσσας Η Συμβολική Προσέγγιση (Symbolic Approach) Η Στατιστική Προσέγγιση (Statistical Approach) Η Connectionist Προσέγγιση Σύγκριση μεταξύ των προσεγγίσεων Εφαρμογές της Επεξεργασίας Φυσικής Γλώσσας Η Προ-επεξεργασία στην Επεξεργασία Φυσικής Γλώσσας Η Γλωσσική Επεξεργασία Λημματοποίηση και Part of Speech Tagging Named Entity Recognition Aφαίρεση stop words Stemming Ο ρόλος της Επεξεργασίας Φυσικής Γλώσσας στα Κοινωνικά Δίκτυα Κεφάλαιο 3 ο - Εξόρυξη Απόψεων και Ανάλυση Συναισθημάτων Εισαγωγή Τι είναι η Ανάλυση Συναισθημάτων Τι αποτελεί μία έκφραση συναισθήματος Προσδιορισμός της υποκειμενικότητας Εφαρμογές Εφαρμογή σε ιστοσελίδες που σχετίζονται με κριτικές Εφαρμογή ως επικουρική λειτουργία σε άλλες τεχνολογίες Εφαρμογή στις επιχειρήσεις Μελλοντικές κατευθύνσεις Επισκόπηση της Μεθοδολογίας Προεπεξεργασία Μέθοδοι επιλογής χαρακτηριστικών Μέθοδος Chi-square (χ 2 ) Μέθοδος Latent Semantic Indexing (LSI) Οι δυσκολίες στην επιλογή χαρακτηριστικών Τεχνικές ταξινόμησης συναισθημάτων Η προσέγγιση της μηχανικής μάθησης Εποπτευόμενη Μάθηση Γραμμικοί Ταξινομητές Ταξινομητές Δέντρου Αποφάσεων Rule-based ταξινομητές Ασθενής, ημί- και μη εποπτευόμενη μάθηση Meta ταξινομητές Σελίδα iv

7 Η Lexicon-based προσέγγιση Η dictionary-based και η corpus-based προσέγγιση Lexicon-based τεχνικές και επεξεργασία φυσικής γλώσσας Άλλες τεχνικές Εφαρμογή της LDA στην Ανάλυση Συναισθημάτων Η σχέση της LDA με άλλα μοντέλα Το μοντέλο unigram Μείγμα unigrams Probabilistic Latent Semantic Indexing Ανάλυση Συναισθημάτων στο Twitter Σχετική Έρευνα Τα ιδιαίτερα χαρακτηριστικά των δεδομένων του Twitter Κεφάλαιο 4 ο Εφαρμογή της Ανάλυσης Συναισθημάτων σε δεδομένα του Twitter Εισαγωγή Τα δεδομένα Προ-επεξεργασία Εξαγωγή θεμάτων Ταξινόμηση Αποτελέσματα Αξιολόγηση Τι είναι η αξιολόγηση Πώς μετράται η αξιολόγηση Κεφάλαιο 5 ο Συμπεράσματα Συμπεράσματα Μελλοντική Εργασία Βιβλιογραφία Σελίδα v

8 ΠΙΝΑΚΑΣ ΣΧΗΜΑΤΩΝ Α/Α Τίτλος Σελίδα Σχήμα 1.1 Τα τέσσερα V των big data 6 Σχήμα 1.2 Κατηγοριοποίηση των Big Data 8 Σχήμα 2.1 Μία δομή Εξόρυξης Κειμένου 19 Σχήμα 2.2 Παράδειγμα Clustering 31 Σχήμα 3.1 Μέθοδοι ταξινόμησης συναισθημάτων 69 Σχήμα 3.2 Γραφική αναπαράσταση της LDA 89 Σχήμα 3.3 Γραφική αναπαράσταση μοντέλου από διαφορετικά μοντέλα διακριτών δεδομένων 92 Σχήμα 4.1 Προ-επεξεργασία Δεδομένων από το Twitter 101 Σχήμα 4.3 Διάγραμμα ορισμού της αφξιολόγησης 104 Σχήμα 4.3 Το τελικό δίκτυο 106 Σελίδα vi

9 ΕΙΣΑΓΩΓΗ Λόγω της ταχείας ανάπτυξης των δεδομένων κειμένου, η εξόρυξη κειμένου έχει εφαρμοστεί για να ανακαλύψει χρήσιμες πληροφορίες σε κείμενα για πολλές εφαρμογές και τομείς. Στον επιχειρηματικό τομέα, έχουν γίνει μεγάλες προσπάθειες για να ανακαλυφθούν τα συναισθήματα των πελατών και οι απόψεις τους, οι οποίες συχνά εκφράζονται σε ελεύθερο κείμενο. Ωστόσο, η εξαγωγή των συναισθημάτων και απόψεων ενός χρήστη μέσα από έναν μεγάλο όγκο δεδομένων είναι ιδιαίτερα δύσκολη. Για το λόγο αυτό, τα τελευταία χρόνια, έχουν υπάρξει πολλές ενδιαφέρουσες εξελίξεις πάνω στην επεξεργασία φυσικής γλώσσας για την ανάπτυξη νέων τεχνικών εξόρυξης κειμένου με τη δυνατότητα ακριβούς εξαγωγής απόψεων των πελατών από μεγάλους όγκους αδόμητων δεδομένων κειμένου. Μία από τις μεθόδους εξόρυξης απόψεων είναι η ταξινόμηση συναισθημάτων (sentiment classification), που ανακαλύπτει αν ο σημασιολογικός προσανατολισμός ενός κείμενου είναι θετικός, αρνητικός ή ουδέτερος. Κατά την εφαρμογή της μηχανικής μάθησης στην ταξινόμηση συναισθημάτων, οι περισσότερες υπάρχουσες προσεγγίσεις βασίζονται σε εποπτευόμενα μοντέλα μάθησης εκπαιδευμένα από σώματα κειμένου με ετικέτες, όπου κάθε έγγραφο έχει χαρακτηριστεί ως θετικό ή αρνητικό πριν από την ταξινόμηση. Όμως, σε πρακτικές εφαρμογές τα σώματα κειμένου δεν είναι πάντα επισημασμένα. Επιπλέον, μοντέλα ταξινόμησης συναισθήματος εκπαιδευμένα σε έναν τομέα θα μπορούσαν να μη λειτουργήσουν καθόλου, όταν εφαρμόζονται σε έναν άλλο τομέα. Γενικότερα, οι πολικότητες των συναισθημάτων εξαρτώνται από θέματα ή τομείς. Μία λέξη που εκφράζει συναίσθημα μπορεί να έχει διαφορετική πολικότητα για διαφορετικά θέματα. Παραδείγματος χάριν, η λέξη «απρόβλεπτος» έχει διαφορετική σημασία στην έκφραση «απρόβλεπτος χειρισμός» και στην έκφραση «απρόβλεπτη πλοκή». Αν και έχει γίνει εκτεταμένη έρευνα στον εντοπισμό θεμάτων, οι προσπάθειες επικεντρώθηκαν κυρίως, στην ανακάλυψη και ανάλυση των θεμάτων των εγγράφων, χωρίς καμία ανάλυση του συναισθήματος στο κείμενο, κάτι που περιορίζει τη χρησιμότητα των αποτελεσμάτων της εξόρυξης. Κάποιες μελέτες προσανατολίζονται στην αντιμετώπιση του προβλήματος της ανίχνευσης συναισθήματος σε διάφορα Σελίδα 1

10 επίπεδα, όπως για παράδειγμα στο επίπεδο της λέξης / φράσης, στο επίπεδο της πρότασης και ούτω καθεξής. Ωστόσο, σε αυτές τις υλοποιήσεις δε γίνεται μοντελοποίηση τόσο του ζητήματος των θεμάτων όσο και της ταξινόμησης των συναισθημάτων, το οποίο κάνει τα αποτελέσματα λιγότερο κατατοπιστικά για τους χρήστες. Επιπλέον, μερικές εργασίες, έχοντας επίγνωση αυτού του περιορισμού προσπάθησαν να λάβουν υπ' όψιν και να συνδυάσουν τόσο τα συναισθήματα όσο και τα θέματα στο κείμενο. Στην παρούσα διπλωματική εργασία, η εξόρυξη αφορά σε απόψεις που εκφράζονται στο Twitter. Πιο συγκεκριμένα, μέσα από την εφαρμογή της Latent Dirichlet Allocation θα βρεθούν τα θέματα στα οποία αφορούν οι άποψεις και έπειτα, με τη χρήση ενός Sentiment Analysis API θα εξαχθεί η πολικότητα του συναισθήματος που εκφράζεται. Τέλος, θα δημιουργηθεί ένα δίκτυο που θα απεικονίζει τη σχέση μεταξύ θεμάτων και των εκφράσεων συναισθήματος στα δεδομένα. Για την υλοποίηση χρησιμοποιήθηκε το εργαλείο Apache Spark. Το υπόλοιπο της διπλωματικής εργασίας οργανώνεται ως εξής. Το πρώτο κεφάλαιο αναφέρεται γενικά, στα Big Data και το Cloud Computing. Το δεύτερο κεφάλαιο ασχολείται με το θέμα της Εξόρυξης Κειμένου, καθώς και τις θεωρίες που το αφορούν. Το τρίτο κεφάλαιο έχει να κάνει με την Εξόρυξη Απόψεων και την Ανάλυση Συναισθημάτων και στη συνέχεια, στο τέταρτο κεφάλαιο παρουσιάζεται μία επισκόπηση της πειραματικής διαδικασίας που χρησιμοποιήθηκε. Έπειτα, στο τελευταίο κεφάλαιο γίνεται μία αναφορά σε αυτά που αναλύθηκαν και σε προτάσεις για μελλοντική εργασία. Σελίδα 2

11 Κεφάλαιο 1 ο Big Data και Cloud Computing Κεφάλαιο 1 ο Big Data και Cloud Computing Εισαγωγή Η συνεχής αύξηση του όγκου και της λεπτομέρειας των δεδομένων που συλλέγονται από οργανισμούς, όπως η άνοδος των social media, του Ιnternet of Things (IoT) και των πολυμέσων, έχει δημιουργήσει μια πολύ μεγάλη ροή δεδομένων είτε σε δομημένη είτε σε αδόμητη μορφή. Σύμφωνα με μία έκθεση της International Data Corporation (IDC), το 2011, ο συνολικός όγκος δεδομένων που δημιουργήθηκε και αντιγράφηκε ήταν 1.8ZB ( Β), ο οποίος αυξήθηκε κατά σχεδόν εννέα φορές μέσα σε πέντε χρόνια [42]. Για την εκρηκτική αυτή αύξηση των δεδομένων, χρησιμοποιείται ο όρος Big Data για να περιγράψει πολύ μεγάλα σε όγκο δεδομένα, η δημιουργία των οποίων πραγματοποιείται με έναν ιδιαίτερα αυξημένο ρυθμό [154]. Σε σύγκριση με τα παραδοσιακά σύνολα δεδομένων, τα big data, συνήθως, περιλαμβάνουν μάζες από αδόμητα δεδομένα που χρειάζονται επιπλέον ανάλυση σε πραγματικό χρόνο. Επιπρόσθετα, τα big data δημιουργούν ευκαιρίες για την ανακάλυψη νέων χρήσιμων στοιχείων, βοηθούν στη σε βάθος κατανόηση των κρυμμένων αξιών και είναι χρήσιμα στην αντιμετώπιση νέων προκλήσεων, όπως για παράδειγμα την αποτελεσματική οργάνωση και διαχείριση τέτοιων συνόλων δεδομένων. Τα big data ελκύουν την προσοχή τόσο της ακαδημαϊκής κοινότητας όσο και των επιχειρήσεων. Στην εποχή μας, τα big data που σχετίζονται με την εξυπηρέτηση των εταιρειών του Διαδικτύου αυξάνονται με ταχείς ρυθμούς. Για παράδειγμα, η Google επεξεργάζεται τα δεδομένα της από εκατοντάδες Petabyte (PB), το Facebook παράγει log δεδομένα τα οποία είναι πάνω από 10 PB ανά μήνα, η Baidu, μια κινεζική εταιρεία, επεξεργάζεται δεδομένα των δεκάδων PB [149] και η Taobao, μία θυγατρική εταιρεία της Alibaba παράγει δεδομένα δεκάδων Terabyte (TB) ηλεκτρονικών συναλλαγών ανά ημέρα. Τα big data έχουν τρία κύρια χαρακτηριστικά: 1. Τα δεδομένα είναι πολλά, Σελίδα 3

12 Κεφάλαιο 1 ο Big Data και Cloud Computing 2. Τα δεδομένα δεν μπορούν να ταξινομηθούν σε τακτικές σχεσιακές βάσεις δεδομένων και, 3. Τα δεδομένα που δημιουργούνται, συλλέγονται και υποβάλλονται σε επεξεργασία γρήγορα. Οι εξελίξεις στην αποθήκευση δεδομένων και τις τεχνολογίες εξόρυξης δεδομένων επιτρέπουν τη διατήρηση των αυξανόμενων ποσοτήτων δεδομένων [25, 28]. Ο ρυθμός με τον οποίο δημιουργούνται νέα δεδομένα είναι συγκλονιστικός [65]. Μία σημαντική πρόκληση για τους ερευνητές και τους επαγγελματίες είναι ότι αυτός ο ρυθμός ανάπτυξης ξεπερνά την ικανότητά τους να σχεδιάσουν κατάλληλες πλατφόρμες cloud computing για την ανάλυση δεδομένων οι οποίες θα είναι σε θέση να αντιμετωπίσουν τις προκλήσεις που προκύπτουν. Το cloud computing είναι μία από τις πιο σημαντικές αλλαγές στις σύγχρονες τεχνολογίες της πληροφορικής και της επικοινωνίας, καθώς και των υπηρεσιών για εταιρικές εφαρμογές. Αποτελεί μία ισχυρή αρχιτεκτονική για την εκτέλεση μεγάλων και πολύπλοκων υπολογισμών. Τα πλεονεκτήματα του cloud computing περιλαμβάνουν εικονικούς πόρους, την παράλληλη επεξεργασία, την ασφάλεια και την ολοκλήρωση των υπηρεσιών δεδομένων με την αποθήκευση επεκτάσιμων δεδομένων. Το cloud computing δεν ελαχιστοποιεί μόνο το κόστος και τους περιορισμούς για την αυτοματοποίηση και τη μηχανοργάνωση από ιδιώτες και επιχειρήσεις, αλλά μπορεί, επίσης, να παρέχει μειωμένο κόστος συντήρησης των υποδομών, αποτελεσματική διαχείριση και πρόσβαση στους χρήστες [98]. Ως αποτέλεσμα των παραπάνω πλεονεκτημάτων, είναι η ανάπτυξη μιας σειράς από εφαρμογές οι οποίες σχετίζονται πλατφόρμες cloud, με αποτέλεσμα την αύξηση της κλίμακας των δεδομένων που παράγονται και καταναλώνονται από τέτοιες εφαρμογές. Το Virtualization (Εικονικοποίηση) είναι μία από τις βασικές τεχνολογίες που σχετίζονται με την εφαρμογή του cloud computing. Μέσω του Virtualization υλοποιούνται πολλά χαρακτηριστικά της πλατφόρμας, τα οποία είναι απαραίτητα για την πρόσβαση, την αποθήκευση, την ανάλυση και τη διαχείριση των κατανεμημένων συστατικών υπολογιστών σε ένα μεγάλο περιβάλλον δεδομένων. Σελίδα 4

13 Κεφάλαιο 1 ο Big Data και Cloud Computing Το Virtualization είναι μία διαδικασία κατανομής των πόρων και απομόνωσης των υποκείμενων υλικών για την αύξηση της αξιοποίησης των πόρων του υπολογιστή, την αποδοτικότητα και την επεκτασιμότητα του. 1.1 Τι είναι τα Big Data Τα big data είναι ένας αφηρημένος όρος που χρησιμοποιείται για να εκφράσει την αύξηση του όγκου των δεδομένων τα οποία είναι δύσκολο να αποθηκευτούν, να υποστούν επεξεργασία και αναλυθούν μέσω παραδοσιακών τεχνολογιών βάσεων δεδομένων. Η φύση των big data είναι ότι είναι ακαθόριστα και απαιτούν εκτεταμένες εργασίες για τον εντοπισμό και τη μετάφραση των δεδομένων σε χρήσιμη μορφή. Ο όρος big data είναι σχετικά νέος στον τομέα της πληροφορικής και των επιχειρήσεων. Ωστόσο, αρκετοί ερευνητές και επαγγελματίες έχουν χρησιμοποιήσει τον όρο στην παλαιότερη βιβλιογραφία. Για παράδειγμα, οι Cox και Ellsworth [27] αναφέρονται στα big data ως επιστημονικά δεδομένα μεγάλου όγκου τα οποία χρειάζεται να οπτικοποιηθούν. Σήμερα υπάρχουν διάφοροι ορισμοί για τα big data. Για παράδειγμα, οι Manyika et al. [103] ορίζουν τα big data ως «το ποσό των δεδομένων ακριβώς πέρα από την ικανότητα της τεχνολογίας να τα αποθηκεύσει, να τα διαχειριστεί και να τα επεξεργαστεί αποτελεσματικά». Συνακόλουθα, οι Zikopoulos et al. [163] και ο Berman [11] ορίζουν τα big data, ως μία έννοια που χαρακτηρίζεται από τρία V: τον όγκο (Volume), την ποικιλία (Variety) και την ταχύτητα (Velocity). Οι όροι όγκος, ποικιλία και ταχύτητα χρησιμοποιήθηκαν για να περιγράψουν τις προκλήσεις που αναδεικνύονται με τα big data. Επίσης, η International Data Corporation ορίζει τις τεχνολογίες των big data ως «μία νέα γενιά τεχνολογιών και αρχιτεκτονικών, σχεδιασμένες για να εξάγουν οικονομική αξία από πολύ μεγάλους όγκους μίας ευρείας ποικιλίας δεδομένων, επιτρέποντας τη συλλογή, την ανακάλυψη, ή / και την ανάλυση με γρήγορο τρόπο» [42] και επιπλέον, διευκρινίζει ότι τα big data δεν είναι μόνο χαρακτηρισμένα από τα τρία V όπως αναφέρθηκε παραπάνω, αλλά επίσης μπορεί να προστεθεί και ένα ακόμα V, η αξία (Value) (Σχήμα 1.1). Ο ορισμός των 4V χρησιμοποιείται πολύ συχνά, διότι τονίζει τη σημασία και την αναγκαιότητα των big data. Σελίδα 5

14 Κεφάλαιο 1 ο Big Data και Cloud Computing Επομένως, ένας άλλος ορισμός που προτείνεται και ο οποίος περικλείει τις παραπάνω παρατηρήσεις καθώς και την ουσία των big data, είναι ο εξής: Τα Big Data είναι ένα σύνολο τεχνικών και τεχνολογιών που απαιτούν νέες ενσωματώσεις για να αποκαλύψουν μεγάλες κρυμμένες αξίες από μεγάλα σύνολα δεδομένων που είναι ποικίλα, σύνθετα και σε πολύ μεγάλη κλίμακα. Volume Value Big Data Variety Velocity Σχήμα Τα τέσσερα V των big data Όπως προαναφέρθηκε τα τέσσερα κύρια χαρακτηριστικά των big data είναι τα εξής: 1. Ο Όγκος (Volume), ο οποίος αναφέρεται στην ποσότητα όλων των τύπων των δεδομένων που παράγονται από διαφορετικές πηγές και συνεχίζουν να επεκτείνονται. Το όφελος από τη συγκέντρωση μεγάλων ποσοτήτων δεδομένων είναι η εύρεση κρυφών πληροφοριών και μοτίβων μέσω της ανάλυσης των δεδομένων. 2. Η Ποικιλία (Variety), η οποία αναφέρεται στους διαφορετικούς τύπους δεδομένων που συλλέγονται μέσω αισθητήρων, smartphones, ή μέσω των κοινωνικών δικτύων. Τα δεδομένα μπορεί να είναι σε μορφή βίντεο, εικόνας, κειμένου, ήχου και άλλα, τα οποία έχουν είτε δομημένη είτε αδόμητη μορφή. Τα περισσότερα από τα δεδομένα που δημιουργούνται από smartphones είναι σε αδόμητη μορφή. Για παράδειγμα, τα μηνύματα κειμένου, τα blogs και τα social media παράγουν διαφορετικούς τύπους αδόμητων δεδομένων μέσω κινητών τηλεφώνων και αισθητήρων. Οι χρήστες του Διαδικτύου Σελίδα 6

15 Κεφάλαιο 1 ο Big Data και Cloud Computing δημιουργούν, επίσης, ένα εξαιρετικά διαφορετικό σύνολο δομημένων και αδόμητων δεδομένων [121]. 3. Η Ταχύτητα (Velocity) αναφέρεται στην ταχύτητα μεταφοράς δεδομένων. Τα περιεχόμενα των δεδομένων αλλάζουν συνεχώς λόγω της απορρόφησης συμπληρωματικών συλλογών δεδομένων, της εισαγωγής παλαιότερων αρχειοθετημένων δεδομένων και της συνεχούς ροής δεδομένων που φθάνουν από πολλαπλές πηγές [11]. 4. Η Αξία (Value) είναι η πιο σημαντική πτυχή των big data. Αναφέρεται στην διαδικασία ανακάλυψης της μεγάλης κρυφής αξίας σε big data [22] Κατηγοριοποίηση των big data Τα big data μπορούν να καταταχθούν σε διαφορετικές κατηγορίες, ώστε να γίνει πιο εύκολη η κατανόηση των χαρακτηριστικών τους. Το Σχήμα 1.2 δείχνει τις πολυάριθμες κατηγορίες των big data. Η ταξινόμηση είναι σημαντική λόγω της μεγάλης κλίμακας δεδομένων στο cloud. Η ταξινόμηση βασίζεται σε πέντε πτυχές: (i) τις πηγές δεδομένων, (ii) τη μορφή του περιεχομένου, (iii) τις αποθήκες δεδομένων, (iv) το data staging και (v) την επεξεργασία των δεδομένων. Κάθε μία από αυτές τις κατηγορίες έχει τα δικά της χαρακτηριστικά και την πολυπλοκότητα της. Οι πηγές δεδομένων περιλαμβάνουν δεδομένα από το διαδίκτυο, τους αισθητήρες, όλες τις αποθήκες δεδομένων και κυμαίνονται από αδόμητα σε εξαιρετικά δομημένα. Η πιο δημοφιλής είναι η σχεσιακή βάση δεδομένων και οι διαφορετικές μορφές της. Ως αποτέλεσμα της μεγάλης ποικιλίας των πηγών δεδομένων, τα δεδομένα τα οποία συλλέγονται διαφέρουν σε μέγεθος σε σχέση με τη συνέπεια τους, τον θόρυβο και άλλα Ανάλυση των big data Η ανάλυση των big data εμπλέκει τις παραδοσιακές αναλυτικές μεθόδους για δεδομένα, την αναλυτική αρχιτεκτονική για big data και το λογισμικό που χρησιμοποιείται για την εξόρυξη και την ανάλυση των big data. Η ανάλυση των δεδομένων αποτελεί το τελικό και το πιο σημαντικό στάδιο της επεξεργασίας των big data, καθώς σκοπός της είναι η εξαγωγή χρήσιμων στοιχείων τα οποία έχουν αξία, Σελίδα 7

16 Κεφάλαιο 1 ο Big Data και Cloud Computing παρέχοντας προτάσεις ή αποφάσεις. Η ανάλυση των δεδομένων είναι μια ευρεία περιοχή, η οποία αλλάζει συχνά και είναι εξαιρετικά πολύπλοκη. Κάποιες από τις μεθόδους και αρχιτεκτονικές για την ανάλυση των big data θα παρουσιαστούν στη συνέχεια. Big Data Πηγές Δεδομένων Μορφή Περιεχομένου Stores Δεδομένων Staging Δεδομένων Επεξεργασία Δεδομένων Διαδίκτυο Δομημένο Documentoriented Καθαρισμός Batch Μηχανήματα Αισθητήρες Ημί-δομημένο Αδόμητο Column-oriented Graph-based Κανονικοποίηση Μετατροπή Σε πραγματικό χρόνο Συναλλαγές Key-value ΙοΤ Σχήμα Κατηγοριοποίηση των Big Data Παραδοσιακή ανάλυση δεδομένων Η παραδοσιακή ανάλυση δεδομένων αφορά στη χρήση κατάλληλων στατιστικών μεθόδων για την ανάλυση δεδομένων, ώστε να συγκεντρωθούν, να εξαχθούν και να προκύψουν χρήσιμα δεδομένα κρυμμένα σε ένα χαοτικό σύνολο δεδομένων ούτως ώστε να μεγιστοποιηθεί η αξία τους. Η ανάλυση των big data μπορεί να θεωρηθεί ως μία τεχνική ανάλυσης για ένα ειδικό είδος δεδομένων. Ως εκ τούτου, πολλές παραδοσιακές μέθοδοι ανάλυσης δεδομένων, μπορούν να χρησιμοποιηθούν για την ανάλυση των big data. Κάποιες από τις μεθόδους που μπορούν να χρησιμοποιηθούν είναι οι εξής: Cluster Analysis: είναι μία στατιστική μέθοδος για την ομαδοποίηση αντικειμένων και ειδικότερα, την ταξινόμηση αντικειμένων σύμφωνα με ορισμένες λειτουργίες. Η Cluster Analysis χρησιμοποιείται για να διαφοροποιήσει αντικείμενα με ιδιαίτερα χαρακτηριστικά και να τα χωρίσει σε ορισμένες κατηγορίες (clusters), σύμφωνα με αυτά τα χαρακτηριστικά, έτσι ώστε τα αντικείμενα της ίδιας κατηγορίας να έχουν υψηλή ομοιογένεια ενώ τα Σελίδα 8

17 Κεφάλαιο 1 ο Big Data και Cloud Computing αντικείμενα διαφορετικών κατηγοριών να έχουν υψηλή ανομοιογένεια. Η Cluster Analysis είναι μία μη επιβλεπόμενη μέθοδος χωρίς δεδομένα εκπαίδευσης. Factor Analysis: στοχεύει στο να περιγράψει την σχέση μεταξύ πολλών στοιχείων με λίγους μόνο παράγοντες, δηλαδή, την ομαδοποίηση αρκετών σχετιζόμενων μεταβλητών σε έναν παράγοντα, ενώ οι λίγοι παράγοντες που θα προκύψουν χρησιμοποιούνται στη συνέχεια, για να αποκαλυφθούν περισσότερες πληροφορίες για τα αρχικά δεδομένα. Correlation Analysis (Ανάλυση Συσχετισμού): είναι μία αναλυτική μέθοδος για τον προσδιορισμό του νόμου των σχέσεων, όπως η συσχέτιση, η αλληλένδετη εξάρτηση και ο αμοιβαίος περιορισμός, μεταξύ των παρατηρούμενων φαινομένων και κατά συνέπεια, τη διενέργεια προβλέψεων και ελέγχου. Τέτοιες σχέσεις μπορούν να ταξινομηθούν σε δύο τύπους: (i) λειτουργίας, αντανακλώντας την αυστηρή σχέση εξάρτησης μεταξύ φαινομένων, η οποία ονομάζεται, επίσης, οριστική σχέση εξάρτησης (ii) συσχέτισης, μερικές απροσδιόριστες ή ανακριβείς σχέσεις εξάρτησης και η αριθμητική τιμή μιας μεταβλητής μπορεί να αντιστοιχεί σε διάφορες αριθμητικές τιμές των άλλων μεταβλητών και τέτοιες αριθμητικές τιμές παρουσιάζουν μια περιοδική διακύμανση γύρω από τις μέσες τιμές τους. Regression Analysis (Ανάλυση Παλινδρόμησης): είναι ένα μαθηματικό εργαλείο για την αποκάλυψη συσχετίσεων μεταξύ μίας μεταβλητής και αρκετών άλλων μεταβλητών. Βασισμένη σε μια ομάδα πειραμάτων ή δεδομένων που έχουν παρατηρηθεί, η ανάλυση παλινδρόμησης προσδιορίζει τις σχέσεις εξάρτησης μεταξύ των μεταβλητών που είναι κρυφές λόγω τυχαιότητας. Αλγόριθμοι Εξόρυξης Δεδομένων: η εξόρυξη δεδομένων είναι μία διαδικασία για την εξαγωγή κρυμμένων, άγνωστων, αλλά δυνητικά χρήσιμων πληροφοριών και γνώσεων από μαζικά, ελλιπή, θορυβώδη, ασαφή και τυχαία δεδομένα. Κάποιοι από τους πιο συχνά χρησιμοποιούμενους αλγορίθμους είναι οι k-means, SVM και Naïve Bayes. Σελίδα 9

18 Κεφάλαιο 1 ο Big Data και Cloud Computing Μέθοδοι ανάλυσης για big data Ένα βασικό ζήτημα που αφορά στα big data είναι η εύρεση των μεθόδων, ώστε οι πληροφορίες να εξάγονται γρήγορα, ούτως ώστε να φέρνουν αξία για τις επιχειρήσεις και τους ιδιώτες. Οι κύριες μέθοδοι επεξεργασίας των big data είναι οι εξής: Bloom Filter: Το Bloom Filter αποτελείται από μια σειρά από Hash λειτουργίες. Η αρχή του Bloom Filter είναι η αποθήκευση των hash αξιών των δεδομένων, έναντι των ίδιων των δεδομένων χρησιμοποιώντας μία συστοιχία δυαδικών ψηφίων, η οποία είναι στην ουσία ένας δείκτης bitmap που χρησιμοποιεί hash λειτουργίες. Ένα από τα πλεονεκτήματα της μεθόδου είναι η υψηλή απόδοση χώρου και ένα από τα μειονεκτήματα της είναι η διαγραφή. Hashing: είναι μία μέθοδος που ουσιαστικά μετατρέπει στοιχεία σε μικρότερες σταθερού μήκους αριθμητικές τιμές ή σε δείκτες τιμών. Το Hashing (κατακερματισμός) έχει πλεονεκτήματα, όπως η ταχεία ανάγνωση, γραφή και ερωτήματα υψηλής ταχύτητας, αλλά είναι δύσκολο να βρεθεί μία αποτελεσματική λειτουργία hashing. Index: η μέθοδος αυτή είναι μια αποτελεσματική μέθοδος για τη μείωση των εξόδων ανάγνωσης και εγγραφής δίσκου, καθώς και τη βελτίωση της εισαγωγής, διαγραφής, τροποποίησης και ταχύτητας ερωτήματος τόσο στις παραδοσιακές σχεσιακές βάσεις δεδομένων που διαχειρίζονται δομημένα, ημι-δομημένα και αδόμητα δεδομένα. Ωστόσο, η μέθοδος αυτή έχει ένα μειονέκτημα που είναι το πρόσθετο κόστος για την αποθήκευση index αρχείων τα οποία θα πρέπει να διατηρούνται δυναμικά όταν τα δεδομένα ανανεώνονται. Triel: ονομάζεται επίσης trie δέντρο και είναι μία παραλλαγή του Hash Tree. Εφαρμόζεται κυρίως, για την ταχεία ανάκτηση και τη στατιστική ανάλυση της συχνότητας εμφάνισης των λέξεων. Η κύρια ιδέα του Triel είναι να αξιοποιεί κοινά προθέματα από συμβολοσειρές χαρακτήρων για τη μείωση της σύγκρισης σε ακολουθίες χαρακτήρων στο μεγαλύτερο δυνατό βαθμό, ούτως ώστε να βελτιωθεί η αποτελεσματικότητα ερωτήματος. Σελίδα 10

19 Κεφάλαιο 1 ο Big Data και Cloud Computing Παράλληλοι Υπολογισμοί: συγκριτικά με τους παραδοσιακούς σειριακούς υπολογισμούς, οι παράλληλοι υπολογισμοί αναφέρονται στην ταυτόχρονη αξιοποίηση διάφορων υπολογιστικών πόρων για να ολοκληρωθεί μία εργασία υπολογισμού. Βασική ιδέα της μεθόδου είναι η αποσύνθεση ενός προβλήματος και η εκχώρηση του σε αρκετές ξεχωριστές διαδικασίες οι οποίες θα ολοκληρωθούν ανεξάρτητα, έτσι ώστε να επιτευχθεί η συνεπεξεργασία Εφαρμογές των big data Τα big data χρησιμοποιούνται ευρέως από πολλούς τομείς επιστήμης, όπως για παράδειγμα η τεχνητή νοημοσύνη [122] αλλά και τις επιχειρήσεις. Η εφαρμογή των big data στις επιχειρήσεις μπορεί να ενισχύσει την αποτελεσματικότητα της παραγωγής τους και την ανταγωνιστικότητα τους σε πολλούς τομείς. Ειδικότερα, στο μάρκετινγκ, μέσα από την ανάλυση συσχετισμών των big data, οι επιχειρήσεις μπορούν προβλέψουν με μεγαλύτερη ακρίβεια τη συμπεριφορά των καταναλωτών και να εφαρμόσουν νέες στρατηγικές. Επιπλέον, οι επιχειρήσεις μπορούν να βελτιώσουν την αποτελεσματικότητα τους, να λειτουργούν καλύτερα, να προβλέψουν με ακρίβεια τις ανάγκες σε προσωπικό και να μειώσουν το κόστος εργασίας. Επιπρόσθετα, χρησιμοποιώντας τα big data, οι επιχειρήσεις μπορούν να πραγματοποιούν βελτιστοποιημένη απογραφή, υλικοτεχνική βελτιστοποίηση και καλύτερο συντονισμό με τους προμηθευτές, ώστε να περιορίσουν το χάσμα μεταξύ προσφοράς και ζήτησης, καθώς και να βελτιώσουν τις υπηρεσίες τους. 1.2 Cloud computing Το cloud computing είναι μια ταχέως αναπτυσσόμενη τεχνολογία που έχει καθιερωθεί στον τομέα της πληροφορικής και των επιχειρήσεων. Το cloud computing παρέχει αξιόπιστο λογισμικό, hardware και Infrastructure as a Service (IaaS) μέσω του διαδικτύου και των απομακρυσμένων data centers [6]. Οι cloud υπηρεσίες έχουν γίνει μια ισχυρή αρχιτεκτονική για την εκτέλεση πολύπλοκων και μεγάλης κλίμακας υπολογιστικών εργασιών και καλύπτουν ένα φάσμα λειτουργιών της πληροφορικής από την αποθήκευση και τον υπολογισμό σε υπηρεσίες βάσεων δεδομένων και εφαρμογών. Η ανάγκη για την αποθήκευση, επεξεργασία και ανάλυση μεγάλων Σελίδα 11

20 Κεφάλαιο 1 ο Big Data και Cloud Computing ποσοτήτων από δεδομένα έχει οδηγήσει πολλούς οργανισμούς και ιδιώτες να υιοθετήσουν το cloud computing [96]. Το cloud computing έχει μια σειρά από πλεονεκτήματα για την αντιμετώπιση της ραγδαίας ανάπτυξης της οικονομίας και των τεχνολογικών εμποδίων. Το cloud computing παρέχει το συνολικό κόστος κτήσης και επιτρέπει στους οργανισμούς να επικεντρωθούν στις κύριες δραστηριότητές τους χωρίς να ανησυχούν για θέματα, όπως οι υποδομές, η ευελιξία και η διαθεσιμότητα των πόρων [2]. Επιπλέον, συνδυάζοντας το cloud computing με ένα πλούσιο σύνολο υπηρεσιών cloud, που περιλαμβάνει υπολογισμούς, υποδομές και τη δυνατότητα αποθήκευσης, προκύπτει ένα ιδιαίτερα ελκυστικό περιβάλλον, όπου οι επιστήμονες μπορούν να εκτελέσουν τα πειράματά τους [49]. Τα μοντέλα υπηρεσιών cloud συνήθως αποτελούνται από PaaS, SaaS και IaaS. Το Platform as a Service (PaaS), όπως η μηχανή της Google Apps, Salesforce.com, η Force platform και η Microsoft Azure, αναφέρεται σε διάφορες πηγές που λειτουργούν σε ένα cloud για να παρέχουν μία υπολογιστική πλατφόρμα στους τελικούς χρήστες. Χρησιμοποιούνται για εφαρμογές, παρέχοντας στοιχεία του cloud στο λογισμικό. Με το PaaS οι προγραμματιστές έχουν στη διάθεση τους ένα πλαίσιο στο οποίο μπορούν να βασιστούν για να αναπτύξουν ή να προσαρμόσουν εφαρμογές. Το PaaS καθιστά την ανάπτυξη και δοκιμή των εφαρμογών γρήγορη, απλή και οικονομικά αποδοτική. Το Software as a Service (SaaS), όπως το Google Docs και το Gmail, αναφέρεται σε εφαρμογές που λειτουργούν σε απομακρυσμένες υποδομές cloud που προσφέρει ο πάροχος του cloud, όπως για παράδειγμα οι υπηρεσίες που μπορεί να προσεγγιστούν μέσω του Διαδικτύου [120]. Αντιπροσωπεύουν τη μεγαλύτερη αγορά cloud και εξακολουθούν να αναπτύσσονται γρήγορα. Το SaaS χρησιμοποιεί το διαδίκτυο για την προβολή εφαρμογών που διαχειρίζεται κάποιος τρίτος προμηθευτής και του οποίου η διεπαφή είναι προσβάσιμη από την πλευρά των πελατών. Οι περισσότερες εφαρμογές του SaaS μπορούν να εκτελεστούν απευθείας από ένα πρόγραμμα περιήγησης στο διαδίκτυο χωρίς να απαιτούνται λήψεις ή εγκαταστάσεις. Σελίδα 12

21 Κεφάλαιο 1 ο Big Data και Cloud Computing Το Infrastructure as a Service (IaaS), όπως το Flexiscale και το EC2 της Amazon, αναφέρεται σε υλικό εξοπλισμό που λειτουργεί σε ένα cloud ο οποίος είναι διαθέσιμος από τους φορείς παροχής υπηρεσιών και χρησιμοποιείται από τους τελικούς χρήστες κατόπιν ζήτησης. Είναι μοντέλα αυτοεξυπηρέτησης για την πρόσβαση, την παρακολούθηση και τη διαχείριση απομακρυσμένων υποδομών του κέντρου δεδομένων, όπως υπολογιστικές υπηρεσίες (virtualized ή bare metal), υπηρεσίες αποθήκευσης και δικτύωσης. Έτσι, αντί οι χρήστες να αγοράζουν οι ίδιοι το υλικό, μπορούν να αγοράσουν το IaaS με βάση την κατανάλωση Apache Spark Tο Apache Spark, ένα πλαίσιο ανοιχτού κώδικα που συνδυάζει μία μηχανή για τη διανομή προγραμμάτων σε ομάδες μηχανών με ένα κομψό μοντέλο. Το Spark, αναπτύχθηκε από το UC Berkeley AMPLab και είναι το πρώτο λογισμικό ανοιχτού κώδικα που καθιστά τον κατανεμημένο προγραμματισμό πραγματικά προσβάσιμο από τους επιστήμονες. Το Spark αποτελεί μία εξέλιξη του MapReduce, το οποίο άλλαξε τον τρόπο με τον οποίο αντιμετωπίζονταν προβλήματα που είχαν να κάνουν με πολύ μεγάλους όγκους δεδομένων. Διατηρεί τη γραμμική επεκτασιμότητα και την ανοχή σφάλματος του MapReduce, αλλά το επεκτείνει με τρεις σημαντικούς τρόπους. Πρώτον, αντί να στηρίζεται σε μια άκαμπτη map-then-reduce διαδικασία, η μηχανή του μπορεί να εκτελέσει ένα πιο γενικό κατευθυνόμενο ακυκλικό γράφημα (Directed Acyclic Graph - DAG) από operators. Αυτό σημαίνει ότι, σε καταστάσεις όπου το MapReduce πρέπει να γράψει ενδιάμεσα αποτελέσματα στο κατανεμημένο σύστημα αρχείων, το Spark μπορεί να τα μεταβιβάσει απευθείας στο επόμενο βήμα της διαδικασίας. Δεύτερον, έχει την επιπρόσθετη ικανότητα μέσα από ένα πλούσιο σύνολο μετασχηματισμών να επιτρέπει στους χρήστες να εκφράζουν τον υπολογισμό με πιο φυσικό τρόπο. Τρίτον, το Spark σε αντίθεση με τους προκατόχους του δίνει τη δυνατότητα για επεξεργασία εντός της μνήμης. Η ιδέα του Resilient Distributed Dataset (RDD) επιτρέπει στους προγραμματιστές να υλοποιήσουν οποιοδήποτε σημείο σε έναν αγωγό επεξεργασίας στη μνήμη σε όλο το cluster, πράγμα που σημαίνει ότι τα Σελίδα 13

22 Κεφάλαιο 1 ο Big Data και Cloud Computing μελλοντικά βήματα που θέλουν να χρησιμοποιήσουν το ίδιο σύνολο δεδομένων δεν χρειάζεται να τα επανατοποθετήσουν ή να τα επαναφορτώσουν από το δίσκο. Αυτή η δυνατότητα αντιμετωπίζει τις περιπτώσεις όπου οι κατανεμημένες μηχανές επεξεργασίας δεν μπορούσαν να προσεγγίσουν προηγουμένως. Το Spark είναι κατάλληλο για επαναληπτικούς αλγόριθμους που απαιτούν πολλαπλές διελεύσεις σε ένα σύνολο δεδομένων, καθώς και εφαρμογές που ανταποκρίνονται γρήγορα στα ερωτήματα των χρηστών με τη σάρωση μεγάλων συνόλων δεδομένων στη μνήμη. Ο προγραμματισμός στο Spark ξεκινά με ένα σύνολο δεδομένων. Η δημιουργία ενός προγράμματος στο Spark συνήθως αποτελείται από μερικά σχετικά βήματα: Ορισμός ενός συνόλου μετασχηματισμών στα σύνολα δεδομένων εισόδου. Επανάκληση ενεργειών που εξάγουν τα μετασχηματισμένα σύνολα δεδομένων σε μόνιμη αποθήκευση ή επιστρέφουν αποτελέσματα στην τοπική μνήμη. Εκτέλεση τοπικών υπολογισμών που λειτουργούν πάνω στα αποτελέσματα που υπολογίζονται με κατανεμημένο τρόπο. Spark SQL Spark Streaming MLlib GraphX Apache Spark Εικόνα Apache Spark Ένα ιδιαιτέρως χρήσιμο εργαλείο του Spark είναι η βιβλιοθήκη MLlib (Machine Language Library). Η MLlib είναι η βιβλιοθήκη machine learning του Spark, με επίκεντρο τους αλγορίθμους μάθησης και βοηθητικά προγράμματα, συμπεριλαμβανομένης της ταξινόμησης, της παλινδρόμησης, του clustering και άλλων. Το βασικό πλεονέκτημα της MLlib είναι ότι επιτρέπει στους αναλυτές δεδομένων να επικεντρωθούν στα προβλήματα και τα μοντέλα των δεδομένων, αντί Σελίδα 14

23 Κεφάλαιο 1 ο Big Data και Cloud Computing να επιλύουν τις πολυπλοκότητες που περιβάλλουν τα κατανεμημένα δεδομένα. Επιπλέον, η Spark MLlib είναι βιβλιοθήκη γενικού σκοπού, που παρέχει πολλούς διαφορετικούς αλγορίθμους γενικής χρήσης, ενώ παράλληλα επιτρέπει στους χρήστες να τους αναπτύξουν και τους επεκτείνουν για ειδικές περιπτώσεις χρήσης Η σχέση μεταξύ των big data και του cloud computing Το cloud computing και τα big data είναι άμεσα συνδεδεμένα. Τα big data αποτελούν το αντικείμενο μίας εντατικής διαδικασίας υπολογισμών και ωθούν την ικανότητα αποθήκευσης ενός συστήματος cloud. Ο κύριος στόχος του cloud computing είναι η χρήση τεράστιων πληροφοριακών και αποθηκευτικών πόρων κάτω από μία συγκεκριμένη διαχείριση, ώστε να παρέχει big data εφαρμογές με την κατάλληλη υπολογιστική χωρητικότητα. Η ανάπτυξη του cloud computing παρέχει λύσεις για την αποθήκευση και επεξεργασία των big data. Η τεχνολογία κατανεμημένης αποθήκευσης που βασίζεται στο cloud computing μπορεί να διαχειριστεί αποτελεσματικά τα big data. Η παράλληλη υπολογιστική χωρητικότητα μέσω του cloud computing μπορεί να βελτιώσει την αποτελεσματικότητα της συλλογής και ανάλυσης των big data. Τα big data χρησιμοποιούν κατανεμημένη τεχνολογία αποθήκευσης με βάση το cloud και όχι τοπική αποθήκευση η οποία συνδέεται με έναν υπολογιστή ή ηλεκτρονική συσκευή. Η αξιολόγηση των big data ορίζεται από ταχέως αναπτυσσόμενες cloudbased εφαρμογές, οι οποίες αναπτύχθηκαν χρησιμοποιώντας εικονικές (virtualized) τεχνολογίες. Ως εκ τούτου, το cloud computing δεν παρέχει μόνο διευκολύνσεις για τον υπολογισμό και την επεξεργασία των big data, αλλά χρησιμεύει και ως ένα μοντέλο παροχής υπηρεσιών. Παρόλο που υπάρχουν πολλές επικαλυπτόμενες τεχνολογίες στον τομέα του cloud computing και των big data, διαφέρουν στις ακόλουθες δύο πτυχές. Πρώτον, οι έννοιες διαφέρουν σε κάποιο βαθμό. Το cloud computing επηρεάζει την αρχιτεκτονική της πληροφορικής, ενώ τα big data επηρεάζουν τη λήψη επιχειρηματικών αποφάσεων. Δεύτερον, τα big data και το cloud computing απευθύνονται σε διαφορετικούς χρήστες. Το cloud computing είναι μια τεχνολογία και προϊόν που αφορά τους Chief Information Officers (CIO) ως μία προηγμένη λύση πληροφορικής. Τα big data είναι Σελίδα 15

24 Κεφάλαιο 1 ο Big Data και Cloud Computing προϊόν που στοχεύει τους Διευθύνοντες Συμβούλους εταιρειών, οι οποίοι εστιάζουν στις επιχειρηματικές δραστηριότητες. Το cloud computing, με λειτουργίες παρόμοιες με αυτές των υπολογιστών και των λειτουργικών συστημάτων, παρέχει πόρους σε επίπεδο συστήματος. Τα big data λειτουργούν στο ανώτερο επίπεδο που υποστηρίζεται από το cloud computing και παρέχουν λειτουργίες παρόμοιες με αυτές της βάσης δεδομένων και την αποδοτική ικανότητα επεξεργασίας δεδομένων. Σελίδα 16

25 Κεφάλαιο 2ο Εξόρυξη Κειμένου Κεφάλαιο 2 ο Εξόρυξη Κειμένου Εισαγωγή Η τεράστια ποσότητα των πληροφοριών που είναι αποθηκευμένες σε αδόμητα κείμενα δεν μπορούν απλά να χρησιμοποιηθούν για περαιτέρω επεξεργασία από τους υπολογιστές, οι οποίοι, συνήθως, χειρίζονται το κείμενο ως απλές ακολουθίες των χαρακτήρων. Ως εκ τούτου, απαιτούνται συγκεκριμένες μέθοδοι (προ)-επεξεργασίας και αλγόριθμοι προκειμένου να εξαχθούν χρήσιμα μοτίβα. Η εξόρυξη κειμένου (Text Mining) αναφέρεται, γενικά, στην διαδικασία εξαγωγής πληροφοριών που παρουσιάζουν ενδιαφέρον και γνώσης από μη δομημένο κείμενο. Σε αυτό το κεφάλαιο, θα παρουσιαστεί η εξόρυξη κειμένου ως ένα διεπιστημονικό πεδίο, που σχετίζεται με τομείς όπως η ανάκτηση πληροφοριών, η μηχανική μάθηση, η στατιστική, η υπολογιστική γλωσσολογία και ιδιαίτερα η εξόρυξη δεδομένων. Θα περιγραφούν τα κύρια καθήκοντα ανάλυσης, προ-επεξεργασίας, ταξινόμησης, ομαδοποίησης και εξαγωγής πληροφοριών. Επιπλέον, θα παρουσιαστούν εν συντομία μια σειρά από επιτυχημένες εφαρμογές της εξόρυξης κειμένου. 2.1 Τι είναι η Εξόρυξη Κειμένου Οι τομείς της επιστήμης και της οικονομίας έχουν δημιουργήσει τεράστιες ποσότητες πληροφοριών σε κείμενο. Υπάρχουν εκτιμήσεις ότι το 85% των επιχειρηματικών πληροφοριών υπάρχουν σε μορφή κειμένου [56]. Δυστυχώς, το σύνηθες logic-based προγραμματιστικό παράδειγμα έχει μεγάλες δυσκολίες στη σύλληψη των μη ξεκάθαρων και συχνά ασαφών σχέσεων σε έγγραφα κειμένου. Η εξόρυξη κειμένου αποσκοπεί στην ανακάλυψη των κρυμμένων πληροφοριών μέσα από μεθόδους που από τη μία πλευρά, είναι σε θέση να αντιμετωπίσουν το μεγάλο αριθμό λέξεων και δομών σε φυσική γλώσσα και από την άλλη πλευρά, μπορούν να χειριστούν την ασάφεια και την αβεβαιότητα. Η εξόρυξη κειμένου αποτελείται από δύο φάσεις: τον Καθαρισμό του Κειμένου (Text refining) που μετατρέπει αρχεία κειμένων στα οποία το κείμενο είναι σε ελεύθερη μορφή, σε μια επιλεγμένη ενδιάμεση μορφή και, την Απόσταξη Γνώσης (Knowledge Σελίδα 17

26 Κεφάλαιο 2ο Εξόρυξη Κειμένου Distillation) που εξάγει τα μοτίβα ή τη γνώση από την ενδιάμεση μορφή. Η Ενδιάμεση Μορφή (Intermediate Form, IF) μπορεί να είναι ημι-δομημένη όπως η εννοιολογική γραφική απεικόνιση, ή δομημένη όπως η σχεσιακή αναπαράσταση δεδομένων. Η ενδιάμεση μορφή μπορεί να είναι document-based όπου κάθε οντότητα αντιπροσωπεύει ένα έγγραφο, ή concept-based [129], όπου κάθε οντότητα αναπαριστά ένα αντικείμενο ή μια έννοια ενδιαφέροντος σε ένα συγκεκριμένο τομέα. Η εξόρυξη σε μία document-based ενδιάμεση μορφή εξάγει τα μοτίβα και τις σχέσεις σε όλα τα έγγραφα. Η ομαδοποίηση / οπτικοποίηση εγγράφων και η κατηγοριοποίηση είναι παραδείγματα εξόρυξης από μία document-based ενδιάμεση μορφή. Η εξόρυξη σε μια concept-based ενδιάμεση μορφή εξάγει τα μοτίβα και τις σχέσεις μεταξύ όλων των αντικειμένων ή των εννοιών. Οι εργασίες εξόρυξης δεδομένων, όπως η Προγνωστική Μοντελοποίηση (Predictive Modeling) και η Ανακάλυψη Συσχετισμών (Associative Discovery), εμπίπτουν στην κατηγορία αυτή. Μία document-based ενδιάμεση μορφή μπορεί να αλλάξει σε μία concept-based ενδιάμεση μορφή μέσα από επαναπροσαρμογή ή εξαγωγή των σχετικών πληροφοριών σύμφωνα με τα αντικείμενα ενδιαφέροντος σε ένα συγκεκριμένο τομέα. Επομένως, μία documentbased ενδιάμεση μορφή είναι, συνήθως, ανεξάρτητη του τομέα και η concept-based ενδιάμεση μορφή είναι εξαρτώμενη από τον τομέα. Για παράδειγμα, δεδομένης μιας σειράς από άρθρα ειδήσεων, ο καθαρισμός του κειμένου μετατρέπει πρώτα κάθε έγγραφο σε μία document-based ενδιάμεση μορφή [23]. Κάποιος μπορεί στη συνέχεια, να εκτελέσει την εξαγωγή της γνώσης σχετικά με την document-based ενδιάμεση μορφή, με σκοπό την οργάνωση των αντικειμένων, ανάλογα με το περιεχόμενό τους, ούτως ώστε να γίνει καλύτερη οπτικοποίησή τους και να διευκολυνθεί η πλοήγηση σε αυτά. Για την ανακάλυψη της γνώσης σε ένα συγκεκριμένο τομέα, μία document-based ενδιάμεση μορφή από άρθρα ειδήσεων μπορεί να προβάλλεται σε μία concept-based ενδιάμεση μορφή ανάλογα με τις απαιτήσεις της διαδικασίας. Για παράδειγμα, μπορεί κανείς να εξάγει πληροφορίες σχετικές με την έννοια "εταιρεία" από την document-based ενδιάμεση μορφή και να δημιουργήσει μία βάση δεδομένων της εταιρείας. Η εξαγωγή γνώσης μπορεί στη συνέχεια να πραγματοποιηθεί στη βάση δεδομένων της εταιρείας (company-based ενδιάμεση μορφή) για να αντληθεί γνώση σχετικά με την εταιρεία. Σελίδα 18

27 Κεφάλαιο 2ο Εξόρυξη Κειμένου Κείμενο Καθαρισμός κειμένου Document-based ενδιάμεση μορφή Concept-based ενδιάμεση μορφή Απόσταξη Γνώσης Clustering Κατηγοριοποίηση Visualization. Predictive Modeling Associative Discovery Visualization. Σχήμα Μία δομή Εξόρυξης Κειμένου. Ο καθαρισμός του κειμένου μετατρέπει τα μη δομημένα έγγραφα κειμένου σε μία ενδιάμεση μορφή (intermediate form). Η μορφή αυτή μπορεί να είναι document-based ή concept-based. Η Απόσταξη Γνώσης από μία document-based ενδιάμεση μορφή εξάγει τα μοτίβα και τη γνώση που υπάρχουν στα έγγραφα. Μία document-based ενδιάμεση μορφή μπορεί να μετατραπεί σε concept-based ενδιάμεση μορφή εξάγοντας τις πληροφορίες που σχετίζονται με έναν τομέα. Η Απόσταξη Γνώσης εξάγει μοτίβα ή γνώση από μία concept-based ενδιάμεση μορφή μέσα από αντικείμενα ή έννοιες Ανακάλυψη Γνώσης Στη βιβλιογραφία μπορούν να βρεθούν διαφορετικοί ορισμοί για την Ανακάλυψη Γνώσης (Knowledge Discovery) ή την Ανακάλυψη Γνώσης σε Βάσεις Δεδομένων (Knowledge Discovery in Databases, KDD) και την εξόρυξη δεδομένων. Προκειμένου να γίνει διάκριση μεταξύ της εξόρυξης δεδομένων και της ανακάλυψης γνώσης σε βάσεις δεδομένων, η ανακάλυψη γνώσης σε βάσεις δεδομένων ορίζεται ως εξής [36]: "Η Ανακάλυψη Γνώσης σε Βάσεις Δεδομένων (KDD) είναι η μη τετριμμένη διαδικασία αναγνώρισης έγκυρων, καινούργιων, δυνητικά χρήσιμων και τελικά κατανοητών μοτίβων σε δεδομένα" Η ανάλυση των δεδομένων στην ανακάλυψη γνώσης σε βάσεις δεδομένων στοχεύει στην εξεύρεση κρυμμένων μοτίβων και των συνδέσεων σε αυτά τα δεδομένα. Με την έννοια δεδομένα, εννοείται μία ποσότητα από γεγονότα, τα οποία μπορεί να είναι, για παράδειγμα, δεδομένα σε μία βάση δεδομένων αλλά επίσης και, δεδομένα σε ένα απλό αρχείο κειμένου. Χαρακτηριστικά που μπορεί να χρησιμοποιηθούν για τη Σελίδα 19

28 Κεφάλαιο 2ο Εξόρυξη Κειμένου μέτρηση της ποιότητας των μοτίβων που βρέθηκαν στα δεδομένα είναι η δυνατότητα κατανόησης από τον άνθρωπο, η καινοτομία και η χρησιμότητα. Επιπλέον, οι διαφορετικές μέθοδοι είναι σε θέση να ανακαλύψουν όχι μόνο τα νέα μοτίβα, αλλά και, ταυτόχρονα, να παράγουν γενικευμένα μοντέλα που αντιπροσωπεύουν τις διαπιστωθείσες συνδέσεις. Σε αυτό το πλαίσιο, η έκφραση «εν δυνάμει χρήσιμα» σημαίνει ότι τα δείγματα που θα βρεθούν για μια εφαρμογή δημιουργούν ένα όφελος για τον χρήστη. Έτσι, ο ορισμός συνδέει την ανακάλυψη γνώσης με μία συγκεκριμένη εφαρμογή. Η ανακάλυψη γνώσης σε βάσεις δεδομένων είναι μία διαδικασία που ορίζεται από διάφορα στάδια επεξεργασίας, τα οποία πρέπει να εφαρμόζονται σε ένα σύνολο δεδομένων ενδιαφέροντος, προκειμένου να εξαχθούν χρήσιμα μοτίβα. Αυτά τα βήματα πρέπει να εκτελούνται επαναληπτικά και αρκετά βήματα απαιτούν συνήθως διαδραστική ανατροφοδότηση από έναν χρήστη. Όπως ορίζεται από το μοντέλο του CRoss Industry Standard Process for Data Mining (Crisp DM1 1 ) τα βασικά βήματα είναι τα εξής: 1. Κατανόηση του εγχειρήματος 2, 2. Κατανόηση των δεδομένων, 3. Προετοιμασία των δεδομένων, 4. Μοντελοποίηση, 5. Αξιολόγηση, 6. Εφαρμογή. Εκτός από το αρχικό πρόβλημα της ανάλυσης και κατανόησης του συνολικού έργου (τα δύο πρώτα στάδια) ένα από τα πιο χρονοβόρα στάδια είναι η προετοιμασία των δεδομένων. Αυτό είναι ιδιαίτερα ενδιαφέρον για την εξόρυξη κειμένου, όπου χρειάζονται ειδικές μέθοδοι προ-επεξεργασίας για τη μετατροπή των δεδομένων 1 Cross industry standard process for data mining. crisp-dm.org/, Η κατανόηση του εγχειρήματος, θα μπορούσε να οριστεί ως η κατανόηση του προβλήματος που πρέπει να λυθεί. Στο πλαίσιο της εξόρυξης κειμένου, για παράδειγμα, μπορεί να είναι η αναζήτηση γι ομάδες παρόμοιων εγγράφων σε μια δεδομένη συλλογή εγγράφων. Σελίδα 20

29 Κεφάλαιο 2ο Εξόρυξη Κειμένου κειμένου σε μία μορφή που είναι κατάλληλη για αλγορίθμους εξόρυξης δεδομένων. Η εφαρμογή των αλγορίθμων εξόρυξης δεδομένων στο στάδιο της μοντελοποίησης, η αξιολόγηση του ληφθέντος μοντέλου και η εγκατάσταση της εφαρμογής (εάν είναι απαραίτητο) κλείνουν τον κύκλο της διαδικασίας. Εδώ το βήμα της μοντελοποίησης είναι το κύριο ενδιαφέρον, καθώς η εξόρυξη κειμένου, συχνά, απαιτεί την ανάπτυξη νέων ή την προσαρμογή των υφιστάμενων αλγορίθμων Εξόρυξη Δεδομένων, Μηχανική Μάθηση και Στατιστική Μάθηση Η έρευνα στον τομέα της εξόρυξης δεδομένων και ανακάλυψης γνώσης εξακολουθεί να βρίσκεται σε κατάσταση μεγάλης κινητικότητας. Ένας δείκτης για αυτό είναι η πρόκληση σύγχυσης, ορισμένες φορές, στη χρήση των όρων. Από τη μία πλευρά, υπάρχει η εξόρυξη δεδομένων ως συνώνυμο της ανακάλυψης γνώσης σε βάσεις δεδομένων, πράγμα που σημαίνει ότι η εξόρυξη δεδομένων περιέχει όλες τις πτυχές της διαδικασίας ανακάλυψης γνώσης. Ο ορισμός αυτός συναντάται συχνά στην πράξη και, συχνά, οδηγεί σε προβλήματα για τη σαφή διάκριση των όρων. Από την άλλη πλευρά, η εξόρυξη δεδομένων θεωρείται μέρος των διαδικασιών της ανακάλυψης γνώσης σε βάσεις δεδομένων [36] και περιγράφει τη φάση μοντελοποίησης, δηλαδή την εφαρμογή των αλγορίθμων και μεθόδων για τον υπολογισμό των προτύπων ή μοντέλων που αναζητούνται. Οι ρίζες της εξόρυξης δεδομένων βρίσκονται σε πολλούς διαφορετικούς τομείς έρευνας, γεγονός το οποίο υπογραμμίζει τον διεπιστημονικό χαρακτήρα του εν λόγω τομέα. Στη συνέχεια θα γίνει μία σύντομη αναφορά στις σχέσεις τριών τομέων έρευνας: τις βάσεις δεδομένων, τη μηχανική μάθηση και τη στατιστική. Οι βάσεις δεδομένων είναι απαραίτητες προκειμένου να αναλυθούν μεγάλες ποσότητες δεδομένων αποτελεσματικά. Στο πλαίσιο αυτό, μία βάση δεδομένων αντιπροσωπεύει όχι μόνο το μέσο για τη συνεπή αποθήκευση και την πρόσβαση σε δεδομένα, αλλά κινεί το ενδιαφέρον της έρευνας, δεδομένου ότι η ανάλυση των δεδομένων με αλγορίθμους εξόρυξης δεδομένων μπορεί να υποστηρίζεται από βάσεις δεδομένων και ως εκ τούτου η χρήση της τεχνολογίας των βάσεων δεδομένων στη διαδικασία εξόρυξης δεδομένων μπορεί να είναι χρήσιμη. Μία επισκόπηση της εξόρυξης δεδομένων από τη σκοπιά της βάσης δεδομένων μπορεί να βρεθεί στο [26]. Σελίδα 21

30 Κεφάλαιο 2ο Εξόρυξη Κειμένου Η Μηχανική Μάθηση (Machine Learning, ML) είναι μία περιοχή της τεχνητής νοημοσύνης που ασχολείται με την ανάπτυξη των τεχνικών που επιτρέπουν στους υπολογιστές να "μαθαίνουν" από την ανάλυση των συνόλων δεδομένων [112]. Το επίκεντρο των περισσότερων μεθόδων μηχανικής μάθησης είναι τα συμβολικά δεδομένα. Η μηχανική μάθηση ασχολείται, επίσης, με την αλγοριθμική πολυπλοκότητα των υπολογιστικών εφαρμογών. Η στατιστική βασίζεται στα μαθηματικά και ασχολείται με την επιστήμη και την πρακτική για την ανάλυση των εμπειρικών δεδομένων. Βασίζεται στην στατιστική θεωρία, η οποία είναι ένας κλάδος των εφαρμοσμένων μαθηματικών. Μέσα στην στατιστική θεωρία, η τυχαιότητα και η αβεβαιότητα διαμορφώνονται από τη θεωρία πιθανοτήτων. Σήμερα πολλές μέθοδοι της στατιστικής χρησιμοποιούνται στον τομέα της ανακάλυψης γνώσης σε βάσεις δεδομένων Ορισμός της Εξόρυξης Κειμένου Η εξόρυξη κειμένου (Text mining) ή η ανακάλυψη γνώσης από κείμενο (Knowledge Discovery from Text, KDT) που για πρώτη φορά αναφέρεται από τους Feldman και Dagan [38] - ασχολείται με την μηχανική ανάλυση κειμένου. Χρησιμοποιεί τεχνικές από την ανάκτηση πληροφοριών, την εξαγωγή πληροφοριών, καθώς και την επεξεργασία φυσικής γλώσσας (Natural Language Processing - NLP) και τα συνδέει με τους αλγόριθμους και τις μεθόδους της ανακάλυψης γνώσης από βάσεις δεδομένων, της εξόρυξης δεδομένων, τη μηχανική μάθηση και τη στατιστική. Έτσι, κάποιος επιλέγει μια παρόμοια διαδικασία όπως με τη διαδικασία της ανακάλυψης γνώσης από βάσεις δεδομένων, σύμφωνα με την οποία τα έγγραφα κειμένου είναι στο επίκεντρο της ανάλυσης. Επομένως, προκύπτουν νέα ερωτήματα για τις μεθόδους που χρησιμοποιούνται στην εξόρυξη δεδομένων. Ένα πρόβλημα είναι ότι τώρα πρέπει να αντιμετωπιστούν τα προβλήματα των αδόμητων συνόλων δεδομένων, από τη σκοπιά της μοντελοποίησης δεδομένων. Για να γίνει αναφορά στην εξόρυξη κειμένου, θα πρέπει να γίνει αναφορά στις σχετικές περιοχές έρευνας. Εξόρυξη κειμένου = Εξαγωγή Πληροφορίας. Η πρώτη προσέγγιση υποθέτει ότι η εξόρυξη κειμένου αντιστοιχεί ουσιαστικά στην άντληση πληροφοριών ή την εξαγωγή γεγονότων από κείμενα. Σελίδα 22

31 Κεφάλαιο 2ο Εξόρυξη Κειμένου Εξόρυξη κειμένου = Εξόρυξη Δεδομένων σε κείμενο. Η εξόρυξη κειμένου μπορεί, επίσης, να οριστεί, παρόμοια με την εξόρυξη δεδομένων, ως η εφαρμογή των αλγορίθμων και των μεθόδων από τα πεδία της μηχανικής μάθησης, καθώς και των στατιστικών στοιχείων για κείμενα με στόχο την εξεύρεση χρήσιμων μοτίβων. Για το σκοπό αυτό, είναι αναγκαίο τα κείμενα να υποστούν μία προ-επεξεργασία. Πολλοί συγγραφείς χρησιμοποιούν τις μεθόδους εξαγωγής πληροφοριών, την επεξεργασία φυσικής γλώσσας ή μερικά απλά βήματα προ-επεξεργασίας για την εξαγωγή δεδομένων από κείμενα. Για τα εξαγόμενα δεδομένα μπορούν να εφαρμοστούν στη συνέχεια, αλγόριθμοι εξόρυξης δεδομένων. Εξόρυξη κειμένου = Η διαδικασία ανακάλυψης γνώσης σε βάσεις δεδομένων. Ακολουθώντας το μοντέλο της διαδικασίας ανακάλυψης γνώσης, που συχνά συναντάται στη λογοτεχνία εξόρυξης κειμένου ως μια διαδικασία με μια σειρά από επιμέρους βήματα, μεταξύ άλλων, και την εξαγωγή πληροφοριών, καθώς και τη χρήση της εξόρυξης δεδομένων ή στατιστικών διαδικασιών. Ο Hearst [53] συνοψίζει το παραπάνω κατά γενικό τρόπο, ως την εξαγωγή πληροφοριών οι οποίες δεν έχουν ακόμη ανακαλυφθεί σε μεγάλες συλλογές κειμένων Σχετικοί Τομείς Έρευνας Η τρέχουσα έρευνα στον τομέα της εξόρυξης κειμένου αντιμετωπίζει προβλήματα σχετικά με την αντιπροσώπευση του κειμένου, την ταξινόμηση, την ομαδοποίηση, την εξαγωγή πληροφοριών ή την αναζήτηση και την μοντελοποίηση των κρυφών μοτίβων. Στο πλαίσιο αυτό, η επιλογή των χαρακτηριστικών, αλλά και η επιρροή της γνώσης πάνω στον τομέα, καθώς και οι διαδικασίες που αφορούν συγκεκριμένους τομείς παίζει σημαντικό ρόλο. Ως εκ τούτου, η προσαρμογή των γνωστών αλγορίθμων εξόρυξης δεδομένων σε δεδομένα κειμένου είναι συνήθως απαραίτητη. Για να επιτευχθεί αυτό, κάποιος μπορεί να βασιστεί στην εμπειρία και τα αποτελέσματα της έρευνας στην ανάκτηση πληροφοριών, την επεξεργασία φυσικής γλώσσας και την εξαγωγή πληροφοριών. Σε όλους αυτούς τους τομείς θα εφαρμοστούν επίσης, μέθοδοι εξόρυξης δεδομένων και στατιστικών στοιχείων. Σελίδα 23