Αλγόριθμοι Εξόρυξης δεδομένων για χειρισμό πολλαπλών υποστηρίξεων και αρνητικών συσχετίσεων

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ Η/Υ ΚΑΙ ΠΛΗΡΟΦΟΡΙΚΗΣ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ : «ΕΠΙΣΤΗΜΗ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑ ΥΠΟΛΟΓΙΣΤΩΝ» ΤΙΤΛΟΣ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ : Αλγόριθμοι Εξόρυξης δεδομένων για χειρισμό πολλαπλών υποστηρίξεων και αρνητικών συσχετίσεων ΕΠΙΒΛΕΠΩΝ ΚΑΘΗΓΗΤΗΣ ΜΑΚΡΗΣ ΧΡΗΣΤΟΣ ΜΕΤΑΠΤΥΧΙΑΚΟΣ ΦΟΙΤΗΤΗΣ ΓΟΥΡΔΟΥΛΗΣ ΙΩΑΝΝΗΣ ΠΡΟΔΡΟΜΟΣ (Α.Μ. 449)

2 Εισαγωγή... 4 Εισαγωγή στην Διαδικασία Εξόρυξης γνώσης... 4 Εξόρυξη συχνών προτύπων... 5 Αποδοτικές μέθοδοι εύρεσης συχνών προτύπων... 6 Αρχή και αλγόριθμος Apriori... 6 Εξόρυξη συχνών προτύπων χωρίς την παραγωγή υποψήφιων συνόλων... 7 Εξόρυξη συχνών προτύπων με «κάθετη χρήση» δεδομένων... 7 Κατηγορίες δεδομένων προς εξόρυξη... 7 Εξόρυξη πολυδιάστατων δεδομένων ή δεδομένων πολλαπλών επιπέδων... 7 Εξόρυξη κλειστών και maximal προτύπων... 8 Εξόρυξη τεράστιων πολυδιάστατων συνόλων και προτύπων κολοσσιαίου μήκους... 9 Εξόρυξη ακολουθιακών προτύπων... 9 Εξόρυξη προτύπων δομών δεδομένων (γράφων,δέντρων) Εξόρυξη «χρήσιμων» συχνών προτύπων Επίδραση συχνών προτύπων στην ανάλυση δεδομένων Κατηγοριοποίηση μέσω συχνών προτύπων Συσταδοποίηση (clustering) μέσω συχνών προτύπων Κεφάλαιο Εξόρυξη προτύπων μέσα από βάσεις δεδομένων: Βασικές αρχές- Αλγόριθμοι Εισαγωγή Ορισμός του προβλήματος Ανίχνευση συχνών συνόλων αντικειμένων Ο αλγόριθμος apriori Αρχή Apriori Παραγωγή Υποψηφίων συχνών συνόλων Κεφάλαιο Υλοποίηση του αλγόριθμου apriori βασισμένη στη δομή trie Εισαγωγή Αναπαράσταση δομής δεδομένων με την μορφή TRIE Η μορφή trie για τον apriori αλγόριθμο Στρατηγικές δρομολόγησης στην δομή Trie Παραγωγή υποψήφιων συνόλων Παράβλεψη υποστήριξης υπερσυνόλων Επιλογές μνήμης Κεφάλαιο Εξόρυξη δεδομένων χωρίς παραγωγή υποψήφιων συχνών συνόλων (Προσέγγιση εύρεσης προτύπων μέσω δενδρικών δομών ) Εισαγωγή Σχεδίαση και κατασκευή fp-tree Frequent pattern tree Έλεγχος πληρότητας της συμπαγής δομής FP tree Εξόρυξη συχνών προτύπων με χρήση του Fp tree Βασικές Αρχές για τον Fp Growth αλγόριθμο Βελτιωμένες τεχνικές Fp Growth αλγορίθμου Αλγόριθμος Fp Growth για single prefix fp tree Αποκλιμάκωση (σπάσιμο) του Fp tree μέσω της μεθόδου database projection Αποδοτική χρήση προθεματικών δέντρων στην εξόρυξη συχνών προτύπων Ανίχνευση απλών συχνών προτύπων (FI) Παραλλαγή με χρήση τεχνικής πινάκων Συμπεράσματα και βελτιωμένος αλγόριθμος fp growth Ανίχνευση maximal συχνών προτύπων (MFI) Η δομή MFI tree Αλγόριθμος ανίχνευσης maximal συχνών προτύπων (FPmax) Υλοποίηση της συνάρτησης subset Βελτιώσεις και συμπεράσματα Ανίχνευση κλειστών συχνών προτύπων (CFI) Η δομή CFI tree και ο αλγόριθμος FPclose Αποτελέσματα και πειραματικές μετρήσεις Εξόρυξη απλών συχνών προτύπων (FI) Εξόρυξη maximal συχνών προτύπων

3 Εξόρυξη κλειστών συχνών προτύπων Κεφάλαιο Υλοποίηση του FP Growth Algorithm Εισαγωγή Προεπεξεργασία Κατασκευή του αρχικού Fp tree Κατασκευή των επιμέρους conditional fp tree Πειραματική αξιολόγηση και αποδοτικότητα Έλεγχος πόσο συμπαγής είναι η δομή Fp tree Σύγκριση FP Growth Apriori Κεφάλαιο Εξόρυξη προτύπων με χρήση πολλαπλών ελάχιστων υποστηρίξεων Εισαγωγή Εναλλακτικό μοντέλο πολλαπλών υποστηρίξεων Εξόρυξη συχνών προτύπων μέσω MIS Αλγόριθμος εξόρυξης προτύπων με χρήση MIS Εφαρμογή FP-Growth αλγορίθμου στο Multiple Minimum Supports Βελτιωμένη Εφαρμογή FP-Growth αλγορίθμου στο Multiple Minimum Supports Παράμετροι υλοποίησης των αλγορίθμων Fp-Growth for MMS Προεπεξεργασία Εύρεση frequent item sets Κεφάλαιο Εξόρυξη θετικών και αρνητικών κανόνων συσχέτισης Κανόνες συσχέτισης Είδη κανόνων συσχέτισης Μεθοδολογία ανακάλυψης κανόνων συσχέτισης Συντελεστής συσχέτισης (Correlation Coefficient) Υπολογισμός του correlation coefficient Εύρος τιμών correlation coefficient Αλγόριθμος εύρεσης κανόνων συσχέτισης Κεφάλαιο Επεκτάσεις Εφαρμογές μεθόδων εξόρυξης Εισαγωγή Το πρόβλημα την διατήρησης της σειράς των αντικειμένων Εφαρμογή fp growth σε εξόρυξη προτύπων με διατήρηση της σειράς Κατασκευή του γράφου των συναλλαγών Κατασκευή των conditional γράφων Αλγόριθμος Fp Growth εξόρυξης προτύπων με διατήρηση σειράς αντικειμένων Διαφορές και πλεονεκτήματα fp γράφου σε σχέση με το fp tree Συμπεράσματα Εφαρμογές μεθόδων εξόρυξης Δεικτοδότηση και ανίχνευση ομοιοτήτων σε πολύπλοκα δομημένα δεδομένα Εξόρυξη πολυμεσικών δεδομένων Εξόρυξη ροών δεδομένων (data streams) Εξόρυξη προτύπων web Εξόρυξη προγραμματιστικών λαθών Σκέψεις για μελλοντικές επεκτάσεις Βιβλιογραφία Αναφορές ΠΑΡΑΡΤΗΜΑ Προεπεξεργασία Αλγόριθμος Fp-Growth Βελτιωμένος αλγόριθμος Fp-Growth Αλγόριθμος FP-Growth εύρεσης κανόνων (θετικών & αρνητικών) με χρήση correlation coefficient

4 Εισαγωγή Εισαγωγή στην Διαδικασία Εξόρυξης γνώσης Η εξόρυξη γνώσης από μεγάλες αποθήκες δεδομένων είναι πλέον ένα από τα βασικά ερευνητικά πεδία που απασχολεί σημαντικούς τομείς όπως είναι οι βάσεις δεδομένων και η στατιστική. Η αποδοτική διαχείριση μεγάλων βάσεων δεδομένων αποτελεί πλέον επιτακτική ανάγκη. Αυτό γιατί το μέγεθος της πληροφορίας είναι τόσο μεγάλο που η επεξεργασία της στο σύνολο της είναι πλέον ανέφικτη. Ο τεράστιος όγκος πληροφορίας μας οδήγησε λοιπόν στην ανάγκη για φιλτράρισμά της έτσι ώστε να εξαχθεί η λεγόμενη «χρήσιμη γνώση». Πρόκειται για ένα υποσύνολο της συνολικής πληροφορίας μας, το οποίο όμως μας βοηθά να εξάγουμε σημαντικά συμπεράσματα για την συμπεριφορά ολόκληρης της βάσης δεδομένων. Η ανακάλυψη γνώσης από βάσεις δεδομένων αναφέρεται στην διεργασία εξόρυξης γνώσης από μεγάλες αποθήκες δεδομένων. Ο όρος εξόρυξη δεδομένων (data mining) χρησιμοποιείται ως συνώνυμο της ανακάλυψης γνώσης από βάσεις δεδομένων αλλά κυρίως για αναφορά στις πραγματικές τεχνικές που χρησιμοποιούνται για την ανάλυση και την εξαγωγή της από διάφορα σύνολα δεδομένων. Χαρακτηρίζει την διαδικασία της εύρεσης των δομών γνώσης οι οποίες περιγράφουν με ακρίβεια μεγάλα σύνολα πρωτογενών δεδομένων. Οι δομές αυτές αναδεικνύουν γνώση (συσχετίσεις ή κανόνες) που είναι κρυμμένη μέσα στα δεδομένα και δεν μπορούν να εξαχθούν από την βάση με ένα απλό περάσμά της από την αρχή μέχρι το τέλος. Μέχρι τώρα λοιπόν αναφέραμε δύο όρους- την εξόρυξη γνώσης και την εξόρυξη δεδομένων - που με μια πρώτη ματιά είναι ταυτόσημοι. Μια πιο προσεκτική ματιά καταδεικνύει ότι δεν είναι έτσι τα πράγματα. Η εξόρυξη γνώσης από μια βάση δεδομένων αναφέρεται σε ολόκληρη την διαδικασία ανακάλυψης χρήσιμης πληροφορίας από μεγάλα σύνολα δεδομένων. Είναι μια επαναληπτική διαδικασία που αποτελείται από τα ακόλουθα βήματα[1]. Ανάπτυξη και κατανόηση της περιοχής της εφαρμογής, της προγενέστερης γνώσης του προς εξέταση τομέα καθώς και των στόχων του τελικού χρήστη. Ολοκλήρωση των δεδομένων. Εξετάζεται ο βαθμός «πολύπλεξης» πολλαπλών πηγών δεδομένων ώστε η όποια διαδικασία να εφαρμοστεί στον συνδυασμό τους. Δημιουργία στόχου συνόλου δεδομένων. Επιλογή του συνόλου στο οποίο θα εφαρμοστεί η διαδικασία εξόρυξης Καθαρισμός και προεπεξεργασία δεδομένων. Εδώ αναφερόμαστε κυρίως στην αφαίρεση του θορύβου που περιέχουν τα δεδομένα (όποια μορφή και να έχει). Μετασχηματισμός των δεδομένων. Οι αλλαγές που μπορούν να υποστούν τα δεδομένα για να εφαρμόσουμε τις τεχνικές μας πιο εύκολα. Επιλογή των στόχων και των αλγορίθμων εξόρυξης δεδομένων Εξόρυξη δεδομένων. Εφαρμογή μεθόδων και αλγορίθμων με στόχο την ανακάλυψη προτύπων γνώσης. Τα πρότυπα θα μπορούσαν να περιγραφούν από ένα σύνολο από διεργασίες με κυριότερες τις εξής: 4

5 o o o o o Κατηγοριοποίηση, όπου κάθε νέο αντικείμενο εντάσσεται, με βάση τα χαρακτηριστικά του, σε μια από τις προκαθορισμένες κατηγορίες. Συσταδοποίηση, όπου γίνεται καταμερισμός των αντικειμένων σε ομάδες ανάλογα με τις ομοιότητες τους. Η διαφορά εδώ είναι ότι δεν υπάρχουν έτοιμες κατηγορίες. Κανόνες συσχέτισης, όπου ανακαλύπτονται συσχετίσεις μεταξύ των γνωρισμάτων ενός συνόλου δεδομένων. Πρότυπα ακολουθιών, τα οποία ομοιάζουν πολύ με τους κανόνες συσχέτισης με την προσθήκη όμως της παραμέτρου του χρόνου. Παλινδρόμηση, η οποία αναφέρεται στην εκμάθηση μιας λειτουργίας που εκχωρεί τα δεδομένα σε μια μεταβλητή πρόβλεψης, η οποία παίρνει πραγματικές τιμές. Αξιολόγηση των προτύπων. Διαδικασία «απομόνωσης» των πραγματικά χρήσιμων προτύπων Παρουσίαση της γνώσης. Βλέπουμε λοιπόν ότι η εξόρυξη δεδομένων αποτελεί ένα βήμα της εξόρυξης γνώσης το οποίο είναι στις περισσότερες περιπτώσεις και ο βασικός κορμός όλης της παραπάνω διαδικασίας. Οι αλγόριθμοι που χρησιμοποιούνται σε αυτό το βήμα έχουν σχεδιαστεί με εστίαση στην εξελιξιμότητα τους όσον αφορά το μέγεθος του συνόλου δεδομένων εισαγωγής. Μπορούν να αναλυθούν ως σύνθεση των παρακάτω συστατικών: Περιγραφή του μοντέλου. Καθορισμός των βασικών στόχων της διαδικασίας εξόρυξης (π.χ. classification or clustering), και απόφαση τρόπου απεικόνισης του μοντέλου. Αξιολόγηση του μοντέλου. Εξετάζεται η εγκυρότητα των προτύπων και η αξιολόγηση της ακρίβειας και της χρησιμότητας του μοντέλου. Αλγόριθμοι αναζήτησης. Υπάρχουν δύο είδη αλγορίθμων: o o Αυτοί που αναζητούν παραμέτρους βελτιστοποίησης κριτηρίων αξιολόγησης του μοντέλου. Αυτοί που αναζητούν μοντέλα Εξόρυξη συχνών προτύπων Με τον όρο συχνά πρότυπα μπορεί να αναφερόμαστε είτε σε σύνολα από αντικείμενα (itemsets), είτε σε ακολουθίες (sequences), είτε σε δομές (structures), οι οποίες κάνουν την εμφάνισή τους μέσα σε μια βάση δεδομένων με συχνότητα μεγαλύτερη από μια προκαθορισμένη τιμή. Ένα σύνολο από αντικείμενα - για παράδειγμα γάλα, ψωμί, νερό- είναι συχνό όταν εμφανίζονται πολλές φορές μαζί σε μια βάση αγορών, χωρίς να μας απασχολεί η σειρά με την οποία θα αγοραστούν τα προϊόντα. Αντιθέτως όταν δεν μας ενδιαφέρει η ταυτόχρονη αγορά τους αλλά και η χρονολογική σειρά με την οποία αγοράστηκαν τότε μιλάμε για ακολουθία. Τέλος όταν αναφερόμαστε σε δομή, αυτή μπορεί να είναι είτε δέντρο είτε γράφος. Αποκτά δε την ιδιότητα του συχνού όταν εμφανίζεται τουλάχιστον ένα συγκεκριμένο αριθμό φορών ως κομμάτι μιας ευρύτερης δομής. 5

6 Γενικά η εύρεση συχνών προτύπων παίζει εξέχοντα ρόλο σε εργασίες όπως η δεικτοδότηση αντικειμένων, η κατηγοριοποίηση τους και ο καταμερισμός τους. Αυτό οδήγησε στην ανάπτυξη της έρευνας σχετικά με την εξόρυξη προτύπων. Μια πρώτη σημαντική εργασία προτάθηκε από τον Agrawal (1993) [2] όπου γίνεται προσέγγιση μέσα από την έρευνα αγορών. Η ανάλυση των αγοραστικών συνηθειών των πελατών αναδεικνύει συσχετίσεις μεταξύ των αντικειμένων που οδηγούν στα συχνά πρότυπα. Αποδοτικές μέθοδοι εύρεσης συχνών προτύπων Στην ενότητα αυτή θα αναφερθούμε περιληπτικά σε μεθόδους αναζήτησης συχνών προτύπων τις οποίες θα αναλύσουμε σε βάθος στα επόμενα κεφάλαια. Προτού κάνουμε την αναφορά θα παραθέσουμε πολύ γενικά το πρόβλημα έτσι όπως τίθεται στην εργασία Agrawal et al. (1993) [2] για βάσεις συναλλαγών. Έστω λοιπόν Ι = ι 1,ι 2,ι 3..,ι m το σύνολο που περιέχει όλα τα αντικείμενα (items) και Κ-σύνολο αντικειμένων ένα σύνολο που αποτελείται από κ αντικείμενα πάντα μέσα από το Ι. Τότε ανιχνεύουμε αν το κ-σύνολο είναι συχνό ή όχι. Αυτό συμβαίνει όταν εμφανίζεται στην βάση συναλλαγών τουλάχιστον θ D φορές όπου θ είναι ένα ελάχιστη τιμή που έχουμε θέσει και D είναι ο συνολικός αριθμός των συναλλαγών εγγραφών μέσα στην βάση δεδομένων. Αρχή και αλγόριθμος Apriori Με την παραδοχή ότι συνήθως έχουμε να κάνουμε με τεράστιες βάσεις δεδομένων, οι οποίες περιέχουν μεγάλο αριθμό από διακριτά αντικείμενα οδηγούμαστε στο συμπέρασμα ότι και τα τυχόν σύνολα που απαρτίζονται από τα αντικείμενα αυτά είναι επίσης μεγάλα. Για την αποδοτική επίλυση του προβλήματος μας λοιπόν, Agrawal & Srikant (1994) [3] βασίστηκαν σε μια αρχή που ονομάστηκε Apriori ή περιγραφικά αρχή της προς τα κάτω κλειστότητας. Σύμφωνα με αυτή «Ένα κ-σύνολο είναι συχνό μόνο αν όλα τα υποσύνολα του είναι επίσης συχνά» Αυτή η ιδιότητα οδηγεί στην επίλυση του προβλήματος ξεκινώντας από κάτω, δηλαδή από τα συχνά σύνολα ενός αντικειμένου. Με αυτά ως βάση κατασκευάζουμε τα συχνά σύνολα 2 αντικειμένων, μετά 3 κ.ο.κ. μέχρι να μην μπορούμε να πέσουμε πάνω σε κ-σύνολα που δεν είναι συχνά. Τότε η επαναληπτική διαδικασία σταματά. Από την διατύπωση του Apriori και μετά εμφανίστηκαν αρκετές παραλλαγές που βελτιώσεις πάνω στον αλγόριθμο όπως είναι οι τεχνικές hashing (Park et al 1995) [4], τεχνικές partitioning (Savasere et. al. 1995) [5], τεχνικές δειγματοληψίας (Toivonen 1996) [6], σταδιακή εξόρυξη (incremental mining, Cheung et. al. 1996) [7] και παράλληλη κατανεμημένη εξόρυξη (parallel and distributing mining, Park et.al. 1995, Agrawal and Shafer 1996, Cheung et. al. 1996, Zaki et. al. 1997) [8,9,10,11]. Γενικά οι βελτιώσεις που έγιναν στόχευαν πάντα στον ολοένα και μικρότερο αριθμό περασμάτων της βάσης δεδομένων που όπως θα δούμε είναι το μεγάλο μειονέκτημα του Apriori. 6

7 Εξόρυξη συχνών προτύπων χωρίς την παραγωγή υποψήφιων συνόλων Μια διαφορετική προσέγγιση του προβλήματος είναι η μέθοδος FP-Growth που ανήκει στην κατηγορία διαίρει και βασίλευε. Αυτό γιατί σπάει το πρόβλημα σε μικρότερα υπο προβλήματα με την ίδια ακριβώς δομή το καθένα. Η λογική του Fp-growth βασίζεται στην αποδοτική αποθήκευση των εγγραφών της βάσης δεδομένων σε μια δενδρική δομή που ονομάζεται Fp-tree. Η αποδοτικότητα της δομής έγκειται στο πόσο συμπαγής είναι. Αυτό εξαρτάται από τον βαθμό της επικάλυψης των συναλλαγών που έχουν κοινά αντικείμενα. Όσο πιο μεγάλη είναι η επικάλυψη τόσο μεγαλύτερη είναι συμπίεση των δεδομένων μέσα στο fp-tree. Από την κατασκευή του δέντρου και μετά «σπάει» το πρόβλημα, απομονώνοντας το κομμάτι της δομής που καταλήγει σε συγκεκριμένα φύλλα- αντικείμενα. Η διαδικασία αυτή γίνεται επαναληπτικά και τα συχνά πρότυπα προκύπτουν από την συγχώνευση των καταλήξεων των επιμέρους δενδρικών δομών. Και ο αλγόριθμος fp-growth από την διατύπωση του και μετά υπήρξε αντικείμενο μελέτης επεκτάσεων και βελτιώσεων. Κάποιες από αυτές είναι η παραγωγή συχνών προτύπων σε βάθος (Agrawal et. al. 2001) [12], τεχνικές διαπέρασης του δέντρου από κάτω προς τα πάνω και το αντίστροφο (Liu et. al. 2002) [13] και μια υλοποίηση προθεματικής δομής αποθήκευσης με βάση τεχνικές πινάκων (Grahne and Zhu 2003) [14], την οποία και θα αναλύσουμε σε ξεχωριστό κεφάλαιο. Εξόρυξη συχνών προτύπων με «κάθετη χρήση» δεδομένων Οι τεχνικές που είδαμε (Apriori, Fp growth) χρησιμοποιούν τις συναλλαγές της βάσης σε «οριζόντια» μορφή. Αυτό σημαίνει ότι κάθε συναλλαγή αναπαρίσταται ως TID:itemset όπου TID είναι η μονοσήμαντη ταυτότητα της συναλλαγής μέσα στη βάση. Μια εναλλακτική αναπαράσταση των δεδομένων είναι η «κάθετη» μορφή. Στην περίπτωση αυτή έχουμε item:tid_set όπου για κάθε αντικείμενο έχουμε το σύνολο των αναγνωριστικών των συναλλαγών στις οποίες συμμετέχει το αντικείμενο. Ένας προτεινόμενος αλγόριθμος της κατηγορίας αυτής είναι ο Eclat (Equivalence CLASS Transformation, Zaki 2000) [15]. Χρησιμοποιείται η αρχή apriori. Αυτό σημαίνει ότι γίνεται σταδιακός έλεγχος των συνόλων. Αυτό σημαίνει ότι τα κ+1 σύνολα προκύπτουν από τα κ σύνολα. Ο υπολογισμός των TID_set γίνεται μέσα από την τομή των TID_sets των κ-συνόλων. Στις τεχνικές κάθετης χρήσης δεδομένων εκτός των πλεονεκτημάτων της εφαρμογής της αρχής apriori, υπάρχει επιπλέον και το προτέρημα της αποφυγής ανίχνευσης της βάσης δεδομένων ώστε να βρούμε τον αριθμό εμφανίσεων του κ+1- συνόλου. Την πληροφορία αυτή μας την παρέχει το TID_set. Κατηγορίες δεδομένων προς εξόρυξη Εξόρυξη πολυδιάστατων δεδομένων ή δεδομένων πολλαπλών επιπέδων Η ανίχνευση προτύπων όταν τα δεδομένα είναι στην απλή μορφή, είναι μια διαδικασία που καλύπτεται από την μεθοδολογία που αναπτύξαμε παραπάνω. 7

8 Τα πράγματα αρχίζουν να περιπλέκονται όταν τα δεδομένα της βάσης που έχουμε να επεξεργαστούμε εκτείνονται σε περισσότερες από μία διαστάσεις ή επίπεδα. Στην περίπτωση αυτή και η εξόρυξη είτε προτύπων είτε κανόνων συσχέτισης πρέπει να λαμβάνει υπόψη τα διαφορετικά επίπεδα. Η πρώτη παρατήρηση λοιπόν που γίνεται είναι η δυσκολία εύρεσης κανόνων προτύπων στα πιο κάτω επίπεδα όπου οι σχέσεις μεταξύ δεδομένων δεν είναι τόσο ισχυρές. Από την άλλη η ανίχνευση στα τελευταία επίπεδα περιμένουμε να μας δώσει ισχυρότερους και περισσότερους κανόνες συσχέτισης λόγω της συνεκτικότητας των αντικειμένων. Μια δεύτερη παρατήρηση είναι τα κριτήρια που θα πρέπει να ληφθούν υπόψη κατά την εξόρυξη. Ειδάμε παραπάνω ότι το κριτήριο μας είναι ο αριθμός των εμφανίσεων θα πρέπει να είναι μεγαλύτερος από κάποια ελάχιστη τιμή που θέτουμε. Το ερώτημα που τίθεται λοιπόν είναι αν το κατώφλι αυτό θα είναι ίδιο για όλα τα επίπεδα. Μια στρατηγική που ακολουθείται θέλει την χρήση ενός κατωφλίου και εξόρυξη κανόνων στα τελευταία και πιο ισχυρά επίπεδα. Στην συνέχεια εκμεταλλευόμενοι την ιεραρχία των δεδομένων γίνεται εξόρυξη στα πιο κάτω επίπεδα μόνο των συνόλων τα οποία αντιστοιχούν σε συχνά πρότυπα στα τελευταία επίπεδα (Srikant and Agrawal 1995) [16]. Μια δεύτερη στρατηγική είναι η χρήση διαφορετικού κατωφλίου για κάθε επίπεδο ή αντίστοιχα για κάθε διάσταση. Σε αυτή την περίπτωση η εξόρυξη γίνεται ανεξάρτητα για κάθε επίπεδο. Όπως είναι φυσικό το κατώφλι που χρησιμοποιούμε ανεβαίνοντας επίπεδα θα γίνεται ολοένα και πιο αυστηρό δηλαδή μεγαλύτερο. Εξόρυξη κλειστών και maximal προτύπων Η ανίχνευση συχνών προτύπων μπορεί να οδηγήσει σε ένα τεράστιο αριθμό προτύπων ο οποίος μάλιστα μεγαλώνει εκθετικά όσο κατεβάζουμε το κατώφλι εμφάνισης. Αυτό μπορεί να αποτελέσει πρόβλημα εφόσον τα πρότυπα που ανιχνεύονται δεν έχουν να προσδώσουν κάποια καινούρια πληροφορία όσον αφορά την σχέση των αντικειμένων. Για να περιγράψουμε καλύτερα τι εννοούμε με βάση την αρχή της προς τα κάτω κλειστότητας για κάθε πρότυπο που ανιχνεύουμε ως συχνό και μάλιστα με μεγάλο μήκος υπάρχει ένας εκθετικός αριθμός από υποσύνολα που είναι επίσης συχνά. Η βασική πληροφορία της σχέσης των αντικειμένων όμως μπορεί να περιγραφεί από το αρχικό πρότυπο χωρίς να χρειάζεται να σπαταλήσουμε χρόνο στην ανίχνευση των υποσυνόλων. Για το λόγο αυτό παρατίθενται οι έννοιες των κλειστών και των maximal προτύπων τα οποία και θα ανιχνεύονται. Ένα πρότυπο α είναι κλειστό συχνό πρότυπο σε μία βάση D εάν το α είναι συχνό και δεν υπάρχει υπερσύνολο αυτού β το οποίο να έχει τον ίδιο αριθμό εμφανίσεων με το α μέσα στην βάση D. Ένα πρότυπο α είναι maximal συχνό πρότυπο σε μια βάση D εάν το α είναι συχνό και δεν υπάρχει υπερσύνολο αυτού β που να είναι συχνό. Ο συνδυασμός των κλειστών με τα maximal συχνά πρότυπα μας δίνει την συνολική εικόνα πληροφορία για τα συχνά πρότυπα που υπάρχουν μέσα στην βάση D. Ο στόχος λοιπόν είναι να ελέγξουμε κατά πόσο ένα πρότυπο είναι κλειστό (maximal). Αυτό επιτυγχάνεται με δύο προσεγγίσεις: Στην πρώτη κρατάμε την λίστα των αναγνωριστικών TID ενός προτύπου. Στην ουσία δηλαδή κρατάμε μια λίστα με τις συναλλαγές της βάσης στις οποίες περιέχεται το πρότυπο. Έτσι μπορούμε να δεικτοδοτήσουμε το πρότυπο ανά πάσα στιγμή με τεχνικές hashing στην λίστα των αναγνωριστικών (αλγόριθμος CHARM, Zaki and Hsiao 2002) [17]. Στην δεύτερη προσέγγιση διατηρούμε τα πρότυπα που ανιχνεύσαμε σε μια δενδρική μορφή παρόμοια με το FP tree. 8

9 Εξόρυξη τεράστιων πολυδιάστατων συνόλων και προτύπων κολοσσιαίου μήκους Η ανάπτυξη των επιστημών έχει κάνει επιτακτική την ανάγκη για επεξεργασία δεδομένων που ξεφεύγουν από τα συνηθισμένα μεγέθη. Παράδειγμα αυτού αποτελεί η βιοπληροφορική όπου η μελέτη της συμπεριφοράς των γονιδίων αλλά και η έρευνα για τις διάφορες μορφές καρκίνου καταλήγουν σε δεκάδες ή και εκατοντάδες ακολουθίες πολυδιάστατων δεδομένων. Αν φανταστούμε λοιπόν έναν πίνακα δεδομένων όπου οι στήλες αποτελούν τα γονίδια (μιλάμε για μεγέθη από έως και ) και οι γραμμές αποτελούν τα δείγματα μιλάμε για έναν πρωτόγνωρο όγκο στοιχείων όπου η ανάγκη για ανίχνευση κλειστών συχνών προτύπων κρίνεται εντελώς απαραίτητη. Οι αλγόριθμοι εξόρυξης που έχουν υλοποιηθεί (CARPENTER Pan et. al. 2003, TD_Close Liu et. al. 2006) [18,19] αντιμετωπίζουν την κατάσταση μετατρέποντας τα δεδομένα σε κάθετη μορφή, κατασκευάζοντας TID_set, τα οποία στη συνέχεια τα εκμεταλλεύονται για να χτίσουν δενδρικές δομές. Εκτός από τον μεγάλο αριθμό διαστάσεων ένα σημαντικό θέμα που χρήζει αντιμετώπισης είναι και το τεράστιο μήκος των προτύπων. Οι μέχρι τώρα αλγόριθμοι εξόρυξης όπως είναι ο Apriori, πρέπει να εξετάσουν σε ενδιάμεσα στάδια μεγάλο αριθμό από σύνολα μεσαίου μεγέθους. Η προσέγγιση που είναι σε εξέλιξη (Pattern Fusion, Zhu et. al. 2007) [20] προσπαθεί να αναδείξει τα λεγόμενα κολοσσιαία πρότυπα μέσα από την σύμπτυξη συνόλων μικρότερου μεγέθους σε ένα βήμα. Εξόρυξη ακολουθιακών προτύπων Μια ακολουθιακή βάση δεδομένων αποτελείται από στοιχεία σαφώς διατεταγμένα στο χρόνο. Τα ακολουθιακά δεδομένα συναντώνται σε πλήθος εφαρμογών όπως είναι η αγορά προϊόντων, η επίσκεψη σε ιστότοπους αλλά και η έρευνα δεδομένων από επιστήμες όπως η βιολογία. Η ακολουθία που αποτελεί αντικείμενο μελέτης ορίζεται ως α = < t 1,t 2,t 3..,t m >. Η α είναι μια διατεταγμένη λίστα που αποτελείται από σύνολο αντικειμένων t ι. Τα t ι έχουν την ιδιότητα όλα τα αντικείμενα γεγονότα που περιέχουν, να συμβαίνουν την ίδια χρονική στιγμή. Επίσης ένας σημαντικός ορισμός είναι αυτός της υποακολουθίας. Έτσι μια ακολουθία α=< α 1,α 2,α 3..,α m > είναι υποακολουθία της β=< β 1,β 2,β 3..,β m > αν α β και για κάθε στοιχείο της α υπάρχει κομμάτι της β που να το περιέχει. Δεδομένης λοιπόν μιας ακολουθιακής βάσης D = s 1,s 2,s 3..,s m, μια ακολουθία α έχει υποστήριξη που ισούται με τον αριθμό των ακολουθιών της βάσης που περιέχουν την α. Αν αυτή η υποστήριξη ξεπερνά το κατώφλι που θέτουμε κατά περίπτωση τότε μιλάμε για συχνό ακολουθιακό πρότυπο. Οι αλγόριθμοι εξόρυξης που έχουν αναπτυχθεί στηρίζονται στις τεχνικές που είδαμε μέχρι τώρα. Έτσι υπάρχει ο Generalized Sequential Patterns (GSP), ένας αλγόριθμος στη λογική του Apriori (Srikant & Agrawal 1995) [21], που ενσωματώνει χρονικούς περιορισμούς με τεχνικές κινούμενου χρονικά παραθύρου. Η προσέγγιση με «κάθετη» χρήση δεδομένων υλοποιήθηκε με τον αλγόριθμο SPADE (Zaki 2001) [22] ο οποίος ομοιάζει με τον Eclat. Η διαφορά εδώ είναι ότι τα δεδομένα παίρνουν την μορφή <itemset : (sequence_id, event_id) >. Η ανίχνευση των κ-μήκους ακολουθιών γίνεται από τις ακολουθίες μήκους κ-1. Το μήκος της id λίστας είναι ίσο με την υποστήριξη της νέας ακολουθίας κ μήκους. 9

10 Οι αλγόριθμοι GSP, SPADE έχουν το μειονέκτημα της παραγωγής μεγάλων υποψήφιων συνόλων. Για να αποφευχθεί αυτό αναπτύχθηκαν και αλγόριθμοι οι οποίοι δουλεύουν στο πρότυπο του FP Growth. Αυτό σημαίνει την εξόρυξη προτύπων μέσα από μεθοδολογία διαίρει και βασίλευε. Τέτοιου είδους τεχνική υλοποιείται από τον PrefixScan (Pei et. al ) [23,24]. Πέραν αυτών των τεχνικών, αναπτύχθηκαν και αλγόριθμοι που ανιχνεύουν κλειστές σύνολα ακολουθιών. Ο αλγόριθμος ονομάζεται Clospan [25] και προσπαθεί να ανιχνεύσει κλειστές ακολουθίες εκμεταλλευόμενος την παρακάτω ιδιότητα: «Δυο προβολές βάσεων S a και S β, είναι ισότιμες αν και μόνο αν ο αριθμός των ακολουθιών στην S a είναι ίσος με τα αντίστοιχα στην S β» Αυτό που δεν τονίστηκε είναι ότι η ακολουθία α είναι υποακολουθία της β. Με τον τρόπο αυτό ο Prefix Scan κόβει μη κλειστές ακολουθίες από περαιτέρω μελέτη. Εξόρυξη προτύπων δομών δεδομένων (γράφων,δέντρων) Στην μέχρι τώρα ανάλυση τα δεδομένα είχαν την μορφή συνόλων αντικειμένων, οποιασδήποτε μορφής είτε αλφαβητικών είτε αριθμητικών. Η ανάπτυξη όμως επιστημών όπως είναι η χημεία και η βιοπληροφορική έχει φέρει στο προσκήνιο αναπαραστάσεις στοιχείων σε μορφή δομών δεδομένων όπως είναι τα δέντρα και οι γράφοι. Έτσι λοιπόν η έννοια του συχνού προτύπου μπορεί να επεκταθεί και σε αυτές τις δομές. Συχνό πρότυπο θα θεωρούμε κάθε υπό γράφο ή υπό δέντρο το οποίο εμφανίζεται σε ένα σύνολο γράφων (δέντρων) τουλάχιστον όσες φορές μας ορίζει το κατώφλι υποστήριξης. Η επέκταση της μελέτης γίνεται με τον ίδιο ακριβώς τρόπο και στις τεχνικές. Έτσι έχουμε καταρχήν την εφαρμογή των μεθόδων Apriori. Η ανίχνευση γίνεται σταδιακά ξεκινώντας από μικρούς γράφους, οι οποίοι σταδιακά μεγαλώνουν χάρη στην συνένωση μικρότερων δομών. Τέτοιος αλγόριθμος είναι και ο AGM (Inokuchi et. al.) [26] όπου η παραγωγή των υποψήφιων γράφων γίνεται με «αύξηση» των κόμβων των υπό-γράφων. Δύο γράφοι μεγέθους κ συνενώνονται αν περιέχουν τον ίδιο υπο-γράφο μεγέθους κ-1 (όπου μέγεθος εννοείται ο αριθμός των κόμβων). Παρόμοιος αλγόριθμος είναι ο FSG (Kuramochi and Karypis 2001) [27,28] μόνο που η παραγωγή υποψήφιων προτύπων γράφων γίνεται με την σταδιακή ενσωμάτωση ακμών και όχι κόμβων. Οι εναλλακτικές τεχνικές ώστε να αποφευχθεί το overhead του Apriori στηρίζονται πάνω στον Fp Growth. Η εξόρυξη προτύπων γίνεται επεκτείνοντας συχνούς γράφους. Η επέκταση γίνεται προσθέτοντας νέες ακμές σε κάθε πιθανή θέση. Επειδή υπάρχει το μειονέκτημα της πολλαπλής εξόρυξης του ίδιου γράφου, οι αλγόριθμοι που αναπτύχθηκαν έκαναν «επιλεκτική επέκταση». Ο gspan (Yan & Han 2002) [29] υλοποιεί την δεξιά επέκταση. Αυτό σημαίνει ότι οι νέες ακμές μπαίνουν μόνο στο δεξιότερο μονοπάτι. Εξόρυξη «χρήσιμων» συχνών προτύπων Παρά τον μεγάλο αριθμό αλγορίθμων που παρατέθηκαν για την εξόρυξη συχνών προτύπων, τίθεται το ερώτημα πόσο χρήσιμα είναι τα τόσο πολλά πρότυπα που παράγονται. Ποια από αυτά είναι πραγματικά χρήσιμα και με ποιο τρόπο μπορούν να παραχθούν αποδοτικά; 10

11 Εξόρυξη βάσει προδιαγραφών Η πρώτη απάντηση έρχεται με την εξόρυξη προτύπων με βάση ορισμένες προδιαγραφές (constrained based mining). Οι προδιαγραφές ορίζονται από τον χρήστη ώστε να περιορίσουν το ογκώδες σύνολο προτύπων που έχει προκύψει από την εξόρυξη. Το είδος των προδιαγραφών ποικίλλει και μπορεί να κατηγοριοποιηθεί ανάλογα με τον τρόπο αλληλεπίδρασής του με την διαδικασία εξόρυξης. Έτσι έχουμε προδιαγραφές οι οποίες επιδρούν στα αρχικά δεδομένα και κάνουν κάποια επιλογή πριν καν εφαρμόσουμε κάποιον αλγόριθμο εξόρυξης. Αντίστοιχα αντί για την αρχή, είναι δυνατόν να τεθούν περιορισμοί στην ανάπτυξη των προτύπων κατά την διαδικασία εξόρυξης. Άλλη κατηγορία προδιαγραφών θέλει τα αντικείμενα των προτύπων να συναντούν κάποια κριτήρια που ελέγχουν την σημαντικότητα τους. Τέτοια μπορεί να είναι στατιστικές τιμές όπως η μέση τιμή ή το πόσο «ισχυρό» είναι το μπλοκ των σετ αντικειμένων που προκύπτουν από τα πρότυπα και τις συναλλαγές της βάσης. Εξόρυξη συμπιεσμένων προτύπων ή προσεγγίσεων τους Ένας εναλλακτικός τρόπος μείωσης του όγκου των συχνών προτύπων είναι η ανίχνευση είτε συμπιεσμένου συνόλου προτύπων είτε η ανίχνευση προσέγγισης αυτού. Η συμπίεση όπως σε όλες τις εφαρμογές της, έτσι και εδώ έχει δύο παραλλαγές. Στην πρώτη (lossless) περίπτωση, η συμπίεση γίνεται χωρίς να χάσουμε πληροφορία. Τέτοια μέθοδος αποτελεί η εξόρυξη κλειστών προτύπων, η οποία και μας δίνει μέσω των κλειστών προτύπων όλη την πληροφορία της εξόρυξης χωρίς να χάνονται κάποια πρότυπα. Στην δεύτερη περίπτωση (loosy), η συμπίεση γίνεται με κόστος κάποια πρότυπα. Σημαντικότερος εκπρόσωπος της κατηγορίας αυτής είναι η τεχνική top-k most frequent closed patterns (Wang et. al.2005) [30], ενώ για την εξόρυξη χρησιμοποιήθηκε ένας αλγόριθμος γνωστός ως TFP. Τα δύο χαρακτηριστικά του αλγορίθμου είναι ότι γίνεται εξόρυξη προτύπων με μήκος μεγαλύτερο από ένα κατώφλι που θέτουμε και, το κυριότερο, αυξάνεται σταδιακά το κατώφλι υποστήριξης έτσι ώστε να γίνεται «κλάδεμα» του FP tree τόσο κατά την διάρκεια κατασκευής του όσο και μετά. Παρά την συμπίεση που πετυχαίνει η προηγούμενη μέθοδος, τα κ πρότυπα που αναδεικνύει δεν αποτελούν ένα αντιπροσωπευτικό υποσύνολο των όλων των κ- προτύπων. Το πρόβλημα της αντιπροσωπευτικότητας έρχονται να λύσουν αλγόριθμοι προσέγγισης βασισμένοι ο καθένας σε διαφορετικό τρόπο μέτρησης της αντιπροσωπευτικότητας. Ένας από αυτούς (Afrati et. al. 2004) [31] δρα με κριτήριο το μέγεθος του συνόλου των κ- προτύπων που πρέπει να προσεγγίσουν. Κάποιος άλλος (Yan et. al. 2005) [32] χτίζει προφίλ ώστε να πετύχει την αντιπροσώπευση. Το προφίλ, για ένα σετ συγγενών συνόλων αντικειμένων, περιγράφεται από την ένωση των συνόλων αυτών και την πιθανότητα των αντικειμένων να περιέχονται στις συναλλαγές της βάσης δεδομένων. Το δυνατό σημείο της χρήσης προφίλ είναι η ευκολία να ξεχωρίζουμε τα ανεξάρτητα σύνολα αντικειμένων και τις υποστηρίξεις τους. Μια διαφορετική οπτική της συμπίεσης προτύπων εισάγει και την γνωστή τεχνική του clustering. Με βάση αυτή τα πρότυπα ομαδοποιούνται με βάση την ομοιότητα τους αλλά και την υποστήριξή τους. Στην συνέχεια εφαρμόζονται τεχνικές εύρεσης του αντιπροσωπευτικού συνόλου των clusters. Μία από αυτές τις υλοποιήσεις (Siebes et. al. 2006) [33] χρησιμοποιεί την αρχή MDL, με βάση την οποία το καλύτερο σετ αντιπροσώπευσης είναι αυτό που συμπιέζει περισσότερο την βάση. 11

12 Εξόρυξη χρήσιμων προτύπων με χρήση correlation analysis Όπως έχει διαφανεί μέχρι τώρα η εξόρυξη συχνών προτύπων έχει αντικειμενικό σκοπό την εύρεση σχέσεων και συσχετίσεων μεταξύ αντικειμένων. Μάλιστα η εύρεση συχνών προτύπων είναι συνήθως το εισαγωγικό στάδιο από το οποίο θα προέλθουν οι κανόνες συσχέτισης. Ο ορισμός των κανόνων θα δοθεί αργότερα αναλυτικά. Εδώ απλά θα αναφέρουμε ότι αποτελείται από δύο υποσύνολα του συχνού προτύπου ξένα μεταξύ τους έτσι ώστε να ισχύει α β με βάση κάποια κριτήρια. Τα κριτήρια έχουν να κάνουν αφενός με τις ταυτόχρονες εμφανίσεις των α, β στις συναλλαγές αλλά και με τις εμφανίσεις του β στις συναλλαγές που υπάρχει ήδη το α. Παρά το γεγονός ότι τα κριτήρια αυτά ικανοποιούνται, αυτό δεν σημαίνει πάντα ότι οι συσχετίσεις που προκύπτουν είναι αυτές που ενδιαφέρουν. Για να επιβεβαιωθεί η χρησιμότητα των προτύπων χρησιμοποιούνται συμπληρωματικά, εκτός από τις εμφανίσεις, και μεγέθη που μετρούν την συσχέτιση των στοιχείων των προτύπων. Το πιο γνωστό τέτοιο μέγεθος είναι ο συντελεστής συσχέτισης (correlation coefficient). Φυσικά υπάρχουν και άλλα τέτοια μεγέθη τα οποία ως επί το πλείστον έχουν «δανειστεί» οι ερευνητές από το πεδίο της στατιστικής και τα έχουν προσαρμόσει στο πεδίο της εξόρυξης. Για παράδειγμα ένα από τα τρικ της προσαρμογής είναι ο υπολογισμός των μεγεθών συσχέτισης να μην γίνεται λαμβάνοντας υπόψη τις «κενές συναλλαγές». Λέγοντας κενές συναλλαγές εννοούμε τις συναλλαγές που δεν περιέχουν κανένα από τα αντικείμενα του κανόνα. Επίδραση συχνών προτύπων στην ανάλυση δεδομένων Η ανίχνευση συχνών προτύπων είναι ένα ερευνητικό πεδίο με πολλές εφαρμογές αλλά ταυτόχρονα έχει και χρησιμότητα σε άλλους τομείς της ανάλυσης δεδομένων όπως είναι η κατηγοριοποίηση (classification) και η συσταδοποίηση (clustering). Κατηγοριοποίηση μέσω συχνών προτύπων Τα συχνά πρότυπα έχει αποδειχθεί ότι είναι πολύ χρήσιμα στην διαδικασία της κατηγοριοποίησης. Πιο συγκεκριμένα η βασική ιδέα είναι τα συχνά πρότυπα να αποτελέσουν τον οδηγό στην ανακάλυψη των κατηγοριών που θα χρησιμοποιηθούν. Με αυτό τον τρόπο οι κανόνες συσχέτισης που προκύπτουν μπορούν εύκολα να χρησιμοποιηθούν για πρόβλεψη. Έχουν αναπτυχθεί αρκετοί αλγόριθμοι πάνω στην κατηγοριοποίηση όπου οι περισσότεροι είναι επέκταση αυτών που ήδη έχουμε περιγράψει. Για παράδειγμα υπάρχει η τεχνική της εξόρυξης top-k συχνών προτύπων (Cong et. al. 2005) [34]. Η διαφορά εδώ είναι ότι τα top-k συχνά πρότυπα δρουν και ως κατηγορίες και με την προσθήκη ενός κατηγοριοποιητή (classifier) ονόματι RCBT γίνεται η πρόβλεψη. Στην ουσία αυτό που γίνεται είναι ένας υπολογισμός που εμπεριέχει τις τιμές υποστήριξης και εμπιστοσύνης των κανόνων ώστε να τους εντάξει στην κατάλληλη κατηγορία. Κάτι παρόμοιο υλοποιεί και ο αλγόριθμος HARMONY (Wang & Karypis 2005) [35] όπου εδώ γίνεται απευθείας εξόρυξη των κανόνων που θα αποτελέσουν τον κατηγοριοποιητή. Έτσι κάθε κανόνας (Instance rule) εξετάζεται αν «καλύπτεται» από κάποιον κανόνα - κατηγοριοποιητή με πολύ υψηλή εμπιστοσύνη. Συσταδοποίηση (clustering) μέσω συχνών προτύπων Η διαδικασία clustering, ειδικά σε πολυδιάστατα δεδομένα, αποτελεί πεδίο έρευνας. Μία από τις παραμέτρους που δίνει κάποιες διεξόδους είναι η συσχέτιση του με την εξόρυξη προτύπων. Πιο συγκεκριμένα γίνεται προσπάθεια συσχέτισης της εύρεσης 12

13 συχνών προτύπων σε υποσύνολα πολυδιάστατων δεδομένων με την διαδικασία clustering. Ένας από τους αλγορίθμους που ασχολείται με clustering είναι ο CLIQUE (Agrawal et. al. 1998) [36]. Χρησιμοποιεί την τεχνική Apriori ώστε να βρει υποσύνολα των πολυδιάστατων δεδομένων που να είναι ικανά να χωριστούν σε clusters. Στην συνέχεια σε αυτά τα υποσύνολα ψάχνουμε ενότητες που να έχουν «ομοιότητες» μεταξύ τους. Ο συνδυασμός τους αποτελεί και τα clusters. Ο αλγόριθμος ENCLUS (Cheng et. al.) [37] ασχολείται με αριθμητικά δεδομένα και χρησιμοποιεί ως σημαντική παράμετρο την εντροπία. Στηρίζεται και αυτός στην αρχή apriori ώστε να ανιχνεύσει υποχώρους ικανούς για clustering. Η χρήση της εντροπίας βασίζεται στην παρατήρηση ότι ένας υποχώρος που μπορεί να περίεχει clusters, έχει λιγότερη εντροπία («αταξία») από τον υποχώρο που δεν περιέχει clusters. Τέλος τεχνικές εξόρυξης προτύπων οι οποίες βοηθούν στο clustering εφαρμόζονται και σε αλγορίθμους εξόρυξης κειμένων μέσα από λέξεις κλειδιά. Στην ουσία πρόκειται για τεχνικές clustering όπου τα clusters έχουν ως βάση συχνά εμφανιζόμενους λεκτικά κομμάτια. Γενικά λοιπόν στα παρακάτω κεφάλαια θα ασχοληθούμε καταρχήν με την ανάλυση του αλγορίθμου Apriori τα πλεονεκτήματα και τα μειονεκτήματά του. Στην συνέχεια θα παραθέσουμε μια παραλλαγή του Apriori βασισμένη στην δομή trie η οποία φιλοδοξεί να βελτιστοποιήσει κάποια μειονεκτήματα. Σε επόμενο κεφάλαιο εξετάζουμε το αντίπαλο δέος του apriori, τον αλγόριθμο Fpgrowth. Αναλύουμε την δομή πάνω στην οποία στηρίζεται, το fp- tree, και αναφέρουμε κάποιες παραλλαγές βελτιώσεις που μπορεί να γίνουν. Στο τέταρτο κεφάλαιο εξετάζουμε μια εργασία παραλλαγή του fp growth η οποία βασίζεται σε προθεματικές δομές και προσπαθεί να βελτιώσει τον χρόνο που σπαταλάμε στο να διασχίσουμε τις δενδρικές δομές. Στο πέμπτο κεφάλαιο παραθέτουμε μια υλοποίηση του αλγορίθμου fp growth η οποία χτίζει τις δομές (κεντρική και επιμέρους conditionals) και θα μας είναι χρήσιμη στην κατασκευή της δικής μας υλοποίησης του αλγορίθμου. Στην συνέχεια αλλάζουμε το μοντέλο εξόρυξης προτύπων χρησιμοποιώντας πολλαπλές υποστηρίξεις αντικειμένων και όχι μία για όλα. Αφού παρουσιάσουμε την τεχνική γίνεται προσπάθεια προσαρμογής και υλοποίησης του αλγορίθμου fp growth (το οποίο και αποτελεί το κύριο κομμάτι της εργασίας μας). Παρουσιάζονται δύο παραλλαγές (απλή και βελτιωμένη) με όλες τις παραμέτρους καθώς και τα αποτελέσματα τους. Στο έβδομο κεφάλαιο γίνεται εισαγωγή της έννοιας αρνητικού κανόνα συσχέτισης και υλοποιείται ο παραπάνω αλγόριθμος fp growth, προσαρμοσμένος στα νέα δεδομένα που απαιτούν και χρήση συντελεστή συσχέτισης. Παρουσιάζονται και αναλύονται αποτελέσματα και η χρησιμότητά τους. Τέλος γίνεται μια αναφορά σε περαιτέρω σκέψεις και επεκτάσεις που μπορεί να έχει η εξόρυξη προτύπων, δίνοντας βάρος στην διατήρηση της σειράς των αντικειμένων στα σύνολα (order preserving). Δίνονται κάποιες σκέψεις σε θεωρητικό επίπεδο και πάντα με βάση τον αλγόριθμο fp- growth. Επίσης γίνεται μια αναφορά στις χρήσεις που μπορεί να έχει γενικά όλος ο τομέας του data mining στην καθημερινή ζωή αλλά και σε συγγενικούς επιστημονικούς κλάδους. 13

14 Κεφάλαιο 1 Εξόρυξη προτύπων μέσα από βάσεις δεδομένων: Βασικές αρχές- Αλγόριθμοι 1.1 Εισαγωγή Πολλές επιχειρήσεις αποθηκεύουν καθημερινά μεγάλες ποσότητες δεδομένων, σημαντικές ή μη. Ένα σημαντικό κομμάτι από αυτά αποτελούν τα δεδομένα που αναφέρονται στις αγορές προϊόντων ανά πελάτη. Ένα παράδειγμα αυτών των δεδομένων φαίνεται στον παρακάτω πίνακα: TID Προϊόντα 1 Ψωμί, Γάλα 2 Ψωμί, Μπύρες, Αυγά 3 Γάλα, Μπύρα, Κόκα-κόλα 4 Ψωμί, Γάλα, Μπύρα 5 Ψωμί, Γάλα, Κόκα-κόλα Κάθε γραμμή αντιπροσωπεύει τις αγορές ενός πελάτη, που θα ονομάζουμε και συναλλαγή, ενώ σε κάθε πελάτη δίδεται ένα αναγνωριστικό TID, ώστε να ορίζεται μονοσήμαντα. Η παρούσα εργασία πραγματεύεται το πρόβλημα της εξόρυξης γνώσης, που μπορούμε να εκμεταλλευτούμε, μέσα από μεγάλες βάσεις δεδομένων. Στο συγκεκριμένο παράδειγμα η γνώση είναι η σχέση που μπορεί να έχουν το σύνολο των αντικειμένων που αγοράζει κάποιος από ένα πολυκατάστημα. Η εύρεση συσχετισμού μεταξύ των αντικειμένων που περιέχει το καλάθι των προϊόντων μπορεί να βοηθήσει σε μεγάλο βαθμό την διεύθυνση της επιχείρησης ώστε να αναδιατάξει τη σειρά με την οποία τοποθετεί τα προϊόντα στα ράφια. 1.2 Ορισμός του προβλήματος Στο σημείο αυτό θα ορίσουμε τυπικά όλους τους όρους που χρησιμοποιήσαμε παραπάνω: Έστω Ι = ι 1,ι 2,ι 3..,ι m ένα σύνολο από διακριτά αντικείμενα (items). Έστω επίσης D = t 1,t 2,t 3..,t m ένα σύνολο από δοσοληψίες (transactions) όπου κάθε δοσοληψία t i είναι ένα υποσύνολο αντικειμένων του Ι. Το μήκος μιας δοσοληψίας ορίζεται ως ο αριθμός των αντικειμένων που εμφανίζεται μέσα σε αυτή. Θα λέμε ότι μία δοσοληψία περιέχει το σύνολο αντικειμένων (itemset) X αν ισχύει Χ T Μια σημαντική ιδιότητα των συνόλων αντικειμένων είναι η υποστήριξη (support). Ορίζεται ως ο αριθμός των δοσοληψιών που περιέχουν το συγκεκριμένο σύνολο (itemset). Στο παράδειγμα μας το itemset ψωμί, γάλα εμφανίζεται σε 3 δοσοληψίες άρα έχει υποστήριξη 3. Ουσιαστικά η υποστήριξη μας δείχνει πόσο συχνά εμφανίζεται το item set του κανόνα. Αυτό μπορεί να σημαίνει την απομάκρυνση αντικειμένων που εμφανίζονται πιο σπάνια. 14

15 Έτσι λοιπόν η ανάλυση μας σε πρώτο στάδιο θα εστιάσει στη εύρεση των συνόλων αντικειμένων που εμφανίζονται πιο συχνά στις δοσοληψίες. 1.3 Ανίχνευση συχνών συνόλων αντικειμένων Αφού δώσαμε τους τυπικούς ορισμούς σειρά έχει η εύρεση των πιο συχνά εμφανιζόμενων συνόλων αντικειμένων (frequent item sets), δηλαδή των συνόλων που ικανοποιούν την απαίτηση για μεγάλη υποστήριξη. Πρόκειται για μία δύσκολη εργασία με πολλές διαθέσιμες μεθοδολογίες. Ξεκινώντας με ένα σύνολο δεδομένων που αποτελείται από d αντικείμενα, ο αριθμός των πιθανών frequent item sets είναι ίσος με 2 d 1. Για μεγάλο αριθμό αντικειμένων όμως το μέγεθος αυτό γίνεται υπερβολικά μεγάλο. Επιπροσθέτως είπαμε ότι δεν μας ενδιαφέρουν όλα αλλά μόνο αυτά που συμβαίνουν συχνά. Έτσι λοιπόν κάποια θα κοπούν χρησιμοποιώντας διάφορες τεχνικές. Μια πρώτη απλή και πρωτόγονη μέθοδος είναι να ψάξουμε κάθε έναν από τους 2 d 1 δυνατούς συνδυασμούς ανιχνεύοντας το αριθμό των δοσοληψιών που περιέχονται. Κάτι τέτοιο φυσικά είναι αρκετά κοστοβόρο αφού απαιτεί Ο(Ν Μ w) συγκρίσεις, όπου Ν είναι ο αριθμός των δοσοληψιών, Μ=2 d 1, και w είναι το μέγιστο μήκος δοσοληψιών. Για να μειώσουμε το κόστος αυτό θα πρέπει να δουλέψουμε προς δύο κατευθύνσεις: Καταρχήν θα πρέπει να μειώσουμε αισθητά το μέγεθος των υποψήφιων συνόλων αντικειμένων. Ακριβώς παρακάτω θα παρουσιάσουμε έναν από τους πιο διαδεδομένους αλγόριθμους πάνω σε αυτό. Στην συνέχεια θα πρέπει να ρίξουμε βάρος στην μείωση των συγκρίσεων. Αυτό σημαίνει ότι αντί για κάθε υποψήφιο σύνολο να περνάμε όλες τις δοσοληψίες, θα πρέπει να βρούμε εναλλακτικούς τρόπους μέσα από αποδοτικές δομές αποθήκευσης των δεδομένων. 1.4 Ο αλγόριθμος apriori Στην ενότητα αυτή περιγράφεται πως η υποστήριξη βοηθά να μειωθούν τα υποψήφια συχνά σύνολα. Η χρήση της υποστήριξης για την μείωση των υποψήφιων συνόλων στηρίζεται στην παρακάτω αρχή Αρχή Apriori Εάν ένα σύνολο αντικειμένων είναι συχνό τότε όλα τα υποσύνολά του είναι επίσης συχνά. Με βάση την ιδιότητα της αντιθετοαντιστροφής ισχύει και το εξίσου σημαντικό: Εάν ένα σύνολο αντικειμένων δεν είναι συχνό τότε και όλα τα υπερσύνολά του είναι επίσης μη συχνά. Η στρατηγική αυτή της μείωσης του τεράστιου αριθμού των υποψηφίων συχνών συνόλων λέγεται απόρριψη βάσει υποστήριξης και προκύπτει από την ιδιότητα του μεγέθους της υποστήριξης με βάση την οποία: Η υποστήριξη ενός συνόλου δεν είναι δυνατόν να υπερβαίνει την υποστήριξη κανενός από τα υποσύνολα του. 15

16 Το παραπάνω είναι γνωστό και ως αντιμονότονη ιδιότητα και συνεπάγεται από την ιδιότητα της μονοτονικότητας που ορίζουμε ως: «Έστω Ι ένα σύνολο από αντικείμενα και J = 2 I. Η ποσότητα f είναι μονότονη (ή κλειστή προς τα πάνω) εάν για κάθε Χ,Υ που ανήκουν στο J ισχύει: Αν το Χ είναι υποσύνολο του Υ f(x) f(y) Δηλαδή το f(x) δεν υπερβαίνει με τίποτα το f(y)» Κατ αντιστοιχία έχουμε την αντι-μονότονη ποσότητα f (η κλειστή προς τα κάτω) όπου ισχύει: Αν το Χ είναι υποσύνολο του Υ f(υ) f(χ) Δηλαδή το f(υ) δεν υπερβαίνει με τίποτα το f(χ) Χρήσιμα Συμπεράσματα και ιδιότητες Maximal συχνό σύνολο. Πρόκειται για το συχνό σύνολο το οποίου κανένα υπερσύνολο του δεν είναι συχνό. Ιδιότητα της Κλειστότητας. Ένα σύνολο αντικειμένων Χ είναι κλειστό αν κανένα από τα άμεσα υπερσύνολα του δεν έχει την ίδια τιμή υποστήριξης με το Χ. Σε συνδυασμό με την apriori αρχή συνεπάγεται ότι τα υπερσύνολα ενός κλειστού συνόλου έχουν σίγουρα μικρότερη υποστήριξη. Ιδιότητα της Κλειστότητας (2). Ένα σύνολο αντικειμένων Χ είναι ένα συχνόκλειστό σύνολο εάν είναι κλειστό και η υποστήριξη του είναι μεγαλύτερη ή ίση με το εκάστοτε κατώφλι υποστήριξης που έχει τεθεί. Μετά την ανάλυση των ιδιοτήτων που στηρίζονται στην υποστήριξη των αντικειμένων μπορούμε να προχωρήσουμε στην παράθεση του αλγόριθμου apriori για την παραγωγή των συχνών συνόλων αντικειμένων. Αλγόριθμος Apriori 1. k = 1 2. F k = i i ε Ι ^ σ(ι) Ν x minsup 3. repeat 4. k+1 5. C k = apriori-gen(f k-1 ) 6. for each transaction t in T do 7. C t =subset(c k,t) 8. for each candidate itemset c in C t do 9. σ(c) = σ(c) endfor 11. endfor 12. F k = c c ε C k ^ σ(c) Ν x minsup 13. until F k =Ǿ 14. return Ụ F k Παρατηρήσεις: Το F k είναι το σύνολο των συχνών συνόλων από κ αντικείμενα ενώ το C k είναι το αντίστοιχο σύνολο των υποψήφιων συνόλων. Το Ι είναι το σύνολο των αντικειμένων. Το σ(i) είναι ο αριθμός εμφανίσεων του i. Ο αλγόριθμος προτού προχωρήσει στην επαναληπτική διαδικασία κάνει ένα πέρασμα στα δεδομένα ώστε να ανιχνεύσει τα μονά συχνά αντικείμενα που αποτελούν το σύνολο F 1. Στην επαναληπτική διαδικασία αρχικά δημιουργεί το υποψήφιο κ-σύνολο από τα συχνά σύνολα αντικειμένων κ-1 στοιχείων. Η υλοποίηση της συνάρτησης apriorigen είναι κάτι που θα απασχολήσει αναλυτικά αργότερα. 16

17 Η συνάρτηση subset στο βήμα 7 βρίσκει όλα τα υποσύνολα κ-αντικειμένων που προκύπτουν από την δοσοληψία. Η υλοποίηση της είναι κάτι που δεν θα μας απασχολήσει. Τα βήματα 6-11 του αλγορίθμου υπολογίζουν την υποστήριξη των υποψηφίων συνόλων. Αποτελεί και το σημαντικότερο μειονέκτημα του apriοri αφού απαιτεί επιπλέον περάσματα στην βάση δοσοληψιών. Ο συνολικός αριθμός επαναλήψεων του εξωτερικού βρόγχου του αλγορίθμου είναι κ max +1 όπου κ max είναι το μέγιστο μήκος που υπάρχει στο σύνολο των συχνών αντικειμένων Παραγωγή Υποψηφίων συχνών συνόλων Στο βήμα 5 του αλγορίθμου όπως είδαμε γίνεται η παραγωγή των υποψήφιων συνόλων μέσα από την συνάρτηση apriori-gen. Η υλοποίηση αυτής της συνάρτησης μπορεί να γίνει με αρκετούς διαφορετικούς τρόπους και εμείς θα δούμε τους τρεις πιο διαδεδομένους: Απλή- άμεση μέθοδος. Κάθε κ-σύνολο είναι εν δυνάμει υποψήφιο συχνό σύνολο. Αυτό σημαίνει ότι ο αριθμός των υποψήφιων συνόλων είναι ίσος με ( ) όπου d είναι ο συνολικός αριθμός των αντικειμένων. Γίνεται εύκολα αντιληπτό ότι ο έλεγχος των υποψηφίων συνόλων σε αυτή την περίπτωση είναι αρκετά κοστοβόρος αφού ο αριθμός των προς εξέταση συνόλων είναι αρκετά μεγάλος. Πιο συγκεκριμένα αν το κόστος υπολογισμού για κάθε υποψήφιο είναι Ο(κ) τότε το συνολικό κόστος είναι Ο(d 2 d-1 ). F k-1 x F 1 μέθοδος. Η τεχνική αυτή δουλεύει επεκτατικά. Τα κ-σύνολα που θα είναι υποψήφια προκύπτουν από τα (κ-1)-σύνολα με την προσθήκη ενός ακόμα συχνού αντικειμένου, διαφορετικού από τα κ-1. Η συγκεκριμένη μέθοδος ενώ μας δίνει όλα τα υποψήφια κ-σύνολα έχει ένα σημαντικό μειονέκτημα. Τα υποψήφια σύνολα μπορεί να παραχθούν παραπάνω από μία φορά. Έτσι παρόλο την βελτίωση από την πρωτόγονη μέθοδος συνεχίζει να παράγει έναν υπολογίσιμο αριθμό από άχρηστα υποψήφια σύνολα. F k-1 x F κ-1 μέθοδος. Και εδώ λειτουργούμε επεκτατικά αλλά με αρκετά διαφορετικό τρόπο. Τα κ-σύνολα που θα είναι υποψήφια προέρχονται από την συγχώνευση δύο κ-1-συνόλων-συχνών- με μια απαραίτητη προϋπόθεση: Τα κ-2 αντικείμενα των δύο προς συγχώνευση συνόλων να είναι πανομοιότυπα. Αυτό σημαίνει ότι θα διαφέρουν μόνο ως προς ένα στοιχείο. Με αυτόν τον τρόπο η συγχώνευσή τους θα αποτελείται από κ διαφορετικά αντικείμενα. Με το πέρας της εφαρμογής της μεθόδου έχουμε πάρει όλα τα πιθανά κ-σύνολα που θα είναι υποψήφια και μάλιστα χωρίς διπλοεγγραφές. Το μοναδικό μειονέκτημα αυτής της μεθόδου είναι ότι χρειάζεται ένας επιπλέον έλεγχος ώστε να πιστοποιείται η ομοιότητα των κ-2 αντικειμένων μεταξύ τους. 17

18 Κεφάλαιο 2 Υλοποίηση του αλγόριθμου apriori βασισμένη στη δομή trie 2.1 Εισαγωγή Όπως αναφέραμε το σημαντικό μειονέκτημα του apriori είναι τα αλλεπάλληλα περάσματα στην βάση και ο σημαντικός αριθμός των υποψήφιων συνόλων που πρέπει να εξεταστούν. Έτσι ένας πρωταρχικός παράγοντας αποδοτικότητας του αλγορίθμου είναι ο τρόπος αποθήκευσης των υποψήφιων συνόλων [47]. Παρακάτω γίνεται παρουσίαση μιας δομής που επιτυγχάνει αρκετά στον τομέα της αποδοτικότητας, του λεγόμενου Trie [48]. 2.2 Αναπαράσταση δομής δεδομένων με την μορφή TRIE Το trie στην μορφή που το χρησιμοποιούμε εδώ, αποτελεί ένα κατευθυνόμενο δέντρο από κόμβους και συνδέσμους όπου κάθε σύνδεσμος που ξεκινά από κάποιον κόμβο έχει επιγραφή. Στην περίπτωση μας η επιγραφή δεν είναι τίποτα άλλο από τον συμβολισμό ενός αντικειμένου. Η ρίζα ορίζεται με βάθος 0, ενώ οι κόμβοι με βάθος κ δείχνουν (μέσω των κατευθυνόμενων συνδέσμων) προς αντικείμενα- κόμβους με βάθος κ+1. Επίσης κάτι σημαντικό είναι ότι ένας κόμβος εκπροσωπεί μια ακολουθία αντικειμένων η οποία προκύπτει από την συνένωση των επιγραφών του μονοπατιού, ξεκινώντας από την ρίζα. Παρακάτω φαίνεται σχηματικά μια μορφή ενός trie A C B F D C G F Αύξουσα Ταξινόμηση ακμών Οι σύνδεσμοι μεταξύ γονέων και παιδιών μπορούν να αποθηκευτούν με πολλαπλούς τρόπους, ωστόσο δύο είναι οι πιο αποδοτικοί: 18

19 Στην πρώτη περίπτωση οι σύνδεσμοι που ξεκινούν από έναν κόμβο αναπαρίστανται από ένα ζεύγος της μορφής (επιγραφή, δείκτης). Τα ζεύγη αυτά αποθηκεύονται σε ένα άνυσμα- λίστα ταξινομημένο με βάση την επιγραφή. Στην δεύτερη περίπτωση αποθηκεύονται μόνο οι δείκτες για κάθε σύνδεσμο σε ένα άνυσμα το οποίο έχει μέγεθος l min -l max. Τα l min, l max είναι η μικρότερη και μεγαλύτερη επιγραφή αντίστοιχα. Έτσι για παράδειγμα στην θέση του ανύσματος ι υπάρχει ο σύνδεσμος με επιγραφή l min +ι Η μορφή trie για τον apriori αλγόριθμο Ο αντικειμενικός στόχος μας είναι ο υπολογισμός της υποστήριξης των υποψήφιων συχνών συνόλων που γεννά ο αλγόριθμος. Ο αποδοτικός τρόπος υπολογισμού περνά μέσα από την αποθήκευση των υποψήφιων σε ένα trie. Πιο συγκεκριμένα η διαδικασία έχει ως εξής: Παίρνουμε τις δοσοληψίες μία προς μία Με βάση την εκάστοτε δοσοληψία διασχίζουμε επαναληπτικά συγκεκριμένα μέρη του trie ώστε να καταλήξουμε στα φύλλα (κόμβοι που δεν έχουν παιδιά) που περιέχονται στην δοσοληψία. Η υποστήριξη αυτών των φύλλων αυξάνεται Είναι φανερό ότι ο τρόπος που θα διασχίσουμε το trie εξαρτάται απόλυτα από την δοσοληψία. Αυτό σημαίνει ότι δεν ακολουθούμε συνδέσμους του δέντρου με επιγραφές που δεν περιέχονται στην δοσοληψία. Όπως αναφέραμε στο προηγούμενο κεφάλαιο ο apriori υλοποιείται μέσα από την επαναληπτική διαδικασία της δημιουργίας αυξανόμενου μήκους υποψήφια σύνολα. Η δημιουργία όμως ενός trie για κάθε επανάληψη είναι μια διαδικασία καθόλου αποδοτική. Για το λόγο αυτό διατηρείται ένα trie από το οποίο αφαιρούμε ή προσθέτουμε στοιχεία. Σε κάθε φάση δημιουργίας υποψηφίων συνόλων, νέα φύλλα προστίθενται. Σε αντίθετη περίπτωση όταν τα υποψήφια αποδειχτούν μη συχνά, φύλλα από το trie αφαιρούνται. Επίσης σημαντικό ρόλο παίζει και η αφαίρεση των αδιέξοδων μονοπατιών. Τέτοια είναι τα μονοπάτια που δεν οδηγούν σε φύλλο, με αποτέλεσμα να μην παίζουν κανένα ρόλο στα επόμενα βήματα του αλγορίθμου. Αδιέξοδα μονοπάτια μπορεί να προκύψουν και στην φάση παραγωγής υποψηφίων συνόλων. Όταν ένα φύλλο δεν μπορεί να επεκταθεί (στον ουσία μιλάμε για maximal frequent itemset) τότε το μονοπάτι του φύλλου είναι αδιέξοδο και φυσικά αφαιρείται. Η αφαίρεση των αδιέξοδων μονοπατιών έχει ευεργετικές επιπτώσεις σε δύο τομείς: Αφαιρώντας συνδέσμους κάνουμε πιο εύκολη και γρήγορη την ανίχνευση στους συνδέσμους ώστε να προχωρήσουμε στο επιθυμητό μονοπάτι Η αφαίρεση συνδέσμων επιτρέπει την μείωση της μνήμης cache που χρειάζεται για την αποθήκευση των λιστών των συνδέσμων. Αποτέλεσμα λιγότερες αποτυχίες στην cache καθώς και βελτίωση της τοπικότητας αναφοράς. 2.3 Στρατηγικές δρομολόγησης στην δομή Trie Παραπάνω θέσαμε ως πρωτεύουσα λειτουργία να διατρέχουμε επαναληπτικά το trie. Η επαναληπτικότητα της λειτουργίας αυτής έγκειται στο εξής: 19

20 Δοθέντος ενός κομματιού t της δοσοληψίας t και ενός κόμβου του trie, πρέπει να ανιχνεύσουμε τους συνδέσμους που αντιστοιχούν σε αντικείμενο μέσα στο κομμάτι. Οι τεχνικές δρομολόγησης επιστρατεύονται ακριβώς γι αυτό τον λόγο, δηλαδή για την εύρεση των συνδέσμων που θα ακολουθηθούν. Πρόκειται για απόφαση που έχει άμεση επίπτωση στην ταχύτητα του αλγορίθμου. Οι τεχνικές που εξετάζονται εδώ είναι: Ανίχνευση συγκεκριμένου αντικειμένου. Η ανίχνευση γίνεται με βάση τους συνδέσμους, ελέγχοντας αν υπάρχει κάποιο αντικείμενο του t που ισούται με την επιγραφή του συνδέσμου. Αυτό σημαίνει ότι σταματάμε την ανίχνευση είτε όταν βρούμε το αντικείμενο είτε όταν τελειώσει το t. Στην χειρότερη περίπτωση χρειαζόμαστε n t συγκρίσεις και αυξήσεις δεικτών. Ανίχνευση συγκεκριμένης επιγραφής. Η ανίχνευση εδώ γίνεται με βάση τα αντικείμενα του t, ελέγχοντας αν υπάρχει σύνδεσμος με επιγραφή πανομοιότυπη του αντικειμένου. Επειδή στα διάφορα t που προκύπτουν από την δοσοληψία είναι δυνατή η επανάληψη αντικειμένου γι αυτό κρατάμε το ίχνος των αντικειμένων που ήδη έχουμε ανιχνεύσει. Το ίχνος αυτό υλοποιείται από ένα άνυσμα λογικών τιμών όπου το αντικείμενο ι εκπροσωπείται στην θέση ι. Έτσι η ανίχνευση για σύνδεσμο με επιγραφή ι γίνεται μόνο αν η τιμή του ανύσματος στην θέση ι είναι αληθής. Βέβαια πρέπει να ειπωθεί ότι αυτή η βελτίωση για αποφυγή διπλοεγγραφών σημαίνει επιβάρυνση στο χρόνο εκτέλεσης λόγω της αρχικοποίησης του ανύσματος με λογικές τιμές. Διασχίζουμε ταυτόχρονα. Πρόκειται για την καλύτερη μέθοδο η οποία και χρησιμοποιείται κατά κόρον [49]. Το κύριο χαρακτηριστικό είναι τα αντικείμενα του t αλλά και οι επιγραφές των συνδέσμων ταξινομούνται. Εδώ λοιπόν επιτυγχάνουμε καλύτερους χρόνους, γραμμικούς πάντα t, αλλά υπάρχει μια επιβάρυνση όσον αφορά την απαραίτητη προεπεξεργασία των δύο συνόλων ( t log t βήματα). 2.4 Παραγωγή υποψήφιων συνόλων Στο αλγόριθμο Apriori σημαντικό ρόλο παίζει ο αριθμός των πραγματικών υποψήφιων συνόλων. Αυτό συνεπάγεται ότι πρέπει να ρίξουμε το ανάλογο βάρος στο κόψιμο κάποιων από τα σύνολα που σχηματίζονται προτού καν γίνουν υποψήφια. Αυτό γίνεται μέσω ελέγχου του συνόλου των υποσυνόλων, αν είναι συχνά ή όχι (Αρχή Apriori). Παρακάτω παρουσιάζουμε δύο τρόπους για να κόβουμε υποψήφια σύνολα: Απλό Κόψιμο. Ελέγχουμε ένα προς ένα όλα τα l-σύνολα που είναι ταυτόχρονα και υποσύνολα ενός εν δυνάμει υποψήφιου l+1-συνόλου. Εάν όλα τα υποσύνολα βρεθούν συχνά τότε το l-σύνολο απλώς γίνεται πραγματικό υποψήφιο (Προσοχή: όχι συχνό!). Στην διαδικασία αυτή προστίθενται δύο παράμετροι που βελτιώνουν την κατάσταση. Πρώτον δεν χρειάζεται να ελέγξουμε υποσύνολα που έχουν προκύψει από την απομάκρυνση του τελευταίου ή του προτελευταίου αντικειμένου. Δεύτερον η όλη διαδικασία σταματά μόλις ένα υποσύνολο βρεθεί μη συχνό (δηλαδή δεν περιέχεται στο trie). Intersection-based κόψιμο. Ένα πρόβλημα που αντιμετωπίζει το απλό κόψιμο είναι οι πολλαπλές επισκέψεις σε ορισμένα κομμάτια του trie. Για να το καταλάβουμε αυτό έστω ότι έχουμε τα συχνά σύνολα 4 αντικειμένων 20