Απαλλακτικές εργασίες στα πλαίσια του µαθήµατος «Αποθήκες εδοµένων & Εξόρυξη Γνώσης» Άνοιξη 2008

Transcript

1 Απαλλακτικές εργασίες στα πλαίσια του µαθήµατος «Αποθήκες εδοµένων & Εξόρυξη Γνώσης» Άνοιξη 2008 περιεχόµενα TrajSim - Μελέτη διαφορετικών συναρτήσεων οµοιότητας τροχιών κινούµενων αντικειµένων για τη συσταδοποίηση τους Stock-miner συλλογή και ανάλυση χρηµατιστηριακών δεδοµένων Seismo-surfer συλλογή και ποιοτική ανάλυση σεισµολογικών δεδοµένων Easy-miner ολοκληρωµένη πλατφόρµα ανάλυσης δεδοµένων µε χρήση τεχνολογιών BI Mobile analytics ανάλυση δεδοµένων θέσης κινούµενων αντικειµένων Πρόβλεψη συµπεριφοράς χρηστών Εξαγωγή γνώσης από κείµενα

2 TrajSim - Μελέτη διαφορετικών συναρτήσεων οµοιότητας τροχιών κινούµενων αντικειµένων για τη συσταδοποίηση τους Νίκος Πελέκης (npelekis@unipi.gr) Οµάδα ιαχείρισης εδοµένων, Τµήµα Πληροφορικής, Πανεπιστήµιο Πειραιώς Εισαγωγή & Κίνητρο Στην βιβλιογραφία έχουν προταθεί µία σειρά από τεχνικές συσταδοποίησης (π.χ. DB-SCAN, OPTICS, K-Means etc.) Επίσης έχουν προταθεί µία σειρά από τεχνικές οι οποίες ορίζουν την οµοιότητα µεταξύ τροχιών κινούµενων αντικειµένων (π.χ. Edit distance, EDR, DTW, LCSS etc.), δηλ. της πορείας κίνησης ενός αντικειµένου στο χωροχρόνο. Η εφαρµογή συγκεκριµένων συναρτήσεων οµοιότητας και η ενσωµάτωσή τους σε έναν από τους παραπάνω αλγόριθµους συσταδοποίησης ενδέχεται να έχει διαφορετικά αποτελέσµατα ανάλογα µε τησυνάρτησηοµοιότητας, τα χαρακτηριστικά της κίνησης των τροχιών, αλλά και του επιλεγµένου αλγορίθµου. Συνεπώς, υπάρχει ανάγκη για µελέτη των διαφορετικών συνδυασµών που πρέπει να κάνει ένας αναλυτής για επιτύχει το επιθυµητό αποτέλεσµα ανάλογα το πεδίο εφαρµογής!

3 Επιµέρους εργασίες / tasks Task 1 Μελέτη εναλλακτικών συναρτήσεων οµοιότητας τροχιών και καταγραφή κριτηρίων-σεναρίων χρήσης ανάλογα το πεδίο εφαρµογής και τα χαρακτηριστικά κίνησης των τροχιών Task 2 Ενσωµάτωση ήδη υλοποιηµένων τεχνικών συσταδοποίησης και συναρτήσεων οµοιότητας κάτω από ενιαίο προγραµµατιστικό περιβάλλον (π.χ. C++ή Java). Task 3 Κατασκευή συνόλων δεδοµένων σύµφωνα µε τα διαφορετικά καταγεγραµµένα σενάρια του Task 1, µε χρήση ενός έτοιµου προγράµµατος δηµιουργίας συνθετικών δεδοµένων. Task 4 Πειραµατισµός µε χρήση των αποτελεσµάτων των Tasks 2 & 3, και κριτική καταγραφή των αποτελεσµάτων. Project: Stock-Miner συλλογή και ανάλυση χρηµατιστηριακών δεδοµένων Γεράσιµος Μαρκέτος (marketos@unipi.gr) Οµάδα ιαχείρισης εδοµένων, Πανεπιστήµιο Πειραιώς

4 Εισαγωγή & Κίνητρο Ανάπτυξη Συστήµατος Υποστήριξης Αποφάσεων που µπορεί να απευθύνεται σε χρηµατιστές, επενδυτές κτλ. Εφαρµογή τεχνικών αποθήκευσης δεδοµένων και εξόρυξης γνώσης σε χρηµατιστηριακά δεδοµένα Συνδυασµός τεχνολογιών εξόρυξης γνώσης και τεχνικής ανάλυσης 7 ιαθέσιµα δεδοµένα από ΧΑΑ Κατηγοριοποίηση των µετοχών Κλάδοι Κατηγοριοποίηση των µετοχών είκτες Εταιρία Μετοχή εδοµένα στο τέλος κάθε ηµέρας: Τιµή µετοχής Κλείσιµο Ανώτερη και κατώτερη τιµή στην διάρκεια της ηµέρας Όγκος και αξία των συναλλαγών 8

5 Ηπροτεινόµενη λύση Στόχος: η ανάπτυξη ενός πρωτότυπου συστήµατος για συλλογή, ανάλυση και αξιοποίηση χρηµατιστηριακών δεδοµένων. Θα περιλαµβάνει δυο βασικές λειτουργίες: ιαχείριση χαρτοφυλακίου Ανάλυση δεδοµένων Ώστε (ιδεατά) να µπορεί ο χρήστης να παίρνει συµβουλές σχετικά µε συναλλαγές που πιθανότατα θα του αποφέρουν κέρδος 9 Γενική Αρχιτεκτονική 10

6 Γενική Αρχιτεκτονική 11 Περιγραφή του Έργου Βασικά εργαλεία: Πλατφόρµα ανάπτυξης:.net Βάση εδοµένων: Microsoft SQL Server (2005 ή 2008) Ανάλυση δεδοµένων: Microsoft SQL Server BI Suite 12

7 Tasks προς ανάπτυξη Task 1 - ιαχειριστικό περιβάλλον Ορισµός και βασική διαχείριση χαρτοφυλακίου Ενηµέρωση τοπικής βάσης δεδοµένων µε στοιχεία από το ΧΑΑ Task 2 - Λειτουργικότητα Αποθήκευσης και Ανάλυσης Συγκεντρωτικών εδοµένων Cubes, OLAP, Reporting, Task 3 - Λειτουργικότητα Εξόρυξης Γνώσης Εύρεση / οπτικοποίηση συστάδων Εύρεση χρονικών συσχετίσεων (συχνών επεισοδίων) Εντοπισµός ασυνήθιστων / ανώµαλων καταγραφών (outliers) Task 4 - Αξιολόγηση και αξιοποίηση αποτελεσµάτων ανάλυσης 13 Project: Seismo-Surfer συλλογή και ποιοτική ανάλυση σεισµολογικών δεδοµένων Γεράσιµος Μαρκέτος (marketos@unipi.gr) Οµάδα ιαχείρισης εδοµένων, Πανεπιστήµιο Πειραιώς

8 Εισαγωγή & Κίνητρο Τα σεισµολογικά δεδοµένα συλλέγονται από επιστήµονες προκείµενου να µελετηθεί η τεκτονική δραστηριότητα Η αποτελεσµατική διαχείριση και ανάλυση σεισµολογικών δεδοµένων ενδιαφέρει: Επιστήµονες γεωφυσικών επιστηµών Οργανισµούς ηµόσιου Τοµέα Απλούς χρήστες Τα σεισµολογικά δεδοµένα αποτελούνται από διάφορους τύπους δεδοµένων: Αλφαριθµητικά (π.χ. µέγεθος σεισµού) Χωρικά (π.χ. θέση επικέντρου) Χρονικά (χρονική στιγµή συµβάντος) 15 Ηπροτεινόµενη λύση Στόχος: η ανάπτυξηενόςπρωτότυπουσυστήµατος ιαχείρισης και Εξόρυξης Σεισµολογικών εδοµένων που θα βασίζεται σε µια σειρά από τεχνολογίες: Μη παραδοσιακές Βάσεις εδοµένων (χωρο-χρονικές) Αποθήκευση εδοµένων (Data warehousing) Εξόρυξη Γνώσης (Data mining) σε ένα περιβάλλον που θα είναι φιλικό για τον χρήστη 16

9 ΗαρχιτεκτονικήτουSeismo-Surfer 17 Seismo-Surfer Portal 18

10 19 1) Spatio-temporal queries 20

11 1a) Closest-pair queries 21 2) Clustering 22

12 3) Plotting facilities 23 Περιγραφή του Έργου Θα βασίζεται σε Web τεχνολογίες Βασικά εργαλεία: Πλατφόρµα ανάπτυξης: Java Οπτικοποίηση: Google Maps Βάση εδοµένων: Oracle Database (10g / 11g) Ανάλυση δεδοµένων: Oracle Business Intelligence Suite 24

13 Tasks προς ανάπτυξη Task 1: Αποθήκευση και Ανάλυση Συγκεντρωτικών εδοµένων Cubes, OLAP, Reporting, Task 2: Λειτουργικότητα Εξόρυξης Γνώσης Εύρεση / οπτικοποίηση συστάδων Εύρεση χρονικών συσχετίσεων Εντοπισµός φαινοµένων, π.χ. Σεισµικές ακολουθίες (κύριος σεισµός, µετασεισµοί) Ασυνήθιστες / ανώµαλες καταγραφές (outliers) 25 Tasks προς ανάπτυξη Task 1: Νέο Interface µε χρήση Google Maps Οπτικοποίηση αποτελεσµάτων ερωτηµάτων κτλ Task 2: Αποθήκευση και Ανάλυση Συγκεντρωτικών εδοµένων Κύβοι, OLAP, 26

14 Tasks προς ανάπτυξη Task 3: Νέο Interface µε χρήση Google Maps Οπτικοποίηση αποτελεσµάτων ερωτηµάτων κτλ Task 4: Εµπλουτισµός εσωτερικών λειτουργιών Crawler συγκέντρωση σχετικού υλικού από ΜΜΕ Personalization προσαρµογήλειτουργιώνστοπροφίλτου χρήστη 27 Project: Easy-Miner Γεράσιµος Μαρκέτος Οµάδα ιαχείρισης εδοµένων, Πανεπιστήµιο Πειραιώς

15 Εισαγωγή & Κίνητρο Ο Easy-Miner φιλοδοξεί να αποτελέσει µια ολοκληρωµένη και αποτελεσµατική πλατφόρµα ανάλυσης δεδοµένων µε χρήση σύγχρονων τεχνολογιών Business Intelligence Απευθύνεται σε διαφορετικές κατηγορίες χρηστών: ΒΙ Experts που θα είναι υπεύθυνοι για τη προσαρµογή του στις εκάστοτε απαιτήσεις Αναλυτές που θα χρησιµοποιούν τη παρεχόµενη λειτουργικότητα Τελικοί χρήστες που θα έχουν πρόσβαση σε συγκεκριµένες αναφορές, KPIs κτλ Καλύπτει όλα τα επίπεδα λήψης απόφασης: Στρατηγικό (strategic BI) Τακτικό (tactical BI) Επιχειρησιακό (operational BI) 29 Γενική Αρχιτεκτονική 30

16 Περιγραφή του Έργου Βασικά εργαλεία: Πλατφόρµα ανάπτυξης:.net Βάση εδοµένων: Microsoft SQL Server (2005 ή 2008) Ανάλυση δεδοµένων: Microsoft SQL Server BI Suite 31 Tasks προς ανάπτυξη Task 1 - ιαχειριστικό περιβάλλον Ορισµός dashboards για γρήγορη πληροφόρηση Ορισµός χρηστών και δικαιωµάτων πρόσβασης Task 2 - Λειτουργικότητα Αποθήκευσης και Ανάλυσης Συγκεντρωτικών εδοµένων Cubes, OLAP, Reporting, ιαχείριση KPIs Task 3 - Λειτουργικότητα Εξόρυξης Γνώσης Εύρεση / οπτικοποίηση συστάδων Εύρεση κανόνων συσχετίσεων (χωρίς / µε χρονική διάσταση) Εντοπισµός ασυνήθιστων / ανώµαλων καταγραφών (outliers) 32

17

18 Project: Mobile Analytics Γεράσιµος Μαρκέτος Οµάδα ιαχείρισης εδοµένων, Πανεπιστήµιο Πειραιώς Εισαγωγή & Κίνητρο Κίνητρο Κινητά τηλέφωνα και άλλες ασύρµατες συσκευές µας δίνουν τη δυνατότητα να συλλέγουµε δεδοµένα θέσης Οι σηµερινές BI τεχνικές δεν µπορούν να χειριστούν αποτελεσµατικά το νέο αυτό τύπο δεδοµένων (χωροχρονικά δεδοµένα) Υπάρχει αναγκαιότητα για Real-time ανάλυση της πληροφορίας Πρόταση Επέκταση των παραδοσιακών τεχνικών εξόρυξης γνώσης και αποθηκών δεδοµένων Mobile Analytics: το σύνολο των τεχνικών που επεξεργάζονται και αναλύουν δεδοµένα θέσης/τροχιές αντικειµένων 36

19 Το έργο GeoPKDD Bandwidth/Power optimization Mobile cells planning Traffic Management Accessibility of services Mobility evolution Urban planning. Aggregative Location-based services Telecommunication provider interpretation visualization Public administration or business companies Privacy-aware Data mining GeoKnowledge trajectory reconstruction p(x)=0.02 ST patterns warehouse Trajectory warehouse Privacy enforcement 37 Γενική Αρχιτεκτονική data analyst (desktop) location data (obj-id, x, y, t) (not trajectories) are generated data producers (mobile) web service Trajectory warehouse trajectory data cube trajectory database custom s/w trajectory stream manager GIS infrastructure (road network, etc.) is considered geolayers aggregated trajectory data are computed (ETL procedure) trajectory data (obj-id, traj-id, (x, y, t) + ) are reconstructed 38

20 Ηπροτεινόµενη λύση Στόχος: η ανάπτυξησυστήµατος ανάλυσης δεδοµένων τροχιών αντικειµένων µε σύγχρονες τεχνολογίες: Αποθήκευσης εδοµένων (Trajectory Data Warehousing) Εξόρυξης Γνώσης από δεδοµένα (Trajectory Data Mining) 39 Περιγραφή του Έργου Θα βασίζεται σε Web τεχνολογίες Βασικά εργαλεία: Πλατφόρµα ανάπτυξης:.net / Java Οπτικοποίηση: Google Maps Βάση εδοµένων: Oracle Database (10g / 11g) Ανάλυση δεδοµένων: Oracle Business Intelligence Suite 40

21 Tasks προς ανάπτυξη Task 1: Αποθήκευση και Ανάλυση Συγκεντρωτικών εδοµένων Cubes, OLAP, Reporting, Task 2: Λειτουργικότητα Εξόρυξης Γνώσης Εύρεση / οπτικοποίηση συστάδων Εύρεση αντιπροσωπευτικών τροχιών = cell 41 Tasks προς ανάπτυξη Πρόβλεψη µελλοντικής θέσης 20% 7%? 5% 60% 8% Task 3: Οπτικοποίηση µε χρήσηgoogle Maps Οπτικοποίηση τροχιών, αποτελεσµάτων ερωτηµάτων, ανάλυσης κτλ GeoPKDD - An Overview 42

22 NetFlix Competition πρόβλεψη συµπεριφοράς χρηστών «µε βάσητιςπροτιµήσεις σε ταινίες ενός χρήστη, πρόβλεψε κατά πόσο θα του αρέσει µία νέα ταινία» Ειρήνη Ντούτση Οµάδα ιαχείρισης εδοµένων, Τµήµα Πληροφορικής, Πανεπιστήµιο Πειραιώς Ο διαγωνισµός NetFlix Οκτώβριος 2006 Οκτώβριος 2011 Χρηµατικό έπαθλο $1 εκατοµµύριο δολάρια για βελτίωση της απόδοσης του τρέχοντος NetFlix ταξινοµητή κατά 10% Στόχος είναι να δηµιουργηθεί ένας ταξινοµητής (classifier) που θα προβλέπει σε τι βαθµό θααρέσειµία ταινία σε ένα χρήστη. Ένα σύνολο δεδοµένων από προτιµήσεις χρηστών (training set) δίνεται από τους διοργανωτές και µε βάσηαυτόθαπρέπεινα χτιστεί ένα µοντέλο πρόβλεψης, το οποίο στη συνέχεια θα πρέπει να αξιολογηθεί µε βάσηένασύνολοδεδοµένων ελέγχου (test set) που επίσης δίνεται από τους διοργανωτές.

23 ιαθέσιµα δεδοµένα εδοµένα εκπαίδευσης (training set): ένα σύνολο από χρήστες και οι βαθµολογίες (1,2,3,4,5 αστέρια) που έδωσαν αυτοί στις ταινίες. > βαθµολογίες από τυχαία επιλεγµένους χρήστες για περίπου ταινίες εδοµένα ελέγχου (test set): ένα σύνολο της µορφής (χρήστης, ταινία) µεβάσητα οποία θα αξιολογηθεί η ποιότητα του ταξινοµητή. >2.8 εκατοµµύρια ζεύγη της µορφής (πελάτης, ταινία) χωρίς όµως τη βαθµολογία του πελάτη για την εν λόγω ταινία. 45 Γιατί χρειάζεται ένας ταξινοµητής Παροχή πιο «εξατοµικευµένων» υπηρεσιών στους χρήστες, π.χ. αν κάποιον δεν αρέσουν τα θρίλερ µην κάνεις τον κόπο να του προτείνεις κάποια ταινία αυτού του είδους Στοχευόµενη διαφήµιση 46

24 Οσκοπόςµας Να αναπτύξουµεένακαλόµοντέλο πρόβλεψης για τις προτιµήσεις των χρηστών Περιγραφή του Έργου Αν και περιβάλλον ανάπτυξης θα το αποφασίσουµεαπόκοινού, υπάρχουν κάποιες σκέψεις: Java oriented: Weka για την ανάλυση δεδοµένων Java για development Microsoft oriented: Μicrosoft SQL Server BI Suite για την ανάλυση δεδοµένων για development 48

25 Επιµέρους εργασίες / tasks Task 1 Κατανόηση προβλήµατος Ποιο είναι το πρόβληµα Γνωριµία µε ταδεδοµένα που έχουµε στηδιάθεσήµας Τι έχει γίνει από άλλες οµάδες Task 2 ηµιουργία µοντέλου πρόβλεψης έντρα απόφασης (Decision trees) Ensembles of decision trees Νευρωνικά δίκτυα (Neural Networks) Συστάδες (Clustering) άλλες τεχνικές Task 3 - Αξιολόγηση αποτελεσµάτων ανάλυσης Τα tasks 1,3 είναι κοινά για όλες τις οµάδες, ενώ για το task 2 κάθε οµάδα µπορεί να επιλέξει διαφορετικό µοντέλο πρόβλεψης 49 Εξόρυξη γνώσης από κείµενα εφαρµογή τεχνικών εξόρυξης γνώσης σε δεδοµένα κειµένου Ειρήνη Ντούτση (ntoutsi@unipi.gr) Οµάδα ιαχείρισης εδοµένων, Τµήµα Πληροφορικής, Πανεπιστήµιο Πειραιώς

26 Εισαγωγή & Κίνητρο H πλειοψηφία των δεδοµένων σήµερα (περίπου το 80% του όγκου των δεδοµένων) διατίθενται µε τηµορφή µη δοµηµένων κειµένων s, Websites, Blogs, Chats Επιστηµονικές εργασίες, ηλεκτρονικά βιβλία Εταιρικά έγγραφα το ποσοστό αυτό αναµένεται να αυξάνεται συνεχώς λόγω της εξάπλωσης της χρήσης του διαδικτύου και της ηλεκτρονικής επικοινωνίας. Συνεπώς, υπάρχει ανάγκη για εξόρυξη γνώσης από τον τεράστιο όγκο δεδοµένων σε µορφή κειµένου και ο στόχος αυτής της εργασίας είναι η εξοικείωση µε τέτοιες τεχνικές Επιµέρους εργασίες / tasks - 1 Task 1 Αξιολόγηση άρθρων Αναφέρεται ένα άρθρο µε θετικό ή αρνητικό τρόπο σε ένα θέµα; Εφαρµογή 1: σχόλια σε ταινίες (π.χ. athinorama) Ποια σχόλια αναφέρονται θετικά/ αρνητικά σε µία ταινία Εφαρµογή 2: ειδήσεις π.χ. αθλητικά Ποια άρθρα αναφέρονται µε θετικότρόποστοθέµα π.χ. «προπονητής ολυµπιακού» Task 2 Περίληψη άρθρου (document summarization) Εξαγωγή µίας σύνοψης/ περίληψης από ένα άρθρο ή από µία οµάδα άρθρων Στόχος είναι η µείωση του όγκου ενός άρθρου, χωρίς ωστόσο να χαθεί σηµαντική πληροφορία Εφαρµογή: δεδοµένα ειδήσεων, επιστηµονικά άρθρα

27 Επιµέρους εργασίες / tasks Task 3 Κατηγοριοποίηση κειµένου (document categorization) οθέντος ενός συνόλου από προκαθορισµένες κατηγορίες ανέθεσε νέα άρθρα σε κάποια από τις κατηγορίες αυτές Εφαρµογή: δεδοµένα ειδήσεων, επιστηµονικά άρθρα Task 4 Οµαδοποίηση κειµένων (document clustering) Οµαδοποίησε ένα σύνολο άρθρων σε οµάδες µεβάσητηνοµοιότητά τους. Εφαρµογή: δεδοµένα ειδήσεων, επιστηµονικά άρθρα