Αποθήκες εδοµένων και Εξόρυξη Γνώσης (Data Warehousing & Data Mining)

Σχετικά έγγραφα
MBR Ελάχιστο Περιβάλλον Ορθογώνιο (Minimum Bounding Rectangle) Το µικρότερο ορθογώνιο που περιβάλλει πλήρως το αντικείµενο 7 Παραδείγµατα MBR 8 6.

Πανεπιστήµιο Πειραιώς Τµήµα Πληροφορικής. Εξόρυξη Γνώσης από εδοµένα (Data Mining) Συσταδοποίηση. Γιάννης Θεοδωρίδης

ΜΕΡΟΣ Ι: ΓΕΩΓΡΑΦΙΚΑ Ε ΟΜΕΝΑ ΚΑΙ ΣΥΣΤΗΜΑΤΑ ΓΕΩΓΡΑΦΙΚΩΝ ΠΛΗΡΟΦΟΡΙΩΝ Η ΦΥΣΗ ΤΩΝ ΓΕΩΓΡΑΦΙΚΩΝ Ε ΟΜΕΝΩΝ...

Εξόρυξη Γνώσης από εδοµένα (Data Mining)

Βάσεις εδοµένων & Πολυµέσα

Αποθήκες Δεδομένων και Εξόρυξη Δεδομένων:

Αποθήκες Δεδομένων και Εξόρυξη Δεδομένων:

Γιάννης Θεοδωρίδης. Εργαστήριο Πληροφοριακών Συστηµάτων.

Εξόρυξη Δεδομένων. Συσταδοποίηση: Βασικές Έννοιες και Μέθοδοι

Clustering. Αλγόριθµοι Οµαδοποίησης Αντικειµένων

Τι προσφέρουν τα Τµήµατα Πληροφορικής. ... το Εργαστήριο Πληροφοριακών Συστηµάτων του Πα.Πει. Ερευνητικές δραστηριότητες σε GI Ενδεικτικές εργασίες

Ανακάλυψη κανόνων συσχέτισης από εκπαιδευτικά δεδομένα

ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ. Κατηγοριοποίηση. Αριστείδης Γ. Βραχάτης, Dipl-Ing, M.Sc, PhD

Αποθήκες Δεδομένων και Εξόρυξη Δεδομένων

Η κατεύθυνση "Πληροφοριακά Συστήµατα"

Αποθήκες Δεδομένων και Εξόρυξη Δεδομένων:

Επιβλέπων καθηγητής: Βασίλειος Μεγαλοοικονόμου

Αποθήκες Δεδομένων και Εξόρυξη Δεδομένων

Αποθήκες Δεδομένων και Εξόρυξη Δεδομένων:

Οργάνωση Γεωγραφικών. πληροφοριών

GIS: Εισαγωγή στα Γεωγραφικά Συστήµατα Πληροφοριών

Κεφάλαιο 20. Ανακάλυψη Γνώσης σε Βάσεις δεδοµένων. Τεχνητή Νοηµοσύνη - Β' Έκδοση Ι. Βλαχάβας, Π. Κεφαλάς, Ν. Βασιλειάδης, Φ. Κόκκορας, Η.

ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ. Ανίχνευση συστάδων µε τον αλγόριθµο STING για εφαρµογές spatial data mining από συστήµατα χωρικών δεδοµένων

Τεχνικές Μείωσης Διαστάσεων. Ειδικά θέματα ψηφιακής επεξεργασίας σήματος και εικόνας Σ. Φωτόπουλος- Α. Μακεδόνας

Εξόρυξη Γνώσης µε SQL Server 2005 Analysis Services

ΔΙΑΧΩΡΙΣΤΙΚΗ ΟΜΑΔΟΠΟΙΗΣΗ

Εισαγωγή στη χρήση των Συστηµάτων Γεωγραφικής Πληροφορίας

Πίνακας περιεχοµένων

Γεωγραφικά Πληροφοριακά Συστήµατα (Geographical Information Systems GIS)

Αποθήκες Δεδομένων και Εξόρυξη Δεδομένων

Μεθοδολογίες παρεµβολής σε DTM.

Εξόρυξη Γνώσης από Βιολογικά εδομένα

Αλγόριθμοι Εξόρυξης Χωρικών εδομένων

Εξόρυξη Γνώσης από εδοµένα (Data Mining) Συσταδοποίηση

Αναλυτικές λειτουργίες ΣΓΠ

Μεταπτυχιακό Πρόγραμμα «Γεωχωρικές Τεχνολογίες» Ψηφιακή Επεξεργασία Εικόνας. Εισηγητής Αναστάσιος Κεσίδης

Ομαδοποίηση ΙΙ (Clustering)

Εξόρυξη Γνώσης από εδοµένα (Data Mining)

Αποθήκες Δεδομένων και Εξόρυξη Δεδομένων

ΠΛΑΙΣΙΑ. Τα πλαίσια έχουν:

ΟΜΑΔΕΣ. Δημιουργία Ομάδων

Μορφές των χωρικών δεδομένων

Εφαρµογές γεωγραφικών επεξεργασιών

Προεπεξεργασία Δεδομένων. Αποθήκες και Εξόρυξη Δεδομένων Διδάσκουσα: Μαρία Χαλκίδη

Ευρετήρια. Ευρετήρια. Βάσεις Δεδομένων : Ευρετήρια 1

14/10/2005. <id, ts, x, y> (online). (single-pass). Potamias-abstract.pdf

Μέθοδοι Μηχανών Μάθησης για Ευφυή Αναγνώριση και ιάγνωση Ιατρικών εδοµένων

ΕΙΣΑΓΩΓΗ ΣΤΙΣ Β ΣΕ Ε Σ Ι ΟΜΕΝ

Copyright 2007 Ramez Elmasri and Shamkant B. Navathe, Ελληνική Έκδοση, ίαυλος ιαφάνεια 29-1

Αποθήκες εδομένων και Εξόρυξη εδομένων:

Απαλλακτικές εργασίες στα πλαίσια του µαθήµατος «Αποθήκες εδοµένων & Εξόρυξη Γνώσης» Άνοιξη 2008

Ευρετήρια. Ευρετήρια. Βάσεις Δεδομένων : Ευρετήρια 1

ΜΕΤΑΒΑΤΙΚΕΣ ΠΡΟΫΠΟΘΕΣΕΙΣ ΑΠΟΚΤΗΣΗΣ ΠΤΥΧΙΟΥ

Οι διαθέσιμες μέθοδοι σε γενικές γραμμές είναι:

Χειρισμός Ανάλυση Δεδομένων

ΣΥΣΤΑΔΟΠΟΙΗΣΗ ΙΙ


Πανεπιστήµιο Πειραιώς Τµήµα Πληροφορικής. Εξόρυξη Γνώσης από εδοµένα (Data Mining) Συσταδοποίηση. Γιάννης Θεοδωρίδης

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕΔΟΝΙΑΣ

ΤΕΧΝΟΛΟΓΙΚΟ ΕΚΠΑΙΔΕΥΤΙΚΟ ΙΔΡΥΜΑ ΚΑΒΑΛΑΣ ΣΧΟΛΗ ΔΙΟΙΚΗΣΗΣ ΚΑΙ ΟΙΚΟΝΟΜΙΑΣ ΤΜΗΜΑ ΔΙΑΧΕΙΡΙΣΗΣ ΠΛΗΡΟΦΟΡΙΩΝ

Ευρετήρια. Βάσεις Δεδομένων Ευαγγελία Πιτουρά 1

P-Μiner : ιαχείριση Πυλών Καταλόγων (Portals) µε Υποστήριξη ιαδικασιών Εξόρυξης εδοµένων Χρήσης

Κοινωνικά Δίκτυα Αναζήτηση Πληροφοριών σε Δίκτυα

ΠΜΣ Πληροφορικής Πανεπιστηµίου Πειραιά. Εξόρυξη Γνώσης από εδοµένα (Data Mining) Εισαγωγή. Γιάννης Θεοδωρίδης

ΓΕΩΓΡΑΦΙΚΑ ΣΥΣΤΗΜΑΤΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΧΑΡΤΟΓΡΑΦΗΣΗ ΦΥΣΙΚΩΝ ΠΟΡΩΝ

Κωδικός μαθήματος: (ώρες):

Τι είναι τα Συστήµατα Γεωγραφικών Πληροφοριών. (Geographical Information Systems GIS)

14Ιαν Νοε

Κεφ.11: Ευρετήρια και Κατακερματισμός

ΜΑΘΗΜΑ 6. Σχήµατα ιαλειτουργικότητας Μεταδεδοµένων. Το RDF Το Warwick Framework. Ιόνιο Πανεπιστήµιο - Τµήµα Αρχειονοµίας - Βιβλιοθηκονοµίας

Μέρος των διαφανειών είναι από το P.-N. Tan, M.Steinbach, V. Kumar, «Introduction to Data Mining», Addison Wesley, Τι είναι συσταδοποίηση

Κατάλογος Πινάκων Κατάλογος Σχημάτων Κατάλογος Χαρτών Κατάλογος Συντομογραφιών. Κεφάλαιο 1: Εισαγωγή 1

Ανάλυση και Σχεδιασµός Πληροφοριακών Συστηµάτων

Περιγραφή των Δεδομένων

Παράδειγµα (4) Στοιχεία Θεωρίας Γραφηµάτων (2) Ορέστης Τελέλης. Τµήµα Ψηφιακών Συστηµάτων, Πανεπιστήµιο Πειραιώς. v 2. u 3.

Τα δεδοµένα συνήθως αποθηκεύονται σε αρχεία στο δίσκο Για να επεξεργαστούµε τα δεδοµένα θα πρέπει αυτά να βρίσκονται στη

Multimedia IR. εικτοδότηση και Αναζήτηση. Ανάκτηση Πληροφορίας

ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ. Γραφο-θεωρητικές µέθοδοι συσταδοποίησης και ο αλγόριθµος Jarvis-Patrick σε βάσεις δεδοµένων Oracle

Χωρικές και Πολυμεσικές Βάσεις Δεδομένων (ΠΜΣ) Ενδεικτικές ερωτήσεις-θέματα για την εξέταση της θεωρίας

Ποσοτικοποίηση πολυμεταβλητής συνάφειας σε γεωχωρικά δεδομένα με τη χρήση ΕΛ/ΛΑΚ

Multimedia IR. Εισαγωγή. Εισαγωγή. εικτοδότηση και Αναζήτηση

Μη κατευθυνόµενα γραφήµατα. Στοιχεία Θεωρίας Γραφηµάτων (1) Υπογραφήµατα.

Αναλυτικές λειτουργίες ΓΠΣ

Μηχανική Λογισμικού για Διαδικτυακές & Φορητές Εφαρμογές

Στοιχεία Θεωρίας Γραφηµάτων (2)

ιαδίκτυα & Ενδοδίκτυα Η/Υ

ΜΕΡΟΣ Ι: Εισαγωγικά 1 ΕΙΣΑΓΩΓΗ...3

Διδάσκοντες: Μαρία Χαλκίδη

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

Εξαγωγή Μετασχηματισμός Εισαγωγή Δεδομένων στην Αποθήκη Πληροφοριών (ETL) ETL) Αριστομένης Μακρής

Περιβαλλοντική πληροφορική - Ευφυείς εφαρµογές

Η εκπόνηση της εργασίας θα γίνει σε ομάδες των 2-3 ατόμων

Περιεχόµενα. ΜΕΡΟΣ Α: Επίλυση Προβληµάτων... 17

Υλοποίηση του αλγορίθμου DBSCAN και η εφαρμογή του σε δεδομένα της αγοράς

Γεωγραφικά Συστήματα Πληροφοριών Τριμεταβλητές παράμετροι

ΕΣΜΗΣ ΠΡΟΓΡΑΜΜΑΤΩΝ ΓΙΑ ΕΡΕΥΝΑ ΤΕΧΝΟΛΟΓΙΚΗ ΑΝΑΠΤΥΞΗ ΚΑΙ ΚΑΙΝΟΤΟΜΙΑ

Βάσεις εδοµένων. Βασίλειος Βεσκούκης, Εµµ. Στεφανάκης ΣΥΣΤΗΜΑΤΑ ΙΑΧΕΙΡΙΣΗΣ ΒΑΣΕΩΝ Ε ΟΜΕΝΩΝ

Λογικός Σχεδιασµός Σχεσιακών Σχηµάτων: Αποσύνθεση. Βάσεις εδοµένων Ευαγγελία Πιτουρά 1

Τεχνικές Προσπέλασης σε Πολυδιάστατες Βάσεις εδοµένων µε χρήση ένδρων (R-trees,

Κατευθυνόµενα γραφήµατα. Στοιχεία Θεωρίας Γραφηµάτων (1) Πολυγραφήµατα (Multigraphs)

Transcript:

Πανεπιστήµιο Πειραιώς Τµήµα Πληροφορικής Αποθήκες εδοµένων και Εξόρυξη Γνώσης (Data Warehousing & Data Mining) Εξόρυξη Γνώσης από Χωρικά εδοµένα (spatial data mining) Γιάννης Θεοδωρίδης, Νίκος Πελέκης Οµάδα ιαχείρισης εδοµένων Εργαστήριο Πληροφοριακών Συστηµάτων http://isl.cs.unipi.gr/db Περιεχόµενα Χωρικά δεδοµένα και εφαρµογές εξόρυξης γνώσης Γενίκευση / Εξειδίκευση (προοδευτική βελτίωση) Ανακάλυψη κανόνων χωρικών συσχετίσεων Χωρική κατηγοριοποίηση Χωρική συσταδοποίηση 2 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης 9.1

Περιεχόµενα Χωρικά δεδοµένα και εφαρµογές εξόρυξης γνώσης Γενίκευση / Εξειδίκευση (προοδευτική βελτίωση) Ανακάλυψη κανόνων χωρικών συσχετίσεων Χωρική κατηγοριοποίηση Χωρική συσταδοποίηση 3 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης Χωρικό Αντικείµενο Περιγράφεται από χωρικά και µη χωρικάγνωρίσµατα. Σε αυτά µπορεί να περιλαµβάνεται κάποιος τύπος σχετικός µε θέση: Γεωγραφικό Μήκος και Πλάτος Ταχυδροµικός Κωδικός ιεύθυνση Η ανάκτηση του αντικειµένου θα πρέπει να είναι δυνατή µε χρήση χωρικών ή/και µη χωρικών γνωρισµάτων 4 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης 9.2

Εφαρµογές εξόρυξης γνώσης από χωρικά δεδοµένα Γεωλογία Συστήµατα Γεωγραφικών Πληροφοριών (GIS) Περιβαλλοντολογική Επιστήµη Γεωργία Ιατρική Ροµποτική Οπουδήποτε συνδυάζεται η χρονική µε τηχωρικήδιάσταση 5 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης Απόσταση µεταξύ Αντικειµένων Σηµειακά αντικείµενα: Ευκλείδεια, Manhattan,... Μη σηµειακά αντικείµενα: 6 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης 9.3

Περιεχόµενα Χωρικά δεδοµένα και εφαρµογές εξόρυξης γνώσης Γενίκευση / Εξειδίκευση (προοδευτική βελτίωση) Ανακάλυψη κανόνων χωρικών συσχετίσεων Χωρική κατηγοριοποίηση Χωρική συσταδοποίηση 7 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης Προοδευτική Βελτίωση ίνει προσεγγιστικές απαντήσεις, προτού αναζητηθούν πιο ακριβείς. Φιλτράρει τα δεδοµένα που δεν είναι εφαρµόσιµα σε ένα πρόβληµα. Τα ιεραρχικά επίπεδα βασίζονται σε χωρικές συσχετίσεις. Τα κατηγορήµατα που εξάγονται βελτιώνονται αναδροµικά έως ότου βρεθούν οι ακριβείς απαντήσεις. 8 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης 9.4

Προοδευτική Βελτίωση 9 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης STING STatistical Information Grid-based Χρησιµοποιεί µια ιεραρχική τεχνική για τη διαίρεση των χωρικών περιοχών σε ορθογώνια κελιά Κάθε κόµβος στη δοµή πλέγµατος συνοψίζει την πληροφορία για τα στοιχεία εντός της. Μπορεί να θεωρηθεί ως τεχνική ιεραρχικής συσταδοποίησης 10 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης 9.5

STING 11 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης ΟΑλγόριθµος STING Build 12 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης 9.6

ΟΑλγόριθµος STING 13 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης Περιεχόµενα Χωρικά δεδοµένα και εφαρµογές εξόρυξης γνώσης Γενίκευση / Εξειδίκευση (προοδευτική βελτίωση) Ανακάλυψη κανόνων χωρικών συσχετίσεων Χωρική κατηγοριοποίηση Χωρική συσταδοποίηση 14 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης 9.7

Παραδείγµατα Κανόνας χωρικού χαρακτηριστικού Στο Dallas το µέσο οικογενειακό εισόδηµα είναι $50,000. Κανόνας χωρικού διαχωρισµού Στο Dallas το µέσο οικογενειακό εισόδηµα είναι$50,000, ενώ στο Plano είναι $75,000. Κανόνας χωρικής συσχέτισης Στο Dallas το µέσο οικογενειακό εισόδηµα για οικογένειες που ζουν κοντά στη White Rock Lake είναι $100,000. 15 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης Κανόνες Χωρικών Συσχετίσεων Είτε το πρότερο είτε το απότοκο του κανόνα πρέπει να περιέχει κάποια χωρικά κατηγορήµατα (π.χ. κοντά) Η βάση που εξετάζεται θεωρείται ως ένα σύνολο από χωρικά αντικείµενα. Οι κανόνες µπορούν να δηµιουργηθούν χρησιµοποιώντας τεχνικές προοδευτικής βελτίωσης. 16 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης 9.8

Αλγόριθµος ανακάλυψης κανόνων χωρικών συσχετίσεων 17 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης Περιεχόµενα Χωρικά δεδοµένα και εφαρµογές εξόρυξης γνώσης Γενίκευση / Εξειδίκευση (προοδευτική βελτίωση) Ανακάλυψη κανόνων χωρικών συσχετίσεων Χωρική κατηγοριοποίηση Χωρική συσταδοποίηση 18 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης 9.9

Χωρική Κατηγοριοποίηση Στοχεύει στη διαµέριση συνόλων χωρικών αντικειµένων Μπορεί να γίνει κατηγοριοποίηση µε χρήσηµη χωρικώνή/ και χωρικών γνωρισµάτων. Τεχνικές γενίκευσης και προοδευτικής βελτίωσης µπορούν να χρησιµοποιηθούν. 19 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης Επέκταση του ID3 Γράφος Γειτνίασης Κόµβοι αντικείµενα Ακµές συνδέουν γείτονες Οορισµός του «γείτονα» ποικίλει. Μπορεί να οριστεί βάσει οποιασδήποτε συσχέτισης µεταξύ των χωρικών αντικειµένων. Ο ID3 θεωρεί για σκοπούς κατηγοριοποίησης τα µη χωρικά γνωρίσµατα όχι µόνο του αντικείµενου-στόχου αλλά και των γειτονικών αντικειµένων. 20 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης 9.10

ένδρο Χωρικής Απόφασης Παρόµοια προσέγγιση µε αυτήπουχρησιµοποιείται στους κανόνες χωρικών συσχετίσεων. Βασίζεται στο ότι τα χωρικά αντικείµενα µπορούν να περιγραφούν βάση των αντικειµένων που είναι κοντά σε αυτά Ενδιάµεση Ζώνη. Περιγραφή των κλάσεων βασισµένη σε µια συνάθροιση των πιο σχετικών κατηγορηµάτων για κοντινά αντικείµενα. 21 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης ΟΑλγόριθµος του ένδρου Χωρικής Απόφασης 22 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης 9.11

Περιεχόµενα Χωρικά δεδοµένα και εφαρµογές εξόρυξης γνώσης Γενίκευση / Εξειδίκευση (προοδευτική βελτίωση) Ανακάλυψη κανόνων χωρικών συσχετίσεων Χωρική κατηγοριοποίηση Χωρική συσταδοποίηση 23 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης Χωρική Συσταδοποίηση Εντοπίζουν συστάδες από διαφορετικά σχήµατα. Ένας αλγόριθµος που δουλεύει χρησιµοποιώντας κέντρα βάρους και απλές µετρήσεις απόστασης πιθανόν δεν θα είναι σε θέση να αναγνωρίζει ασυνήθιστα σχήµατα. Οι συστάδες πρέπει να προκύπτουν ανεξάρτητα της σειράς µε την οποία εξετάστηκαν τα σηµεία στο χώρο. 24 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης 9.12

DBCLASD Επέκταση του αλγορίθµου DBSCAN Distribution Based Clustering of LArge Spatial Databases (συσταδοποίηση µεγάλων βάσεων χωρικών δεδοµένων βασισµένη σε κατανοµές) Υποθέτει ότι τα στοιχεία εντός µιαςσυστάδαςείναι οµοιόµορφα κατανεµηµένα. Επιχειρεί να προσδιορίσει την κατανοµή που ικανοποιείται από τις αποστάσεις µεταξύ πλησιέστερων γειτόνων. Στοιχεία προστίθενται στη συστάδα, όσο το σύνολο των πλησιέστερων βάσει της απόστασης γειτόνων ικανοποιεί την υπόθεση της οµοιόµορφης κατανοµής. 25 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης ΟΑλγόριθµος DBCLASD 26 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης 9.13