Δμόξπμε Γεδνκέλσλ θαη Αλαθάιπςε Γλώζεο

Transcript

1 ΠΑΝΔΠΙΣΗΜΙΟ ΠΑΣΡΩΝ ΣΜΗΜΑ ΜΗΥ/ΚΩΝ Η/Τ & ΠΛΗΡΟΦΟΡΙΚΗ Δμόξπμε Γεδνκέλσλ θαη Αλαθάιπςε Γλώζεο

2 Κίλεηξν Γηαηί ρξεηάδεηαη ε εμόξπμε δεδνκέλσλ; Έρνπκε πνιιά δεδνκέλα αιιά κηθξή πιεξνθνξία! Πξόβιεκα έθξεμεο δεδνκέλσλ Σα εξγαιεία απηνκαηνπνηεκέλεο ζπιινγήο δεδνκέλσλ θαη ε ηειεπηαία ηερλνινγία βάζεσλ δεδνκέλσλ νδεγεί ζε έλα κεγάιν πιήζνο δεδνκέλσλ ην νπνίν απνζεθεύεηαη ζε βάζεηο δεδνκέλσλ, data warehouses θαη άιιεο απνζήθεο δεδνκέλσλ Λύζε: Δμόξπμε δεδνκέλσλ Δμόξπμε ελδηαθέξνπζαο γλώζεο (θαλόλεο, πξόηππα, πεξηνξηζκνί) από δεδνκέλα κεγάισλ βάζεσλ δεδνκέλσλ

3 1960: Δμέιημε ηεο ηερλνινγίαο βάζεσλ δεδνκέλσλ πιινγή δεδνκέλσλ, δεκηνπξγία βάζεο δεδνκέλσλ, ζπζηήκαηα δηαρείξηζεο πιεξνθνξίαο (IMS) θαη δηθηπσηέο βάζεηο δεδνκέλσλ 1970: ρεζηαθό κνληέιν δεδνκέλσλ, πινπνίεζε ζρεζηαθνύ ΓΒΓ 1980: RDBMS, πξνεγκέλα κνληέια δεδνκέλσλ (extended-relational, OO, deductive,θηι.) θαη ζπζηήκαηα πξνζαλαηνιηζκέλα ζηελ εθαξκνγή (spatial, scientific, engineering, θηι.) : Δμόξπμε δεδνκέλσλ θαη απνζεθώλ δεδνκέλσλ (Data mining, data warehousing), βάζεηο δεδνκέλσλ πνιπκέζσλ, βάζεηο δεδνκέλσλ ζην Παγθόζκην Ιζηό (Web databases)

4 Αλαθάιπςε Γλώζεο- Δμόξπμε δεδνκέλσλ ή γλώζεο Ση είλαη ανακάλςτη γνώζηρ από βάζειρ δεδομένυν (knowledge discovery from databases-kdd): Απνθάιπςε ή παξαγσγή ιεηηνπξγηθήο γλώζεο, κέζσ ηεο αλάιπζεο δεδνκέλσλ από κεγάιεο απνζήθεο δεδνκέλσλ. Δύξεζε δνκώλ γλώζεο πνπ αλαδεηθλύνπλ γλώζε (π.ρ. ζπζρεηίζεηο ή θαλόλεο) πνπ είλαη θξπκκέλε κέζα ζηα δεδνκέλα θαη δελ κπνξνύλ λα εμαρζνύλ από ηνλ άλζξσπν κε επθνιία. Αλαθέξεηαη ζηελ όιε δηαδηθαζία. Ση είλαη εξόπςξη δεδομένυν (data mining) θαη εξόπςξη γνώζηρ (knowledge mining): Σα ίδηα κε παξαπάλσ. Αλαθέξεηαη ζηηο επί κέξνπο ηερληθέο.

5 Αλαθάιπςε γλώζεο από δεδνκέλα Οξηζκόο «KDD είλαη ε ληεηεξκηληζηηθή δηαδηθαζία αλαγλώξηζεο έγθπξσλ, θαηλνηόκσλ, ελδερνκέλσο ρξήζηκσλ θαη ελ ηέιεη θαηαλνεηώλ πξνηύπσλ ζηα δεδνκέλα.» (Frawley, Piatesky-Shaphiro and Matheus, 1991). Γεδνκέλα: Οληόηεηεο ή ζπζρεηίζεηο ηνπ πξαγκαηηθνύ θόζκνπ (π.ρ., εγγξαθέο ζπλαιιαγώλ ηξαπέδεο, supermarket θιπ). Πξόηππν: Μηα έθθξαζε ζε κηα γιώζζα πνπ ραξαθηεξίδεη έλα ππνζύλνιν ησλ δεδνκέλσλ (π.ρ., έλαο θαλόλαο). Δγθπξόηεηα: Σν πξόηππν είλαη ζπλεπέο ζε λέα δεδνκέλα. Πηζαλή ρξεζηκόηεηα: Να κπνξεί λα ρξεζηκνπνηεζεί γηα θάπνην ζθνπό (π.ρ., ιήςε απνθάζεσλ). Σειηθά θαηαλνεηό: Κνηλώο θαηαλνεηό, ώζηε λα είλαη θνηλώο ρξήζηκν.

6 Ση είλαη ε εμόξπμε δεδνκέλσλ? Σώξα πνπ έρνπκε ζπιιέμεη ηόζα δεδνκέλα, ηη θάλνπκε κε απηά; Δμαγσγή σπήζιμυν πποηύπυν (απηόκαηα) πζρεηίζεηο (π.ρ., ςσκί + βνύηπξν --> γάια) Αθνινπζίεο (π.ρ., ρξνληθά δεδνκέλα πνπ ζρεηίδνληαη κε ην ρξεκαηηζηήξην) Καλόλεο πνπ δηακνηξάδνπλ ηα δεδνκέλα (π.ρ. πξόβιεκα ηνπνζεζίαο απνζήθεπζεο) Πνηα πξόηππα έρνπλ ενδιαθέπον ; Πεξηερόκελν πιεξνθνξίαο, εκπηζηνζύλε θαη ππνζηήξημε, απξόζκελν (ρξεζηκόηεηα ζηελ ιήςε απόθαζεο))

7 Γηαηί εμόξπμε δεδνκέλσλ; Πηζαλέο εθαξκνγέο Αλάιπζε βάζεο δεδνκέλσλ θαη ππνζηήξημε απόθαζεο Αλάιπζε θαη δηαρείξηζε αγνξάο Μάξθεηηλγθ ζηόρνπ, δηαρείξηζε ζε ζρέζε κε ηνλ πειάηε, αλάιπζε θαιαζηνύ αγνξώλ, cross selling, ηκεκαηνπνίεζε αγνξάο Αλάιπζε θαη δηαρείξηζε θηλδύλνπ/ξίζθνπ Πξόβιεςε, έιεγρνο πνηόηεηαο, αλάιπζε αληαγσληζκνύ Δληνπηζκόο νηθνλνκηθνύ εγθιήκαηνο Άιιεο εθαξκνγέο Δμόξπμε θεηκέλνπ (newsgroup, , documents), αλάιπζε παγθόζκηνπ ηζηνύ θαη θνηλσληθώλ δηθηύσλ. Δμόξπμε ρσξηθώλ, ρξνληθώλ θαη ρσξνρξνληθώλ δεδνκέλσλ Έμππλε απάληεζε εξσηεκάησλ

8 Αλάιπζε θαη δηαρείξηζε αγνξάο Πνηέο είλαη νη πεγέο ησλ δεδνκέλσλ γηα ηελ αλάιπζε; (Γνζνιεςίεο κε θάξηεο, εθπησηηθά θνππόληα, θιήζεηο παξαπόλσλ από πειάηεο, θιπ.) Μάξθεηηλγθ ζηόρνπ (Δύξεζε νκάδσλ κνληέισλ πειαηώλ πνπ έρνπλ θνηλά ραξαθηεξηζηηθά: εηζόδεκα, ζπλήζεο αγνξέο, θιπ.) Καζνξηζκόο πξνηύπσλ ζπλαιιαγώλ ησλ πειαηώλ κε ην ρξόλν (Μεηαηξνπή ελόο ινγαξηαζκνύ ελόο κόλν αηόκνπ ζε θνηλό: γάκνο, θιπ.) «Cross-market» αλάιπζε (πζρεηίζεηο κεηαμύ πξντόλησλ πσιήζεσλ θαη πξνβιέςεηο κε βάζεη ηηο πσιήζεηο) Πξνθίι πειάηε (Πνηα πξντόληα αγνξάδεη ν πειάηεο) Πξνζδηνξηζκόο απαηηήζεσλ πειάηε (Σα θαιύηεξα πξντόληα γηα δηαθνξεηηθνύο πειάηεο) Παξνρή ζπλνπηηθήο πιεξνθνξίαο (πνιπδηάζηαηεο αλαθνξέο multidimensional summary reports)

9 Αλάιπζε θαη δηαρείξηζε θηλδύλνπ/ξίζθνπ Οηθνλνκηθόο πξνγξακκαηηζκόο Αλάιπζε θαη πξόβιεςε θίλεζεο κεηξεηώλ Αλάιπζε ρξνλνζεηξώλ θαη cross-sectional (αλάιπζε ηάζεο (trend analysis), θιπ.) Πξνγξακκαηηζκόο πεγώλ: ύλνςε θαη ζύγθξηζε ησλ πεγώλ θαη ησλ εμόδσλ Αληαγσληζκόο: Έιεγρνο αληαγσληζηώλ θαη ηάζεσλ ηεο αγνξάο Οκαδνπνίεζε πειαηώλ θαη απόδνζε ηηκώλ κε βάζεη ηηο νκάδεο απηέο Οξηζκόο ζηξαηεγηθήο απόδνζεο ηηκώλ ζε κία ηδηαίηεξα αληαγσληζηηθή αγνξά

10 Δθαξκνγέο Δληνπηζκόο θαη δηαρείξηζε νηθνλνκηθνύ εγθιήκαηνο/aπάηεο Yγεία, ππεξεζίεο πηζησηηθώλ θαξηώλ, ηειεπηθνηλσλίεο θηι. Πξνζέγγηζε Υξήζε ηζηνξηθώλ ζηνηρείσλ γηα ηελ δόκεζε κνληέισλ θαλνληθήο θαη ιαλζαζκέλεο ζπκπεξηθνξάο θαη ρξήζε ηερληθώλ εμόξπμεο δεδνκέλσλ γηα ηνλ πξνζδηνξηζκό ιαλζαζκέλσλ ζηηγκηνηύπσλ Παξαδείγκαηα Αζθάιεηα απηνθηλήησλ: εληνπηζκόο νκάδσλ πνπ πξνθαινύλ αηπρήκαηα γηα ηελ είζπξαμε ηεο αζθάιεηαο Ξέπιπκα ρξήκαηνο: εληνπηζκόο ύπνπησλ δνζνιεςηώλ ρξεκάησλ Ιαηξηθή αζθάιεηα: εληνπηζκόο επαγγεικαηηώλ αζζελώλ, αθαηάιιεισλ ηαηξηθώλ ζεξαπεηώλ

11 Αλαθάιπςε Ιαηξηθήο/ Βηνινγηθήο Γλώζεο Αλαθάιπςε ζπζρεηίζεσλ δνκήο-ιεηηνπξγίαο Υαξηνγξάθεζε αλζξώπηλνπ εγθεθάινπ (lesion-deficit, task-activation associations) Γνκή θπηηάξνπ (cytoskeleton) θαη ιεηηνπξγηθόηεηα ή παζνινγία Γνκή θαη ιεηηνπξγηθόηεηα πξσηετλώλ Αλαθάιπςε αηηηαθώλ ζρέζεσλ (causal relationships) πκπηώκαηα θαη θιηληθέο θαηαζηάζεηο αζζελώλ Αλάιπζε αθνινπζίαο DNA Βηνπιεξνθνξηθή (microarrays, θηι.)

12 Αζιήκαηα Άιιεο εθαξκνγέο IBM Advanced Scout αλέιπζαλ ζηαηηζηηθά παηρληδηώλ ηνπ NBA (shots blocked, assists, and fouls) γηα λα θεξδίζνπλ αληαγσληζηηθό πιενλέθηεκα γηα New York Knicks θαη Miami Heat Αζηξνλνκία Σα JPL θαη Palomar Observatory αλαθάιπςαλ 22 quasars κε ηελ βνήζεηα ηεο εμόξπμεο δεδνκέλσλ Internet Web Surf-Aid IBM Surf-Aid ρξεζηκνπνίεζε data mining αιγνξίζκνπο ζε Web access logs γηα ηζηνζειίδεο αγνξάο πξνηόλησλ γηα λα αλαθαιύςνπλ πξνηηκήζεηο θαη ζπκπεξηθνξέο πειαηώλ, αλαιύνληαο ηελ απνηειεζκαηηθόηεηα ηνπ Web marketing, βειηηώλνληαο Web site organization, θιπ.

13 Αλαθάιπςε γλώζεο από δεδνκέλα Εξόπςξη δεδομένυν: ε θεληξηθή δηαδηθαζία ζηελ αλαθάιπςε γλώζεο. Αποθήκη δεδομένων Επιλεγμένα δεδομένα Επιλογή Επεξεπγαζμένα δεδομένα Εξόπςξη δεδομένων Ππόηςπα Επεξεπγαζία & Μεηαζσημαηιζμόρ Αξιολόγηζη πποηύπων Γνώζη Ενοποίηζη δεδομένων Βάζειρ δεδομένων Απσεία

14 Βαζηθά Βήκαηα Γηαδηθαζίαο Αλαθάιπςεο Γλώζεο Επιλογή (Selection): Απόθηεζε δεδνκέλσλ από δηάθνξεο εηεξνγελείο πεγέο. Πποεπεξεπγαζία (Preprocessing): Δζθαικέλα, πξνβιεκαηηθά ή ειιείπνληα δεδνκέλα ηαθηνπνηνύληαη (~50-60% ηεο πξνζπάζεηαο!) Μεηαζσημαηιζμόρ (Transformation): Μεηαηξνπή εηεξνγελώλ δεδνκέλσλ ζε θνηλή ηππνπνίεζε γηα επεμεξγαζία. Εξόπςξη δεδομένων (Data mining): Δθαξκνγή αιγνξίζκσλ γηα παξαγσγή κνληέινπ. Διεπμηνεία/Αξιολόγηζη (Interpretation/Evaluation): Παξνπζίαζε ησλ απνηειεζκάησλ ηεο εμόξπμεο δεδνκέλσλ ζηνπο ρξήζηεο γηα αμηνιόγεζε (ρξήζε κεζόδσλ νπηηθνπνίεζεο θαη GUI).

15 Απαηηνύκελε Πξνζπάζεηα γηα θάζε Βήκα ηεο Γηαδηθαζίαο Αλαθάιπςεο Γλώζεο Σα βέιε δείρλνπλ ηελ θαηεύζπλζε ζηελ νπνία ζέινπκε λα θηλεζνύλ νη πξνζπάζεηεο

16 Δμαγσγή Υαξαθηεξηζηηθώλ Σα ραξαθηεξηζηηθά (features) δηαθξίλνληαη ζε: Πνζνηηθά ραξαθηεξηζηηθά : continuous values (π.ρ. βάξνο), discrete values (π.ρ. ν αξηζκόο ησλ ππνινγηζηώλ), interval values (π.ρ. ε δηάξθεηα ελόο γεγνλόηνο). Πνηνηηθά ραξαθηεξηζηηθά: Ολνκαζηηθά (nominal) or unordered (π.ρ. ρξώκα), Ordinal (π.ρ. ε πνηνηηθή αμηνιόγεζε ηεο ζεξκνθξαζίαο ( δεζηό or θξύν ) ή ηεο έληαζεο ηνπ ήρνπ ( ήζπρα or δπλαηά )). Υαξαθηεξηζηηθά δνκήο: (trees, symbolic objects)

17 Αιγόξηζκνη Δμόξπμεο Γεδνκέλσλ Μαο ελδηαθέξνπλ ηα παξαθάησ: πλζεηηθά κέξε Πεξηγξαθή κνληέινπ Σύπνο ή ζηόρνο κνληέινπ (π.ρ. ηαμηλόκεζε, ζπζηαδνπνίεζε) Μνξθή κνληέινπ (π.ρ. δέλδξα, θαλόλεο, λεπξσληθά δίθηπα) Κξηηήξηα αμηνιόγεζεο κνληέινπ (εγθπξόηεηα, αθξίβεηα, θιπ) Σερληθή αλαδήηεζεο: Παξακέηξσλ ή Μνληέινπ

18 Σύπνη Μνληέισλ Πξνβιεπηηθό (predictive) Κάλεη πξόβιεςε ζπκπεξηθνξάο θάπνησλ κεηαβιεηώλ πνπ παξνπζηάδνπλ ελδηαθέξνλ θαη νη νπνίεο βαζίδνληαη ζηε ζπκπεξηθνξά άιισλ κεηαβιεηώλ. Η πξόβιεςε κπνξεί λα ζηεξίδεηαη ζε ηζηνξηθά δεδνκέλα. Πεξηγξαθηθό (descriptive) Βξίζθεη πξόηππα (patterns) ή ζρέζεηο (relationships) πνπ ελππάξρνπλ ζηα δεδνκέλα. Δξεπλά ηηο ηδηόηεηεο ησλ ππό εμέηαζε δεδνκέλσλ, εμεγεί ηε ζπκπεξηθνξά ηνπο.

19 Γηεξγαζίεο Δμόξπμεο Γεδνκέλσλ Πξνβιεπηηθνύ ηύπνπ ή κνληέινπ Καηεγνξηνπνίεζε (Classification) Παιηλδξόκεζε ή Παξεκβνιή (Regression) Αλάιπζε ρξνλνζεηξώλ (Time series analysis) Πξόβιεςε (Prediction) Πεξηγξαθηθνύ ηύπνπ ή κνληέινπ πζηαδνπνίεζε (Clustering) ύλνςε (Summarization) ή Γελίθεπζε (Generalization) Δύξεζε Καλόλσλ πζρέηηζεο (Association Rules) Αλαθάιπςε πζρεηίζεσλ ζε Αθνινπζίεο (Pattern Discovery in Sequences)

20 Δπηζθόπεζε Δξγαζηώλ Δμόξπμεο

21 Καηεγνξηνπνίεζε Γεδνκέλσλ - Πξόβιεςε Καηηγοπιοποίηζη δεδομένων (data classification): Βαζίδεηαη ζηελ εμέηαζε ησλ ραξαθηεξηζηηθώλ ελόο λένπ αληηθεηκέλνπ (μη καηηγοπιοποιημένο) ην νπνίν κε βάζε ηα ραξαθηεξηζηηθά απηά αληηζηνηρίδεηαη ζε έλα πξνθαζνξηζκέλν ζύλνιν θιάζεσλ (θαηεγνξηώλ). Bαζηθέο κέζνδνη: Μέζνδνο Bayes, Γέληξα Απνθάζεσλ, Νεπξσληθά Γίθηπα Πξόβιεςε: Μνληεινπνίεζε ζπλερώλ ζπλαξηήζεσλ, π.ρ., πξόβιεςε άγλσζησλ ή απώλησλ ηηκώλ Σππηθέο Δθαξκνγέο credit approval target marketing medical diagnosis treatment effectiveness analysis

22 Καηεγνξηνπνίεζε Μηα δηαδηθαζία δύν βεκάησλ Καηαζθεπή κνληέινπ: πεξηγξάθνληαο έλα ζύλνιν πξνθαζνξηζκέλσλ θαηεγνξηώλ Καζε κηα από ηηο πιεηάδεο (tuples) ππνηίζεηαη όηη αλήθεη ζε κηα πξνθαζνξηζκέλε θαηεγνξία, όπσο θαζνξίδεηαη από ην γλώξηζκα θαηεγνξίαο (θιάζεο) (supervised learning) Υξήζε ελόο training set γηα θαηαζθεπή κνληέινπ Αλαπαξάζηαζε κνληέινπ ζαλ classification rules, decision trees, ή καζεκαηηθέο εμηζώζεηο Υξήζε κνληέινπ: γηα θαηεγνξηνπνίεζε άγλσζησλ αληηθεηκέλσλ Τπνινγηζκόο αθξίβεηαο ηνπ κνληέινπ θάλνληαο ρξήζε ελόο test set Η γλσζηή εηηθέηα ηνπ test sample ζπγθίλεηαη κε ην απνηέιεζκα θαηεγνξηνπνίεζεο ηνπ κνληέινπ Η ηηκή ηεο αθξίβεηαο είλαη ην πνζνζηό ησλ test set samples πνπ θαηεγνξηνπνηήζεθαλ ζσζηά απν ην κνληέιν Σν test set είλαη αλεμάξηεην από ην training set, αιιηώο κπνξεί λα ζπκβεί over-fitting

23 Παξάδεηγκα Γέλδξα Απνθάζεσλ Πξόβιεκα θαηεγνξηνπνίεζεο: δνζκέλνπ ελόο ζπλόινπ δεδνκέλσλ εθπαίδεπζεο (N εγγξαθέο, κε M γλσξίζκαηα, θαη έλα γλώξηζκα εηηθέηαο) βξεο θαλόλεο γηα ηελ πξόβιεςε ηεο εηηθέηαο (θιάζεο) κηαο λέαο εγγξαθήο Σερληθή: θαηεγνξηνπνίεζε κε ρξήζε δέλδξσλ Φάζε δεκηνπξγίαο - πνιηηηθέο δηακεξηζκνύ (splitting policies) Φάζε πεξηθνπήο - γηα ηελ απνθπγή ππεξπξνζαξκνγήο (over-fitting)

24 Γέλδξα Απόθαζεο Age Chol-level Gender CLASS-ID M + -??

25 Γέλδξα Απόθαζεο ρεκαηηθά έρνπκε: num. attr#2 (e.g., chol-level) num. attr#1 (e.g., age )

26 Γέλδξα Απόθαζεο Καη ζέινπκε λα δώζνπκε εηηθέηα ζην? num. attr#2 (e.g., chol-level) +? num. attr#1 (e.g., age )

27 Γέλδξα Απόθαζεο Οπόηε δεκηνπξγνύκε ην παξαθάησ δέλδξν: num. attr#2 (e.g., chol-level) 40 +? num. attr#1 (e.g., age )

28 Γέλδξα Απόθαζεο Οπόηε δεκηνπξγνύκε ην παξαθάησ δέλδξν: age<50 + Y Y N chol. <40 N -...

29 πζηαδνπνίεζε Γεδνκέλσλ Η εξγαζία ηνπ θαηακεξηζκνύ ελόο εηεξνγελνύο πιεζπζκνύ ζε έλα ζύλνιν ζπζηάδσλ (clusters). ηελ ζπζηαδνπνίεζε δελ ππάξρνπλ πξνθαζνξηζκέλεο θαηεγνξίεο. Οη εγγξαθέο νκαδνπνηνύληαη ζε ζύλνια κε βάζε ηελ νκνηόηεηα πνπ παξνπζηάδνπλ κεηαμύ ηνπο. Αληηπξνζσπεπηηθνί αιγόξηζκνη: K-Means θαη παξαιιαγέο, PAM

30 πζηαδνπνίεζε Γεδνκέλσλ Γηαγξάκκαηα Voronoi

31 Καλόλεο πζρέηηζεο θαη Δμαγσγή ηνπο Έλαο ζπλνπηηθόο ηξόπνο γηα λα εθθξαζηνύλ νη ελδερνκέλσο ρξήζηκεο πιεξνθνξίεο ώζηε λα γίλνπλ εύθνια θαηαλνεηέο. Αλαθάιπςε θξπκκέλσλ «ζπζρεηίζεσλ» κεηαμύ ησλ γλσξηζκάησλ ελόο ζπλόινπ δεδνκέλσλ. πζρεηηζκνί ηεο κνξθήο: Α Β όπνπ ην Α θαη ην Β αλαθέξνληαη ζηα ζύλνια γλσξηζκάησλ πνπ ππάξρνπλ ζηα ππό αλάιπζε δεδνκέλα Λακβάλνληαο ππόςε έλα ζύλνιν από n ζπλαιιαγέο S, θάζε ππνζύλνιν ελόο ζπλόινπ Α = {Α1,..., Αθ}, έλα θαηώηαην όξην ππνζηήξημεο Τ θαη έλα θαηώηαην όξην εκπηζηνζύλεο s, παξάγνληαη όινη νη θαλόλεο Α Β. Σύνολo αντικειμένων: I={I 1,I 2,,I m } Σςναλλαγέρ: D={t 1,t 2,, t n }, tj I Σςνολοστοισεία: {I i1,i i2,, I ik } I Υποστήπιξη σςνολοστοισείος: πνζνζηό ζπλαιιαγώλ πνπ πεξηέρνπλ ζπλνινζηνηρείν. Μεγάλα (Σςσνά) σςνολοστοισεία: ζπλνινζηνηρεία ν αξηζκόο εκθαλίζεσλ ησλ νπνίσλ είλαη πάλσ από θάπνην όξην.

32 Καλόλεο πζρέηηζεο Κανόναρ Σςσσέτισηρ: ζπλεπαγσγή X όπνπ X,Y I θαη X Y = Υποστήπιξη Κ.Σ. X Y: πνζνζηό ζπλαιιαγώλ πνπ πεξηέρνπλ ην ζύλνιν X Y, δειαδή ίζν κε P(X Y) Εμπιστοσύνη Κ.Σ. X Y: πειίθν ηνπ αξηζκνύ ησλ ζπλαιιαγώλ πνπ πεξηέρνπλ ην X Y πξνο απηά πνπ πεξηέρνπλ ην X, δειαδή ίζν κε P(Τ/Υ) Y

33 Παξάδεηγκα Market Basket?? Σε πξιό μέοξπ ρςξ Supermarket ποέπει μα βάλξσμε ςα απξοσπαμςικά για μα ασνήρξσμε ςιπ πχλήρειπ ςξσπ; Αγξοάζξμςαι ποξψόμςα καθαοιρμξύ παοαθύοχμ όςαμ απξοσπαμςικά και πξοςξκαλάδα αγξοάζξμςαι μαζί;?? Τα αμαφσκςικά αγξοάζξμςαι ρσμήθχπ μαζί με ςιπ μπαμάμεπ; Κάμει διατξοά η μάοκα ςξσ αμαφσκςικξύ; Πχπ επηοεάζξσμ ςα demographics ςηπ πεοιξυήπ Τα ποξψόμςα πξσ αγξοάζξσμ ξι καςαμαλχςέπ;

34 Καλόλεο πζρέηηζεο Αλάιπζε Market Basket: Σα απνηειέζκαηα εθθξάδνληαη ζαλ Καλόλεο πζρέηηζεο Βξείηε όινπο ηνπο θαλόλεο X->Y πνπ ζπζρεηίδνπλ ηελ εκθάληζε ελόο ζπλόινπ από αληηθείκελα X κε έλα άιιν ζύλνιν αληηθεηκέλσλ Y Παξάδεηγκα: Οηαλ έλαο πειάηεο αγνξάδεη ςσκί θαη βνύηπξν, αγνξάδεη θαη γάια ζε 85% ησλ πεξηπηώζεσλ +

35 Απνηειέζκαηα: Υξήζηκα, Tεηξηκκέλα ή Αλεμήγεηα Δλώ νη θαλόλεο ζπζρέηηζεο είλαη εύθνιν λα θαηαλνεζνύλ δελ είλαη πάληα ρξήζηκνη Φπήζιμο: Σηο Παξαζθεύεο νη πειάηεο ελόο SuperMarket ζπρλά αγνξάδνπλ diapers θαη κπύξεο καδί. Τεηπιμμένο: Πειάηεο πνπ αγνξάδνπλ ζπκθσλίεο ζπληήξεζεο είλαη πνιύ πηζαλό λα αγνξάζνπλ κεγάιεο νηθηαθέο ζπζθεπέο. Ανεξήγηηο: Όηαλ έλα θαηλνύξγην Super Store αλνίγεη, έλα από ηα πην ζπρλά αγνξαδόκελα πξντόληα είλαη νη ιάκπεο.

36 Πσο δνπιεύεη; Transactions στο SuperMarket Πελάτης Προϊόντα Orange Juice, Soda Milk, Orange Juice, Window Cleaner Orange Juice, Detergent Orange Juice, Detergent, Soda Window Cleaner, Soda Ομο-εμφάνιση προϊόντων OJ OJ 4 Window Cleaner 1 Milk 1 Soda 2 Detergent 1 Window Cleaner Milk Soda Detergent

37 Πσο δνπιεύεη; Πόζν θαινί είλαη νη θαλόλεο; Ο πίλαθαο νκν-εκθάληζεο πεξηέρεη κεξηθά απιά πξόηππα: Πνξηνθαιάδα θαη αλαςπθηηθό είλαη πνιπ πηζαλό λα αγνξαζηνύλ καδί από όηη άιια πξντόληα Απνξππαληηθά δελ αγνξάδνληαη καδί κε θαζαξηζηηθά ηδακηώλ ή γάια Γάια δελ αγνξάδεηαη καδί κε αλαςπθηηθό ή απνξππαληηθό Απηέο νη παξαηεξήζεηο είλαη παξαδείγκαηα ζπρεηίζεσλ πνπ κπνξεί λα ζπληζηνύλ έλαλ ηππηθό θαλόλα: Αλ έλαο πειάηεο αγνξάδεη αλαςπθηηθό, ΣΟΣΔ αγνξάδεη θαη πνξηνθαιάδα ηα δεδνκέλα, 2 από ηηο 5 αγνξέο (transactions) πεξηιακβάλνπλ αλαςπθηηθό θαη πνξηνθαιάδα. Απηέο νη δύν αγνξέο ςποζηηπίζοςν ηνλ θαλόλα. Η ππνζηήξημε ηνπ είλαη 2 ζηα 5 ή 40%. Καη νη δύν αγνξέο πνπ πεξηέρνπλ αλαςπθηηθό επίζεο πεξηέρνπλ πνξηνθαιάδα -> κεγάινο βαζκόο εμπιζηοζύνηρ ζηνλ θαλόλα «αλαςπθηηθό -> πνξηνθαιάδα».κάζε αγνξά πνπ πεξηέρεη αλαςπθηηθό επίζεο πεξηέρεη θαη πνξηνθαιάδα. Ο θαλόλαο «αλαςπθηηθό -> πνξηνθαιάδα» έρεη εκπηζηνζύλε 100%.

38 Λεηηνπξγηθόηεηεο εμόξπμεο δεδνκέλσλ Πξόηππα πνπ κπνξνύλ λα εμαρζνύλ Αλάιπζε Outlier Outlier: έλα αληηθείκελν δεδνκέλσλ ην νπνίν δελ αθνινπζεί ηελ γεληθή ζπκπεξηθνξά ησλ δεδνκέλσλ (κπνξεί λα εληνπηζζεί κε ηελ ρξήζε ζηαηηζηηθώλ ειέγρσλ πνπ πηνζεηνύλ έλα πηζαλνηηθό κνληέιν) πρλά ζεσξείηαη ζόξπβνο αιιά είλαη ρξήζηκν ζηνλ εληνπηζκό ζθάικαηνο, ηελ αλάιπζε ζπάλησλ γεγνλόησλ Αλάιπζε ηάζεο θαη εμέιημεο (trend and evolution analysis) Μειεηά ηελ θαλνληθόηεηα ησλ αληηθεηκέλσλ ησλ νπνίσλ ε ζπκπεξηθνξά κεηαβάιιεηαη κε ηνλ ρξόλν Σάζε θαη απόθιηζε: αλάιπζε παιηλδξόκεζεο (regression) Δμόξπμε αθνινπζηαθνύ πξνηύπνπ, αλάιπζε πεξηνδηθόηεηαο Αλάιπζε κε βάζε ηελ νκνηόηεηα

39 Πόηε είλαη ελδηαθέξνλ έλα Αλαθαιπθζέλ πξόηππν; Έλα ζύζηεκα εμόξπμεο δεδνκέλσλ κπνξεί λα παξάγεη ρηιηάδεο πξόηππα, ηα νπνία δελ είλαη όια ελδηαθέξνληα. Πξνηεηλόκελε πξνζέγγηζε: Αλζξσπνθεληξηθή, κε βάζε ην εξώηεκα, εζηηαζκέλε εμόξπμε δεδνκέλσλ Μεηπικέρ ενδιαθέπονηορ: Έλα πξόηππν είλαη ενδιαθέπον εάλ είλαη εύθνια θαηαλνεηό από ηνπο αλζξώπνπο, έγθπξν ζε λέα ή πεηξακαηηθά δεδνκέλα κε θάπνην βαζκό βεβαηόηεηαο, πηζαλά ρξήζηκν, θαηλνύξην, ή επηθπξώλεη θάπνηα ππόζεζε πνπ ν ρξήζηεο επηδηώθεη λα επαιεζεύζεη Ανηικειμενικέρ vs. ςποκειμενικέρ μεηπικέρ ενδιαθέπονηορ: Αληηθεηκεληθέο: βαζίδνληαη ζε ζηαηηζηηθέο θαη δνκέο πξνηύπσλ, π.ρ., confidence and support Τπνθεηκεληθέο: βαζίδνληαη ζηελ γλώκε ηνπ ρξήζηε γηα ηα δεδνκέλα, π.ρ., unexpectedness, actionability, novelty, θιπ

40 Μπνξνύκε λα βξνύκε όια ηα ελδηαθέξνληα πξόηππα; Δύξεζε όισλ ησλ ελδηαθεξόλησλ πξνηύπσλ: Πληπόηηηα Μπνξεί έλα ζύζηεκα εμόξπμεο δεδνκέλσλ λα βξεη όια ηα ελδηαθέξνληα πξόηππα; πζρέηηζε (association) vs. Σαμηλόκεζε (classification) vs. Οκαδνπνίεζε (clustering) Αλαδήηεζε κόλν ησλ ελδηαθεξόλησλ πξνηύπσλ: Βεληιζηοποίηζη Μπνξεί έλα ζύζηεκα εμόξπμεο δεδνκέλσλ λα βξεη κόλν ηα ελδηαθέξνληα πξόηππα; Πξνζεγγίζεηο Πξώηα παξήγαγε όια ηα πξόηππα θαη ζηελ ζπλέρεηα θηιηξάξηζε απηά πνπ δελ καο ελδηαθέξνπλ Παξήγαγε κόλν ηα ελδηαθέξνληα πξόηππα - βειηηζηνπνίεζε εξσηήκαηνο

41 Υξνλνινγηθέο εηξέο Xξνλνινγηθή ζεηξά: κηα αθνινπζία αξηζκώλ θάζε έλαο από ηνπο νπνίνπο έρεη έλα timestamp (εηικέηα σπόνος). Υαξαθηεξηζηηθά ππνζέηνπκε όηη νη δηαδνρηθνί αξηζκνί ρσξίδνληαη από έλα ζηαζεξό ρξνληθό δηάζηεκα, θαη ην πξαγκαηηθό timestamp παξαιείπεηαη. Γηάθνξεο θπζηθέο δηαδηθαζίεο παξάγνπλ δεδνκέλα ππό κνξθή ρξνλνινγηθώλ ζεηξώλ (ι.ρ. εθαξκνγέο ζηνλ νηθνλνκηθό θαη πεξηβαιινληηθό ηνκέα).

42 Υξνλνινγηθέο εηξέο Μνληεινπνίεζε ρξνληθώλ γεγνλόησλ Αλάιπζε ρξνλνινγηθώλ ζεηξώλ Αλάιπζε ηάζεσλ Μεηαζρεκαηηζκόο Οκνηόηεηα Πξόβιεςε Αιγόξηζκνη παξαγσγήο θαλόλσλ ρξνληθώλ ζπζρεηίζεσλ

43 Οκνηόηεηα Υξνλνινγηθώλ εηξώλ Μηα ξεαιηζηηθή ζπλάξηεζε απόζηαζεο πνπ ζα ηαηξηάδεη κε ηελ αληίιεςε ηνπ ρξήζηε γηα ην ηη απηόο ζεσξεί παξόκνην. Έλα απνδνηηθό ζρέδην indexing, ην νπνίν ζα επηηαρύλεη ηηο εξσηήζεηο ησλ ρξεζηώλ. Η p-norm απόζηαζε κεηαμύ δύν λ-δηάζηαησλ δηαλπζκάησλ Φ θαη Υ νξίδεηαη σο εμήο:

44 Παξαδείγκαηα Γέληξα Απνθάζεσλ οικ. καη. Δ Σ Α ηλικία>30 ΟΦΙ θύλο Ν Ο Α Γ ΝΑΙ ΟΦΙ ΟΦΙ ΝΑΙ Καλόλεο (Ηιηθία<=30) & (Οηθ:Σ) -> (Φύιν:Γ) (Ηιηθία<=30) & (Οηθ:Δ) -> (Φύιν:Γ)... ν ο Φύλο Γ ΝΑΙ ΟΧΙ Φ Η Δ Α Τ ΑΠ ΧΟ ΧΑ Νεπξσληθά δίθηπα Α Ηλικία ηαηηζηηθνί ηαμηλνκεηέο

45 Γεηηνληθέο Πεξηνρέο Αλάθηεζε Πιεξνθνξίαο Βάζεηο Γεδνκέλσλ Σερλεηή Ννεκνζύλε Δπθπήο Τπνινγηζκόο ηαηηζηηθή Αλάιπζε Γεδνκέλσλ

46 Δμόξπμε δεδνκέλσλ: πκβνιή πνιιαπιώλ αξρώλ Τεσνολογία ΒΓ Σηαηιζηικέρ Μησανική μάθηζη Δξόπςξη Γεδομένων Οπηικοποίηζη Δπιζηήμη πληποθοπίαρ Άλλερ απσέρ

47 Data Mining Development Relational Data Model SQL Association Rule Algorithms Data Warehousing Scalability Techniques Databases Algorithms Data Mining Algorithm Design Techniques Algorithm Analysis Data Structures Information Retrieval Similarity Measures Hierarchical Clustering IR Systems Imprecise Queries Textual Data Web Search Engines Statistics Machine Learning Bayes Theorem Regression Analysis EM Algorithm K-Means Clustering Time Series Analysis Neural Networks Decision Tree Algorithms

48 Δίδε Μεραληθήο Μάζεζεο Μάζεζε ππό επίβιεςε ή από παξαδείγκαηα: Μάζεζε ελλνηώλ (Concept Learning) Γέληξα Σαμηλόκεζεο ή Απόθαζεο (Classification or Decision Trees) Μάζεζε Καλόλσλ (Rule Learning) Μάζεζε θαηά Bayes Γξακκηθή Παιηλδξόκεζε/Παξεκβνιή (Linear Regression) Νεπξσληθά Γίθηπα (Neural Networks) Μεραλέο Γηαλπζκάησλ Τπνζηήξημεο (Support Vector Machines) Μάζεζε ρσξίο επίβιεςε ή από παξαηήξεζε: Δμαγσγή Οκάδσλ/πζηάδσλ (clustering) Δμαγσγή ζπζρεηίζεσλ (association rules)

49 Δπηζηεκνληθά πλέδξηα θαη Πεξηνδηθά ζε KDD Conferences ACM SIGKDD Int. Conf. on Knowledge Discovery in Databases and Data Mining (KDD) Δμόξπμε Γεδνκέλσλ SIAM Data Mining Conf. (SDM) (IEEE) Int. Conf. on Data Mining (ICDM) Conf. on Principles and practices of Knowledge Discovery and Data Mining (PKDD) Pacific-Asia Conf. on Knowledge Discovery and Data Mining (PAKDD) Other related conferences ACM SIGMOD VLDB (IEEE) ICDE WWW, SIGIR ICML, CVPR, NIPS Journals Data Mining and Knowledge Discovery (DAMI or DMKD) IEEE Trans. On Knowledge and Data Eng. (TKDE) KDD Explorations ACM Trans. on KDD

50 Πνπ κπνξείηε λα βξείηε Αλαθνξέο; DBLP, CiteSeer, Google Data mining and KDD (SIGKDD: CDROM) Conferences: ACM-SIGKDD, IEEE-ICDM, SIAM-DM, PKDD, PAKDD, etc. Journal: Data Mining and Knowledge Discovery, KDD Explorations, ACM TKDD Database systems (SIGMOD: ACM SIGMOD Anthology CD ROM) Conferences: ACM-SIGMOD, ACM-PODS, VLDB, IEEE-ICDE, EDBT, ICDT, DASFAA Journals: IEEE-TKDE, ACM-TODS/TOIS, JIIS, J. ACM, VLDB J., Info. Sys., etc. AI & Machine Learning Conferences: Machine learning (ML), AAAI, IJCAI, COLT (Learning Theory), CVPR, NIPS, etc. Journals: Machine Learning, Artificial Intelligence, Knowledge and Information Systems, IEEE-PAMIetc Web and IR Conferences: SIGIR, WWW, CIKM, etc. Journals: WWW: Internet and Web Information Systems, Statistics Conferences: Joint Stat. Meeting, etc. Journals: Annals of statistics, etc. Visualization Conference proceedings: CHI, ACM-SIGGraph, etc. Journals: IEEE Trans. visualization and computer graphics, etc.

51 Mέξνο Β: Δπηκέξνπο Δθαξκνγέο

52 K-means - Vector Quantization VQ: a generalization of scalar quantization (discretization) to quantization of a vector A vector quantizer Q of dimension k and size N is a mapping from a vector (or a point in R k ), into a finite set C={y 1, y 2,, y N }, y i R k, the codebook of size N Q: R k C It partitions R k into N regions or cells, R i for i J {1,2,,N} R i ={x R k : Q(x)=y i }

53 Vector Quantization - ρεδίαζε The goal is to find: A codebook (decoder) representation levels A partition rule (encoder) decision levels To maximize an overall measure of performance

54 VQ Design πλζήθεο Nearest Neighbor Condition For a given codebook, C, the optimal regions {R i : i=1,,n} satisfy the condition: That is R i {x: d(x,y i ) d(x,y j ); j} Q(x)=y i only if d(x,y i ) d(x,y j ) j

55 VQ Design πλζήθεο Centroid Condition For given partition regions {R i :i=1,,n} the optimal codewords satisfy the condition: y i = cent(r i ) For the SE measure, the centroid of a set R is the arithmetic average: R 1 cent( R) x i R for R={x i : i = 1,, R } i 1

56 VQ Design The Generalized Lloyd Algorithm (GLA) It produces a locally optimal codebook from a training sequence, T. It starts with an initial codebook and iteratively improves it. Lloyd Iteration Given a codebook C m ={y i } generate an improved codebook C m+1 as follows: Partition T into cells R j using the Nearest Neighbor Condition: R i ={x : d(x,y i ) d(x,y i ); j i} Using the Centroid Condition compute the centroids of the cells just found to obtain the new codebook, C m+1 ={cent(r i )} Compute the average distortion for C m+1, D m+1. If the fractional drop (D m - D m+1 ) / D m is below a certain threshold stop, else continue with m m+1

57 VQ Design The Generalized Lloyd Algorithm (GLA) To solve the initial codebook generation problem a partition split mechanism is used. How?

58 VQ Design The Generalized Lloyd Algorithm (GLA) To solve the initial codebook generation problem a partition split mechanism is used. How? Starts with a codebook containing only one codeword (which one?) In each repetition and before the application of the Lloyd iteration, it doubles the number of codewords from the previous iteration See:

59 Παξαδείγκαηα Δθαξκνγώλ Δμόξπμεο Βηνηαηξηθώλ Γεδνκέλσλ

60 Δμόξπμε Βηνηαηξηθώλ Γεδνκέλσλ Πεηξακαηηθέο κέζνδνη ζηε βηνηαηξηθή έρνπλ νδεγήζεη ζε καδηθά ζύλνια δεδνκέλσλ - Δπείγνπζα ε αλάγθε γηα απνδνηηθέο κεζόδνπο επεμεξγαζίαο θαη αλάιπζεο ησλ δεδνκέλσλ γηα ηελ θαηαλόεζε ηνπο Οη ηνκείο εθαξκνγήο πεξηιακβάλνπλ: ππνινγηζηηθή λεπξνεπηζηήκε, κειέηεο γνληδηώκαηνο, θαξδηνινγία, δηάγλσζε θαξθίλνπ, λεπξνινγία, θ.ιπ. Παξαδείγκαηα ησλ εμεηαδόκελσλ ζπλόισλ δεδνκέλσλ πεξηιακβάλνπλ: Αθηηλνινγηθά δεδνκέλα (MRI, fmri) Γεδνκέλα EEG, ΜΔG αθνινπζίεο γνληδηώκαηνο, ζηνηρεία έθθξαζεο γνληδίσλ, πξσηετληθά δνκηθά ζηνηρεία, ζηνηρεία αιιειεπίδξαζεο πξσηετλώλ, ζηνηρεία αιιειεπίδξαζεο πξσηετλώλ-dna, θιπ

61 Βηνηαηξηθά ύλνια Γεδνκέλσλ Διιηπή (ειιηπείο ηηκέο παξακέηξσλ) Λαλζαζκέλα (ζπζηεκαηηθόο ή ηπραίνο ζόξπβνο ζηα ζηνηρεία) Αξαηά (ιίγεο ή/θαη κε-αληηπξνζσπεπηηθέο εγγξαθέο αζζελώλ πνπ είλαη δηαζέζηκεο) Αλαθξηβή (αθαηάιιειε επηινγή παξακέηξσλ γηα ην δεδνκέλν ζηόρν) Πεξηιακβάλνπλ κεηξήζεηο ησλ παξακέηξσλ ζε δηαθνξεηηθέο ρξνληθέο ζηηγκέο

62 Δμόξπμε Βηνηαηξηθώλ Γεδνκέλσλ ηε βηνηαηξηθή, ε εμόξπμε δεδνκέλσλ κπνξεί λα ρξεζηκνπνηεζεί γηα ηελ επίιπζε δηαθόξσλ ζηόρσλ: Πεξηγξαθηθόο ζηόρνο: εύξεζε ελδηαθέξνλησλ πξνηύπσλ ζηα ζηνηρεία, ελδηαθεξνλησλ ζπζηάδσλ, θαλόλσλ ζπζρέηηζεο, θ.ιπ. Πξνβιεπηηθόο ζηόρνο: δεκηνπξγώληαο έλα πξνβιεπηηθό κνληέιν πνπ εμεγεί ηα ζηνηρεία θαη κπνξεί λα ρξεζηκνπνηεζεί γηα ηελ πξόβιεςε ή ηελ ηαμηλόκεζε ησλ απαξαηήξεησλ πεξηπηώζεσλ Υξεζηκνπνηνύληαη ζπρλά γηα ηελ δεκηνπξγία πξνηύπσλ ηαμηλόκεζεο πνπ ρξεζηκνπνηνύληαη γηα: Γηάγλσζε Πξόγλσζε Πξνγξακκαηηζκόο ζεξαπείαο

63 Καηεγνξηνπνίεζε Όγθσλ ζηνλ Αλζξώπηλν Δγθέθαιν Γηάθξηζε κεηαμύ θαινήζε (meningiomas) θαη θαθνήζε όγθνπ (ππνβνήζεζε ηεο ηαηξηθήο δηάγλσζεο) Θεξαπεία θαη πξόγλσζε ηειείσο δηαθνξεηηθή γηα ηηο δύν θαηεγνξίεο Υξήζε δεδνκέλσλ από πνιιαπιά modalities (CT and conventional MR, MRS) πλδπαζκόο ραξαθηεξηζηηθώλ γλσξηζκάησλ πνπ πξνέξρνληαη απν εηθόλεο θαη άιια δεδνκέλα (ελζσκάησζε ηνπ κεηαβνιηθνύ πξνθίι ησλ όγθσλ)

64 Καηεγνξηνπνίεζε Όγθσλ ζηνλ Αλζξώπηλν Δγθέθαιν Βήκαηα πνπ ζπλήζσο εκπιέθνληαη: Segmentation of ROIs from MR images ROI feature extraction Fusion of MR image and MRS features Informative feature selection Classification model construction Πξνθιήζεηο: Uncertainty in identifying inter-tissue boundaries Fusion of information from multiple modalities Limited number of samples Easy interpretability of classification model

65 Ηκηαπηόκαηε θαηάηκεζε ηεο πεξηνρήο ελδηαθέξνληνο -Υξήζε ηεο έλλνηαο ηνπ fuzzy-connectedness (Rosenfeld, 1979) -Αssign to every pair of voxels, x, y, in the image, a real number between 0 and 1 (the fuzzy-connectedness of x to y) denoting the strength of the link between x and y. -The algorithm starts with a given set of seed points (more effective using some prior knowledge) -Each point is assigned to the structure having a neighboring point with the highest fuzzy-connectedness value. -The strongest connection is detected first, and the process repeats until the weakest connection is calculated. A sequence of points is called a chain, where its links are the ordered pairs of consecutive points in the sequence. The strength of a chain is the length of its weakest link. -The segmented object is defined by the number of points that are connected through a chain to the selected seed point of the object.

66 Ηκηαπηόκαηε θαηάηκεζε ηεο πεξηνρήο ελδηαθέξνληνο Ηκηαπηόκαηε θαηάηκεζε ζε ιεηηνπξγία

67 Μνληέιν θαηεγνξηνπνίεζεο όγθσλ ηνπ αλζξώπηλνπ εγθεθάινπ Γέλδξν Απόθαζεο Yes lip1.3-area > No Malignant CC7 > Yes No CC3 >0.96 Benign Yes No Benign Malignant

68 Αλάιπζε Γελδξηθώλ Γνκώλ Ση είδνπο δελδξηθέο δνκέο;

69 Αλάιπζε καζηνγξαθίαο, γαιαθηνγξαθίαο Apply tree pattern analysis techniques to medical image data galactograms Analysis of the ductal network

70 Δμόξπμε δεδνκέλσλ από fmri Γεκηνπξγία απνδνηηθώλ θαη robust εξγαιείσλ πιεξνθνξηθήο γηα ηηο εηθόλεο ηνπ εγθεθάινπ: γηα λα θαηαιάβνπκε πώο ιεηηνπξγεί ν εγθέθαινο gηα λα βνεζήζνπκε ζηελ θιηληθή εξκελεία ησλ εηθόλσλ γηα λα δηεπθνιύλνπκε ηελ πξνόδν ζηελ έγθαηξε δηάγλσζε θαη ηε ζεξαπεία

71 Πξώηκε Αλίρλεπζε ηεο λόζνπ Alzheimer For a semantic memory test major differences were seen in the right posterior parietal and temporal lobe regions (colorbar shows significance)

72 Δθαξκνγή ηερληθώλ εμόξπμεο ζε fmri γηα αλίρλεπζε ςεύδνπο 11 subjects κνηξαζκέλα ζε δύν νκάδεο. Πιεξνθνξία fmri ζπγθεληξώζεθε από δύν νκάδεο ζύκθσλα κε ηηο απαληήζεηο ηνπο ζε εξσηήζεηο πνπ ηνπο ηέζεθαλ. ηόρνο: αλάιπζε ησλ εηθόλσλ γηα εύξεζε πεξηνρώλ πνπ κπνξνύλ λα δηαθξίλνπλ αλ θάπνηνο ιέεη αιήζεηα ή ςέκαηα

73 Δθαξκνγή ηερληθώλ εμόξπμεο ζε fmri γηα αλίρλεπζε ςεύδνπο Activation values for the regions detected by DRP as discriminative (blue is for the guilty group, red the non-guilty group) Οη δηαθξηηηθέο πεξηνρέο πνπ βξέζεθαλ είλαη ζην frontal, parietal, and temporal lobes θαζώο θαη ζην deeper limbic system. Ο αξηζηεξόο medial inferior frontal lobe βξέζεθε ζαλ ε πεξηνρή πνπ μερσξίδεη θαιύηεξα ηηο δύν νκάδεο Parameters Regions Accuracy p-value=.05, depth= % Colored areas are discriminative regions found by DRP with p-value = 0.05 and a maximum splitting level of 3 p-value=.01, depth= % p-value=.01, depth=4 6 97% Classification accuracy for different parameters of DRP

74 Έπξεζε νκνηόηεηαο Ιαηξηθώλ Δηθόλσλ or... Content-Based Medical Image Retrieval Query Image: A-1-26 Top 6 matches: A-1-27 A-1-25 A-1-24 A-1-28 A-1-23 A-1-29

75 Αλάιπζε θαη πζηαδνπνίεζε ρξνλνζεηξώλ από fmri πζηαδνπνίεζε, δει. Οκαδνπνίεζε εηθνλνζηνηρείσλ (voxels) ησλ νπνίσλ νη ρξνλνζεηξέο έρνπλ παξόκνηα ζπκπεξηθνξά ζην ρξόλν Μεζνδνινγία: Πξνεπεμεξγαζία, θαλνληθνπνίεζε, εμαγσγή ζνξύβνπ Αλάιπζε θαζκαηηθήο ηζρύο (power spectral analysis) πζηαδνπνίεζε ρξνλνζεηξώλ (k-means θαη άιιεο ηερληθέο) Έιεργνο ησλ ζπζηάδσλ Δπαλαιεπηηθή αθαίξεζε outliers

76 Mean Normalized BOLD Signal Mean Normalized BOLD Signal Mean Normalized BOLD Signal Αλάιπζε θαη πζηαδνπνίεζε ρξνλνζεηξώλ από fmricluster Mean Time (scans) Cluster Mean Time (scans) Cluster Mean Subject s clustering result overlaid on the T1 map Time (scans) Mean time series for each cluster

77 Αλάιπζε Υαξηώλ Έθθξαζεο Γνληδίσλ (Gene Expression Maps) Data from microarrays in a coronal slice of normal mice brain

78 Αλάιπζε Υαξηώλ Έθθξαζεο Γνληδίσλ 2-dimensional images of gene expression for 20,847 genes Each element of the matrix is the gene expression value for a particular gene in a given voxel 68 Voxels Genes

79 πζηαδνπνίεζε Cellular Component, 35 significant clusters

80 ύγθξηζε Γεδνκέλσλ, ύλζεζε θαη ύλνςε - Οπηηθνπνίεζε ηόρνο Αλάπηπμε S/W εξγαιείνπ γηα 3D νπηηθνπνίεζε δεδνκέλσλ αηζζεηήξσλ πνιιαπιώλ θαλαιηώλ. Απηό ην εξγαιείν επηηξέπεη ηελ ζύγθξηζε, ζύλζεζε θαη ζύλνςε πνιιαπιώλ ρξνλνζεηξώλ. πλαθή Projects Παξαθνινύζεζε παξαγώγσλ Παξαθνινύζεζε πζηήκαηνο ζε Πξαγκαηηθό Υξόλν

81 Δπίδξαζε ηεο Δμόξπμεο Βηνηαηξηθώλ Γεδνκέλσλ Assist in clinical interpretation of biomedical images Facilitate advances in diagnosis and treatment Aid in early detection of diseases Enable researchers to integrate, manipulate and analyze large volumes of biomedical data Provide new insight into the relation of anatomy and function