Πιεξνθνξηαθά πζηήκαηα θαη Δμόξπμε Γεδνκέλσλ

Transcript

1 ΠΑΝΔΠΙΣΗΜΙΟ ΠΑΣΡΩΝ ΣΜΗΜΑ ΜΗΥ/ΚΩΝ Η/Τ & ΠΛΗΡΟΦΟΡΙΚΗ Πιεξνθνξηαθά πζηήκαηα θαη Δμόξπμε Γεδνκέλσλ

2 Γηαρείξηζε ηεο πιεξνθνξίαο Πιεξνθνξηαθό ζύζηεκα: ινγηζκηθό πνπ καο επηηξέπεη λα νξγαλώλνπκε θαη λα αλαιύνπκε δεδνκέλα Δξγαιεία ινγηζκηθνύ εθαξκνγώλ πνπ επηηξέπνπλ ζην ρξήζηε λα νξγαλώλεη θαη λα δηαρεηξίδεηαη ηα δεδνκέλα θαη ηα νπνία δηαζέηνπλ βαζηθέο ηθαλόηεηεο επεμεξγαζίαο γηα αλάιπζε ησλ ζηνηρείσλ (δεδνκέλσλ) κε δηάθνξνπο ηξόπνπο. Γύν από ηα δεκνθηιέζηεξα πιεξνθνξηαθά ζπζηήκαηα εθαξκνγώλ είλαη ηα ειεθηξνληθά spreadsheets θαη ηα ζπζηήκαηα δηαρείξηζεο βάζεσλ δεδνκέλσλ (DBMSs).

3 Spreadsheets Μηα εθαξκνγή ινγηζκηθνύ πνπ επηηξέπεη ζην ρξήζηε λα νξγαλώλεη θαη λα αλαιύεη δεδνκέλα ρξεζηκνπνηώληαο έλα πιέγκα από ζηνηρεία (θειηά) κε εηηθέηεο. Έλα ζηνηρείν κπνξεί λα πεξηέρεη ηα δεδνκέλα ή έλαλ ηύπν (εμίζσζε) γηα ηνλ ππνινγηζκό κηαο ηηκήο. Σα δεδνκέλα πνπ απνζεθεύνληαη ζε έλα ζηνηρείν κπνξεί λα είλαη θείκελα, αξηζκνί, εκεξνκελίεο, θ.α.. Σα ζηνηρεία ησλ spreadsheets πξνζδηνξίδνληαη απν ηε ζεηξά θαη ηε ζηήιε ηνπο.

4 πζηήκαηα Γηαρείξηζεο Βάζεσλ Γεδνκέλσλ (ΓΒΓ) ΓΒΓ = κηα ζπιινγή από ζπζρεηηδόκελα δεδνκέλα (βάζε δεδνκέλσλ) + έλα ζύλνιν πξνγξακκάησλ γηα ηελ πξόζβαζε ζηα δεδνκέλα Σν ΓΒΓ παξέρεη έλα πεξηβάιινλ πνπ είλαη βολικό θαη εύσπηζηο Σν ΓΒΓ πεξηέρεη πιεξνθνξία γηα κηα ζπγθεθξηκέλε επηρείξεζε Δθαξκνγέο Βάζεσλ Γεδνκέλσλ;

5 πζηήκαηα Γηαρείξηζεο Βάζεσλ Γεδνκέλσλ (ΓΒΓ) ΓΒΓ = κηα ζπιινγή από ζπζρεηηδόκελα δεδνκέλα (βάζε δεδνκέλσλ) + έλα ζύλνιν πξνγξακκάησλ γηα ηελ πξόζβαζε ζηα δεδνκέλα Σν ΓΒΓ παξέρεη έλα πεξηβάιινλ πνπ είλαη βολικό θαη εύσπηζηο Σν ΓΒΓ πεξηέρεη πιεξνθνξία γηα κηα ζπγθεθξηκέλε επηρείξεζε Δθαξκνγέο Βάζεσλ Γεδνκέλσλ: Σξαπεδηθόο ηνκέαο: όιεο νη δνζνιεςίεο Αεξνγξακκέο: θξαηήζεηο, δξνκνιόγηα πηήζεσλ Παλεπηζηήκηα: εγγξαθέο, βαζκνινγίεο Πσιήζεηο: πειάηεο, πξντόληα, αγνξέο Καηαζθεπέο: παξαγσγή, απνζέκαηα, παξαγγειίεο, εθνδηαζηηθή αιπζίδα Αλζξώπηλν δπλακηθό: αξρεία εξγαδνκέλσλ, κηζζνδνζία, θνξναπαιιαγέο Οη βάζεηο δεδνκέλσλ είλαη παληνύ, ζε όιεο ηηο πηπρέο ηεο δσήο καο!!

6 πζηήκαηα Γηαρείξηζεο Βάζεσλ Γεδνκέλσλ (ΓΒΓ) Schema User Database engine software Database files Σα ζηνηρεία ελόο ζπζηήκαηνο δηαρείξηζεο βάζεσλ δεδνκέλσλ: - Physical database: ζπιινγή από αξρεία πνπ πεξηέρνπλ δεδνκέλα - Database engine: ινγηζκηθό πνπ ππνζηεξίδεη ηελ πξνζπέιαζε θαη ηξνπνπνίεζε ησλ πεξηερνκέλσλ ηεο βάζεο δεδνκέλσλ - Database schema: πξνζδηνξίδεη ηε ινγηθή δνκή ησλ δεδνκέλσλ

7 Γηαηί Βάζεηο Γεδνκέλσλ; Παιαηόηεξα, νη εθαξκνγέο βάζεσλ δεδνκέλσλ ρηίδνληαλ πάλσ ζε ζπζηήκαηα αξρείσλ Μεηνλεθηήκαηα ζηε ρξήζε ζπζηεκάησλ αξρείσλ γηα ηελ απνζήθεπζε δεδνκέλσλ: Πιενλαζκόο πιεξνθνξίαο θαη έιιεηςε ζπλνρήο Πνιιαπινί ηύπνη αξρείσλ, επαλαιακβαλόκελε πιεξνθνξία ζε δηαθνξεηηθά αξρεία Γπζθνιία πξόζβαζεο ζηα δεδνκέλα Υξεηαδόηαλ λέν πξόγξακκα γηα ηελ εθηέιεζε θάζε λέαο εξγαζίαο Απνκόλσζε δεδνκέλσλ δεδνκέλα ζε πνιιαπιά αξρεία θαη ηύπνπο Πξόβιεκα αθεξαηόηεηαο Πεξηνξηζκνί αθεξαηόηεηαο (π.ρ. Τπόινηπν ινγαξηαζκνύ > 25 Euro) γίλεηαη κέξνο ηνπ θώδηθα ηνπ πξνγξάκκαηνο Γύζθνιε ε πξνζζήθε λέσλ πεξηνξηζκώλ θαη ε αιιαγή ππαξρόλησλ

8 Γηαηί Βάζεηο Γεδνκέλσλ; (ζπλέρεηα) (άιια) Μεηνλεθηήκαηα ρξήζεο ζπζηεκάησλ αξρείσλ Αηνκηθόηεηα ελεκεξώζεσλ Οη απνηπρίεο ελεκέξσζεο επέθεξαλ θαηάζηαζε αζπλέπεηαο ζηε βάζε κε κέξνο ησλ ελεκεξώζεσλ λα έρνπλ εθηειεζηεί Π.ρ. Μεηαθνξά ρξεκάησλ από έλαλ ινγαξηαζκό ζε άιινλ ζα έπξεπε είηε λα νινθιεξσζεί εληειώο είηε λα μαλαγίλεη Σαπηόρξνλε πξόζβαζε πνιιώλ ρξεζηώλ Αλαγθαία ε ηαπηόρξνλε πξόζβαζε γηα ηελ απνηειεζκαηηθόηεηα Με- ειεγρόκελεο ηαπηόρξνλεο πξνζβάζεηο νδεγνύλ ζε έιιεηςε ζπλνρήο Π.ρ. Γύν άηνκα βιέπνπλ ην ππόινηπν θαη ην ελεκεξώλνπλ ηαπηόρξνλα... Πξνβιήκαηα αζθάιεηαο πξόζβαζε ζε νξηζκέλν κέξνο ηεο πιεξνθνξίαο Σα ζπζηήκαηα βάζεσλ δεδνκέλσλ πξνζθέξνπλ ιύζεηο ζε όια ηα παξαπάλσ πξνβιήκαηα!!!

9 Όςε Γεδνκέλσλ: Δπίπεδα Αθαηξεηηθόηεηαο Φπζηθό επίπεδν: πεξηγξάθεη πωρ έλα αξρείν (π.ρ. πειάηεο) απνζεθεύεηαη Λνγηθό επίπεδν: πεξηγξάθεη ποια δεδνκέλα απνζεθεύνληαη ζηε βάζε θαη ηηο κεηαμύ ηνπο ζπζρεηίζεηο type πειάηεο = record όνομα : string; οδόρ : string; Πόλη : integer; end; Δπίπεδν όςεο: πξνγξάκκαηα εθαξκνγώλ πνπ θξύβνπλ ιεπηνκέξεηεο ησλ ηύπσλ δεδνκέλσλ. Οη όςεηο κπνξνύλ επίζεο λα θξύςνπλ πιεξνθνξία (π.ρ. κηζζόο) γηα ιόγνπο αζθαιείαο

10 Όςε δεδνκέλσλ Αξρηηεθηνληθή ζπζηήκαηνο βάζεο δεδνκέλσλ Δπίπεδν όςεο Όςε 1 Όςε 2 Όςε n Λνγηθό επίπεδν Φπζηθό επίπεδν

11 Όςε δεδνκέλσλ: ρήκαηα θαη ηηγκηόηππα Φςζική Ανεξαπηηζία Δεδομένυν δπλαηόηεηα ηξνπνπνίεζεο ηνπ θπζηθνύ ζρήκαηνο ρσξίο αιιαγή ηνπ ινγηθνύ ζρήκαηνο Οη εθαξκνγέο εμαξηώληαη από ην ινγηθό ζρήκα Γεληθά, νη δηεπαθέο κεηαμύ ησλ δηαθνξεηηθώλ επηπέδσλ θαη ησλ ζπζηαηηθώλ ζα πξέπεη λα θαζνξίδνληαη έηζη ώζηε αιιαγέο ζε νξηζκέλα κέξε ηνπ ζπζηήκαηνο λα κελ επεξεάδνπλ ζεκαληηθά άιια κέξε

12 Μνληέια Γεδνκέλσλ Μηα ζπιινγή εξγαιείσλ γηα ηελ πεξηγξαθή: Γεδνκέλσλ πζρεηίζεσλ δεδνκέλσλ εκαζηνινγία δεδνκέλσλ Πεξηνξηζκώλ δεδνκέλσλ Μνληέιν Οληνηήησλ-πζρεηίζεσλ (E-R) ρεζηαθό Μνληέιν

13 Μνληέιν Οληνηήησλ-πζρεηίζεσλ Παξάδεηγκα ζρήκαηνο ζε έλα κνληέιν Οληνηήησλ - πζρεηίζεσλ όμομα-πελάηη οδός-πελάηη αριθμ-λογαρ ποζό id-πελάηη πόλη-πελάηη πελάηης καηαθέηης λογαριαζμός

14 ρεζηαθό Μνληέιν Παξάδεηγκα δεδνκέλσλ πίλαθα ζην ζρεζηαθό κνληέιν Γλσξίζκαηα Κωδ-πελάηη Όνομα-πελάηη Οδός-πελάηη Πόλη-πελάηη Αριθμόςλογαριαζμού Ισάλλνπ Αηόινπ Πάηξα A ηαύξνπ Νόηνπ Ρόδνο A Ισάλλνπ Αηόινπ Πάηξα A Σδίκα Μειηάο Χαληά A ηάπξνπ Νόηνπ Ρόδνο A-201

15 Παξάδεηγκα ρεζηαθήο Βάζεο Πελάηηρ Id-πελάτη Όνομα-πελάτη Διεύθσνση-πελάτη Πόλη-πελάτη Ιφάμμοσ Αιόλοσ 12 Πάτρα ταύροσ Νότοσ 4 Ρόδος Χρήστοσ Μάτης 3 Χίος Σσάμης Πατρόκλοσ 123 ύρος Σζίμα Μηλιάς 100 Χαμιά Λσσίοσ Παράστοσ 175 Πάργα ταύροσ Νότοσ 72 Ραυάμη Λογαπιαζμόρ ποσό Α Α Α Α Α Α Α Id-πελάτη Καηαθέηηρ αριθμόςλογαριασμού αριθμόςλογαριασμού Α Α Α Α Α Α Α-222

16 Γιώζζεο Βάζεσλ Γεδνκέλσλ: Γιώζζα Οξηζκνύ Γεδνκέλσλ (ΓΟΓ) Καζνξίδεη ην ζπκβνιηζκό γηα ηνλ νξηζκό ηνπ ζρήκαηνο ηεο ΒΓ Π.ρ. create table λογαπιζμόρ (απιθμόρ-λογαπιαζμού char(10), ςπόλοιπο integer) Ο κεηαγισηηηζηήο ηεο ΓΟΓ δεκηνπξγεί έλα ζύλνιν από πίλαθεο πνπ απνζεθεύνληαη ζε έλα λεξικό δεδομένων Σν ιεμηθό δεδνκέλσλ πεξηέρεη μεηα-δεδομένα (δει. δεδνκέλα γηα ηα δεδνκέλα) ρήκα βάζεο Γλώζζα Αποθήκεςζηρ θαη οπιζμού δεδνκέλσλ Γιώζζα πνπ ρξεζηκνπνηείηαη από ην ζύζηεκα βάζεο δεδνκέλσλ γηα ηνλ πξνζδηνξηζκό ηεο δνκήο απνζήθεπζεο θαη ησλ κεζόδσλ πξόζβαζεο πλήζσο κηα επέθηαζε ηεο γιώζζαο νξηζκνύ δεδνκέλσλ Πεξηνξηζκνί ζπλέπεηαο (Consistency constraints)

17 Γιώζζεο Βάζεσλ Γεδνκέλσλ: Γιώζζα Υεηξηζκνύ Γεδνκέλσλ (ΓΥΓ) (DML) Γιώζζα πξόζβαζεο θαη ρεηξηζκνύ δεδνκέλσλ νξγαλσκέλσλ από ην θαηάιιειν κνληέιν δεδνκέλσλ Η ΓΥΓ είλαη γλσζηή θαη σο γιώζζα επεξσηήζεσλ Γύν θιάζεηο γισζζώλ Γηαδηθαζηηθή (procedural) ν ρξήζηεο θαζνξίδεη ηα δεδνκέλα πνπ απαηηνύληαη θαη πώο ζα έρνπκε πξόζβαζε ζε απηά Με-δηαδηθαζηηθή / Γεισηηθή (nonprocedural/declarative) ν ρξήζηεο θαζνξίδεη ηα δεδνκέλα πνπ απαηηνύληαη ρσξίο λα πξνζδηνξίδεη πώο ζα έρνπκε πξόζβαζε ζε απηά Η SQL είλαη ε πην επξέσο ρξεζηκνπνηνύκελε γιώζζα επεξσηήζεσλ

18 SQL SQL: επξέσο ρξεζηκνπνηνύκελε κε-δηαδηθαζηηθή γιώζζα Πρ. Βξεο ην όλνκα ηνπ πειάηε κε θσδηθό-πειάηε select πελάηηρ.όνομα-πελάηη from πελάηηρ where πελάηηρ.κωδ-πελάηη = Πρ. Βξεο ηα ππόινηπα όισλ ησλ ινγαξηαζκώλ πνπ δηαηεξεί ν πειάηεο κε θσδηθό select λογαπιαζμόρ.ςπόλοιπο from καηαθέηηρ, λογαπιαζμόρ where καηαθέηηρ.κωδ-πελάηη= and καηαθέηηρ.απιθμόρ-λογαπιαζμού= λογαπιαζμόρ.απιθμόρ-λογαπιαζμού

19 Σν Γηάγξακκα E-R ελόο ηξαπεδηθνύ νξγαληζκνύ

20 Γεληθή Αξρηηεθηνληθή πζηήκαηνο

21 Δμόξπμε Γεδνκέλσλ θαη Αλαθάιπςε Γλώζεο

22 Κίλεηξν Γηαηί ρξεηάδεηαη ε εμόξπμε δεδνκέλσλ; Έρνπκε πνιιά δεδνκέλα αιιά ιίγε πιεξνθνξία! Πξόβιεκα έθξεμεο δεδνκέλσλ Σα εξγαιεία απηνκαηνπνηεκέλεο ζπιινγήο δεδνκέλσλ θαη ε ηειεπηαία ηερλνινγία βάζεσλ δεδνκέλσλ νδεγεί ζε έλα κεγάιν πιήζνο δεδνκέλσλ ην νπνίν απνζεθεύεηαη ζε βάζεηο δεδνκέλσλ, data warehouses θαη άιιεο απνζήθεο δεδνκέλσλ Λύζε: Δμόξπμε δεδνκέλσλ Δμόξπμε ελδηαθέξνπζαο γλώζεο (θαλόλεο, πξόηππα, πεξηνξηζκνί) από δεδνκέλα κεγάισλ βάζεσλ δεδνκέλσλ

23 1960: Δμέιημε ηεο ηερλνινγίαο βάζεσλ δεδνκέλσλ πιινγή δεδνκέλσλ, δεκηνπξγία βάζεο δεδνκέλσλ, ζπζηήκαηα δηαρείξηζεο πιεξνθνξίαο (IMS) θαη δηθηπσηέο βάζεηο δεδνκέλσλ 1970: ρεζηαθό κνληέιν δεδνκέλσλ, πινπνίεζε ζρεζηαθνύ ΓΒΓ 1980: RDBMS, πξνεγκέλα κνληέια δεδνκέλσλ (extended-relational, OO, deductive,θηι.) θαη ζπζηήκαηα πξνζαλαηνιηζκέλα ζηελ εθαξκνγή (spatial, scientific, engineering, θηι.) : Δμόξπμε δεδνκέλσλ θαη απνζεθώλ δεδνκέλσλ (Data mining, data warehousing), βάζεηο δεδνκέλσλ πνιπκέζσλ, βάζεηο δεδνκέλσλ ζην Παγθόζκην Ιζηό (Web databases)

24 Αλαθάιπςε Γλώζεο- Δμόξπμε δεδνκέλσλ ή γλώζεο Ση είλαη ανακάλςτη γνώζηρ από βάζειρ δεδομένυν (knowledge discovery from databases-kdd) ή ε εξόπςξη δεδομένυν (data mining) θαη εξόπςξη γνώζηρ (knowledge mining) : Απνθάιπςε ή παξαγσγή ιεηηνπξγηθήο γλώζεο, κέζσ ηεο αλάιπζεο δεδνκέλσλ από κεγάιεο απνζήθεο δεδνκέλσλ. Δύξεζε δνκώλ γλώζεο πνπ αλαδεηθλύνπλ γλώζε (π.ρ. ζπζρεηίζεηο ή θαλόλεο) πνπ είλαη θξπκκέλε κέζα ζηα δεδνκέλα θαη δελ κπνξνύλ λα εμαρζνύλ από ηνλ άλζξσπν κε επθνιία. Αλαθέξεηαη ζηελ όιε δηαδηθαζία θαη ζηηο επί κέξνπο ηερληθέο.

25 Αλαθάιπςε γλώζεο από δεδνκέλα Οξηζκόο «KDD είλαη ε ληεηεξκηληζηηθή δηαδηθαζία αλαγλώξηζεο έγθπξσλ, θαηλνηόκσλ, ελδερνκέλσο ρξήζηκσλ θαη ελ ηέιεη θαηαλνεηώλ πξνηύπσλ ζηα δεδνκέλα.» (Frawley, Piatesky-Shaphiro and Matheus, 1991). Γεδνκέλα: Οληόηεηεο ή ζπζρεηίζεηο ηνπ πξαγκαηηθνύ θόζκνπ (π.ρ. εγγξαθέο ζπλαιιαγώλ ηξαπέδεο, supermarket θιπ). Πξόηππν: Μηα έθθξαζε ζε κηα γιώζζα πνπ ραξαθηεξίδεη έλα ππνζύλνιν ησλ δεδνκέλσλ (π.ρ. έλαο θαλόλαο). Δγθπξόηεηα: Σν πξόηππν είλαη ζπλεπέο ζε λέα δεδνκέλα. Πηζαλή ρξεζηκόηεηα: Να κπνξεί λα ρξεζηκνπνηεζεί γηα θάπνην ζθνπό (π.ρ. ιήςε απνθάζεσλ). Σειηθά θαηαλνεηό: Κνηλώο θαηαλνεηό, ώζηε λα είλαη θνηλώο ρξήζηκν.

26 Ση είλαη ε εμόξπμε δεδνκέλσλ? Σώξα πνπ έρνπκε ζπιιέμεη ηόζα δεδνκέλα, ηη θάλνπκε κε απηά; Δμαγσγή σπήζιμυν πποηύπυν (απηόκαηα) πζρεηίζεηο (π.ρ., ςσκί + βνύηπξν --> γάια) Αθνινπζίεο (π.ρ., ρξνληθά δεδνκέλα πνπ ζρεηίδνληαη κε ην ρξεκαηηζηήξην) Καλόλεο πνπ δηακνηξάδνπλ ηα δεδνκέλα (π.ρ. πξόβιεκα ηνπνζεζίαο απνζήθεπζεο) Πνηα πξόηππα έρνπλ ενδιαθέπον ; Πεξηερόκελν πιεξνθνξίαο, εκπηζηνζύλε θαη ππνζηήξημε, απξόζκελν (ρξεζηκόηεηα ζηελ ιήςε απόθαζεο))

27 Γηαηί εμόξπμε δεδνκέλσλ; Πηζαλέο εθαξκνγέο Αλάιπζε βάζεο δεδνκέλσλ θαη ππνζηήξημε απόθαζεο Αλάιπζε θαη δηαρείξηζε αγνξάο Μάξθεηηλγθ ζηόρνπ, δηαρείξηζε ζε ζρέζε κε ηνλ πειάηε, αλάιπζε θαιαζηνύ αγνξώλ, cross selling, ηκεκαηνπνίεζε αγνξάο Αλάιπζε θαη δηαρείξηζε θηλδύλνπ/ξίζθνπ Πξόβιεςε, έιεγρνο πνηόηεηαο, αλάιπζε αληαγσληζκνύ Δληνπηζκόο νηθνλνκηθνύ εγθιήκαηνο Άιιεο εθαξκνγέο Δμόξπμε θεηκέλνπ (newsgroup, , documents) θαη αλάιπζε Ιζηνύ. Δμόξπμε ρσξηθώλ δεδνκέλσλ Έμππλε απάληεζε εξσηεκάησλ

28 Αλάιπζε θαη δηαρείξηζε αγνξάο Πνηέο είλαη νη πεγέο ησλ δεδνκέλσλ γηα ηελ αλάιπζε; (Γνζνιεςίεο κε θάξηεο, εθπησηηθά θνππόληα, θιήζεηο παξαπόλσλ από πειάηεο, θιπ.) Μάξθεηηλγθ ζηόρνπ (Δύξεζε νκάδσλ κνληέισλ πειαηώλ πνπ έρνπλ θνηλά ραξαθηεξηζηηθά: εηζόδεκα, ζπλήζεο αγνξέο, θιπ.) Καζνξηζκόο πξνηύπσλ ζπλαιιαγώλ ησλ πειαηώλ κε ην ρξόλν (Μεηαηξνπή ελόο ινγαξηαζκνύ ελόο κόλν αηόκνπ ζε θνηλό: γάκνο, θιπ.) «Cross-market» αλάιπζε (πζρεηίζεηο κεηαμύ πξντόλησλ πσιήζεσλ θαη πξνβιέςεηο κε βάζεη ηηο πσιήζεηο) Πξνθίι πειάηε (Πνηα πξντόληα αγνξάδεη ν πειάηεο) Πξνζδηνξηζκόο απαηηήζεσλ πειάηε (Σα θαιύηεξα πξντόληα γηα δηαθνξεηηθνύο πειάηεο) Παξνρή ζπλνπηηθήο πιεξνθνξίαο (πνιπδηάζηαηεο αλαθνξέο multidimensional summary reports)

29 Αλάιπζε θαη δηαρείξηζε θηλδύλνπ/ξίζθνπ Οηθνλνκηθόο πξνγξακκαηηζκόο Αλάιπζε θαη πξόβιεςε θίλεζεο κεηξεηώλ Αλάιπζε ρξνλνζεηξώλ θαη cross-sectional (αλάιπζε ηάζεο (trend analysis), θιπ.) Πξνγξακκαηηζκόο πεγώλ: ύλνςε θαη ζύγθξηζε ησλ πεγώλ θαη ησλ εμόδσλ Αληαγσληζκόο: Έιεγρνο αληαγσληζηώλ θαη ηάζεσλ ηεο αγνξάο Οκαδνπνίεζε πειαηώλ θαη απόδνζε ηηκώλ κε βάζεη ηηο νκάδεο απηέο Οξηζκόο ζηξαηεγηθήο απόδνζεο ηηκώλ ζε κία ηδηαίηεξα αληαγσληζηηθή αγνξά

30 Δθαξκνγέο Δληνπηζκόο θαη δηαρείξηζε νηθνλνκηθνύ εγθιήκαηνο/aπάηεο Yγεία, ππεξεζίεο πηζησηηθώλ θαξηώλ, ηειεπηθνηλσλίεο θηι. Πξνζέγγηζε Υξήζε ηζηνξηθώλ ζηνηρείσλ γηα ηελ δόκεζε κνληέισλ θαλνληθήο θαη ιαλζαζκέλεο ζπκπεξηθνξάο θαη ρξήζε ηερληθώλ εμόξπμεο δεδνκέλσλ γηα ηνλ πξνζδηνξηζκό ιαλζαζκέλσλ ζηηγκηνηύπσλ Παξαδείγκαηα Αζθάιεηα απηνθηλήησλ: εληνπηζκόο νκάδσλ πνπ πξνθαινύλ αηπρήκαηα γηα ηελ είζπξαμε ηεο αζθάιεηαο Ξέπιπκα ρξήκαηνο: εληνπηζκόο ύπνπησλ δνζνιεςηώλ ρξεκάησλ Ιαηξηθή αζθάιεηα: εληνπηζκόο επαγγεικαηηώλ αζζελώλ, αθαηάιιεισλ ηαηξηθώλ ζεξαπεηώλ

31 Αλαθάιπςε Ιαηξηθήο/ Βηνινγηθήο Γλώζεο Αλαθάιπςε ζπζρεηίζεσλ δνκήο-ιεηηνπξγίαο Υαξηνγξάθεζε αλζξώπηλνπ εγθεθάινπ (lesion-deficit, task-activation associations) Γνκή θπηηάξνπ (cytoskeleton) θαη ιεηηνπξγηθόηεηα ή παζνινγία Γνκή θαη ιεηηνπξγηθόηεηα πξσηετλώλ Αλαθάιπςε αηηηαθώλ ζρέζεσλ (causal relationships) πκπηώκαηα θαη θιηληθέο θαηαζηάζεηο αζζελώλ Αλάιπζε αθνινπζίαο DNA Βηνπιεξνθνξηθή (microarrays, θηι.)

32 Αζιήκαηα Άιιεο εθαξκνγέο IBM Advanced Scout αλέιπζαλ ζηαηηζηηθά παηρληδηώλ ηνπ NBA (shots blocked, assists, and fouls) γηα λα θεξδίζνπλ αληαγσληζηηθό πιενλέθηεκα γηα New York Knicks θαη Miami Heat Αζηξνλνκία Σα JPL θαη Palomar Observatory αλαθάιπςαλ 22 quasars κε ηελ βνήζεηα ηεο εμόξπμεο δεδνκέλσλ Internet Web Surf-Aid IBM Surf-Aid ρξεζηκνπνίεζε data mining αιγνξίζκνπο ζε Web access logs γηα ηζηνζειίδεο αγνξάο πξνηόλησλ γηα λα αλαθαιύςνπλ πξνηηκήζεηο θαη ζπκπεξηθνξέο πειαηώλ, αλαιύνληαο ηελ απνηειεζκαηηθόηεηα ηνπ Web marketing, βειηηώλνληαο Web site organization, θιπ.

33 Αλαθάιπςε γλώζεο από δεδνκέλα Εξόπςξη δεδομένυν: ε θεληξηθή δηαδηθαζία ζηελ αλαθάιπςε γλώζεο. Αποθήκη δεδομένων Επιλεγμένα δεδομένα Επιλογή Επεξεπγαζμένα δεδομένα Εξόπςξη δεδομένων Ππόηςπα Επεξεπγαζία & Μεηαζσημαηιζμόρ Αξιολόγηζη πποηύπων Γνώζη Ενοποίηζη δεδομένων Βάζειρ δεδομένων Απσεία

34 Βαζηθά Βήκαηα Γηαδηθαζίαο Αλαθάιπςεο Γλώζεο Επιλογή (Selection): Απόθηεζε δεδνκέλσλ από δηάθνξεο εηεξνγελείο πεγέο. Πποεπεξεπγαζία (Preprocessing): Δζθαικέλα, πξνβιεκαηηθά ή ειιείπνληα δεδνκέλα ηαθηνπνηνύληαη (~60% ηεο πξνζπάζεηαο!) Μεηαζσημαηιζμόρ (Transformation): Μεηαηξνπή εηεξνγελώλ δεδνκέλσλ ζε θνηλή ηππνπνίεζε γηα επεμεξγαζία. Εξόπςξη δεδομένων (Data mining): Δθαξκνγή αιγνξίζκσλ γηα παξαγσγή κνληέινπ. Διεπμηνεία/Αξιολόγηζη (Interpretation/Evaluation): Παξνπζίαζε ησλ απνηειεζκάησλ ηεο εμόξπμεο δεδνκέλσλ ζηνπο ρξήζηεο γηα αμηνιόγεζε (ρξήζε κεζόδσλ νπηηθνπνίεζεο θαη GUI).

35 Σύπνη Μνληέισλ Πξνβιεπηηθό (predictive) Κάλεη πξόβιεςε ζπκπεξηθνξάο θάπνησλ κεηαβιεηώλ πνπ παξνπζηάδνπλ ελδηαθέξνλ θαη νη νπνίεο βαζίδνληαη ζηε ζπκπεξηθνξά άιισλ κεηαβιεηώλ. Η πξόβιεςε κπνξεί λα ζηεξίδεηαη ζε ηζηνξηθά δεδνκέλα. Πεξηγξαθηθό (descriptive) Βξίζθεη πξόηππα (patterns) ή ζρέζεηο (relationships) πνπ ελππάξρνπλ ζηα δεδνκέλα. Δξεπλά ηηο ηδηόηεηεο ησλ ππό εμέηαζε δεδνκέλσλ, εμεγεί ηε ζπκπεξηθνξά ηνπο.

36 Γηεξγαζίεο Δμόξπμεο Γεδνκέλσλ Πξνβιεπηηθνύ ηύπνπ ή κνληέινπ Καηεγνξηνπνίεζε (Classification) Παιηλδξόκεζε ή Παξεκβνιή (Regression) Αλάιπζε ρξνλνζεηξώλ (Time series analysis) Πξόβιεςε (Prediction) Πεξηγξαθηθνύ ηύπνπ ή κνληέινπ πζηαδνπνίεζε (Clustering) ύλνςε (Summarization) ή Γελίθεπζε (Generalization) Δύξεζε Καλόλσλ πζρέηηζεο (Association Rules) Αλαθάιπςε πζρεηίζεσλ ζε Αθνινπζίεο (Pattern Discovery in Sequences)

37 Καηεγνξηνπνίεζε Γεδνκέλσλ - Πξόβιεςε Καηηγοπιοποίηζη δεδομένων (data classification): Βαζίδεηαη ζηελ εμέηαζε ησλ ραξαθηεξηζηηθώλ ελόο λένπ αληηθεηκέλνπ (μη καηηγοπιοποιημένο) ην νπνίν κε βάζε ηα ραξαθηεξηζηηθά απηά αληηζηνηρίδεηαη ζε έλα πξνθαζνξηζκέλν ζύλνιν θιάζεσλ (θαηεγνξηώλ). Bαζηθέο κέζνδνη: Μέζνδνο Bayes, Γέληξα Απνθάζεσλ, Νεπξσληθά Γίθηπα Πξόβιεςε: Μνληεινπνίεζε ζπλερώλ ζπλαξηήζεσλ, π.ρ., πξόβιεςε άγλσζησλ ή απώλησλ ηηκώλ Σππηθέο Δθαξκνγέο credit approval target marketing medical diagnosis treatment effectiveness analysis

38 πζηαδνπνίεζε Γεδνκέλσλ Η εξγαζία ηνπ θαηακεξηζκνύ ελόο εηεξνγελνύο πιεζπζκνύ ζε έλα ζύλνιν ζπζηάδσλ (clusters). ηελ ζπζηαδνπνίεζε δελ ππάξρνπλ πξνθαζνξηζκέλεο θαηεγνξίεο. Οη εγγξαθέο νκαδνπνηνύληαη ζε ζύλνια κε βάζε ηελ νκνηόηεηα πνπ παξνπζηάδνπλ κεηαμύ ηνπο. Αληηπξνζσπεπηηθνί αιγόξηζκνη: K-Means (animation) θαη παξαιιαγέο, PAM

39 Λεηηνπξγηθόηεηεο εμόξπμεο δεδνκέλσλ Πξόηππα πνπ κπνξνύλ λα εμαρζνύλ Αλάιπζε Outlier Outlier: έλα αληηθείκελν δεδνκέλσλ ην νπνίν δελ αθνινπζεί ηελ γεληθή ζπκπεξηθνξά ησλ δεδνκέλσλ (κπνξεί λα εληνπηζζεί κε ηελ ρξήζε ζηαηηζηηθώλ ειέγρσλ πνπ πηνζεηνύλ έλα πηζαλνηηθό κνληέιν) πρλά ζεσξείηαη ζόξπβνο αιιά είλαη ρξήζηκν ζηνλ εληνπηζκό ζθάικαηνο, ηελ αλάιπζε ζπάλησλ γεγνλόησλ Αλάιπζε ηάζεο θαη εμέιημεο (trend and evolution analysis) Μειεηά ηελ θαλνληθόηεηα ησλ αληηθεηκέλσλ ησλ νπνίσλ ε ζπκπεξηθνξά κεηαβάιιεηαη κε ηνλ ρξόλν Σάζε θαη απόθιηζε: αλάιπζε παιηλδξόκεζεο (regression) Δμόξπμε αθνινπζηαθνύ πξνηύπνπ, αλάιπζε πεξηνδηθόηεηαο Αλάιπζε κε βάζε ηελ νκνηόηεηα

40 Υξνλνινγηθέο εηξέο Xξνλνινγηθή ζεηξά: κηα αθνινπζία αξηζκώλ θάζε έλαο από ηνπο νπνίνπο έρεη έλα timestamp (εηικέηα σπόνος). Υαξαθηεξηζηηθά ππνζέηνπκε όηη νη δηαδνρηθνί αξηζκνί ρσξίδνληαη από έλα ζηαζεξό ρξνληθό δηάζηεκα, θαη ην πξαγκαηηθό timestamp παξαιείπεηαη. Γηάθνξεο θπζηθέο δηαδηθαζίεο παξάγνπλ δεδνκέλα ππό κνξθή ρξνλνινγηθώλ ζεηξώλ (ι.ρ. εθαξκνγέο ζηνλ νηθνλνκηθό θαη πεξηβαιινληηθό ηνκέα).

41 Υξνλνινγηθέο εηξέο Μνληεινπνίεζε ρξνληθώλ γεγνλόησλ Αλάιπζε ρξνλνινγηθώλ ζεηξώλ Αλάιπζε ηάζεσλ Μεηαζρεκαηηζκόο Οκνηόηεηα Πξόβιεςε Αιγόξηζκνη παξαγσγήο θαλόλσλ ρξνληθώλ ζπζρεηίζεσλ

42 Οκνηόηεηα Υξνλνινγηθώλ εηξώλ Μηα ξεαιηζηηθή ζπλάξηεζε απόζηαζεο πνπ ζα ηαηξηάδεη κε ηελ αληίιεςε ηνπ ρξήζηε γηα ην ηη απηόο ζεσξεί παξόκνην. Έλα απνδνηηθό ζρέδην indexing, ην νπνίν ζα επηηαρύλεη ηηο εξσηήζεηο ησλ ρξεζηώλ. Η p-norm απόζηαζε κεηαμύ δύν λ-δηάζηαησλ δηαλπζκάησλ Φ θαη Υ νξίδεηαη σο εμήο:

43 Παξαδείγκαηα ηερληθώλ εμόξπμεο Γέληξα Απνθάζεσλ οικ. καη. Δ Σ Α ηλικία>30 ΟΦΙ θύλο Ν Ο Α Γ ΝΑΙ ΟΦΙ ΟΦΙ ΝΑΙ Καλόλεο (Ηιηθία<=30) & (Οηθ:Σ) -> (Φύιν:Γ) (Ηιηθία<=30) & (Οηθ:Δ) -> (Φύιν:Γ)... ν ο Φύλο Γ ΝΑΙ ΟΧΙ Φ Η Δ Α Τ ΑΠ ΧΟ ΧΑ Νεπξσληθά δίθηπα Α Ηλικία ηαηηζηηθνί ηαμηλνκεηέο

44 Γεηηνληθέο Πεξηνρέο Αλάθηεζε Πιεξνθνξίαο Βάζεηο Γεδνκέλσλ Σερλεηή Ννεκνζύλε Δπθπήο Τπνινγηζκόο ηαηηζηηθή Αλάιπζε Γεδνκέλσλ

45 Δμόξπμε δεδνκέλσλ: πκβνιή πνιιαπιώλ αξρώλ Τεσνολογία ΒΓ Σηαηιζηικέρ Μησανική μάθηζη Δξόπςξη Γεδομένων Οπηικοποίηζη Δπιζηήμη πληποθοπίαρ Άλλερ απσέρ

46 Mέξνο Β: Δπηκέξνπο Δθαξκνγέο

47 Δμόξπμε Βηνηαηξηθώλ Γεδνκέλσλ Experimental methods in biomedicine have resulted in massive amounts of data - Urgent need for efficient methods of processing and understanding this data Application areas include: computational neuroscience, genome studies, cardiology, cancer diagnosis, Neurology, etc Examples of considered datasets include: Radiological data (MRI, fmri) EEG data, genome sequences, gene expression data, protein structural data, protein-protein interaction data, protein-dna interaction data, etc

48 Βηνηαηξηθά Datasets Incomplete (missing parameter values) Incorrect (systematic or random noise in data) Sparse (few and/or non-representative patient records available) Inexact (inappropriate selection of parameters for the given task) Involve measurements of parameters at different times

49 Δμόξπμε Βηνηαηξηθώλ Γεδνκέλσλ In Biomedicine, data mining can be used for solving descriptive and predictive tasks: Descriptive: finding interesting patterns in data, interesting clusters, association rules, etc Predictive: inducing a predictive model that holds on the data and can be used for prediction or classification of unseen instances Often used for building classification models that are used for Diagnosis Prognosis Treatment planning

50 Καηεγνξηνπνίεζε Όγθσλ ζηνλ Αλζξώπηλν Δγθέθαιν Distinguish between benign (meningiomas) and malignant tumors (assisting medical diagnosis) Therapy and prognosis are quite different for the two categories Employ data from multiple modalities (CT and conventional MR, MRS) Combine image and non-image features (incorporate the metabolic profile of tumors)

51 Καηεγνξηνπνίεζε Όγθσλ ζηνλ Αλζξώπηλν Δγθέθαιν Steps usually involved: Segmentation of ROIs from MR images ROI feature extraction Fusion of MR image and MRS features Informative feature selection Classification model construction Challenges: Uncertainty in identifying inter-tissue boundaries Fusion of information from multiple modalities Limited number of samples Easy interpretability of classification model

52 Ηκηαπηόκαηε θαηάηκεζε πεξηνρώλ ελδηαθέξνληνο -Υξήζε ηεο έλλνηαο ηνπ fuzzy-connectedness (Rosenfeld, 1979) Αιγνξίζκνο fuzzy connectedness: -Αssign to every pair of voxels, x, y, in the image, a real number between 0 and 1 (the fuzzy-connectedness of x to y) denoting the strength of the link between x and y. -The algorithm starts with a given set of seed points (more effective using some prior knowledge) -Each point is assigned to the structure having a neighboring point with the highest fuzzyconnectedness value. -The strongest connection is detected first, and the process repeats until the weakest connection is calculated. A sequence of points is called a chain, where its links are the ordered pairs of consecutive points in the sequence. The strength of a chain is the length of its weakest link. -The segmented object is defined by the number of points that are connected through a chain to the selected seed point of the object.

53 Ηκηαπηόκαηε θαηάηκεζε ηεο πεξηνρήο ελδηαθέξνληνο Automated segmentation at work:

54 Ηκηαπηόκαηε θαηάηκεζε ηεο πεξηνρήο ελδηαθέξνληνο Automated segmentation at work:

55 Μνληέιν θαηεγνξηνπνίεζεο όγθσλ ηνπ αλζξώπηλνπ εγθεθάινπ Γέλδξν Απόθαζεο Yes lip1.3-area > No Malignant CC7 > Yes No CC3 >0.96 Benign Yes No Benign Malignant

56 Aλάιπζε δελδξηθώλ δνκώλ Ση είδνπο δελδξηθέο δνκέο;

57 Αλάιπζε Μαζηνγξαθίαο Apply tree pattern analysis techniques to medical image data galactograms Analysis of the ductal network

58 Δμόξπμε δεδνκέλσλ από fmri Build robust and efficient brain informatics tools to: understand how the brain functions assist in clinical interpretation of images facilitate advances in early diagnosis and treatment

59 Πξώηκε Αλίρλεπζε ηεο λόζνπ Alzheimer For a semantic memory test major differences were seen in the right posterior parietal and temporal lobe regions (colorbar shows significance)

60 Δθαξκνγή ηερληθώλ εμόξπμεο ζε fmri γηα αλίρλεπζε ςεύδνπο 11 subjects κνηξαζκέλα ζε δύν νκάδεο. Πιεξνθνξία fmri ζπγθεληξώζεθε από δύν νκάδεο ζύκθσλα κε ηηο απαληήζεηο ηνπο ζε εξσηήζεηο πνπ ηνπο ηέζεθαλ. ηόρνο: αλάιπζε ησλ εηθόλσλ γηα εύξεζε πεξηνρώλ πνπ κπνξνύλ λα δηαθξίλνπλ αλ θάπνηνο ιέεη αιήζεηα ή ςέκαηα

61 Δθαξκνγή ηερληθώλ εμόξπμεο ζε fmri γηα αλίρλεπζε ςεύδνπο Activation values for the regions detected by DRP as discriminative (blue is for the guilty group, red the non-guilty group) Οη δηαθξηηηθέο πεξηνρέο πνπ βξέζεθαλ είλαη ζην frontal, parietal, and temporal lobes θαζώο θαη ζην deeper limbic system. Ο αξηζηεξόο medial inferior frontal lobe βξέζεθε ζαλ ε πεξηνρή πνπ μερσξίδεη θαιύηεξα ηηο δύν νκάδεο Parameters Regions Accuracy p-value=.05, depth= % Colored areas are discriminative regions found by DRP with p-value = 0.05 and a maximum splitting level of 3 p-value=.01, depth= % p-value=.01, depth=4 6 97% Classification accuracy for different parameters of DRP

62 Έπξεζε νκνηόηεηαο Ιαηξηθώλ Δηθόλσλ or... Content-Based Medical Image Retrieval Query Image: A-1-26 Top 6 matches: A-1-27 A-1-25 A-1-24 A-1-28 A-1-23 A-1-29

63 Αλάιπζε θαη πζηαδνπνίεζε ρξνλνζεηξώλ από fmri πζηαδνπνίεζε, δει. Οκαδνπνίεζε εηθνλνζηνηρείσλ (voxels) ησλ νπνίσλ νη ρξνλνζεηξέο έρνπλ παξόκνηα ζπκπεξηθνξά ζην ρξόλν Μεζνδνινγία: Πξνεπεμεξγαζία, θαλνληθνπνίεζε, εμαγσγή ζνξύβνπ Αλάιπζε θαζκαηηθήο ηζρύο (power spectral analysis) πζηαδνπνίεζε ρξνλνζεηξώλ (k-means θαη άιιεο ηερληθέο) Έιεργνο ησλ ζπζηάδσλ Δπαλαιεπηηθή αθαίξεζε outliers

64 Mean Normalized BOLD Signal Mean Normalized BOLD Signal Mean Normalized BOLD Signal Αλάιπζε θαη πζηαδνπνίεζε ρξνλνζεηξώλ από fmricluster Mean Time (scans) Cluster Mean Time (scans) Cluster Mean Subject s clustering result overlaid on the T1 map Time (scans) Mean time series for each cluster

65 Αλάιπζε Υαξηώλ Έθθξαζεο Γνληδίσλ (Gene Expression Maps) Data from microarrays in a coronal slice of normal mice brain

66 Αλάιπζε Υαξηώλ Έθθξαζεο Γνληδίσλ 2-dimensional images of gene expression for 20,847 genes Each element of the matrix is the gene expression value for a particular gene in a given voxel 68 Voxels Genes

67 πζηαδνπνίεζε Cellular Component, 35 significant clusters

68 Δπίδξαζε ηεο Δμόξπμεο Βηνηαηξηθώλ Γεδνκέλσλ Assist in clinical interpretation of biomedical images Facilitate advances in diagnosis and treatment Aid in early detection of diseases Enable researchers to integrate, manipulate and analyze large volumes of biomedical data Provide new insight into the relation of anatomy and function

69 Δμόξπμε Υσξηθώλ θαη Υξνληθώλ Γεδνκέλσλ

70 Tν πξόβιεκα Δμόξπμε γλώζεο - ρσξηθά δεδνκέλα: Γεδνκέλεο κηαο κεγάιεο ζπιινγήο από ρσξηθά δεδνκέλα, π.ρ., 2D ή 3D εηθόλεο, θαη άιια δεδνκέλα, βξείηε ελδηαθέξνληα πξάγκαηα, δει.: πζρεηίζεηο κεηαμύ ρσξηθώλ δεδνκέλσλ ή κεηαμύ ρσξηθώλ θαη κε-ρσξηθώλ δεδνκέλσλ Πεξηνρέο ηθαλέο λα δηαθξίλνπλ (discriminative areas) νκάδεο εηθόλσλ Καλόλεο/πξόηππα Δηθόλεο παξόκνηεο κε κηα εηθόλα query (queries by content)

71 Υσξηθά Γεδνκέλα - Γπζθνιίεο Πσο λα εθαξκόζνπκε ηερληθέο εμόξπμεο γλώζεο ζε εηθόλεο? Δηεξνγέλεηα θαη δηαθύκαλζε (variability) δεδνκέλσλ Πξνεπεμεξγαζία δεδνκέλσλ (π.ρ., θαηάηκηζε, ρσξηθή θαλνληθνπνίεζε, αλαπαξάζηαζε) Eμεξεύλεζε ηεο πςειήο ζπζρέηηζεο κεηαμύ γεηηνληθώλ αληηθεηκέλσλ Yςειή δηαζηαηηθόηεηα δεδνκέλσλ (large dimensionality of data) Πνιππινθόηεηα ζπζρεηίζεσλ Απνδνηηθή (efficient) δηαρείξεζε ηεο ηνπνινγηθήο πιεξνθνξίαο/απόζηαζεο Αλαπαξάζηαζε ρσξηθήο γλώζεο / Spatial Access Methods (SAMs) ώζηε λα δηεπθνιύλεη ηελ αλαδήηεζε

72 Δθαξκνγέο Αλάιπζε ηαηξηθώλ εηθόλσλ, βηνπιεξνθνξηθή, γεσγξαθία, κεηεσξνινγία,...

73 Γηαρείξεζε Υσξηθώλ Πεξηνρώλ Λεπηνκεξήο πνζνηηθόο ραξαθηεξηζκόο θαη ηαμηλόκεζε (classification) ησλ πεξηνρώλ εηδηθνύ ελδηαθέξνληνο (ROIs) π.ρ., επέθηαζε αλάιπζεο Sholl κε νκόθεληξα θέιπθε Δμαγσγή θαη αλαπαξάζηαζε ηνπ πιεξνθνξηαθνύ πεξηερνκέλνπ (information content) ησλ εηθόλσλ Αλάπηπμε ελόο γεληθνύ θαη ελνπνηεκέλνπ πιαηζίνπ εξγαζίαο γηα δηαρείξεζε πεξηνρώλ (ROIs) Πηζαλνηηθά κνληέια γηα παξαγσγή πξνζνκνησκέλσλ πεξηνρώλ Αλαδήηεζε νκνηόηεηαο similarity searches

74 Πνζνηηθόο Υαξαθηεξηζκόο Γελδξνεηδώλ δνκώλ θαη Σαμηλόκεζε Έλα δίθηπν αγσγώλ ζην καζηό: (a) γαιαθηόγξακκα κε a contrast-enhanced δίθηπν αγσγώλ, (b) κέξνο ηνπ γαιαθηνγξάκκαηνο πνπ δείρλεη κεγαιύηεξν ην δίθηπν αγσγώλ, (c) ην δίθηπν 1 (a) (b) (c) { } Prufer Πξνεπεμεξγαζία (πξνζδηνξηζκόο νξίσλ ρσξηθώλ πεξηνρώλ, ζθειεηνπνίεζε, θαλνληθνπνίεζε (ηζόκνξθα δέλδξα) Labeling θαη αλαπαξάζηαζε δέληξσλ κε ζεηξέο ραξαθηήξσλ θσδηθνπνίεζε Prüfer

75 Ο ρσξηθόο πξνζνκνησηήο: Παξαγσγή πξνζνκνησκέλσλ πεξηνρώλ (ROIs) Γεκηνπξγία πξνζνκνησκέλσλ πεξηνρώλ ρξεζηκνπνηώληαο ζηαηηζηηθά δεδνκέλα ζπιιεγκέλα από έλα ζεη δεδνκέλσλ D γηα: αξηζκό ησλ πεξηνρώλ εηδηθνύ ελδηαθέξνληνο / δείγκα κέγεζνο θάζε πεξηνρήο ζρήκα θάζε πεξηνρήο ρσξηθή πηζαλνηηθή θαηαλνκή ηνπ θέληξνπ κάδαο θάζε πεξηνρήο εμνκάιπλζε (θάλνληαο ρξήζε ελόο ζθαηξηθνύ παξαζύξνπ), padding, θαλνληθνπνίεζε (normalization) Γεκηνπξγία ησλ ζρεκάησλ ησλ πεξηνρώλ ρξεζηκνπνηώληαο έλα κνληέιν αλάπηπμεο (growth model) βαζηζκέλν ζε απηό ηνπ Eden, 1961

76 Αλάιπζε Υξνληθώλ εηξώλ Υξνληθή ζεηξά: Μία αθνινπζία (δηαηεηαγκέλε ζπιινγή) πξαγκαηηθώλ ηηκώλ : X = x 1, x 2,, x n Πνιιέο εθαξκνγέο... Γπζθνιίεο: Τςειή δηαζηαηηθόηεηα δεδνκέλσλ (high dimensionality) Μεγάινο αξηζκόο ζεηξώλ Οξηζκόο ζπλάξηεζεο νκνηόηεηαο (similarity) Αλάιπζε νκνηόηεηαο (π.ρ., αλεύξεζε κεηνρώλ πνπ κνηάδνπλ κε απηήλ ηεο IBM ηόρνη: πςειή αθξίβεηα, γξήγνξεο ηερληθέο γηα αλαδήηεζε νκνηόηεηαο κεηαμύ ρξνληθώλ ζεηξώλ θαη γηα αλαθάιπςε ελδηαθέξνλησλ πξνηύπσλ Δθαξκνγέο: νκαδνπνίεζε (clustering), ηαμηλόκεζε (classification), αλαδήηεζε νκνηόηεηαο (similarity searches), δεκηνπξγία πεξίιεςεο (summarization)

77 Γηακειηζκόο Πξνζέγγηζε Σκεκάησλ κε ηαζεξέο (Piecewise Constant Approximations) Αξρηθή ζεηξά (n ζεκεία) Piecewise constant approximation (PCA) ή Piecewise Aggregate Approximation (PAA), [Yi and Faloutsos 00, Keogh et al, 00] (n' ηκήκαηα) Πξνζαξκόζηκε PCA - Adaptive Piecewise Constant Approximation (APCA), [Keogh et al., 01] (n" ηκήκαηα)

78 Αλάιπζε Οκνηόηεηαο Υξνληθώλ εηξώλ Γηαθνξεηηθνύ Μήθνπο Πξόβιεκα: Γεδνκέλσλ 2 ρξνληθώλ ζεηξώλ: A = { a 1, a m } (query) θαη B = { b 1,,b n } (target), πξνζδηνξίζηε ππν-ζεηξά B' ηεο B πνπ ηαηξηάδεη θαιύηεξα κε ηελ A (όπνπ m < n) Γηα θάπνηα δεδνκέλα κπνξνύκε εύθνια θαη κε αθξίβεηα λα εμάγνπκε ηελ αξρή θαη ην ηέινο θάπνηνπ πξνηύπνπ (pattern) εληόο κίαο ζεηξάο (π.ρ., θαξδηαθνί παικνί). ε κεξηθέο εθαξκνγέο όκσο απηό είλαη δύζθνιν.

79 Έλα άιιν παξάδεηγκα: Κίλεηξα (ζπλέρεηα) Αλαπήδεζε αζιεηή άικαηνο εηο ύςνο

80 A, B: έλα ςειόο αζιεηήο (ε αλαπήδεζε ζην Β πεξηθόπηεηαη) C: ζρεηηθά θνληή αζιήηξηα κε αξθεηά δηαθνξεηηθό style Κίλεηξα (ζπλέρεηα) Σν DTW αληηζηνηρεί ηελ αλαπήδεζε ηνπ A ζην ηέινο ηεο ζεηξάο B Θέινπκε λα κπνξνύκε λα αγλννύκε ηκήκαηα πνπ δελ έρνπλ θπζηθή αληηζηνηρία Η πξνηεηλόκελε κέζνδνο, MVM, παξάγεη πην θπζηθέο νκάδεο (clustering) αθνύ επηηξέπεη ηελ εμάιεηςε ησλ outliers

81 Πεηξακαηηθά Απνηειέζκαηα (ζπλέρεηα) Σαίξηαζκα νιόθιεξσλ ζεηξώλ (Whole sequence matching) 3 ζεη δεδνκέλσλ: Face: 112 ζεηξέο πνπ απεηθνλίδνπλ ην πξνθίι 4 δηαθνξεηηθώλ αλζξώπσλ ζεκεία Leaf: 442 ζεηξέο πνπ απεηθνλίδνπλ ην πεξίγξακκα 6 δηαθνξεηηθώλ εηδώλ θύιισλ ζεκεία Gun: 200 θηλήζεηο ηξαβήγκαηνο πηζηνιηνύ από 2 δηαθνξεηηθνύο εζνπνηνύο 150 ζεκεία Animation ηεο κεηαηξνπήο ζρήκαηνο ζε ρξνληθή ζεηξά

82 Αλάιπζε εηθόλσλ κε κεηαζρεκαηηζκό ζε 1D (a) (b) (c) (a) linear mapping of a 3D fmri scan, (b) effect of binning by representing each bin with its V mean measurement, (c) the discriminative voxels after applying the t-test with ζ=0.05 Hilbert Space Filling Curve Σνπνζέηεζε ζε θνπηηά (Binning) Statistical tests of significance ζε ομάδερ από ζημεία Πξνζδηνξηζκόο πεξηνρώλ ηθαλώλ λα δηαθξίλνπλ νκάδεο (κε backprojection)

83 Precision Agriculture: Increased Financial Gain Example: Fertilizer Rate Recommendation (on simulated data with real-data statistics) Global model Local models Optimal fertilization

84 Objective: Estimation and Data Mining in a Network of Sensors To perform estimation and data mining at the fusion center based on data collected from the sensors (under communication and storage constraints) Results: Novel data compression/reduction techniques Distributed classification and regression trees Neural network quantizers

85 Αλάιπζε Γεδνκέλσλ Πηήζεσλ

86 πζηαδνπνίεζε κνλνπαηηώλ πηήζεσλ Παπάδειγμα: Denver to Miami

87 Δηζαγσγή Σηόσορ: ε ρξήζε ηερληθώλ εμόξπμεο δεδνκέλσλ γηα ηε κνληεινπνίεζε δεδνκέλσλ αεξνπνξηθώλ πηήζεσλ γηα ηελ εμαγσγή ζπκπεξαζκάησλ - Πνηέο ήηαλ νη αηηίεο θαζπζηέξεζεο εάλ ε αλαρώξεζε ηεο πηήζεο ήηαλ ρσξίο θαζπζηέξεζε - Σα κεγάια αεξνπιάλα θαζπζηεξνύληαη πεξηζζόηεξν από ηα κηθξά; Σύνολο δεδομένυν: δεδνκέλα πηήζεσλ 3 κελώλ από ηελ Lockheed Martin Τεσνική: Bayesian δίθηπα

88 Ση είλαη ην κνληέιν? Σα κνληέια είλαη ρξήζηκα γηα: - πεξηγξαθή κεγάισλ όγθσλ δεδνκέλσλ - θαηαλόεζε κηαο δηαδηθαζίαο παξαγσγήο δεδνκέλσλ DATA Πηζαλνηηθό κνληέιν κηαο πεξηνξηζκέλεο πεξηνρήο Input: current knowledge (variable assignments) Output: Pr(quantity of interest current knowledge) Σα γξαθηθά κνληέια κπνξνύλ λα ρξεζηκνπνηεζνύλ γηα ηελ αλαπαξάζηαζε γλώζεο αίηηνπ-αηηηαηνύ ή αλεμαξηεζίαο MODEL

89 Bayesian Networks (BNs) z The BN Model: z directed acyclic graph (DAG) z represents the joint pdf of the domain, causal/independence information z each node is a variable z tables are conditional probabilities z conditional independence principle z Advantages: z mathematically sound (probability theory) z visually expressive z structurally meaningful (can represent generative processes) z complete (any generative process)

90 ύλνςε Flight Data Raw Data Extract A C B Bayesian Nets D Preprocessed Data Data Preprocessing BN Tools

91 Πξνεπεμεξγαζία Γεδνκέλσλ Eliminate unrelated attributes - attributes with only null values e.g. a_out - attributes with only one value e.g. wx_alert Incorporate suggestions from experts Handle missing values Transform data Convert Date type Determine DELAY (assumption: flights depart on time) Continuous: Delay= arrival_delta departure_delta Discrete: If arrival_delta departure_delta > 5 then Delay=1, Else Delay=0

92 Πξνεπεμεξγαζία Γεδνκέλσλ: Conversion FLEET_ID Airplane fleet identifier For each type of plane, decode as: numengines an integer indicating the number of engines prop 1 if the enging type is prop, 0 otherwise turboprop 1 if the engine type is turbo prop, 0 otherwise jet 1 if the engine type is jet, 0 otherwise small 1 if the weight class is small, 0 otherwise large 1 if the weight class is large, 0 otherwise heavy 1 if the weight class is heavy, 0 otherwise climb the climb rate in feet per minute descend the descend rate in feet per minute cati 1 if the SRS category is I, 0 otherwise catii 1 if the SRS category is II, 0 otherwise catiii 1 if the SRS category is III, 0 otherwise

93 Αλαθαιύπηνληαο ην Bayesian Γίθηπν Split data into training set and test set (70%,30%) Edit a training plan Build the model Browse resulting Bayesian Net

94 Αλάιπζε ησλ δεδνκέλσλ Dataset: First 200,000 records from table Flight. What causing delay if flight departs on time? - Distance_Delta - Plane.large - Hold_time - Dest_AP_ID - Plane.turboProp Whether the plane is large have more influence on delay than whether the plane is small. This model can be used for prediction

95 July August Αλάιπζε αλεμάξηεηα ησλ κελώλ Ινύλην, Ινύιην, Αύγνπζην Dataset Size June 218,774 July 225,602 August 241,423 June

96 Σα 5 ηζρπξόηεξα ραξαθηεξηζηηθά πνπ πξνθαινύλ θαζπζηέξεζε (DELAY) Strength June July August 1 ALERTS ALERTS ALERTS 2 ORG ORG ORG 3 DIST_DELTA DIST_DELTA DIST_DELTA 4 A_OFF FLEET DEST 5 DEST HOLD_TIME HOLD_TIME

97 ύγθξηζε ησλ Bayesian Γηθηύσλ πνπ πξνθύπηνπλ από δηαθνξεηηθέο νκάδεο δεδνκέλσλ κε βάζε ην αεξνδξόκην πξννξηζκνύ Dataset Size To the most busy airport: DEN and ATL 103,456 To the airport with flights fewer than ,272 Busy Airports: DEN and ATL Airports with few flights

98 Δξσηήζεηο;