MPEG7 Multimedia Content Description Interface

Transcript

1 MPEG7 Multimedia Content Description Interface Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.1

2 Αναφέρεται σε «βάσεις» εικόνων,video και ήχου Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.2

3 Πως ένα σύνολο εικόνων θα µπεί σε µία διάταξη κατά σειρά οµοιότητας;; Query image Οι 7 εικόνες στη 2 η γραµµή έχουν τοποθετηθεί σύµφωνα µε την σειρά οµοιότητας µε την εικόνα αναζήτησης (1 η γραµµή ) Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.3

4 Content-based image Retrieval - ανάκτηση βάσει του περιεχοµένου Τρόποι: Με σχεδιάγραµα (query by sketch) Με παράδειγµα µία εικόνα (query by example) Με σύνολο εικόνων (query by group example) Με «σχετική» ανατροφοδότηση (relevance feedback) (θετικά και αρνητικά παραδείγµατα σε αλληλεπίδραση µε τον χρήστη) Με «semantics» Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.

5 1. Επιλογή χαρακτηριστικών 2. Μέτρα οµοιότητας Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.5

6 Το πρωτόκολλο MPEG7 Εισαγωγικά Τυποποιεί την περιγραφή του περιεχοµένου των πολυµέσων (video audio) εν επεξεργάζεται αλλά. Συλλέγει χαρακτηριστικά πού χρειάζονται για δεδοµένων εικόνας-ήχου περιγραφή Κάνει δόµηση της περιγραφής για δηµιουργία «κοινής γλώσσας» ώστε να.. πραγµατοποιείται indexing retrieval browsing κλπ. Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.6

7 ιαδικασίες περιγραφής (Descriptors) Οπτικές (Visual) Περιγραφή χρώµατος Περιγραφή Υφής Περιγραφή Σχήµατος Περιγραφή «κίνησης» Περιγραφή προσώπου (µε Βασικό εργαλείο: PCA) Ακουστικές (Audio) Ταξινόµηση ήχου και οµοιότητα Περιεχόµενο προφορικού λόγου Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.7

8 Ποσοτική εκτίμηση της περιγραφής Query q Βασίζεται στη διαδικασία «retrieval - ανάκτησης» (Query-by-example QBE) Λαµβάνει υπόψη: Aν οι όµοιες εικόνες είναι πρώτες στη σειρά οµοιότητας Αν παρουσιάζονται στην ανάκτηση «λάθος» εικόνες Αν παραλείπονται εικόνες που είναι όµοιες µε την εικόνα αναζήτησης Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.8

9 Ποσοτική εκτίμηση της περιγραφής(συνέχεια) Query q γενικά έχουµε δύο εκτιµητές: precision και recall Q(q) R(q) Q(q) R(q) precision = recall = Q(q) R(q) Όπου: q είναι η εικόνα αναζήτησης (query) Q(q) o αριθµός των εικόνων που βρέθηκαν και R(q) o πραγµατικός αριθµός των οµοίων εικόνων Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.9

10 Ποσοτική εκτίμηση της περιγραφής (συνέχεια) Query q Για το MPEG7 Kλασσικός εκτιµητής: Retrieval Rank, RR ( q) = NF( a, q) NG( q) Όπου: q είναι η εικόνα αναζήτησης (query) NF(a,q) o αριθµός των «σωστών» εικόνων που βρέθηκαν σε ang(q) επιλογές (a>1) και NG(q) o πραγµατικός αριθµός των οµοίων εικόνων Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.10

11 Ποσοτική εκτίμηση της περιγραφής (συνέχεια) NQ 1 Μέση τιµή του RR: ARR = RR( q) NQ Βελτίωση AVR(q): AVR( q) = NG( q) k= 1 Μικρές τιµές του MRR καλή συµπεριφορά q= 1 Rank * ( k) NG( q) Όπου rank η σειρά οµοιότητας των εικόνων (1 πλέον όµοια) Modified Retrieval Rank MRR=AVR(q)-0.5[1+NG(q)] Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.11

12 Περιγραφή του χρώματος (Color descriptors) Χρωµατικοί χώροι YCbCr Color descriptors RGB HSV HMMD Dominant color Scalable color Color structure Color layout Χρωματικοί χώροι (color spaces) Επικρατούντα χρώματα (dominant colors) Χρωματική δομή (color structure) Χρωματικός σχεδιασμός (color layout) Κλιμακωτή περιγραφή χρωμάτων (scalable color) Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.12

13 Χρωματικοί χώροι Οι χρωματικοί χώροι που χρησιμοποιούνται στο πρωτόκολλο MPEG7 είναι: RGB YCbCr (από τα πρωτόκολλα ΜPEG 1/2/) HSV Σχετίζεται: µε την περιγραφή ιστογράµµατος συνόλου στιγµιότυπων (group of frames histogram descriptor) µε την κλιµακωτή περιγραφή χρωµάτων (scalable color descriptor) Hue Val Sat Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.13

14 Χρωµατικοί χώροι (συνέχεια) HSV κβάντιση του χώρου Συνολικός αριθµός bins αριθµός bins για το H αριθµός bins για το S αριθµός bins για το V Hue Val Sat Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.1

15 Χρωµατικοί χώροι (συνέχεια) HMMD 1. Είναι πιο κοντά στο χώρο ομοιόμορφης αντίληψης (perceptually uniform color space) 2. H ονομασία του οφείλεται στα μεγέθη: Hue, Max, Min, Diff (Sum) που σχετίζονται με τα αντίστοιχα RGB ως εξής: Max=max(R,G,B) Min=min(R,G,B) Diff=Max-Min Sum=(Max+Min)/2 Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.15

16 Χρωµατικοί χώροι (συνέχεια) ΟχώροςHMMD µε άξονες Diff, Sum,Hue Κβάντιση του HMMD χώρου # bins Υποδιάστηµα 256 H S 128 H S 6 H S H 32 S Οάξονας Diff διαµερίζεται στα εξής 5 διαστήµατα: [0,6),[6,20),[20,60),[60,110), και [110,255) Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.16

17 Περιγραφή µε τα επικρατούντα χρώµατα (dominant color descriptor) Προσφέρει µία περιγραφή των βασικών χρωµάτων µίας εικόνας µε σκοπότηνεύρεση(απόκτηση) των οµοίων εικόνων Ορισµός: F={(c i, p i,υ i ),s} i=1,2,..n Ν οαριθµός των (επικρατούντων) χρωµάτων. Ορίζεται ίδιος για όλη την βάση (συνήθης τιµή Ν=8) c i είναι το χαρακτηριστικό διάνυσµα (πχ. RGB) της οµάδας (3bits) p i είναι το ποσοστό των pixels που αντιστοιχούν στην οµάδα i υ i είναι η διακύµανση των pixels της οµάδας i. s αριθµός που περιγράφει την χωρική οµοιοµορφία RGB είναι ο συνήθης χρωµατικός χώρος Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.17

18 F={(c i, p i,υ i ),s} Υπολογισµοί Οµαδοποίηση των pixels και υπολογισµός των c i Προτείνεται µία παραλλαγή τού Lloyd αλγόριθµου. ( Μπορεί να χρησιµοποιηθεί ο fcm) Υπολογισµός των ποσοστών p i (Σ p i =1) Υπολογισµός της διακύµανσης υ i κάθε οµάδας Υπολογισµός της συνεκτικότητας για εύρεση οµάδων pixels µε ίδιοχρώµαστο επίπεδο της εικόνας. Ητιµή s είναι η µέση τιµή όλωντωνοµάδων Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.18

19 Οχώρος των χαρακτηριστικών - Οµαδοποίηση Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.19

20 F={(c i, p i,υ i ),s} Yπολογισµός των c i, p i,υ i p i Τα pixels της εικόνας οµαδοποιούνται στο χώρο των χαρακτηριστικών ( RGB) σε (Ν=8) οµάδες υ ι G C i R Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.20

21 F={(c i, p i,υ i ),s} Yπολογισµός του s Συνεκτικότητα: είχνει την σχέση µεταξύ χώρου χαρακτηριστικών και επιπέδου εικόνας p i Η µέση τιµή των τµηµάτων που «χωρίζεται» το p i στο επίπεδο της εικόνας εκφράζει την τιµή s Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.21

22 Μέτρα οµοιότητας D 2 (F,F 1 2 ) = N 1 i= 1 p 2 1i + N 2 j= 1 p 2 2j N N 1 2 i= 1 j= 1 2a 1i,2j p 1i p 2j a kl = 1 0 d kl / d max d d kl kl Td > T d d max =aτ d F 1 F 2 c i1 p i1 υ i1 c i2 p i2 υ i2 Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.22

23 Μέτρα οµοιότητας Παραλλαγές 1. Γιαχωρικήσυνάφεια D s =w 1 abs(s 1 -s 2 )D+w 2 2. Γιανασυμπεριληφθείκαιηυ s Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.23

24 Περιγραφή Χρωματικής δομής (Color Structure Descriptor) Είναι ένα έγχρωµο ιστόγραµµα µε πληροφορία και για την δοµή του χρώµατος. Για τον υπολογισµό χρησιµοποιείται ένα δοµικό στοιχείο Τα ιστογράµµατα των δύο τµηµάτων είναι ίδια άλλα η χρωµατική δοµή διαφορετική Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.2

25 Color Structure Descriptor (συνέχεια) h (m) s m {1, M} s = το µέγεθος του δοµικού στοιχείου (πχ s=3 2 ) M = το µέγεθος του κβαντισµένου χρωµατικού χώρου που είναι ο HMMD ( Μ=256,128, 6, 32) Η περιγραφή της χρωµατικής δοµής µίας εικόνας αναφέρεται στη κατανοµή τουχρώµατος αφενός και στη χωρική δοµή αφετέρου Μοιάζει µεέγχρωµοιστόγραµµα Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.25

26 Color Structure Descriptor Υπολογισµός του h s (m) 1. Ορίζεται ο αριθµός των bins πχ Γίνεται κβάντιση του χρωµατικού χώρου ΗΜΜD µέσα από διαδικασίες οµαδοποίησης 3. Ορίζεται ένα δοµικό στοιχείο (structuring element) δηλ ένα παράθυρο (συνήθως 8x8 ) που διατρέχει την εικόνα. Σε κάθε σηµείο του παραθύρου εντοπίζονται τα υπάρχοντα χρώµατα και για κάθε ένα (χρώµα όχι pixel) προστίθεται µία µονάδα στο αντίστοιχο bin Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.26

27 Color Structure Descriptor Υπολογισµός του h s (m) -παράδειγµα Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.27

28 Περιγραφή Χρωµατικoύ σχεδιασµού (Color Layout Descriptor-CLD) Ενδείκνυται για γρήγορη ανάκτηση Είναι ανεξάρτητος της ανάλυσης Αναδεικνύει την χωρική κατανοµή του χρώµατος Χρησιµοποιείται ο YCbCr χρωµατικός χώρος Υλοποιείται σύµφωνα µε τοδιάγραµµα: Εικόνα εισόδου Κατάτµηση σε 6 blocks Επιλογή ενός χαρακτηριστικού χρώµατος για κάθε block DCT Zigzag scanning and weighting CLD Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.28

29 A ij Αρχική εικόνα 6 blocks Εξαγωγή 6 διανυσµάτων 6 συντελεστές DCT για κάθε συνιστώσα, Y, Cb, Cr Zig-zag scanning και επιλογή 12 συντελεστών - κβάντιση Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.29

30 Μέτρα οµοιότητας Σύγκριση δύο εικόνων µε CLDs {DY,DCb,DCr} και {DY,DCb,DCr } γίνεται µε την εξής σχέση: D = i 2 2 w y (DYi DY i ) + w (DCb DCb ) w (DCr DCr ) i b i i i r i i 2 Με τα βάρη w δίνεται έµφαση στις χαµηλές συχνότητες Η σειρά των συντελεστών καθορίζεται από το zig-zag διάνυσµα του Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.30

31 Κλιµακωτή περιγραφή χρωµάτων (scalable color descriptor) Οπεριγραφέας SCD ορίζεται στον χρωµατικό χώρο HSV Χρησιµοποιεί το σχήµα κωδικοποίησης του µετασχηµατισµού Haar στο έγχρωµο ιστόγραµµα. Ο µετασχηµατισµός Haar δηµιουργεί την κλιµακωτή περιγραφή που αποτελεί και το χαρακτηριστικό για διαδικασίες σύγκρισης εικόνων. Ο περιγραφέας αυτός επεκτείνεται σε οµάδες εικόνων ή οµάδες στιγµιοτύπων σε δεδοµένα video (group of frames-gof /group of pictures -GoP) Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.31

32 scalable color descriptor (συνέχεια) Η βασική µονάδα του SCD αποτελείται από µία πράξη άθροισης και µία διαφοράς Εφαρµόζεται σε διαδοχικές τιµές του (ακεραίας τιµής -bit) ιστογράµµατος. Η κλιµάκωση γίνεται µε την άθροιση όπου σε διαδοχικά βήµατα λαµβάνουµε 256,128,6 ή 32 bin Η διαφορά δεν έχει σηµαντική πληροφορία και γιαυτό χρησιµοποιεί µικρό αριθµό bits Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.32

33 (συνέχεια) Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.33

34 group of frames-gof group of pictures - GoP Αρχικά frames εξαγωγή ιστογραµµάτων «άθροιση» ο Τρ. 10 2ο Τρ. 3ο 30 Τρ. ο Τρ ο Τρ. 10 2ο Τρ. 3ο Τρ. 30 ο Τρ. 20 1ο Τρ. 2ο Τρ. 3ο Τρ. 10 ο Τρ. 1ο Τρ. 2ο Τρ. 3ο Τρ. ο Τρ ο 1ο 1ο 1ο Τρ. Τρ. Τρ. Τρ. 2ο 2ο 2ο 2ο Τρ. Τρ. Τρ. Τρ. 3ο 3ο 3ο 3ο Τρ. Τρ. Τρ. Τρ. ο ο ο ο Τρ. Τρ. Τρ. Τρ. Η «άθροιση» γίνεται: Με µέση τιµή των ιστογραµµάτων (σε κάθε bin) Με διάµεση τιµή (σε κάθε bin) Με επιλογή του ελάχιστου (σε κάθε bin) -intersection Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.3

35 Περιγραφή υφής Περιγραφέας οµοιογένειας (homogeneous texture descriptor) Περιγραφέας.. descriptor) (texture browsing Περιγραφέας ιστογράµµατος ακµών (edge histogram descriptor) Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.35

36 Περιγραφή ιστογράµµατος ακµών (edge histogram descriptor -EHD) Τα βήµατα: Χωρίζεται η εικόνα σε x=16 υποεικόνες Κάθε υποεικόνα χωρίζεται σε τετραγωνικά blocks (~1100) Και κάθε block χαρακτηρίζεται µε ένα τύπο ακµής: οριζόντια κάθετη διαγώνια 5 διαγώνια 135 χωρίς κατεύθυνση Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.36

37 0,0 0,1 0,2 0,3 1,0 1,1 1,2 1,3 2,0 2,1 2,2 2,3 3,0 3,1 3,2 3,3 Το ιστόγραµµα των ακµών υπολογίζεται ως εξής: h(0)=σχετικός αριθµός καθέτων ακµών στην υποεικόνα (0,0) h(1)=σχετικός αριθµός οριζοντίων ακµών στην υποεικόνα (0,0) h(2)=σχετικός αριθµός 5 ο ακµών στην υποεικόνα (0,0) h(3)=σχετικός αριθµός 135 ο ακµών στην υποεικόνα (0,0) h()=σχετικός αριθµός ακµών χωρίς κατεύθυνση στην υποεικόνα (0,0)... h(79)=σχετικός αριθµός ακµών χωρίς κατεύθυνση στην υποεικόνα (3,3) Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.37

38 Τελεστές για αναγνώριση των ακµών. Η µέγιστη τιµή εφόσον είναι µεγαλύτερη από ένα κατώφλιο χαρακτηρίζει το block Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.38

39 Εφαρµογές ιαχείριση δεδοµένων φυτών Φύλλα Άνθη Βλαστοί Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.39

40 Περιγραφή φύλλων Σχήµα Νεύρωση Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.0

41 Περιγραφή φύλλων (συνέχεια) Α. Εξαγωγή Χαρακτηριστικών σχήµατος κώδικες αλυσίδας µετασχ. «medial axis» Fourier descriptors Καµπύλη αποστάσεων από το κέντρο βάρους (centroid contour distance) Κυκλικότητα α = π (εµβαδό) 2 (περίµετρος) Ιστόγραµµα κώδικα γωνίας C R α P Εκκεντρότητα (eccentricity)( µικρότερη ε = µεγαλύτερη ιδιοτιµή ιδιοτιµή Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.1

42 Περιγραφή φύλλων (συνέχεια) Β. Μέτρα οµοιότητας σχήµατος Β1. Καµπύλης αποστάσεων (από το κέντρο βάρους) -CCD n f1(i) f2(i) i= 1 D = n Dc = min D 1,D2,..D j,...d Β2. Ιστογράµµατος κώδικα γωνίας ACH D m h (I,J) = H i(i) H i(j) i= 1 B3. Εκκεντρότητα - Eccentricity { } m D e (I,J) = e I e J Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.2

43 Περιγραφή ανθέων Βασικό χαρακτηριστικό: Χρώµα περιοχή χρώµατος Αλλα χαρακτηριστικά: Σχήµα - Υφή Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.3

44 Περιγραφή ανθέων (συνέχεια) Α. Εξαγωγή Χαρακτηριστικών A1. Εγχρωµο ιστόγραµµα A2. Οµαδες χρωµάτων (clustering) A3. Χωρική κατανοµή χρωµάτων Β. Μέτρα οµοιότητας Β1. Απόσταση εγχρώµων ιστογραµµάτων Β2. Απόσταση χωρικών ιστογραµµάτων B3. Απόσταση βασικών χρωµατων (DCD) Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.

45 Χώρος των Χαρακτηριστικών και ελάττωση διάστασης Μια µορφή αναπαράστασης εικόνων στο διδιάστατο χώρο. Κάθε µία εικόνα παριστάνεται µε ένα διάνυσµα χαρακτηριστικών. Και όλη η βάση µε ένα πίνακα αποστάσεων. Ελαττώνοντας τη διάσταση του χώρου σε 2 «βλέπουµε» την βάση στο επίπεδο Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.5

46 Βιβλιογραφία 1. Introduction to MPEG7, B.Smanjunath, P. Salembier and T. Sikora Eds, J.Wiley&Sons, Ltd, ENGLAND, 2002, Chapter13 2. B. S. Manjunath, Jens-Rainer Ohm, Vinod V. Vasudevan and Akio Yamada Color and Texture Descriptors IEEE Trans. On Circuits and Systems for Video Technology, VOL.11, NO. 6, JUNE Text of ISO/IEC Multimedia Content Description Interface- Part 3: Visual. Final Committee Draft, ISO/ IEC/ JTC1/ SC29/WG11, Doc. N062, Mar MPEG-7 Visual Experimentation Model (XM), Version 10. ISO/IEC/JTC1/SC29/WG11, Doc. N063, Mar Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.6

47 MPEG7 Ασκήσεις - εργασίες 1. Υλοποίηση face descriptor 2. Υλοποίηση texture descriptor 3. Shape descriptor. ιαχείριση δεδοµένων σε φυτά α) κλασσικά εργαλεία διαχείρισης( Lucid, Uconn, CALFORA) β) υπολογιστικά (computer aided) εργαλεία διαχείρισης 5. Επεξεργασία εικόνας και ανάκτηση α) «φύλλα», β) άνθη εφαρµογή στη βάση του Corel 6. Ανάκτηση (βάσει περιεχοµένου) ιατρικών δεδοµένων 1ας, 2, 3 και διαστάσεων Σ. Φωτόπουλος ΠΑΝΕΠ. ΠΑΤΡΩΝ Τµ. ΦΥΣΙΚΗΣ ΠΜΣ ΗΕΠ σ.7