ιαχείριση και Ανάκτηση Εικόνας µε χρήση Οµοιότητας Γράφων (WW-test)

Transcript

1 ιαχείριση και Ανάκτηση Εικόνας µε χρήση Οµοιότητας Γράφων (WW-test) Θεοχαράτος Χρήστος Εργαστήριο Ηλεκτρονικής (ELLAB), Τµήµα Φυσικής, Πανεπιστήµιο Πατρών

2 Περιεχόµενα Ανάκτηση Εικόνας Γενικά, Ανάκτηση Εικόνας βάσει κειµένου ή περιεχοµένου Προτεινόµενη µεθοδολογία έντρο Ελαχίστου Μήκους (MST) Το Πολυδιάστατο Wald-Wolfowitz test Εξαγωγή Χαρακτηριστικών Αποτελέσµατα Εναλλακτικοί τρόποι αναπαράστασης χρωµατικού περιεχοµένου 2

3 Η αξία της Πληροφορίας 1-2exabytes(εκατοµµύρια terabytes) νέας ψηφιακής πληροφορίας δηµιουργούνται καθηµερινά παγκοσµίως εικόνες δηµιουργούνται κάθε δευτερόλεπτο στον κόσµο 100 δισεκατοµµύρια ώρες οπτικοακουστικού υλικού νέα films παράγονται κάθε χρόνο Η αξία της πληροφορίας βρίσκεται στην αποτελεσµατική οργάνωση, στην ευκολία ενοποιηµένης κατανεµηµένης πρόσβασης από όλους και στην εµπορική αξιοποίηση 3

4 Ενδιαφερόµενοι - Εφαρµογές Επιχειρήσεις οπτικοακουστικών εφαρµογών «Θέλω εικόνες µε γκολ της Εθνικής» «Θέλω εικόνες µε σκηνές δράσης από τον Περσικό» Επιχειρήσεις Πληροφορικής Ανάπτυξη υπηρεσιών (π.χ. αναζήτηση, ηλεκτρονικό εµπόριο κτλ) Οργάνωση πολυµεσικών εγγράφων 4

5 Ενδιαφερόµενοι - Εφαρµογές Εφαρµογές Πολιτισµού Επιχειρησιακές Εφαρµογές Ιατρικές Εφαρµογές Εφαρµογές Περιβάλλοντος 5

6 Ενδιαφερόµενοι - Εφαρµογές Παγκόσµιος Iστός Τελικοί Χρήστες: προσωπικό περιεχόµενο «Θέλω φωτογραφίες από το ποδόσφαιρό µας» 6

7 Τι είναι η Aνάκτηση Eικόνας; Σκοπός: ίνεται κάποιο αίτηµα (query) Aνάκτηση όλων των εικόνων που έχουν παρόµοιο περιεχόµενο µε το query Μέθοδοι: 1. Βάσει κειµένου 2. Βάσει περιεχοµένου 7

8 Ανάκτηση Εικόνας βάσει Κειµένου (TBIR) + Απλή Υλοποίηση + Σηµασιολογική περιγραφή + Απαραίτητη σε ορισµένες εφαρµογές - Άµεση εξάρτηση από αντίληψη - Οπτικός πλούτος, δύσκολος να περιγραφεί από λέξεις - Ανεπάρκεια λέξεων για περιγραφή οµοειδών χαρακτηριστικών - Ογκώδεις βάσεις δεδοµένων, λιγότερο πρακτικός ο σχολιασµός των εικόνων 8

9 Ανάκτηση Εικόνας βάσει Κειµένου (TBIR) + Απλή Υλοποίηση + Σηµασιολογική περιγραφή + Απαραίτητη σε ορισµένες εφαρµογές - Άµεση εξάρτηση από αντίληψη - Οπτικός πλούτος, δύσκολος να περιγραφεί από λέξεις - Ανεπάρκεια λέξεων για περιγραφή οµοειδών χαρακτηριστικών - Ογκώδεις βάσεις δεδοµένων, λιγότερο πρακτικός ο σχολιασµός των εικόνων 9

10 Ανάκτηση Εικόνας βάσει Περιεχοµένου (CBIR) Query: να βρεθούν εικόνες που περιέχουν ένα κόκκινο αυτοκίνητο, κορµούς δέντρων, πρασινάδα και συννεφιασµένο ουρανό Εξαγωγή χαµηλού επιπέδου χαρακτηριστικών Χρώµα (color) Σχήµα (shape) Υφή (texture) 10

11 Ανάκτηση Εικόνας βάσει του Περιεχοµένου (CBIR) Μέθοδος ανάκτησης Εξαγωγή χαρακτηριστικών (feature extraction) Αίτηση (query) Ταίριασµα (matching) Ανάκτηση (retrieval) Database Images Scanner Feature Extraction Image Database Database Creation Retrieval Database Query Image Scanner Feature Extraction Matching Retrieved Images 11

12 Περιεχόµενα Ανάκτηση Εικόνας Γενικά, Ανάκτηση Εικόνας βάσει κειµένου, Ανάκτηση Εικόνας βάσει περιεχοµένου Προτεινόµενη µεθοδολογία έντρο Ελαχίστου Μήκους (MST) Μέτρο Οµοιότητας (WW-test) Εξαγωγή Χαρακτηριστικών Αποτελέσµατα Εναλλακτικοί τρόποι αναπαράστασης χρωµατικού περιεχοµένου 12

13 έντρο Ελαχίστου Μήκους (MST) Ένας γράφος (graph) αποτελείται από ένα σύνολο κόµβων (nodes) V={V i } i=1:n και ένα σύνολο από ενώσεις (links) E={E ij } i j που ονοµάζονται ακµές (edges). Ένα δέντρο (tree) είναι ένας γράφος, δίχως κύκλους. Ένα ανοιγµένο δέντρο (spanning tree) T ενός (συνδεµένου) γράφου G(V,E) είναι ένας συνδεµένος υπογράφος, ώστε: περιέχει κάθε κόµβο του G(V,E) δεν περιέχει κύκλο. Το MST είναι ένα ανοιγµένοδέντροτοοποίοπεριέχει ακριβώς (N-1) ακµές, για τις οποίες το άθροισµα των βαρών είναι ελάχιστο. 13

14 έντρο Ελαχίστου Μήκους (MST) Αλγόριθµος Prim Αρχίζουµε µε το node 1, στο set V (µπλε) Προσθέτουµε το node 6 στο V και το link 1 6 στο Ε Προσθέτουµε το node 3 στο V και το link 6 3 στο Ε Οµοίως τη διαδικασία

15 Wald-Wolfowitz test (WW-test) ίνονται 2 δείγµατα τιµών {X i } i=1:m και {Y i } i=1:n, η υπόθεση H o που πρέπει να ελεγχθεί είναι αν προέρχονται από την ίδια κατανοµή. 15

16 Wald-Wolfowitz test (WW-test) 1. Αρχικά, κατασκευάζεται το ολικό MST. 16

17 Wald-Wolfowitz test (WW-test) 1. Αρχικά, κατασκευάζεται το ολικό MST. 2. Οι ακµές για τις οποίες οι συνδεόµενοι κόµβοι προέρχονται από διαφορετικά δείγµατα, διαγράφονται. 17

18 Wald-Wolfowitz test (WW-test) 1. Αρχικά, κατασκευάζεται το ολικό MST. 2. Οι ακµές για τις οποίες οι συνδεόµενοι κόµβοι προέρχονται από διαφορετικά δείγµατα, διαγράφονται. 3. Υπολογίζεται µια ποσότητα R, ως ο αριθµός των µηενωµένων υποδέντρων που προκύπτουν. 4. Απόρριψη της H o γίνεται για µικρές τιµές του R. R = 12 18

19 Wald-Wolfowitz test (WW-test) Θεωρούµε δείγµατα µεγέθους m και n αντίστοιχα, από κατανοµές F x και F y και έστω N=m+n. C είναι ο αριθµός του ζεύγους-ακµών που µοιράζονται ένα κοινό κόµβο. Υπό την υπόθεση H o, υπολογίζουµε τηµέση τιµή E[R] και τη διασπορά Var[R C] του R. Var [ R C] E = 2 mn N [ R] + 1 2mn 2mn N C N [ N( N 1) 4 + ] ( N 1) N ( N 2)( N 3) = mn 2 N 19

20 Wald-Wolfowitz test (WW-test) Θεωρούµε δείγµατα µεγέθους m και n αντίστοιχα, από κατανοµές F x και F y και έστω N=m+n. C είναι ο αριθµός του ζεύγους-ακµών που µοιράζονται ένα κοινό κόµβο. Υπό την υπόθεση H o, υπολογίζουµε τηµέση τιµή E[R] και τη διασπορά Var[R C] του R. Η ποσότητα W προσεγγίζει την κανονική κατανοµή: W = R E[ R] Var[ R] 20

21 Τυχαία ειγµατοληψία R = 14, W = R = 4, W =

22 Βάση εδοµένων (Corel) D = 50 x 20 = 1000 database images Q = 3 x 20 = 60 query images 22

23 Αποτελέσµατα T # εικόνων ανάκτησης, ορίζει την επιλεγµένη λίστα εικόνων R # σωστών αποτελεσµάτων Precision R T Ακρίβεια (precision): ποσοστό σωστών απαντήσεων στο σύνολο των απαντήσεων = Precision WW-test after Random sampling (T=10) WW-test after Random sampling (T=20) - - HI (T=10) - - HI (T=20) # of randomly selected vectors 23

24 Αποτελέσµατα S # εικόνων που απαρτίζουν µια κατηγορία Recall = R S Ανάκληση (recall): ποσοστό σωστών απαντήσεων στο σύνολο των όµοιων εικόνων της βάσης Precision WW-test Histogram Intersection Recall 24

25 Περιεχόµενα Ανάκτηση Εικόνας Γενικά, Ανάκτηση Εικόνας βάσει κειµένου, Ανάκτηση Εικόνας βάσει περιεχοµένου Προτεινόµενη µεθοδολογία έντρο Ελαχίστου Μήκους (MST) Μέτρο Οµοιότητας (WW-test) Εξαγωγή Χαρακτηριστικών Αποτελέσµατα Εναλλακτικοί τρόποι αναπαράστασης χρωµατικού περιεχοµένου 25

26 Μειονεκτήµατα Μεθόδου εν λαµβάνεται υπόψη η τοπική συσχέτιση κατανοµή των χρωµάτων Χωρισµός της εικόνας σε µπλοκ 26

27 ιαίρεση εικόνας σε µπλοκ Τµηµατοποίηση των εικόνων σε µη-επικαλυπτόµενα µπλοκ. Αναπαράσταση του χρωµατικού περιεχοµένου κάθε µπλοκ, µε εξαγωγή των διανυσµάτων: Μέσης τιµής (AV) Πρωτεύων διάνυσµα (PV) 27

28 ιαίρεση εικόνας σε µπλοκ R = 6 W =

29 ιαίρεση εικόνας σε µπλοκ 0.80 WW-test after blockwise AV & PV sampling (T=10) WW-test after blockwise AV & PV sampling (T=20) Precision HI (T=10) HI (T=20) # of blocks Precision (Pr) AV & PV Random Sampling HI Recall (Re) 29

30 Παράδειγµα 30

31 ιαχείριση Βάσης (Indexing) (a) Histogram Intersection (b) WW-test 31

32 Συµπεράσµατα WW-test γενικευµένη µεθοδολογία για µέτρηση οµοιότητας µεταξύ έγχρωµων εικόνων Οδείκτηςοµοιότητας W κατέχει επιθυµητά χαρακτηριστικά µη-µεταβλητότητας Η προσέγγιση µπορεί να επεκταθεί σε διαφορετικές αναπαραστάσεις του περιεχοµένου των εικόνων 32

33 EUSIPCO

34 Ευχαριστώ! 34