Αναζήτηση και ερωτήσεις (visual queries) με βάση την εικόνα: πρόσφατες τεχνολογίες και χρήσεις

Transcript

1 ΕΛΛΗΝΙΚΟ ΑΝΟΙΧΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΓΡΑΦΙΚΕΣ ΤΕΧΝΕΣ & ΠΟΛΥΜΕΣΑ ΣΕΜΙΝΑΡΙΑΚΗ ΠΑΡΟΥΣΙΑΣΗ 2015 ΥΠΕΥΘΥΝΟΣ ΚΑΘ: ΣΤΥΛΙΑΡΑΣ ΓΕΩΡΓΙΟΣ Αναζήτηση και ερωτήσεις (visual queries) με βάση την εικόνα: πρόσφατες τεχνολογίες και χρήσεις ΚΑΡΑΓΕΩΡΓΙΟΥ ΖΩΗ Α. Μ.: 90237

2 Περιεχόμενα Εικόνα Ψηφιακή εικόνα Επεξεργασία εικόνας σήμερα Αναζήτηση με βάση το κείμενο Text Based Image Search (TBIS) Μειονεκτήματα TBIS Αναζήτηση με βάση το περιεχόμενο Content Based Image Search (CBIS) CBIS Αναζήτηση με βάση το χρώμα, το σχήμα, τη δομή, τη θέση, την κατάτμηση Παράδειγμα Rapid CBIS Χρήσεις CBIS Μειονεκτήματα Το σημασιολογικό κενό Παράδειγμα XCavator Άλλα συστήματα CBIS Παραδείγματα από τη σύγχρονη τεχνολογία και εφαρμογές της Λογικό διάγραμμα λειτουργίας των Jigsaw και CamFind Ποιες συσκευές μπορούν να χρησιμοποιούν CBIS; Πλεονεκτήματα και Οφέλη για το χρήστη

3 Σχετικά με την εικόνα Εικόνα: Κάθε αποτύπωση 2 διαστάσεων Χάρτης Διάγραμμα Πίνακας Φωτογραφία Σχέδιο Ψηφιακή εικόνα: Ψηφιακή εικόνα είναι η αναπαράσταση µιας δισδιάστατης εικόνας ως ένα πεπερασµένο σύνολο ψηφιακών αξιών που ονοµάζονται εικονοστοιχεία (pixel). Τα εικονοστοιχεία αποθηκεύονται ως µια δισδιάστατη διάταξη µικρών ακέραιων αριθµών. Αποτελεί σημαντικό φορέα πληροφορίας και επικοινωνίας

4 Σήμερα Ο υπολογιστής και η τεχνολογία σήμερα προσφέρουν δυνατότητες και τεχνικές σε σχέση με την εικόνα για: ψηφιακή αποτύπωση, επεξεργασία, αποθήκευση µετάδοση εκμετάλλευση της εικόνας αναζήτηση

5 1. Αναζήτηση με βάση το κείμενο TBIS Για την οργάνωση των συλλογών των εικόνων χρησιµοποιήθηκαν λέξεις κλειδιά που αποδίδονταν στις εικόνες µε τη µορφή µεταδεδοµένων και αφορούν στοιχεία της εικόνας, όπως ο δηµιουργός, ο τόπος, ο χρόνος καθώς και το θέµα της. Η τεχνική αυτή βασίζεται σε λέξεις για την ανάκτηση εικόνας. Επιπρόσθετα στοιχεία που μπορεί να χρησιμοποιηθούν είναι: Το μέγεθος Το χρώμα Τον τύπο (πρόσωπα φωτογραφίες σκίτσα) Το χρόνο Την άδεια χρήσης Το μέγεθος Ο συνδυασμός από όλα τα παραπάνω

6 Αναζήτηση με βάση το κείμενο

7 Μειονεκτήματα TBIS Δύσκολη περιγραφή των λεπτομερειών Εξάρτηση από τη λέξη, φράση κλειδί Δεν υπάρχει εξειδικευμένη ορολογία αναζήτησης για να διαχωρίζει αντικείμενα που μοιάζουν Π.χ καμπύλη και κυμματοειδής γραμμή Ακόμα κι αν δοθούν επιπρόσθετα στοιχεία, όπως η υφή, τα αποτελέσματα της αναζήτησης θα απαιτούν χρόνο για να ελεγχθούν Υποκειμενικότητα από κάθε ανθρώπινο μάτι και μυαλό

8 2. Αναζήτηση με βάση το περιεχόμενο CBIS Εφαρμογή του Τοµέα της Όρασης των υπολογιστών(computer vision) στο πρόβληµα της ανάκτησης της εικόνας Βασίζεται σε συγκεκριμένα χαρακτηριστικά, τα οποία εξάγονται αυτόματα από τις ίδιες τις εικόνες Χρήσιµα χαρακτηριστικά θεωρούνται αυτά που µιµούνται τα χαρακτηριστικά που γίνονται αντιληπτά από την ανθρώπινη όραση Παγκόσμια: σύνολο εικόνας Τοπικά: μέρος της εικόνας

9 Αναζήτηση με βάση το περιεχόμενο Χρώμα Βασίζεται στο ιστόγραμμα χρώµατος της κάθε εικόνας στη Β.Δ. Ιστόγραμμα: γραφική σύνοψη δεδοµένων που αναπαριστά την κατανοµή αναλογία των χρωµάτων µέσα στην εικόνα, δηλαδή σε τι ποσοστό υπάρχει σε κάθε εικονοστοιχείο κάθε αξία του χρωµατικού µοντέλου που χρησιµοποιείται. Στην περίπτωση π.χ. του RGB τα χρώµατα κόκκινο, πράσινο και µπλε. Μετά µετριέται ο βαθµός οµοιότητας του ιστογράµµατος του ερωτήµατος µε τα ιστογράµµατα των εικόνων της βάσης Ανακτώνται αυτά που έχουν σε µεγαλύτερο βαθµό ίδια χρώµατα.

10 Εικόνες με το ίδιο ιστόγραμμα Παραδείγματα για ιστόγραμμα

11 Αναζήτηση με βάση το περιεχόμενο Σχήμα Γενικά οι σχηµατικές αναπαραστάσεις διαιρούνται σε δύο κατηγορίες: σ αυτές που βασίζονται στα όρια του σχήµατος (boundary based) και χρησιµοποιούν µόνο τα εξωτερικά όρια του σχήµατος, το περίγραµµά του σ αυτές που βασίζονται στην περιοχή (regionbased) και χρησιµοποιούν τη συνολική περιοχή του σχήµατος.

12 Αναζήτηση με βάση το περιεχόμενο Υφή, Δομή Περιέχει σηµαντική πληροφορία για τη δοµική διάταξη των επιφανειών και τις σχέσεις τους µε το περιβάλλον στο οποίο εντάσσονται. Αναφέρεται στην παρουσία χωρικών οπτικών προτύπων που έχουν ιδιότητες οµοιογένειας

13 Αναζήτηση με βάση το περιεχόμενο Θέση Αφορά την τοποθεσία του αντικειμένου στο χώρο της εικόνας Εικόνες που έχουν όµοια αντικείµενα στην ίδια θέση ή συνδυασµό δύο ή περισσοτέρων όµοιων αντικειµένων µε τη διάταξη που ανταποκρίνονται στο ερώτηµα, ανακτώνται.

14 Αναζήτηση με βάση το περιεχόμενο Κατάτμηση Η εικόνα χωρίζεται σε τµήµατα ανάλογα µε κάποιες παραµέτρους (π.χ. χρώµατα, περιγράµµατα) και στα τµήµατα αυτά µπορούν να εφαρµοστούν κάποιες µέθοδοι εξαγωγής χαρακτηριστικών. H εικόνα µπορεί να χωρίζεται σε λίγα ή περισσότερα µέρη

15 Παραδείγματα κατάτμησης

16 Παράδειγμα Rapid Content Based Image Search (RCBIS) engine Απόσπασμα βίντεο από t=pl5a b4e5&index=12

17 Χρήσεις Συλλογές έργων τέχνης Φωτογραφικά αρχεία Καταλόγους λιανικής Εταιρίες υφασμάτων Ιατρική διάγνωση Πρόληψη εγκληματικότητας Αναγνώριση προσώπων Στρατιωτικές εφαρμογές Πνευματική ιδιοκτησία Αρχιτεκτονική και τεχνική σχεδίαση Σύστημα Γεωγραφικών Πληροφοριών και Συστήματα Τηλεπισκόπησης

18 Μειονεκτήματα & Σημασιολογικό κενό To σηµασιολογικό κενό (χάσµα) είναι το διάστηµα που υπάρχει από την εξαγωγή γνωρισµάτων από τα οπτικά δεδοµένα και την ερµηνεία που δίνουν οι χρήστες γι αυτά. Οι αλγόριθµοι που χρησιµοποιούνται δε µπορούν να αναγνωρίσουν αυτόµατα έννοιες από τα οπτικά χαρακτηριστικά της εικόνας. Η οπτική οµοιότητα της εικόνας µε µια άλλη εικόνα δεν είναι και σηµασιολογική οµοιότητα π.χ. συναισθήματα Άλλα: Σχήματα που μοιάζουν Μπορεί να μην υπάρχουν όλες οι προβολές πχ ενός αυτοκινήτου

19 Παράδειγμα με βίντεο Xcavator Απόσπασμα βίντεο από ex=11&list=pl5a b4e5

20 Συστήματα αναζήτησης με βάση το περιεχόμενο Π.χ. Virage (Virage Inc.) QBIC (IBM) Photobook (MIT Media Labs) VisualSEEK (Columbia) Netra(UCSB ADL project) MARS (Illinois Univ.) SIMPLIcity (Stanford Univ.) Blobworld (UC Berkeley) PicSOM (Helsinki Univ.) ImageMap Schema RS WALRUS Picasso MPEG 7 Google

21 Σύγχρονη τεχνολογία εφαρμογές Σε καταναλωτικά προϊόντα Πληροφορίες, σύγκριση τιμών, επιλογές αγοραπωλησίας

22 Σύγχρονη τεχνολογία εφαρμογές Σε πολιτισμικά προϊόντα Χώροι προβολών, κόστος, trailer, σχόλια, αναγνώριση επεισοδίου, σκηνής

23 Σύγχρονη τεχνολογία Άλλες εφαρμογές Γεωγραφική χρήση Εικόνα ή ήχος Μετάφραση ήχος

24 Παραδείγματα εφαρμογών Jigsaw Βασίζεται : Αναγνώριση φωνής Ομαδοποίηση εικόνων Αναζήτηση εικόνων ευρείας κλίμακας Αλληλεπίδραση με χρήστη

25 Παραδείγματα εφαρμογών CamFind Στόχευση αντικειμένου Κλίκαρε Ανακάλυψε CamFind

26 Ποιες συσκευές; Κινητά τηλέφωνα και tablets Έξυπνα γυαλιά Κάμερες Απόσπασμα βίντεο από

27 Πλεονεκτήματα συσκευών και Οφέλη για τον χρήστη Πλεονεκτήματα Μπορούν να περιλαμβάνουν επιπρόσθετες πληροφορίες Διακρίνουν πολύ εύκολα όμοια αντικείμενα, τα οποία το μάτι αδυνατεί να ξεχωρίσει Χρήση αυτοματοποιημένων διαδικασιών που καταγράφουν και σημειώνουν σε βάση δεδομένων τα χαρακτηριστικά Οφέλη Επιπλέον πληροφόρηση Άμεση πληροφόρηση Ταχύτητα σε δύσκολες αναζητήσεις Προσωποποίηση ή περιορισμός χρήσης Ακρίβεια

28 Παραδείγματα συσκευών Αποσπάσματα βίντεο από

29 Πηγές Φωτόπουλος, Σ. (n.d.). Ψηφιακή επεξεργασία εικόνας με ιστόγραμμα. Ανακτήθηκε από Κυρίτσης, Α. (2014). Αναζήτηση εικόνας: Τα μυστικά του Google images. Ανακτήθηκε από αναζήτηση εικόνας στο google images/ Flickner, M. et al. (1995). Query by image and video content: The QBIC system. Ανακτήθηκε από Niblack, W. (1993). The QBIC project:quering images by content using color, texture and shape. Ανακτήθηκε από ect.pdf ΒΙΚΙΠΑΙΔΕΙΑ (n.d.). Αυτόματη ανάκτηση εικόνων. Ανακτήθηκε από B7_%CE%91%CE%BD%CE%AC%CE%BA%CF%84%CE%B7%CF%83%CE%B7_%CE%95%CE%B9%C E%BA%CF%8C%CE%BD%CF%89%CE%BD Μουτουσίδης, Ε. (2007). Σύστημα αναζήτησης εικόνων με βάση το περιεχόμενο. Ανακτήθηκε από Λουκοπούλου, Κ. (2010). Κατάτμηση εικόνας με μεθόδους ομαδοποίησης υπερεικονοστοιχείων. Ανακτήθηκε από

30 Πηγές Mayer, C. & Shulver, N.(n.d.). Content Based Image Retrieval. Ανακτήθηκε από OGYzM/Content_Based_Image_Retrieval_powerpoint_ppt_presentation Θεοχαράτος, Χ. (n.d.). Ανάκτηση εικόνας βάση περιεχομένου. Ανακτήθηκε από CNET (2014). Next Big Thing Why image recognition tech is on the rise. Ανακτήθηκε από Harrison, C. (2008). Search by sketch. Ανακτήθηκε από Good, R. (2006). Visual Similarity Search Engine: Xcavator. Ανακτήθηκε από Google Play (2014). CamFind Visual Search Engine. Ανακτήθηκε από Wang, Y. et al. (n.d.). JIGSAW: Interactive Mobile Visual Search with Multimodal Queries. Ανακτήθηκε από jigsaw.pdf McClure, S. (2014). How CamFind brings you image search results even better than Google does. Ανακτήθηκε από brings visual search yoursmartphone putting google goggles test

31 ΕΛΛΗΝΙΚΟ ΑΝΟΙΧΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΓΡΑΦΙΚΕΣ ΤΕΧΝΕΣ & ΠΟΛΥΜΕΣΑ ΣΕΜΙΝΑΡΙΑΚΗ ΠΑΡΟΥΣΙΑΣΗ 2015 ΥΠΕΥΘΥΝΟΣ ΚΑΘ: ΣΤΥΛΙΑΡΑΣ ΓΕΩΡΓΙΟΣ Ευχαριστώ πολύ! ΚΑΡΑΓΕΩΡΓΙΟΥ ΖΩΗ Α. Μ.: 90237