ΑΣΚΗΣΗ 7 Ανάκτηση Εικόνας βάσει Περιεχομένου (Content-based Image Retrieval)

Transcript

1 ΑΣΚΗΣΗ 7 Ανάκτηση Εικόνας βάσει Περιεχομένου Content-base Iage Retreval Σκοπός της άσκησης αυτής είναι η ανάκτηση εικόνας μέσα από μια βάση δεδομένων χρησιμοποιώντας χαρακτηριστικά χαμηλού επιπέδου με βάση το περιεχόμενο Content-base Iage Retreval CBIR usng Low-Level feature extracton. Θα παρουσιασθούν αρχικά μέθοδοι σύγκρισης ομοιότητας έγχρωμων εικόνων με βάση το χρώμα color-base slarty atcng χρησιμοποιώντας το ολικό ιστόγραμμα των εικόνων global stogra διαφορετικούς χρωματικούς χώρους color spaces και διαφορετικά μέτρα ανομοιότητας sslarty easures. Έπειτα θα παρουσιασθούν μέθοδοι ανάκτησης εικόνων από βάσεις δεδομένων και τρόποι χειρισμού μιας βάσης δεδομένων με χρήση του Matlab. Τέλος θα επιχειρήσουμε την οργάνωση μιας βάσης δεδομένων με εικόνες μέσω απεικονίσεων χαμηλής διάστασης εφαρμόζοντας μεθοδολογίες ελάττωσης των διαστάσεων του χώρου χαρακτηριστικών ensonalty reucton.. ΣΥΓΚΡΙΣΗ ΟΜΟΙΟΤΗΤΑΣ ΈΓΧΡΩΜΩΝ ΕΙΚΟΝΩΝ Θα συγκρίνουμε την ομοιότητα έγχρωμων εικόνων χρησιμοποιώντας το ολικό ιστόγραμμα ως τεχνική επιλογής χαρακτηριστικών χαμηλού επιπέδου με βάση το χρώμα και την Ευκλείδεια απόσταση ως μέτρο ανομοιότητας για τη σύγκριση των έγχρωμων ιστογραμμάτων μεταξύ των εικόνων. α Επιλέξτε 3 εικόνες από το φάκελο Database. «Διαβάστε» τις εικόνες αυτές με το Matlab. c atabase rea'balloons_3900.pp'; rea'balloons_39004.pp'; 3rea'frewors_7300.pp'; c.. β Υπολογίστε το ιστόγραμμα κάθε RGB εικόνας της βάσης δεδομένων με χρήση της εντολής st αποτελούμενο από 56 bns. Μπορείτε να βρείτε ένα τρισδιάστατο ιστόγραμμα για την κάθε εικόνα ή τρία μονοδιάστατα για κάθε κανάλι τους ξεχωριστά. Το ιστόγραμμα μιας εικόνας είναι ανεξάρτητο της περιστροφής της εικόνας rotaton nvarant. Κανονικοποιείστε τα ιστογράμματα που πήρατε έτσι ώστε να είναι και ανεξάρτητα από το μέγεθος των εικόνων scale nvarant. Αν θεωρήσουμε ότι είναι το ιστόγραμμα μιας εικόνας όπου ο πίνακας αντιπροσωπεύει τα bns του ιστογράμματος nuber of bns τότε το κανονικοποιημένο ιστόγραμμα ορίζεται ως εξής:

2 nubn56; r::; rstrnubn; rr/sur; και ομοίως για τα B- και G- κανάλια της εικόνας. γ Υπολόγισε το μέτρο ομοιότητας ανάμεσα στην αιτούμενη εικόνα και σε κάθε μία από τις εικόνες της βάσης δεδομένων χρησιμοποιώντας την Ευκλείδεια απόσταση. Η Ευκλείδεια Απόσταση ή L νόρμα δίνεται από τη σχέση: όπου και είναι τα κανονικοποιημένα έγχρωμα ιστογράμματα δύο εικόνων και είναι ο αριθμός των bns του ιστογράμματος. for :nubn r-r^+g-g^+b-b^; en Eucl_Dstsqrtsu Σημείωση: Η Ευκλείδεια απόσταση όπως και όλα τα μέτρα που θα χρησιμοποιηθούν στη συνέχεια έτσι όπως ορίστηκε είναι ένα μέτρο το οποίο παίρνει τιμές στην περιοχή [0]. Όταν το μέτρο παίρνει τιμή κοντά στο τα δύο χαρακτηριστικά που συγκρίνονται έχουν μεγάλη ομοιότητα και μικρή ανομοιότητα. Αντίθετα όταν το μέτρο παίρνει τιμή κοντά στο 0 τα χαρακτηριστικά έχουν μικρή ομοιότητα και μεγάλη ανομοιότητα. Προφανώς οι έννοιες ομοιότητα slarty s και ανομοιότητα sslarty είναι συμπληρωματικές στο διάστημα [0] δηλαδή: s επομένως για κάποιο μέγεθος είτε ορίσουμε την ποσότητα ομοιότητάς του με κάποιο άλλο είτε την ποσότητα ανομοιότητάς του είναι το ίδιο πράγμα. Ανομοιότητα 0 Ομοιότητα

3 . ΧΕΙΡΙΣΜΟΣ ΒΑΣΗΣ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΔΙΑΔΙΚΑΣΙΑ ΑΝΑΚΤΗΣΗΣ ΕΙΚΟΝΩΝ Δημιουργία ξεχωριστών φακέλων με τα περιεχόμενα των εικόνων της βάσης δεδομένων Database_Iages και τις αιτούμενες εικόνες Query_Iages. Δημιουργία δομής δεδομένων ata_structure για κάθε σύνολο εικόνων με χρήση της εντολής r. Database_ages r'./database'; Query_ages r'./queres'; Δημιουργία αλγορίθμων ανάγνωσης εικόνων age_rea από κάθε φάκελο. Εξαγωγή χαρακτηριστικών feature extracton από κάθε εικόνα. Σύγκριση εικόνων age_slarty μέσω σύγκρισης των χαρακτηριστικών τους feature_slarty: Δημιουργία πινάκων με τα χαρακτηριστικά των εικόνων και σύγκρισή τους μέσω κάποιου μέτρου ομοιότητας easure_slarty. 3. ΧΡΩΜΑΤΙΚΑ ΣΥΣΤΗΜΑΤΑ ΣΥΝΤΕΤΑΓΜΕΝΩΝ Δίδεται μια υποτυπώδης βάση δεδομένων αποτελούμενη από DL 50 RGB εικόνες σε.pp forat. Οι εικόνες είναι χωρισμένες σε 5 κατηγορίες αποτελούμενες από 0 όμοιες εικόνες η κάθε μία. Δίνεται επίσης και ένα σύνολο από αιτούμενες εικόνες αποτελούμενο από QL 0 εικόνες εικόνες από κάθε κατηγορία. Χρησιμοποιώντας ιστογραμμικές τεχνικές και κάποιο συγκεκριμένο μέτρο ομοιότητας στη συγκεκριμένη ενότητα την Ευκλείδεια απόσταση θα προσδιορίσουμε το χρωματικό σύστημα στο οποίο παίρνουμε τα καλύτερα αποτελέσματα ανάκτησης. α Υπολογίστε το κανονικοποιημένο ιστόγραμμα κάθε RGB εικόνας της βάσης δεδομένων με χρήση της εντολής st. β Θεωρώντας ως D τα κανονικοποιημένα ιστογράμματα μιας εικόνας της βάσης δεδομένων atabase age και Q τα κανονικοποιημένα ιστογράμματα μιας αιτούμενης εικόνας query age υπολόγισε το μέτρο ομοιότητας ανάμεσα στην αιτούμενη εικόνα και σε κάθε μία από τις εικόνες της βάσης δεδομένων χρησιμοποιώντας την Ευκλείδεια απόσταση. γ Κάντε ανάκτηση εικόνας για την βάση δεδομένων atabase_ages χρησιμοποιώντας όλες τις αιτούμενες εικόνες query_ages. Τα αποτελέσματα να παρουσιασθούν τόσο σχηματικά κατά σειρά ομοιότητας όσο και ποσοτικά μέσω του δείκτη ακρίβειας ανάκτησης Precson nex. 3

4 Ακρίβεια precson: ποσοστό σωστών απαντήσεων στο σύνολο των απαντήσεων R Precson T όπου T # εικόνων ανάκτησης ορίζει την επιλεγμένη λίστα και R # σωστών αποτελεσμάτων δ Μετασχηματίστε τις RGB εικόνες της δεδομένης βάσης δεδομένων στους χρωματικούς χώρους SV YCbCr CIE CIE-L*a*b* και CIE-L*u*v*. Επαναλάβατε την παραπάνω διαδικασία χρησιμοποιώντας τις εντολές rgbsv rgbycbcr rgbce rgblab rgbluv. ε Κάντε συγκριτικά αποτελέσματα μεταξύ των τιμών των μέτρων ομοιότητας που προέκυψαν από τα 6 διαφορετικά συστήματα συντεταγμένων που μελετήσατε. Σε ποιο από αυτά προέκυψαν τα καλύτερα αποτελέσματα; Σημείωση: Απαιτείται ιδιαίτερη προσοχή στην ερμηνεία των αποτελεσμάτων που παίρνουμε κατά τις διαδικασίες δ και ε καθώς για να έχουμε καλή ανάκτηση δεν αρκεί μόνο να έχουμε μεγάλη τιμή στα μέτρα ομοιότητας όταν πρόκειται για όμοια αντιληπτά εικόνες αλλά και μικρή τιμή στην περίπτωση ανόμοιων εικόνων. Μ αυτό τον τρόπο ο χρωματικός χώρος που θα επιλεγεί ως ο καταλληλότερος θα πρέπει να δίνει υψηλή τιμή ανάκτησης στην περίπτωση εικόνων με παρόμοιο χρωματικό περιεχόμενο και χαμηλή τιμή στην περίπτωση εικόνων με διαφορετικό περιεχόμενο. 4. ΜΕΤΡΑ ΑΝΟΜΟΙΟΤΗΤΑΣ Έχουμε καταλήξει σε ένα συγκεκριμένο χρωματικό σύστημα στο οποίο και θα εργασθούμε στη συνέχεια της άσκησης. Εδώ θα υπολογίσουμε και θα συγκρίνουμε κάποια μέτρα ανομοιότητας που χρησιμοποιούνται σε ιστογραμμικές τεχνικές. 4α Bn-by-bn sslarty easures Χρησιμοποιώντας τα κανονικοποιημένα ιστογράμματα του χρωματικού χώρου που προέκυψε ως ο καταλληλότερος θα υπολογίσουμε τα παρακάτω μέτρα ανομοιότητας. Τα αποτελέσματα να καταχωρηθούν σε πίνακες. Ευκλείδεια απόσταση υπολογίστηκε προηγούμενα Εξίσωση Ιστογράμματος stogra Intersecton: I n 4

5 Η εξίσωση ιστογράμματος αποτελεί ένα πολύ βολικό μέτρο εξαιτίας της ικανότητας να χειρίζεται το μερικό ταίριασμα στις περιπτώσεις που οι περιοχές των δύο ιστογραμμάτων το άθροισμα όλων των bns είναι διαφορετικό. Όπως αποδεικνύεται όταν οι περιοχές των δύο ιστογραμμάτων είναι ίσες η εξίσωση ιστογραμμάτων συμπίπτει με την L νόρμα. ullbac Lebler Απόκλιση και η Απόκλιση Jeffrey: L Το -L μέτρο είναι μη - συμμετρικό και εξαρτάται πολύ από τον αριθμό των bns που θα χρησιμοποιηθούν για την αναπαράσταση του ιστογράμματος. Μια εμπειρική μετατροπή της παραπάνω ποσότητας αποτελεί η απόκλιση Jeffrey η οποία είναι ευσταθής συμμετρική και ικανοποιητική όσο το μέγεθος των bns. Ορίζεται ως: όπου +. J + Η χ Στατιστική: Η Κ χ + όπου ξανά. Η απόσταση μετράει το πόσο απίθανο είναι η μια κατανομή να έχει σχεδιαστεί από τον πληθυσμό που αντιπροσωπεύει η άλλη. 4β Cross-bn sslarty easures Χρησιμοποιώντας τα κανονικοποιημένα ιστογράμματα του χρωματικού χώρου που προέκυψε ως ο καταλληλότερος θα υπολογίσουμε τα παρακάτω μέτρα ανομοιότητας. Τα αποτελέσματα να καταχωρηθούν σε πίνακες. Απόσταση Τετραγωνικού τύπου quaratc-for stance: Η απόσταση αυτή προτάθηκε από τον Nblac το 993 για ανάκτηση εικόνας βάσει του χρώματος και ορίζεται ως εξής: A T A όπου τα και είναι διανύσματα που αντιπροσωπεύουν τα ιστογράμματα Η και Κ. Ο πίνακας ομοιότητας Α [α ] ορίζει την ομοιότητα ανάμεσα στα bns ι και. Αν και γενικά η απόσταση τετραγωνικού τύπου δεν αποτελεί μέτρο ανομοιότητας εικόνων με κατάλληλη επιλογή του πίνακα Α μπορεί να πάρει τη μορφή μέτρου. Αυτό μπορεί να γίνει αν χρησιμοποιήσουμε α - / ax όπου είναι η απόσταση μεταξύ των ι και bns και ax ax. 5

6 Η oorov-srnov Απόσταση: όπου S Η Κ ax είναι το αθροιστικό ιστόγραμμα των { } και όμοια για τα { }. Η απόσταση αυτή όπως και η απόσταση ομοιότητας ορίζεται μόνο για μία διάσταση. 4γ Κάνετε συγκριτικά αποτελέσματα μεταξύ των τιμών των μέτρων ανομοιότητας που προέκυψαν από τα 7 διαφορετικά μέτρα που μελετήσατε. Σε ποιο από αυτά προέκυψαν τα καλύτερα αποτελέσματα; 5. ΟΡΓΑΝΩΣΗ ΒΑΣΗΣ ΔΕΔΟΜΕΝΩΝ ΑΠΕΙΚΟΝΙΣΕΙΣ ΧΑΜΗΛΗΣ ΔΙΑΣΤΑΣΗΣ Έχοντας επιλέξει ένα συγκεκριμένο χρωματικό σύστημα και ένα συγκεκριμένο μέτρο ανομοιότητας σύγκρισης χαρακτηριστικών θα οργανώσουμε τη βάση δεδομένων μας. Για την υλοποίηση θα χρησιμοποιήσουμε μια τεχνική ελάττωσης των διαστάσεων του χώρου των χαρακτηριστικών από τις D 50 στις διαστάσεις με χρήση της τεχνικής πολυπαραμετρικής κλιμάκωσης ultensonal scalng MDS. I. Υπολογίζουμε την απόσταση κάθε εικόνα της βάσης δεδομένων με όλες τις υπόλοιπες εικόνες της βάσης. Χρησιμοποιούμε δηλαδή ως query_ages τις atabase_ages. II. Προκύπτει ένας πίνακας αποστάσεων D στο διάστημα από [0-]. III. Εφαρμόζουμε τον αλγόριθμο MDS με χρήση της συνάρτησης scalng ώστε να προβάλλουμε τα δεδομένα μας στις -διαστάσεις. IV. Απεικονίζουμε τα αποτελέσματα σε ένα -διάστατο b-plot με χρήση των εντολών plot ή sow_scalng. 6

7 7 6. ΠΑΡΑΔΟΤΕΑ I. Επιλέξτε ένα χρωματικό σύστημα π.χ. SV. II. Χρησιμοποιώντας τη βάση δεδομένων των 50-εικόνων atabase_ages και το σύνολο των 0-αιτούμενων εικόνων query_ages υπολογίστε το δείκτη ακρίβειας ανάκτησης Precson nex Pr χρησιμοποιώντας από τα παρακάτω μέτρα ανομοιότητας:. Απόσταση Τετραγωνικού τύπου quaratc-for stance. oorov-srnov Απόσταση 3. Caberra Metrc + CM 4. Battacaryya Dstance BD 0 5. Angular Separaton Dstance ASD 6. Cor Dstance CD 7. Non-Correlaton NC 8. WED Dstance WED w όπου w αν 0 αλλιώς w III. Οργανώστε ολόκληρη τη βάση δεδομένων χρησιμοποιώντας τον αλγόριθμο MDS για την ελάττωση των διαστάσεων του χώρου και απεικονίστε τα αποτελέσματα σε ένα -D διάγραμμα.