ΟΙΚΟΝΟΜΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ. ΜΕΤΑΠΤΥΧΙΑΚΟ ΔΙΠΛΩΜΑ ΕΙΔΙΚΕΥΣΗΣ (MSc) ΣΤΑ ΠΛΗΡΟΦΟΡΙΑΚΑ ΣΥΣΤΗΜΑΤΑ ΔΙΠΛΩΜΑΤΙKH ΕΡΓΑΣΙΑ

Transcript

1 ΟΙΚΟΝΟΜΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΜΕΤΑΠΤΥΧΙΑΚΟ ΔΙΠΛΩΜΑ ΕΙΔΙΚΕΥΣΗΣ (MSc) ΣΤΑ ΠΛΗΡΟΦΟΡΙΑΚΑ ΣΥΣΤΗΜΑΤΑ ΔΙΠΛΩΜΑΤΙKH ΕΡΓΑΣΙΑ «Ανάκτηση εικόνας με LSA» Σταθόπουλος Σπυρίδων Μ ΑΘΗΝΑ, ΦΕΒΡΟΥΑΡΙΟΣ

2 2

3 ΜΕΤΑΠΤΥΧΙΑΚΟ ΔΙΠΛΩΜΑ ΕΙΔΙΚΕΥΣΗΣ (MSc) ΣΤΑ ΠΛΗΡΟΦΟΡΙΑΚΑ ΣΥΣΤΗΜΑΤΑ ΔΙΠΛΩΜΑΤΙKH ΕΡΓΑΣΙΑ «Ανάκτηση εικόνας με LSA» Σταθόπουλος Σπυρίδων Μ Επιβλέπων Καθηγητής: Θ. Καλαμπούκης Εξωτερικός Κριτής: Βαζιργιάννης Μιχαήλ ΟΙΚΟΝΟΜΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ 3

4 4

5 Περιεχόμενα Περιεχόμενα... 5 Περίληψη... 7 Abstract... 9 Κεφάλαιο 1. Εισαγωγή στα χρωματικά μοντέλα Το χρωματικό μοντέλο RGB Το χρωματικό μοντέλο HSV Μετατροπή RGB σε HSV Το χρωματικό μοντέλο YCbCr Μετατροπή RGB σε YCbCr [3] Το Χρωματικό Μοντέλο YIQ Μετατροπή RGB σε YIQ Κεφάλαιο 2. Χαρακτηριστικά εικόνων Χρωματικό ιστόγραμμα εικόνας Επιλογή κυρίαρχων χρωμάτων Το πρότυπο MPEG Περιγραφείς εικόνας χαμηλού επιπέδου Χαρακτηριστικό χρώματος: Color Layout Χαρακτηριστικό υφής: Ιστόγραμμα ακμών (Edge Histogram) Χαρακτηριστικό CEDD (Color and Edge Directivity Descriptor) Κεφάλαιο 3. Προεπεξεργασία εικόνων Ανάγνωση εικόνων Μετατροπή σε GrayScale Αλλαγή του μεγέθους των εικόνων Διγραμμική παρεμβολή (Bilinear interpolation) Διαίρεση εικόνας σε τμήματα σταθερού μεγέθους Αναπαράσταση εικόνων με διανύσματα χαρακτηριστικών Εξαγωγή τοπικών ιστογραμμάτων Κεφάλαιο 4. LSI μηχανή αναζήτησης Singular Value Decomposition of a txd matrix

6 4.1.1 Ιδιοτιμές και ιδιοδιανύσματα Ιδιάζοντα διανύσματα και τιμές Λανθάνουσα Σημασιολογική Ευρετηρίαση (Latent Semantic Indexing) Οφέλη της LSI Εφαρμογή της LSI [10] Αποδοτική χρήση του LSI Υπολογισμός και ανάλυση του πίνακα CC Τ Δημιουργία ευρετηρίων Ενημέρωση ευρετηρίων [11] Επεξεργασία ερωτημάτων και ανάκτηση εικόνων Κεφάλαιο 5. Πειραματικά αποτελέσματα Συλλογές εικόνων Αποτελέσματα Μέτρα αξιολόγησης Αποτελέσματα πειραμάτων Αποτελέσματα από το imageclef Σύγκριση αποτελεσμάτων Συμπεράσματα και προτεινόμενες επεκτάσεις Βιβλιογραφικές αναφορές

7 Περίληψη Σκοπός αυτής της διπλωματικής εργασίας είναι η μελέτη της προσέγγισης LSA (Latent Semantic Analysis) στην ανάκτηση εικόνας. Γνωρίζουμε ότι για να έχουμε θετικά αποτελέσματα με την μέθοδο LSA θα πρέπει η επιλογή των χαρακτηριστικών να πληροί τα παρακάτω. 1. Τα χαρακτηριστικά πρέπει να είναι αμετάβλητα σε affine μετασχηματισμούς 2. Τα χαρακτηριστικά θα πρέπει να έχουν υψηλή διαχωριστική ισχύ (discriminating power) 3. Tα χαρακτηριστικά θα πρέπει να μιμούνται την ανθρώπινη αντίληψη της ομοιότητας. 4. Το πλήθος των χαρακτηριστικών θα πρέπει να είναι αρκετά υψηλό. Στη παρούσα διατριβή μελετάται πόσο μεγάλο πρέπει να είναι το πλήθος των χαρακτηριστικών για να έχουμε καλά αποτελέσματα. Από τα πειράματα μας πάνω στις βάσεις ιατρικών εικόνων του CLEF των τελευταίων ετών, φαίνεται ότι για τον ισχυρισμό των τριών παραπάνω ένα πλήθος χαρακτηριστικών περίπου , είναι αρκετό για να έχουμε πολύ καλύτερα αποτελέσματα από το αν χρησιμοποιούσαμε εξ αρχής τις ίδιες τις εικόνες (χωρίς LSA). Το γεγονός αυτό οδηγεί σε μια πολύ αποτελεσματική λύση με τη μέθοδο LSA. Πράγματι αν υποθέσουμε ότι το πλήθος των χαρακτηριστικών μιας εικόνας είναι 5000 και η βάση μας περιλαμβάνει ένα μεγάλο πλήθος εικόνων τότε η λύση του LSA πάνω στον πίνακα C (feature x images) απαιτεί υψηλό υπολογιστικό κόστος και δεν ενδείκνυται για βάσεις που το περιεχόμενό τους αλλάζει πολύ γρήγορα με το χρόνο (προσθέτονται νέες εικόνες). Στην παρούσα εργασία αντί να λύσουμε το LSA για τον πίνακα C λύνουμε το πρόβλημα ιδιοτιμών για τον πίνακα CC T o οποίος είναι ένας πίνακας fxf όπου f μια μικρή σχετικά τιμή Επομένως απαιτείται χώρος O(f 2 ) και το πρόβλημα λύνεται εύκολα με πολλά πακέτα λογισμικού που διατίθενται ελευθέρα στο διαδίκτυο όπως είναι το scilab ή to Matlab και η βιβλιοθήκη της java, JAMA. Επιπλέον όπως θα δούμε, το κόστος της λύσης αυτής παραμένει σταθερό μετά από εισαγωγές νέων εικόνων στη βάση. Επίσης οι εικόνες αναπαρίστανται μόνο με 50 χαρακτηριστικά, το οποίο βελτιώνει σημαντικά το χρόνο αναζήτησης Από τα πειραματικά μας αποτελέσματα φάνηκε ότι η προσέγγιση με τμηματοποίηση των εικόνων βελτιώνει την επίδοση για δύο χαρακτηριστικά MPEG7 που χρησιμοποιήσαμε. Συγκεκριμένα βελτιώνεται η επίδοση όταν κάνουμε ανάκτηση με μόνο το χρώμα. Επίσης επιβεβαιώσαμε το ισχυρισμό 2 παραπάνω, ότι τα χαρακτηριστικά πρέπει να έχουν υψηλή διακριτική τιμή (discrimination value) με επιλογή των κυρίαρχων μόνο χρωμάτων από κάθε εικόνα. Τα ίδια ισχύουν και για το χαρακτηριστικό CEDD. Τέλος για το MPEG7 χαρακτηριστικό edge Histogram επιβεβαιώνεται ο ισχυρισμός 1 παραπάνω. Πράγματι η προσέγγιση LSA με το χαρακτηριστικό αυτό, κάνει την επίδοση της ανάκτησης χειρότερη όταν χρησιμοποιήσουμε τμηματοποίηση. Ενδεχομένως στη περίπτωση αυτή θα πρέπει να χρησιμοποιηθείτε τμηματοποίηση που να είναι αναλλοίωτη σε affine transformations. 7

8 Τέλος πειράματα διεξήχθησαν εφαρμόζοντας τεχνικές συγχώνευσης διαφορετικών μεθόδων ανάκτησης (data fusion). Τα αποτελέσματα ήταν καλύτερα σε σύγκριση με αυτά του ImageCLEF2010. Συνοψίζοντας, μπορούμε να πούμε ότι η προσέγγιση LSA όπως την περιγράψαμε έχει θετικά αποτελέσματα στην ανάκτηση εικόνας και χρήζει περαιτέρω διερεύνησης. Επιπλέον είναι μια εύκολη LSI προσέγγιση που ξεπερνά όλα τα αρνητικά στοιχεία της μεθόδου όπως την ξέρουμε στη βιβλιογραφία και βελτιώνει τη πολυπλοκότητα της ανάκτησης εικόνας, αφού για όλα τα πειράματά μας, τα καλύτερα αποτελέσματα προέκυψαν για μια προσέγγιση με k=50. 8

9 Abstract The aim of this thesis is to study the LSA (Latent Semantic Analysis) approach, to image retrieval systems. It is known that in order to have positive results by using the LSA method, the feature selection should satisfy the following assertions: 1. The features should be invariant to affine transformations 2. The discriminating power of the feature set should be high 3. The features should mimic the human perceptual similarity 4. The feature set size should be very high In this thesis, it was tried to determine, the size of the feature set needed in order for the LSA method, to give positive results. From our experiments on the CLEF image database from the medical domain, it seems that for the above assertions, a feature set between is efficient in order to have better results than using original image features (without LSA). This results in a very efficient solution with the LSA method. If we assume that the number of features of an image is 5000 and our base includes a large number of images, then the solution of the LSA problem on matrix C (feature x images), requires a very high computational cost and is not appropriate for databases with content that changes frequently. In this work, instead of solving the LSA for matrix C, we solve the eigenvalue problem for the CC T matrix, which has as size of f x f with f a relatively small value, around Therefore the required space is Ο(f 2 ) and the problem is easily solved with many open-source software packages available. Moreover the cost of this solution remains stable after new images are imported into the database. Our experimental results showed that the approach of image segmentation, improves the performance for two MPEG-7 descriptors. It improves retrieval performance by using only color features and also the assertion 2 above, that features should have high discriminating power, is confirmed by selecting only the dominant colors of each image. The same was observed for the feature CEDD. The application of the method with the MPEG-7 edge histogram confirmed the assertion 1 above. The LSA approach with this feature makes retrieval performance worse when used with segmentation. Perhaps an invariant to affine transformation type of segmentation should be used in this case. Finally, experiments were conducted by applying different techniques of merge retrieval methods (data fusion). The results were better than those of ImageCLEF2010. Concluding, it can be said that the effectiveness of the LSA approach has positive results in image retrieval and needs further investigation. Moreover LSA is an easy approach that transcends all the disadvantages of the method as we know them from literature and improves the complexity of image retrieval, since all our experiments showed that the best results were obtained for a k = 50 low rank approximation. 9

10 Κεφάλαιο 1. Εισαγωγή στα χρωματικά μοντέλα. Όπως είναι γνωστό μία ψηφιακή εικόνα αναπαρίσταται με τη μορφή ενός πίνακα εικονοστοιχείων (pixels). Το κάθε εικονοστοιχείο έχει μία αριθμητική τιμή που αντιπροσωπεύει το αντίστοιχο χρώμα του στοιχείου. Η ανάλυση μιας εικόνας αναφέρεται στο μέγεθος του πίνακα των εικονοστοιχείων της. Ανάλογα με το χρωματικό μοντέλο που έχει επιλεχθεί, η αριθμητική αναπαράσταση των pixels στην εικόνα είναι διαφορετική. 1.1 Το χρωματικό μοντέλο RGB Το πιο συνηθισμένο μοντέλο για έγχρωμες εικόνες είναι το RGB. Στο συγκεκριμένο μοντέλο χρησιμοποιείται ο συνδυασμός των τριών βασικών χρωμάτων, κόκκινο, πράσινο, μπλε, (Red, Green, Blue) για την αναπαραγωγή ενός εύρους χρωμάτων. Έτσι, η χρωματική τιμή κάθε pixel αναπαρίσταται από τρεις ακεραίους με εύρος τιμών από 0 έως 255. Η κάθε τιμή αντιπροσωπεύει την ένταση του αντίστοιχου χρώματος για το αντίστοιχο pixel. Εικόνα 1. Ο χρωματικός χώρος RGB [1] Το βασικότερο πλεονέκτημα αυτού του μοντέλου, είναι ότι χρησιμοποιείται από τις περισσότερες συσκευές (οθόνες, scanners, ψηφιακές φωτογραφικές μηχανές), με αποτέλεσμα να είναι πιο εύκολη η εξαγωγή εικόνων σε αυτό το μοντέλο. [1] 10

11 1.2 Το χρωματικό μοντέλο HSV Στο συγκεκριμένο μοντέλο, ο ορισμός ενός χρώματος γίνεται με βάση την απόχρωση, τον κορεσμό και την τιμή φωτεινότητας (Hue, Saturation, Value). Πολλές φορές συναντάται και ως HSB (Β για Brightness). Εικόνα 2. Το χρωματικό μοντέλο HSV [2] H γωνιακή διάσταση της απόχρωσης (hue), ξεκινάει από το βασικό κόκκινο στις 0 ο, περνάει στο βασικό πράσινο στις 120 ο, στο βασικό μπλε στις 240 ο και επιστρέφει στο κόκκινο στις 360 ο. Ο κορεσμός (Saturation) περιγράφει τη ζωηρότητα του χρώματος και παίρνει τιμές από 0% έως 100%. Επίσης η φωτεινότητα (Brightness) παίρνει τιμές από 0% έως 100%. Αυτό το μοντέλο θεωρείται ότι περιγράφει το χρωματικό χώρο παρόμοια με τον τρόπο που αντιλαμβάνονται οι άνθρωποι τα χρώματα. Γι αυτό το λόγο ίσως θα μπορούσε να θεωρηθεί καταλληλότερο για την επεξεργασία και την ανάκτηση εικόνας. [2] Μετατροπή RGB σε HSV Η μετατροπή ενός χρώματος από το μοντέλο RGB στο HSV επιτυγχάνεται με έναν μη γραμμικό μετασχηματισμό που περιγράφεται παρακάτω. Έστω ότι έχουμε ένα χρώμα σε μορφή RGB (3 τιμές από 0-255). Ορίζονται τα εξής: M = max(r,g,b) m = min(r,g,b) δ = M-m 11

12 Η απόχρωση (Hue) υπολογίζεται ως εξής: Η φωτεινότητα (Value ή Βright) αντιστοιχεί στην τιμή V = Μ Ο κορεσμός (Saturation) υπολογίζεται από τον εξής τύπο: 12

13 1.3 Το χρωματικό μοντέλο YCbCr Στο συγκεκριμένο χρωματικό μοντέλο, o ορισμός ενός χρώματος γίνεται με βάση τριών δεικτών. Ένας δείκτης φωτεινότητας που συμβολίζεται με Y, και δύο χρωματικούς δείκτες Cb και Cr. Ο συμβολισμός Y διαφοροποιείται από τον δείκτη Y με την έννοια ότι η φωτεινότητα είναι κωδικοποιημένη με μη-γραμμικό τρόπο με χρήση διόρθωσης γάμμα (gamma correction). Συνεπώς το Y CbCr δεν είναι ένας απόλυτος χρωματικός χώρος, είναι ένας τρόπος κωδικοποίησης του RGB χώρου. Το ακριβές χρώμα που απεικονίζεται εξαρτάται από τις τιμές των RGB στοιχείων που χρησιμοποιούνται για την προβολή του σήματος. Συνεπώς μία χρωματική τιμή η οποία εκφράζεται σε Y CbCr είναι προβλεπόμενη μόνο όταν χρησιμοποιούνται τυποποιημένες χρωματικές τιμές του RGB. [3] Εικόνα 3α. Ο χρωματικός χώρος YCbCr [3] Εικόνα 3β. To επίπεδο CbCr για Y' = 0.5 [3] Μετατροπή RGB σε YCbCr [3] Όπως αναφέρθηκε και παραπάνω, όταν χρησιμοποιείται Υ CbCr το ακριβές χρώμα που απεικονίζεται εξαρτάται από τις τιμές των RGB στοιχείων που χρησιμοποιούνται για την προβολή του σήματος. Επίσης οι χρωματικές τιμές οι οποίες εκφράζεται σε Y CbCr είναι προβλεπόμενες μόνο όταν χρησιμοποιούνται τυποποιημένες χρωματικές τιμές του RGB. Έτσι λοιπόν για την μετατροπή RGB σε Y CbCr έχουν τυποποιηθεί ορισμένες σταθερές και συναρτήσεις. Οι κυριότερες είναι: ITU-R BT.601 η οποία έχει ορίσει δύο τρόπους για την μετατροπή ανάλογα αν πρόκειται για αναλογικό η ψηφιακό σήμα. ITU-R BT.709, η οποία χρησιμοποιείται κυρίως σε HD τηλεοράσεις και στις νεότερες οθόνες υπολογιστών JPEG conversion, η οποία αποτελεί τον τρόπο για την μετατροπή 8-bit RGB σε Y CbCr και αποτελεί την κυριότερη μέθοδο για την μετατροπή σε εικόνες. Συγκεκριμένα η μετατροπή γίνεται από τις παρακάτω εξισώσεις: 13

14 1.4 Το Χρωματικό Μοντέλο YIQ Το YIQ είναι το χρωματικό μοντέλο, παρόμοιο με το YCbCr. Ο ορισμός ενός χρώματος γίνεται με βάση τριών δεικτών. Ένας δείκτης φωτεινότητας που συμβολίζεται με Y, και δύο χρωματικούς δείκτες Ι και Q. To μοντέλο αυτό χρησιμοποιείται από το σύστημα τηλεόρασης αναλογικού σήματος NTSC που αναμεταδίδεται στην Ιαπωνία και στην βόρεια και κεντρική Αμερική. Παρόλο που δεν χρησιμοποιείται πλέον συχνά για τη μετάδοση σήματος τηλεόρασης, δεδομένου του ότι η πλειονότητα των τηλεοπτικών σταθμών στην Αμερική και Ιαπωνία εκπέμπει πλέον ψηφιακό σήμα, χρησιμοποιείται συχνά σε μεθόδους επεξεργασίας εικόνας. Μία ενδιαφέρον χρήση του είναι στην εξισορρόπηση ιστογράμματος. Η εφαρμογή της μεθόδου αυτή απευθείας στα κανάλια RGB θα αλλοίωναν σημαντικά τα χρώματα τις εικόνας. Εναλλακτικά η εφαρμογή της εξισορρόπησης ιστογράμματος μόνο στο κανάλι Y του ΥΙQ μοντέλου, εξισορροπεί μόνο τα επίπεδα φωτεινότητας της εικόνας. [4] Εικόνα 4α. Ο χρωματικός χώρος YIQ [4] Εικόνα 4β. Το επίπεδο IQ για Y' = 0.5 [4] Μετατροπή RGB σε YIQ Για την μετατροπή από το χρωματικό χώρο RGB στον YIQ χρησιμοποιείται ο παρακάτω μετασχηματισμός: [ ] [ ] [ ] [ ] [ ] [ ] 14

15 Κεφάλαιο 2. Χαρακτηριστικά εικόνων 2.1 Χρωματικό ιστόγραμμα εικόνας Το χρωματικό ιστόγραμμα της εικόνας είναι ένας τρόπος αναπαράστασης της χρωματικής κατανομής σε μία εικόνα. Αντιπροσωπεύει το πλήθος των εικονοστοιχείων σε μια εικόνα για κάθε πεπερασμένη τιμή χρώματος. Τυπικά το ιστόγραμμα μπορεί να κατασκευαστεί για όλους τους τύπους χρωματικών μοντέλων το οποίο εξαρτάται από το πλήθος των διαστάσεων του μοντέλου. Για παράδειγμα στο χρωματικό μοντέλο RGB απαιτείται η δημιουργία τριών ιστογραμμάτων, ένα για κάθε διάσταση (R,G και Β). Έτσι αναπαρίσταται το πλήθος των εικονοστοιχείων σε κάθε πεπερασμένη τιμή ανά διάσταση. Ένα βασικό μειονέκτημα του RGB μοντέλου είναι ότι οι rgb τιμές αλλάζουν ανάλογα με τη φωτεινότητα της εικόνας, με συνέπεια να παράγουν διαφορετικό ιστόγραμμα όπως φαίνεται στο παρακάτω παράδειγμα. Εικόνα 5. Επιπτώσεις φωτεινότητας στο ιστόγραμμα. 15

16 2.2 Επιλογή κυρίαρχων χρωμάτων Προκειμένου τα χαρακτηριστικά που εξάγονται από τα τοπικά ιστογράμματα να έχουν υψηλή διαχωριστική ισχύ, εφαρμόστηκε επιλογή των κυρίαρχων χρωμάτων από αυτά. Συγκεκριμένα αν το πλήθος των χαρακτηριστικών είναι ίσο με P και το σύνολο των εικόνων είναι Ν, εφαρμόζεται ο εξής αλγόριθμος: 1. Έστω ότι έχουμε ένα πίνακα C [P x N] με τα αρχικά χαρακτηριστικά για κάθε εικόνα i N j C 2. Για κάθε χαρακτηριστικό j, υπολογίζουμε την μέση τιμή, μ j, και την τυπική απόκλιση, σ j, σε όλη τη συλλογή. ( ) Για κάθε εικόνα, Ε, υπολογίζουμε την εμφάνιση του χαρακτηριστικού, j, ως εξής: { ή { (1) Ταυτόχρονα υπολογίζεται και ένα διάνυσμα Fcount μεγέθους P με τη συχνότητα εμφάνισης του κάθε χαρακτηριστικού, j, για το οποίο ισχύει η συνθήκη (1). Τα χαρακτηριστικά τα οποία έχουν συχνότητα εμφάνισης σε όλη τη συλλογή παραπάνω από 80% τα θεωρούμε ως stopwords και αφαιρούνται. Λόγω του ότι το μέγεθος του πίνακα C ενδέχεται να ξεπερνάει την διαθέσιμη μνήμη του συστήματος η παραπάνω διαδικασία μπορεί να υλοποιηθεί σε τρεις φάσεις διαβάζοντας τον πίνακα C σε r μικρότερα τμήματα κάθε φορά: i i q=n/r i q=n/r j Ci j P Ci j Ci Φάση 1: Υπολογισμός μ j Φάση 2: Υπολογισμός σ j Φάση 3: Υπολογισμός κυρίαρχων χρωμάτων 16

17 Αντίστοιχη επεξεργασία των χαρακτηριστικών θα πρέπει να εφαρμοστεί και στις εικόνες που εισάγονται στο σύστημα ως ερωτήματα. Για το λόγο αυτό πρέπει να αποθηκευτούν τα διανύσματα με τους μέσους όρους, τις τυπικές αποκλείσεις καθώς και το διάνυσμα των συχνοτήτων εμφάνισης των χαρακτηριστικών, σε εξωτερικά αρχεία τα οποία θα φορτώνονται πριν την διαδικασία της ανάκτησης. Στις παρακάτω εικόνες φαίνεται ένα απλοποιημένο παράδειγμα της παραπάνω διαδικασίας για διανύσματα τεσσάρων εικόνων και ενός ερωτήματος με τέσσερα χαρακτηριστικά (χρώματα) Εικόνα 6α. Διανύσματα του ερωτήματος και 4 εικόνων. Χαρακτηριστικά 4 χρωμάτων Εικόνα 6β. Για κάθε χρώμα ξεχωριστά, το μαύρο δηλώνει την μέση τιμή του αντίστοιχου χρώματος σε όλες τις εικόνες της βάσης Εικόνα 6γ. Τα χρώματα της κάθε εικόνας που βρίσκονται πάνω από το μέσο όρο Εικόνα 6δ. Τα κυρίαρχα χρώματα της κάθε εικόνας 17

18 2.3 Το πρότυπο MPEG-7 To MPEG-7, είναι ένα πρότυπο περιγραφής πολυμεσικού περιεχομένου [5], το οποίο έχει τυποποιηθεί στo ISO/IEC (Multimedia content description interface) και δημιουργήθηκε από τη Moving Pictures Expert Group το Η περιγραφή αυτή συνδέεται με το ίδιο το περιεχόμενο, με τέτοιο τρόπο ώστε να επιτρέπεται η αποτελεσματική ανάκτηση περιεχομένου που ενδιαφέρει το χρήστη. Συνεπώς, δεν πρόκειται για ένα πρότυπο το οποίο αφορά την κωδικοποίηση εικόνας και ήχου όπως τα πρότυπα MPEG-1, MPEG-2 και MPEG-4. Πρόκειται για ένα πρότυπο το οποίο παρέχει τυποποιημένες βασικές τεχνολογίες για την περιγραφή οπτικοακουστικών δεδομένων. Τα δεδομένα αυτά μπορούν να περιλαμβάνουν: Εικόνες Γραφικές παραστάσεις Τρισδιάστατα μοντέλα Ήχο Ομιλία Video Τα χαρακτηριστικά που εξάγονται από τα δεδομένα, εξαρτώνται από το πλαίσιο της εκάστοτε εφαρμογής. Το ίδιο υλικό μπορεί να περιγραφεί με διαφορετικούς τύπους χαρακτηριστικών, συσχετισμένους με την περιοχή της εκάστοτε εφαρμογής. Επίσης τα χαρακτηριστικά μπορούν να διαφέρουν και ως προς το επίπεδο της αφαίρεσης τους. Για παράδειγμα ένα χαρακτηριστικό χαμηλού επιπέδου, θα περιέχει πληροφορία για το σχήμα, μέγεθος, χρώμα, θέση κτλ. Ενώ χαρακτηριστικά υψηλού επιπέδου περιέχουν σημασιολογική πληροφορία. Το επίπεδο της αφαίρεσης εξαρτάται άμεσα με τον τρόπο με τον οποίο τα αντίστοιχα χαρακτηριστικά εξάγονται. Η εξαγωγή χαρακτηριστικών χαμηλού επιπέδου μπορεί να γίνει πλήρως αυτοματοποιημένα, σε αντίθεση με την εξαγωγή υψηλού επιπέδου χαρακτηριστικών, που απαιτούν αρκετή ανθρώπινη παρέμβαση. Τα κύρια στοιχεία του MPEG-7 όπως φαίνονται και στο σχήμα της εικόνας 7, είναι τα εξής: Εργαλεία περιγραφής: o Descriptors (D) (Περιγραφείς) τα οποία ορίζουν τη σύνταξη και τη σημασιολογία του κάθε χαρακτηριστικού (στοιχεία μεταδεδομένων) o Descriptor Schemes (DS) (Σχήματα περιγραφής), τα οποία καθορίζουν τη δομή και τη σημασιολογία των σχέσεων μεταξύ των εξαρτημάτων τους, τα οποία μπορούν να είναι είτε Descriptors είτε Descriptor Schemes. 18

19 Μία Descriptor Definition Language (DDL) (Γλώσσα ορισμού περιγραφέων), η οποία ορίζει την σύνταξη των MPEG-7 εργαλείων περιγραφής και επιτρέπει τη δημιουργία νέων σχημάτων περιγραφής και πιθανών περιγραφέων. Απώτερος στόχος είναι η παροχή δυνατοτήτων επέκτασης και τροποποίησης των ήδη υπάρχων σχημάτων περιγραφής. Εργαλεία συστήματος που θα υποστηρίζουν: o Την ψηφιακή κωδικοποίηση για αποτελεσματική αποθήκευση και μετάδοση. o Μηχανισμούς μετάδοσης (σε ψηφιακή αλλά και μορφή κειμένου). o Περιγραφές πολυπλεξίας. o Συγχρονισμός περιγραφών με το περιεχόμενο o Διαχείριση και προστασία της πνευματικής ιδιοκτησίας σε μορφή MPEG-7. Εικόνα 7. Βασικά στοιχεία του MPEG-7 [5] Περιγραφείς εικόνας χαμηλού επιπέδου Για την επεξεργασία και την αποθήκευση χαρακτηριστικών εικόνας χαμηλού επιπέδου, το πρότυπο MPEG-7 παρέχει τρείς διαφορετικούς βασικούς τύπους χαρακτηριστικών. Χαρακτηριστικά χρώματος, υφής και μορφής. Στη συγκεκριμένη διατριβή εξετάστηκε η χρήση ενός χαρακτηριστικού χρώματος (Color Layout) και ενός υφής (Edge Histogram). Επίσης εξετάστηκε το κατά πόσο δύναται να βελτιωθεί η απόδοση των χαρακτηριστικών αυτών, εξάγοντάς τα τοπικά, μέσω τμηματοποίησης και χρήση της μεθόδου LSI. 19

20 2.3.2 Χαρακτηριστικό χρώματος: Color Layout Ο Color Layout Descriptor (CLD) έχει σχεδιαστεί έτσι ώστε να παρέχει πληροφορίες για την χωρική κατανομή του χρώματος σε μία εικόνα. Η μέθοδος αυτή παρέχει τη χωρική διάταξη των αντιπροσωπευτικών χρωμάτων σε ένα πλέγμα επάνω σε μία εικόνα. Η αντιπροσωπευτικότητα των χρωμάτων βασίζεται σε τελεστές του DCT (Discrete Cosine Transformation) γεγονός το οποίο κάνουν το συγκεκριμένο χαρακτηριστικό αρκετά συμπαγές. [6] [7] Εξαγωγή χαρακτηριστικού Η διαδικασία της εξαγωγής του Color Layout αποτελείται από πέντε στάδια: 1. Τμηματοποίηση εικόνας. Η εικόνα διαιρείτε σε 64 τμήματα 2. Επιλογή αντιπροσωπευτικών χρωμάτων. Από κάθε τμήμα επιλέγεται ο μέσος όρος των χρωμάτων των pixel του τμήματος. Το στάδιο αυτό επιστρέφει μία πολύ μικρή εικόνα 8x8 pixels. 3. Στη συνέχεια, γίνεται μετατροπή του χρωματικού μοντέλου RGB σε YCbCr στο εικονίδιο. 4. Διακριτός μετασχηματισμός συνημίτονου (DCT). Σε αυτό το στάδιο τα χρωματικά στοιχεία Υ Cb και Cr μετασχηματίζονται σε 8x8 συντελεστές. Έτσι επιστρέφονται 3 σετ από 64 συντελεστές. Ό υπολογισμός του DCT σε έναν 2Δ πίνακα δίνεται από τις παρακάτω συναρτήσεις: 5. Σάρωση πίνακα και ομαδοποίηση συντελεστών χαμηλών συχνοτήτων. Η σάρωση γίνεται με τον τρόπο που φαίνεται στην παρακάτω εικόνα. Αποτέλεσμα αυτού του σταδίου είναι πάλι ένα σετ 3 πινάκων [8x8] 20

21 Αρχική εικόνα Τμηματοποίηση 64 (8 X 8 ) τμήματα Επιλογή αντιπροσωπευτικών χρωμάτων Εικονίδιο 8X8 pixels CLD Σάρωση εικόνας DCT RGB -> YCbCr Συντελεστές Εικονίδιο 8X8 pixels Σχήμα 1. Εξαγωγή CLD Τμηματοποίηση εικόνας σε 64 [8x8] τμήματα Επιλογή αντιπροσωπευτικών χρωμάτων και εξαγωγή εικονιδίου 8x8 pixels Σάρωση πίνακα DCTY,DCTCb,DCTCr 21

22 Συνάρτηση απόστασης Για τον υπολογισμό της ομοιότητας χρησιμοποιείται η παρακάτω συνάρτηση απόστασης θεωρώντας ότι θέλουμε να υπολογίσουμε την απόσταση μεταξύ δύο CLD: {DY,DCb,DCr} και {DY,DCb,DCr } Χαρακτηριστικό υφής: Ιστόγραμμα ακμών (Edge Histogram) Ο Edge Histogram Descriptor (EHD) αντιπροσωπεύει την χωρική κατανομή πέντε τύπων ακμών, τεσσάρων κατευθύνσεων (directional edges), και μίας ακμής χωρίς κατεύθυνση (nondirectional edge). Δεδομένου του ότι οι ακμές διαδραματίζουν σημαντικό ρόλο για την αντίληψη εικόνας μπορεί να ανακτήσει εικόνες που έχουν παρόμοιά σημασιολογική έννοια. Εξαγωγή EHD [8] Η εξαγωγή του ιστογράμματος ακμών γίνεται στα εξής στάδια: 1. Τμηματοποίηση εικόνας. Η εικόνα διαιρείτε σε 16 (4 x 4) υπο-εικόνες. 2. Στη συνέχεια γίνεται περαιτέρω τμηματοποίηση κάθε υπο-εικόνας σε μπλοκ 2x2 pixels. Ο αριθμός των μπλοκ που προκύπτουν είναι ανάλογος με την ανάλυση της εικόνας. 3. Σε κάθε μπλοκ γίνεται κατηγοριοποίηση του τύπου της ακμής που περιέχει. Η κατηγοριοποίηση γίνεται σε 5 τύπους: α) κάθετες ακμές, β) οριζόντιες, γ) ακμές 45, δ) ακμές 135 και ε) μη κατευθυντικές ακμές όπως φαίνονται και στην εικόνα 8. Ο εντοπισμός αυτών των τύπων ακμών γίνεται με τη χρήση 5 αντίστοιχων τελεστών: Κάθετες [f v ] Οριζόντιες [f h ] 45 [f d45 ] 135 [f d135 ] μη κατευθυντικές [f nd ] Σε κάθε block, υπολογίζονται 5 μεγέθη, ένα για κάθε τύπο ακμής, με τη χρήση του αντίστοιχου τελεστή και τις παρακάτω συναρτήσεις: 22

23 Αν η μέγιστη τιμή μεταξύ των 5 μεγεθών που προκύπτουν από τις συναρτήσεις (1) έως (5) είναι μεγαλύτερη από ένα κατώφλι (T edge ), όπως φαίνετε στην σχέση (6), τότε το συγκεκριμένο μπλοκ θεωρείται ότι έχει την αντίστοιχη ακμή, διαφορετικά το μπλοκ δεν περιέχει καθόλου ακμές.,, Συνεπώς ένα τοπικό ιστόγραμμα κάθε τμήματος θα έχει 5 στάθμες (bins), που αντιστοιχούν σε αυτούς τους τύπους ακμών. Από τα 16 τμήματα προκύπτουν συνολικά 80 bins. Όταν σε κάθε 2x2 pixel μπλοκ εντοπίζεται ένας τύπος ακμής αυξάνεται και το αντίστοιχο bin του τμήματος στο οποίο αυτό ανήκει. 4. Τέλος γίνεται νορμαλοποίηση των τοπικών ιστογραμμάτων διαιρώντας με τον αριθμό των μπλοκ που προκύπτει για κάθε τμήμα, το οποίο εξαρτάται από την ανάλυση της εικόνας. Αρχική εικόνα Τμηματοποίηση 16 (4 X 4 ) Υπο-εικόνες Tμηματοποίηση σε μπλοκ Μπλοκ 2X2 pixels EHD Νορμαλοποίηση Εντοπισμός ακμών Ιστογράμματα ακμών Σχήμα 2. Εξαγωγή EHD 23

24 Τμηματοποίηση εικόνας σε 16 [4x4] υπο-εικόνες Περαιτέρω τμηματοποίηση κάθε υπο-εικόνας σε μπλοκ 2x2 pixels Εντοπισμός ακμών σε κάθε μπλοκ και υπολογισμός ιστογράμματος υπο-εικόνας... Bin[0] Bin[1] Bin[79] Τοπικά ιστογράμματα 24

25 Συνάρτηση απόστασης Ως συνάρτηση απόστασης μεταξύ δύο χαρακτηριστικών EHD χρησιμοποιείται η μετρική L1 α) Κάθετη ακμή β) Οριζόντια ακμή γ) 45 ακμή δ) 135 ακμή ε) μη κατευθυντική ακμή Εικόνα 8. Τύποι ακμών που εξάγει ο EHD 25

26 2.4 Χαρακτηριστικό CEDD (Color and Edge Directivity Descriptor) To χαρακτηριστικό CEDD είναι ένας σχετικά νέος περιγραφέας χαμηλού επιπέδου. Προτάθηκε από τον Σάββα Α. Χατζηχριστόφη [9] του Δημοκρίτειου Πανεπιστήμιου Θράκης, και συνδυάζει σε ένα ιστόγραμμα πληροφορία χρώματος και ακμών. Το ιστόγραμμα CEDD αποτελείται από 6 στάθμες, από τις οποίες, η πρώτη στάθμη αντιστοιχεί στην περίπτωση που δεν εντοπιστεί κάποιο είδος ακμής:,, (βλ ενότητα 2.3.4) και οι υπόλοιπες καθορίζονται από την διαδικασία εξαγωγής ιστογράμματος ακμών, όπως περιγράφηκε στην ενότητα Κάθε μία από τις 6 στάθμες του ιστογράμματος ακμών αποτελείται από 24 υποστάθμες που περιέχουν την χρωματική πληροφορία. Παράγεται έτσι ένα χαρακτηριστικό, 6 x 24 = 144 στοιχείων. Οι 24 υποστάθμες αντιστοιχούν στα ακόλουθα προκαθορισμένα χρώματα: (0) Μαύρο, (1) Γκρι, (2) Λευκό, (3) Σκούρο Κόκκινο, (4) Κόκκινο, (5) Ανοιχτό Κόκκινο, (6) Σκούρο Κόκκινο, (7) Πορτοκαλί, (8) Ανοιχτό Πορτοκαλί, (9) Σκούρο Κίτρινο, (10) Κίτρινο, (11) Ανοιχτό Κίτρινο (12) Σκούρο Πράσινο, (13) Πράσινο, (14) Ανοικτό Πράσινο, (15) Σκούρο Κυανό, (16) Κυανό, (17) Ανοικτό Κυανό, (18) Σκούρο Μπλε, (19) Μπλε (20), Γαλάζιο (21), Σκούρο Ματζέντα (22), Ματζέντα (23), Ματζέντα. Για την εξαγωγή της πληροφορίας ακμών χρησιμοποιείται το χρωματικό μοντέλο YIQ και για την πληροφορία του χρώματος το μοντέλο HSV. Η κατηγοριοποίηση στις αντίστοιχες χρωματικές στάθμες γίνεται με χρήση 2 διαδοχικών Fuzzy Linking ιστογραμμάτων 10 και 24ρων bins αντίστοιχα, οι οποίοι βασίζονται σε συστήματα ασαφής λογικής (fuzzy logic). Σχήμα 3. Διάγραμμα ροής CEDD [9] 26

27 Κεφάλαιο 3. Προεπεξεργασία εικόνων Όπως είναι φυσιολογικό η μνήμη που απαιτείται για την αναπαράσταση των ψηφιακών εικόνων εξαρτάται τόσο από την ανάλυση (μέγεθος της εικόνας) όσο από το χρωματικό μοντέλο που χρησιμοποιείται. Σε ένα σύνολο εικόνων μπορεί να υπάρχουν σημαντικές διαφοροποιήσεις ως προς τα χαρακτηριστικά που προαναφέρθηκαν. Συνεπώς για την ανάπτυξη ενός συστήματος αναγνώρισης εικόνας είναι αναγκαία η χρήση ενός τρόπου ανάγνωσης και επεξεργασίας αυτών των φωτογραφιών με τρόπο που δεν θα επηρεάζεται από αυτές τις διαφοροποιήσεις. Για τις παραπάνω ανάγκες, καθώς και για την εξαγωγή διανυσμάτων χαρακτηριστικών, αναπτύχθηκε η κλάση ImageProcessor: Προκειμένου να μειωθεί το μέγεθος της πληροφορίας που περιέχει η κάθε εικόνα αλλά και να βελτιωθεί η ταχύτητα της επεξεργασίας της, κάθε φωτογραφία υπόκεινται σε μια διαδικασία προεπεξεργασίας η οποία περιλαμβάνει τα στάδια που εμφανίζονται στην εικόνα 4. Αρχική εικόνα Μετατροπή σε Grayscale Αλλαγή μεγέθους εικόνας Τμηματοποίηση εικόνας Εξαγωγή χαρακτηριστικών από κάθε τμήμα Διάνυσμα χαρακτηριστικών Σχήμα 4. Στάδια προεπεξεργασίας των εικόνων μιας συλλογής 27

28 3.1 Ανάγνωση εικόνων Η ανάγνωση των εικόνων γίνεται μέσω της κλάσης ImageProcessor με την κλήση της μεθόδου getimage η οποία επιστρέφει ένα αντικείμενο BufferedImage. Η συγκεκριμένη κλάση της java δίνει τη δυνατότητα ανάγνωσης των πιο διαδεδομένων μορφών εικόνων (JPEG, PNG, GIF, BMP and WBMP) σε μία δομή που διευκολύνει στην επεξεργασία τους. Συγκεκριμένα, ένα στιγμιότυπο της κλάσης BufferedImage αποτελείται από, ένα στιγμιότυπο της κλάσης ColorModel, όπου περιγράφει το χρωματικό μοντέλο που χρησιμοποιείται (Default RGB), και από ένα στιγμιότυπο της κλάσης Raster που περιέχει τα εικονοστοιχεία της εικόνας. Η τελευταία δίνει απευθείας πρόσβαση στα εικονοστοιχεία της εικόνας, από τα οποία μπορεί να γίνει περαιτέρω επεξεργασία και εξαγωγή χαρακτηριστικών διανυσμάτων. Σχήμα 5. Java BufferedImage API 3.2 Μετατροπή σε GrayScale Όπως αναφέρθηκε και στο κεφάλαιο 2.1, το χρωματικό ιστόγραμμα μιας εικόνας για το RGB μοντέλο απαιτεί την κατασκευή τριών ιστογραμμάτων ένα για κάθε τιμή R, G, και Β. Προκειμένου να μειωθεί ο όγκος της πληροφορίας καθώς και ο χρόνος επεξεργασίας, για την κάθε εικόνα υπολογίζεται το μονοχρωματικό ιστόγραμμα όπου αναπαριστά το πλήθος των εικονοστοιχείων για κάθε πεπερασμένη τιμή του γκρι (από 0 έως 255). Για να επιτευχθεί αυτό κατά το βέλτιστο τρόπο χρειάζεται η μετατροπή των έγχρωμων εικόνων σε μονοχρωματικές (GrayScale). Η μετατροπή μίας εικόνας σε μονοχρωματική επιτυγχάνεται με χρήση της κλάσης BufferedImage ως εξής: Αρχικά δημιουργείται ένα νέο στιγμιότυπο BufferedImage στις διαστάσεις της αρχικής εικόνας αλλά με ορισμό του χρωματικού μοντέλου σε GrayScale (BufferedImage.TYPE_BYTE_GRAY). Στη συνέχεια μέσω της μεθόδου drawimage() του αντικειμένου Graphics, τoυ νέου στιγμιότυπου, αποτυπώνεται η αρχική εικόνα. 28

29 Όπως φαίνεται και στις παρακάτω εικόνες η μέθοδος αυτή έχει καλύτερα οπτικά αποτελέσματα συγκριτικά με τη μέθοδο αλλαγής του χρωματικού χώρου απευθείας στην εικόνα ή με τη χρήση GrayFilter. Εικόνα 9α. Αρχική εικόνα Εικόνα 9β. Αλλαγή χρωματικού χώρου σε μονοχρωματικό Εικόνα 9γ. Εφαρμογή Gray filters Εικόνα 9δ. Προβολή αρχικής εικόνας σε grayscale ΒufferedImage 3.3 Αλλαγή του μεγέθους των εικόνων Για την περαιτέρω μείωση του απαιτούμενου όγκου πληροφορίας, αλλά και την νορμαλοποίηση εικόνων με διαφορετικά μεγέθη, υλοποιήθηκε μια μέθοδος για την αλλαγή του μεγέθους μιας εικόνας χωρίς όμως να αλλοιώνεται σημαντικά η απεικόνιση της. Το κυριότερο πρόβλημα κατά την αλλαγή του μεγέθους σε μία εικόνα είναι ότι πρέπει να γίνει η προβολή από ένα χώρο pixels [m x n] σε ένα [m x n ] όπου m >> m και n >> n Διγραμμική παρεμβολή (Bilinear interpolation) Όπως είναι λογικό, δεν γίνεται να αναπαρασταθούν όλα τα pixels στο νέο αυτό χώρο, με αποτέλεσμα την αλλοίωση της εικόνας. Για το λόγο αυτό κατά την διαδικασία της αλλαγής του μεγέθους χρησιμοποιήθηκε η μέθοδος δειγματοληψίας bilinear interpolation. Στη μέθοδο αυτή χρησιμοποιούνται οι χρωματικές τιμές 2x2 γειτονικών pixels ώστε να υπολογιστεί o σταθμισμένος μέσος όρος αυτών των 4 pixels για να προσδιοριστεί η χρωματική τιμή του pixel 29

30 στο νέο χώρο. Το βάρος για κάθε μία από τις 4 τιμές των pixel βασίζεται στην απόσταση τους (σε 2Δ χώρο). Συγκεκριμένα η εφαρμογή της μεθόδου αυτής αποτελείται από δύο διαδοχικές γραμμικές παρεμβολές, η κάθε μία σε διαφορετική κατεύθυνση. Εικόνα 10. Τα κόκκινα σημεία δείχνουν τα σημεία δεδομένων και το πράσινο σημείο αυτό που θέλουμε να παρεμβάλλουμε 30

31 Για παράδειγμα ας υποθέσουμε ότι θέλουμε να βρούμε την τιμή της άγνωστης συνάρτησης f στο σημείο P = (Χ,Υ) (εικόνα 7). Θεωρείται δεδομένο ότι γνωρίζουμε την τιμή της f στα τέσσερα σημεία Q11 = (Χ1,Υ1), Q12 = (Χ1,Υ2), Q21 = (Χ2,Υ1) και Q22 = (Χ2,Υ2). Πρώτα γίνεται παρεμβολή στην κατεύθυνση X. Αυτό αποδίδει: Όπου R1 = (X,Y1), Όπου R2 = (X,Y2), Στη συνέχεια γίνεται παρεμβολή στην κατεύθυνση Υ: Αυτό μας δίνει την επιθυμητή εκτίμηση της f(x,y): 3.4 Διαίρεση εικόνας σε τμήματα σταθερού μεγέθους Προκειμένου να εξαχθούν τοπικά χαρακτηριστικά στην εικόνα, και να εξεταστεί κατά πόσο βελτιώνεται η απόδοση του συστήματος ανάκτησης, η εικόνα διαιρείται σε τμήματα σταθερού μεγέθους. Έτσι για έναν επιλεγμένο αριθμό γραμμών και στηλών, επιστρέφεται ένα διάνυσμα με όλα τα τμήματα της εικόνας. Με αυτό τον τρόπο το αυξάνεται και το πλήθος τον χαρακτηριστικών πάνω στα οποία θα εφαρμοστεί η μέθοδος LSI. Στο παράδειγμα της εικόνας 7 βλέπουμε την διαίρεση μίας εικόνας σε 36 [6x6] τμήματα σταθερού μεγέθους. 31

32 Εικόνα 11. Διαίρεση εικόνας σε 36 τμήματα σταθερού μεγέθους 3.5 Αναπαράσταση εικόνων με διανύσματα χαρακτηριστικών Κατά το τελευταίο βήμα της προεπεξεργασίας των εικόνων γίνεται η αναπαράσταση της κάθε εικόνας σε μία σειρά από διανύσματα χαρακτηριστικών. Κάθε τύπος χαρακτηριστικού εξάγεται τοπικά για κάθε τμήμα που προέκυψε από το προηγούμενο βήμα. Συνεπώς, αν κάθε εικόνα διαχωρίζεται σε m τμήματα και ένα χαρακτηριστικό περιγράφεται από ένα διάνυσμα μεγέθους n τότε το τελικό αντιπροσωπευτικό διάνυσμα του χαρακτηριστικού αυτού για την εικόνα θα είναι μεγέθους [m x n], με τα τμήματα να τοποθετούνται σε αυτό ανά γραμμή Εξαγωγή τοπικών ιστογραμμάτων Το πρώτο χαρακτηριστικό που χρησιμοποιήθηκε, είναι το μονοχρωματικό ιστόγραμμα που περιγράφηκε στο κεφάλαιο Συγκεκριμένα το ιστόγραμμα δεν υπολογίζεται για όλα τα επίπεδα του γκρι (0 255) αλλά έγιναν δοκιμές για 32 και 16 στάθμες ανάλογα με το μέγεθος της τμηματοποίησης. Έτσι γίνεται μία ισοστάθμιση του πλήθους των χαρακτηριστικών που προκύπτουν ώστε η πολυπλοκότητα της επεξεργασίας να είναι μέσα σε ανεκτά όρια. 32

33 Εικόνα 12. Εξαγωγή ιστογράμματος από κάθε τμήμα της εικόνας 33

34 Κεφάλαιο 4. LSI μηχανή αναζήτησης 4.1 Singular Value Decomposition of a txd matrix Ιδιοτιμές και ιδιοδιανύσματα Για ένα mxm πίνακα A και ένα διάνυσμα x 0, οι τιμές λ που ικανοποιούν τη σχέση: ονομάζονται ιδιοτιμές του πίνακα A και το διάνυσμα x είναι το αντίστοιχο δεξιό ιδιοδιάνυσμα. Οι ιδιοτιμές προκύπτουν από τη λύση της χαρακτηριστικής εξίσωσης του πίνακα η οποία ορίζεται από: Α-λI = 0 (1) Αντικαθιστώντας κάθε ιδιοτιμή λ i στην εξίσωση (1) και επιλύοντας ως προς x προκύπτει το αντίστοιχο ιδιοδιάνυσμα x i της λ i. Παρατηρήσεις: Τα ιδιοδιανύσματα κάθε πίνακα που αντιστοιχούν σε διακεκριμένες ιδιοτιμές του, είναι γραμμικά ανεξάρτητα. Οι ιδιοτιμές ενός τριγωνικού πίνακα είναι τα στοιχεία της κύριας διαγωνίου του Ιδιάζοντα διανύσματα και τιμές Ιδιάζοντα διανύσματα (singular vectors) και ιδιάζουσες τιμές (singular values) ενός πίνακα C ϵr txd ονομάζονται τα ιδιοδιανύσματα και οι ιδιοτιμές αντίστοιχα του πίνακα CC T ϵr txt. Έστω r η τάξη του πίνακα C, (txd). Τότε υπάρχει μία ανάλυση του πίνακα C, της μορφής C=UΣV T όπου: U ένας πίνακας του οποίου οι στήλες είναι τα δεξιά ορθογώνια ιδιοδιανύσματα του (txt πίνακα CC T. V ένας txd πίνακας του οποίου οι στήλες είναι τα αριστερά ορθογώνια ιδιοδιανύσματα του (dxd) πίνακα C T C. Οι ιδιοτιμές λ 1,λ 2 λ r των πινάκων CC T και C T C είναι ίδιες. Ο πίνακας Σ(txt) είναι διαγώνιος με σi = λi, για 1 i r, (λi λi +1) και σi = 0 για i > r Η παραπάνω μέθοδος είναι γνωστή ως Ανάλυση Ιδιαζουσών Τιμών (Singular Value Decomposition) Παρατηρήσεις: 1. Ισχύει ότι: C = UΣV T U T C = ΣV T Σ -1 U T C = V T V = C T UΣ -1 (4.1) 34

35 2. Αποδεικνύεται ότι «οι στήλες του txt πίνακα U είναι τα δεξιά ορθογώνια ιδιοδιανύσματα του (txt) πίνακα CC T. CC T = (UΣV T )(VΣU T ) = UΣ(V T V)ΣU T = UΣ 2 U T CC T U = UΣ 2 U T U = UΣ 2 CC T U = UΣ 2 (4.2) 4.2 Λανθάνουσα Σημασιολογική Ευρετηρίαση (Latent Semantic Indexing) Latent Semantic Indexing (LSI) είναι μία μέθοδος ευρετηρίασης και ανάκτησης, που χρησιμοποιεί την Ανάλυση Ιδιαζουσων τιμών (SVD), για την αναγνώριση προτύπων στις σχέσεις μεταξύ των όρων και των εννοιών, που περιέχονται σε μια μη δομημένη συλλογή Οφέλη της LSI Επειδή η μέθοδος LSI χρησιμοποιεί μια αυστηρά μαθηματική προσέγγιση, είναι εγγενώς ανεξάρτητη της φυσικής αναπαράστασης των δεδομένων (γλώσσα, χρωματικός χώρος κτλ.) Αυτό θεωρητικά δίνει τη δυνατότητα στη μέθοδο αυτή να αποσπάσει το σημασιολογικό περιεχόμενο των πληροφοριών σε οποιαδήποτε αναπαράσταση. Συνεπώς η μέθοδος αυτή δεν περιορίζεται μόνο στην εύρεση σημασιολογίας λεκτικών όρων. Μπορεί επίσης να επεξεργαστεί οποιοδήποτε αντικείμενο μπορεί να αναπαρασταθεί σε μορφή χαρακτηριστικών διανυσμάτων. Επίσης, η LSI παρέχει ικανοποιητική ανεκτικότητα σε θόρυβο, στοιχείου ιδιαίτερης σημασίας σε εφαρμογές που χρησιμοποιούνται σε οπτική αναγνώριση χαρακτήρων (OCR) και μετατροπή ομιλίας σε κείμενο. Ένα ακόμα από τα πλεονεκτήματα της μεθόδου, είναι η αποτελεσματική μείωση διάστασης στα δεδομένα. Το ποσοστό της μείωσης μπορεί να γίνει επιλεκτικά κρατώντας τις k μεγαλύτερες ιδιοτιμές και τα αντίστοιχα ιδιοδιανύσματα. Έτσι γίνεται προβολή διανυσμάτων διάστασης n σε ένα χώρο μικρότερης διάστασης k (<<n) με ταυτόχρονη διατήρηση των μεταξύ τους «σημαντικών» σχέσεων Εφαρμογή της LSI [10] Η εφαρμογή της μεθόδου βασίζεται στη frobenius νόρμα Frobenius norm: Έστω ένας Μ x N πίνακας C τότε η Frobenius νόρμα του X ορίζεται από: και στο θεώρημα σύμφωνα με το οποίο η καλύτερη προσέγγιση ενός πίνακα C σύμφωνα με την frobenius νόρμα είναι ο πίνακας Ck που ορίζεται από τη σχέση C k =U k Σ k V k Τ, όπου ο πίνακας U k περιέχει τις k πρώτες στήλες του U, ο Σ k τα πρώτα k διαγώνια στοιχεία του Σ και ο V k Τ τις πρώτες k γραμμές του πίνακα V T. Η ιδιότητα αυτή περιγράφεται με την μαθηματική σχέση: 35

36 Αν σ 1 σ 2, σύμφωνα με το θεώρημα ο πίνακας C k είναι η καλύτερη τάξης-k προσέγγιση του C, με σφάλμα το οποίο μετρώμενο με τη Frobenius νόρμα της διαφοράς (C-C k ) είναι ίση με σ k+1. Όσο μεγαλύτερο είναι το k τόσο μικρότερο το σφάλμα και ειδικότερα για k=r, όπου r = rank(c), το σφάλμα είναι μηδενικό, αφού σ r+1 = 0 και επομένως C r = C. Όταν k<<r, τότε ο C k είναι μία προσέγγιση του C χαμηλής τάξης (low rank approximation). Έτσι κατά την εφαρμογή της μεθόδου LSI γίνεται προσέγγιση του term x document πίνακα C από ένα άλλο πίνακα μικρότερης τάξης χρησιμοποιώντας την ανάλυση SVD του πίνακα C. Τα κείμενα αλλά και τα ερωτήματα προβάλλονται σε έναν νέο χώρο μικρότερης διάστασης και μετά υπολογίζεται η ομοιότητά τους. Ο χώρος αυτός ορίζεται από τα k πρώτα ιδιοδιανύσματα του πίνακα CC T. C k = U k Σ k V T k U T T k C k = Σ k V k Σ -1 k U T k C k =V T k V k =C T -1 k U k Σ k (4.3) Ό πίνακας V k έχει d γραμμές, όπου η καθεμιά αντιστοιχεί στο διάνυσμα ενός κειμένου μεγέθους k: d = d T -1 U k Σ k (4.4) Θα πρέπει και τα ερωτήματα με τον ίδιο τρόπο να προβληθούν στον ίδιο χώρο: q = q T -1 U k Σ k (4.5) Η ομοιότητα μεταξύ ερωτήματος και ενός κειμένου της βάσης υπολογίζεται από την συνάρτηση ομοιότητας συνημίτονου: Το αποτέλεσμα στης συνάρτηση αυτής κυμαίνεται μεταξύ -1, που δηλώνει ότι είναι ακριβώς αντίθετα, και 1 που δηλώνει ακριβώς τα ίδια. 4.3 Αποδοτική χρήση του LSI Όπως είναι γνωστό από τη βιβλιογραφία, ότι μέθοδος έχει ορισμένα αρνητικά στοιχεία ως προς την πολυπλοκότητα και το υπολογιστικό κόστος για την ανάλυση του πίνακα C (term x document). Στις περιπτώσεις μεγάλων συλλογών τίθεται και το ζήτημα της χωρητικότητας μνήμης. Αν για παράδειγμα έχουμε μία συλλογή με εικόνες και από κάθε εικόνα εξάγουμε χαρακτηριστικά μεγέθους 8 bytes (double) το καθένα, τότε ο πίνακας C (features x documents) θα απαιτεί μνήμη της τάξεως των x x GB. Η ανάλυση svd σε ολόκληρο τον πίνακα C καθώς και ο υπολογισμός του πίνακα CC T γίνεται ασύμφορος. Επίσης τίθεται το ζήτημα της ενημέρωσης στην περίπτωση νέων αντικειμένων στην βάση. Σύμφωνα με τον ορισμό του LSI θα πρέπει να επαναϋπολογιστούν οι πίνακες U Σ και V T, 36

37 γεγονός που κάνει την μέθοδο να μην ενδείκνυται για βάσεις στις οποίες το περιεχόμενο αλλάζει αρκετά συχνά. Στις παρακάτω ενότητες αναλύεται πώς τα προβλήματα που προαναφέρθηκαν, ξεπεράστηκαν με αποτελεσματικό τρόπο κατά την διάρκεια της παρούσας διατριβής Υπολογισμός και ανάλυση του πίνακα CC Τ Για τον υπολογισμό του πίνακα CC T θα πρέπει αρχικά να δημιουργηθεί ένα ευρετήριο με το low level χαρακτηριστικό που πρόκειται να αναλυθεί, για όλες της εικόνες. Στην συνέχεια γίνεται ανάγνωση του τμηματικά και υπολογίζεται ο πίνακας CC Τ. Το μέγεθος του κάθε τμήματος εξαρτάται από την διαθέσιμη μνήμη του συστήματος. Έστω ότι: Το χαρακτηριστικό χαμηλού επιπέδου είναι ένα διάνυσμα μεγέθους f Το πλήθος των εικόνων της βάσης είναι Ν Κάθε τμήμα είναι μεγέθους b εικόνων Τότε ο αρχικός πίνακας C θα είναι μεγέθους (f x Ν) και o τελικός CC T (f x f). Θα χρειαστεί να αναγνωστούν Ν/b τμήματα. Σε κάθε βήμα του αλγορίθμου φορτώνεται ένας πίνακας Ci που αντιστοιχεί στο i-οστό τμήμα. Υπολογίζεται το CiCi T και το αποτέλεσμα προστίθεται σε έναν πίνακα CCt. Παρακάτω παρατίθεται ο ψευδοκώδικας που εκτελεί τον υπολογισμό: private Matrix calculatecct() { Matrix CCt; int numofblocks = Ν / b for (int i = 0; i < numofblocks; i++) { Matrix Ci = ReadBlock(i); //Πρώτο block ο CCt είναι άδειος if (i == 0) { CCt = CtimesCt(ci); } else { CCt = CCt.plus(CtimesCt(ci)); } } //Αν docslen MOD > 0 ανάγνωση υπολειπόμενων στηλών if (Ν % b > 0) { int rem = % b; Matrix Ci = ReadBock(rem) CCt = CCt.plus(CtimesCt(ci)); } } return CCt; 37

38 C (f x N) C1 (f x b) C2 (f x b)... CN/b (f x b) C1 (f x b) C1 T X (b x f) CN/b (f x b) X CN/b T (b x f) CC T (f x f) Εικόνα 13. Υπολογισμός CC T Στη συνέχεια υπολογίζονται, τα δεξιά ορθογώνια ιδιοδιανύσματα και οι ιδιοτιμές του πίνακα CC T. Από τον πίνακα με τις ιδιοτιμές προκύπτει ο πίνακας Σ με τις ιδιάζουσες τιμές όπως περιγράφεται στην ενότητα Τέλος κρατούνται οι πρώτες k μεγαλύτερες ιδιάζουσες τιμές και τα αντίστοιχα ιδιοδιανύσμτα. 38

39 4.3.2 Δημιουργία ευρετηρίων Για την λειτουργία της ανάκτησης δημιουργούνται ευρετήρια με τα LSI χαρακτηριστικά των εικόνων. Όπως αναφέρθηκε και στην ενότητα 4.2.2, μία εικόνα αντιπροσωπεύεται από το διάνυσμα που προκύπτει από την σχέση d = d T U k Σ k -1 Εκτός από τα LSI χαρακτηριστικά για την κάθε εικόνα, τα οποία αποθηκεύονται στο κυρίως ευρετήριο, είναι απαραίτητο να αποθηκευτούν και οι πίνακες U και Σ ώστε να μπορούν να χρησιμοποιηθούν κατά την ανάκτηση. Συγκεκριμένα η δημιουργία των ευρετηρίων περιλαμβάνει τα παρακάτω στάδια: 1. Ανάγνωση και προεπεξεργασία εικόνων. 2. Εξαγωγή διανυσμάτων χαρακτηριστικών χαμηλού επιπέδου. 3. Δεικτοδότηση και αποθήκευση ευρετηρίων χαμηλού επιπέδου. 4. Υπολογισμός πίνακα CC Τ και ανάλυση SVD 5. Μείωση διάστασης σε k ιδιοδιανύσματα. 6. Δεικτοδότηση και αποθήκευση ευρετηρίων με τα LSI χαρακτηριστικά. 7. Αποθήκευση πινάκων U k και Σ k σε εξωτερικά αρχεία. Για τον υπολογισμό της ανάλυσης SVD χρησιμοποιήθηκε η βιβλιοθήκη της Java, Jama (Java Matrix Package). Για την διαδικασία της ευρετηρίασης υλοποιήθηκαν οι εξής βασικές κλάσεις: ImageIndexer, η οποία διαχειρίζεται την προεπεξεργασία, την εξαγωγή και την ευρετηρίαση των χαμηλού επιπέδου χαρακτηριστικών και κάνει χρήση της κλάσης ImageProcessor που αναφέρθηκε στην ενότητα 3. LSIΙndexer, η οποία διαχειρίζεται τον υπολογισμό και την ευρετηρίαση των LSI χαρακτηριστικών. IndexManager, η οποία αναλαμβάνει την δημιουργία και την διαχείριση ευρετηρίων με τη μορφή δυαδικών αρχείων. SVD, η οποία ενθυλακώνει και διαχειρίζεται την πληροφορία που προκύπτει από την ανάλυση SVD. 39

40 ImageIndexer Προεπεξεργασία εικόνων Εξαγωγή χαρακτηριστικών χαμηλού επιπέδου Δεικτοδότηση και αποθήκευση ευρετηρίων Συλλογή εικόνων Χαρακτηριστικά χαμηλού επιπέδου LSI Indexer Δεικτοδότηση και αποθήκευση LSI ευρετηρίων Υπολογισμός CC T Και ανάλυση SVD LSI χαρακτηριστικά Πίνακες U κ και Σ κ Σχήμα 6. Δημιουργία LSI ευρετηρίων. Σχήμα 7. Βασικές κλάσεις συστήματος ευρετηρίασης. 40

41 4.3.3 Ενημέρωση ευρετηρίων [11] Σύμφωνα με τον ορισμό του LSI, ένα από τα κυριότερα μειονεκτήματα είναι το πρόβλημα της πολυπλοκότητας των υπολογισμών που απαιτεί. Η πρόσθεση νέων εικόνων στην βάση, προκαλεί αλλαγή στο σημασιολογικό μοντέλο, λόγω του ότι νέα, και πιθανώς κρίσιμη, πληροφορία έχει προστεθεί. Μέθοδος folding-in Μία μέθοδος ενημέρωσης, είναι να γίνει η ενημέρωση των πινάκων χαμηλής προσέγγισης τάξης-k (lower-rank approximation) που προκύπτουν από την ανάλυση. Αυτό επιτυγχάνεται εφαρμόζοντας την συνάρτηση (4.4), στα χαρακτηριστικά των νέων εικόνων. H μέθοδος αυτή ονομάζεται folding-in και εφαρμόζεται ως εξής: Έστω D ένα πίνακας f x p που περιέχει χαρακτηριστικά των p νέων εικόνων. Γίνεται προβολή του D στον χώρο k-διαστάσεων σχηματίζοντας έναν πίνακα k x p D k = D T -1 U k Σ κ Ευρετηρίαση του νέου πίνακα D k ή των στηλών του, με τα LSI χαρακτηριστικά των νέων εικόνων. Η μέθοδος αυτή έχει αρκετά χαμηλό υπολογιστικό κόστος, όμως ενημερώνεται μόνο ο χώρος των εικόνων (πίνακας V k ) και όχι ο χώρος των όρων (πίνακας U k ) και των βαρών (πίνακας Σ κ ). Το αποτέλεσμα είναι ότι όσο προστίθενται νέες εικόνες στη βάση, η ανάκτηση να γίνεται ολοένα και λιγότερο ακριβής Επεξεργασία ερωτημάτων και ανάκτηση εικόνων Για την ανάκτηση εικόνων, θα πρέπει οι εικόνες-ερωτήματα που θα υποβάλλονται στο σύστημα, να υπόκεινται από τα ίδια στάδια επεξεργασίας που εφαρμόστηκαν και στις εικόνες του ευρετηρίου. Στην συνέχεια θα πρέπει να γίνει εξαγωγή των χαρακτηριστικών χαμηλού επιπέδου και μετασχηματισμός αυτών σε LSI χαρακτηριστικά. Συγκεκριμένα η διαδικασία της ανάκτησης περιλαμβάνει τα εξής παρακάτω στάδια: 1. Ανάγνωση και προεπεξεργασία εικόνων. 2. Εξαγωγή διανυσμάτων χαρακτηριστικών χαμηλού επιπέδου. 3. Εφαρμογή LSA στα χαρακτηριστικά. 4. Υπολογισμός ομοιότητας με τα χαρακτηριστικά των εικόνων του ευρετηρίου. 5. Ανάκτηση των 1000 πιο σχετικών εικόνων. 41

42 Searcher Query Προεπεξεργασία εικόνων Εξαγωγή χαρακτηριστικών χαμηλού επιπέδου Εφαρμογή LSA Στα χαρακτηριστικά Πίνακες U κ και Σ κ Results Ανάκτηση σχετικών εικόνων (1000 Πρώτες) Υπολογισμός ομοιότητας (cosine similarity) με διανύσματα ευρετηρίου LSI χαρακτηριστικά Σχήμα 8. Διαδικασία της ανάκτησης Για την διαχείριση όλων των σταδίων της ανάκτησης που περιγράφηκαν παραπάνω, υλοποιήθηκε η κλάση Searcher, η οποία συνεργάζεται με τις υπόλοιπες κλάσεις του συστήματος όπως φαίνεται στο παρακάτω σχήμα. Σχήμα 9. Η κλάση Searcher και οι εξαρτήσεις της 42

43 Στην περίπτωση που ένα ερώτημα αποτελείται από N εικόνες, τότε για την κάθε μία, υπολογίζονται οι ομοιότητες με τα διανύσματα του ευρετηρίου και ανακτώνται οι 2000 πρώτες εικόνες μαζί με το αντίστοιχο score. Έτσι δημιουργείται ένα result set [Νx2000] της μορφής (<imageid>,<score>). Στη συνέχεια δημιουργείται ένα Map της ίδιας μορφής και σαρώνεται το result set με τα scores, για την κάθε εικόνα διαδοχικά. Αν το imageid δεν υπάρχει στο Map τότε αυτό εισάγεται μαζί με το αντίστοιχο score, διαφορετικά προστίθεται στο υπάρχων score το νέο. Έτσι επιτυγχάνεται ένα είδος συγχώνευσης των αποτελεσμάτων από ερωτήματα με πολλαπλές εικόνες, πριμοδοτώντας τις εικόνες που ανακτήθηκαν από πολλαπλές εικόνες-ερωτήματα. Query ResultSet Image1 Scores 1 [2000] Image2 Υπολογισμός ομοιότητας με διανύσματα ευρετηρίου Scores 2 [2000] Συγχώνευση Αποτελεσμάτων Scores 1 [1000] ImageN LSI χαρακτηριστικά Scores N [2000] Σχήμα 10. Συγχώνευση αποτελεσμάτων από ερωτήματα με πολλαπλές εικόνες. 43

44 Κεφάλαιο 5. Πειραματικά αποτελέσματα 5.1 Συλλογές εικόνων Για την εφαρμογή της μεθόδου LSI και την διεξαγωγή των πειραμάτων χρησιμοποιήθηκε η συλλογή των εικόνων που δόθηκαν στο imageclef Πρόκειται για μία συλλογή ιατρικών εικόνων και μία σειρά από 16 εικόνες ερωτήματα. Μαζί με τη συλλογή των εικόνων δόθηκε και μία σειρά μετα-δεδομένα σε xml μορφή που για κάθε εικόνα παρέχει τα εξής στοιχεία: <figureid> : To αναγνωριστικό ID της εικόνας. <figureurl>: Η διεύθυνση URL. <caption>: To οποίο παρέχει κείμενο με περιγραφή της εικόνας. <title>: Ο τίτλος του άρθρου απ όπου προέρχεται η εικόνα. <pmid>: Αναγνωριστικό ID του άρθρου στο οποίο ανήκει η εικόνα. <articleurl>: Το URL του άρθρου στο οποίο ανήκει η εικόνα. <imagelocalname>: Το όνομα αρχείου της εικόνας. Λόγω του ότι τα πειράματα που εκτελέστηκαν χρησιμοποιούσαν μόνο visual χαρακτηριστικά το μόνο στοιχείο που χρησιμοποιήθηκε ήταν το figureid και imagelocalname. Παρόλα αυτά, τα παραπάνω μετα-δεδομένα θα μπορούσαν να χρησιμοποιηθούν ώστε να γίνει συνδυασμός visual με textual ανάκτηση που πιθανόν να βελτίωνε τα αποτελέσματα. 5.2 Αποτελέσματα Για κάθε ερώτημα ανακτούνται οι 1000 εικόνες με το μεγαλύτερο score. Η αξιολόγηση των αποτελεσμάτων έγινε με χρήση του εργαλείου Trec Eval και το αρχείο με τα qrels που δόθηκε κατά το imageclef Μέτρα αξιολόγησης Τα βασικά μέτρα αξιολόγησης που χρησιμοποιούνται στην ανάκτηση κειμένου είναι τα εξής Recall: Μέτρο αξιολόγησης ενός συστήματος ως προς την δυνατότητα ανάκτησης όλων των σχετικών κειμένων: 44

45 Precision: Μέτρο αξιολόγησης ενός συστήματος ως προς την δυνατότητα ανάκτησης μόνο σχετικών κειμένων: Precision at N (PN): Η τιμή του precision μετά από την ανάκτηση Ν αντικειμένων. Relevant retrieved (rel_ret): Συνολικό πλήθος σχετικών αντικειμένων που ανακτήθηκαν Average Precision: Μέτρο αξιολόγησης της δυνατότητας ενός συστήματος να ανακτά τα σχετικά αντικείμενα με υψηλή βαθμολογία. over r (recall) Mean Average Precision (MAP): O μέσος όρος των AveP για ένα σύνολο ερωτημάτων Q: Binary Preference (bpref): Μέτρο που υπολογίζει τη σχέση προτίμησης του κατά πόσο αντικείμενα που έχουν κριθεί σχετικά ανακτούνται υψηλότερα σχετικά με τα αντικείμενα που έχουν κριθεί μη-σχετικά. Όπου: R, το πλήθος των αντικειμένων που έχουν κριθεί σχετικά Ν, το πλήθος των αντικειμένων που έχουν κριθεί μη σχετικά 45

46 5.2.2 Αποτελέσματα πειραμάτων Συνολικά εκτελέστηκαν 6 σετ πειραμάτων δοκιμάζοντας σε κάθε σετ διαφορετικά χαρακτηριστικά, παραμέτρους τμηματοποίησης και της τιμής k για το LSΑ. Παρακάτω παρουσιάζονται τα καλύτερα αποτελέσματα που προέκυψαν από το κάθε σετ. 1. Ανάκτηση με χρήση grayscale ιστογράμματος. Αρχικά εκτελέστηκε ένα σετ πειραμάτων χρησιμοποιώντας μόνο ιστόγραμμα για αποχρώσεις του γκρι. Στον πίνακα 1.1 βλέπουμε τα αποτελέσματα με την εξαγωγή grayscale ιστογράμματος σε 256 στάθμες, σε ολόκληρη την εικόνα. Στην συνέχεια δοκιμάστηκε η εξαγωγή του ιστογράμματος σε 32 στάθμες του γκρι, για 36 τμήματα της εικόνας, επιστρέφοντας συνολικά ένα διάνυσμα χαρακτηριστικών μεγέθους 32x36 = Σε αυτό γίνεται εφαρμογή LSA με k= 20, 50 και 100. Όπως φαίνεται και στον πίνακα 1.2, τα καλύτερα αποτελέσματα φαίνεται να δόθηκαν για κ=50. Τέλος δοκιμάστηκε η χρήση ιστογράμματος σε 16 στάθμες, για 324 τμήματα με επιλογή κυρίαρχων χρωμάτων όπως περιγράφεται στην ενότητα 2.2 και εφαρμογή LSA (μέγεθος χαρακτηριστικών 16x324 = 5184) το οποίο φάνηκε να βελτιώνει αισθητά τα αποτελέσματα όπως φαίνεται και στον πίνακα Resize 216x216, 256 gray color histogram Rel Ret 17 MAP 0,0001 bpref 0,0063 P5 0,0000 P10 0,0000 P15 0,0000 P20 0,0000 P30 0, Resize 216x216, 32 gray color histogram, 36 τμήματα, LSI k Rel Ret MAP 0,0008 0,0006 0,0007 bpref 0,0121 0,1140 0,0091 P5 0,0000 0,0000 0,0000 P10 0,0000 0,0000 0,0000 P15 0,0000 0,0000 0,0000 P20 0,0000 0,0000 0,0000 P30 0,0000 0,0000 0,