ΑΡΧΙΜΗ ΗΣ - ΕΝΙΣΧΥΣΗ ΕΡΕΥΝΗΤΙΚΩΝ ΟΜΑ ΩΝ ΣΤΑ ΤΕΙ Υποέργο: «Ανάκτηση και προστασία πνευµατικών δικαιωµάτων σε δεδοµένα πολυδιάστατου ψηφιακού σήµατος (Εικόνες Εικονοσειρές)» Πακέτο Εργασίας 4: Προστασία πνευµατικών δικαιωµάτων ΠΑΡΑ ΟΤΕΟ Π13 Έκθεση εφαρµογής των µεθόδων σε πραγµατική βάση δεδοµένων. Επιστηµονικός υπεύθυνος: ρ Βασίλειος Χατζής Οµάδα εργασίας: Πήτας Ιωάννης Νικολαΐδης Νικόλαος Σπάχος ηµήτριος Ηλεκτρολόγος Μηχανικός / Καθηγητής Α.Π.Θ Ηλεκτρολόγος Μηχανικός / Λέκτορας Α.Π.Θ Υποψήφιος ιδάκτορας Α.Π.Θ.
1. ΕΙσαγωγή Κατά τη διάρκεια του έργου και στα πλαίσια του ΠΕ 4 αναπτύχθηκαν από το ΑΠΘ 2 συστήµατα ψηφιακών αποτυπωµάτων, από τα οποία το δεύτερο χρονολογικά παρουσίασε τις καλύτερες επιδόσεις. Στο παραδοτέο αυτό παρουσιάζεται συνοπτικά το σύστηµα αυτό και περιγράφεται αναλυτικά η επίδοση του σε πειράµατα που έγιναν σε µια βάση εικόνων. 2. Περιγραφή της Μεθόδου Τα χρωµατικά χαρακτηριστικά που βρέθηκαν να είναι τα καταλληλότερα για χρήση ως ψηφιακά αποτυπώµατα για ψηφιακές εικόνες στην διάρκεια του έργου αποτέλεσαν τη βάση για να προταθεί ένα νέο σύστηµα ψηφιακών αποτυπωµάτων το οποίο βασίζεται στα R-δένδρα (R-trees) και στην γραµµική διακριτική ανάλυση (linear discriminant analysis, LDA). Συγκεκριµένα, στο σύστηµα αυτό η κάθε εικόνα χαρακτηρίζεται από το ιστόγραµµα µε βάση την χρωµατική παλέτα Macbeth Color Checker που αποτελείται από 24 χρώµατα [Glassner95]. Το 24-διαστατο χαρακτηριστικό διάνυσµα (fingerprint) κάθε εικόνας που επιθυµούµε να προστατεύσουµε (και που στη συνέχεια θα αναφέρεται ως πρωτότυπη εικόνα) αποθηκεύεται στη βάση αποτυπωµάτων η οποία στηρίζεται σε µια πολυδιάστατη ευρετηριακή δοµή βασισµένη σε ένα R-tree [Gaede98]. Η χρήση του R-tree έχει σαν αποτέλεσµα την γρήγορη αναζήτηση αντιγράφων. Η δηµιουργία και η λειτουργία του προτεινόµενου συστήµατος αποτελείται από δύο ανεξάρτητες φάσεις: τη φάση της δηµιουργίας της βάσης αποτυπωµάτων και τη φάση της κανονικής λειτουργίας του συστήµατος όπου αυτό καλείται να απαντήσει στο ερώτηµα εάν µια εικόνα είναι αντίγραφο κάποιας πρωτότυπης εικόνας που εµπεριέχεται στη βάση ή όχι. Κατά τη φάση της δηµιουργίας της βάσης, κάθε φορά που εισάγεται σε αυτή µια νέα πρωτότυπη εικόνα, αυτή υποβάλλεται σε µια σειρά συγκεκριµένων επεξεργασιών (επιθέσεων) οι οποίες επιλέγονται ανάλογα µε τις επεξεργασίες που είναι πιθανόν να υποστεί µια εικόνα στον κύκλο ζωής της. Υπολογίζεται το χαρακτηριστικό διάνυσµα κάθε µιας από τις εικόνες-αντίγραφα µιας πρωτότυπης εικόνας που παράγονται µε τις επιθέσεις, και χρησιµοποιείται για να καθοριστεί η έκταση της γειτονιάς της πρωτότυπης εικόνας η οποία περιλαµβάνει όλα τα αντίγραφα της. Πιο συγκεκριµένα, υπολογίζεται η απόσταση, σε κάθε µία από τις διαστάσεις του 24-διάστατου χαρακτηριστικού διανύσµατος, µεταξύ κάθε εικόνας-αντιγράφου και της αντίστοιχης πρωτότυπης εικόνας. Η µέγιστη απόσταση σε κάθε διάσταση λαµβάνεται ως η έκταση της γειτονιάς της πρωτότυπης εικόνας στη διάσταση αυτή. Στη συνέχεια η πρωτότυπη εικόνα (για την ακρίβεια το χαρακτηριστικό της διάνυσµα) τοποθετείται στο R-tree µαζί µε το διάνυσµα που καθορίζει την έκταση της γειτονίας της στην κάθε διάσταση (extent vector). Οι επιθέσεις (77 στο σύνολο) που χρησιµοποιήθηκαν για την εύρεση του extent vector της γειτονιάς κάθε πρωτότυπης εικόνας ήταν η συµπίεση κατά JPEG (διάφοροι βαθµοί συµπίεσης), η περιστροφή µε διάφορες γωνίες περιστροφής, η κλιµάκωση (resizing) µε ποικίλους συντελεστές κλιµάκωσης και η αποκοπή µέρους της εικόνας (cropping) µε διάφορα ποσοστά αποκοπής. Οι επιθέσεις αυτές περιγράφονται αναλυτικά στον ακόλουθο πίνακα. Κατηγορία επίθεσης και εύρος παραµέτρου Βήµα παραµέτρου Παραχθείσες εικόνες Συµπίεση JPEG, συντελεστής ποιότητας 5 17 10-90 Περιστροφή, 1 ο -359 ο 5 ο 36
Κλιµάκωση, συντελεστής 0.3-2 0.1 16 Αποκοπή, εναποµένον τµήµα 99%-50% 5% 8 Σύνολο 77 Πίνακας 1: Επιθέσεις που χρησιµοποιήθηκαν κατά την δηµιουργία της βάσης (εκπαίδευση του συστήµατος). Ο υπολογισµός της έκτασης της γειτονιάς µε βάση προκαθορισµένο σύνολο επιθέσεων βασίζεται στην ιδέα πως µια γειτονιά που υπολογίζεται µε αυτόν τον τρόπο θα περιλαµβάνει τα χαρακτηριστικά διανύσµατα αντιγράφων που έχουν προέρθει από αντίστοιχες επιθέσεις. Η διαδικασία δηµιουργίας της βάσης περιγράφεται σχηµατικά στο ακόλουθο σχήµα. Εικόνα 1: ηµιουργία της βάσης αποτυπωµάτων. Κατά η φάση της ανίχνευσης αντιγράφων, µια εικόνα εισάγεται σαν ερώτηµα στην βάση εικόνων για να διαπιστωθεί το κατά πόσο είναι αντίγραφο κάποιας από τις πρωτότυπες εικόνες της βάσης. Η διάσχιση του R-tree µε βάση το χαρακτηριστικό διάνύσµα της υπό εξέταση εικόνας έχει σαν αποτέλεσµα την εύρεση µίας ή ενός µικρού αριθµού πρωτότυπων εικόνων, στις γειτονίες των οποίων εµπεριέχεται το χαρακτηριστικό διάνυσµα της υπό εξέταση εικόνας. Οι εικόνες αυτές είναι υποψήφιες για να είναι οι πρωτότυπες εικόνες µε τις οποίες σχετίζεται η υπό εξέταση εικόνα. Εναλλακτικά, το αποτέλεσµα της διάσχισης µπορεί να είναι το κενό σύνολο στην περίπτωση που το χαρακτηριστικό διάνυσµα της υπό εξέταση εικόνας δεν βρίσκεται στη γειτονιά κάποιας εικόνας της βάσης. Στην περίπτωση που το R-tree οδηγήσει στην εύρεση περισσότερων από µία εικόνων, εφαρµόζεται ένα επιπρόσθετο βήµα το οποίο βασίζεται στην LDA [Fukunaga90] και έχει σαν στόχο να ευρεθεί µία µοναδική πρωτότυπη εικόνα. Πιο συγκεκριµένα, στο βήµα αυτό συµµετέχουν όλες οι εικόνες της βάσης που βρέθηκαν ως υποψήφιες από το R-tree. Το χαρακτηριστικό διάνυσµα της κάθε µιας, µαζί µε τα χαρακτηριστικά διανύσµατα των αντιγράφων της που προέκυψαν από το σετ επιθέσεων κατά τη διαδικασία της δηµιουργίας της βάσης, αποτελούν µια κλάση για τον αλγόριθµο LDA. Με τον αλγόριθµο LDA υπολογίζονται τα στατιστικά χαρακτηριστικά κάθε κλάσης και χρησιµοποιούνται για να «προβληθούν» τα χαρακτηριστικά διανύσµατα σε έναν νέο χώρο όπου υπάρχει καλύτερος διαχωρισµός κλάσεων. Στον νέο αυτό χώρο, επιλέγεται η αρχική εικόνα που το χαρακτηριστικό διάνυσµά της είναι πλησιέστερα στο διάνυσµα της υπό εξέταση εικόνας και, εφόσον η απόσταση τους είναι µικρότερη από ένα κατώφλι η εικόνα αυτή χαρακτηρίζεται ως το πρωτότυπο από το οποίο προήρθε η υπό εξέταση εικόνα. Σε αντίθετη περίπτωση, το σύστηµα αποφαίνεται ότι η υπό εξέταση εικόνα
δεν είναι αντίγραφο κάποιας εικόνας στην βάση. Η διαδικασία ανίχνευσης αντιγράφων περιγράφεται στο παρακάτω σχήµα. Εικόνα 2: ιαδικασία ανίχνευσης αντιγράφων. 3. Πειραµατική µελέτη της επίδοσης της µεθόδου Το προταθέν σύστηµα µελετήθηκε πειραµατικά ως προς τις επιδόσεις του µε τρία είδη πειραµάτων. Η βάση πρωτότυπων εικόνων που χρησιµοποιήθηκε στα πειράµατα αποτελούνταν από 2232 εικόνες οι οποίες ήταν διαφορετικές φωτογραφίες 12 σηµαντικών µνηµείων. Η σύνθεση της βάσης φαίνεται στον παρακάτω πίνακα. # Όνοµα µνηµείου Αρ. εικόνων 1 Παρθενώνας (Ελλάδα) 343 2 Λευκός Πύργος (Ελλάδα) 78 3 Άγαλµα Ελευθερίας (Η.Π.Α) 71 4 Σαγκράδα Φαµίλια (Ισπανία) 247 5 Φάρος (ποικίλες τοποθεσίες) 56 6 Κολοσσαίο (Ιταλία) 128 7 Πύργος Άιφελ (Γαλλία) 233 8 Πύργος Πίζας (Ιταλία) 78 9 Πυραµίδες (ποικίλες τοποθεσίες, Αίγυπτος) 63 10 Σφίγγα (Αίγυπτος) 193 11 Ντουόµο (ποικίλες τοποθεσίες, Ιταλία) 266 12 Μπιγκ Μπεν (Αγγλία) 476 Σύνολο 2232 Πίνακας 2: Πρωτότυπες εικόνες που περιέχονται στη βάση δεδοµένων που χρησιµοποιήθηκε στα πειράµατα. Το σύνολο αυτό των εικόνων επιλέχθηκε γιατί αποτελεί ένα δύσκολο σύνολο δοκιµής για το υπό εξέταση σύστηµα, λόγω της σηµαντικής σε πολλές περιπτώσεις οµοιότητας µεταξύ των εικόνων που σχετίζονται µε κάθε ένα από τα 12 µνηµεία, όπως φαίνεται και στην εικόνα 3. Η οµοιότητα αυτή έχει σαν αποτέλεσµα τα χαρακτηριστικά διανύσµατα των εικόνων µίας κατηγορίας να βρίσκονται πολύ κοντά το ένα στο άλλο και κατά συνέπεια µια υπό εξέταση εικόνα που εισάγεται ως ερώτηµα στην βάση να έχει µεγάλη πιθανότητα να καταταχθεί σε λάθος πρωτότυπο.
Εικόνα 3: είγµατα εικόνων που περιέχονται στην κατηγορία Παρθενώνας» της βάσης εικόνων που χρησιµοποιήθηκε για τα πειράµατα. Στην πρώτη οµάδα πειραµάτων τέθηκαν ως ερωτήµατα στη βάση οι 2232 πρωτότυπες εικόνες της βάσης. Το ποσοστό των εικόνων που κατατάχθηκαν σε λάθος πρωτότυπο (misclassification rate) στο πείραµα αυτό ήταν 0% ενώ το ποσοστό των εικόνων που λανθασµένα θεωρήθηκαν ως µη σχετιζόµενες (µη αντίγραφα) κάποιας πρωτότυπης εικόνας (false rejection rate) ήταν επίσης 0%, δηλαδή όλες οι εικόνες αντιστοιχίστηκαν σωστά στις εικόνες της βάσης Στην δεύτερη οµάδα πειραµάτων τέθηκαν ως ερωτήµατα στη βάση οι 128400 εικόνες που προέκυψαν µε την εφαρµογή 535 διαφορετικών επιθέσεων (συµπιέσεις κατά JPEG, περιστροφές, κλιµακώσεις και αποκοπές µε διάφορες παραµέτρους) σε κάθε µία από ένα υποσύνολο 240 εικόνων της βάσης. Οι επιθέσεις αυτές παρουσιάζονται αναλυτικά στον επόµενο πίνακα. Κατηγορία επίθεσης και εύρος παραµέτρου Βήµα παραµέτρου Παραχθείσες εικόνες Συµπίεση JPEG, συντελεστής ποιότητας 1 90 10-90 Περιστροφή, 1 ο -359 ο 1 ο 360 Κλιµάκωση, συντελεστής 0.3-2 0.05 35 Αποκοπή, εναποµένον τµήµα 99%-50% 1% 50 Σύνολο 535 Πίνακας 3: Επιθέσεις που χρησιµοποιήθηκαν για την δηµιουργία των αντιγράφων που δόθηκαν στο σύστηµα ως εικόνες-ερωτήµατα κατά την δεύτερη οµάδα πειραµάτων. Το ποσοστό των εικόνων που κατατάχθηκαν σε λάθος πρωτότυπο (misclassification rate) στο πείραµα αυτό ήταν 0.54% ενώ το ποσοστό των εικόνων που λανθασµένα θεωρήθηκαν ως µη σχετιζόµενες (µη αντίγραφα) κάποιας πρωτότυπης εικόνας (false rejection rate) ήταν 1.28%.
Στην τρίτη οµάδα πειραµάτων τέθηκαν ως ερωτήµατα στη βάση 450 εικόνες που δεν σχετιζόταν µε καµία από τις εικόνες της βάσης και που απεικόνιζαν πίνακες ζωγραφικής από το αρχείο της Bridgeman Art Library. Το ποσοστό των εικόνων που λανθασµένα υιοθετήθηκαν από το σύστηµα ως αντίγραφα κάποιας εικόνας στη βάση (false acceptance rate) ήταν 7.33%. 4. Συµπεράσµατα Η παραπάνω επίδοση του συστήµατος, δεδοµένης και της δυσκολίας της βάσης δεδοµένων που χρησιµοποιήθηκε κρίνεται ως απόλυτα ικανοποιητική. Το µόνο είδος λάθους που βρίσκεται σε κάπως υψηλότερα επίπεδα από τα υπόλοιπα είναι αυτό του false acceptance rate. Στο µέλλον θα γίνει προσπάθεια να βελτιωθεί το σύστηµα µε ένα επιπλέον τµήµα που θα ακολουθεί αυτό του R-tree και το οποίο θα ελέγχει την οµοιότητα των εικόνων µε βάση τα χαρακτηριστικά σηµεία του αλγορίθµου SIFT. Η νέα αυτή προσθήκη αναµένεται να µειώσει κατά πολύ τα λάθη αυτής της κατηγορίας. Τα αποτελέσµατα της ερευνητικής αυτής εργασίας υποβλήθηκαν και έγιναν δεκτά για παρουσίαση στο διεθνές συνέδριο της IEEE, International Conference on Multimedia and Expo 2006: Spyros Nikolopoulos, Stefanos Zafeiriou, Panagiotis Sidiropoulos, Nikos Nikolaidis and Ioannis Pitas, "Image Replica Detection Using R-Trees and Linear Discriminant Analysis", IEEE International Conference on Multimedia and Expo (ICME), July 9-12, 2006, Toronto, Canada. Στο άρθρο αυτό παρέχονται περαιτέρω λεπτοµέρειες για τη µέθοδο. Βιβλιογραφία [Glassner95] A. Glassner, Principles of Digital Image Synthesis, Morgan-Kaufmann Publishers Inc., 1995. [Gaede98] V. Gaede and O. Gunther, ``Multidimensional access methods'', ACM Computing Surveys, vol. 30, no. 2, pp. 170-231, 1998. [Fukunaga90] K. Fukunaga, Statistical Pattern Recognition, Academic Press, 1990.