Εφαρμογές της Θεωρίας της Πληροφορίας σε διαδικασίες ανάκτησης εικόνας Μακεδόνας Ανδρέας Μεταδιδακτορικός Ερευνητής Τμ. Φυσικής, Εργαστήριο Ηλεκτρονικής
Ένα απλό ερώτημα Στον κόσμο την πληροφορίας υπάρχει ένας ενιαίος τρόπος για να μετρήσουμε την απόσταση μεταξύ: Δύο κειμένων; Δύο αλυσίδων DNA; Δύο (πιθανός λογο κλεμμένων) προγραμμάτων; Δύο εικόνων; Δύο ηχητικών κομματιών;
Ένα απλό ερώτημα Μια τέτοια γενική θεώρηση θα πρέπει: Να είναι ανεξάρτητη της εφαρμογής, Ανεξάρτητη της κατάτμησης της πληροφορίας, Να υπερισχύει όλων των άλλων θεωριών, Να είναι χρήσιμη στην πράξη. Απάντηση: Information Distance!!!
Πιθανολογική Προσεγγίσεις της Απόστασης Συσχέτιση πληροφορίας με την αβεβαιότητα Shannon Entropy: Υπολογισμός της μέσης αβεβαιότητας της Χ Υπολογισμός των bits που χρειάζονται για την περιγραφή της X Είναι υπολογίσιμη Αλγοριθμική Συσχέτιση πληροφορίας με την πολυπλοκότητα Kolmogorov Complexity: της Πληροφορίας H ( X ) = p( x) log p( x) x K ( x) = min q q Qx Υπολογισμός του μικρότερου προγράμματος q ανάμεσα σε Qx προγράμματα από το οποίο μπορεί να ανακατασκευαστεί η ακολουθία x. Μέτρηση της δυσκολίας ανακατασκευής της χ ακολουθίας χωρίς να υπάρχει προηγούμενη γνώση. Είναι μη υπολογίσιμη.
Προσεγγίσεις της Απόστασης Kolmogorov Complexity της Πληροφορίας K(x): μέγεθος της μικρότερης περιγραφής του x. K(x y): μέγεθος της μικρότερης περιγραφής του x δεδομένου του y. K(x) K(x y): είναι η πληροφορία του το y γνωρίζει για το x. Θεώρημα (Mutual Information). K(x) K(x y) = K(y) K(y x)
Προσεγγίσεις της Απόστασης της Πληροφορίας Normalized Information Distance (NID): Με άλλα λόγια: Νορμαλισμένο μέγεθος του μικρότερου προγράμματος υπολογισμού του x, γνωρίζοντας το y, καθώς επίσης και του υπολογισμού του y, γνωρίζοντας το x. Ερώτημα: Μπορεί να γίνει ο υπολογισμός της; Απάντηση: Όχι. Μπορούμε μόνο να την προσεγγίσουμε.
Προσεγγίσεις της Απόστασης της Πληροφορίας Normalized Compression Distance (NCD): Με άλλα λόγια: Αν δύο ακολουθίες συμπιέζονται καλύτερα μαζί από ότι μεμονωμένα, σημαίνει ότι μοιράζονται κοινή πληροφορία, επομένως μοιάζουν!!! Πλεονεκτήματα Είναι σχεδόν ανεξάρτητη παραμέτρων (data driven) Εφαρμόζεται σχεδόν παντού!!!
Εξέλιξη των Compression Based Similarity Measures (CBSM) 1993 Ziv & Merhav Χρήση της εντροπίας για την ταξινόμηση κειμένων. 2000 Frank et al., Khmelev Πρώτα πειράματα ταξινόμησης κειμένων με χρήση μεθόδων συμπίεσης. 2001 Benedetto et al. Διαισθητικός καθορισμός της σχετικής εντροπίας βάση της συμπίεσης Ανακίνηση του ενδιαφέροντος για μεθοδολογίες βασισμένες στη συμπίεση 2002 Watanabe et al. Pattern Representation based on Data Compression (PRDC) Πρώτη κατηγοριοποίηση δεδομένων διαφόρων πηγών με ένα πρώτο στάδιο μετατροπής τους σε ακολουθίες μίας διάστασης. 2004 NCD Θεωρητική θεμελίωση της Αλγοριθμικής Θεωρίας της Πληροφορίας 2005 σήμερα: Περαιτέρω εξέλιξη και εφαρμογές Chen Li Metric for DNA classification (Chen & Li, 2005) Compression based Dissimilarity Measure (Keogh et al., 2006) Cosine Similarity (Sculley & Brodley, 2006) Dictionary Distance (Makedonas et al., 2008) Fast Compression Distance (Cerra and Datcu, 2010) Normalized Multi set Distance (Besiris et al., 2012)
Βασικοί Ορισμοί Ακολουθία: σύνολο λέξεων που η μία διαδέχεται την άλλη. Λέξη: μικρότερη δυνατή ακολουθία, η οποία δεν μπορεί να αναλυθεί περαιτέρω. Χαρακτήρας: μικρότερο δομικό συστατικό μιας λέξης. Λεξικό: σύνολο των μονοσήμαντα ορισμένων λέξεων που εμφανίζονται σε μια ακολουθία.
Ιδιότητες Λεξικού 1. Ταυτοδυναμία: και, όπου λ μια κενή ακολουθία. 2. Μονοτονία: 3. Αντιμεταθετικότητα: 4. Επιμεριστικότητα:
Normalized Dictionary Distance (NDD)
Normalized Dictionary Distance (NDD) Παράγοντες που επηρεάζουν την NDD: Χαρακτήρες που χρησιμοποιούνται κατά την κωδικοποίηση, Μετατροπή μιας πολυδιάστατης ακολουθίας σε μονοδιάστατη, Μέγεθος των υπό εξέταση ακολουθιών.
Ενσωμάτωση της πληροφορίας σε χαρακτήρες Με ομοιόμορφη κβάντιση του χώρου των χαρακτηριστικών σε k ισόχωρες περιοχές. Με κβάντιση του χώρου των χαρακτηριστικών με τέτοιο τρόπο ώστε όλοι οι χαρακτήρες να έχουν την ίδια ακριβώς πιθανότητα εμφάνισης.
Ενσωμάτωση της χρωματικής πληροφορίας ομοιόμορφη κβάντιση του χώρου των χαρακτηριστικών
Από τις 2 διαστάσεις σε 1 Σάρωση ανά γραμμή ή ανά στήλη
Από τις 2 διαστάσεις σε 1 Σάρωση πάνω στη γραμμή Hilbert
Από τις 2 διαστάσεις σε 1 Quad Tree Transform (QTT)
Από τις 2 διαστάσεις σε 1 Quad Tree Transform (QTT)
Από τις 2 διαστάσεις σε 1 Άλλοι πιθανοί τρόποι σάρωσης Εστίαση σε περιοχές ενδιαφέροντος που δίνονται από άλλες πηγές αλληλεπίδρασης ανθρώπου υπολογιστή (π.χ. χρήση δεδομένων από eyetracker) Κωδικοποίηση περιοχών μεγαλύτερων του ενός pixel (χρήση mega pixels)
Από τις 2 διαστάσεις σε 1 Ερώτημα: Υπάρχει τρόπος να ανεξαρτητοποιηθεί η μονοδιάστατη ακολουθία από το αρχικό σημείο του πολυδιάστατου χώρου των χαρακτηριστικών που ξεκινά, καθώς και από το μονοπάτι που ακολουθείται για την κατασκευή της; Απάντηση: Όχι.
Burrows Wheeler Transform (BWT) Ονομάζεται επίσης block sorting compression algorithm. Αλλάζει τη σειρά των χαρακτήρων όχι τις τιμές τους. Είναι αντιστρεπτός μετασχηματισμός. Εμφανίζει καλύτερη συμπεριφορά όσο μεγαλύτερη είναι η υπό συμπίεση ακολουθία. Αναδεικνύει την επανάληψη περιοδικοτήτων σε μια ακολουθία.
Burrows Wheeler Transform (BWT)
Εξαγωγή του λεξικού της ακολουθίας Χρήση του αλγορίθμου συμπίεσης LZW Χρήση 8bits για την κωδικοποίηση
Εφαρμογή σε διαδικασίες ανάκτησης εικόνας. Database used: Μέρος της Corel 15 κατηγορίες 50 εικόνες ανά κατηγορία Σύνολο: 750 εικόνες
Εφαρμογή σε διαδικασίες ανάκτησης εικόνας. Επίδραση του πλήθους των χρησιμοποιούμενων χρωματικών χαρακτήρων.
Εφαρμογή σε διαδικασίες ανάκτησης εικόνας. Επίδραση του μεγέθους της υπό συμπίεσης ακολουθίας. 4200χαρακτήρες 21000 χαρακτήρες
Παρατηρήσεις Κάθε λεξικό χτίζεται δυναμικά χωρίς να επηρεάζεται από τη δημιουργία του άλλου!!! Τα κοινά χαρακτηριστικά που μοιράζονται τα προς σύγκριση λεξικά είναι: Ο τρόπος κβάντισης των προς κωδικοποίηση ακολουθιών. Η μέθοδος μετατροπής της αρχικής πληροφορίας σε μονοδιάστατη ακολουθία. Ερώτημα: τι θα συμβεί αν χρησιμοποιήσουμε κάποιο προκατασκευασμένο λεξικό για την συμπίεση της κάθε ακολουθίας;
Κατηγοριοποίηση ακολουθιών με χρήση προκατασκευασμένων λεξικών Στάδια διαδικασίας: Δημιουργία k αυτόνομων λεξικών, ένα για κάθε κατηγορία Από είδη γνωστές κατηγοριοποιημένες ακολουθίες Χρήση τυχαίων ορθογώνιων μεταξύ τους λεξικών Συμπίεση των υπό εξέταση ακολουθιών με κάθε ένα από τα k αυτόνομα λεξικά και εξαγωγή δεικτών συμπίεσης. Κατάταξη των υπό συμπίεση ακολουθιών σε μια από τις k κατηγορίες.
Δημιουργία αυτόνομων λεξικών Από είδη γνωστές κατηγοριοποιημένες ακολουθίες Επιλέγονται c ακολουθίες που γνωρίζουμε την κατηγορία στην οποία ανήκουν. Από κάθε μία εξάγεται το λεξικό της. Τα c λεξικά ενώνονται σε ένα κοινό λεξικό που χαρακτηρίζει την κατηγορία.
Δημιουργία αυτόνομων λεξικών Χρήση τυχαίων ορθογώνιων μεταξύ τους λεξικών.
Συμπίεση με χρήση των προκατασκευασμένων λεξικών Ερώτημα: ποια λέξη θα αναζητηθεί πρώτα; Α. αυτή που εμφανίζεται τις περισσότερες φορές; Β. αυτή που δημιουργείται από τους περισσότερους χαρακτήρες; Γ. ο συνδυασμός των Α και Β; Δ. δεν ξέρω, δεν απαντώ!!! (απάντηση: είμαι μεταξύ του Γ και λιγότερο του Δ!!!)
Ερωτήσεις?