Αξιολόγηση µεθόδων σύνθεσης εικόνων Β. Τσαγκάρης και Β. Αναστασόπουλος
Περιεχόµενα Σύνθεση πληροφορίας - εικόνων Εφαρµογές Τύποι εικόνων Μέθοδοι σύνθεσης εικόνων Αξιολόγηση µεθόδων σύνθεσης εικόνων Θεωρία πληροφορίας Προτεινόµενο κριτήριο Συµπεράσµατα 2
Σύνθεση δεδοµένων Η διαθεσιµότητα πληθώρας αισθητήρων και τεχνολογιών απεικόνισης δίνει πολλές φορές συµπληρωµατική πληροφορία για µια περιοχή ή ένα γεγονός. Υπάρχει ανάγκη για τεχνικές συνδυασµού δεδοµένων πληροφορίας και αποφάσεων. Παράδειγµα αποτελεί ο ανθρώπινος εγκέφαλος. 3
Επίπεδα σύνθεσης (fusion levels) Image Image 2... Image k Image Image 2... Image k Image Image 2... Image k Fusion Pixel level Feature Extraction Feature Extraction Fusion Feature level Feature Identification Fusion Decision level Result Result Result Σύνθεση α)δεδοµένων β) χαρακτηριστικών και γ) αποφάσεων 4
Εφαρµογές στην Ιατρική Στην Ιατρική πολλές φορές ο ίδιος ασθενής εξετάζεται µε διαφορετικές τεχνολογίες απεικόνισης. Οι τεχνολογίες αυτές παρέχουν συµπληρωµατική πληροφορία, π.χ. MRI και PET. 5 Fusion result
Εφαρµογές σε νυχτερινή όραση Visual multiple-band intensified camera Thermal camera 6
Εφαρµογές στην Τηλεπισκόπιση Πλήθος δορυφόροι καλύπτουν την ίδια περιοχή σε διαφορετικά µήκη κύµατος. Η πληροφορία που παρέχεται από αυτούς είναι συµπληρωµατική, π.χ στο ορατό και σε ραδιοσυχνότητες. 7
Εφαρµογές στην Τηλεπισκόπιση LandSat 7 ETM Ο πιο επιτυχηµένος εµπορικά δορυφόρος Band Number Spectral Range Ground (microns) Resolution m.45 to.55 30 2.525 to.605 30 3.63 to.690 30 4.75 to.90 30 5.55 to.75 30 6 (thermal) 0.40 to 2.50 60 7 2.09 to 2.35 30 Pan.52 to.90 5 Image Fusion Source Images 8 Fusion Result
Μέθοδοι σύνθεσης εικόνων Γραµµικές µέθοδοι. Μη-γραµµικές µέθοδοι (µορφολογικά χαρακτηριστικά). Τεχνικές βελτιστοποίησης (µέγιστη εντροπία). Νευρωνικά δίκτυα. Πυραµιδικοί µετασχηµατισµοί (wavelets). 9
Προτεινόµενες µέθοδοι Μέθοδος σύνθεσης πολυφασµατικών δεδοµένων (ΙΚΟΝΟS). Σύνθεση απεικόνιση υπερφασµατικών δεδοµένων. Σύνθεση δεδοµένων νυχτερινής όρασης χρησιµοποιώντας non-negative matrix factorization. RGB representation using three bands Fusion result Group Group 2 Group 3 0 Spectral signatures of alunite (red line), buddingtonite (green line) and kaolinite (blue line)
Αξιολόγηση µεθόδων Η απόδοση των µεθόδων σύνθεσης αξιολογείται τις περισσότερες φορές υποκειµενικά µέσω οπτικής παρατήρησης από κάποιον ειδικό. Η αναπαραγωγή τέτοιων τεστ ή αξιολογήσεων είναι χρονοβόρα αλλά και η διαδικασία του τεστ δεν είναι σίγουρο ότι είναι πάντα η ίδια. Υπάρχει λοιπόν ανάγκη για αντικειµενικά κριτήρια (objective evaluation performance).
Υπάρχοντα κριτήρια Κριτήρια που έχουν αναπτυχθεί για ανάλυση εικόνας δεν είναι άµεσα εφαρµόσιµα. Κάποια που βασίζονται σε MSE δεν δίνουν αποτελέσµατα συµβατά µε την ανθρώπινη αντίληψη. ydeas και Petrovic έχουν προτείνει ένα κριτήριο βασισµένο σην πληροφορία που υπάρχει στις ακµές µιας εικόνας. Μειονέκτηµα δεν εξετάζεται η υπόλοιπη πληροφορία. Piella et. al. χρησιµοποίησαν ένα κριτήριο για ανάλυση εικόνας (Wang and Bovik). Μειονέκτηµα αναγκαίο να υπάρχει target image. Qu et. al. έχουν προτείνει ένα κριτήριο βασισµένο στην Θεωρία της Πληροφορίας. 2
Θεωρία Πληροφορίας (βασικές έννοιες) Η εντροπία αναπαριστά το συνολικό ποσό πληροφορίας H ( ) = p( x) log p( x) x Η υπό συνθήκη εντροπία δίνει το ποσό πληροφορίας µιας µεταβλητής Χ δεδοµένης της Υ H ( Y ) p( x, y) log p( x y) = x y Η αµοιβαία πληροφορία είναι η πληροφορία που µοιράζεται ανάµεσα σε δύο µεταβλητές H() H(Y) I( ; Y ) = x y p( x, y) log p( x, y) p( x) p( y) H( Y) I(;Y) H(Y ) H(,Y) 3
Επικαλυπτόµενη πληροφορία Image Fusion Source Images Fusion Result Υψηλός βαθµός συσχέτισης ανάµεσα στις αρχικές εικόνες. Η ίδια πληροφορία µπορεί να βρεθεί σε περισσότερες από µία αρχικές εικόνες και περιγράφεται σαν επικαλυπτόµενη πληροφορία (overlapping information). 4
Κριτήριο Qu et al. 2 Fusion Process Y Overlapping or mutual information Source Images Fused Image Το προηγούµενο κριτήριο υπολογίζεται σαν άθροισµα όλων των αµοιβαίων πληροφοριών ανάµεσα στις αρχικές και στην τελική εικόνα που έχει προέλθει από σύνθεση. εν αντιµετωπίζεται το πρόβληµα της επικαλυπτόµενης πληροφορίας στις αρχικές εικόνες Χi. Qu = N i= I( i ; Y ) 5
Προτεινόµενο κριτήριο Θεωρούµε σαν i τις αρχικές εικόνες όπου i=,2,,n και N είναι ο αριθµός των αρχικών εικόνων. Y είναι η τελική ασπρόµαυρη εικόνα που έχει προέλθει από σύνθεση. Η κοινή πληροφορίας I(;Y) περιγράφει την πληροφορία που µεταφέρεται από την στην Y. Η υπό συνθήκη κοινή πληροφορία I(2;Y ) περιγράφει την πληροφορία που µεταφέρεται από την 2 στην Y δεδοµένης της. H( ) H( 2 ) H(Y) I( ;Y) I( 2 ;Y ) 6
Προτεινόµενο κριτήριο Η χρήση υπό συνθήκη αµοιβαίας πληροφορίας στην µορφή I( n; Y n,..., 2, ) εγγυάται ότι η επικαλυπτόµενη πληροφορία στις αρχικές εικόνες υπολογίζεται µόνο µία φορά. Το άθροισµα όλων των υπό συνθήκη πληροφοριών αναπαριστά το ολικό ποσό πληροφορία που µεταφέρεται από τις αρχικές εικόνες i στην τελική Y που προήλθε από σύνθεση, και ορίζεται σαν κοινή πληροφορία (common information) CI CI = I( N ; Y ) + I( i; Y i,..., ) i= 2 7
Προτεινόµενο κριτήριο Το προτεινόµενο Image Fusion Performance Measure (IFPM) ορίζεται ως CI IFPM = H (, 2,..., n IFPM παίρνει τιµές στην περιοχή [0,]. Η κοινή εντροπία H(, 2,, N) αναπαριστά το ολικό ποσό πληροφορίας που βρίσκεται στις αρχικές εικόνες. ) 8
9 Τρόπος υπολογισµού Ο πρώτος όρος του CI είναι Ο δεύτερος όρος Ο γενικός for ) ( ) ( ) ; ( = = n Y H H Y I 2 for ) ; ( ), ( ), ( ) ; ( 2 2 2 = = n Y I Y H H Y I N n Y I Y I Y H H Y I n i i i n n n n 3,..., for ),..., ; ( ) ; ( ),...,, ( ),...,, ( ),,..., ; ( 2 2 2 2 = = =
Περιγραφή δεδοµένων Το ένα σετ δεδοµένων που χρησιµοποιήθηκαν προέρχονται από τον δορυφόρο IKONOS. Η εικόνα περιλαµβάνει µια οικιστική περιοχή, οδικό δίκτυο, πάρκο και κτίρια. Natural colour composite (bands,2 and 3) Table : Spectral range of IKONOS data Band Number Spectral Range (microns) (blue) 0.45-0.52 2 (green) 0.5-0.60 3 (red) 0.63-0.70 4 (near infrared) 0.76-0.85 20 Near infrared grayscale image (band 4)
Υπολογισµός του κριτηρίου Κάθε αρχική εικόνα i ή η τελική Y θεωρείται σαν µια τυχαία µεταβλητή µε pdf p(xi) or p(y). Pdfs µεγαλύτερης διάστασης απαιτούν και αντίστοιχα ιστογράµµατα υψηλότερης διάστασης. Στην περίπτωση των δεδοµένων IKONOS, τα ιστογράµµατα που υπολογίσθηκαν ήταν µέχρι 5 διαστάσεων µε 6 bins για κάθε διάσταση. Το συνολικό ποσό µνήµης που απαιτείται στην γενική περίπτωση είναι (b) N+ όπου b ο αριθµός των bins 2
Σύγκριση µεθόδων Τέσσερις διαφορετικές µέθοδοι συγκρίθηκαν µε το προτεινόµενο κριτήριο. Objective performance evaluation IFPM value Method 0.279 Method 2 0.2993 Method 3 0.3049 Method 4 0.2434 Method : Averaging Method 2: PCA Το κριτήριο υποδεικνύει την µέθοδο 3 σαν καλύτερη. Η απόδοσή της είναι συγκρίσιµη µε PCA. Method 3: Wavelet-based Method 4: morphological-based 22
Σύγκριση µεθόδων IFPM Method 0.304 Method 2 0.3247 Method 3 0.3704 Method 4 0.4063 MI Method 2.0684 Method 2 3.2043 Method 3 2.8024 Method 4 3.5632 23
Σύγκριση IFPM και Qu Θεωρούµε δύο σετ δεδοµένων µε επικαλυπτόµενη πληροφορία. Το πρώτο Χ,Χ3 και το δεύτερο Χ,Χ,Χ3 Το IFPM δεν επηρεάζεται από την επικαλυπτόµενη πληροφορία. Οι δύο µέγιστες τιµές του Qu διαφέρουν 3% στην η περίπτωση και µόνο 4% στην 2η. Source images, and 3 Source images and 3 MI IFPM MI IFPM Method 2.323 0.4252.5005 0.4252 Method 2 2.22 0.4739.765 0.4739 Method 3.6050 0.3063.808 0.3063 Method 4.2997 0.2434 0.9760 0.2434 24
Συµπεράσµατα Το προτεινόµενο κριτήριο µπορεί να χρησιµοποιηθεί για αντικειµενική σύγκριση µεθόδων σύνθεσης εικόνων. Αντιµετωπίζει το πρόβληµα της επικαλυπτόµενης πληροφορίας. Επιτρέπει την απευθείας σύγκριση µεθόδων καθώς δίνει τιµές στην περιοχή [0,]. Μελλοντικός στόχος είναι η επέκταση σε µεθόδους σύνθεσης που καταλήγουν σε έγχρωµη εικόνα. Ανάπτυξη προσεγγιστικών µεθόδων για την περίπτωση υπερφασµατικών δεδοµένων. 25
Σας ευχαριστώ για την προσοχή σας!!! Remote Sensing Europe 2004 Canary islands, 3-6 September 2004 26