Αξιολόγηση µεθόδων σύνθεσης εικόνων. Β. Τσαγκάρης και Β. Αναστασόπουλος

Μέγεθος: px

Εμφάνιση ξεκινά από τη σελίδα:

Download "Αξιολόγηση µεθόδων σύνθεσης εικόνων. Β. Τσαγκάρης και Β. Αναστασόπουλος"

Υγίνος Καλαμογδάρτης
7 χρόνια πριν
Προβολές:

1 Αξιολόγηση µεθόδων σύνθεσης εικόνων Β. Τσαγκάρης και Β. Αναστασόπουλος

2 Περιεχόµενα Σύνθεση πληροφορίας - εικόνων Εφαρµογές Τύποι εικόνων Μέθοδοι σύνθεσης εικόνων Αξιολόγηση µεθόδων σύνθεσης εικόνων Θεωρία πληροφορίας Προτεινόµενο κριτήριο Συµπεράσµατα 2

3 Σύνθεση δεδοµένων Η διαθεσιµότητα πληθώρας αισθητήρων και τεχνολογιών απεικόνισης δίνει πολλές φορές συµπληρωµατική πληροφορία για µια περιοχή ή ένα γεγονός. Υπάρχει ανάγκη για τεχνικές συνδυασµού δεδοµένων πληροφορίας και αποφάσεων. Παράδειγµα αποτελεί ο ανθρώπινος εγκέφαλος. 3

4 Επίπεδα σύνθεσης (fusion levels) Image Image 2... Image k Image Image 2... Image k Image Image 2... Image k Fusion Pixel level Feature Extraction Feature Extraction Fusion Feature level Feature Identification Fusion Decision level Result Result Result Σύνθεση α)δεδοµένων β) χαρακτηριστικών και γ) αποφάσεων 4

5 Εφαρµογές στην Ιατρική Στην Ιατρική πολλές φορές ο ίδιος ασθενής εξετάζεται µε διαφορετικές τεχνολογίες απεικόνισης. Οι τεχνολογίες αυτές παρέχουν συµπληρωµατική πληροφορία, π.χ. MRI και PET. 5 Fusion result

6 Εφαρµογές σε νυχτερινή όραση Visual multiple-band intensified camera Thermal camera 6

7 Εφαρµογές στην Τηλεπισκόπιση Πλήθος δορυφόροι καλύπτουν την ίδια περιοχή σε διαφορετικά µήκη κύµατος. Η πληροφορία που παρέχεται από αυτούς είναι συµπληρωµατική, π.χ στο ορατό και σε ραδιοσυχνότητες. 7

8 Εφαρµογές στην Τηλεπισκόπιση LandSat 7 ETM Ο πιο επιτυχηµένος εµπορικά δορυφόρος Band Number Spectral Range Ground (microns) Resolution m.45 to to to to to (thermal) 0.40 to to Pan.52 to.90 5 Image Fusion Source Images 8 Fusion Result

9 Μέθοδοι σύνθεσης εικόνων Γραµµικές µέθοδοι. Μη-γραµµικές µέθοδοι (µορφολογικά χαρακτηριστικά). Τεχνικές βελτιστοποίησης (µέγιστη εντροπία). Νευρωνικά δίκτυα. Πυραµιδικοί µετασχηµατισµοί (wavelets). 9

Σύνθεση δεδοµένων νυχτερινής όρασης χρησιµοποιώντας non-negative matrix factorization.

10 Προτεινόµενες µέθοδοι Μέθοδος σύνθεσης πολυφασµατικών δεδοµένων (ΙΚΟΝΟS). Σύνθεση απεικόνιση υπερφασµατικών δεδοµένων. Σύνθεση δεδοµένων νυχτερινής όρασης χρησιµοποιώντας non-negative matrix factorization. RGB representation using three bands Fusion result Group Group 2 Group 3 0 Spectral signatures of alunite (red line), buddingtonite (green line) and kaolinite (blue line)

11 Αξιολόγηση µεθόδων Η απόδοση των µεθόδων σύνθεσης αξιολογείται τις περισσότερες φορές υποκειµενικά µέσω οπτικής παρατήρησης από κάποιον ειδικό. Η αναπαραγωγή τέτοιων τεστ ή αξιολογήσεων είναι χρονοβόρα αλλά και η διαδικασία του τεστ δεν είναι σίγουρο ότι είναι πάντα η ίδια. Υπάρχει λοιπόν ανάγκη για αντικειµενικά κριτήρια (objective evaluation performance).

12 Υπάρχοντα κριτήρια Κριτήρια που έχουν αναπτυχθεί για ανάλυση εικόνας δεν είναι άµεσα εφαρµόσιµα. Κάποια που βασίζονται σε MSE δεν δίνουν αποτελέσµατα συµβατά µε την ανθρώπινη αντίληψη. ydeas και Petrovic έχουν προτείνει ένα κριτήριο βασισµένο σην πληροφορία που υπάρχει στις ακµές µιας εικόνας. Μειονέκτηµα δεν εξετάζεται η υπόλοιπη πληροφορία. Piella et. al. χρησιµοποίησαν ένα κριτήριο για ανάλυση εικόνας (Wang and Bovik). Μειονέκτηµα αναγκαίο να υπάρχει target image. Qu et. al. έχουν προτείνει ένα κριτήριο βασισµένο στην Θεωρία της Πληροφορίας. 2

13 Θεωρία Πληροφορίας (βασικές έννοιες) Η εντροπία αναπαριστά το συνολικό ποσό πληροφορίας H ( ) = p( x) log p( x) x Η υπό συνθήκη εντροπία δίνει το ποσό πληροφορίας µιας µεταβλητής Χ δεδοµένης της Υ H ( Y ) p( x, y) log p( x y) = x y Η αµοιβαία πληροφορία είναι η πληροφορία που µοιράζεται ανάµεσα σε δύο µεταβλητές H() H(Y) I( ; Y ) = x y p( x, y) log p( x, y) p( x) p( y) H( Y) I(;Y) H(Y ) H(,Y) 3

Η ίδια πληροφορία µπορεί να βρεθεί σε περισσότερες από µία αρχικές

14 Επικαλυπτόµενη πληροφορία Image Fusion Source Images Fusion Result Υψηλός βαθµός συσχέτισης ανάµεσα στις αρχικές εικόνες. Η ίδια πληροφορία µπορεί να βρεθεί σε περισσότερες από µία αρχικές εικόνες και περιγράφεται σαν επικαλυπτόµενη πληροφορία (overlapping information). 4

15 Κριτήριο Qu et al. 2 Fusion Process Y Overlapping or mutual information Source Images Fused Image Το προηγούµενο κριτήριο υπολογίζεται σαν άθροισµα όλων των αµοιβαίων πληροφοριών ανάµεσα στις αρχικές και στην τελική εικόνα που έχει προέλθει από σύνθεση. εν αντιµετωπίζεται το πρόβληµα της επικαλυπτόµενης πληροφορίας στις αρχικές εικόνες Χi. Qu = N i= I( i ; Y ) 5

16 Προτεινόµενο κριτήριο Θεωρούµε σαν i τις αρχικές εικόνες όπου i=,2,,n και N είναι ο αριθµός των αρχικών εικόνων. Y είναι η τελική ασπρόµαυρη εικόνα που έχει προέλθει από σύνθεση. Η κοινή πληροφορίας I(;Y) περιγράφει την πληροφορία που µεταφέρεται από την στην Y. Η υπό συνθήκη κοινή πληροφορία I(2;Y ) περιγράφει την πληροφορία που µεταφέρεται από την 2 στην Y δεδοµένης της. H( ) H( 2 ) H(Y) I( ;Y) I( 2 ;Y ) 6

17 Προτεινόµενο κριτήριο Η χρήση υπό συνθήκη αµοιβαίας πληροφορίας στην µορφή I( n; Y n,..., 2, ) εγγυάται ότι η επικαλυπτόµενη πληροφορία στις αρχικές εικόνες υπολογίζεται µόνο µία φορά. Το άθροισµα όλων των υπό συνθήκη πληροφοριών αναπαριστά το ολικό ποσό πληροφορία που µεταφέρεται από τις αρχικές εικόνες i στην τελική Y που προήλθε από σύνθεση, και ορίζεται σαν κοινή πληροφορία (common information) CI CI = I( N ; Y ) + I( i; Y i,..., ) i= 2 7

18 Προτεινόµενο κριτήριο Το προτεινόµενο Image Fusion Performance Measure (IFPM) ορίζεται ως CI IFPM = H (, 2,..., n IFPM παίρνει τιµές στην περιοχή [0,]. Η κοινή εντροπία H(, 2,, N) αναπαριστά το ολικό ποσό πληροφορίας που βρίσκεται στις αρχικές εικόνες. ) 8

19 9 Τρόπος υπολογισµού Ο πρώτος όρος του CI είναι Ο δεύτερος όρος Ο γενικός for ) ( ) ( ) ; ( = = n Y H H Y I 2 for ) ; ( ), ( ), ( ) ; ( = = n Y I Y H H Y I N n Y I Y I Y H H Y I n i i i n n n n 3,..., for ),..., ; ( ) ; ( ),...,, ( ),...,, ( ),,..., ; ( = = =

Natural colour composite (bands,2 and 3) Table : Spectral range of IKONOS data Band Number Spectral

20 Περιγραφή δεδοµένων Το ένα σετ δεδοµένων που χρησιµοποιήθηκαν προέρχονται από τον δορυφόρο IKONOS. Η εικόνα περιλαµβάνει µια οικιστική περιοχή, οδικό δίκτυο, πάρκο και κτίρια. Natural colour composite (bands,2 and 3) Table : Spectral range of IKONOS data Band Number Spectral Range (microns) (blue) (green) (red) (near infrared) Near infrared grayscale image (band 4)

21 Υπολογισµός του κριτηρίου Κάθε αρχική εικόνα i ή η τελική Y θεωρείται σαν µια τυχαία µεταβλητή µε pdf p(xi) or p(y). Pdfs µεγαλύτερης διάστασης απαιτούν και αντίστοιχα ιστογράµµατα υψηλότερης διάστασης. Στην περίπτωση των δεδοµένων IKONOS, τα ιστογράµµατα που υπολογίσθηκαν ήταν µέχρι 5 διαστάσεων µε 6 bins για κάθε διάσταση. Το συνολικό ποσό µνήµης που απαιτείται στην γενική περίπτωση είναι (b) N+ όπου b ο αριθµός των bins 2

Σύγκριση µεθόδων Τέσσερις διαφορετικές µέθοδοι συγκρίθηκαν µε

Objective performance evaluation IFPM value Method 0.

2434 Method : Averaging Method 2: PCA Το κριτήριο υποδεικνύει

22 Σύγκριση µεθόδων Τέσσερις διαφορετικές µέθοδοι συγκρίθηκαν µε το προτεινόµενο κριτήριο. Objective performance evaluation IFPM value Method Method Method Method Method : Averaging Method 2: PCA Το κριτήριο υποδεικνύει την µέθοδο 3 σαν καλύτερη. Η απόδοσή της είναι συγκρίσιµη µε PCA. Method 3: Wavelet-based Method 4: morphological-based 22

23 Σύγκριση µεθόδων IFPM Method Method Method Method MI Method Method Method Method

24 Σύγκριση IFPM και Qu Θεωρούµε δύο σετ δεδοµένων µε επικαλυπτόµενη πληροφορία. Το πρώτο Χ,Χ3 και το δεύτερο Χ,Χ,Χ3 Το IFPM δεν επηρεάζεται από την επικαλυπτόµενη πληροφορία. Οι δύο µέγιστες τιµές του Qu διαφέρουν 3% στην η περίπτωση και µόνο 4% στην 2η. Source images, and 3 Source images and 3 MI IFPM MI IFPM Method Method Method Method

25 Συµπεράσµατα Το προτεινόµενο κριτήριο µπορεί να χρησιµοποιηθεί για αντικειµενική σύγκριση µεθόδων σύνθεσης εικόνων. Αντιµετωπίζει το πρόβληµα της επικαλυπτόµενης πληροφορίας. Επιτρέπει την απευθείας σύγκριση µεθόδων καθώς δίνει τιµές στην περιοχή [0,]. Μελλοντικός στόχος είναι η επέκταση σε µεθόδους σύνθεσης που καταλήγουν σε έγχρωµη εικόνα. Ανάπτυξη προσεγγιστικών µεθόδων για την περίπτωση υπερφασµατικών δεδοµένων. 25

26 Σας ευχαριστώ για την προσοχή σας!!! Remote Sensing Europe 2004 Canary islands, 3-6 September

Σχετικά έγγραφα

ΑΡΧΕΣ ΤΗΛΕΠΙΣΚΟΠΗΣΗΣ (Y2204) Βασιλάκης Εµµανουήλ Λέκτορας Τηλεανίχνευσης

ΑΡΧΕΣ ΤΗΛΕΠΙΣΚΟΠΗΣΗΣ (Y2204) Βασιλάκης Εµµανουήλ Λέκτορας Τηλεανίχνευσης ΘΕΜΑΤΑ Τι είναι τηλεπισκόπηση Ιστορική εξέλιξη Συστήµατα παρατήρησης της Γης Στοιχεία Ηλεκτρο-Μαγνητικής Ακτινοβολίας Διακριτική