Digital Image Processing Πέτρος Καρβέλης pkarvelis@gmail.com Images taken from: R. Gonzalez and R. Woods. Digital Image Processing, Prentice Hall, 2008.
Εισαγωγικά Γενικά Πληροφορίες Στόχοι Θεωρία Εργαστήριο Βαθμολογία 70% (Θεωρία) + 30% (Ασκήσεις) ή 60% (Θεωρία) + 40% (Project) Εργαλεία Matlab Βιβλιογραφία Standing on the Shoulders of Giants N. Παπαμάρκος. Επεξεργασία Εικόνας, Εκδόσεις Γκιούρδας, 2010. R. Gonzalez and R. Woods. Ψηφιακή Επεξεργασία Εικόνας. Εκδόσεις Τζιόλα, 2010. R. Gonzalez and R. Woods. Digital Image Processing using Matlab. Πληροφορίες http://www.cs.uoi.gr/~pkarvel pkarvelis@gmail.com
Εισαγωγή Μπορούμε να παρακολουθήσουμε χρησιμοποιώντας τεχνικές επεξεργασίας εικόνας και χρήση κάμερας Ένα ανθρώπινο μάτι; Το ανθρώπινο χέρι; Ένα panda; Μια μηχανή ανωμάλου δρόμου; Ένα αυτοκίνητο από ένα ελικόπτερο; 3
Εισαγωγή Γιατί χρειάζεται η επεξεργασία εικόνας; 1. Αποδοτική αποθήκευση (συμπίεση εικόνων) 2. Αποδοτική μετάδοση εικόνων 3. Ανάλυση (εξαγωγή χαρακτηριστικών π.χ. από καρκίνο του μαστού) 4. Εξαγωγή συμπερασμάτων Τομείς Εφαρμογής Ιατρική Στρατιωτική Βιομηχανική Αστρονομία Βιολογία κ.α.
Εισαγωγή Ιστορία Επεξεργασία Εικόνας 1920 Μια από τις πρώτες εφαρμογές ήταν για τις ανάγκες της δημοσιογραφίας εφημερίδων Μια εικόνα μεταφέρθηκε με χρήση υποβρύχιου καλωδίου. Η μεταφορά έγινε μεταξύ Λονδίνου & Νέας Υόρκης μέσα σε 3 ώρες. Προηγουμένως ο χρόνος μεταφοράς της εικόνας ήταν μια εβδομάδα.
Μέσα του 1920 Εισαγωγή Ιστορία Επεξεργασία Εικόνας Βελτιώνοντας το σύστημα μεταφοράς μεταφέρθηκαν εικόνες καλύτερης ευκρίνειας. Τα 5 αρχικά επίπεδα του γκρί το 1929 αυξήθηκαν στα 15 επίπεδα.
Εισαγωγή Ιστορία Επεξεργασία Εικόνας 1960 Χρησιμοποιήθηκαν για πρώτη φορά υπολογιστές για να εκτελέσουν τεχνικές επεξεργασίας εικόνας. 1964: Υπολογιστές χρησιμοποιήθηκαν για την βελτίωση της ποιότητας των εικόνων που πάρθηκαν από το Ranger 7. Πρώτη εικόνα της σελήνης 31/7/1964, 9:09EDT
Εισαγωγή Ιστορία Επεξεργασία Εικόνας 1970 Αρχίζει να αξιοποιούνται τεχνικές επεξεργασίας εικόνας για ιατρικές εφαρμογές 1979: Nobel prize στον Sir Godfrey N. Hounsfield & Prof. Allan M. Cormack για την εφεύρεση της τομογραφίας Τομογραφία Εγκεφάλου 1-slice
Εισαγωγή Παραδείγματα - Βιομηχανίας Εντοπισμός διατάξεων που λείπουν. Εντοπισμός χαπιών που λείπουν Εντοπισμός μπουκαλιών που δεν είναι γεμάτα Εντοπισμός διάφανων πλαστικών με περισσότερες φυσαλίδες Επιθεώρηση δημητριακών για το χρώμα τους Επιθεώρηση ενδοφθάλμιου φακού
Εισαγωγή Παραδείγματα Εντοπισμός δακτυλικών αποτυπωμάτων Ανάγνωση χαρτονομισμάτων Εντοπισμός & Ανάγνωση Πινακίδων
Εισαγωγή Παραδείγματα Μετεωρολογία Δορυφορικές Εικόνες Συνδυάζονται με χωρικά δεδομένα Παρατήρηση δεδομένων
Εισαγωγή Απεικόνιση Μαγνητικού Συντονισμού - Magnetic Resonance Imaging MRI γονάτου σπονδυλικής στήλης MRI εγκεφάλου
Εισαγωγή Πτυχές της Επεξεργασίας Εικόνας Ενίσχυση της εικόνας Αφαίρεση θορύβου Ενίσχυση αντίθεσης Deblurring Ανάκτηση της εικόνας Ανάκτηση από μια βάση εικόνων Παραπλήσιων Εικόνων Κατάτμηση της Εικόνας Κατωφλίωση Εύρεση Εκμών Διαχωρισμός και Συνένωση Περιοχών Ταξινόμησης
Εισαγωγή Πτυχές της Επεξεργασίας Εικόνας Συμπίεση Απωλεστικές μέθοδοι π.χ. Joint Photographic Experts Group. jpg Μη απωλεστικές μέθοδοι συμπίεσης π.χ. Lempel-Zif-Welch Tiff, pdf, gif Αναγνώριση αντικειμένων tiff jpg Έγχρωμες εικόνες
Εισαγωγή Πώς λαμβάνεται μια ψηφιακή εικόνα 1. Το προς φωτογράφιση στοιχείο της σκηνής ανακλά την ενέργεια από μια πηγή φωτισμού. 2. Το σύστημα απεικόνισης συλλέγει την ενέργεια και την εστιάζει πάνω στο επίπεδο της εικόνας π.χ. προβολή της εικόνας πάνω στο εστιακό φακό. 3. Οι ψηφιακές διατάξεις μετατρέπουν το αναλογικό σήμα σε ψηφιακό.
Εισαγωγή Τι είναι μια Ψηφιακή Εικόνα; είναι μια δισδιάστατη συνάρτηση όπου οι μεταβλητές είναι οι χωρικές συντεταγμένες και το πλάτος της συνάρτησης σε κάθε ζεύγος ονομάζεται ένταση ή επίπεδο της κλίμακας γκρί σε της εικόνας σε αυτό το σημείο. I( x, y): Μπορεί να είναι : Δυαδική Μονοχρωματική Έγχρωμη
Εισαγωγή Μια Ψηφιακή Εικόνα γκρί επιπέδων διαστάσεων M N παριστάνεται από ένα διδιάστατο πίνακα όπου I( i, j) : i 1,..., M & j 1,..., N 0 Ii (,j) G1 με το G κάποια δύναμη του 2 G 2 m σύνηθες τιμή για το m 256 επίπεδα φωτεινότητας m 8
Εισαγωγή - Pixels Ουσιαστικά πρόκειται για έναν πίνακα μεγέθους MxN Pixel:PICTure ELement ένα στοιχείο του πίνακα. Πόσα pixel έχει μια εικόνα;
Εισαγωγή Pixels Γειτονιά Ένα εικονοστοιχείο p με συντεταγμένες 4-γείτονες Οριζόντιοι Κάθετοι pxy (, ) ( x 1, y),( x1, y) ( xy, 1),( xy, 1) 8-γείτονες Οριζόντιοι Κάθετοι Διαγώνιοι ( x 1, y),( x1, y) ( xy, 1),( xy, 1) ( x1, y1),( x1, y1) ( x1, y1),( x1, y1)
Εισαγωγή Pixels Distance Functions Αποστάσεις Εικονοστοιχείων Έστω τρία εικονοστοιχεία σε μια εικόνα pxy (, ), q(s, t),z(v, w) Τότε μια συνάρτηση απόστασης ορίζεται όταν ισχύουν Η Ευκλείδεια απόστασή τους ορίζεται: a) D(p,q) 0(D(p,q) 0, iff p q) b) D( p, q) D( q, p) c) D( p, z) D( p, q) D( q, z) D( pq, ) D( qz, ) D( pz, ) D( p, q) ( xs) ( yt) 2 2
Εισαγωγή Pixels Distance Functions Αποστάσεις Εικονοστοιχείων Απόσταση τετραγώνων (city block distance) D ( p, q) xs yt 4 Εικονοστοιχεία τα οποία απέχουν απόσταση D 4 από το σημείο (x,y) η οποία να είναι μικρότερη ή ίση από κάποια τιμή r σχηματίζει μια δομή διαμαντιού. D ( x, y) r 4 Για παράδειγμα τα εικονοστοιχεία με απόσταση D ( x, y) 2 4 Σχηματίζουν την ακόλουθη δομή:
Εισαγωγή Pixels Distance Functions Αποστάσεις Εικονοστοιχείων Απόσταση σκακιέρας (chessboard) Εικονοστοιχεία τα οποία απέχουν απόσταση D 8 από το σημείο (x,y) η οποία να είναι μικρότερη ή ίση από κάποια τιμή r σχηματίζει μια δομή τετραγώνου. Για παράδειγμα τα εικονοστοιχεία με απόσταση D ( p, q) max( xs, yt) 8 D ( x, y) r 8 D ( x, y) 2 8 Σχηματίζουν την ακόλουθη δομή:
Εισαγωγή Έγχρωμες Εικόνες Η περίπτωση των έγχρωμων εικόνων: Μια έγχρωμη εικόνα αποτελείται από τρείς επιμέρους εικόνες κάθε μια αποτελεί μια χρωματική συνιστώσα. Επομένως μια έγχρωμη εικόνα μεγέθους M N Συμβολίζεται από τρείς πίνακες I ( i, j) : i 1,..., M & j 1,..., N& c 1, 2,3, c με 0 I ( i,j) G1 c
Εισαγωγή Έγχρωμες Εικόνες Παράδειγμα έγχρωμης εικόνας Red Green Blue
Εισαγωγή - Έγχρωμες Εικόνες Παράδειγμα έγχρωμης εικόνας Red Green Blue
Εισαγωγή Βασικά Μεγέθη Πλήθος bits μιας εικόνας Έστω μια εικόνα μεγέθους και πλήθους αποχρώσεων M N G 2 m απαιτεί πλήθος bits b MNm Η διάσταση m ονομάζεται βάθος Bit (bit depth) και εκφράζει την χρωματική πληροφορία. Μεγαλύτερο bit depth σημαίνει περισσότερες διαθέσιμες αποχρώσεις.
Εισαγωγή Βασικά Μεγέθη Απαιτούμενος αριθμός bits μιας εικόνας 8bit A/A Τύπος Εικόνας Ν Μ m bits Bytes 1 Δυαδική 100 100 1 10.000 1250 2 Greyscale 100 100 8 80.000 10.000 3 Έγχρωμη 100 100 24 2400.000 30.000 4 Δυαδική 256 256 1 65.536 8.192 5 Greyscale 256 256 8 524.288 65.536 6 Έγχρωμη 256 256 24 1.572.864 196.608 7 Δυαδική 512 512 1 262.144 32.768 8 Greyscale 512 512 8 2.097.152 262.144 9 Έγχρωμη 512 512 24 6.291.456 786.432
Εισαγωγή Ανάλυση Εικόνας Ανάλυση Εικόνας Πόσο καλά μπορούμε να βλέπουμε τις λεπτομέρειες μιας εικόνας; Τύποι Ανάλυση Χωρική Ανάλυση Εντάσεως Χωρική Ανάλυση Ισούται με το πλήθος των pixel/inch ή dots per inch Παράδειγμα: Εικόνας 300dpi 300x300=90.000 pixel/inch 2 Εφημερίδα : 75dpi Περιοδικά : 133dpi Φυλλάδια : 175dpi
Εισαγωγή Χωρική Ανάλυση Κρατώντας το m σταθερό και μεταβάλλοντας το μέγεθος της εικόνας (Φαινόμενο σκακιού) 256x256 128x128 512x512 64x64 32x32
Εισαγωγή Χωρική Ανάλυση Κρατώντας το m σταθερό και μεταβάλλοντας το μέγεθος της εικόνας (Φαινόμενο σκακιού) 256x256 128x128 64x64 32x32 512x512
Εισαγωγή Ανάλυση Εντάσεως Κρατώντας το μέγεθος σταθερό (M,N) και μεταβάλλοντας το m. 256 128 16 8 64 32 4 2
Εισαγωγή Βαθμός Λεπτομέρειας εικόνας Χαμηλός Μέτριος Υψηλός
Εισαγωγή Πόση ανάλυση είναι αρκετή; Δεν υπάρχει πάντα η σωστή απάντηση. Εξαρτάται από τι υπάρχει στην εικόνα που εμείς θα θέλαμε να αναλύσουμε. Ερωτήσεις κλειδιά: Η εικόνα αισθητικά είναι καλή; Μπορείς να δεις αυτό που θες να βρεις στην εικόνα;
Εισαγωγή Ανάλυση Εικόνας Παράδειγμα Χαμηλή Υψηλή Ανάλυση Εικόνας Παράδειγμα Η εικόνα στα αριστερά είναι καλή για μια εφαρμογή που θα κατασκευάζαμε για το μέτρημα αμαξιών αλλά όχι για αναγνώριση πινακίδας. Η εικόνα στα δεξιά είναι καλή για την αναγνώριση πινακίδας.
Εισαγωγή - Επίπεδα Bits Κάθε εικόνα της οποία η φωτεινότητα αποθηκεύεται σε m bits μπορεί να διασπαστεί σε m Δυαδικές εικόνες που κάθε μια αντιστοιχεί σε ένα συγκεκριμένο bit. Μια εικόνα I, μπορεί να διασπαστεί σε m επιμέρους δυαδικές εικόνες. I, 1,..., m n n Όπου κάθε εικονοστοιχείο της n-οστής εικόνας I n 1, bitn[ I( i, j)] 1 (, i j) 0, ά
Εισαγωγή Επίπεδα bits Παράδειγμα
Εισαγωγή Αρχεία Εικόνων Κυριότεροι Τύποι Αρχείων Ψηφιακών Εικόνων TIFF: Tagged Image File Format Μη απωλεστική συμπίεση GIF: Graphics Interchange Format Χρησιμοποίηση παλέτας χρωμάτων Συνηθισμένο για λογότυπα, σχήματα, κ.α. PNG: Portable Network Graphics GIF + διάφανο background
Εισαγωγή Αρχεία Εικόνων Κυριότεροι Τύποι Αρχείων Ψηφιακών Εικόνων JPEG: Joint Photographic Experts Group Απωλεστική συμπίεση BMP: σχεδιάστηκε από την Microsoft Ασυμπίεστα αρχεία Τελευταία επιλογή για αποθήκευση JPEG 2000 Νεότερη έκδοση του JPEG Ίδιος λόγος συμπίεσης με τον JPEG αλλά καλύτερη ποιότητα εικόνας Χρησιμοποίηση Wavelets Κυματίδια.
Εισαγωγή Matlab Λίγα στοιχεία MATrix LABoratory: Ένα από τα κυριότερα εργαλεία για επιστημονικούς υπολογισμούς. Αναπτύσσεται από το 1984 και προσφέρει μια τεράστια γκάμα από έτοιμες συναρτήσεις σε διάφορα επιστημονικά πεδία Επεξεργασία Σήματος / Εικόνας Μηχανική Μάθηση Στατιστική Νευρωνικά Δίκτυα Βελτιστοποίησης
Εισαγωγή Matlab Λίγα στοιχεία Δημιουργία Πινάκων
Εισαγωγή Matlab Λίγα στοιχεία Δημιουργία Πινάκων
Εισαγωγή Matlab Λίγα στοιχεία Συναρτήσεις zeros zeros(m,n): Δίνει έναν πίνακα με μηδενικά μεγέθους m,n τύπου double Zeros(m,n,p):Επιστρέφει έναν πίνακα με μηδενικά μεγέθους mxnxp Ones ones(m,n): επιστρέφει έναν πίνακα με μονάδες μεγέθος mxn. Size(A) Size(A): επιστρέφει το μέγεθος ενός πίνακα.