Advances in Digital Imaging and Computer Vision Lecture and Lab 8 th lecture Κώστας Μαριάς Αναπληρωτής Καθηγητής Επεξεργασίας Εικόνας 1
Τοπολογία Εικόνας Image Topology 2
Basic Βασικές σχέσεις ανάμεσα σε pixels Γείτονες του pixel p: 4-γείτονες Ν 4 (p) Είναι το σύνολο από τους Τέσσερεις οριζόντιους και κάθετους: (x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1) (x - 1, y) (x, y - 1) (x,y) (x, y + 1) (x + 1, y) στήλες γραμμές 3
Basic Βασικές σχέσεις ανάμεσα σε pixels Γείτονες του pixel p: 4- διαγώνιοι γείτονες Ν D (p) Είναι το σύνολο από τους Τέσσερεις διαγώνιους: (x + 1, y + 1), (x + 1, y - 1), (x - 1, y + 1), (x - 1, y - 1) (x - 1, y - 1) (x - 1, y + 1) (x,y) στήλες (x + 1, y - 1) (x + 1, y + 1) γραμμές 4
Basic Βασικές σχέσεις ανάμεσα σε pixels Γείτονες του pixel p: 8-γείτονες N 8 (p)=n 4 (p)+ Ν D (p) στήλες (x - 1, y - 1) (x - 1, y) (x - 1, y + 1) (x, y - 1) (x,y) (x, y + 1) (x + 1, y - 1) (x + 1, y) (x + 1, y + 1) γραμμές Σε όλες τις περιπτώσεις αν το (x,y) είναι στο περίγραμμα της εικόνας οι γείτονες ενδέχεται να είναι έξω από την εικόνα!!! 5
Αποστάσεις Για pixels p, q, and z, με συντεταγμένες (x, y), (s, t), και (v, w), αντίστοιχα, το D είναι μια μετρική απόστασης αν: D(p, q) 0, (D(p, q) = 0 if p = q), D(p, q) = D(q, p) D(p, z) D(p, q) + D(q, z). 6
Ευκλείδεια απόσταση: Αποστάσεις De(p, q) = [(x - s) 2 + (y - t) 2 ] 1/2 D 4 απόσταση: D 4 (p, q) = Ix s I + I y t I 2 2 1 2 2 1 p 1 2 γραμμές 2 1 2 2 στήλες p:(x, y) σταθερό, κέντρο q: (s, t) μετακινούμενο D 4 =1: 4-γείτονες του p 7
D 8 απόσταση: Αποστάσεις D 8 (p, q) = max{ Ix s I, I y t I } στήλες 2 2 2 2 2 2 1 1 1 2 2 1 p 1 2 2 1 1 1 2 2 2 2 2 2 p:(x, y) σταθερό, κέντρο q: (s, t) μετακινούμενο D 8 =1: 8-γείτονες του p γραμμές 8
Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Adjacency, Connectivity, Regions, and Boundaries Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Ορίζουμε ως V το σύνολο των τιμών εντάσεων εικόνας για να ορίσουμε γειτνίαση. Στην δυαδική εικόνα (binary) V = {1} οπότε μιλάμε για γειτνίαση pixels που έχουν τιμή 1. Σε 8bit εικόνα το V ={0..255}. Basic 9
Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Η Γειτνίαση ορίζεται (a) 4-γειτνίαση. 2 pixels p και q με τιμές από το V έχουν 4-γειτνίαση αν το q ανήκει στο σύνολο Ν 4 (p) (b) 8-γειτνίαση. 2 pixels p και q με τιμές από το V έχουν 8-γειτνίαση αν το q ανήκει στο σύνολο Ν 8 (p) (c) m-γειτνίαση(mixed adjacency). 2 pixels p και q με τιμές από το V έχουν m-γειτνίαση αν (i) q ανήκει στο Ν 4 (p), ή (ii) q ανήκει στο Ν D (p) και η τομή Ν 4 (p) Ν 4 (q) δεν έχει pixels με τιμές στο V. Basic 10
Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Η m-γειτνίαση μας βοηθάει να ορίζουμε μονοσήμαντα σχέσεις pixels ώστε να αποφεύγεται η ασάφεια που προκύπτει από π.χ. την 8- γειτνίαση. Το παράδειγμα δείχνει αυτήν την ιδιότητα: Ν4(p) Ν4(q) Basic q p 8-γειτνίαση m-γειτνίαση 1)Το q ΔΕΝ ανήκει στο Ν 4 (p) 2)Το Ν 4 (p) Ν 4 (q) ΔΕΝ είναι κενό σύνολο στο V={1} p,q δεν είναι m-γείτονες 11
Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Ένα ψηφιακό μονοπάτι από το pixel p (x,y) στο q(s,t) ορίζεται ως η ακολουθία ξεχωριστών pixels με συντεταγμένες (x 0, y 0 ), (x 1, y 1 ),, (x n, y n ) αν: (x 0, y 0 ) = (x, y) και (x n, y n ) = (s, t) Κάθε ζεύγος pixels (x i, y i ) και (x i-1, y i-1 ) έχουν γειτνίαση για i=1..n. Το μήκος του μονοπατιού είναι n Αν (x 0, y 0 ) = (x n, y n ) το μονοπάτι είναι κλειστό Μπορούμε να ορίσουμε 4-,8-, ή m-μονοπάτια ανάλογα με το πώς ορίζουμε την γειτνίαση. Basic 12
Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Μπορούμε να ορίσουμε 4-,8- μονοπάτια, ή m- μονοπάτια ανάλογα με το πώς ορίζουμε την γειτνίαση. Basic 8-μονοπάτι m-μονοπάτι 13
Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Basic Έστω ότι το S είναι ένα υποσύνολο των pixels μιας εικόνας. Δύο pixels p και q are ορίζονται ως συνδεδεμένα στο S αν υπάρχει ένα μονοπάτι αναμεσά τους με pixels που ανήκουν αποκλειστικά στο S. Για οποιοδήποτε pixel p του S, το σύνολο των pixels στο S που είναι συνδεμένα μαζί του ονομάζεται συνδεδεμένο συστατικό (connected component) του S. Αν το S έχει μόνο ένα συνδεδεμένο συστατικό ονομάζεται συνδεδεμένο σύνολο (connected set). 14
Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Έστω ότι R είναι ένα υποσύνολο των pixels μιας εικόνας. Το R είναι μια περιοχή (region) της εικόνας αν είναι ένα συνδεδεμένο σύνολο (connected set). Δύο περιοχές είναι γειτονικές αν η ένωσή τους σχηματίζει ένα συνδεδεμένο σύνολο Διαφορετικά οι περιοχές είναι ξεχωριστές (disjoint). Για να ορίσουμε όλα τα παραπάνω πρέπει να έχουμε ορίσει πρώτα αν μιλάμε για 4-,8- γειτνίαση περιοχών. Basic 15
Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Στο παρακάτω παράδειγμα αριστερά οι δύο περιοχές που έχουν 4-γειτνίαση δεν γειτονεύουν. Αν χρησιμοποιήσουμε όμως 8-γειτνίαση (δεξιά) οι περιοχές γειτονεύουν γιατί η ένωσή τους είναι ένα συνδεδεμένο σύνολο! 16
Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Σχετικά με το περίγραμμα πρέπει και πάλι να ορίσουμε αν αναφερόμαστε σε 4-,8-, m- γειτνίαση. Για να αποφύγουμε ασάφεια (βλέπε παρακάτω σχήμα) χρησιμοποιούμε 8-γειτνίαση/συνδεσιμότητα για σημεία μιας περιοχής και του background. Το pixel αυτό ΔΕΝ ανήκει στο περίγραμμα της περιοχής με τιμές 1 αν χρησιμοποιήσουμε 4- γειτνίαση με το φόντο! 17
Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Ο προηγούμενος ορισμός είναι το εσωτερικό περίγραμμα σε αντίθεση με το εξωτερικό που είναι το αντίστοιχο του background. Αυτό είναι σημαντικό για ανάπτυξη αλγορίθμων που εντοπίζουν το περίγραμμα της εικόνας γιατί το περίγραμμα είναι πάντα ένα κλειστό μονοπάτι! 0 0 0 0 1 0 0 1 0 0 1 0 0 1 0 0 0 0 Το εσωτερικό περίγραμμα της περιοχής εικόνας με τιμές 1 είναι η ίδια περιοχή ΑΛΛΑ δεν είναι κλειστό μονοπάτι!!! Το εξωτερικό όμως είναι!!! 18
Σήμανση συνδεδεμένων περιοχών Η σήμανση των συνδεδεμένων συστατικών/περιοχών είναι μια αλγοριθμική εφαρμογή της θεωρίας γράφων, όπου τα υποσύνολα των συνδεδεμένων στοιχείων είναι μοναδικά επισημασμένα με μια ετικέτα. Η σήμανση συνδεδεμένων περιοχών δεν πρέπει να συγχέεται με την κατάτμηση εικόνας. By No machine-readable author provided. Wereon assumed (based on copyright claims). - No machine-readable source provided. Own work assumed (based on copyright claims)., GFDL, https://commons.wikimedia.org/w/index.php?curid=6493559 https://en.wikipedia.org/wiki/connected-component_labeling 19
Σήμανση συνδεδεμένων περιοχών Η επισήμανση συνδεδεμένων περιοχών χρησιμοποιείται στην τεχνητή όραση για την ανίχνευση των συνδεδεμένων περιοχών σε δυαδικές ψηφιακές εικόνες, αν και μπορεί επίσης να γίνει σε έγχρωμες εικόνες και δεδομένα μεγαλύτερων διαστάσεων. Τις τελευταίες δύο δεκαετίες έχουν προταθεί πολλές νέες προσεγγίσεις αλλά σχεδόν κανένας από τους αλγορίθμους αυτούς δεν συγκρίθηκε με άλλους στα ίδια δεδομένα. Πρόσφατα ο YACCLAB είναι ένα παράδειγμα πλαισίου ανοικτού κώδικα C++ που συλλέγει, τρέχει και δοκιμάζει αλγορίθμους επισήμανσης συνδεδεμένων στοιχείων. 20
Αλγόριθμος για Σήμανση συνδεδεμένων περιοχών Θα παρουσιάσουμε έναν αλγόριθμο για επισήμανση (labelling) των 4- συστατικών μιας δυαδικής εικόνας. Στον αλγόριθμο ορίζουμε 4-γειτνίαση μόνο 90 πάνω (u) και αριστερά (k) για κάθε pixel (p), όπως φαίνεται στο διπλανό σχήμα. Τα pixels ( ) αποτελούν το προσκήνιο (=1 σε δυαδικές εικόνες) της εικόνας και τα κενά (=0 σε δυαδικές εικόνες) στο παρασκήνιο. k u p 21
Αλγόριθμος για Σήμανση συνδεδεμένων περιοχών 1. Σκανάρουμε την εικόνα από το πάνω αριστερά pixel (1,1). Ας υποθέσουμε ότι έχουμε φτάσει στο p: Αν ανήκει στο παρασκήνιο προχωράμε στο επόμενο. Αλλιώς εξετάζουμε τι είναι τα u,k. Αν και τα δύο ανήκουν στο παρασκήνιο θέτουμε μια νέα ετικέτα στο p. Αν μόνο ένα από τα u,k ανήκει στο προσκήνιο τότε το p κληρονομεί την ετικέτα του. Αν και τα δύο u,k ανήκουν στο προσκήνιο και έχουν την ίδια ετικέτα τότε το p κληρονομεί την ετικέτα αυτή. Αν και τα δύο u,k ανήκουν στο προσκήνιο και έχουν διαφορετικές ετικέτες τότε το p κληρονομεί μια από τις δυο και ο αλγόριθμος σημειώνει ότι οι ετικέτες των u,k είναι ισοδύναμες μιας και είναι κοινοί 4-γείτονες του p. 2. Στο τέλος του σκαναρίσματος όλα τα pixel του παρασκηνίου έχουν ταξινομηθεί αλλά αρκετές ετικέτες έχουν επισημανθεί ως ισοδύναμες. Ομαδοποιούμε τις ισοδύναμες ετικέτες και αναθέτουμε νέες ετικέτες σε κάθε ομάδα. 3. Κάνουμε ένα δεύτερο πέρασμα στην εικόνα αλλάζοντας την ετικέτα των pixel προσκηνίου με αυτή που ανατέθηκε στην ισοδύναμη ομάδα ετικετών του στο προηγούμενο βήμα. k u p 22
Αλγόριθμος για Χαρακτηρισμό συνδεδεμένων περιοχών Θα παρουσιάσουμε έναν αλγόριθμο για επισήμανση (labelling) των 4- συστατικών μιας δυαδικής εικόνας. Ξεκινάμε να εξηγούμε τον αλγόριθμο με ένα παράδειγμα στην διπλανή εικόνα. Τα pixels ( ) αποτελούν το προσκήνιο της εικόνας και τα κενά το παρασκήνιο. 23
Αλγόριθμος για Χαρακτηρισμό συνδεδεμένων περιοχών 1. Σκανάρουμε την εικόνα από το pixel (1,1) δηλαδή πάνω αριστερά. 2. Αν ανήκει στο παρασκήνιο (κενό) προχωράμε στο επόμενο pixel (1,2). ΟΙ 4- γείτονες (πάνω-αριστερά) είναι είτε παρασκήνιο είτε ανύπαρκτοι οπότε αναθέτουμε την ετικέτα 1. Προχωράμε στη δεύτερη γραμμή και για τους ίδιους λόγους το (2,1) παίρνει την ετικέτα 2. Το pixel (2,2) έχει δύο 4-γείτονες προσκηνίου με διαφορετικές όμως ετικέτες. Του δίνουμε την ετικέτα 1 και σημειώνουμε ότι οι ετικέτες 1, 2 είναι ισοδύναμες. 1 2 1 24
Αλγόριθμος για Χαρακτηρισμό συνδεδεμένων περιοχών Το επόμενο pixel προσκηνίου στην δεύτερη γραμμή είναι το (2,4) το οποίο δεν έχει (πανωαριστερά) 4-γείτονες οπότε και του αναθέτουμε μια καινούρια κλάση 3. Στην Τρίτη γραμμή το πρώτο pixel παρασκηνίου είναι το (3,3), το οποίο για τον ίδιο λόγο αποκτά μια νέα ετικέτα την 4. Το διπλανό του pixel (3,4) έχει δύο 4-γείτονες προσκηνίου με διαφορετικές όμως ετικέτες. Του δίνουμε την ετικέτα 3 και σημειώνουμε ότι οι ετικέτες 3, 4 είναι ισοδύναμες. 1 2 1 3 4 3 25
Αλγόριθμος για Χαρακτηρισμό συνδεδεμένων περιοχών Το επόμενο pixel προσκηνίου στην τέταρτη γραμμή είναι το (4,2) το οποίο δεν έχει (πανωαριστερά) 4-γείτονες οπότε και του αναθέτουμε μια καινούρια κλάση 5. Το διπλανό του pixel (4,3) έχει δύο 4-γείτονες προσκηνίου με διαφορετικές όμως ετικέτες. Του δίνουμε την ετικέτα 4 και σημειώνουμε ότι οι ετικέτες 4, 5 είναι ισοδύναμες. Συμπληρώνοντας το πρώτο βήμα έχουμε 2 ισοδύναμες ομάδες ετικετών: {1,2} και {3,4,5} Δίνουμε την νέα ετικέτα 1 στην πρώτη ομάδα ετικετών {1,2} και 2 στην δεύτερη {3,4,5} 1 2 1 3 5 4 4 3 26
Αλγόριθμος για Χαρακτηρισμό συνδεδεμένων περιοχών Το τελευταίο βήμα είναι να περάσουμε ξανά από όλα τα pixels με ετικέτα 1 ή 2 (πρώτη ομάδα ετικετών {1,2})και να τους αναθέσουμε νέα ετικέτα 1 και σε αυτά με ετικέτα 3 ή 4 ή 5 (δεύτερη ομάδα {3,4,5}),την νέα ετικέτα 2. 1 2 1 3 5 4 4 3 1 1 1 2 2 2 2 2 Με αυτόν τον τρόπο ολοκληρώνεται ο αλγόριθμος 27
Αλγόριθμος για Χαρακτηρισμό συνδεδεμένων περιοχών Η επέκταση του αλγορίθμου για επισήμανση (labelling) των 8-συστατικών μιας δυαδικής εικόνας είναι εύκολη. Στον αλγόριθμο θα ορίσουμε 8-γειτνίαση μόνο α)90 πάνω και αριστερά (k,u) και β)διαγώνια πάνω αριστερά και διαγώνια πάνω δεξιά (d,e), του pixel (p) όπως φαίνεται στο διπλανό σχήμα. d k u p e Τα pixels ( ) αποτελούν το προσκήνιο (=1 σε δυαδικές εικόνες) της εικόνας και τα κενά (=0 σε δυαδικές εικόνες) στο παρασκήνιο. 28
Αλγόριθμος για Χαρακτηρισμό συνδεδεμένων περιοχών 1. Σκανάρουμε την εικόνα από το πάνω αριστερά pixel (1,1). Ας υποθέσουμε ότι έχουμε φτάσει στο p: Αν ανήκει στο παρασκήνιο προχωράμε στο επόμενο. Αλλιώς εξετάζουμε τι είναι τα u,k, d,e. Αν όλα ανήκουν στο παρασκήνιο θέτουμε μια νέα κατηγορία/ετικέτα στο p. d u e Αν μόνο ένα από αυτά ανήκει στο προσκήνιο τότε το p κληρονομεί την ετικέτα του. k p Αν δύο ή περισσότερα ανήκουν στο προσκήνιο τότε το p κληρονομεί μια από αυτές και ο αλγόριθμος σημειώνει ότι οι ετικέτες των u,k, d,e είναι ισοδύναμες μιας και είναι κοινοί 8-γείτονες του p. 2. Στο τέλος του σκαναρίσματος όλα τα pixel του παρασκηνίου έχουν ταξινομηθεί αλλά αρκετές ετικέτες έχουν επισημανθεί ως ισοδύναμες. Ομαδοποιούμε τις ισοδύναμες ετικέτες και αναθέτουμε νέες ετικέτες σε κάθε ομάδα. 3. Κάνουμε ένα δεύτερο πέρασμα στην εικόνα αλλάζοντας την ετικέτα των pixel προσκηνίου με αυτή που ανατέθηκε στην ισοδύναμη ομάδα ετικετών του στο προηγούμενο βήμα. 29
Άσκηση 1 Να υλοποιήσετε στην Matlab τον αλγόριθμο χαρακτηρισμού συνδεδεμένων περιοχών για γειτνίαση 4 και 8 (όπως ορίστηκε στο μάθημα). 30
References An Introduction to Digital Image Processing with MATLAB by Alasdair McAndrew Digital Image Processing, Rafael C. Gonzalez & Richard E. Woods, Addison-Wesley, 2002 https://en.wikipedia.org/wiki/connected-component_labeling 31
Thank you for your attention! 32
Advances in Digital Imaging and Computer Vision Lecture and Lab 9 th lecture Κώστας Μαριάς Αναπληρωτής Καθηγητής Επεξεργασίας Εικόνας 33
Ανάλυση Σχήματος 34
Περιγραφή και Αναγνώριση Σχήματος Η αναγνώριση σχήματος είναι ένα σημαντικό πρόβλημα στην κατανόηση της εικόνας και στην τεχνητή όραση. Οι εφαρμογές αναγνώρισης σχήματος συναντώνται σε πολλούς τομείς, όπως η ιατρική, η εξερεύνηση του διαστήματος, η κατασκευή, η άμυνα κ.λπ. Η αναγνώριση σχήματος περιλαμβάνει τρία βασικά ζητήματα, την αναπαράσταση σχήματος, τη μέτρηση ομοιότητας σχήματος και την ευρετηρίαση σχήματος. Ανάμεσά τους, η περιγραφή σχήματος είναι το πιο σημαντικό ζήτημα στην ανάκτηση σχήματος. Dr. Azzam Talal Sleit, A Chain Code Approach for Recognizing Basic Shapes 35
Περιγραφή 2Δ σχημάτων 2Δ σχήματα μπορούν να περιγραφούν με διάφορους τρόπους όπως: Το περίγραμμα του σχήματος και χαρακτηριστικά όπως το μήκος του περιγράμματος και το πόσο συμπαγές είναι το σχήμα (compactness). Με χαρακτηριστικά σχήματος είτε του περιγράμματος (περίμετρος, γωνίες), είτε συγκεκριμένων περιοχών του σχήματος. Η υπόθεση εργασίας είναι ότι κάθε σχήμα έχει μοναδικά χαρακτηριστικά που θα επιτρέψουν την μονοσήμαντη περιγραφή του. 36
Αλυσιδωτοί κώδικες Οι αλυσιδωτοί κωδικοί χρησιμοποιούνται για να περιγράψουν το όριο (περίγραμμα) ενός αντικειμένου σε μια ψηφιακή εικόνα με βάση μια ακολουθία από συνδεδεμένα εικονοστοιχεία (π.χ. 4ή 8-γειτνίαση) που παριστάνεται με κομμάτια ευθειών με κατευθύνσεις. Οι αλυσιδωτοί κωδικοί περιγράφουν τις μεταβάσεις στις κατευθύνσεις που ακολουθούμε για να διαβούμε το περίγραμμα από την αρχή μέχρι το τέλος του. Στις ψηφιακές εικόνες υποθέτουμε ότι έχουμε περίγραμμα πάχους ενός pixel. 37
Αλυσιδωτοί κώδικες Για 4-γειτνίαση το περίγραμμα διαβαίνεται αριστερόστροφα χρησιμοποιώντας το σχήμα αρίθμησης που φαίνεται στην εικόνα: 1 2 0 3 Ν 4 Για 8-γειτνίαση το περίγραμμα διαβαίνεται αριστερόστροφα χρησιμοποιώντας το σχήμα αρίθμησης που φαίνεται στην εικόνα: 3 2 1 4 0 5 7 6 Ν 8 38
Αλυσιδωτοί κώδικες: Παράδειγμα 1 2 0 3 Αρχή Αλυσιδωτός κώδικας: 3 3 3 3 3 3 0 0 0 0 0 1 1 1 1 1 2 2 1 2 2 2 39
Αλυσιδωτοί κώδικες Οι αλυσωτοί κώδικες χρησιμοποιούνται ευρέως επειδή παρέχουν αναπαράσταση αντικειμένων που μπορούν να χρησιμοποιηθούν για αναγνώριση. Παρέχουν επίσης καλή συμπίεση επειδή κάθε κομμάτι της «αλυσίδας» μπορεί να κωδικοποιείται με 2 ή 3 bit. Μπορούν να υπολογιστούν από αυτούς ορισμένα χαρακτηριστικά όπως το εμβαδόν και η περίμετρος. 40
Αλυσιδωτοί κώδικες Ένα άλλο πλεονέκτημα τους είναι ότι είναι αμετάβλητοι στις μετατοπίσεις (translation invariant) Δεν είναι όμως αμετάβλητοι στις περιστροφές και στην κλιμάκωση κάτι που είναι απαραίτητο για μια καλή μέθοδος περιγραφής σχήματος. Υπάρχουν όμως τρόποι να γίνουν αμετάβλητοι στην περιστροφή και την επιλογή του αρχικού σημείου όπως θα περιγράψουμε παρακάτω. 41
Αλυσιδωτοί κώδικες: Κανονικοποίηση Ο αλυσιδωτός κώδικας ενός ορίου εξαρτάται από το σημείο εκκίνησης. Ωστόσο, ο κώδικας μπορεί να κανονικοποιηθεί σε σχέση με το σημείο εκκίνησης με μια απλή διαδικασία: Απλά αντιμετωπίζουμε τον αλυσιδωτό κώδικα ως κυκλική ακολουθία αριθμών και επαναπροσδιορίζουμε το σημείο αρχής του κώδικα έτσι ώστε η νέα ακολουθία αριθμών να σχηματίζει έναν ακέραιο αριθμό ελάχιστου μεγέθους. 42
Αλυσιδωτοί κώδικες: Μεταβολές λόγο αρχικού σημείου Αλυσιδωτός κώδικας 1 3 3 3 3 3 3 0 0 0 0 0 1 1 1 1 1 2 2 1 2 2 2 0 0 0 0 0 1 1 1 1 1 2 2 1 2 2 2 3 3 3 3 3 3 Αρχή Αλυσιδωτός κώδικας 2 2 2 2 3 3 3 3 3 3 0 0 0 0 0 1 1 1 1 1 2 2 1 0 0 0 0 0 1 1 1 1 1 2 2 1 2 2 2 3 3 3 3 3 3 Για να διορθώσουμε την μεταβολή λόγω διαφορετικού σημείου εκκίνησης θεωρήσαμε τον αλυσιδωτό κώδικα ως κυκλική ακολουθία κατεύθυνσης αριθμών και επαναπροσδιορίσαμε την αρχή του, έτσι ώστε η ακολουθία αριθμών να σχηματίζει έναν ακέραιο αριθμό ελάχιστου μεγέθους. 43
Αλυσιδωτοί κώδικες: Αριθμός Σχήματος Για να κανονικοποιήσουμε τον αλυσιδωτό κώδικα ως προς την περιστροφή, σχηματίζουμε την πρώτη διαφορά υπολογίζοντας όμως και τη μετάβαση μεταξύ του τελευταίου και του πρώτου στοιχείου της αλυσίδας. Προσθέτουμε λοιπόν το πρώτο ψηφίο στο τέλος και μετά υπολογίζουμε την πρώτη διαφορά του κώδικα. Η διαφορά αυτή επιτυγχάνεται με τον υπολογισμό του αριθμού βημάτων (κινούμενοι αριστερόστροφα) που διαχωρίζουν δύο γειτονικά στοιχεία του κώδικα. Όπως φαίνεται στο σχήμα για να βρούμε π.χ. την πρώτη διαφορά του κώδικά 1 0, πρέπει να πάμε αριστερόστροφα από το 1 στο 0, οπότε χρειαζόμαστε 3 βήματα. Η πρώτη διαφορά του κώδικα 1 0 είναι λοιπόν ίση με 3. 44
Αλυσιδωτοί κώδικες: Αριθμός Σχήματος Για να κανονικοποιήσουμε τον αλυσιδωτό κώδικα ως προς την περιστροφή, σχηματίζουμε την πρώτη διαφορά υπολογίζοντας όμως και τη μετάβαση μεταξύ του τελευταίου και του πρώτου στοιχείου της αλυσίδας. Προσθέτουμε λοιπόν το πρώτο ψηφίο στο τέλος και μετά υπολογίζουμε την πρώτη διαφορά του κώδικα. Η πρώτη διαφορά υπολογίζεται ως ο αριθμός βημάτων (κινούμενοι αριστερόστροφα) που διαχωρίζουν δύο γειτονικά στοιχεία του κώδικα π.χ: 1 0 1 0 3 3 2 2 1 0 1 0 3 3 2 2 1 3 1 3 3 0 3 0 3 Η Πρώτη Διαφορά του κώδικα είναι αμετάβλητη στην περιστροφή! Αν κανονικοποιήσουμε και ως προς το σημείο εκκίνησης παίρνουμε: 0 3 0 3 3 1 3 3 Αυτός είναι ο Αριθμός Σχήματος που είναι αμετάβλητος σε περιστροφή και αρχικό σημείο! 45
Αλυσιδωτοί κώδικες: Μεταβολές λόγο αρχικού σημείου και περιστροφής 90 Αρχή Αλυσιδωτός κώδικας 1 3 3 3 3 3 3 0 0 0 0 0 1 1 2 2 2 1 1 1 1 2 2 0 0 0 0 0 1 1 2 2 2 1 1 1 1 2 2 3 3 3 3 3 3 Αλυσιδωτός κώδικας 2 1 2 2 3 3 3 2 2 2 2 3 3 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 1 1 1 1 1 2 2 3 3 3 2 2 2 2 3 3 Σε αυτό το παράδειγμα έχουμε ένα περίγραμμα L (εικόνα δεξιά) το οποίο περιστρέφεται 90 (εικόνα δεξιά). Διορθώσαμε την μεταβολή λόγω διαφορετικού σημείου εκκίνησης ανασχηματίζοντας τους κώδικες κυκλικά ώστε να έχουμε ακέραιο αριθμό ελάχιστου μεγέθους. Αυτό όμως δεν εξισώνει τους κώδικες! Πρέπει να διορθώσουμε για περιστροφή! 46
Αλυσιδωτοί κώδικες: Μεταβολές λόγο αρχικού σημείου και περιστροφής 90 1 η περίπτωση: Διορθώνω τον κώδικα 2 πρώτα ως προς το σημείο εκκίνησης και μετά βρίσκω τις πρώτες διαφορές για να κανονικοποιήσω ως προς την περιστροφή του σχήματος. 2 η περίπτωση: Διορθώνω τον κώδικα 2 πρώτα ως προς την περιστροφή και μετά ως προς το σημείο εκκίνησης. 3 η περίπτωση. Έχω αλλάξει το σημείο εκκίνησης και του πρώτου σχήματος ( L ). Βρίσκω τις πρώτες διαφορές και μετά κανονικοποιηώ ως προς το σημείο εκκίνησης. 47
Αλυσιδωτοί κώδικες: Μεταβολές λόγο αρχικού σημείου και περιστροφής 90 (1 η Περίπτωση) Αλυσιδωτός κώδικας 1 Αρχή 3 3 3 3 3 3 0 0 0 0 0 1 1 2 2 2 1 1 1 1 2 2 3 3 3 3 3 3 0 0 0 0 0 1 1 2 2 2 1 1 1 1 2 2 3 0 0 0 0 0 1 0 0 0 0 1 0 1 0 0 3 0 0 0 1 0 1 Αλυσιδωτός κώδικας 2 1 2 2 3 3 3 2 2 2 2 3 3 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 1 1 1 1 1 2 2 3 3 3 2 2 2 2 3 3 0 0 0 0 0 0 1 1 1 1 1 2 2 3 3 3 2 2 2 2 3 3 0 0 0 0 0 0 1 0 0 0 0 1 0 1 0 0 3 0 0 0 1 0 1 Οι αριθμοί σχήματος διορθώνουν για την περιστροφή και το σημείο εκκίνησης! 48
Αλυσιδωτοί κώδικες: Μεταβολές λόγο αρχικού σημείου και περιστροφής 90 (2 η Περίπτωση) Αλυσιδωτός κώδικας 1 Αρχή 3 3 3 3 3 3 0 0 0 0 0 1 1 2 2 2 1 1 1 1 2 2 3 3 3 3 3 3 0 0 0 0 0 1 1 2 2 2 1 1 1 1 2 2 3 0 0 0 0 0 1 0 0 0 0 1 0 1 0 0 3 0 0 0 1 0 1 Αλυσιδωτός κώδικας 2 1 2 2 3 3 3 2 2 2 2 3 3 0 0 0 0 0 0 1 1 1 1 1 2 2 3 3 3 2 2 2 2 3 3 0 0 0 0 0 0 1 1 1 1 1 1 0 1 0 0 3 0 0 0 1 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 1 0 1 0 0 3 0 0 0 1 0 1 Οι αριθμοί σχήματος διορθώνουν για την περιστροφή και το σημείο εκκίνησης! 49
Αλυσιδωτοί κώδικες: Μεταβολές λόγο αρχικού σημείου και περιστροφής 90 (3 η Περίπτωση) Αλυσιδωτός κώδικας 1 Αρχή 3 3 0 0 0 0 0 1 1 2 2 2 1 1 1 1 2 2 3 3 3 3 3 3 0 0 0 0 0 1 1 2 2 2 1 1 1 1 2 2 3 3 3 3 3 0 1 0 0 0 0 1 0 1 0 0 3 0 0 0 1 0 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 1 0 1 0 0 3 0 0 0 1 0 1 Αλυσιδωτός κώδικας 2 1 2 2 3 3 3 2 2 2 2 3 3 0 0 0 0 0 0 1 1 1 1 1 2 2 3 3 3 2 2 2 2 3 3 0 0 0 0 0 0 1 1 1 1 1 1 0 1 0 0 3 0 0 0 1 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 1 0 1 0 0 3 0 0 0 1 0 1 Οι αριθμοί σχήματος διορθώνουν για την περιστροφή και το σημείο εκκίνησης! 50
Υπογραφή Σχήματος Η Υπογραφή ενός σχήματος είναι μια 1Δ αντιπροσώπευση του περιγράμματος που μπορεί να δημιουργηθεί με διάφορους τρόπους. Ένας από τους πιο δημοφιλείς είναι να υπολογίσουμε και να κάνουμε γραφική παράσταση της απόστασης από κάθε εικονοστοιχείο του περιγράμματος στο κέντρο ως συνάρτηση της γωνίας. Ο σκοπός είναι μια πιο απλή αναπαράσταση του σχήματος του αρχικού περιγράμματος. 51
Υπογραφή Σχήματος 2Α Υπογραφές 2 σημάτων δείχνοντας την απόσταση από το κέντρο κάθε σχήματος σε κάθε pixel (r(θ)), ως συνάρτηση της γωνίας θ. Στην περίπτωση του κύκλου η απόσταση αυτή είναι σταθερή. Από το βιβλίο: Digital Image Processing, Rafael C.Gonzalez & Richard E. Woods, Addison-Wesley, 2002 52
Υπογραφή Σχήματος Με τον τρόπο που περιγράψαμε μπορούμε να παράγουμε υπογραφές που είναι αμετάβλητες σε μετατόπιση αλλά όχι σε περιστροφή και κλιμάκωση. Για κανονικοποίηση ως προς την περιστροφή πρέπει να βρεθεί τρόπος να επιλέγουμε το ίδιο σημείο εκκίνησης ανεξάρτητα από την περιστροφή. Ένας τρόπος είναι να επιλέγουμε πάντα το πιο μακρινό σημείο από το κέντρο ως σημείο εκκίνησης. Τέλος μπορούμε να υπολογίσουμε τον αλυσιδωτό κώδικα και μετά τον αριθμό σχήματος όπως πριν. Digital Image Processing, Rafael C.Gonzalez & Richard E. Woods, Addison-Wesley, 2002 53
Μήκος και Διάμετρος Περιγράμματος Ένα απλό χαρακτηριστικό είναι το μήκος του περιγράμματος (π.χ. σε pixels). Για ένα περίγραμμα που παριστάνεται με αλυσιδωτό κώδικα αρκεί να πολλαπλασιάσουμε με 1 τα οριζόντια και κάθετα χαρακτηριστικά και με 2 όλα τα διαγώνια στοιχεία. Με άθροιση των παραπάνω παίρνουμε το μήκος του περιγράμματος. Η διάμετρος ενός περιγράμματος B ορίζεται ως: Diam B = max[d(pi, pj)] i,j Όπου D είναι ένα μέτρο απόστασης (όπως ορίστηκε στο προηγούμενο μάθημα π.χ. D 4 ή D 8 ) και pi, pj είναι τα σημεία στο περίγραμμα. 54
Μήκος και Διάμετρος Περιγράμματος Η τιμή της διαμέτρου και ο προσανατολισμός του τμήματος γραμμής που συνδέει τα δύο ακραία σημεία που αποτελούν τη διάμετρο (αυτή η γραμμή ονομάζεται κύριος άξονας του περιγράμματος) είναι χρήσιμα χαρακτηριστικά για να περιγραφεί το περίγραμμα. Ο δευτερεύων άξονας ενός περιγράμματος ορίζεται ως η γραμμή κάθετη προς τον κύριο άξονα και με τέτοιο μήκος ώστε ένα παραλληλόγραμμο που διέρχεται από τα εξωτερικά τέσσερα σημεία της τομής του περιγράμματος με τους δύο άξονες να περικλείει εντελώς το περίγραμμα/σχήμα. Το παραλληλόγραμμο που μόλις περιγράψαμε ονομάζεται βασικό ορθογώνιο και η αναλογία του κύριου προς τον δευτερεύοντα άξονα ονομάζεται εκκεντρικότητα του περιγράμματος. Αυτό είναι επίσης ένα χρήσιμο περιγραφικό στοιχείο. 55
Μήκος και Διάμετρος Περιγράμματος κύριος άξονας εκκεντρικότητα του περιγράμματος = κύριος αξονας δευτερεύοντας αξονας βασικό ορθογώνιο δευτερεύων άξονας 56
Στατιστικές Ροπές Το σχήμα τμημάτων του περιγράμματος ή περιοχών εικόνας μπορεί να περιγραφεί ποσοτικά με τη χρήση στατιστικών ροπών (moments), όπως είναι η μέση τιμή, η διακύμανση και οι ροπές υψηλότερης τάξης. Οι στατιστικές ροπές χρησιμοποιούνται για να υπολογίσουμε το Εμβαδόν, τη θέση (π.χ. κέντρο), άλλα και πιο περίπλοκα χαρακτηριστικά όπως η επιμήκυνση. Για μια εικόνα Α, όπου η φωτεινότητα κάθε εικονοστοιχείου υποδηλώνεται από A(i, j), η στατιστική ροπή της τάξης k + l δίνεται από: m i j A( i, j) kl i j k l 57
Στατιστικές Ροπές Η εξαγωγή χαρακτηριστικών από το τμηματοποιημένο περίγραμμα ή περιοχή εικόνας συμπεριλαμβάνει: Το εμβαδό μιας δυαδικής εικόνας που μπορεί να υπολογιστεί προσθέτοντας απλώς τις τιμές των εικονοστοιχείων στη γειτονιά (4- ή 8- γειτνίαση). Περίμετρος που λαμβάνεται προσθέτοντας τα εικονοστειχεία του περιγράμματος. Το compactness που είναι μια βασική μέτρηση που σχετίζεται με την κυκλικότητα της περιοχής. Οι στατιστικές ροπές μηδενικής και πρώτης τάξης δίνουν το εμβαδόν και το κέντρο βάρους. 58
59 i j i j i j i j l k kl j i A m j i A j i A j i m j i l k j i A j i m ), ( ), ( 1 1 ), ( 1 1, 0 0, ), ( 00 0 0 00 0 0 i j j i A ό ), ( Το εμβαδόν δίνεται από την στατιστική ροπή m 00 Στατιστικές Ροπές: Εμβαδόν A(i, j)
Στατιστικές Ροπές: Θέση Τη θέση του αντικειμένου αρχικά την προσδιορίζουμε από το κέντρο βάρους το οποί θα το υπολογίσουμε στο επόμενο παράδειγμα με στατιστικές ροπές μηδενικής και πρώτης τάξης και θα το επαληθεύσουμε με απλή λογική 60
Στατιστικές Ροπές: Θέση Αντικειμένου Θα προσδιρίσουμε το εικονοστοιχείο στο κέντρο του σχήματος. Η θέση του δίνει τη θέση του αντικειμένου. Το σημείο αυτό ονομάζεται κέντρο και συμβολίζεται με (i c,j c ). i c είναι ο μέσος όρος κατά τις γραμμές i από τα λευκά pixels. j c είναι ο μέσος όρος κατά τις στήλες j από τα λευκά pixels. i 1 2 3 4 5 6 7 j 1 2 3 4 5 6 7 61
Στατιστικές Ροπές: Θέση κέντρου Οι συντεταγμένες του κέντρου (i c,j c ) μπορούν να υπολογιστούν χρησιμοποιώντας ροπές μηδενικής m 00 και πρώτης τάξης, m 01 : j c = m 01 / m 00 m m k m j c kl 00 01 i i i i i j j j 0, l 1 j j i i k A 0 j l i, j j A A j 1 i, j A A i, j i, j i, j i j j A i, j 62
Στατιστικές Ροπές: Θέση κέντρου Για να υπολογίσουμε το j c αναπαριστούμε γραφικά τον αριθμό pixels σε κάθε στήλη της εικόνας. i 1 2 3 4 5 6 7 j 1 2 3 4 5 6 7 #pixels j 1 2 3 4 5 6 7 63
#pixels Στατιστικές Ροπές: Θέση κέντρου j c δίνεται από τη σχέση Εμβαδόν= Ολικό άθροισμα λευκών pixels j c j i i j j A A i, j i, j j 1 2 3 4 5 6 7 j j j c c c 2 2 3 4 47 5 4 (4 12 28 20 12) /19 4 6 2 ό 64
Στατιστικές Ροπές: Θέση κέντρου Οι συντεταγμένες του κέντρου (i c,j c ) μπορούν να υπολογιστούν χρησιμοποιώντας ροπές μηδενικής m 00, και πρώτης τάξης, m 10. i c = m 10 / m 00 m m k 1, l m i c kl 00 10 i i i i i j 0 j j j j i i k A 1 A j i, j j i A i, j l 0 i, j A A i, j i, j i j i A i, j 65
Στατιστικές Ροπές: Θέση κέντρου i 1 2 3 4 5 6 7 j 1 2 3 4 5 6 7 i 1 2 3 4 5 6 7 #pixels 66
67 4 3.68 19 7 6 15 20 15 6 1 1 7 1 6 3 5 5 4 5 3 3 2 1 1 c c c i i ό i i c = δίνεται από τη σχέση Εμβαδόν= Ολικό άθροισμα λευκών pixels #pixels 1 2 3 4 5 6 7 i Στατιστικές Ροπές: Θέση κέντρου i j j i i j j i c A A i i,,
Στατιστικές Ροπές: Θέση κέντρου (i c,j c )=(4,4) i 1 2 3 4 5 6 7 j 1 2 3 4 5 6 7 68
Περιγραφή συγκεκριμένων περιοχών Είναι κοινή πρακτική να συνδυάζουμε χαρακτηριστικά και του περιγράμματος και τοπικών περιοχών. Το εμβαδόν μιας περιοχής ορίζεται ως ο αριθμός των εικονοστοιχείων στην περιοχή. Η περίμετρος μιας περιοχής είναι το μήκος των ορίων της. Αν και η περιοχή και η περίμετρος χρησιμοποιούνται μερικές φορές ως περιγραφείς, εφαρμόζονται κυρίως σε καταστάσεις όπου το μέγεθος των περιοχών ενδιαφέροντος είναι αμετάβλητο. Μια πιο συχνή χρήση αυτών των δύο περιγραφικών στοιχείων είναι η μέτρηση του πόσο συμπαγής είναι η περιοχή (compactness) που ορίζεται ως: Περίμετρος 2 Εμβαδόν 69
Περιγραφή συγκεκριμένων περιοχών Ένας ελαφρώς διαφορετικός περιγραφέας του πόσο συμπαγής είναι μια περιοχή είναι το ποσοστό κυκλικότητας, ο οποίος ορίζεται ως ο λόγος της περιοχής μιας περιοχής προς την περιοχή ενός κύκλου (το πιο συμπαγές σχήμα) που έχει την ίδια περίμετρο. Η περιοχή ενός κύκλου με μήκος περιμέτρου P είναι P 2 /4π. Οπότε το ποσοστό κυκλικότητας δίνεται από τη σχέση: R c = 4πA P 2 Όπου Α είναι το εμβαδόν της περιοχής ενδιαφέροντος και Ρ είναι το μήκος της περιμέτρου του. Το R c είναι 1 για κυκλική περιοχή και π/4 για τετράγωνη. 70
Περιγραφή συγκεκριμένων περιοχών Το μέτρο compactness είναι ένα μέτρο χωρίς διάσταση και συνεπώς είναι αμετάβλητο στις ομοιόμορφες μεταβολές της κλίμακας και αλλαγές στον προσανατολισμό, αγνοώντας, βέβαια, υπολογιστικά σφάλματα που μπορεί να εισαχθούν κατά την αλλαγή μεγέθους και στην περιστροφή μιας περιοχής ψηφιακής εικόνας. Άλλα απλά μέτρα που χρησιμοποιούνται ως περιγραφείς περιοχής εικόνας περιλαμβάνουν το μέσο και το μέσο όρο των επιπέδων έντασης, τις ελάχιστες και μέγιστες τιμές έντασης και τον αριθμό των εικονοστοιχείων με τιμές πάνω και κάτω από το μέσο όρο. 71
References An Introduction to Digital Image Processing with MATLAB by Alasdair McAndrew Digital Image Processing, Rafael C. Gonzalez & Richard E. Woods, Addison-Wesley, 2002 https://en.wikipedia.org/wiki/connected-component_labeling 72
Αλυσιδωτοί κώδικες: Μεταβολές λόγο αρχικού σημείου και περιστροφής 90 (1 η Περίπτωση) Αλυσιδωτός κώδικας 1 Αρχή 3 3 3 3 3 3 0 0 0 1 1 2 1 1 1 1 2 2 3 3 3 3 3 3 0 0 0 1 1 2 1 1 1 1 2 2 3 0 0 0 0 0 1 0 0 1 0 1 3 0 0 0 1 0 1 Αλυσιδωτός κώδικας 2 1 2 2 3 2 2 2 2 3 3 0 0 0 0 0 0 1 1 1 2 2 3 2 2 2 2 3 3 0 0 0 0 0 0 1 1 1 1 0 1 3 0 0 0 1 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 1 0 1 3 0 0 0 1 0 1 Οι αριθμοί σχήματος διορθώνουν για την περιστροφή και το σημείο εκκίνησης! 73
74
Advances in Digital Imaging and Computer Vision Lecture and Lab 10 th lecture Κώστας Μαριάς Αναπληρωτής Καθηγητής Επεξεργασίας Εικόνας 75
Αναφορές An Introduction to Digital Image Processing with Matlab, Alasdair McAndrew N. Papamarkos, Ψηφιακή Επεξεργασία και Ανάλυση Εικόνας Έκδοση 3η+ 2015 An Introduction to Digital Image Processing with MATLAB by Alasdair McAndrew Digital Image Processing, Rafael C.Gonzalez & Richard E. Woods, Addison-Wesley, 3rd edition 76
Περιεχόμενα Διάλεξης Μορφολογία και Μορφολογική ανάλυση εικόνας Βασικές έννοιες Μορφολογίας Παραδείγματα Matlab Για την καλύτερη παρακολούθηση έχουμε 3 ειδών διαφάνειες: Βασική πληροφορία (για προπτυχιακούς), Παραδείγματα Matlab για προπτυχιακούς και προχωρημένα ερευνητικά θέματα (research) Basic Matlab Research 77
Μορφολογία Η Μορφολογία στη βιολογία πραγματεύεται τη μορφή και δομή των ζώων και των φυτών. Στην ΨΕΕ χρησιμοποιούμε τον ίδιο όρο στο πλαίσιο της μαθηματικής μορφολογίας ως εργαλείο για την εξαγωγή χαρακτηριστικών που έχουν να κάνουν με το σχήμα/μορφή της εικόνας. 78
Μορφολογία Μορφολογία, ή μαθηματική μορφολογία είναι ένας κλάδος της επεξεργασίας εικόνας η οποία είναι ιδιαίτερα χρήσιμη για την ανάλυση σχήματος σε εικόνες. Παρά το γεγονός ότι η μορφολογία μπορεί να εφαρμοστεί σε εικόνες γκρι κλίμακας, θα ασχοληθούμε εδώ μόνο με μορφολογία σε δυαδικές εικόνες. Το Matlab έχει πολλά εργαλεία για δυαδική μορφολογίας στην εικόνα εργαλειοθήκη επεξεργασίας τα περισσότερα από τα οποία μπορούν να χρησιμοποιηθούν και για εικόνες γκρίζου. 79
Βασικές έννοιες Μορφολογίας Για τη συνέχεια της διάλεξης θα ασχοληθούμε μόνο με δυαδικές εικόνες των οποίων οι τιμές των εικονοστοιχέιων είναι στο δισδιάστατο χώρο ακεραίων Ζ 2. Κάθε τέτοια εικόνα θεωρείτε π.χ. ως ένα σύνολο συντεταγμένων των pixels λευκού χρώματος. 80
Βασικές έννοιες Μορφολογίας Η ανάκλαση ενός συνόλου Β (που περιέχει τις συντεταγμένες ενός αντικειμένου στην εικόνα), ορίζετε ως: Β = {( x, y) (x, y) B} Δηλαδή το Β θα είναι το σύνολο των σημείων του Β όπου οι συντεταγμένες κάθε (x, y) έχουν μετασχηματιστεί σε ( x, y) 81
Βασικές έννοιες Μορφολογίας Β Β 82
Βασικές έννοιες Μορφολογίας Η μετατόπιση του Β (που περιέχει τις συντεταγμένες ενός αντικειμένου στην εικόνα) ως προς ένα σημείο z = z 1, z 2 ορίζεται ως: Β z = { x + z 1, y + z 2 : (x, y) B} Β Β z z = (2,2) 83
Μορφολογία: Δομικά Στοιχεία (Structuring Elements-SE) Δομικά Στοιχεία SE ορίζονται ως μικρά σύνολα (υπο-εικόνες) που βοηθούν με την εφαρμογή μεθόδων μορφολογίας την ανάλυση σχήματος της εικόνας. Πρώτη σειρά: Παραδείγματα Δομικών Στοιχείων Δεύτερη σειρά: Δομικά Στοιχεία μετατρέπονται σε ορθογώνιους πίνακες. Οι κουκίδες υποδηλώνουν τα κέντρα των SE. 84
Μορφολογία: Συστολή Για δύο σύνολα Α,Β του χώρου Ζ 2 η συστολή(erosion) ορίζεται ως: Α Β = z B z A} Με απλά λόγια είναι το σύνολο όλων των σημείων z για τα οποία όταν μετατοπίζουμε το σύνολο Β κατά z, όλο το Β περιέχεται στο Α. Το Β υποθέτουμε ότι είναι δομικό στοιχείο Η συστολή του σκούρου μπλε τετραγώνου με τον δίσκο, δίνει το ελαφρύ-μπλέ τετράγωνο. https://en.wikipedia.org/wiki/mathematical_morphology 85
Μορφολογία: Συστολή Α Β = z B z A} Έστω ότι το Β είναι δομικό στοιχείο: Β = 1,0, 0, 1, 0,0, 0,1, 1,0 Αυτό το δομικό στοιχείο-σταυρός χωράει ολόκληρο στην εικόνα μόνο για τρεις μετατοπίσεις, όπως φαίνεται στο διπλανό σχήμα. Αυτές οι μετατοπίσεις (z) του Β είναι (3,4), (5,3) και (5,4) αντίστοιχα, οπότε το σύνολο αυτό ορίζει και τη συστολή Α Β Η Συστολή συρρικνώνει την εικόνα και συνήθως σπάει κομμάτια της σε μικρότερα. 86
Συστολή Α με Β a) A set (each shaded square is a member of the set). (b) A structuring element. (c) The set padded with background elements to form a rectangular array and provide a background border. (d) Structuring element as a rectangular array. (e) Set processed by the structuring element. 87
Εξηγώντας τη συστολή (a) Set (b) Square structuring element, (c) Erosion of by shown shaded. (d) Elongated structuring element. (e) Erosion of by using this element. The dotted border in (c) and (e) is the boundary of set A, shown only for reference. 88
Μορφολογία: Διαστολή Για δύο σύνολα Α,Β του χώρου Ζ 2 η διαστολή(dilation) ορίζεται ως: Α Β = { A z για καθε z Β } Με απλά λόγια είναι η ένωση όλων των σημείων που προκύπτουν από την μετατόπιση του Α για κάθε στοιχείο z του Β {το Β υποθέτουμε ότι είναι δομικό στοιχείο} Η διαστολή του σκούρο μπλε τετραγώνου από ένα δίσκο, έχει ως αποτέλεσμα το ανοιχτό μπλε τετράγωνο με στρογγυλεμένες γωνίες. https://en.wikipedia.org/wiki/mathematical_morphology 89
Α Β = { A z για καθε z Β } Έστω ότι το Β είναι δομικό στοιχείο: Β = 0,0, 1,1, 1,1, 1, 1, 1, 1 Η διαστολή είναι: Α Β=(A) (1,1) (A)( 1,1) (A) (1,-1) (A)( 1, 1) Μορφολογία: Διαστολή Μετατοπίζουμε δηλ. το Α κάθε φορά σύμφωνα με ένα από τα στοιχεία του Β και με την ένωση όλων αυτών των μετατοπίσεων προκύπτει το Α Β Ουσιαστικά η διαστολή μπορεί να υπολογιστεί αντικαθιστώντας κάθε σημείο (x,y) του Α με ένα αντίγραφο του Β κεντραρισμένο ώστε το (0,0) του B να συμπίπτει με το (x,y). Η Διαστολή διευρύνει την εικόνα και συνήθως ενώνει κομμάτια της! 90
Παράδειγμα Συστολής-Διαστολής σε Matlab #1 t=imread('text.gif'); se=ones(2); td=imdilate(t,se); te=imerode(t,se); figure subplot(1,3,1),imshow(t,[]), title('original image'); subplot(1,3,2),imshow(td,[]), title('dilated image'); subplot(1,3,3),imshow(te,[]), title('eroded image'); 91
Παράδειγμα Συστολής-Διαστολής σε Matlab#2 c=imread('circbw.tif'); se=ones(3); cd=imdilate(c,se); ce=imerode(c,se); figure subplot(1,3,1),imshow(c,[]), title('original image'); subplot(1,3,2),imshow(cd,[]), title('dilated image'); subplot(1,3,3),imshow(ce,[]), title('eroded image'); 92
93
Δοκιμάστε διάφορες παραλλαγές με διαφορετικά SE ->Σταυρό ->Κύκλο A=zeros(100); A(30:50, 30:50)=1; figure, imshow(a) SE = strel('diamond',2) Ad=imdilate(A,SE); figure, imshow(ad-a) 94
Μορφολογική ανάλυση με matlab BW = zeros(9,10); BW(4:6,4:7) = 1; SE = strel('square',3); BW2 = imdilate(bw,se); figure, imshow(bw) figure, imshow(bw2) 'arbitrary', 'square', 'diamond', 'rectangle', 'octagon', 'line', 'pair', 'periodicline', 'disk', 'ball %e.g. SE = strel('diamond',2) 95
Άνοιγμα και Κλείσιμο Το άνοιγμα ενός συνόλου Α από το δομικό στοιχείο Β ορίζεται ως: Α Β = Α Β Β Είναι δηλαδή η Συστολή του Α με το SE Β και στη συνέχεια η διαστολή του αποτελέσματος από το Β. Με εντελώς ανάλογο τρόπο ορίζεται το κλείσιμο του συνόλου Α από το δομικό στοιχείο Β: Α Β = Α Β Β Το κλείσιμο είναι η Διαστολή του Α από το Β και στη συνέχεια συστολή του αποτελέσματος από το Β. 96
Άνοιγμα και Κλείσιμο Το άνοιγμα του σκούρο μπλε τετραγώνου από ένα δίσκο, έχει ως αποτέλεσμα το ανοιχτό μπλε τετράγωνο με στρογγυλές γωνίες. Με άλλα λόγια το άνοιγμα είναι το σύνολο των μετατοπίσεων του δομικού στοιχείου Β μέσα στην εικόνα Α. Στην περίπτωση του τετραγώνου της πλευράς 10 και ενός δίσκου ακτίνας 2 ως δομικού στοιχείου, το άνοιγμα είναι ένα τετράγωνο της πλευράς 10 με στρογγυλεμένες γωνίες, όπου η ακτίνα γωνίας είναι 2 https://en.wikipedia.org/wiki/mathematical_morphology 97
Άνοιγμα και Κλείσιμο Το κλείσιμο του σκούρου μπλε σχήματος (ένωση δύο τετραγώνων) από ένα δίσκο, έχει ως αποτέλεσμα την ένωση του σκούρου μπλε σχήματος και των γαλαζοπράσινων περιοχών. https://en.wikipedia.org/wiki/mathematical_morphology 98
Βασικοί αλγόριθμοι μορφολογίας Εξαγωγή περιγράμματος Το περίγραμμα β(α) του Α δίνεται από τη σχέση: β Α = Α (Α Β) Δηλαδή από το Α αφαιρούμε το αποτέλεσμα της συστολής του Α με το SE Β. Δημιουργείστε μια δυαδική εικόνα σε matlab (π.χ. ένα άσπρο τετράγωνο ή κύκλο σε μαύρο background) και στη συνέχεια βρείτε το περίγραμμα με μορφολογία εικόνας! 99
Βασικοί αλγόριθμοι μορφολογίας Α είναι η εικόνα και Β το SE τότε το περίγραμμα της Α μπορεί να οριστεί ως: 100
Εσωτερικό περίγραμμα rice=imread('rice.png'); r=im2bw(rice); sq=ones(3); re=imerode(r,sq); r_int=r-re; subplot(1,2,1),imshow(r) subplot(1,2,2),imshow(r_int) 101
Εξωτερικό και μορφολογικό περίγραμμα rice=imread('rice.png'); r=im2bw(rice); sq=ones(3); rd=imdilate(r,sq); re=imerode(r,sq); r_ext=rd-r; r_morph=rd-re; figure subplot(1,3,1),imshow(r) subplot(1,3,2),imshow(r_ext) subplot(1,3,3), imshow(r_morph) 102
Εξωτερικό και μορφολογικό περίγραμμα 103
Morphology Application in noise removal Έστω ότι η εικόνα Α είναι μολυσμένη με θόρυβο (π.χ. η εικόνα.). Η απομάκρυνση θορύβου (μικρών περιοχών pixels) γίνεται με άνοιγμα και αμέσως μετα κλείσιμο, όπως δίνεται από τη σχέση: Ι NR =(Α Β) Β 104
Morphology Application in noise removal rice=imread('rice.png'); r=im2bw(rice); sq=ones(3); cf1=imclose(imopen(r,sq),sq); cr=[0 1 0;1 1 1;0 1 0]; cf2=imclose(imopen(r,cr),cr); figure subplot(1,3,1), imshow(r) subplot(1,3,2), imshow(cf1) subplot(1,3,3), imshow(cf2) Δοκιμάστε το με 2 Δομικά στοιχεία α) τετράγωνο3x3 και ένα σταυρό 3x3 105
Morphology Application in noise removal 106
Εύρεση Σκελετού σχήματος - skeletonization Μια σημαντική προσέγγιση για την απεικόνιση του δομικού σχήματος μιας επίπεδης περιοχής είναι να το μειώσουμε-ανάγουμε σε ένα γράφημα. Αυτή η μείωση μπορεί να επιτευχθεί με τον υπολογισμό του σκελετού της περιοχής μέσω ενός αλγόριθμου αραίωσης (που ονομάζεται επίσης σκελετοποίηση). Οι διαδικασίες αραίωση διαδραματίζουν κεντρικό ρόλο σε ένα ευρύ φάσμα προβλημάτων στην επεξεργασία εικόνας, π.χ.αυτοματοποιημένη επιθεώρηση των τυπωμένων κυκλωμάτων. 107
Εύρεση Σκελετού σχήματος - skeletonization Ο σκελετός μιας περιοχής μπορεί να οριστεί μέσω του μετασχηματισμού μέσου άξονα (MAT) που προτείνεται από τον Blum* Το MAT μιας περιοχής R με περίγραμμα B έχει ως εξής. Για κάθε σημείο p του R βρίσκουμε τον πλησιέστερο γείτονά του στο B. Στην περίπτωση που το p έχει περισσότερους από έναν τέτοιο γείτονα, λέγεται ότι ανήκει στον μέσο άξονα (σκελετό) του R. *Blum, H. [1967]. A Transformation for Extracting New Descriptors of Shape, In Models for the Perception of Speech and Visual Form,Wathen- Dunn,W. (ed.), MIT Press, Cambridge, Mass. 108
Εύρεση Σκελετού σχήματος - skeletonization Το MAT μιας περιοχής έχει έναν διαισθητικό ορισμό βασισμένο στη λεγόμενη "έννοια της πυρκαγιάς-λιβάδι." Θεωρήστε μια περιοχή εικόνας ως λιβάδι ομοιόμορφου, ξηρού γρασιδιού και υποθέστε ότι μια φωτιά ανάβει κατά μήκος των συνόρων της. Όλα τα μέτωπα πυρκαγιάς θα προχωρήσουν μέσα στην περιοχή με την ίδια ταχύτητα. Το MAT της περιοχής είναι το σύνολο των σημείων όπου φτάνουν ταυτόχρονα περισσότερα από ένα μέτωπα της φωτιάς. 109
Εύρεση Σκελετού σχήματος - skeletonization Η υλοποίηση που θα παρουσιάσουμε είναι σύμφωνα με το βιβλίο An Introduction to Digital Image Processing with MATLAB του Alasdair McAndrew. Εδώ χρησιμοποιούμε τη σύμβαση ότι μια ακολουθία k συστολών με το ίδιο δομικό στοιχείο Β συμβολίζεται ως Α kβ. Συνεχίζουμε όπως στον πίνακα μέχρι το άνοιγμα Α kβ Β να είναι κενό. Ο σκελετός δίνεται από την ένωση όλων των συνόλων διαφορών. 110
Εύρεση Σκελετού σχήματος - skeletonization 111
Thank you for your attention! 112