Οπτική αναγνώριση και παρακολούθηση αντικειµένων µε εξαγωγή χαρακτηριστικών σχήµατος σε περιβάλλον κίνησης ϱοµπότ

Transcript

1 Αριστοτέλειο Πανεπιστήµιο Θεσσαλονίκης Πολυτεχνική Σχολή Τµήµα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών ιπλωµατική Εργασία Οπτική αναγνώριση και παρακολούθηση αντικειµένων µε εξαγωγή χαρακτηριστικών σχήµατος σε περιβάλλον κίνησης ϱοµπότ Σκολαρίκης Μιχαήλ Επιβλέποντες Καθηγητές: Πέτρου Λουκάς, Ντελόπουλος Αναστάσιος Θεσσαλονίκη, 2011

2

3 ΑΠΟΠΟΙΗΣΗ ΕΥΘΥΝΗΣ/DISCLAIMER «Η έγκριση της παρούσης διπλωµατικής από το Τµήµα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών της Πολυτεχνικής Σχολής του Αριστοτελείου Πανεπιστη- µίου Θεσσαλονίκης, δεν υποδηλώνει αποδοχή των γνωµών των συγγραφέων» (N.5343/1932, Άρθρο 202, Παρ. 2) ΠΝΕΥΜΑΤΙΚΗ Ι ΙΟΚΤΗΣΙΑ/COPYRIGHT 2011 Σκολαρίκης Σ. Μιχαήλ. All rights reserved. Τα περιεχόµενα της παρούσας διπλωµατικής αποτελούν πνευµατική ιδιοκτησία του συγγραφέα και διέπονται από τις διεθνείς διατάξεις περί πνευµατικής ιδιοκτησίας, µε εξαίρεση τα ϱητώς αναγνωρισµένα δικαιώµατα τρίτων. Συνεπώς, απαγορεύεται ϱητά η αναπαραγωγή, αναδηµοσίευση, αντιγραφή, αποθήκευση, πώληση, µετάδοση, διανοµή, έκδοση, εκτέλεση, ϕόρτωση (download), µετάφραση, τροποποίηση µε οποιονδήποτε τρόπο, τµη- µατικά ή περιληπτικά, χωρίς τη γραπτή συναίνεση των συγγραφέων.

4

5 Περίληψη Μια από τις µεγαλύτερες και συνεχώς εξελισσόµενες περιοχές της επιστήµης των υπολογιστών είναι η Υπολογιστική Οραση, η οποία αποτελεί το συγκερασµό των περιοχών της Τεχνητής Νοηµοσύνης και της Επεξεργασίας Εικόνας και στοχεύει στη δηµιουργία έξυπνων συστηµάτων για την ανάκτηση πληροφοριών από εικόνες. Μία εκδήλωση µε ϑέµα τα ϱοµποτικά συστήµατα και τις εφαρµογές τεχνητής νοηµοσύνης, είναι ο παγκόσµιος διαγωνισµός ϱοµποτικής RoboCup. Ο διαγωνισµός αυτός, προκαλεί τους διαγωνιζόµενους να υλοποιήσουν ευφυή συστήµατα ϱοµπότ για την επίτευξη κάποιων δοκιµασιών. Υπάρχουν διάφορες κατηγορίες διαγωνισ- µάτων, όπως είναι το ϱοµποτικό ποδόσφαιρο (RoboCupSoccer), o διαγωνισµός ϱοµπότ διάσωσης (RoboCupRescue) και ο διαγωνισµός ϱοµποτικών οικιακών υπηρετών (RoboCup@Home). Η οµάδα ϱοµποτικής PANDORA, του τµήµατος Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών του ΑΠΘ, συµµετείχε τον Ιούνιο του 2011 στον διαγωνισµό RoboCup στην Κωνσταντινούπολη, στην κατηγορία RoboCupRescue. Στόχος της οµάδας ήταν να ϐρει ενδείξεις Ϲωής µέσα στα υποτιθέµενα χαλάσµατα της πίστας. Η ϱοµποτική πλατφόρµα που κατασκευάστηκε, σχεδιάστηκε για να λειτουργεί αυτόνοµα, χωρίς να χρειάζεται χειριστής για την πλοήγηση του ϱοµπότ. Το ϱοµπότ αντιλαµβανόταν το περιβάλλον γύρω του µε ένα σύνολο αισϑητήρων που περιελάµ- ϐανε κάµερα, αισϑητήρες µέτρησης απόστασης µε χρήση υπέρηχων (sonar) και υπέρυθρων (IR), ανιχνευτή διοξειδίου του άνθρακα, αισϑητήρες ϑερµότητας, µικρόφωνα, ηλεκτρονική πυξίδα και Laser Range Finder. Στο πλαίσιο της διπλωµατικής αυτής, υλοποιήσαµε σύστηµα το οποίο, λαµβάνοντας την εικόνα της κάµερας, εντοπίζει τα σηµεία, που ενδέχεται να ϐρίσκονται ϑύµατα στον διαγωνισµό. Οι συγκεκριµένες αυτές περιοχές ενδιαφέροντος, αναγνωρίζονται χρησιµοποιώντας τεχνικές κατάτµησης εικόνας και παρακολουθούνται σε διαδοχικά καρέ. Η αντιστοίχιση των περιοχών γίνεται µε εξαγωγή χαρακτηριστικών σχήµατος. Για την ανάπτυξη της εφαρµογής αυτής ασχοληθήκαµε µε διάφορους τοµείς της υπολογιστικής όρασης, όπως είναι η κατάτµηση εικόνας, η περιγραφή σχήµατος, η αντιστοίχιση εικόνων, καθώς επίσης και µε δηµοφιλή εργαλεία αυτού του χώρου, όπως οι ανιχνευτές ακµών και οι µορφολογικοί τελεστές. v

6 Ευχαριστίες Η παρούσα διπλωµατική σηµατοδοτεί την ολοκλήρωση της ϑητείας µου στο Τµήµα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών του Αριστοτελείου Πανεπιστη- µίου Θεσσαλονίκης, η οποία ξεκίνησε το Με ανάµεικτα συναισθήµατα, λοιπόν, καταθέτω τη διπλωµατική αυτή, ελπίζοντας ότι έχω προσεγγίσει κατά το δυνατόν, το ϑέµα στο οποίο αναφέρεται. Πρωτίστως, ϑα ήθελα να ευχαριστήσω ολόθερµα τον επιβλέποντα καθηγητή κ. Πέτρου Λουκά για την ευκαιρία που µου έδωσε να συνεργαστούµε µέσα από την οµάδα ϱοµποτικής PANDORA, καθώς και για την εµπιστοσύνη που µου έδειξε στην ανάθεση του έργου αυτού. Θερµές ευχαριστίες οφείλω να αποδώσω και στον έταιρο επιβλέποντα καθηγητή κ. Ντελόπουλο Αναστάσιο. Οι πολύτιµες συµβουλές του, καθώς και η συνεπέστατη καθοδήγησή του, ήταν ϐασικοί παράγοντες ώστε να έλθει εις πέρας η διπλωµατική αυτή. εν ϑα µπορούσα να παραλείψω να ευχαριστήσω τους ϕίλους µου για την υποµονή τους και την ϐοήθεια τους καθ όλη την διάρκεια της παρούσας εργασίας, όπως επίσης και όλους τους συνεργάτες µου στην οµάδα ϱοµποτικής. Κλείνοντας, ϑα ήθελα να ευχαριστήσω την κοπέλα µου και την οικογένειά µου, οι οποίοι µου συµπαραστάθηκαν σε όλη αυτήν την, κατά καιρούς δύσκολη για µένα, περίοδο. Ως ελάχιστη ανταµοιβή τους αφιερώνω τούτη τη διπλωµατική. vi

7 Περιεχόµενα 1 Ανίχνευση Ακµών Προσδιορισµός Ακµών Μάσκες Ακµών Ανιχνευτής Ακµών Canny Αποτελέσµατα Ανιχνευτών Ακµών Κώδικας Χρωµατικοί Χώροι Γενικά Βασικά χρώµατα και όραση Χρωµατικά Μοντέλα Το χρωµατικό µοντέλο RGB Το χρωµατικό µοντέλο nrgb ή normalized RGB Τα χρωµατικά µοντέλα HSV και HSI Ο χρωµατικός χώρος YCbCr Κώδικας Μαθηµατική Μορφολογία ιαστολή και Συστολή Άνοιγµα και Κλείσιµο Μορφολογική Ανακατασκευή Άνοιγµα και Κλείσιµο µε ανακατασκευή Κώδικας Τµηµατοποίηση Εικόνας Κατωφλίωση Αλγόριθµος K-means Κατωφλίωση Ιστογράµµατος Κατάτµηση µε ανίχνευση ακµών Ανάπτυξη Περιοχών - Region Growing Τµηµατοποίηση µε Σύγκριση Προτύπων (Template Matching) vii

8 4.7 Μετασχηµατισµός Watershed Αρχή Λειτουργίας Το πρόβληµα της υπερ-τµηµατοποίησης Marker-controlled watershed Περιγραφή Σχήµατος Κωδικοποίηση Αλυσίδας (Chain Code) Γεωµετρικές Ροπές (Image Moments) Κεντρικές Ροπές Κανονικοποιηµένες Κεντρικές Ροπές Ανεξάρτητες Ροπές Hu Εξαγωγή Χαρακτηριστικών ϐασισµένα στις Ροπές Επιφάνεια Α Κέντρο Βάρους Μεγάλος και µικρός άξονας έλλειψης Προσανατολισµός Θ Εκκεντρότητα ε Επιφάνεια Ελλειψης Γεωµετρικά Χαρακτηριστικά Περίµετρος Χαρακτηριστικά Περιγεγραµµένων Ορθογωνίων Κυκλική ιακύµανση (Circular Variance) και Ελλειπτική ιακύµανση (Elliptic Variance) Μέγιστη και Ελάχιστη Ακτίνα Καµπυλότητα (Circularity) ή Συντελεστής Μορφής (Form Factor) Κυρτότητα (Convexity) Υλικό & Λογισµικό Υλικό Κάµερα Υπολογιστής Λογισµικό Λειτουργικό Σύστηµα Ανάπτυξη Κώδικα Προγράµµατα Υλοποίηση Εισαγωγή Αλγόριθµοι Κατάτµησης Εικόνας Ο αλγόριθµος κατάτµησης µε Ανίχνευση Ακµών Περιγραφή Αποτελέσµατα viii

9 Χρόνοι Εκτέλεσης Ο αλγόριθµος κατάτµησης µε µετασχηµατισµό Watershed Περιγραφή Αποτελέσµατα Χρόνοι Εκτέλεσης Ο αλγόριθµος χρωµατικής κατάτµησης µε σύγκριση προτύπων Περιγραφή Αποτελέσµατα Χρόνοι Εκτέλεσης Αλγόριθµος διαλογής αντικειµένων µε χρήση χαρακτηριστικών σχήµατος Περιγραφή Αλγόριθµος Παρακολουθητή (Tracker) Περιγραφή Επίλογος Συµπεράσµατα Μελλοντικές κατευθύνσεις ix

10 Κατάλογος Σχηµάτων Μάσκα Υλοποίησης της σχέσης (1.1.1) Μάσκες Ανίχνευσης Ακµών Mέσο πλάτος κλίσης στα Α και Β Αποτελέσµατα στα διάφορα στάδια µετά την εφαρµογή του αλγορίθ- µου του Canny Αποτελέσµατα Ανιχνευτών Ακµών Εικόνες Ακµών Roberts, Prewitt, Sobel και Canny Τα χρώµατα του ορατού ϕάσµατος Το ϕάσµα που προκύπτει µετά τη διοχεύτεση λευκού ϕωτός µέσα από ένα πρίσµα Το χρωµατικό µοντέλο RGB Αναπαράσταση προσϑετικής µίξης χρωµάτων RGB χρωµατικές συνιστώσες Μετασχηµατισµός Εικόνας από το RGB στο nrgb Ο χρωµατικός χώρος HSV Ο χρωµατικός χώρος HSΙ HSV χρωµατικές συνιστώσες YCbCr χρωµατικές συνιστώσες Αποτελέσµατα των τελεστών ιαστολής και Συστολής µε τετράγωνο δοµικό στοιχείο 3x Αποτελέσµατα των τελεστών ιαστολής και Συστολής µε τετράγωνο δοµικό στοιχείο 3x Αποτελέσµατα της εφαρµογής των τελεστών ιαστολής, Συστολής, Ανοίγµατος και Κλεισίµατος µε τετράγωνο δοµικό στοιχείο 3x Επαναλαµβανόµενες ιαστολές της εικόνας δείκτη, ϕραγµένες από την εικόνα µάσκα Εικόνα Μάσκα Εικόνα είκτης Εικόνα µετά από Ανακατασκευή Αποτελέσµατα µετά από εφαρµογή Ανοίγµατος, Κλεισίµατος, Ανοίγ- µατος µε Ανακατασκευή και Κλεισίµατος µε Ανακατασκευή x

11 4.1.1 Κατάτµηση εικόνας σε 2 περιοχές µε κατωφλίωση (a-d) και σε 3 πε- ϱιοχές µε πολυκατωφλίωση (e) Επίδειξη του αλγόριθµου K-means Τµηµατοποίηση εικόνας µε τον αλγόριθµο K-means Παράδειγµα κατάτµησης µε Σύγκριση Προτύπων Παράδειγµα κατάτµησης εικόνας µε τη µέθοδο Watershed by flooding Μετασχηµατισµός Watershed για το διαχωρισµό πρωτεϊνών Πληµµύρισµα του ανάγλυφου από τις πηγές (markers) Τυπικό Σύστηµα Εξαγωγής και χρήσης χαρακτηριστικών Καθορισµός των διευθύνσεων για κωδικοποίηση αλυσίδας Παράδειγµα Εφαρµογής του Freeman Chain Code µε πολυγωνιοποίηση (a) Αναπαράσταση Περιγράµµατος µε Κώδικα Αλυσίδας Freeman και το προκύπτον ιστόγραµµα. (b) Αναπαράσταση του ίδιου αντικειµένου, περιστραµµένου 45 µοίρες δεξιόστροφα. Το αντίστοιχο ιστόγραµµα παραµένει το ίδιο, κυκλικά µετατοπισµένο κατά µία ϑέση Τιµές των Ροπών Hu για τους χαρακτήρες Α, Ι, Ο, Μ, F Ελλειψη µε τα ϐασικά της στοιχεία. Ε1-Ε2: Εστίες έλλειψης, Β: Μεγάλος ή µέγας άξονας, ΑΓ: µικρός άξονας Σχήµα έλλειψης µε προσανατολισµό Θ (a) Κατακόρυφο Περιγεγραµµένο Ορθογώνιο (b) Ελάχιστο Περιγεγραµµένο Ορθογώνιο (a) Κυκλική ιακύµανση (b) Ελλειπτική ιακύµανση (a) Περίγραµµα 10 σηµείων και ο περιγεγραµµένος κύκλος του (b) Προσέγγιση του περιγράµµατος µε την ελάχιστη έλλειψη Καµπυλότητα Κυρτότητα Logitech QuickCam Pro for Notebook Τρόποι λειτουργίας της κάµερας Τυπικά Μεγέθη Αισϑητήρων Σχεδίαση του συστήµατος εξαγωγής αντικειµένων και παρακολούθησης τους σε διαδοχικά καρέ ιάγραµµα ϱοής του αλγόριθµου κατάτµησης µε τεχνική Ανίχνευσης Ακµών Ενδιάµεσα αποτελέσµατα αλγόριθµου κατάτµησης µε ανίχνευση ακ- µών ιάγραµµα ϱοής του αλγόριθµου κατάτµησης µε µετασχηµατισµό Watershed Ενδιάµεσα αποτελέσµατα αλγόριθµου κατάτµησης µε µετασχηµατισµό Watershed xi

12 7.2.5 ιάγραµµα ϱοής του αλγόριθµου χρωµατικής κατάτµησης µε Σύγκριση Προτύπων (Στάδιο Α) ιάγραµµα ϱοής του αλγόριθµου χρωµατικής κατάτµησης µε Σύγκριση Προτύπων (Στάδιο Β) Εικόνες από το πρώτο στάδιο εκπαίδευσης και την εύρεση των Κ κέντρων Εικόνες από το δεύτερο στάδιο εκπαίδευσης και την επιλογή των προτύπων Αποτελέσµατα του αλγόριθµου χρωµατικής κατάτµησης ιάγραµµα ϱοής αλγόριθµου διαλογής αντικειµένων µε χρήση χαρακτηριστικών σχήµατος Το διάγραµµα ϱοής του παρακολουθητή xii

13 Κεφαλαιο 1 Ανίχνευση Ακµών Η ανίχνευση ακµών αποτελεί σηµαντικό εργαλείο στους τοµείς της ανάλυσης ψηφιακής εικόνας και της υπολογιστικής όρασης. Με τις ακµές µπορούµε να προσδιορίσουµε, να αναγνωρίσουµε και να περιγράψουµε αντικείµενα, που περιέχονται σε ψηφιακές εικόνες. Σαν ακµή συνηθίζεται να ορίζουµε το σύνορο µεταξύ δύο οµογενών περιοχών µιας εικόνας, οι οποίες χαρακτηρίζονται από διαφορετικές εντάσεις ϕωτεινότητας. Αυτός ο ορισµός σηµαίνει ότι η ακµή είναι µια τοπική µεταβολή της ϕωτεινότητας [1][4]. Οι απότοµες µεταβολές ή ασυνέχειες στην ένταση της ϕωτεινότητας είναι πολύ πιθανό να οφείλονται σε ˆ ασυνέχειες στο ϐάθος, ˆ ασυνέχειες στον προσανατολισµό των επιφανειών, ˆ αλλαγές στις ιδιότητες του υλικού, π.χ στην υφή του, ˆ µεταβολές στον ϕωτισµό, π.χ δηµιουργία σκιών Παρά τη ϑεµελιώδη σηµασία τους, δεν υπάρχει ευρέως αποδεκτός µαθηµατικός ορισ- µός της ακµής. Αυτό το γεγονός εξηγείται από την πολυπλοκότητα του περιεχοµένου της εικόνας και από την παρεµβολή µηχανισµών όρασης υψηλού επιπέδου στην αν- ϑρώπινη αντίληψη του ορίου ενός αντικειµένου. Οι περισσότερες µέθοδοι ανίχνευσης ακµών λειτουργούν υποθέτοντας ότι µια ακµή εµφανίζεται, όπου υπάρχει µια ασυνέχεια στη συνάρτηση της έντασης, όπως αναφέραµε παραπάνω ή µια πολύ απότοµη κλίση έντασης στην εικόνα. Χρησι- µοποιώντας αυτήν την υπόθεση, εάν πάρουµε την παράγωγο των τιµών της έντασης σε όλη την εικόνα και ϐρούµε τα σηµεία, όπου η παράγωγος εµφανίζει τοπικό µέγιστο, ϑα έχουµε εξαγάγει τις ακµές της εικόνας [1]. 1

14 Κεφάλαιο 1 Ανίχνευση Ακµών 1.1 Προσδιορισµός Ακµών Ας ϑεωρήσουµε µια συνεχή µονοδιάστατη συνάρτηση f(x). Για την εύρεση τοπικών µεγίστων, αυτής της συνάρτησης µπορούµε να χρησιµοποιήσουµε την πρώτη και τη δεύτερη παράγωγο της f(x). Πιο συγκεκριµένα, ϑα ϐρούµε τη ϑέση ακρότατου σηµείου, τοπικό µέγιστο ή ελάχιστο, είτε αναζητώντας σηµεία διασκελισµού του µηδενός (zero-crossing) στην f (x) είτε ελέγχοντας πού έχουµε αλλαγή προσήµου στην f (x). Σύµφωνα µε την παραπάνω ανάλυση έχουν αναπτυχθεί διάφοροι αλγόριθµοι προσδιορισµού ακµών, που χρησιµοποιούν τις χαρακτηριστικές ιδιότητες των f (x) και f (x) [2]. Στη διδιάστατη και διακριτή περίπτωση, όπως είναι αυτή µιας ψηφιακής εικόνας f(n, m), η παραγώγιση κατά την οριζόντια και την κατακόρυφη κατεύθυνση, απαιτεί τη χρήση µερικών παραγώγων. Αυτές µπορούν να προσεγγισϑούν µε τη χρήση µερικών διαφορών. Συνεπώς, η τιµή της κλίσης σε ένα συγκεκριµένο pixel της εικόνας µπορεί να προσεγγισϑεί από σχέσεις της µορφής w 1 f(n + 1, m + 1) w 2 f(n 1, m + 1) + G r (n, m) = w 3 f(n + 1, m) w 4 f(n 1, m) + w 5 f(n + 1, m 1) w 6 f(n 1, m 1) (1.1.1) 1.2 Μάσκες Ακµών Η παραπάνω σχέση (1.1.1) µπορεί να εκφραστεί από ένα 3x3 ϕίλτρο παραγώγισης (Σχήµα 1.2.1). Με τον όρο ϕίλτρο παραγώγισης, εννοούµε το ϕίλτρο µε το οποίο ϑα γίνει η συνέλιξη του σήµατος της εικόνας, ώστε να προσεγγιστεί η παράγωγος αυτής. w 1 0 w 2 w 3 w 0 w 4 w 5 0 w 6 Σχήµα Μάσκα Υλοποίησης της σχέσης (1.1.1) Οι µάσκες ακµών, όπως συνηθίζεται να ορίζουµε τα ϕίλτρα παραγώγισης, µπορούν να χρησιµοποιηθούν για την ανίχνευση ακµών κατά µήκος διαφορετικών διευθύνσεων. Τα ϕίλτρα οριζόντιας διαφόρισης ανιχνεύουν τις κατακόρυφες ακµές της εικόνας, ενώ τα ϕίλτρα κατακόρυφης διαφόρισης ανιχνεύουν τις οριζόντιες ακµές. Ενας συνδιασµός αυτών των διαφορίσεων, ϑα είχε σαν αποτέλεσµα την εξαγωγή των οριζόντιων και των κατακόρυφων ακµών [8][9]. 2

15 Κεφάλαιο 1 Ανίχνευση Ακµών Μερικές µάσκες ανίχνευσης ακµών [5] ϕαίνονται στο σχήµα 1.2.2: (a) Μάσκες Roberts 3x (b) Μάσκες Prewitt 3x (c) Μάσκες Sobel 3x (d) Μάσκες Sobel 5x Σχήµα Μάσκες Ανίχνευσης Ακµών Αν ϑεωρήσουµε ότι I είναι η αρχική εικόνα, S x µια µάσκα ανίχνευσης για οριζόντιες ακµές, S y µια µάσκα ανίχνευσης για τις κατακόρυφες ακµές και ο τελεστής της διδιάστατης συνέλιξης, τότε οι εικόνες G x, G y G x = S x I (1.2.1) G y = S y I (1.2.2) περιέχουν σε κάθε σηµείο τους την προσέγγιση της παραγώγου της I στο σηµείο αυτό, ως προς την οριζόντια και την κατακόρυφη κατεύθυνση αντίστοιχα. Για κάθε σηµείο στην εικόνα, οι προκύπτουσες προσεγγίσεις µπορούν να συνδιαστούν για να 3

16 Κεφάλαιο 1 Ανίχνευση Ακµών µας δώσουν το πλάτος της κλίσης G = όπως επίσης και την κατεύθυνση της κλίσης G 2 x + G 2 y (1.2.3) θ = arctan G x G y (1.2.4) 1.3 Ανιχνευτής Ακµών Canny Ο πλέον διαδεδοµένος αλγόριθµος ανίχνευσης ακµών, ο οποίος χρησιµοποιείται ευρέως αυτήν την στιγµή και ϑεωρείται από τους πιο ισχυρούς, είναι ο ανιχνευτής ακµών Canny[6][7]. Ο Canny στόχευσε στο σχεδιασµό µιας ϐέλτιστης τεχνικής ανίχνευσης και δηµιουργίας ακµών. Τα κριτήρια στα οποία ϐασίστηκε η ανάπτυξη του αλγόριθµου του είναι ˆ Σωστή-Βέλτιστη Ανίχνευση. Είναι πολύ σηµαντικό να ανιχνεύονται όλες οι πραγ- µατικές ακµές, που υφίστανται στον τρισδιάστατο πραγµατικό κόσµο,και ταυτόχρονα να µην ανιχνεύονται ακµές που δεν υπάρχουν. ˆ Καλός εντοπισµός ϑέσης. Η απόσταση µεταξύ της πραγµατικής ακµής και της ακ- µής που εντοπίζει ο αλγόριθµος να ελαχιστοποιηθεί. Επίσης η ακµή να έχει σαφή όρια. ˆ Μοναδική απόκριση σε κάθε ακµή. Μία πραγµατική ακµή δεν πρέπει να δώσει περισσότερες από µία ακµή ως απόκριση. Τα ϐήµατα του αλγόριθµου του Canny είναι τα ακόλουθα ˆ Φιλτράρισµα-λείανση της εικόνας µε ένα ϕίλτρο Gaussian µηδενικής µέσης τιµής και καθορισµένης τυπικής απόκλισης σ ˆ Προσδιορισµός της κλίσης της ϕιλτραρισµένης εικόνας, χρησιµοποιώντας µάσκες παραγώγισης (π.χ Sobel 1.2.3) 4

17 Κεφάλαιο 1 Ανίχνευση Ακµών ˆ Καταστολή των µη µέγιστων τιµών Απαλείφουµε ως ϑέσεις ακµών εκείνες που τοπικά έχουν µικρότερη τιµή To pixel P καθορίζεται ως pixel ακµής, αν το µέτρο της κλίσης του είναι µεγαλύτερο από το µέσο πλάτος των κλίσεων στις περιοχές Α και Β (Σχήµα 1.3.1) Σχήµα Mέσο πλάτος κλίσης στα Α και Β ˆ Κατωφλίωση υστέρησης Χρησιµοποιούµε δύο κατώφλια T 1, T 2 µε T 1 < T 2 Εντοπίζεται αρχικά ένα πρώτο pixel µε κλίση µεγαλύτερη του T 2 Εξετάζουµε διαδοχικά τα γειτονικά συνδεδεµένα pixels, έως ότου ϐρούµε κάποιο µε κλίση µικρότερη από T 2 Κατωφλίωση µε χρήση ελάχιστης-µέγιστης ϕωτεινότητας Για ένα δεδοµένο pixel * Αν το µέγεθος της κλίσης του είναι < T 1, τότε η τιµή κλίσης τίθεται ίση µε το 0 * Αν η κλίση του είναι τουλάχιστον T 2, τότε το pixel µένει ως έχει * Αν η κλίση του είναι µεταξύ T 1 και T 2, τότε η τιµή κλίσης τίθεται ίση µε 0, εκτός εάν υπάρχει µια διαδροµή από αυτό το pixel σε ένα pixel µε κλίση µεγαλύτερη από το T 2 * Η διαδροµή πρέπει να αποτελείται εξ ολοκλήρου από pixels που έχουν κλίση τουλάχιστον ίση µε T 1 Στις εικόνες του σχήµατος ϐλέπουµε τα ενδιάµεσα στάδια επεξεργασίας του αλγόριθµου Canny 5

18 Κεφάλαιο 1 Ανίχνευση Ακµών (a) Αρχική Εικόνα (b) Μετά την εφαρµογή ϕίλτρου Gaussian (c) Το πλάτος της κλίσης (d) Μετά την καταστολή (e) Η τελική εικόνα µετά την κατωφλίωση µε υστέρηση Σχήµα Αποτελέσµατα στα διάφορα στάδια µετά την εφαρµογή του αλγορίθµου του Canny 1.4 Αποτελέσµατα Ανιχνευτών Ακµών Στο σχήµα ϕαίνονται µερικές εικόνες ακµών, που δηµιουργήθηκαν ακολου- ϑώντας τις διαδικασίες που περιγράφηκαν σε αυτό το κεφάλαιο και χρησιµοποιώντας τις µάσκες παραγώγισης που αναφέρθηκαν προηγουµένως. (Σχήµατα 1.2.2a, 1.2.2b, 1.2.2c) 6

19 Κεφάλαιο 1 Ανίχνευση Ακµών (a) Αρχική Εικόνα (b) Εικόνα Οριζόντιων Ακµών Roberts (c) Εικόνα Κατακόρυφων Ακµών Roberts (d) Εικόνα Ακµών Roberts (e) Εικόνα Οριζόντιων Ακµών Prewitt (f) Εικόνα Κατακόρυφων Ακµών Prewitt (g) Εικόνα Ακµών Prewitt (h) Εικόνα Οριζόντιων Ακµών Sobel (i) Εικόνα Κατακόρυφων Ακµών Sobel (j) Εικόνα Ακµών Sobel Σχήµα Αποτελέσµατα Ανιχνευτών Ακµών Στις παραπάνω εικόνες αν και έχει εξαχθεί η πληροφορία των ακµών, η µορφή τους δεν είναι ακόµα η κατάλληλη για ανάλυση. Παρατηρούµε ότι υπάρχουν ακµές διαφορετικής έντασης. Κατωφλιώνοντας την εικόνα ακµών, ϑα κρατήσουµε µόνο τις πιο ισχυρές ενδείξεις ακµών, αυτές δηλαδή µε ϕωτεινότητα µεγαλύτερη από 7

20 Κεφάλαιο 1 Ανίχνευση Ακµών του κατωφλίου. Στη συνέχεια εφαρµόζοντας λέπτυνση στην προκύπτουσα εικόνα, δηµιουργούµε ακµές µε πάχος ενός pixel. Η κατωφλίωση και η λέπτυνση αφαιρούν σηµαντικό όγκο δεδοµένων από την εικόνα, διατηρώντας την χρήσιµη πληροφορία της ϑέσης των ακµών. (a) Εικόνα Ακµών Roberts µε κατώφλι T = 0.1 (b) Εικόνα Ακµών Prewitt µε κατώφλι T = 0.1 (c) Εικόνα Ακµών Sobel µε κατώφλι T = 0.1 (d) Εικόνα Ακµών Canny µε κατώφλι T = 0.1 και σ = 1 (e) Εικόνα Ακµών Canny µε κατώφλι T = 0.1 και σ = 1.5 (f) Εικόνα Ακµών Canny µε κατώφλι T = 0.1 και σ = 2 Σχήµα Εικόνες Ακµών Roberts, Prewitt, Sobel και Canny 1.5 Κώδικας Στη συνέχεια παρατίθεται ο κώδικας σε γλώσσα MATLAB, τον οποίο υλοποιήσαµε για να δηµιουργήσουµε τις εικόνες του σχήµατος [cdata,colormap]=imread('lena.gif'); 2 lena = ind2gray(cdata,colormap); 3 lena = im2double(lena); 4 5 Sv = [-1 0 1; ; ] 6 Sh = [ ; 0 0 0; 1 2 1] 7 Pv = [-1 0 1; ; ] 8 Ph = [ ; 0 0 0; 1 1 1] 9 Rv = [0 0-1; 0 1 0; 0 0 0] 10 Rh = [-1 0 0; 0 1 0; 0 0 0] 11 8

21 Κεφάλαιο 1 Ανίχνευση Ακµών 12 Sv=im2double(Sv); 13 Sh=im2double(Sh); 14 Pv=im2double(Pv); 15 Ph=im2double(Ph); 16 Rv=im2double(Rv); 17 Rh=im2double(Rh); Isv = conv2(lena,sv); 20 Ish = conv2(lena,sh); 21 Ipv = conv2(lena,pv); 22 Iph = conv2(lena,ph); 23 Irv = conv2(lena,rv); 24 Irh = conv2(lena,rh); Is = sqrt( Isv.^2 + Ish.^2 ); 27 Ip = sqrt( Ipv.^2 + Iph.^2 ); 28 Ir = sqrt( Irv.^2 + Irh.^2 ); figure, imshow(isv); 31 figure, imshow(ish); 32 figure, imshow(is); 33 figure, imshow(ipv); 34 figure, imshow(iph); 35 figure, imshow(ip); 36 figure, imshow(irv); 37 figure, imshow(irh); 38 figure, imshow(ir); BW_sobel = edge(lena,'sobel', 0.1); 41 BW_prewitt = edge(lena,'prewitt', 0.1); 42 BW_roberts = edge(lena,'roberts', 0.1); 43 BW_canny_1 = edge(lena,'canny', 0.1, 1); 44 BW_canny_2 = edge(lena,'canny', 0.1, 1.5); 45 BW_canny_3 = edge(lena,'canny', 0.1, 2); figure, imshow(bw_sobel); 48 figure, imshow(bw_prewitt); 49 figure, imshow(bw_roberts); 50 figure, imshow(bw_canny_1); 51 figure, imshow(bw_canny_2); 52 figure, imshow(bw_canny_3); 9

22 Κεφαλαιο 2 Χρωµατικοί Χώροι 2.1 Γενικά Τα χρώµατα είναι µία κωδικοποίηση του ανθρώπινου νευρικού συστήµατος για να διακρίνει τα µήκη κύµατος (ή τις συχνότητες) του ϕωτός που προσπίπτουν στο αισϑητήριο όργανο της όρασης. Τα µήκη κύµατος του ϕωτός που διεγείρουν τον αν- ϑρώπινο οφθαλµό κυµαίνονται από περίπου Å (400 nm) µέχρι Å (700 nm). Στον πίνακα του σχήµατος ϕαίνεται σε γενικές γραµµές η χρωµατική κωδικοποίηση του ανθρώπινου οφθαλµού. Σε κάθε µήκος κύµατος (ή συχνότητα) η όραση του ανθρώπου αντιστοιχίζει και ένα χρώµα [11]. Σχήµα Τα χρώµατα του ορατού ϕάσµατος Οταν στο µάτι του ανθρώπου προσπέσουν δύο ακτινοβολίες µε διαφορετικά µήκη κύµατος η ανθρώπινη όραση συνθέτει τα χρώµατα δηµιουργώντας καινούργια. Ετσι για παράδειγµα αν µία ϕωτεινή πηγή µάς ϕαίνεται ότι εκπέµπει κίτρινο χρώµα µπορεί αυτή να έχει µήκη κύµατος στην περιοχή από 560 nm έως 590 nm ή να εκπέµπει ταυτόχρονα κόκκινες και πράσινες ακτινοβολίες που όταν συντίθενται µας δίνουν κίτρινο χρώµα. Για τη δηµιουργία των χρωµάτων δεν µας είναι απαραίτητα όλα τα µήκη κύµατος του ορατού ϕωτός αλλά µόνο ορισµένα από αυτά. Με άλλα λόγια στηριζόµενοι σε κάποια χρώµατα τα οποία ονοµάζουµε ϐασικά ή πρωτογενή µπορούµε να συνθέσουµε τα υπόλοιπα. Τα ϐασικά χρώµατα που χρησιµοποιούµε για τη σύνθεση των χρωµάτων δεν είναι ίδια σε όλες τις εφαρµογές. Οι διαφορές σχετίζονται µε τον τρόπο που παράγεται 10

23 Κεφάλαιο 2 Χρωµατικοί Χώροι το ϕως που ϕτάνει στο µάτι αλλά και µε το επιθυµητό οπτικό αποτέλεσµα. Το ϕως που ϐλέπουµε µπορεί να προέρχεται από απευθείας εκποµπή (π.χ. οθόνη), από απορρόφηση που οφείλεται σε ανάκλαση ή από απορρόφηση καθώς αυτό διέρχεται µέσα από ηµιδιαφανή χρωµατιστά υλικά. Κατά την εκποµπή του ϕωτός τα µήκη κύ- µατος «αθροίζονται» για τη δηµιουργία του χρωµατικού αποτελέσµατος ενώ κατά την απορρόφηση του ϕωτός από τα υλικά τα µήκη κύµατος «αφαιρούνται» και δηµιουργούν το χρωµατικό αποτέλεσµα. Παράλληλα η αντίληψη του ϕωτός από τον άνθρωπο περιλαµβάνει επιπλέον χαρακτηριστικά όπως η λαµπρότητα (brightness) και η χρωµατική καθαρότητα (saturation). Με άλλα λόγια η αίσϑηση του χρώµατος είναι µία πολύπλοκη ανθρώπινη διαδικασία. Για την διευκόλυνση της περιγραφής και της αναπαραγωγής των χρωµάτων δηµιουργήθηκαν τα λεγόµενα χρωµατικά µοντέλα. Καθένα από αυτά ϐασίζεται σε συγκεκριµένα ϐασικά (πρωτογενή) χρώµατα. Πρέπει να γίνει κατανοητό ότι σπάνια δύο εφαρµογές ϕτάνουν στο ίδιο χρωµατικό αποτέλεσµα ακόµη και στην περίπτωση που χρησιµοποιούν το ίδιο χρωµατικό µοντέλο. Μία εικόνα ϕαίνεται διαφορετική σε οθόνες από διαφορετικό κατασκευαστή και δύο κόκκινες µπογιές από διαφορετικό κατασκευαστή δίνουν διαφορετικό κόκκινο χρώµα. 2.2 Βασικά χρώµατα και όραση Αν και ο Αριστοτέλης και άλλοι αρχαίοι ερευνητές είχαν ασχοληθεί µε τη ϕύση του ϕωτός και την αντίληψη του χρώµατος στην όραση, ο Νεύτωνας ήταν ο πρώτος που ανακαλυψε το 1666, ότι όταν µια δέσµη ϕωτός διαπεράσει ένα γυάλινο πρίσµα, η δέσµη που προκύπτει δεν είναι άσπρη, αλλά αποτελείται από ένα συνεχές ϕάσµα χρωµάτων µε µια διακύµανση που έχει στο ένα άκρο το ιώδες(violet) και στο άλλο το κόκκινο (Εικόνα 2.2.1) [2]. Σχήµα Το ϕάσµα που προκύπτει µετά τη διοχεύτεση λευκού ϕωτός µέσα από ένα πρίσµα Εξετάζοντας τα χρώµατα του ϕάσµατος που δίνει η ανάλυση του λευκού ϕωτός από ένα πρίσµα, ϑα παρατηρήσουµε ότι µέσα σ αυτά δεν υπάρχουν πολλά από 11

24 Κεφάλαιο 2 Χρωµατικοί Χώροι τα χρώµατα που ϐλέπουµε (όπως το καφέ). Η πολυπλοκότητα, η ύπαρξη πολλών χρωµατικών µοντέλων, οι δυσκολίες και τα προβλήµατα που παρατηρούνται στη δηµιουργία των χρωµάτων γίνονται κατανοητά αν λάβουµε υπόψη τη σύνθεση του ϕωτός που λαµβάνει το ανθρώπινο µάτι και τη ϕυσιολογία του ανθρώπινου νευρικού συστήµατος που δηµιουργεί την αίσϑηση των χρωµάτων. Στον αµφιβληστροειδή χιτώνα του ανθρώπινου µατιού υπάρχουν κύτταρα, που ονοµάζονται ϕωτοϋποδοχείς ή ϕωτοαισϑητήρες. Οι ϕωτουποδοχείς περιλαµβάνουν δύο τύπους κυττάρων τα κωνία και τα ϱαβδία. Τα ϱαβδία είναι υπεύθυνα για την αντίληψη του αµυδρού ϕωτός ενώ τα κωνία (ή κωνικά κύτταρα) για την αντίληψη των χρωµάτων. Υπάρχουν τρία είδη κωνικών κυττάρων [11]: ˆ S-κωνία: είναι ευαίσθητα σε ϕωτόνια µικρού µήκους κύµατος και παρουσιά- Ϲουν µέγιστη ευαισθησία σε µήκος κύµατος περίπου Å (420 nm). Είναι ευαίσθητα στο µπλε ϕως. ˆ Μ-κωνία: είναι ευαίσθητα σε ϕωτόνια µεσαίου µήκους κύµατος και παρουσιά- Ϲουν µέγιστη ευαισθησία σε µήκος κύµατος περίπου Å (530 nm). Είναι ευαίσθητα στο πράσινο ϕως. ˆ L-κωνία: είναι ευαίσθητα σε ϕωτόνια µεγάλου µήκους κύµατος και παρουσιά- Ϲουν µέγιστη ευαισθησία σε µήκος κύµατος περίπου Å (560 nm). Είναι ευαίσθητα στο κόκκινο ϕως. 2.3 Χρωµατικά Μοντέλα Ενα χρωµατικό µοντέλο είναι ένα µαθηµατικό µοντέλο, που περιγράφει τον τρόπο µε τον οποίο τα χρώµατα, αναπαρίστανται ως σηµεία σε ένα σύστηµα συντεταγµένων. Σήµερα, τα περισσότερα µοντέλα είναι είτε προσαρµοσµένα στα ϕυσικά εξαρτήµατα υπολογιστικών συστηµάτων, όπως οθόνες και εκτυπωτές, είτε σε εφαρµογές όπου είναι επιθυµητή η διαχείριση των χρωµάτων. Από τα πιο γνωστά χρωµατικά µοντέλα είναι το RGB που χρησιµοποιείται σε έγχρωµες οθόνες και σε µία ευρεία τάξη από έγχρωµες κάµερες, το σύστηµα CMY που χρησιµοποιείται σε έγχρωµους εκτυπωτές και το µοντέλο YIQ που χρησιµοποιείται αποκλειστικά στην τηλεοπτική µετάδοση. Ανάµεσα στα χρωµατικά µοντέλα που είναι ευρύτερα γνωστά είναι και τα µοντέλα HSI και HSV, καθώς και τα CIEL*a*b* και CIE-L*u*v* [12][17]. Η χρήση χρώµατος στην επεξεργασία εικόνας γίνεται για δύο ϐασικούς λόγους. Πρώτον, στην αυτόµατη ανάλυση εικόνας, το χρώµα αποτελεί ένα πολύ ισχυρό χαρακτηριστικό όσον αφορά την περιγραφή και πολύ συχνά απλοποιεί την αναγνώριση αντικειµένων και την εξαγωγή τους από µια σκηνή. εύτερον, το ανθρώπινο µάτι είναι ικανό να διακρίνει χιλιάδες έγχρωµες αποχρώσεις σε αντίθεση µε τις 24 περίπου αποχρώσεις του γκρι. Τα χαρακτηριστικά µε τα οποία γίνεται ο διαχωρισµός 12

25 Κεφάλαιο 2 Χρωµατικοί Χώροι µεταξύ των χρωµάτων είναι η λαµπρότητα (brightness), η απόχρωση (hue) και η χρω- µατική καθαρότητα ή ποσότητα χρώµατος (saturation). Η ϕωτεινότητα ενσωµατώνει την αχρωµατική έννοια της έντασης του ϕωτός (intensity). Η απόχρωση και η χρω- µατική καθαρότητα µαζί, ονοµάζονται χρωµατικότητα (chromacity). Κατά συνέπεια ένα χρώµα µπορεί να εκφραστεί πλήρως από την χρωµατικότητα και τη λαµπρότητα [2] Το χρωµατικό µοντέλο RGB Στο µοντέλο RGB, το κάθε χρώµα εκφράζεται συναρτήσει των τριών ϐασικών χρωµάτων (primary colors), του κόκκινου, του πράσινου και του µπλε και ϐασίζεται σε ένα καρτεσιανό σύστηµα συντεταγµένων. Η επιλογή των ϐασικών χρωµάτων προήλθε πιθανώς από την ανθρώπινη ϐιολογία, επειδή τα ερεθίσµατα που δεχό- µαστε διεγείρουν συγκεκριµένους δέκτες του ανθρώπινου αµφιβληστροειδούς. Το ανθρώπινο µάτι έχει τρεις τέτοιους δέκτες (κωνία), και ο κάθε ένας είναι ευαίσθητος σε συγκεκριµένη περιοχή µήκους κύµατος. Για τη δηµιουργία ενός χρώµατος στο RGB, τρεις µονοχρωµατικές ακτίνες ϕωτός (µία κόκκινη, µία πράσινη και µία µπλε) υπερτίθενται. Κάθε µια από τις ακτίνες αποτελεί συστατικό στοιχείο του χρώµατος και κάθε µία µπορεί να έχει διαφορετική ένταση, µετρούµενη από το 0 έως το 1. Το RGB είναι ένα προσθετικό µοντέλο, µε την έννοια ότι τα µήκη κύ- µατος της κάθε ακτίνας προστίθενται και το άθροισµα µας δίνει το µήκος κύµατος Σχήµα Το χρωµατικό µοντέλο RGB του τελικού χρώµατος. Μία ανα- παράσταση της προσθετικής µίξης των ϐασικών χρωµάτων ϕαίνεται στην εικόνα 2.3.2[16]. Το RGB µοντέλο ϕαίνεται στο σχήµα Στις τρεις γωνίες του κύβου, που είναι πάνω στους άξονες ϐρίσκονται τα τρία κύρια χρώµατα, ενώ σε άλλες τρεις ϐρίσκονται το κυανό, το µατζέντα και το κίτρινο. Στις δύο γωνίες που αποµένουν ϐρίσκονται το λευκό και το µάυρο. Οποιοδήποτε σηµείο µέσα στον κύβο εκφράζει ένα χρώµα, εκτός από τα σηµεία που ϐρίσκονται πάνω στο ευθύγραµµο τµήµα που ενώνει τη λευκή µε τη µαύρη κορυφή. Αυτά τα σηµεία εκφράζουν διάφορα επίπεδα του γκρι [2]. Η ανάλυση µιας έγχρωµης RGB εικόνας στις συνιστώσες της, ϕαίνεται στο σχήµα

26 Κεφάλαιο 2 Χρωµατικοί Χώροι Σχήµα Αναπαράσταση προσϑετικής µίξης χρωµάτων (a) Αρχική Εικόνα (b) Η κόκκινη χρωµατική συνιστώσα (c) Η πράσινη χρωµατική συνιστώσα (d) Η µπλε χρωµατική συνιστώσα Σχήµα RGB χρωµατικές συνιστώσες Το χρωµατικό µοντέλο nrgb ή normalized RGB Πολλές ϕορές σε µια εικόνα, υπάρχουν έντονες αλλοιώσεις στα χρώµατα, που οφείλονται σε σκιάσεις ή έντονο ϕωτισµό. Η κανονικοποιηµένη µορφή του συστήµατος RGB, µπορεί σε µερικές περιπτώσεις να δώσει λύση απλά και γρηγορα. Κανον- 14

27 Κεφάλαιο 2 Χρωµατικοί Χώροι ικοποιώντας τις RGB τιµές µιας εικόνας, διαιρούµε την κάθε συνιστώσα µε το άθροισµα των τριών συνιστωσών. Συνεπώς αν έχουµε ένα pixel µε τιµές R, G, B, οι νέες τιµές που ϑα πάρει είναι: Ŕ = Ǵ = B = R R + G + B G R + G + B B R + G + B (2.3.1) Σχήµα Μετασχηµατισµός Εικόνας από το RGB στο nrgb Στην παραπάνω εικόνα παρατηρούµε : ˆ Οι σκιές και οι λευκές γωνίες έχουν εξαφανιστεί ˆ Οι µαύροι και λευκοί κύκλοι δεν ξεχωρίζουν πλέον Η κανονικοποιηµένη εικόνα µπορεί πλέον να αναπαρασταθεί χρησιµοποιώντας µόνο 2 byte/pixel και όχι 3 που ϑα χρειάζονταν στο RGB. Αυτό γίνεται διότι σύµφωνα µε την εξίσωση 2.3.1, µπορούµε να γράψουµε το B ως εξής B = 1 Ŕ Ǵ 15

28 Κεφάλαιο 2 Χρωµατικοί Χώροι Ετσι λοιπόν ϕαίνεται, ότι χρειάζεται να αποθηκεύσουµε µόνο τις τιµές των συνιστωσών Ŕ, Ǵ, αφού µπορούµε να υπολογίσουµε την τιµή της τρίτης συνιστώσας από αυτές τις δύο. Κάτι τέτοιο όµως σηµαίνει ότι έχουµε απώλεια πληροφορίας. Βασικά, αυτή η απώλεια πληροφορίας είναι που αφαιρεί τις σκιάσεις. Επιλογικά, το nrgb µπορεί να εξάγει απόσταση µέσω της απόχρωσης, είναι όµως αρκετά ευαίσϑητο στον ϑόρυβο σε χαµηλές εντάσεις [15] Τα χρωµατικά µοντέλα HSV και HSI Τα µοντέλα HSI (hue, saturation, intensity) και HSV (hue, saturation, value) αναπτύχθηκαν µε σκοπό να είναι περισσότερο διαισθητικά όταν έχουµε να διαχειριστούµε χρώµα και σχεδιάστηκαν µε τέτοιο τρόπο ώστε να προσεγγίζουν περισσότερο την ανθρώπινη αντίληψη και ερµηνεία. Οι παράµετροι που χρησιµοποιούν τα µοντέλα HSV και HSI είναι η Η συνιστώσα (hue), που κυµαίνεται από 0 ο -360 ο και αντιστοιχεί στην χρωµατική απόχρωση ή χροιά, η S συνιστώσα (saturation), που αντιπροσωπεύει την χρωµατική καθαρότητα, που στην ουσία είναι ο ϐαθµός µίξης ενός καθαρού χρώµατος µε το άσπρο, η συνιστώσα V ή τιµή (Value) που αναφέρεται στον ϐαθµό µίξης µε το µαύρο και τέλος η συνιστώσα Ι (Intensity) που δείχνει την ένταση και δεν έχει καµία χρωµατική πληροφορία. Η διαφορά µεταξύ του HSI και του HSV είναι στον υπολογισµό της συνιστώσας της λαµπρότητας (I ή V), η οποία ορίζει την κατανοµή και το δυναµικό εύρος της λαµπρότητας και της χρωµατικής καθαρότητας. Το µοντέλο HSΙ είναι καταλληλότερο για κλασικές συναρτήσεις της ψηφιακής επεξεργασίας εικόνας, όπως η συνέλιξη και η εξισορρόπηση ιστογράµµατος, οι οποίες ενεργούν πάνω στις τιµές της λαµπρότητας, εφόσον η I συνιστώσα είναι το ίδιο εξαρτώµενη από τις τιµές των R, G και B. Το HSV προτιµάται για τη διαχείριση των συνιστωσών hue και saturation (µετατόπιση στο χρωµατικό χώρο ή ϱύθµιση της ποσότητας του χρώµατος), επειδή µας παρέχει µεγαλύτερη δυναµική όσο αφορά τη χρωµατική καθαρότητα [2]. 16

29 Κεφάλαιο 2 Χρωµατικοί Χώροι Στο Σχήµα παρουσιάζεται ο µονός κώνος του HSV χρωµατικού µοντέλου. Παρατηρούµε ότι στην µκο- ϱυφή του κώνου που η τιµή-value είναι µηδέν, το χρώµα είναι µαύρο. Αντι- ϑέτως, στη ϐάση του κώνου η συνιστώσα value έχει τιµή 1, δηλαδή το χρώµα είναι το άσπρο. Το ερυθρό χρώµα έχει 0 o και τα συµπληρωµατικά χρώµατα διαφέρουν κατά 180 o µετρούµενα κατά τη συνιστώσα Η, δηλαδή τη γωνία γύρω από τον κάθετο άξονα της συνιστώσας V. Η συνιστώσα S ορίζεται ως η απόσταση από το κέντρο της ϐάσης του κώνου. Σχήµα Ο χρωµατικός χώρος HSV Χρώµατα τα οποία είναι κορεσµένα σε µεγάλο ϐαθµό ϐρίσκονται στα εξωτερικά επίπεδα του κώνου, ενώ χρώµατα που είναι λιγότερο κορεσµένα ϐρίσκονται κοντά στο κέντρο. Ολα τα σηµεία πάνω στον κάθετο άξονα V (δηλαδή το S=0), είναι διαβαθµίσεις του γκρι [14]. Αν ϐρισκόµαστε στο εξωτερικό σηµείο της ϐάσης του κώνου, όπου ϐρίσκονται τα καθαρά χρώµατα (καθορίζονται από τη Η) και προσθέσουµε άσπρο, τότε µειώνουµε τη συνιστώσα S, διατηρώντας σταθερή τη V. Προσθέτοντας µαύρο, µειώνουµε τη συνιστώσα V διατηρώντας σταθερή την S. Χρώµα H S V Καθαρό Μπλε 240 o Βαθύ Μπλε 240 o Ανοιχτό Μπλε 240 o Πίνακας 2.1 Αποχρώσεις του µπλε στο HSV Το Σχήµα δείχνει το διπλό κώνο του χρωµατικού µοντέλου HSΙ. Η πάνω κορυ- ϕή αντιστοιχεί σε I=1, δηλαδή στο λευκό. Η κορυφή στο κάτω µέρος αντιστοιχεί στο µαύρο, όπου το I=0. Η διαφορά µε το HSV είναι ότι εδώ η µέγιστη χρωµατική καθαρότητα (S=1) είναι στο επίπεδο όπου το I=0,5. Η ανάλυση µιας έγχρωµης HSV εικόνας στις συνιστώσες της, ϕαίνεται στο σχήµα

30 Κεφάλαιο 2 Χρωµατικοί Χώροι Σχήµα Ο χρωµατικός χώρος HSΙ (a) Αρχική Εικόνα (b) Η χρωµατική συνιστώσα Hue (c) Η χρωµατική συνιστώσα Saturation (d) Η χρωµατική συνιστώσα Value Σχήµα HSV χρωµατικές συνιστώσες Ο χρωµατικός χώρος YCbCr O χρωµατικός χώρος YCbCr δηµιουργήθηκε για να καλύψει τις ανάγκες της ψηφιακής επεξεργασίας video. Είναι ένα ψηφιακό µοντέλο χρωµάτων και χρησι- µοποιείται στην τηλεοπτική µετάδοση σήµατος και σε εφαρµογές συµπίεσης σή- µατος. Η συνιστώσα Y περιγράφει τη ϕωτεινότητα (Luminance), και οι Cb,Cr τις 18

31 Κεφάλαιο 2 Χρωµατικοί Χώροι (a) Αρχική Εικόνα (b) Η συνιστώσα ϕωτεινότητας Υ (c) Η χρωµατική συνιστώσα Cb (d) Η χρωµατική συνιστώσα Cr Σχήµα YCbCr χρωµατικές συνιστώσες πληροφορίες χρώµατος (Chrominance). Συγκεκριµένα η συνιστώσα Cb εκφράζει τη χρωµατική διαφορά ως προς το µπλε, ενώ η Cr τη χρωµατική διαφορά ως προς το κόκκινο [2][13]. Η µετατροπή του RGB χρωµατικού χώρου στον YCbCr γίνεται ϐάσει της παρακάτω σχέσης Y Cb Cr = R G B (2.3.2) Στην παραπάνω σχέση οι R,G,B τιµές ϑεωρούνται ότι ϐρίσκονται στο διάστηµα [0,1]. Με την προϋπόθεση αυτή, η τιµή της Y κυµαίνεται στο διάστηµα [16,240]. Ο αντίστροφος µετασχηµατισµός, δεδοµένου ότι R, G, B ɛ [0, 1], προκύπτει από τη σχέση: R G B = Y Cb Cr (2.3.3) 19

32 Κεφάλαιο 2 Χρωµατικοί Χώροι 2.4 Κώδικας Παρακάτω ϐρίσκεται ο κώδικας σε γλώσσα MATLAB, τον οποίο υλοποιήσαµε για να µετασχηµατίσουµε τις εικόνες στα διάφορα χρωµατικά µοντέλα [10]. (2.3.3a d). 1 baboon=imread('baboon.jpg'); 2 3 %split channels 4 red = baboon(:,:,1); 5 green = baboon(:,:,2); 6 blue = baboon(:,:,3); 7 figure, imshow(baboon); 8 figure, imshow(red); 9 figure, imshow(green); 10 figure, imshow(blue); %convert from rgb to hsv 13 hsv = rgb2hsv(baboon); 14 hue = hsv(:,:,1); 15 sat = hsv(:,:,2); 16 val = hsv(:,:,3); 17 figure, imshow(hue) 18 figure, imshow(sat) 19 figure, imshow(val) %convert from rgb to ycbcr 22 ycbcr = rgb2ycbcr(baboon); 23 y = ycbcr(:,:,1); 24 cb = ycbcr(:,:,2); 25 cr = ycbcr(:,:,3); 26 figure, imshow(y) 27 figure, imshow(cb) 28 figure, imshow(cr) 20

33 Κεφαλαιο 3 Μαθηµατική Μορφολογία Ο τοµέας της µαθηµατικής µορφολογίας έχει προσφέρει ένα πλήθος από τελεστές στην επεξεργασία εικόνας, εκ των οποίων όλοι είναι ϐασισµένοι σε µερικές απλές αρχές της ϑεωρίας συνόλων. Οι τελεστές αυτοί είναι ιδιαιτέρως χρήσιµοι στην ανάλυση δυαδικών εικόνων και συνήθεις εφαρµογές τους περιλαµβάνουν ανίχνευση ακµών, αποµάκρυνση ϑορύβου, ενίσχυση και τµηµατοποίηση εικόνας [1]. Οι µορφολογικοί µετασχηµατισµοί ικανοποιούν τις παρακάτω ιδιότητες : ˆ Αµεταβλητότητα στην µετατόπιση ˆ Αµεταβλητότητα στην κλιµάκωση ˆ Τοπική γνώση, χρησιµοποιούν πληροφορίες µόνο της τοπικής γειτονιάς τους. ˆ Ηµισυνέχεια, ικανοποιούν συγκεκριµένες ιδιότητες συνέχειας. Οι πιο ϐασικοί τελεστές στην µαθηµατική µορφολογία είναι η διαστολή (dilation) και η συστολή ή διάβρωση (erosion). Οι δύο αυτοί τελεστές δέχονται δύο ορίσµατα σαν είσοδο: ˆ Μία εικόνα η οποία ϑα διασταλεί ή ϑα συσταλεί. ˆ Ενα δοµικό στοιχείο, συχνά αναφερόµενο και ως πυρήνας ή µήτρα. Ενα δοµικό στοιχείο µπορεί να έχει οποιοδήποτε σχήµα ή µέγεθος αλλά πρέπει να έχει ένα σηµείο αναφοράς (anchor point). Στις περισσότερες περιπτώσεις το δοµικό στοιχείο είναι ένα συµπαγές 3Ö3 τετράγωνο µε το σηµείο αναφοράς στο κέντρο του ή ένας σταυρός ή ένας δίσκος. Ολοι οι υπόλοιποι µορφολογικοί τελεστές µπορούν να οριστούν µε ϐάση τη διαστολή και τη συστολή και χρησιµοποιώντας τελεστές από τη ϑεωρία συνόλων, όπως είναι η ένωση και η τοµή. Μερικοί από τους πιο σηµαντικούς µορφολογικούς τελεστές είναι το Άνοιγµα και το Κλείσιµο [3]. 21

34 Κεφάλαιο 3 Μαθηµατική Μορφολογία 3.1 ιαστολή και Συστολή Η ιαστολή είναι η συνέλιξη µιας εικόνας ή ενός τµήµατος αυτής µε κάποιο δοµικό στοιχείο. Το δοµικό στοιχείο µπορεί να ϑεωρηθεί ως µια µάσκα και το αποτέλεσµα της ιαστολής είναι αυτό ενός τελεστή εύρεσης τοπικών µεγίστων. Κα- ϑώς ο πυρήνας σαρώνει την εικόνα, υπολογίζουµε τη µέγιστη τιµή των pixel, που επικαλύπτει ο πυρήνας. Στη συνέχεια αντικαθιστούµε τη µέγιστη τιµή που ϐρήκαµε, στο pixel της εικόνας, που ϐρίσκεται κάτω από το σηµείο αναφοράς του πυρήνα. Αυτή η διαδικασία έχει σαν αποτέλεσµα οι ϕωτεινές περιοχές να διογκώνονται, όπως ϕαίνεται και στο Σχήµα 3.1.1b. Αυτή η διόγκωση που προκαλείται εξηγεί το όνοµα τελεστής ιαστολής. Η Συστολή είναι η αντίθετη διεργασία. Η εφαρµογή του τελεστή της Συστολής είναι αντίστοιχη µε τον υπολογισµό του τοπικού ελάχιστου στην επιφάνεια που καλύπτει ο πυρήνας. Η Συστολή παράγει µια νέα εικόνα από την αρχική ακολου- ϑώντας τα παρακάτω ϐήµατα: Καθώς ο πυρήνας σαρώνει την εικόνα, υπολογίζουµε την ελάχιστη τιµή των pixel της εικόνας που επικαλύπτονται από τον πυρήνα και αντικαθιστούµε την τιµή που ϐρήκαµε στο pixel της εικόνας που ϐρίσκεται κάτω από το σηµείο αναφοράς του πυρήνα. Σε γενικές γραµµές, µπορούµε να πούµε ότι η ιαστολή τείνει να µεγαλώσει την περιοχή στην οποία εφαρµόζεται, ενώ η Συστολή να την σµικρύνει. Επίσης η ιαστολή τείνει να εξοµαλύνει κοιλότητες στην εικόνα, ενώ η Συστολή τείνει να εξαφανίσει προεξοχές. Φυσικά τα ακριβή αποτελέσµατα ϑα εξαρτώνται από το δοµικό στοιχείο που ϑα επιλεχθεί, αλλά οι παραπάνω δηλώσεις είναι γενικά αληθείς για τους συχνότερα χρησιµοποιούµενους πυρήνες. (a) Αρχική Εικόνα (b) Η εικόνα (a) µετά από 2 εφαρµογές ιαστολής (c) Η εικόνα (a) µετά από 2 εφαρµογές Συστολής Σχήµα x3 Αποτελέσµατα των τελεστών ιαστολής και Συστολής µε τετράγωνο δοµικό στοιχείο Στην πράξη, ο τελεστής της Συστολής χρησιµοποιείται συνήθως για να απο- µακρύνει ϑόρυβο, όπως µικρά στίγµατα (speckle noise). Η ιδέα πίσω από αυτό έγκειται στο ότι τα στίγµατα όταν ϑα συσταλούν ϑα πάψουν να υπάρχουν, λόγω του 22

35 Κεφάλαιο 3 Μαθηµατική Μορφολογία µικρού τους µεγέθους, ενώ οι µεγαλύτερες περιοχές ϑα µείνουν, οπτικά τουλάχιστον, ανέπαφες. Ο τελεστής της Συστολής χρησιµοποιείται, όταν ϑέλουµε να ϐρούµε συνδεδεµένες περιοχές σε µια εικόνα, δηλαδή µεγάλες διακριτές περιοχές που έχουν το ίδιο χρώµα ή την ίδια ϕωτεινότητα. Η χρησιµότητα της ιαστολής προκύπτει σε πολλές περιπτώσεις, όπου µεγάλες περιοχές κατακερµατίζονται σε µικρότερα τµήµατα, λόγω ϑορύβου, σκιάσεων ή άλλων αιτιών. Η εφαρµογή του τελεστή της ιαστολής έχει σαν αποτέλεσµα τα επιµέρους τµήµατα να διογκωθούν ελαφρώς και να κολλήσουν µεταξύ τους, σχηµατίζοντας µία µεγάλη περιοχή. Το αποτέλεσµα της χρήσης των µορφολογικών τελεστών ϕαίνεται στα σχήµατα και 3.1.2[3]. (a) Αρχική Εικόνα (b) Η εικόνα (a) µετά από ιαστολή (c) Η εικόνα (a) µετά από 2 εφαρ- µογές ιαστολής (d) Η εικόνα (a) µετά από Συστολή Σχήµα x3 Αποτελέσµατα των τελεστών ιαστολής και Συστολής µε τετράγωνο δοµικό στοιχείο 3.2 Ανοιγµα και Κλείσιµο Οι τελεστές Άνοιγµα και Κλείσιµο αποτελούν συνδιασµούς των τελεστών ιαστολής και Συστολής. Στην περίπτωση του Ανοίγµατος, πρώτα εφαρµόζουµε Συστολή και µετά ιαστολή. Το Άνοιγµα χρησιµοποιείται συνήθως, όταν ϑέλουµε να απαριθµήσουµε περιοχές σε µια δυαδική εικόνα. Για παράδειγµα, αν έχουµε κατωφλιώσει µια εικόνα που πάρθηκε από µικροσκόπιο και δείχνει µερικά κύτταρα, ϑα µπορούσαµε να εφαρµόσουµε Άνοιγµα για να διαχωρίσουµε τα κύτταρα µεταξύ τους, πριν αρχίσουµε την καταµέτρηση των περιοχών-κυττάρων. Στο Κλείσιµο πρώτα διαστέλλουµε την εικόνα και µετά την συστέλλουµε. Το Κλείσιµο χρησιµοποιείται στους περισσότερους αλγόριθµους κατάτµησης εικόνας και εξαγωγής αντικειµένων για να µειώσει τα τµήµατα που προκύπτουν από ϑόρυβο. Συνηθέστερα χρησιµοποιείται ο τελεστής Κλείσιµο για την µείωση του ϑορύβου, ακολουθούµενος από τον τελεστή Άνοιγµα για την ένωση γειτονικών µεγάλων πε- ϱιοχών. Παρ όλο που οι δύο αυτοί τελεστές παρουσιάζουν παρόµοια λειτουργία µε τους τελεστές ιαστολή και Συστολή, στην πράξη τείνουν να διατηρήσουν την αρχική επιφάνεια των περιοχών µε µεγαλύτερη ακρίβεια, όπως ϕαίνεται και στο σχήµα [3]. 23

36 Κεφάλαιο 3 Μαθηµατική Μορφολογία (a) Αρχική Εικόνα (b) Η εικόνα (a) µετά από Άνοιγµα (c) Η εικόνα (a) µετά από Κλείσιµο (d) Η εικόνα (a) µετά από Άνοιγµα, Κλείσιµο, 2 εφαρ- µογές ιαστολής και 2 Συστολής Σχήµα Αποτελέσµατα της εφαρµογής των τελεστών ιαστολής, Συστολής, Ανοίγµατος και Κλεισίµατος µε τετράγωνο δοµικό στοιχείο 3x3 3.3 Μορφολογική Ανακατασκευή Η µορφολογική ανακατασκευή µπορεί να ϑεωρηθεί ότι αποτελεί διαδοχικές ιαστολές µιας εικόνας, την οποία ϑα αποκαλέσουµε εικόνα δείκτης, µέχρι το περίγραµµά της να ταιριάξει κάτω από µια δεύτερη εικόνα, που ϑα αποκαλέσουµε εικόνα µάσκα. Στην µορφολογική ανακατασκευή, οι κορυφές στην εικόνα δείκτη, είτε διαστέλλονται είτε γίνονται επίπεδες. Το Σχήµα δείχνει αυτή την την επεξεργασία στη µία διάσταση. Κάθε επιτυχής διαστολή είναι αναγκασµένη να παραµείνει κάτω από τη µάσκα και να µη διογκωθεί παραπέρα. Οταν περαιτέρω διαστολές δεν αλλάζουν πλέον την εικόνα, τότε η διαδικασία σταµατάει [18]. Σχήµα Επαναλαµβανόµενες ιαστολές της εικόνας δείκτη, ϕραγµένες από την εικόνα µάσκα Για να κατανοήσουµε καλύτερα τη µορφολογική ανακατασκευή ϑα παραθέσουµε 24

37 Κεφάλαιο 3 Μαθηµατική Μορφολογία ένα παράδειγµα. Στην παρακάτω εικόνα, µπορούµε να παρατηρήσουµε δύο ϐασικές περιοχές. Η µία από αυτές περιέχει pixel µε τιµές 14 και η άλλη µε τιµές 18. Τα pixels που ϐρίσκονται στο ϕόντο έχουν τιµή 10 εκτός από µερικά που έχουν τιµή 11. Σχήµα Εικόνα Μάσκα Εφαρµόζουµε τη µορφολογική ανακατασκευή ακολουθώντας τα παρακάτω ϐή- µατα: ˆ ηµιουργούµε µια εικόνα δείκτη (Σχήµα 3.3.3). Οπως και µε τα δοµικά στοιχεία στη ιαστολή και τη Συστολή, έτσι και τα χαρακτηριστικά της εικόνας δείκτη καθορίζουν το αποτέλεσµα της ανακατασκευής. Οι κορυφές στην εικόνα δείκτη δείχνουν τη ϑέση των αντικειµένων στην εικόνα µάσκα που ϑέλουµε να δώσουµε έµφαση. Ενας τρόπος να δηµιουργήσουµε µια εικόνα δείκτη, ϑα ήταν απλώς να αφαιρέσουµε 2 από τα pixels της εικόνας µάσκας. Σχήµα Εικόνα είκτης ˆ Εφαρµόζουµε την ανακατασκευή. Βλέπουµε πως στην τελική εικόνα 3.3.4, έχουν εξαφανιστεί όλες οι διακυµάνσεις στην ένταση εκτός από τις κορυφές. 25

38 Κεφάλαιο 3 Μαθηµατική Μορφολογία Σχήµα Εικόνα µετά από Ανακατασκευή Ανοιγµα και Κλείσιµο µε ανακατασκευή Οπως είπαµε και προηγουµένως, το Άνοιγµα είναι µία Συστολή ακολουθού- µενη από µία ιαστολή. Το Άνοιγµα µε ανακατασκευή, όµως, είναι µία Συστολή ακολουθούµενη από µορφολογική ανακατασκευή. Αντίστοιχα το Κλείσιµο µε ανακατασκευή είναι µια ιαστολή ακολουθούµενη από µορφολογική ανακατασκευή. Στην εικόνα ϐλέπουµε µερικά συγκριτικά αποτελέσµατα: (a) Αρχική Εικόνα (b) Η εικόνα (a) σε αποχρώσεις του γκρι (c) Η εικόνα (b) µετά από Άνοιγµα (d) Η Εικόνα (b) µετά από Άνοιγµα µε Ανακατασκευή (e) Η Εικόνα (c) µετά από Κλείσιµο (f) Η Εικόνα (d) µετά από Κλείσιµο µε Ανακατασκευή Σχήµα Αποτελέσµατα µετά από εφαρµογή Ανοίγµατος, Κλεισίµατος, Ανοίγµατος µε Ανακατασκευή και Κλεισίµατος µε Ανακατασκευή 26

39 Κεφάλαιο 3 Μαθηµατική Μορφολογία 3.4 Κώδικας 1 % Erosion and Dilation 2 cameraman = imread('cameraman.jpg'); 3 se = strel('square',3); 4 er = imerode(cameraman, se); 5 er = imerode(er, se); 6 di = imdilate(cameraman, se); 7 di = imdilate(di, se); 8 9 figure, imshow(cameraman); 10 figure, imshow(er); 11 figure, imshow(di); % Opening and Closing 14 blobs = imread('blobs.jpg'); 15 blobs_erode = imerode(blobs, se); 16 blobs_dilate = imdilate(blobs, se); 17 blobs_dilate2 = imdilate(blobs_dilate, se); figure, imshow(blobs); 20 figure, imshow(blobs_erode); 21 figure, imshow(blobs_dilate); 22 figure, imshow(blobs_dilate2); blobs_open = imopen(blobs,se); 25 blobs_close = imclose(blobs,se); 26 blobs_connected = imclose(blobs_open,se); 27 blobs_connected = imdilate(blobs_connected,se); 28 blobs_connected = imdilate(blobs_connected,se); 29 blobs_connected = imerode(blobs_connected,se); 30 blobs_connected = imerode(blobs_connected,se); figure, imshow(blobs_open); 33 figure, imshow(blobs_close); 34 figure, imshow(blobs_connected); %Opening and Closing by Reconstruction 37 cells = imread('cells.jpg'); 38 cells = rgb2gray(cells); 39 se2 = strel('disk', 5); 40 Io = imopen(cells, se2); 41 Ie = imerode(cells, se2); 42 Iobr = imreconstruct(ie, cells); figure, imshow(cells); 45 figure, imshow(io); 46 figure, imshow(iobr); 47 27

40 Κεφάλαιο 3 Μαθηµατική Μορφολογία 48 Ioc = imclose(io, se2); 49 Iobrd = imdilate(iobr, se2); 50 Iobrcbr = imreconstruct(imcomplement(iobrd), imcomplement(iobr)); 51 Iobrcbr = imcomplement(iobrcbr); figure, imshow(ioc); 54 figure, imshow(iobrcbr); 28

41 Κεφαλαιο 4 Τµηµατοποίηση Εικόνας Στον τοµέα της υπολογιστικής όρασης, ο όρος τµηµατοποίηση ή κατάτµηση εικόνας (image segmentation) αναφέρεται στη διαδικασία διαίρεσης µιας ψηφιακής εικόνας σε τµήµατα, τα οποία αντιπροσωπεύουν κάτι συγκεκριµένο, έχουν δηλαδή νόηµα. Ο στόχος µίας τέτοιας επεξεργασίας είναι η απλοποίηση της εικόνας, ώστε να είναι πιο εύκολη η ανάλυσή της. Η κατάτµηση εικόνας αποτελεί ένα στάδιο κρίσιµης σηµασίας σε µεγάλο πλήθος εφαρµογών µηχανικής όρασης, αφού το αποτέλεσµα που ϑα προκύψει ϑα κρίνει σε σηµαντικό ϐαθµό το συνολικό αποτέλεσµα του αλγόριθµου. Τα διάφορα οπτικά χαρακτηριστικά, όπως το χρώµα και η υφή των αντικειµένων, καθώς και η κίνηση στις ακολουθίες εικόνων, ϐοηθούν στην επίτευξη της τµη- µατοποίησης. Οι διάφορες τεχνικές κατάτµησης µπορούν να διαχωριστούν σε αυτές που στρέφονται κυρίως στην αναγνώριση αντικειµένων, αγνοώντας τις χρωµατικές πληροφορίες, ϐασιζόµενες συνήθως σε µονόχρωµη επεξεργασία, και σε αυτές που χρησιµοποιούν τον έγχρωµο χαρακτήρα της εικόνας και υλοποιούν πολυδιάστατη χρωµατική επεξεργασία, ϐρίσκοντας εφαρµογή στην αναγνώριση προσώπου και στην αναγνώριση δέρµατος, στην αναγνώριση πινακίδων στον δρόµο, στην αναγνώριση των ϕώτων πεδήσεως των αυτοκινήτων κ.ο.κ. Στα αρχικά στάδια εξέλιξης της κατάτµησης χρώµατος, η επεξεργασία περιοριζόταν σε εικόνες µε χρώµατα ως αποχρώσεις του γκρι. Μια προσέγγιση στο πρόβληµα στρεφόταν σε εύρεση αποµονωµένων περιοχών, ακµών και γωνιών. Μια άλλη προσέγγιση ϐασισµένη στην οµοιογένεια περιοχών, χρησιµοποιούσε τεχνικές κατωφλίωσης, ανάπτυξης περιοχών, διαίρεσης και συνένωσης, αλλά και άλλες τεχνικές που ϑα αναφερθούν στη συνέχεια. Από την δεκαετία του 90, το ενδιαφέρον στράφηκε σχεδον ολοκληρωτικά στην επεξεργασία έγχρωµων εικόνων. Ο λόγος ήταν ότι οι υπολογιστές είχαν πλέον σηµαντικά µεγαλύτερες δυνατότητες, οι έγχρωµες ψηφιακές κάµερες έγιναν πιο προσιτές, ενώ η ανάπτυξη του ιαδικτύου γέννησε νέες ανάγκες και εφαρµογές που απαιτούσαν χρωµατική κατάτµηση [19][21]. Παρακάτω αναφέρονται µερικές από τις κυριότερες τεχνικές [2][22]. 29

42 Κεφάλαιο 4 Τµηµατοποίηση Εικόνας 4.1 Κατωφλίωση Η πιο απλή µέθοδος κατάτµησης εικόνας είναι η κατωφλίωση. Αυτή η µέθοδος ϐασίζεται σε µία τιµή κατωφλίου για να µετατρέψει µια ασπρόµαυρη εικόνα σε δυαδική. Μία προφανής επέκταση της µεθόδου είναι η πολυκατωφλίωση, δηλαδή η επιλογή διάφορων τιµών κατωφλίων για διαφορετικά επίπεδα του γκρι (Σχήµα 4.1.1). Υπάρχουν πολλές δηµοφιλείς µέθοδοι που κάνουν αυτήν την δουλειά, όπως είναι η µέθοδος της µέγιστης εντροπίας, η µέθοδος του Otsu, ενώ µπορεί να χρησιµοποιηθεί και ο αλγόριθµος k-means για την εύρεση των κατωφλίων[44]. (a) Αρχική Εικόνα (b) Κατωφλίωση µε Τ=50 (c) Κατωφλίωση µε Τ=127 (d) Κατωφλίωση µε Τ=240 (e) Πολυκατωφλίωση µε T 1 =60,T 2 =190 Σχήµα Κατάτµηση εικόνας σε 2 περιοχές µε κατωφλίωση (a-d) και σε 3 περιοχές µε πολυκατωφλίωση (e) 30

43 Κεφάλαιο 4 Τµηµατοποίηση Εικόνας 4.2 Αλγόριθµος K-means Στη στατιστική, o αλγόριθµος k-means αποτελεί µία µέθοδο για την ταξινόµηση n παρατηρήσεων σε k οµάδες. Η κατάταξη των παρατηρήσεων στηρίζεται στην ελαχιστοποίηση της απόστασης όλων των στοιχείων σε κάθε κλάση από το κέντρο της κλάσης αυτής. Αυτο οδηγεί στην τµηµατοποίηση του χώρου των παρατηρήσεων σε κελιά Voronoi. Το πρόβληµα της ταξινόµησης µε αυτόν τον τρόπο είναι υπολογιστικά δύσκολο (NP-hard), αν και υπάρχουν αρκετά αποδοτικοί ευριστικοί αλγόριθµοι, που ϐοηθούν στη γρήγορη σύγκλιση της µεθόδου. Τα ϐήµατα του αλγόριθµου k-means ϕαίνονται στο σχήµα και είναι τα ακόλουθα [2][42][43]: 1. Καθορισµός του πλήθους των κλάσεων, έστω Κ 2. Επιλογή Κ στοιχείων τα οποία αποτελούν τα κέντρα των κλάσεων 3. Υπολογίζουµε για κάθε στοιχείο, την απόστασή του από τα Κ κέντρα. Τοποθετούµε το στοιχείο στην κατάλληλη κλάση µε κριτήριο την ελάχιστη απόσταση 4. Υπολογίζουµε τα νέα κέντρα των κλάσεων, τα οποία είναι η µέση τιµή των στοιχείων κάθε κλάσης 5. Επαναλαµβάνουµε τα ϐήµατα 3 και 4, µέχρι τα κέντρα των κλάσεων να µη µεταβάλλονται πλέον, οπότε ο αλγόριθµος έχει συγκλίνει. (a) k αρχικά κέντρα επιλέγονται από το σύνολο των στοιχείων. Στην προκείµενη περίπτωση k=3 (b) k κλάσεις δηµιουργούνται, τοποθετώντας κάθε στοιχείο στο κοντινότερο κέντρο (c) Υπολογίζονται τα νέα κέντρα, που αντιστοιχούν στον µέσο όρο κάθε κλάσης (d) Επαναλαµ- ϐάνονται τα προηγούµενα ϐήµατα, µέχρι να συγκλίνει ο αλγόριθµος Σχήµα Επίδειξη του αλγόριθµου K-means Στην επεξεργασία εικόνας, και πιο συγκεκριµένα στο πρόβληµα της τµηµατοποίησης, στόχος είναι να ϐρεθούν Κ χρωµατικά κέντρα ή K επίπεδα ϕωτεινότητας, αν µιλάµε για µονόχρωµη εικόνα, στων οποίων τις αντίστοιχες κλάσεις ϑα καταταχθούν τα pixels µιας εικόνας. Για τη µέτρηση της απόστασης των χρωµάτων, στον RGB χρω- µατικό χώρο, χρησιµοποιείται συνήθως η Ευκλείδια απόσταση. Ενα παράδειγµα χρωµατικής κατάτµησης εικόνας ϕαίνεται στις ακόλουθες εικόνες (Σχήµα 4.2.2). 31

44 Κεφάλαιο 4 Τµηµατοποίηση Εικόνας (a) Αρχική Εικόνα (b) K-means ταξινόµηση των pixels της εικόνας (a) σε Κ=4 κλάσεις (c) K-means ταξινόµηση των pixels της εικόνας (a) σε Κ=8 κλάσεις (d) K-means ταξινόµηση των pixels της εικόνας (a) σε Κ=16 κλάσεις (e) K-means ταξινόµηση των pixels της εικόνας (a) σε Κ=32 κλάσεις Σχήµα Τµηµατοποίηση εικόνας µε τον αλγόριθµο K-means 4.3 Κατωφλίωση Ιστογράµµατος Σε αυτή την δηµοφιλή τεχνική, η κατάτµηση ϐασίζεται στο ιστόγραµµα της εικόνας, το οποίο είναι µονοδιάστατο για µονόχρωµες εικόνες και πολυδιάστατο για έγχρωµες. Η γενικότερη λογική είναι ότι η ανίχνευση κορυφών ή κοιλάδων στο ιστόγραµµα, οδηγούν στην ανίχνευση αντικειµένων και στον διαχωρισµό του ϕόντου αντίστοιχα. Στις πολύχρωµες εικόνες ϐέβαια, η διαδικασία είναι πιο περίπλοκη. Τα τρία ιστογράµµατα µπορούν να επεξεργαστούν χωριστά και να συνδιαστούν τα αποτελέσµατα µε στόχο να επικρατήσει η ισχυρότερη υπόθεση κατάτµησης. Συνηθίζεται, οι αλγόριθµοι που εφαρµόζουν κατωφλίωση ιστογράµµατος, να µετασχη- µατίζουν τις εικόνες στα χρωµατικά µοντέλα HSV, HSΙ ή HSL. Αυτός ο µετασχη- µατισµός δίνει το πλεονέκτηµα της εύρεσης αντικειµένων µε ϐάση την απόχρωση των χρωµάτων, αφού συνήθως τα αντικείµενα έχουν οµοιογενή χρώµατα. Επιπρόσ- ϑετα, οι εναλλαγές της ϕωτεινότητας της επιφάνειας των αντικειµένων, που οφείλονται σε κοιλότητες ή σκιές, επηρεάζουν σε µικρότερο ϐαθµό το αποτέλεσµα. Κοινό πρόβληµα σε τέτοιες τεχνικές είναι η παρουσία ϑορύβου. Ο ϑόρυβος µπορεί να δηµιουργήσει κορυφές στο ιστόγραµµα, που δεν αντιστοιχούν σε κάποιο αντικεί- µενο, µε αποτέλεσµα ο αλγόριθµος κατάτµησης είτε να αποτύχει, είτε να παρουσιάσει ϕτωχό αποτέλεσµα. Τις περισσότερες ϕορές, για να µειωθεί η αρνητική επίδραση του ϑορύβου, κρίνεται απαραίτητη η οµαλοποίηση (smoothing) του ιστογράµµατος 32

45 Κεφάλαιο 4 Τµηµατοποίηση Εικόνας ως προεπεξεργασία. 4.4 Κατάτµηση µε ανίχνευση ακµών Η ανίχνευση ακµών είναι ένας καλά ανεπτυγµένος τοµέας στον χώρο της επεξεργασίας εικόνας [20][23][24]. Τα όρια των περιοχών και οι ακµές έχουν πολύ στενή σχέση. Εξάλλου, συνήθως στα όρια των αντικειµένων παρατηρούνται απότοµες αλλαγές στην ένταση της ϕωτεινότητας. Ενώ σε ασπρόµαυρες εικόνες η ανίχνευση ακµών πραγµατοποιείται µε µεγάλη ευκολία, σε έγχρωµες εικόνες, η κατάτµηση είναι πιο πολύπλοκη. ύο κύριες ϕιλοσοφίες επικρατούν: ˆ Επεξεργασία και στα τρία χρώµατα ταυτόχρονα, ˆ Επεξεργασία σε κάθε χρώµα χωριστά και συνδιασµός των επιµέρους αποτελεσµάτων µε διάφορα κριτήρια. Η πρώτη προσέγγιση δεν δίνει σηµαντικότερα αποτελέσµατα σε σχέση µε την επεξεργασία της αντίστοιχης απρόµαυρης εικόνας, ενώ χρειάζεται τον καθορισµό κάποιας γεωµετρικής αναπαράστασης της απόστασης µεταξύ δύο χρωµάτων στον εκάστοτε χώρο αναπαράστασης των χρωµάτων. Μια ενδιαφέρουσα προσέγγιση είναι η πρόβλεψη των ορίων, παρακολουθώντας τις αλλαγές χρωµάτων των pixel και ϐρίσκοντας την κατεύθυνση αυτών των αλλαγών. Ακολουθώντας αυτές τις κατευθύνσεις και συνδυάζοντας τες µεταξύ τους, η εύρεση των ακµών είναι επιτεύξιµη. υστυχώς οι ακµές που αναγνωρίζονται, τις περισσότερες ϕορες περιέχουν ασυνέχειες και δεν συνδέονται. Για να ανιχνευτεί όµως ένα αντικείµενο µέσα σε µία εικόνα, το περίγραµµά του πρέπει να είναι κλειστό για να ορίζει µια κλειστή περιοχή. Λόγω αυτής της πολύ ϐασικής αδυναµίας, έχουν αναπτυχθεί πολλές άλλες τεχνικές κατάτµησης, που σαν αποτέλεσµα δίνουν πάντα κλειστά περιγράµµατα. 4.5 Ανάπτυξη Περιοχών - Region Growing Στις τεχνικές αυτής της κατηγορίας, η επεξεργασία αρχίζει µε τον καθορισµό κάποιων αρχικών σηµείων στην εικόνα (seeds). Κάθε ένα από αυτά τα σηµεία κα- ϑορίζει µια περιοχή (region) και την επεκτείνει προσθέτοντας γειτονικά σηµεία, εφόσον ικανοποιούν ένα προκαθορισµένο κριτήριο οµοιογένειας. Η επέκταση αυτή στα- µατάει όταν κανένα άλλο σηµείο δεν µπορεί να προστεθεί. Το κριτήριο οµοιογένειας παίζει µεγάλο ϱόλο. Αν το κριτήριο είναι σταθερό, τα αποτελέσµατα ϑα εξαρτώνται µόνο από την επιλογή των αρχικών σηµείων. Προκύπτουν λοιπόν κάποιοι προβλη- µατισµοί: ˆ πόσα αρχικά σηµεία (seeds) ϑα διαλέξουµε, ˆ ποια ϑα είναι αυτά, 33

46 Κεφάλαιο 4 Τµηµατοποίηση Εικόνας ˆ µε ποια κριτήρια ϑα τα επιλέξουµε. Στα τελευταία στάδια αυτής της επεξεργασίας, η συνένωση (merging) γειτονικών πε- ϱιοχών ή η αποσύνθεση µιας περιοχής σε περισσότερες (splitting), µπορεί να ϐελτιώσει το τελικό αποτέλεσµα. Πλεονέκτηµα αυτής της µεθόδου, είναι η εξασφάλιση της εξόρυξης συµπαγών και χωρικά συνδεδεµένων περιοχών, σε αντιδιαστολή µε την µέθοδο ανίχνευσης ακµών [25]. 4.6 Τµηµατοποίηση µε Σύγκριση Προτύπων (Template Matching) Η σύγκριση προτύπων είναι µία τεχνική στην ψηφιακή επεξεργασία εικόνας, για την ανίχνευση περιοχών ή τµηµάτων, που ταιριάζουν µε ένα εκ των προτέρων γνωστό πρότυπο. Οταν το αντικείµενο προσδιοριστεί, µπορεί να ονοµατιστεί και να εξαχθεί από την εικόνα. Για τη σύγκριση των προτύπων µε την εικόνα, χρησι- µοποιούνται διάφορες µετρικές, όπως η SAD (άθροισµα των απολύτων διαφορών), η SSD (άθροισµα των διαφορών των τετραγώνων), η ετεροσυσχέτιση κ.α. Το πρότυπο συγκρίνεται διαδοχικά µε όλες τις περιοχές (block από pixel) της εικόνας ή µε ένα σύνολο από πιθανές περιοχές, για την εύρεση της τοποθεσίας του. Η µέθοδος αυτή ϐρίσκει εφαρµογή σε εικόνες µε πολλά αντικείµενα και σε εικόνες που περιέχουν κείµενο και γραφικά µαζί. Αν και σε πολλές περιπτώσεις µπορεί να δώσει αρκετά καλά αποτελέσµατα, οι περισσότερες τεχνικές που χρησιµοποιούν τη µέθοδο σύγκρισης προτύπων χαρακτηρίζονται από υψηλό υπολογιστικό κόστος και συνεπώς µεγάλους χρόνους εκτέλεσης [26][27][29][45]. Σχήµα Παράδειγµα κατάτµησης µε Σύγκριση Προτύπων 4.7 Μετασχηµατισµός Watershed Αρχή Λειτουργίας Μία µονοχρωµατική εικόνα επιπέδων του γκρι, µπορεί να ϑεωρηθεί ως ένα τοπογραφικό ανάγλυφο, όπου η ϕωτεινότητα κάθε pixel ϑα αντιστοιχεί στο ύψος του 34

47 Κεφάλαιο 4 Τµηµατοποίηση Εικόνας ανάγλυφου σε εκείνο το σηµείο. Αν ϱίξουµε νερό σε µία τέτοια επιφάνεια, αυτό ϑα ϱέει κατά µήκος ενός µονοπατιού, µέχρι να καταλήξει σε κάποιο τοπικό ελάχιστο. Αν τώρα πληµµυρίσουµε την τοπογραφική επιφάνεια τοποθετώντας πηγές νερού στα τοπικά ελάχιστα και αν δεν επιτρέψουµε τη συνένωση των υδάτων που προέρχονται από διαφορετικές πηγές χτίζοντας ϕράγµατα µεταξύ τους, τότε ϑα διαιρέσουµε την επιφάνεια στις λεκάνες απορροής (catchment basins) και στους υδροκρίτες (watershed lines) αυτών. Η ιδέα αυτή προτάθηκε για πρώτη ϕορά το 1979 από τους S. Beucher και C. Lantuéjoul και η µέθοδος ονοµάστηκε Watershed by flooding [28][46]. (a) Εικόνα MRI καρδιάς (b) Εικόνα κλίσης της (a) (c) Τοπογραφικό Ανάγλυφο της (b) (d) Υδροκρίτες της εικόνας κλίσης (b) (e) Τοπογραφικό Ανάγλυφο της εικόνας (d) Σχήµα Παράδειγµα κατάτµησης εικόνας µε τη µέθοδο Watershed by flooding Το πρόβληµα της υπερ-τµηµατοποίησης Για να διαχωρίσουµε τις πρωτεϊνες στην εικόνα 4.7.2a, εφαρµόζουµε τον µετασχη- µατισµό Watershed στην εικόνα της κλίσης της. υστυχώς ο µετασχηµατισµός αυτός δηµιουργεί πάρα πολλές λεκάνες απορροής και καθεµιά αντιστοιχεί σε ένα τοπικό ελάχιστο στη συνάρτηση της κλίσης. Τα περισσότερα από αυτά τα ελάχιστα, δηµιουργούνται είτε από ϑόρυβο, είτε από τοπικές ανωµαλίες στην εικόνα και τελικά συµ- ϐάλλουν στην υπερ-τµηµατοποίηση. Τα αποτελέσµατα ϑα µπορούσαν να ϐελτιωθούν 35

48 Κεφάλαιο 4 Τµηµατοποίηση Εικόνας ως ένα ϐαθµό, αν ϕιλτράραµε την εικόνα των κλίσεων πριν τον µετασχηµατισµό. Μία άλλη µέθοδος, που εξαλείφει το πρόβληµα της υπερ-τµηµατοποίησης είναι ο µετασχηµατισµός watershed µε χρήση δεικτών, που ϑα αναλυθεί στη συνέχεια [47] Marker-controlled watershed Μία εξαιρετικά σηµαντική ϐελτίωση του µετασχηµατισµού Watershed αποτελεί το πληµµύρισµα της τοπογραφικής επιφάνειας, τοποθετώντας τις πηγές νερού, όχι πια στα τοπικά ελάχιστα της κλίσης της εικόνας, αλλά σε προκαθορισµένα σηµεία τα οποία ονοµάζονται δείκτες (markers). Το νερό ϑα αρχίσει να κυλάει στο ανάγλυφο δηµιουργώντας τόσες λεκάνες απορροής, όσοι είναι και οι δείκτες που ορίσαµε. Στην εικόνα 4.7.2c ϐλέπουµε πώς έχουν τοποθετηθεί οι δείκτες πάνω στις πρωτεϊνες. Το τελικό αποτέλεσµα της τµηµατοποίησης ϕαίνεται στην εικόνα 4.7.2d. (b) Watershed by flooding και υπερ-τµηµατοποίηση (a) Πρωτεϊνες σε gel ηλεκτροφόρησης (c) Τοποθέτηση εικτών (d) Τελικό αποτέλεσµα Marker-controlled watershed Σχήµα Μετασχηµατισµός Watershed για το διαχωρισµό πρωτεϊνών Στις παρακάτω εικόνες ϐλέπουµε πώς λειτουργεί ο µετασχηµατισµός watershed µε τη χρήση δεικτών, για την τµηµατοποίηση της εικόνας 4.7.3a σε τρεις περιοχές. 36

49 Κεφάλαιο 4 Τµηµατοποίηση Εικόνας (a) Εικόνα Αρχική (b) Επιλογή των δεικτών (c) Τοπογραφικό ανάγλυφο της (a) (d) (e) (f) (g) (h) (i) (j) (k) (l) (m) Τελικό Αποτέλεσµα Σχήµα Πληµµύρισµα του ανάγλυφου από τις πηγές (markers) 37

50 Κεφαλαιο 5 Περιγραφή Σχήµατος Η περιγραφή σχήµατος είναι ένα σηµαντικό ϑέµα τόσο στην ανάλυση, όσο και στη σύνθεση εικόνας. Χρησιµοποιείται για να δώσει λύση στο πρόβληµα της αντιστοίχισης περιοχών ή αντικειµένων ανάµεσα σε δύο ή περισσότερες εικόνες. Το πρόβληµα της αντιστοίχισης εικόνων (image registration), όπως αναφέρεται συνήθως, συναντάται σε πάρα πολλές σύγχρονες εφαρµογές της Υπολογιστικής Ορασης και της Επεξεργασίας Εικόνας [30][31][32]. Μερικές τέτοιες εφαρµογές είναι ˆ Οπτική Ιχνηλάτηση Αντικειµένου ( Object Tracking) ˆ Οπτική Ροή και Εκτίµηση Κίνησης (Optical Flow - Motion Estimation) ˆ Στερεοσκοπική Αντιστοίχιση (Stereo Correspondence) ˆ Σύνθεση Εικόνων Υψηλής Ανάλυσης από ακολουθίες εικόνων χαµηλής ανάλυσης (Super-Resolution) ˆ Ευθυγράµµιση Εικόνων (Image Alignment) κ.α Τα διδιάστατα σχήµατα µπορούν να περιγραφούν µε δύο διαφορετικούς τρόπους. Η πρώτη µέθοδος χρησιµοποιεί το περίγραµµα (contour) του αντικειµένου, για να εξάγει χαρακτηριστικά (features) για την περιγραφή του, και είναι άµεσα συνδεδεµένη µε τις τεχνικές ανίχνευσης ακµών, ενώ η δεύτερη µέθοδος περιγράφει την επιφάνεια (region), που καταλαµβάνει το αντικείµενο στο επίπεδο της εικόνας. Γενικά, ως χαρακτηριστικό µπορεί να ϑεωρηθεί οποιοδήποτε µετρήσιµο µέγεθος, που εξάγεται από µια εικόνα. Η περιγραφή αντικειµένων µε χαρακτηριστικά αναπαριστά τα αντικείµενα στον χώρο τον χαρακτηριστικών, µε αποτέλεσµα η αναγνώρισή τους να ισοδυναµεί µε τη µέτρηση της οµοιότητας µεταξύ των χαρακτηριστικών των αντικειµένων [35][36]. Συνεπώς, τα χαρακτηριστικά πρέπει να είναι σε ϑέση να διαχωρίζουν και να περιγρά- ϕουν, κατά το δυνατόν µονοσήµαντα τα αντικείµενα. Εύλογα, λοιπόν συµπεραίνουµε ότι οι τρόποι αναπάραστης σχήµατος πρέπει να έχουν συγκεκριµένες επιθυµητές ιδιότητες [1]: 38

51 Κεφάλαιο 5 Περιγραφή Σχήµατος 1. Μοναδικότητα. Αυτή η ιδιότητα είναι κρίσιµης σηµασίας στην αναγνώριση αντικειµένων, γιατί κάθε αντικείµενο πρέπει να έχει µια µοναδική αναπαράσταση. 2. Πληρότητα. Αυτή αναφέρεται στη δυνατότητα αναπαράστασης όλων των πι- ϑανών σχηµάτων. 3. Αµεταβλητότητα σε γεωµετρικούς µετασχηµατισµούς. Η αµεταβλητότητα σε µετατόπιση, περιστροφή, κλιµάκωση και ανάκλαση είναι πολύ σηµαντική στις εφαρµογές αναγνώρισης αντικειµένων. 4. Ευαισϑησία. Είναι η ικανότητα ενός τρόπου αναπαράστασης να αντανακλά εύκολα τις διαφορές µεταξύ παρόµοιων αντικειµένων. 5. Αφαίρεση λεπτοµέρειας. Αυτή αναφέρεται στην ικανότητα της αναπαράστασης να αναπαριστά τα ϐασικά χαρακτηριστικά ενός σχήµατος και να αφαιρεί τις λεπτοµέρειες. Αυτή η ιδιότητα είναι άµεσα συσχετισµένη µε την ανθεκτικότητα της αναπαράστασης στο ϑόρυβο. Σχήµα Τυπικό Σύστηµα Εξαγωγής και χρήσης χαρακτηριστικών Οπως παρατηρούµε στο σχήµα 5.0.1, πριν από το στάδιο της εξαγωγής χαρακτηριστικών υπάρχει συνήθως το στάδιο της προεπεξεργασίας (pre-processing) καθώς και το στάδιο της τµηµατοποίησης των εικόνων. Στο κεφάλαιο αυτό ϑα παρουσιάσουµε µερικές από τις πιο γνωστές τεχνικές περιγραφής σχήµατος. Σηµειώνεται οτι δεν υπάρχει γενική µεθοδολογία για την επιλογή του είδους των χαρακτηριστικών που ϑα χρησιµοποιηθούν και ότι αυτά επιλέγονται κατάλληλα για την κάθε εφαρµογή. 5.1 Κωδικοποίηση Αλυσίδας (Chain Code) H κωδικοποίηση αλυσίδας είναι µια χωρίς απώλειες κωδικοποίηση, που χρησι- µοποιείται σε µονοχρωµατικές εικόνες για την παράσταση των περιγραµµάτων περιοχών ή αντικειµένων. Τα περιγράµµατα περιγράφονται από ένα σύνολο συνδεδεµένων γραµµικών τµηµάτων, που έχουν καθορισµένα µήκη και διευθύνσεις. Συνήθως η παράσταση ϐασίζεται σε 4 ή σε 8 προκαθορισµένες διευθύνσεις οι οποίες και ταξινοµούνται όπως στο Σχήµα [40]. 39

52 Κεφάλαιο 5 Περιγραφή Σχήµατος Σχήµα Καθορισµός των διευθύνσεων για κωδικοποίηση αλυσίδας Ξεκινώντας από ένα εικονοστοιχείο του περιγράµµατος, προσδιορίζουµε το κοντινότερο εικονοστοιχείο και µεταβαίνουµε σε αυτό. Ο κωδικοποιητής σε κάθε ϐήµα, αποθηκεύει το σύµβολο που αντιστοιχεί στην κατεύθυνση της κίνησης που κάναµε. Η διαδικασία αυτή καταλήγει σε µια αλυσίδα από ακέραιους αριθµούς (0 έως και 7, στην περίπτωση των οχτώ διευθύνσεων), όπως ϕαίνεται και στο παράδειγµα του Σχήµατος Μερικοί δηµοφιλείς κώδικες αλυσίδας είναι οι Freeman Chain Code of Eight Directions (FCCE), Vertex Chain Code (VCC), Three OrThogonal symbol chain code (3OT) και Directional Freeman Chain Code of Eight Directions (DFCCE). Σχήµα Παράδειγµα Εφαρµογής του Freeman Chain Code µε πολυγωνιοποίηση Υπάρχουν πολλές εφαρµογές για την κωδικοποίηση αλυσίδας Freeman, η πιο σηµαντική, όµως, είναι για τη δηµιουργία του Ιστογράµµατος Κώδικα Αλυσίδας (Chain Code Histogram - CCH). Το CCH είναι ένα ιστόγραµµα το οποίο κατασκευάζεται καταµετρώντας το πλήθος των µεταβάσεων ίδιας κατεύθύνσης σε µία αλυσίδα αναπαράστασης περιγράµµατος. Ενα τέτοιο ιστόγραµµα έχει µερικές ενδιαφέρουσες ιδιότητες, η πιο αξιοσηµείωτη εκ των οποίων είναι η αµεταβλητότητα που παρουσιάζει κατά την περιστροφή του αντικειµένου σε γωνίες πολλαπλάσιες των 45 o. Οπως ϕαίνεται και στο παρακάτω σχήµα, η περιστροφή κατά 45 o οδηγεί στον κυκλικό µετασχη- µατισµό του ιστογράµµατος. Αυτή η ιδιότητα ανάγει τη χρήση του ιστογράµµατος 40

53 Κεφάλαιο 5 Περιγραφή Σχήµατος κώδικα αλυσίδας σε µέθοδο αναγνώρισης αντικειµένων, που δεν επηρεάζεται από τέτοιου είδους περιστροφές [3]. Σχήµα (a) Αναπαράσταση Περιγράµµατος µε Κώδικα Αλυσίδας Freeman και το προκύπτον ιστόγραµµα. (b) Αναπαράσταση του ίδιου αντικειµένου, περιστραµµένου 45 µοίρες δεξιόστροφα. Το αντίστοιχο ιστόγραµµα παραµένει το ίδιο, κυκλικά µετατοπισµένο κατά µία ϑέση. 5.2 Γεωµετρικές Ροπές (Image Moments) Οι γεωµετρικές ϱοπές µπορούν να ϑεωρηθούν ως ένα πολύ χρήσιµο σύνολο στατιστικών χωρικών χαρακτηριστικών των αντικειµένων [37]. Η χρησιµότητά τους έχει επιβεβαιωθεί σε πολλές εφαρµογές ανάλυσης εικόνων, σχηµάτων και ανάκτησης εικόνων, όπως για παράδειγµα στην οπτική αναγνώριση χαρακτήρων. Οι διδιάστατες συνεχείς γεωµετρικές ϱοπές µιας εικόνας f(x, y) δίνονται από τη σχέση: m pq = ˆ ˆ x p y q f(x, y)dxdy (5.2.1) Τα p και q παίρνουν µη αρνητικές τιµές και δηµιουργούν έτσι, ένα µη περιορισµένο σύνολο ϱοπών. Οσο περισσότερες ϱοπές έχουµε, τόσο καλύτερα µπορούµε να περιγράψουµε την πρότυπη εικόνα f(x, y). Στην περίπτωση των διακριτών εικόνων, η σχέση των γεωµετρικών ϱοπών έχει τη µορφή: m pq = x x p y q f(x, y) (5.2.2) y 41

54 Κεφάλαιο 5 Περιγραφή Σχήµατος Κεντρικές Ροπές Οι κεντρικές ϱοπές ορίζονται ως: ˆ ˆ µ pq = (x x) p (y ȳ) q f(x, y)dxdy (5.2.3) όπου x = m 10 και ȳ = m 01 m 00 m 00 (5.2.4) οι συντεταγµένες του κέντρου ϐάρους του αντικειµένου. Είναι ϕανερό ότι στην περίπτωση δυαδικής εικόνας, η σχέση των κεντρικών ϱοπών γίνεται: µ pq = (x x) p (y ȳ) q x (5.2.5) y Οι κεντρικές ϱοπές µπορούν να προσδιοριστούν από τις κανονικές ϱοπές. παράδειγµα, οι κεντρικες ϱοπές ϐαθµού 0 έως 3 δίνονται από τις σχέσεις: Για µ 00 = m 00 (5.2.6) µ 01 = 0 (5.2.7) µ 10 = 0 (5.2.8) µ 11 = m 11 xm 01 = m 11 ȳm 10 (5.2.9) µ 20 = m 20 xm 10 (5.2.10) µ 02 = m 02 ȳm 01 (5.2.11) µ 21 = m 21 2 xm 11 ȳm x 2 m 01 (5.2.12) µ 12 = m 12 2ȳm 11 xm ȳ 2 m 10 (5.2.13) µ 30 = m 30 3 xm x 2 m 10 (5.2.14) µ 03 = m 03 3ȳm ȳ 2 m 01 (5.2.15) Οι κεντρικές ϱοπές είναι αµετάβλητες ως προς τη µετατόπιση των αντικειµένων (translation invariant) Κανονικοποιηµένες Κεντρικές Ροπές Οι κανονικοποιηµένες κεντρικές ϱοπές η pq δίνονται από τις σχέσεις: η pq = µ pq µ γ (5.2.16) 00 όπου γ = p + q + 1 (5.2.17) 2 για p + q = 2, 3,... Οι κανονικοποιηµένες κεντρικές ϱοπές υπολογίζονται έτσι ώστε να είναι αµετάβλητες ως προς την µετατόπιση και ως προς την κλιµάκωση των αντικειµένων (translation and scale invariant). 42

55 Κεφάλαιο 5 Περιγραφή Σχήµατος Ανεξάρτητες Ροπές Hu Για να χρησιµοποιηθούν ϱοπές στην αναγνώριση αντικείµενων, ϑα πρέπει αυτές να παρουσιάζουν ανεξαρτησία, τουλάχιστον ως προς την µετατόπιση, την κλιµάκωση και την περιστροφή. Ο Hu, το 1962, προσδιόρισε ότι το ακόλουθο σύνολο των επτά ϱοπών πληρεί τις παραπάνω προδιαγραφές. Οι ϱοπές ϕ 1 έως ϕ 6 καθώς και το µέτρο της ϕ 7 παρουσιάζουν επίσης αµεταβλητότητα σε ανάκλαση. ϕ 1 = η 20 + η 02 (5.2.18) ϕ 2 = (η 20 η 02 ) 2 + 4η 2 11 (5.2.19) ϕ 3 = (η 30 3η 12 ) 2 + (3η 21 η 03 ) 2 (5.2.20) ϕ 4 = (η 30 + η 12 ) 2 + (η 21 + η 03 ) 2 (5.2.21) ϕ 5 = (η 30 3η 12 )(η 30 + η 12 )[(η 30 + η 12 ) 2 3(η 21 + η 03 ) 2 ]+ (3η 21 η 03 )(η 21 + η 03 )[3(η 30 + η 12 ) 2 (η 21 + η 03 ) 2 ] (5.2.22) ϕ 6 = (η 20 η 02 )[(η 30 + η 12 ) 2 (η 21 + η 03 ) 2 ] + 4η 11 (η 30 + η 12 )(η 21 + η 03 ) (5.2.23) ϕ 7 = (3η 21 η 03 )(η 30 + η 12 )[(η 30 + η 12 ) 2 3(η 21 + η 03 ) 2 ]+ (3η 12 η 30 )(η 21 + η 03 )[3(η 30 + η 12 ) 2 (η 21 + η 03 ) 2 ] (5.2.24) Εξαιτίας του όρου µ p+q το δυναµικό εύρος των όρων η pq, και συνεπώς του διανύσµατος Hu [ϕ 1...ϕ 7 ], είναι πολύ µεγάλο. Για αυτό το λόγο συνήθως το διάνυσµα Hu αναπαρίσταται σε λογαριθµική κλίµακα [38]. Μερικές από τις µετρικές απόστασης που χρησιµοποιούνται για τη σύγκριση δύο διανυσµάτων Hu, είναι οι αποστάσεις συνηµιτόνου, Minkowski, Mahalanobis [33] και οι ακόλουθες [3]: 1. D 1 (A, B) = 7 i=1 1 m A i 1 m B i (5.2.25) 2. D 2 (A, B) = 7 m A i i=1 m B i (5.2.26) 3. D 3 (A, B) = 7 i=1 m A i m A i m B i (5.2.27) µε m A i και m B i να ορίζονται ως m A i m B i = sign(h A i ) log h A i = sign(h B i ) log h B i 43

56 Κεφάλαιο 5 Περιγραφή Σχήµατος όπου h A i και h B i είναι τα διανύσµατα Hu των αντικειµένων A και Β. Προφανώς, όσο πιο µικρές είναι οι τιµές της απόστασης D, τόσο πιο όµοια είναι τα αντικείµενα που συγκρίνουµε. Σχήµα Τιµές των Ροπών Hu για τους χαρακτήρες Α, Ι, Ο, Μ, F Εξαγωγή Χαρακτηριστικών ϐασισµένα στις Ροπές Οι ϱοπές είναι χαρακτηριστικά, που επιτρέπουν την ανακατασκευή των αντικειµένων που περιγράφουν. Παρ ότι δεν έχουν άµεσα κατανοητό γεωµετρικό νόηµα, µπορούν να χρησιµοποιηθούν για τον υπολογισµό αρκετών γεωµετρικών παραµέτρων. Στις παρακάτω ενότητες, χρησιµοποιούνται µέχρι δεύτερης τάξης ϱοπές για την εξαγωγή χαρακτηριστικών απλών αντικειµένων, που δεν υπερβαίνουν την πολυπλοκότητα µιας έλλειψης [39]. Για να περιγράψουµε µε µεγαλύτερη ακρίβεια πιο πολύπλοκα αντικείµενα, ϑα πρέπει να χρησιµοποιήσουµε ϱοπές µεγαλύτερης τάξης ή πιο πολύπλοκες ϱοπές, όπως είναι οι ϱοπές Zernike ή οι ϱοπές Legendre. Οσο µεγαλύτερης τάξης είναι οι ϱοπές που χρησιµοποιούµε, τόσο µικρότερο ϑα είναι το σϕάλµα ανακατασκευής του αντικειµένου που περιγράφουµε Επιφάνεια Α Αν η εικόνα µας είναι δυαδική και η συνάρτηση έντασης της ϕωτεινότητας f(x, y), παίρνει µηδενικές τιµές για τον ϕόντο και τιµή ένα στα σηµεία που ϐρίσκονται στο εσωτερικό της περιµέτρου του αντικειµένου µας, τότε από τη σχέση 5.2.2, ϐλέπουµε ότι η ϱοπή µηδενικής τάξης αντιστοιχεί στην επιφάνεια του αντικειµένου. A = m 00 (5.2.28) 44

57 Κεφάλαιο 5 Περιγραφή Σχήµατος Κέντρο Βάρους Οπως είδαµε και προηγουµένως κατά την περιγραφή των κεντρικών ϱοπών, το κέντρο ϐάρους του αντικειµένου δίνεται από τη σχέση 5.2.4, την οποία ξαναγρά- ϕουµε εδώ: x = m 10 A = m 10 (5.2.29) m 00 ȳ = m 01 A = m 01 m 00 (5.2.30) Μεγάλος και µικρός άξονας έλλειψης Οι δύο αυτοί άξονες αντιστοιχούν στους άξονες της έλλειψης, η οποία µπορεί να χρησιµοποιηθεί σαν προσέγγιση του περιγραφόµενου αντικειµένου. Σχηµατικά ϕαίνονται στην εικόνα και υπολογίζονται από την παρακάτω σχέση: α 1,2 = 2 (µ 20 + µ 02 ) ± 4 µ (µ 20 µ 02 ) 2 m 00 (5.2.31) Σχήµα Ελλειψη µε τα ϐασικά της στοιχεία. Ε1-Ε2: Εστίες έλλειψης, Β: Μεγάλος ή µέγας άξονας, ΑΓ: µικρός άξονας Προσανατολισµός Θ Ο προσανατολισµός Θ ενός αντικειµένου είναι η γωνία µεταξύ του κύριου ή µεγάλου άξονα του αντικειµένου και του άξονα χ, όπως ϕαίνεται και στο σχήµα Μπορεί να ϐρεθεί µε τον παρακάτω τύπο: Θ = 1 2 arctan 2µ 11 µ 20 µ 02 (5.2.32) 45

58 Κεφάλαιο 5 Περιγραφή Σχήµατος Σχήµα Σχήµα έλλειψης µε προσανατολισµό Θ Εκκεντρότητα ε Η εκκεντρότητα ε υπολογίζεται από τη σχέση: ε = α 2 1 α 2 2 α 1 (5.2.33) Η εκκεντρότητα της έλλειψης, δηλώνει πόσο στενή ή πλατιά είναι η έλλειψη. Για ε = 0 έχουµε κύκλο, ενώ καθώς η ε προσεγγίζει τη µονάδα, η έλλειψη τείνει να γίνει γραµµή. Συνεπώς ο κύκλος είναι έλλειψη µε µηδενική εκκεντρότητα. Μπορούµε να υπολογίσουµε και απευθείας την εκκεντρότητα: ε = (µ20 µ 02 ) 2 4µ 2 11 (µ 20 + µ 02 ) 2 (5.2.34) Επιφάνεια Ελλειψης Η επιφάνεια της έλλειψης που περιγράφει καλύτερα ένα αντικείµενο υπολογίζεται ως: Ε = πα 1 α 2 = 4π m 00 (µ 20 µ 02 µ 2 11) (5.2.35) 5.3 Γεωµετρικά Χαρακτηριστικά Τα γεωµετρικά χαρακτηριστικά προκύπτουν άµεσα από τη γεωµτερική µορφή των αντικειµένων. Στη συνέχεια ϑα αναπτύξουµε ορισµένα από τα σηµαντικότερα γεωµετρικά χαρακτηριστικά. 46

59 Κεφάλαιο 5 Περιγραφή Σχήµατος Περίµετρος Η περίµετρος ενός αντικειµένου ορίζεται ως το µήκος του εξωτερικού περιγράµ- µατος ενός αντικειµένου. Σε µια ψηφιακή εικόνα το χαρακτηριστικό της περιµέτρου µπορεί να ισούται απλά µε το πλήθος των εικονοστοιχείων της περιµέτρου Χαρακτηριστικά Περιγεγραµµένων Ορθογωνίων Πολλές ϕορές ϑέλουµε να προσεγγίσουµε τα αντικείµενα µε µερικά απλά σχή- µατα πρότυπα, όπως είναι ένα περιγεγραµµένο ορθογώνιο ή ένας περιγεγραµµένος κύκλος. Στη συνέχεια, από αυτά τα σχήµατα ϑα αντλήσουµε επιπλέον χαρακτηριστικά. Στο σχήµα ϐλέπουµε µερικά χαρακτηριστικά των περιγεγραµµένων ορθογωνίων, όπως είναι το ύψος, το πλάτος, ο προσανατολισµός και το κέντρο ϐάρους. Από αυτά προκύπτουν και άλλα χαρακτηριστικά, όπως η αναλογία ύψους προς πλάτος, η επιφάνεια και η περίµετρος των ορθογωνίων, ο λόγος της επιφάνειας του αντικειµένου προς την επιφάνεια του ορθογωνίου κ.α. Σχήµα (a) Κατακόρυφο Περιγεγραµµένο Ορθογώνιο (b) Ελάχιστο Περιγεγραµµένο Ορθογώνιο 47

60 Κεφάλαιο 5 Περιγραφή Σχήµατος Κυκλική ιακύµανση (Circular Variance) και Ελλειπτική ιακύµανση (Elliptic Variance) O κύκλος και η έλλειψη αποτελούν ιδανικά πρότυπα για τη σύγκρισή τους µε αντικείµενα. Η κυκλική διακύµανση είναι ανάλογη µε το µέσο τετραγωνικό σϕάλµα της σύγκρισης του αντικειµένου µε τον περιγεγραµ- µένο κύκλο. Λαµβάνει µηδενική τιµή για έναν τέλειο κύκλο και αυξάνεται καθώς το αντικείµενο γίνεται πιο πολύπλοκο και επίµηκες. Αντίστοιχα ορίζεται και η ελλειπτική διακύµανση, µε τη διαφορά ότι η σύγκριση δεν γίνεται µε πρότυπο τον κύκλο αλλά µε την έλλειψη που ελαχιστοποιεί το µέσο τετραγωνικό σϕάλµα [3][40]. Σχήµα (a) Κυκλική ιακύµανση (b) Ελλειπτική ιακύµανση Σχήµα (a) Περίγραµµα 10 σηµείων και ο περιγεγραµµένος κύκλος του (b) Προσέγγιση του περιγράµµατος µε την ελάχιστη έλλειψη Μέγιστη και Ελάχιστη Ακτίνα Τα R max και R min ορίζονται ως η µέγιστη και η ελάχιστη απόσταση αντίστοιχα του κέντρου µάζας του αντικειµένου από την περιφέρειά του. Μερικές ϕορές ο λόγος R max /R min λαµβάνεται ως επιπλέον χαρακτηριστικό για την εκκεντρότητα ή τη µήκυνση του αντικειµένου [2]. 48

61 Κεφάλαιο 5 Περιγραφή Σχήµατος Καµπυλότητα (Circularity) ή Συντελεστής Μορφής (Form Factor) Η καµπυλότητα ενός αντικειµένου [40] καθορίζεται από τη σχέση: C = 4πA P 2 (5.3.1) όπου Α : η επιφάνεια του αντικειµένου Β : η περίµετρος του αντικειµένου Είναι ϕανερό ότι στην περίπτωση ενός κυκλικού αντικειµένου έχουµε C = 1, στην περίπτωση ενός τετραγώνου π και γενικά σε όλα τα αντικέιµενα µε επίµηκες 4 σχήµα έχουµε C < 1. Η καµπυλότητα κάποιες ϕορές αναφέρεται και ως συντελεστής µορφής. Σχήµα Καµπυλότητα Κυρτότητα (Convexity) Η κυρτότητα µπορεί να οριστεί ως ο λόγος του µήκους του κυρτού περιβλήµατος ως προς το µήκος του περιγράµµατος του αντικειµένου. Το κυρτό περίβληµα (convex hull) ορίζεται ως το περίγραµµα µε το ελάχιστο µήκος, που µπορεί να περιβάλλει το αντικείµενο [40]. Σχήµα Κυρτότητα 49

62 Κεφαλαιο 6 Υλικό & Λογισµικό 6.1 Υλικό Κάµερα Η κάµερα που χρησιµοποιήθηκε ήταν µία Logitech QuickCam Pro for Notebooks (Σχήµα 6.1.1) µε ανάλυση 2MP. Είναι µια εµπορική web-camera, προσανατολισµένη για χρήση στο σπίτι ή το γραφείο. Σχήµα Logitech QuickCam Pro for Notebook Τα ακριβή στοιχεία του µοντέλου της είναι τα παρακάτω: 50

63 Κεφάλαιο 6 Υλικό & Λογισµικό 8-level product numbers (Japan), (Rest of the world) Release date USB PID USB BCD x0991 0x0005 Description First release Πίνακας 6.1 Ακριβή χαρακτηριστικά µοντέλου QuickCam Pro for Notebooks υστυχώς η εταιρεία Logitech δεν δηµοσιοποιεί τα τεχνικά χαρακτηριστικά των προϊόντων της, και για αυτό οι µοναδικές πληροφορίες, που µπορέσαµε να συλλέξουµε για την κάµερα ϐρίσκονταν στη σελίδα και στο επίσηµο ϕόρουµ της Logitech, µέσα από διάφορες συζητήσεις χρηστών. Στον παρακάτω πίνακα ϕαίνονται οι διαφορετικοί τρόποι λειτουργίας της σε σχέση µε την κωδικοποίηση του ϐίντεο, την ανάλυση της εικόνας και το µέγιστο ϱυθµο καρέ ανά δευτερόλεπτο. Σχήµα Τρόποι λειτουργίας της κάµερας Στο ϕόρουµ της εταιρείας υπήρχαν πληροφορίες για την εστιακή απόσταση της κάµερας, από όπου υπολογίσαµε την οριζόντια και κατακόρυφη γωνία ϑέασης. Συγκεκριµένα, οι πληροφορίες που ϐρήκαµε ήταν οι παρακάτω ˆ Τύπος Αισϑητήρα : 1/3.2" ˆ Αποτελεσµατική Εστιακή Απόσταση (EFL) : 3.7 mm ˆ ιαγώνια Γωνία Θέασης (DFoV) : 75 51

64 Κεφάλαιο 6 Υλικό & Λογισµικό Στην εικόνα ϐλέπουµε µερικά τυπικά µεγέθη αισϑητήρων [51]. Με κόκκινο, έχουµε σηµειώσει τον δικό µας τύπο αισϑητήρα και τα χαρακτηριστικά µεγέθη της διαγωνίου, του ύψους και του πλάτους του. Εχοντας στη διάθεσή µας αυτά τα δεδοµένα και χρησιµοποιώντας τον τύπο όπου α = 2 arctan( d 2f ) (6.1.1) α: Γωνία ϑέασης που ϑέλουµε να υπολογίσουµε d: ιάσταση (διαγώνιος, ύψος, πλάτος) για την οποία ϑέλουµε να υπολογίσουµε την αντίστοιχη γωνία ϑέασης f: Αποτελεσµατική Εστιακή Απόσταση παίρνουµε τα αποτελέσµατα Οριζόντια Γωνία Θέασης : Κατακόρυφη Γωνία Θέασης : ιαγώνια Γωνία Θέασης : Οι πειραµατικές µετρήσεις που κάναµε για την εύρεση των γωνιών ϑέασης, µας έδωσαν τα ακόλουθα αποτελέσµατα, τα οποία δεν απέχουν πολύ από τους ϑεωρητικούς υπολογισµούς: Οριζόντια Γωνία Θέασης : 62.5 Κατακόρυφη Γωνία Θέασης :

65 Κεφάλαιο 6 Υλικό & Λογισµικό Σχήµα Τυπικά Μεγέθη Αισϑητήρων Υπολογιστής Η ανάπτυξη του κώδικα και οι πρώτες δοκιµές των αλγορίθµων έγιναν σε ϕορητό υπολογιστή µε τα ακόλουθα χαρακτηριστικά ˆ Μοντέλο : HP Pavilion dv7 Notebook PC ˆ Αρχιτεκτονική : x86 ˆ Επεξεργαστής : Intel(R) Core(TM)2 Duo CPU 2.53GHz ˆ Μνήµη : 4GB SODIMM DDR2 Synchronous 800 MHz (1.2 ns) ˆ Κάρτα Γραφικών : GeForce 9600M GT, nvidia Corporation Η ϱοµποτική πλατφόρµα, στην οποία λειτούργησε ο αλγόριθµος, κατά τη διάρκεια του διαγωνισµού είχε τα παρακάτω χαρακτηριστικά ˆ Αρχιτεκτονική : amd64 (x86_64) ˆ Επεξεργαστής : Intel(R) i7 840QM ˆ Μνήµη : 8GB DDR3 1333MHz ˆ Κάρτα Γραφικών : N/A 53

66 Κεφάλαιο 6 Υλικό & Λογισµικό 6.2 Λογισµικό Λειτουργικό Σύστηµα ˆ Ο ϕορητός υπολογιστής είχε εγκατεστηµένο λειτουργικό Ubuntu LTS (Lucid Lynx) µε πυρήνα ˆ Στο ϱοµπότ εγκαταστάθηκαν τα Debian 6.0 (Squeeze) µε πυρήνα Ανάπτυξη Κώδικα ˆ Η γλώσσα που επιλέχθηκε για την ανάπτυξη του κώδικα είναι η C++ και ο compiler που χρησιµοποιήσαµε είναι ο g++, έκδοσης ˆ Ορισµένα τµήµατα των αλγορίθµων υλοποιήθηκαν πρώτα στο MATLAB και στη συνέχεια έγινε η µεταφορά του κώδικα σε C++. H έκδοση του MATLAB, που χρησιµοπoιήθηκε είναι η (R2008b). ˆ Επιλέχθηκε η χρήση του λειτουργικού συστήµατος ROS (Robotic Operating System) και η έκδοση Diamondback. To ROS προσφέρει πληθώρα ϐιβλιο- ϑηκών και εργαλείων, που ϐοηθούν στην ανάπτυξη εφαρµογών ϱοµποτικής. [48] ˆ Χρησιµοποιήθηκε η OpenCV (Open Source Computer Vision), η οποία είναι µια ϐιβλιοθήκη ανοιχτού λογισµικού. ιαθέτει ένα µεγάλο σύνολο συναρτήσεων για την ανάπτυξη εφαρµογών υπολογιστικής όρασης πραγµατικού χρόνου. [49] ˆ Τέλος, χρησιµποιήθηκε η ϐιβλιοθήκη GNU Scientific Library (GSL), η οποία περιέχει περισσότερες από 1000 µαθηµατικές συναρτήσεις. [50] Προγράµµατα ˆ Για τη χειροκίνητη επεξεργασία και αποθήκευση εικόνων χρησιµοποιήθηκε το πρόγραµµα GIMP ˆ Για τη ϱύθµιση των παραµέτρων της κάµερας χρησιµοποιήθηκε το πρόγραµµα GUVCView. Το συγκεκριµένο πρόγραµµα, εκτός από το γραφικό περιβάλλον, παρέχει και ένα σύνολο εντολών για τη ϱύθµιση των παραµέτρων της κάµερας 54

67 Κεφάλαιο 6 Υλικό & Λογισµικό µε κώδικα. Χρησιµοποιήσαµε µερικές συναρτήσεις του, για να ϱυθµίζουµε την κάµερα αυτόµατα, κάθε ϕορά που εκκινούσε ο αλγόριθµος. Οι ϱυθµίσεις που κάναµε ήταν οι ακόλουθες Απενεργοποίηση λειτουργίας αυτόµατης εξισσορόπησης ϑερµοκρασίας λευκού (Auto White Balance Temperature) Απενεργοποίηση λειτουργίας αυτόµατου προσδιορισµού χρόνου έκθεσης (Auto Exposure Time) Χειροκίνητη ϱύθµιση εξισσορόπησης ϑερµοκρασίας λευκού (White Balance Temperature) Χειροκίνητη ϱύθµιση χρόνου έκθεσης (Exposure Time) Χειροκίνητη ϱύθµιση επιπέδου Ενίσχυσης (Gain) Χειροκίνητη ϱύθµιση επιπέδoυ χρωµατικού Κορεσµού (Saturation) 55

68 Κεφαλαιο 7 Υλοποίηση 7.1 Εισαγωγή Στο παρόν κεφάλαιο παρουσιάζεται η σχεδίαση του συστήµατος που υλοποιήθηκε για την εκπόνηση της διπλωµατικής εργασίας. Στο σχήµα ϐλέπουµε τα τρία υποσυστήµατα που δηµιουργήθηκαν. Σχεδίαση του συστήµατος εξαγωγής αντικειµένων και παρακολούθησης τους σε δι- Σχήµα αδοχικά καρέ Για το υποσύστηµα που επιτελεί την τµηµατοποίηση της εικόνας, αναπτύχθηκαν τρεις διαφορετικοί αλγόριθµοι, κάθε ένας εκ των οποίων χρησιµοποιεί διαφορετική τεχνική κατάτµησης. Συγκεκριµένα, ˆ ο πρώτος αλγόριθµος χρησιµοποιεί µορφολογικούς τελεστές και ανίχνευση ακ- µών, ˆ ο δεύτερος χρησιµοποιεί µορφολογικούς τελεστές και το µετασχηµατισµό Watershed, ˆ ενώ ο τρίτος επιτυγχάνει χρωµατική κατάτµηση, µε σύγκριση προτύπων. Το αποτέλεσµα της τµηµατοποίησης είναι µία λίστα, που περιέχει τα αντικείµενα που ϐρέθηκαν στην εικόνα. Αυτή η λίστα, δίνεται σαν είσοδος στο επόµενο υποσύστηµα, το οποίο είναι υπεύθυνο για την εξαγωγή χαρακτηριστικών από το περίγραµµα και 56

69 Κεφάλαιο 7 Υλοποίηση την επιφάνεια των αντικειµένων. Σε αυτο το στάδιο, όσα αντικείµενα δεν πληρούν συγκεκριµένες προδιαγραφές που έχουµε ϑέσει, ϑεωρούνται ϑόρυβος και διαγρά- ϕονται από τη λίστα. Στη συνέχεια η λίστα αποτελεί την είσοδο του παρακολουθητή (tracker). Ο παρακολουθητής αποτελεί ένα υποσύστηµα µε µνήµη, υπό την έννοια ότι απο- ϑηκεύει και χρησιµοποιεί τα αντικείµενα, που έχει δεχτεί σαν είσοδο προηγούµενες χρονικές στιγµές. Στόχος του είναι να κάνει αντιστοίχιση των αντικειµένων σε διαδοχικά καρέ και να παρακολουθεί την κίνησή τους. Η έξοδος που τελικά αποδίδει είναι η οριζόντια και η κατακόρυφη γωνία στην οποία παρατηρείται το αντικείµενο σε σχέση µε την κάµερα. Στη συνέχεια αναλύονται οι αλγόριθµοι κάθε υποσυστήµατος. 7.2 Αλγόριθµοι Κατάτµησης Εικόνας Ο αλγόριθµος κατάτµησης µε Ανίχνευση Ακµών Περιγραφή Ο αλγόριθµος αυτός στοχεύει στην εξαγωγή των αντικειµένων, µέσω της ανίχνευσης των ακµών που δηµιουργούν τα περιγραµµάτά τους. Η συγγραφή του κώδικα έγινε σε γλώσσα c++, χρησιµοποιώντας τη ϐιβλιοθήκη OpenCV. Τα ϐήµατα του αλγόριθ- µου είναι τα παρακάτω: Βήµα 1 Μετασχηµατισµός της εικόνας σε µονοχρωµατική. Βήµα 2 Εξισσορόπηση Ιστογράµµατος (Equalization). Βήµα 3 Λείανση εικόνας µε γκαουσιανό ϕίλτρο (Gaussian Blur). Βήµα 4 Εφαρµογή Μορφολογικών Τελεστών, όπως ιαστολή, Συστολή, Άνοιγµα, Κλείσιµο. Βήµα 5 Εφαρµογή Ανιχνευτή Ακµών Canny. Βήµα 6 Εφαρµογή του Τελεστή ιαστολή. Βήµα 7 Εξαγωγή Περιγραµµάτων Αντικειµένων από την πληροφορία των ακµών. Αρχικά ο αλγόριθµος δέχεται µια έγχρωµη εικόνα και την µετασχηµατίζει σε εικόνα αποχρώσεων του γκρι. Ακολουθεί ένα στάδιο προεπεξεργασίας (Βήµατα 2-3) το 57

70 Κεφάλαιο 7 Υλοποίηση Σχήµα ιάγραµµα ϱοής του αλγόριθµου κατάτµησης µε τεχνική Ανίχνευσης Ακµών οποίο είναι ιδιαιτέρως σηµαντικό για τα επόµενα ϐήµατα του αλγόριθµου. Ουσιαστικά ένα µέρος της τµηµατοποίησης γίνεται σε αυτό το στάδιο. Στη συνέχεια, η χρήση του ανιχνευτή ακµών Canny παράγει µία εικόνα ακµών, η οποία στην ιδανική περίπτωση, αναδεικνύει τα περιγράµµατα των αντικειµένων που ϑέλουµε να εξάγουµε. Η επεξεργασία που λαµβάνει χώρα στο Βήµα 6 είναι απαραίτητη, διότι το αποτέλεσµα του ανιχνευτή ακµών, τις περισσότερες ϕορές, δεν αποδίδει αντικεί- µενα µε κλειστά περιγράµµατα, κάτι που είναι απαραίτητο για να επιτευχθεί σωστή τµηµατοποίηση και περαιτέρω ανάλυση της εικόνας. Στο σχήµα µπορούµε να δούµε το διάγραµµα ϱοής του αλγόριθµου κατάτµησης µε ανίχνευση ακµών που αναπτύξαµε. 58

71 Κεφάλαιο 7 Υλοποίηση Αποτελέσµατα Στη συνέχεια ϑα δείξουµε µε εικόνες πώς επιδρούν τα ενδιάµεσα στάδια του αλγόριθµου στην προς επεξεργασία εικόνα και πώς προκύπτει το τελικό αποτέλεσµα. Στο σχήµα ϐλέπουµε πώς ο αλγόριθµος µετασχηµατίζει την είσοδο για να παράγει την τελική δυαδική εικόνα, απ όπου εξάγονται τα αντικείµενα. (a) Αρχική Εικόνα (b) Η grayscale εκδοχή της εικόνας (a) (c) Η εικόνα (b) µετά το στάδιο της προ-επεξεργασίας (d) Η εικόνα ακµών Canny, µετά από εφαρµογή στην εικόνα (c) (e) Η εικόνα ακµών (d) µετά από διαστολή (f) Τα αντικείµενα που προέκυψαν από την εικόνα (e) Σχήµα Ενδιάµεσα αποτελέσµατα αλγόριθµου κατάτµησης µε ανίχνευση ακµών Χρόνοι Εκτέλεσης Οι χρόνοι εκτέλεσης του αλγόριθµου κατάτµησης µε ανίχνευση ακµών κυµαίνονταν µεταξύ των 20-80ms, µε είσοδο έγχρωµες εικόνες, ανάλυσης 640x480. Ο σηµαν- 59

72 Κεφάλαιο 7 Υλοποίηση τικότερος παράγοντας που επηρεάζει το χρόνο εκτέλεσης είναι η πολυπλοκότητα της εικόνας, αν περιέχει δηλαδή πολλές ακµές και συνεπώς πολλά περιγράµµατα αντικειµένων προς αναγνώριση. Για τη ϐελτίωση των χρονικών επιδόσεων, κατά την εξαγωγή των περιγραµµάτων, απορρίπταµε όσα δεν ήταν κλειστά και όσα δεν πληρούσαν κάποιες ϐασικές συνθήκες σχετικές µε το σχήµα τους. Για παράδειγµα, όσα περιγράµµατα είχαν µήκος µικρότερο από 40 pixels ϑεωρούνταν ϑόρυβος και αποκλείονταν Ο αλγόριθµος κατάτµησης µε µετασχηµατισµό Watershed Περιγραφή Το µεγάλο πλεονέκτηµα της κατάτµησης µε µετασχηµατισµό watershed σε σχέση µε την τεχνική ανίχνευσης ακµών, είναι ότι η τµηµατοποίηση δηµιουργεί µόνο πε- ϱιοχές µε κλειστά περιγράµµατα. Ο αλγόριθµος αυτός έχει αναπτυχθεί στο Matlab και τον δοκιµάσαµε µε σκοπό να δούµε αν τα αποτελέσµατά του είναι καλύτερα σε σχέση µε αυτά που µας έδινε ο προηγούµενος αλγόριθµος. Τα ϐήµατα του αλγόρι- ϑµου είναι τα ακόλουθα: Βήµα 1 Μετασχηµατισµός της εικόνας σε µονοχρωµατική. Βήµα 2 Υπολογισµός ακµών µε χρήση τελεστή Sobel. Βήµα 3 Εύρεση εικτών, που αντιστοιχούν σε αντικείµενα που ϐρίσκονται στο προσκήνιο. Βήµα 4 Εύρεση εικτών, που αντιστοιχούν σε αντικείµενα που ϐρίσκονται στο ϕόντο. Βήµα 5 Εφαρµογή του µετασχηµατισµού Watershed µε εικτοδότηση. Ο αλγόριθµος δέχεται µία µονοχρωµατική εικόνα και υπολογίζει την εικόνα των ακµών της. Tο πιο λεπτό και δύσκολο σηµείο είναι η εύρεση των δεικτών, τόσο των αντικειµένων που ϑεωρούµε ότι ϐρίσκονται στο προσκήνιο (foreground), όσο και του ϕόντου (background). Στην υλοποίηση που δοκιµάσαµε [52] γίνεται η παραδοχή, ότι στις ϑέσεις που ϐρίσκονται τα αντικείµενα, παρατηρούνται τοπικά µέγιστα στη συνάρτηση της ϕωτεινότητας της εικόνας. Εχοντας υπολογίσει τα τοπικά µέγιστα, δηµιουργούµε µία δυαδική εικόνα, όπου έχει τιµή 1 στις περιοχές των µεγίστων και 0 αλλού. Η εικόνα αυτή ϑα αποτελέσει την εικόνα δεικτών των αντικειµένων προσκηνίου. Την εικόνα δεικτών παρασκηνίου, ϑα την πάρουµε κατωφλιώνοντας την αρχική εικόνα και υπολογίζοντας το διάγραµµα Voronoi της. Μετά την κατωφλίωση, οι σκοτεινές περιοχές ϑα έχουν τιµή 0 και οι πιο ϕωτεινές τιµή 1. Το επόµενο ϐήµα είναι να εφαρµόσουµε τον µετασχηµατισµό watershed µε δεικτοδότηση, στην εικόνα 60

73 Κεφάλαιο 7 Υλοποίηση ακµών, χρησιµοποιώντας τις εικόνες δεικτών που υπολογίσαµε. Το διάγραµµα ϱοής ϕαίνεται στο σχήµα Σχήµα ιάγραµµα ϱοής του αλγόριθµου κατάτµησης µε µετασχηµατισµό Watershed 61

74 Κεφάλαιο 7 Υλοποίηση Αποτελέσµατα Στις εικόνες που ακολουθούν (Σχήµα 7.2.4) ϐλέπουµε πώς λειτουργεί ο µετασχηµατισµός watrershed µε δεικτοδόητηση. (a) Αρχική Εικόνα (b) Η grayscale αρνητική εκδοχή της εικόνας (a) (c) (b) (d) Η εικόνα (b) µετά από µορφοποίηση (e) Η εικόνα εικτών των Αντικειµένων προσκηνίου (f) Οι δείκτες προσκηνίου, όπως αντιστοιχούν στην εικόνα (d) (g) Η κατωφλιωµένη εικόνα (d) (h) Η εικόνα δεικτών ϕόντου ή το διάγραµµα Voronoi της (g) (i) Η τελική τµηµατοποιηµένη εικόνα Σχήµα Η εικόνα ακµών της Ενδιάµεσα αποτελέσµατα αλγόριθµου κατάτµησης µε µετασχηµατισµό Watershed Χρόνοι Εκτέλεσης Ο παραπάνω αλγόριθµος έκανε περίπου 1.8s για να επεξεργαστεί µία έγχρωµη εικόνα διαστάσεων 640x480. O χρόνος εκτέλεσης είναι αρκετά µεγάλος και δεν πληρεί τις προδιαγραφές για να υιοθετηθεί σε µια εφαρµογή πραγµατικού χρόνου. Αν και ο συγκεκριµένος αλγόριθµος δοκιµάστηκε µόνο σε γλώσσα Matlab, οι αντίστοιχες συναρτήσεις των µορφολογικών τελεστών και του µετασχηµατισµού watershed στην OpenCV, δεν αναµένονται να είναι δραµατικά πιο γρήγορες. 62

75 Κεφάλαιο 7 Υλοποίηση Ο αλγόριθµος χρωµατικής κατάτµησης µε σύγκριση προτύπων Περιγραφή Στον τελευταίο αλγόριθµο τµηµατοποίησης που αναπτύξαµε, επιλέξαµε να δοκιµάσουµε µια τεχνική χρωµατικής κατάτµησης. Ο λόγος που µας οδήγησε να χρησι- µοποιήσουµε την χρωµατική πληροφορία ήταν κυρίως το γεγονός, ότι οι εικόνες, που ϑέλουµε να επεξεργαστούµε, έχουν ϕόντο µε έντονη και χαρακτηριστική χρω- µατική υφή. Η συγγραφή του κώδικα έγινε σε γλώσσα c++, χρησιµοποιώντας τη ϐιβλιοθήκη OpenCV. Ο αλγόριθµος είναι εκπαιδευόµενος, µε την έννοια ότι πρέπει να του δωθούν αρχικά, εικόνες πρότυπα, που αντιστοιχούν είτε στο ϕόντο είτε στα αντικείµενα, και να γίνουν διάφοροι υπολογισµοί. Τα ϐήµατα του αλγόριθµου είναι τα ακόλουθα: Εκπαίδευση Βήµα 1 ηµιούργησε µία συλλογή εικόνων, που αντιπροσωπεύουν χρωµατικά το ϕόντο. Βήµα 2 Μετασχηµατισµός εικόνων στο χρωµατικό χώρο YCbCr. Βήµα 3 Απόρριψη καναλιού ϕωτεινότητας Y. Βήµα 4 Συλλογή όλων των pixel των εικόνων και εφαρµογή K-means για εύρεση K i κυρίαρχων χρωµατικών κέντρων στο χώρο CbCr. Βήµα 5 Επανάλαβε τα Βήµατα 1-4, αυτή τη ϕορά χρησιµοποιώντας εικόνες που δείχνουν αντικείµενα. Βήµα 6 Αποθήκευσε τα K = K 1 + K 2 κέντρα που ϐρέθηκαν, όπου K 1 είναι τα κέντρα του ϕόντου και K 2 τα κέντρα των αντικειµένων. Βήµα 7 Αποθήκευσε εικόνες διαστάσεων NxN, που ϑα αποτελέσουν τα πρότυπα για την εξαγωγή του ϕόντου. Βήµα 8 Αποθήκευσε εικόνες διαστάσεων NxN, που ϑα αποτελέσουν τα πρότυπα για την εξαγωγή των αντικειµένων. Βήµα 9 Υπολόγισε και αποθήκευσε τα ιστογράµµατα, όλων των εικόνων προτύπων. 63

76 Κεφάλαιο 7 Υλοποίηση Λειτουργία Βήµα 1 ιάβασε εικόνα προς τµηµατοποίηση. Βήµα 2 Χώρισε την εικόνα σε NxN περιοχές (ο αριθµός του επιλέγεται από το ϐήµα δειγµατοληψίας). Βήµα 3 ιάλεξε µια περιοχή και υπολόγισε το ιστόγραµµά της. Βήµα 4 Σύγκρινε το ιστόγραµµα της περιοχής, µε όλα τα ιστογράµµατα των προτύπων. Κατάταξε την περιοχή σαν περιοχή ϕόντου ή αντικειµένου, ανάλογα µε το αποτέλεσµα της σύγκρισης. Βήµα 5 Επανάλαβε από το Βήµα 2, µέχρι να έχουν ελεγχθεί όλες οι περιοχές. Η χρωµατική τµηµατοποίηση που επιτυγχάνουµε µε αυτόν τον αλγόριθµο ϐασίζεται στη σύγκριση περιοχών της εικόνας µε συγκεκριµένα πρότυπα και την κατάταξή τους στη συνέχεια. Για να συγκρίνουµε τα πρότυπα µε τις περιοχές, πρώτα υπολογίζουµε τα ιστογράµµατά τους. Αρχικά ϐρίσκουµε K χρωµατικά κέντρα στο χρωµατικό χώρο CbCr, τα οποία ϑα πρέπει να αντιστοιχούν στα χρώµατα που απαντώνται συχνότερα στις εικόνες που ϑα κληθούµε να επεξεργαστούµε. Τα ιστογράµµατα που χρησι- µοποιούµε έχουν K bins, κάθε ένα εκ των οποίων αντιστοιχεί σε ένα χρωµατικό κέντρο. Για να υπολογίσουµε το ιστόγραµµα ενός προτύπου, ϐάζουµε κάθε pixel να ψηφίσει το bin, του οποίου το κέντρο απέχει την πιο µικρή απόσταση (Bhattacharyya, Cosine, Chi-Square [33][34]) από το pixel. Η ίδια διαδικασία γίνεται και για τον υπολογισµό ιστογραµµάτων περιοχών, µε τη διαφορά ότι κάθε pixel ψηφίζει σε περισσότερα από ένα bin, δίνοντας περισσότερες ψήφους στα bins που αντιστοιχούν στα πιο κοντινά κέντρα και λιγότερες σε αυτά που αντιστοιχούν στα πιο µακρινά. Η σύγκριση δύο ιστογραµµάτων µας δίνει αποτέλεσµα που πλησιάζει στο 0 αν τα ιστογράµµατα µοιάζουν και κοντά στο 1 αν είναι τελείως διαφορετικά. Στη συνέχεια ταξινοµούµε τις περιοχές µε µια απλή κατωφλίωση των αποτελεσµάτων, π.χ όσες περιοχές απέχουν από τα πρότυπα ϕόντου µικρότερη απόσταση από 0.3 ϑεωρούνται περιοχές παρασκηνίου. Το διάγραµµα ϱοής του αλγόριθµου ϕαίνεται στα σχήµατα και

77 Κεφάλαιο 7 Υλοποίηση Σχήµα (Στάδιο Α) ιάγραµµα ϱοής του αλγόριθµου χρωµατικής κατάτµησης µε Σύγκριση Προτύπων 65

78 Κεφάλαιο 7 Υλοποίηση Σχήµα (Στάδιο Β) ιάγραµµα ϱοής του αλγόριθµου χρωµατικής κατάτµησης µε Σύγκριση Προτύπων Για να γίνει πιο γρήγορη και εύκολη η διαδικασία της εκπαίδευσης δηµιουργήσαµε ϐοηθητικό πρόγραµµα µε γραφικό περιβάλλον. Η διαδικασία της εκπαίδευσης έχει διαχωριστεί σε δύο στάδια. Το πρώτο στάδιο αφορά την εύρεση των Κ χρωµατικών κέντρων, ενώ το δεύτερο την εύρεση και αποθήκευση των προτύπων. Μερικές εικόνες από το περιβάλλον του ϐοηθητικού προγράµµατος, ϕαίνονται παρακάτω. 66

79 Κεφάλαιο 7 Υλοποίηση Σχήµα Εικόνες από το πρώτο στάδιο εκπαίδευσης και την εύρεση των Κ κέντρων Στην εικόνα ϐλέπουµε στο παράθυρο µε τίτλο Source, ϐίντεο της επιλογής µας ή εικόνες που λαµβάνουµε Ϲωντανά από κάποια κάµερα που έχουµε συνδεδεµένη. Πατώντας το πλήκτρο space δεσµεύουµε το καρέ που προβάλλεται εκείνη τη στιγµή στο παράθυρο Source και το εµφανίζουµε στο παράθυρο Screenshot. Τώρα µπορούµε να επιλέξουµε, µε το ποντίκι, περιοχές της ϕωτογραφίας και στη συνέχεια να τις αποθηκεύσουµε σαν αντιπροσωπευτικές περιοχές αντικειµένων (κλάση Α), πατώντας το πλήκτρο Ζ, ή να τις αποθηκεύσουµε σαν αντιπροσωπευτικές περιοχές του ϕόντου (κλάση Β), πατώντας το πλήκτρο Χ. Αν ϑέλουµε να τραβήξουµε νέα ϕωτογραφία από το παράθυρο Source, πατάµε πάλι το space. Αφού τελειώσουµε µε την επιλογή περιοχών, κάνοντας click µε το ποντίκι, πάνω στο παράθυρο Result εµφανίζεται µία εικόνα που αναπαριστά τον χρωµατικό χώρο CbCr. Κάθε σηµείο στο διδιάστατο χώρο, έχει καταταχθεί στην περιοχή ενός κέντρου, όπως ϕαίνεται και χρωµατικά. Η εικόνα δείχνει το δεύτερο στάδιο της εκπαίδευσης. Η λειτουργικόητα των παραθύρων Source και Screenshot παραµένει η ίδια, µόνο που τώρα πια δεν επιλέγουµε περιοχές αλλά επιλέγουµε και αποθηκεύουµε πρότυπα µε συγκεκριµένες διαστάσεις. Στο παράθυρο Result αν κάνουµε click, εµφανίζεται ένας πιθανοτικός χάρτης, που δείχνει για κάθε pixel, ποια είναι η πιθανότητα να είναι αντικείµενο. Στο παράθυρο Class δείχνουµε το τελικό αποτέλεσµα µετά από κατωφλίωση και κατάταξη όλων των pixel σε δύο ή περισσότερες κλάσεις. Αρχικά, αφού δεν έχει επιλεγεί ακόµα κανένα πρότυπο, κανένα σηµείο αυτής της εικόνας δεν έχει καταταχθεί σε κάποια κλάση. Συνεπώς η πιθανότητα κατάταξης µιας πε- ϱιοχής στην κλάση Α ή στην κλάση Β είναι 0.5. Αυτό αποτυπώνεται στο παράθυρο Result, όπου αν κάνουµε click ϑα πάρουµε σαν αποτέλεσµα µια γκρι εικόνα. Στη συνέχεια επιλέγουµε πρότυπα για την κάθε κλάση και κάνουµε click στο παράθυρο 67

80 Κεφάλαιο 7 Υλοποίηση Σχήµα Εικόνες από το δεύτερο στάδιο εκπαίδευσης και την επιλογή των προτύπων Result για να δούµε πώς επηρεάζεται το αποτέλεσµα από τα πρότυπα που διαλέγουµε. Φροντίζουµε να επιλέγουµε πρότυπα από περιοχές, που έχουν γκρι χρώµα στον πιθανοτικό χάρτη και υποδηλώνουν ότι δεν έχουν καταταχθεί. Στο τέλος, στην εικόνα πιθανοτήτων ϑα πρέπει να ξεχωρίζουν µε λευκό χρώµα τα αντικείµενα της κλάσης Α και µε µαύρο χρώµα τα αντικείµενα της κλάσης Β Αποτελέσµατα Μερικά ενδεικτικά αποτελέσµατα του αλγόριθµου χρωµατικής κατάτµησης µπορούµε να δούµε στις εικόνες που ακολουθούν (Σχήµα 7.2.9). Στις τρείς πρώτες περιπτώσεις γίνεται ταξινόµηση των περιοχών σε δύο κλάσεις. Στις εικόνες πιθανοτήτων ϐλέπουµε µε ανοιχτό χρώµα τις περιοχές στις οποίες η πιθανότητα να αποτελούν αντικείµενα ή περιοχές ενδιαφέροντος είναι υψηλή. Αντιθέτως, µε σκούρο ή µαύρο χρώµα χρωµατίζονται οι περιοχές των οποίων η πιθανότητα να µας ενδιαφέρουν είναι µηδενική. Στην εικόνα (j) επιχειρούµε τµηµατοποίηση µε σύγκριση προτύπων, που δεν ανήκουν πλέον σε δύο κλάσεις αλλά σε τέσσερεις. Στο αποτέλεσµα ϐλέπουµε µε διαφορετικό χρώµα τις περιοχές που έχουν καταταχθεί σε διαφορετικές κλάσεις Χρόνοι Εκτέλεσης Οι χρόνοι εκτέλεσης του αλγόριθµου χρωµατικής κατάτµησης εξαρτώνται από διάφορους παράγοντες και παραµέτρους. Οι κυριότεροι είναι ˆ Η διάσταση της εικόνας που πρόκειται να επεξεργαστεί ˆ Η διάσταση της γειτονιάς που λαµβάνουµε υπ όψη για τον υπολογισµό του ιστογράµµατος µιας περιοχής ενός pixel 68

81 Κεφάλαιο 7 Υλοποίηση (a) Αρχική Εικόνα (d) Αρχική Εικόνα (e) (g) Αρχική Εικόνα (h) Εικόνα οτήτων (j) Σχήµα (b) Εικόνα οτήτων πιθαν- Εικόνα πιθανοτήτων Αρχική Εικόνα πιθαν- (k) (c) Τελικό Αποτέλεσµα (f) Τελικό Αποτέλεσµα (i) Τελικό Αποτέλεσµα Τελικό Αποτέλεσµα Αποτελέσµατα του αλγόριθµου χρωµατικής κατάτµησης 69