Α.Τ.Ε.Ι. Κ ΑΒΑΛΑΣ ΤΜΗΜΑ ΒΙΟΜ ΗΧΑΝΙΚΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ "ΑΝΙΧΝΕΥΤΕΣ ΑΚ Μ Ω Ν ΤΑΣΟΣ ΕΥΑΓΓΕΛΟΣ ΕΠΙΒΛΕΠΩΝ ΚΑΘΗΓΗΤΗΣ ΚΡΙΝΙΔΗΣ ΣΤΕΛΛΙΟΣ

Transcript

1 Α.Τ.Ε.Ι. Κ ΑΒΑΛΑΣ ΤΜΗΜΑ ΒΙΟΜ ΗΧΑΝΙΚΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ "ΑΝΙΧΝΕΥΤΕΣ ΑΚ Μ Ω Ν ΤΑΣΟΣ ΕΥΑΓΓΕΛΟΣ ΕΠΙΒΛΕΠΩΝ ΚΑΘΗΓΗΤΗΣ ΚΡΙΝΙΔΗΣ ΣΤΕΛΛΙΟΣ ΚΑΒΑΛΑ 2009

2 Περίληψη Η παρακάτω πτυχιακή εργασία περιλαμβάνει την ανάπτυξη ορισμένων ανιχνευτών ακμών σε βίντεο (η εφαρμογή υποστηρίζει αρχεία τύπου AVI). Αυτοί οι ανιχνευτές ακμών έχουν την δυνατότητα να εφαρμοστούν σε ολόκληρο το βίντεο ή σε τμήμα του (δηλαδή από κάποιο frame του βίντεο σε κάποιο άλλο). Οι ανιχνευτές που υλοποιούνται είναι : ανιχνευτής ακμών με μάσκες Sobel, ανιχνευτής ακμών με μάσκες Laplace ανιχνευτής ακμών με μάσκες Prewitt ανιχνευτής ακμών με τον αλγόριθμο Canny Η παραπάνω διαδικασία πραγματοποιείται σε γλώσσα προγραμματισμού C. Το πρόγραμμα περιλαμβάνει παραθυρικό περιβάλλον ανοίγματος του αρχείου, επιλογής του ανιχνευτή που επιθυμεί ο χρήστης και των παραμέτρων αυτών μέσω του παραθυρικού περιβάλλοντος (κουμπιά και παράθυρα διαλόγων). Επίσης μέσω του παραθυρικού περιβάλλοντος ο χρήστης καθορίζει τα frames του αρχείου βίντεο που θέλει να εφαρμοστούν οι ανιχνευτές. Τέλος ο χρήστης μπορεί να σώσει το επεξεργασμένο βίντεο σε ένα νέο αρχείο με το όνομα που ο ίδιος επιθυμεί. C om piler (μεταγλω ττιστής) Για την μεταγλώττιση του κώδικα χρησιμοποιήθηκε ο GCC compiler, ο οποίος μπορεί να βρεθεί στην ιστοσελίδα Π αραθυρικό Περιβάλλον (G raphical U ser Interface - GUI) Για την δημιουργία του παραθυρικού περιβάλλοντος χρησιμοποιήθηκε το πλαίσιο FLTK. To FLTK framework, είναι μια συλλογή από κλάσεις της C++, το οποίο βοήθα στη δημιουργία εφαρμογών των windows χωρίς την περαιτέρω γνώση από Microsoft s Win32 API. Το παραπάνω πλαίσιο βρίσκεται στην ιστοσελίδα Διάβασμα (Reading) αρχείων AVI Για το διάβασμα των αρχείων τύπου AVI χρησιμοποιήθηκε το Microsoft s Video for Windows (VFW) API. Το συγκεκριμένο πρόγραμμα δίνει την δυνατότητα αναπαραγωγής από τα Windows ψηφιακών βίντεο. Για την επεξεργασία της εικόνας, την αποθήκευση του βίντεο καθώς και την δημιουργία των ανιχνευτών χρησιμοποιήθηκε η γλώσσα προγραμματισμού C 2

3 Π εριεχόμ ενα 1ο ΚΕΦΑΛΑΙΟ...5 ΕΙΣΑΓΩΓΗ Ανίχνευση Ακμών Επεξεργασία εικόνας Computer Vision Κίνητρα ο ΚΕΦΑΛΑΙΟ...8 ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ (ΦΙΛΤΡΑΡΙΣΜΑ) Βαθυπερατά Φίλτρα Φίλτρα μέσης τιμής Φίλτρα Gaussian μορφής Φίλτρα διάμεσης τιμής Ηψιπερατά φίλτρα Uksharp m asking Επεξεργασία έγχρωμης εικόνας Ομομορφική επεξεργασία (Homomorplιίc Processing) ο ΚΕΦΑΛΑΙΟ ΑΝΙΧΝΕΥΣΗ ΑΚΜΩΝ (EDGE DETECTION) Μια πρώτη προσέγγιση της διαδικασίας ανίχνευσης ακμών Α μέθοδος 1η παράγω γος (Βάθμωση - Gradient) Β μέθοδος - 2η παράγω γος (L aplacian) L a p la c ia n o f G a u s s ia n ( L o G ) Ανιχνευτής ακμής με την μέθοδο Canny Ανίχνευση ακμών σε έγχρωμη εικόνα Κριτήρια σωστής ανίχνευσης ακμών Ο Διανυσματικός χώρος τ ω ν σημάτων που αποτελούνται από n σημεία μίας εικόνας Εισαγωγικά ο ΚΕΦΑΛΑΙΟ GRAPHICAL USER INTERFACE (GUI) ΠΕΡΙΒΑΛΛΟΝ (INTERFACE) OPEN A V I INFORMATION B A R ALGORITHM START FRAME-END FRAME THRESHOLD PLAY A V I ΜΠΑΡΑ ΚΥΛΙΣΗΣ SAVE A V I ΕΠΙΛΟΓΟΣ...42 Βιβλιογραφία...Σφάλμα! Δεν έχει οριστεί σελιδοδείκτης. 3

4 Π εριεχόμενα σχημάτω ν Σχήμα 2. 1 Το αποτέλεσμα της συνέλιξης για την τιμή της εικόνας στη θέση nj,n2 που έχει τιμήε. y(n1,n2)=aρ1+βρ2+cρ3,+dρ4,+ερ5+fρ6+gρ7+hρ8+ιρ9 9 Σχήμα 2. 2 Απόκριση συχνότητας (2 διαστάσεων) για το φίλτρο μέσης τιμής. Στις χαμηλές συχνότητες γύρω από το σημείο (0,0) το πλάτος είναι μεγάλο. Οι συχνότητες -1 και 1 αντιστοιχούν στο fs /2 11 Σχήμα 2.3 Η αρχική εικόνα και η φιλτραρισμένη έξοδος μάσκα μέσης τιμής 3χ3 και 7χ7. Είναι εμφανής η θόλωση καθώς και η επίδραση του μήκους της μάσκας. 11 Σχήμα 2.4 Εξασθένιση του θορύβου με 3χ3 κάσκα μέσης τιμής. 12 Σχήμα έξοδος του φίλτρου διάμεσης τιμής είναι=20. Και προκύπτει ως η 5η τιμή στη αύξουσα διάταξη των τιμών των pixel του παραθύρου. Εαν εφαρμόζαμε φίλτρο μέσης τιμής (3.3) η έξοδος θυ τήταν 1/9( )=26.55 Σφάλμα! Δεν έχει οριστεί σελιδοδείκτης. Σχήμα 2. 6 Έξοδος median φίλτρου. Ο κρουστικός θόρυβος είναι 10% και εξαλείφεται εντελώς. 16 Σχήμα 2. 7Μερικές υψιπερατές μάσκες 16 Σχήμα 2.8 Η αρχική εικόνα f(n 2,n2) λογαριθμειται και με τα δύο φίλτρα ξεχωρίζονται οι δυο συνιστώσες. Στο τέλος γίνεται η αντίστροφη πράξη με την εκθετική συνάρτηση. 19 Σχήμα 3.1 (α) ιδανική βηματική ακμή (step), (β) ράμπα (ramp), (γ) ακμή τύπου οροφής (roof) 21 Σχήμα 3.2 Η συνάρτηση εντάσεως f(χ) έχει πρώτη παράγωγο f '(χ) και δεύτερηβ'(χ). Όλα τα σημεία f '(χ) πάνω από το κατώφλιο θεωρούνται σημεία ακμής. Αντίθετα ένα μόνο σημείο υπάρχει όπου] (χ). =0 Σφάλμα! Δεν έχει οριστεί σελιδοδείκτης. Σχήμα 3. 3 Στον αρχικό υπολογισμό του Gradient υπολογίζεται η απόλυτη τιμή και στη συνέχεια θεωρείται σημείο ακμής εάν η τιμή V f ( χ ) είναι μεγαλύτερη από ένα κατώφλιο. 22 Σχήμα 3. 4 Η αρχική εικόνα α) επεξεργασμένη με Roberts β) Prewitt γ) Sobel δ ) 25 Σχήμα 3.5 Το (γ) είναι η απόκριση το υ (α) σ εlaplacian. Ο μηδενισμός δεν εμφανίζεται αλλά φαίνεται καθαρά η θέση του λόγω του θετικού και αρνητικού σημείου. Σ το (δ) που αντιστοιχεί στη ράμπα (β ) φαίνεται το σημείο μηδενισμού. 27 Σχήμα 3.6 Χρήση της διακυμανσης σ2 (variance) σε συνδυασμό με τον τελεστή της Laplacian για ανίχνευση ακμής 28 Σχήμα 3. 7 Η συναρτήσεις Gαυssίαn (α) και η -LοG (β) σε τομή. H σχέση μεταξύ w και σ συνήθως λαμβάνεται w = 2 ^2 σ. Το μήκος του παραθύρου είναι 3w x 3w. 29 Σχήμα 3. 8 Εφαρμογή LoG με τρεις διαφορετικές τιμές του σ. 30 4

5 1ο ΚΕΦΑΛΑΙΟ ΕΙΣΑΓΩΓΗ 1.1 Ανίχνευση Ακμών Η ανίχνευση ακμών είναι μια ορολογία που αφορά την επεξεργασία εικόνας και την «οπτική» των υπολογιστών (computer vision), ιδιαίτερα όσον αφορά τους τομείς της εξαγωγής χαρακτηριστικών και την δυνατότητα ανίχνευσης, και αναφέρεται σε αλγόριθμους που αποσκοπούν στον εντοπισμό σημείων σε μια ψηφιακή εικόνα στην οποία η φωτεινότητα αλλάζει δραστικά η πιο σωστά έχει ασυνέχειες Επεξεργασία εικόνας Επεξεργασία εικόνας είναι κάθε είδους εξεργασία σήματος για την οποία είσοδος είναι μια εικόνα ( Πχ. φωτογραφίες ή frames από ένα βίντεο). Έξοδος αυτής της διεργασίας μπορεί να είναι είτε μια εικόνα είτε ένα σύνολο χαρακτηριστικών ή παραμέτρων που σχετίζονται με την εικόνα. Μερικές εφαρμογές της επεξεργασία εικόνας είναι : Ανίχνευση προσώπων. Η ανίχνευση προσώπων είναι μια τεχνολογία των ηλεκτρονικών υπολογιστών που καθορίζει τις θέσεις και τα μεγέθη των ανθρώπινων προσώπων σε ψηφιακές εικόνες. Ανιχνεύει χαρακτηριστικά και αγνοεί οτιδήποτε άλλο, όπως κτίρια, δεντρά και σώματα. Σύστημα προειδοποίησης αλλαγής λωρίδας Στην ορολογία των οδικών μεταφορών ένα σύστημα προειδοποίησης αλλαγής λωρίδας είναι ένας μηχανισμός σχεδιασμένος να προειδοποιεί τον οδηγό όταν το όχημα αρχίζει να κινείται εκτός της λωρίδας κυκλοφορίας (εκτός και αν υπάρχει κάποιο σήμα) σε ένα αυτοκινητόδρομο. Non-photo realistic rendering (NPR) «NPR» είναι ένας τομέας της δημιουργίας γραφικών μέσω υπολογιστή που επικεντρώνεται στο να επιτρέπει και να δημιουργεί μια μεγάλη γκάμα εκφραστικών στυλ πάνω στην ψηφιακή τέχνη. Η τεχνική αυτή εφαρμόζεται εκτεταμένα στις σημερινές ταινίες και βιντεοπαιχνίδια με την μορφή σκίασης καρτούν, στην ενδεικτική αρχιτεκτονική και στο πειραματικό animation. Ειδικότερα σε εφαρμογές 3D το αποτέλεσμα της τεχνικής αυτής είναι ένα 3D μοντέλο επεξεργασμένο και τροποποιημένο από το αρχικό πορτραίτο (φωτογραφία) με γεωμετρικές διαστάσεις και χαρακτηριστικά ακριβώς ίδια. Επεξεργασία ιατρικών εικόνων Σαν ιατρικές εικόνες ή χάρτες εννοούμε όλες εκείνες τις τεχνικές και διεργασίες που υπάρχουν στον κλάδο της ιατρικής για την δημιουργία εικόνων του ανθρώπινου σώματος (ή μέρη του) για κλινικούς σκοπούς( διάγνωση ή εξέταση μιας ασθένειας). Παραδείγματα τέτοιων εικόνων υπάρχουν πόλκα (μαγνητικός τομογράφος, ηλεκτροεγκεφαλογράφημα κ.α.) και η σωστή επεξεργασία τους καθιστάτε αναγκαία. 5

6 1.1.2 Computer Vision Ειδικότερα, με τον όρο computer vision μιλάμε για την επιστήμη και την τεχνολογία μηχανών που βλέπουν. Ως επιστημονικό κλάδο, ορίζεται η θεωρία κατασκευής τεχνητών συστημάτων που λαμβάνουν πληροφορίες από τις εικόνες. Τα δεδομένα μιας εικόνας μπορούν να έχουν πολλές μορφές όπως είναι μια ακολουθία ενός βίντεο, η λήψη από πολλαπλές κάμαρες ή πολυδιάστατα ιατρικά δεδομένα από έναν ιατρικό ανιχνευτή - σαρρωτή. Ως τεχνολογικός κλάδος, η «οπτική των υπολογιστών» αναζητά τρόπους να εφαρμοστούν οι θεωρίες και τα μοντέλα της στην κατασκευή συστημάτων με τέτοιου είδους ικανότητα. Τέτοια παραδείγματα είναι και τα εξής : Ο έλεγχος διαδικασιών (Πχ. ένα βιομηχανικό ρομπότ ή ένα αυτόνομο όχημα) Ανίχνευση γεγονότων (Πχ. για την οπτική παρακολούθηση ή την καταμέτρηση ατόμων) Οργανωτικές πληροφορίες (Πχ. για την δημιουργία ευρετηρίου βάσεων δεδομένων εικόνων και αλληλουχιών εικόνων) Μοντελοποίηση δεδομένων ή περιβαλλόντων (Πχ. βιομηχανική επιθεώρηση, ανάλυση ιατρικών εικόνων ή τοπογραφική μοντελοποίηση) Αλληλεπίδραση (Πχ. ως τα δεδομένα εισόδου μιας συσκευής για την αλληλεπίδραση ανθρώπου-μηχανής) Αλλά πεδία είναι η ανασυγκρότηση σκηνών (scene reconstruction), ανίχνευση γεγονότων, εντοπισμού (tracking), αναγνώριση αντικειμένων, εκμάθηση, δημιουργία ευρετηρίων (indexing), εκτίμηση κίνησης και αποκατάσταση εικόνας Κίνητρα Ο σκοπός της ανίχνευση απότομων αλλαγών στην φωτεινότητα μιας εικόνας είναι για να συλλάβουμε τα σημαντικά γεγονότα και αλλαγές που υφίστανται στον κόσμο γύρω μας. Μπορεί να αποδειχθεί ότι σύμφωνα με γενικές υποθέσεις για το μοντέλο σχηματοποίησης μιας εικόνας, ασυνέχειες στην φωτεινότητα μιας εικόνας ενδέχεται να αντιστοιχούν σε : Ασυνέχειες στο βάθος Ασυνέχειες στον προσανατολισμό της επιφάνειας Μεταβολές στις ιδιότητες των υλικών και Διακυμάνσεις στο σκηνικό φωτισμό Στην ιδανική περίπτωση, το αποτέλεσμα της εφαρμογής ενός ανιχνευτή Άκμων σε μια εικόνα μπορεί να οδηγήσει σε ένα σύνολο συνδεόμενων καμπυλών που δείχνουν τα όρια των αντικειμένων, τα όρια των επιφανειακών σημάνσεων καθώς και καμπύλες που αντιστοιχούν στις ασυνέχειες προσανατολισμού επιφάνειας. Έτσι λοιπόν η εφαρμογή ενός ανιχνευτή ακμών σε μια εικόνα μπορεί να μειώσει σημαντικά το ποσό των δεδομένων που υποβάλλονται σε επεξεργασία και μπορεί συνεπώς να φιλτράρει τις πληροφορίες που 6

7 θεωρούνται μικρής σημασίας, διατηρώντας παράλληλα τις σημαντικές διαρθρωτικές ιδιότητες μιας εικόνας. Εάν το βήμα ανίχνευσης είναι επιτυχές, το μετέπειτα έργο της ερμηνείας των πληροφοριών της αρχικής εικόνας μπορεί να απλουστευθεί σημαντικά. Δυστυχώς όμως δεν είναι πάντα δυνατό να ληφθούν τέτοιου είδους ακμές από πραγματικές εικόνες ακόμα και μέτριας πολυπλοκότητας. Οι ακμές που προέρχονται από μη τετριμμένες εικόνες έχουν συχνά ένα μεγάλο εμπόδιο, τον κατακερματισμό. Οι καμπύλες των ακμών δηλαδή δεν είναι συνδεδεμένες, τμήματα ακμών τα οποία λείπουν καθώς και ψεύτικες ακμές οι οποίες δεν αντιστοιχούν σε ενδιαφέροντα φαινόμενα της εικόνας. Κατά αυτόν τον τρόπο το μετέπειτα έργο της ερμηνείας της εικόνας δυσχεραίνεται. 7

8 2ο ΚΕΦΑΛΑΙΟ ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ (ΦΙΛΤΡΑΡΙΣΜΑ) Η βελτίωση εικόνας είναι συνήθως διαδικασία φιλτραρίσματος δηλ. συνέλιξης με συγκεκριμένη δισδιάτατη μάσκα και στοχεύει στην ανάδειξη χαρακτηριστικών ή ελάττωση θορύβου κλπ. ανεπιθύμητων χαρακτηριστικών. Στη διαδικασία βελτίωσης εικόνας το αποτέλεσμα είναι επίσης εικόνα και όχι κάποιο χαρακτηριστικό. Στο φιλτράρισμα εικόνας σπανιότατα χρησιμοποιούμε IIR φίλτρα ενώ αντίθετα FIR φίλτρα είναι η συνήθως χρησιμοποιούμενη διαδικασία. Επομένως το φιλτράρισμα εικόνας είναι ουσιαστικά η πράξη συνέλιξης μεταξύ της αρχικής εικόνας και ενός συνόλου συντελεστών για το οποίο χρησιμοποιούνται οι όροι : παράθυρο, μάσκα (window, mask, template, kernel). Συνήθως τα παράθυρα είναι τετραγωνικά και οι συντελεστές συμμετρικοί. Δύο τέτοια παράθυρα είναι τα Α, Β που δεικνύονται παρακάτω. Αν θεωρήσουμε μία εικόνα x(ni,n2) διαστάσεως ΝχΝ pixels και ένα παράθυρο h(ni,n2) τότε η συνέλιξη ) y(n^n2) = χ (m,n2) * h (m,n2) ορίζεται ως εξής: N-1 N-1 y(nx,n2) = x (k,k 2) * h(n - k i, n2 - k2) k1 k2 Η πράξη αυτή επειδή το h(n1sn2) είναι πεπερασμένου μήκους (3x3, 5χ5 κλπ) ουσιαστικά εκφράζει το άθροισμα των γινομένων που προέρχεται από την τιμή των pixels της εικόνας με τους αντίστοιχους συντελεστές του παραθύρου. Το παράθυρο διατρέχει την εικόνα και κάθε φορά υπολογίζεται η παραπάνω τιμή για διαφορετικό σημείο της εικόνας. Δηλαδή: Η συνέλιξη είναι απλά ένα σταθμικό άθροισμα (weighted sum) των στοιχείων της εικόνας (pixel) σε μία περιοχή γύρω από το στοιχείο αναφοράς. 8

9 Στο επόμενο σχήμα 2.1 δεικνύεται ένα παράδειγμα συνέλιξης όπου h(n1,n2) είναι οι τιμές p1,p2 κλπ. και τα αντίστοιχα σημεία της εικόνας h(n1,n2) είναι A,B,C κλπ. Σχήμα 2. 1 Το αποτέλεσμα της συνέλιξης για την τιμή της εικόνας στη θέση nt,n2 που έχει τιμή Ε. y(n1,n2)=ap1+bp2+cp3,+dp4,+ep5+fp6+gp7+hp8+ip9 Αξίζει να αναφέρουμε ότι πολλές μάσκες είναι διαχωρίσιμες. Δηλαδή η συνέλιξη με μία δυσδιάστατη μάσκα μπορεί να εκτελεστεί με δύο μάσκες 1ας διάστασης. Τέτοια μάσκα είναι η εξής: " ' ' 1 " η οποία διαχωρίζεται στις εξής και [1 2 1] Τέλος πρέπει να αναφέρουμε ότι τα παραπάνω αναφέρονται σε εικόνες γκρίζες (gray scale). Μετασχηματισμός Fourier Ο μετασχηματισμός Fourier F ^,v) μίας εικόνας f(k,l) ορίζεται ως εξής: n m F (u, v) = f (k, l )e-j^e ^ k=1 l=1 (3.3) Οι τιμές υ,ν κοντά. στο 0,0 αντιστοιχούν σε χαμηλές συχνότητες. Η F ^,v) είναι συνεχής συνάρτηση. Μπορούμε να χρησιμοποιήσουμε τον Διακριτό Μετασχηματισμό Fourier (DFT) ή 9

10 καλύτερα τον ταχύ μετασχηματισμό Fourier (FFT) για να εκτελέσουμε την πράξη της συνέλιξης στο πεδίο των συχνοτήτων. 2.1 Βαθυπερατά Φίλτρα Τα βαθυπερατά φίλτρα, φιλτράρουν τις υψηλές συχνότητες που βασικά είναι ανεπιθύμητα σήματα - θόρυβος. Εκτός όμως από τον θόρυβο "λειαίνουν " απότομες μεταβολές στην ένταση. Η διαδικασία αυτή συνεπάγεται την θόλωση της εικόνα (blurring). Τρεις βασικές κατηγορίες βα0υπερατών φίλτρων διακρίνουμε: Φίλτρα μέσης τιμής (mean filter) Φίλτρα μορφής Gaussian (Gaussian filter) Φίλτρα διάμεσης τιμής (median filter) Τα φίλτρα διάμεσης τιμής δεν είναι γραμμικά Φίλτρα μέσης τιμής Η πιο απλή μορφή αυτών είναι τα ονομαζόμενα φίλτρα μέσης τιμής (mean filters, average filters). Μία μάσκα φίλτρου μέσης τιμής 9 σημείων ειναι η εξής : KU j ) O βαθυπερατός χαρακτήρας των φίλτρων αυτών φαίνεται από τον υπολογισμό του μετασχηματισμού Fοιιrier που δεικνύεται στο σχήμα

11 Σχήμα 2. 2 Απόκριση συχνότητας (2 διαστάσεων) για το φίλτρο μέσης τιμής. Στις χαμηλές συχνότητες γύρω από το σημείο (0,0) το πλάτος είναι μεγάλο. Οι συχνότητες -1 και 1 αντιστοιχούν στο fs/2 Θόλωση (Blurring) Ας δούμε στο επόμενο σχήμα 2.3 το αποτέλεσμα της συνέλιξης με το παράθυρο (2.3). Σαν βασικό οπτικό αποτέλεσμα όλων των βα0υπερατών φίλτρων είναι η θόλωση της αρχικής εικόνας λόγω λείανσης των μεταβολών εντάσεως. Αρχική εικόνα Εφαρμογή φίλτρου 3χ3 Εφαρμογή φίλτρου 7χ7 Σχήμα 2.3 Η αρχική εικόνα και η φιλτραρισμένη έξοδος μάσκα μέσης τιμής 3χ3 και 7χ7. Είναι εμφανής η θόλωση καθώς και η επίδραση του μήκους της μάσκας. Ελάττωση Θορύβου Το φίλτρο μέσης τιμής εξασθενεί τον θόρυβο δηλαδή ελαττώνει την σταθερή απόκλιση του αρχικού θορύβου. Η ελάττωση αυτή είναι αντίστροφη του μήκους του παραθύρου (μάσκας). 11

12 Αρχική εικόνα Εικόνα με θόουβο Μάσκα 3x3 μέσης τιμή Σχήμα 2.4 Εξασθένιση του θορύβου με 3χ3 κάσκα μέσης τιμής. Άλλα βαθυπερατά φίλτρα παρόμοια με αυτά της μέσης τιμής μπορούν να σχεδιασθούν λαμβάνοντας υπόψη ότι το κεντρικό σημείο πρέπει να έχει το μεγαλύτερο βάρος, να είναι συμμετρικά και θετικά και να έχουν άθροισμα συντελεστών =1. " Ένα τέτοιο παράθυρο είναι και το επόμενο : Φίλτρα Gaussian μορφής Σγεδιασμός Τα Gaussian φίλτρα είναι γραμμικά φίλτρα με συντελεστές που επιλέγονται από το σχήμα της Gaussian συνάρτησης μηδενικής μέσης τιμής και σ τυπικής απόκλισης που (σε μία διάσταση) έχει την μορφή : g ( x ) 1 ν 2 π σ x 2σ2 (3.4) Για την επεξεργασία εικόνας και για εύρεση των συντελεστών του παραθύρου χρησιμοποιούμε την αντίστοιχη (διακριτή) σχέση: 12

13 2.2 i + J 2 g <Λ j ) = e 2 σ 2 (3.5) όπου i,j είναι οι συντεταγμένες των σημείων του παραθύρου. Εάν θεωρήσουμε σ = 2 και i,j μεταξύ -1 και 1 λαμβάνουμε την εξής Gaussian μάσκα: (3.6) Ένας απλός προσεγγιστικός τρόπος για να σχεδιάσουμε μία Gaussian μάσκα με ακέραιούς συντελεστές είναι η χρήση του τρίγωνου του Πασκάλ, ή ισοδύναμα οι συντελεστές του ιδιωνύμου: (1 + χ ) ' ί, η Λ ί η \ + X + 0, 1, x ν 2, η X ν η, (3.7) πχ για n=4 έχουμε το εξής μονοδιάστατο, Gaussian παράθυρο: [ ] Πως θα χρησιμοποιηθεί αυτό για Gaussian φιλτράρισμα; Αρκεί να σκεφθούμε ότι οι δυσδιάστατες Gaussian μάσκες είναι διαχωρίσιμες. Δηλαδή η συνέλιξη με ορθογώνια Gaussian μάσκα αντιστοιχεί με συνέλιξη με μονοδύαστατη οριζόντια και στη συνέχεια με την αντίστοιχη κατακόρυφη. Ιδιότητε Η Gaussian μάσκα είναι ιδιαίτερα χρήσιμη στην επεξεργασία σημάτων και εικόνας διότι έχει πολύ ελκυστικές ιδιότητες. Οι βασικότερες από αυτές είναι οι εξής: Είναι ανεξάρτητη της διεύ0υνσης 13

14 g 0, J) = e 2 2 J + J 2σ2 = e P 2 σ " g (P,0) = g (P), οπου ρ = ι + j Έ χει ένα λοβό. Δηλαδή οι συντελεστές ελαττώνονται μονότονα με την απόσταση και είναι πάντα θετικοί. Αυτό έχει μεγάλη σημασία στη διαδικασία φιλτραρίσματος, διότι η έμφαση δίνεται στο κεντρικό pixel και επηρεάζει πολύ λίγο τις (γειτονικές) ακμές. μετασχηματισμός Fourier της Gaussian συνάρτησης είναι επίσης Gaussίan. r o r o X ' J{g(x)} = Jg(x)e~ mdx = Je σ ] e~,2 ] m dx=... 2 ω = Jxae 2V (3.9) - r o - r o Η σχέση (3.9) εκφράζει και την σχέση μεταξύ των δύο πεδίων: χώρου και συχνότητας. Η Gaussian συνάρτηση είναι διαχωρίσιμη. Δηλαδή η συνέλιξη μίας εικόνας με τετραγωνική Gaussian μάσκα ισοδυναμεί με δύο διαδοχικές συνελίξεις 1ας διάστασης (οριζόντια και κάθετη). Διαδοχική εφαρμογή της Gaussian μάσκας ισοδυναμεί με Gaussian μάσκα μεγαλύτερης διακύμανσης (τεχνικές scale-space) Σε μία διάσταση έχουμε: J {g (x)} = ro -ro 2 ξ e σ (x-ξ)2 2σ2 d ξ ro -ro e (~+ξ)2 (--ξ) σ2 2 σ' dξ ξ=ξή ro -ro e (2ξ2+ - )2 2 2σ2 2 X dξ = ^Iπ^ nσe 2(4ϊσ)1 (3.10) 14

15 2.1.3 Φίλτρα διάμεσης τιμής Τα φίλτρα αυτά είναι μη γραμμικά. Μερικά από τα βασικά χαρακτηριστικά τους είναι η διατήρηση των ακμών (στη πράξη γίνεται μικρή λείανση ) και η πλήρης εξάλειψη του κρουστικού θορύβου (Impulsive, salt and pepper noise). Επομένως έχουν συμπεριφορά βαθυπερατού φίλτρου όσον αφορά την εξάλειψη του θορύβου και ταυτόχρονα συμπεριφορά υψιπερατού φίλτρου αφού διατηρούν τα χαρακτηριστικά των μεταβολών εντάσεως όπως είναι οι ακμές - περιγράμματα (edges). Συνήθως εφαρμόζονται σε μια εικόνα επαναληπτικά. Διαδοχική εφαρμογή καταλήγει σε μία εικόνα που δεν επιδέχεται επιπλέον μεταβολές. Αυτή είναι σήμα - ρίζα για το συγκεκριμένο φίλτρο διάμεσο τιμής. Η υλοποίηση τους γίνεται με καθορισμό ενός παραθύρου - μάσκας. Έ χει μόνο μήκος και όχι συντελεστές. Το παράθυρο αυτό διατρέχει. όλη την εικόνα όπως και στα γραμμικά φίλτρα (μέσης τιμής κλπ) και τα pixels που περικλείονται από το παράθυρο σε κάθε θέση της εικόνας διατάσσονται κατά σειρά μεγέθους και επιλέγεται ως έξοδος η μεσαία (median) τιμή. Στο επόμενο σχήμα 2.5 δεικνύετε ο τρόπος εξαγωγής της μεσαίας τιμής για ένα παράθυρο 3χ3. Στο επόμενο σχήμα 2.6 δίνεται ένα παράδειγμα εφαρμογής του φίλτρου σε εικόνα Διάταξη σύμφωνα με την τιμή του pixel διάμεση τιμη Σχήμα 2. 5 Η έξοδος του φίλτρου διάμεσης τιμής είναι=20. Και προκύπτει ως η 5η τιμή στη αύξουσα διάταξη των τιμών των pixel του παραθύρου. Εάν εφαρμόζαμε φίλτρο μέσης τιμής (3.3) η έξοδος θα ήταν 1/9( )=

16 Αρχική Εικόνα Εικόνα με κρουστικό Έξοδος median Filter Θόρυβο 10% Σχήμα 2. 6 Έξοδος median φίλτρου. Ο κρουστικός θόρυβος είναι 10% και εξαλείφεται εντελώς. 2.2 Ηψιπερατά φίλτρα Τα υψιπερατά φίλτρα εξασθενούν τις χαμηλές και τονίζουν τις υπάρχουσες υψηλές συχνότητες σε μία εικόνα. Δηλαδή έχουν αντίθετο αποτέλεσμα από τα βαθυπερατά φίλτρα (μέσης τιμής, Gaussian κλπ). Επομένως τονίζουν τις μεταβολές της εικόνας (contrast), δίνουν έμφαση στις λεπτομέρειες και ταυτόχρονα ενισχύουν τον θόρυβο. Τα αντίστοιχα παράθυρα έχουν μία θετική τιμή στο κέντρο και στην πλειοψηφία αρνητικούς τους υπόλοιπους συντελεστές. Μερικές χαρακτηριστικές μάσκες για παράθυρα 3χ3 είναι οι εξής: ' 1 1 1" ' ' ' " (α) (β) _ _ Σχήμα 2. 7 Μερικές υψιπερατές μάσκες Η τελευταία (δ) από τις παραπάνω μάσκες είναι η πλέον συνηθισμένη και έχει το επί πλέον χαρακτηριστικό ότι δεν ενισχύει (ούτε εξασθενεί) σταθερές περιοχές αφού το άθροισμα των συντελεστών είναι = 0. Αξίζει να επισημάνουμε ότι σε μερικές περιπτώσεις εφαρμογής υψιπερατού φίλτρου μπορεί να προκύψoυν και αρνητικές τιμές, οπότε χρειάζεται σχετική διόρθωση. 2.3 Uksharp masking Στη διαδικασία αυτή γίνεται ψηφιακή εξομοίωση επεξεργασίας που κάποτε γινότανε από 16

17 φωτογράφους στα φιλμς. Αναλυτικότερα από ένα κλάσμα α της αρχικής εικόνας f(ki,k2) αφαιρείται το αποτέλεσμα εξόδου βαθυπερατού φίλτρου f L(k1,k2). Και η έξοδος g(k^k2) είναι: g((ki,k2)=a f(ki,k2) - fl(ki,k2) (3.11) Αν θεωρήσουμε ότι η αρχική εικόνα f (k^k2) αναλύεται σε ένα τμήμα Υψιπερατό fη(k1,k2) και ένα άλλο βαθυπερατό fl,(k,k2) τότε η εικόνα g(k^k2) : εάν α=1 είναι ένα ηψιπερατό φίλτρο, ενώ εάν είναι_ α>ι τότε ένα βαθυπερατο τμήμα της εικόνας προστίθεται στο αποτέλεσμα και αναδεικνύει χαμηλές συχνότητες μαζί με τις υψηλές που προέρχονται από το υψιπερατό φίλτρο f^ k ^ k ^ Οι δύο διαδικασίες που περιλαμβάνονται στην (3.11) υλοποιούνται από την ακόλουθη μάσκα w όπου w = 9α _ 2.4 Επεξεργασία έγχρωμης εικόνας Οι επεξεργασία έγχρωμης εικόνας γίνεται είτε με βαθμωτές είτε με διανυσματικές διαδικασίες. Στις βαθμωτές διαδικασίες επεξεργασίας εφαρμόζονται οι μέθοδοι που περιγράφηκαν προηγούμενα για γκρίζες (gray scale) εικόνες με δύο τρόπους: α) ξεχωριστά σε κάθε κανάλι της εικόνας β) στη συνιστώσα φωτεινότητας (Υ) αφού διαχωριστεί η εικόνα σε συνιστώσες φωτεινότητας (Υ) - χρωματικότητας (I,Q). Ο πλέον γνωστός μετασχηματισμός είναι ο RGB- -> YIQ. Μπορεί επίσης να χρησιμοποιηθεί και ο μετασχηματισμός RGB--> HIS. Το μειονέκτημα της (α) διαδικασίας είναι η παραγωγή τυχαίων χρωμάτων που δεν υπάρχουν στην αρχική εικόνα που είναι όμως αρκετά κοντά (στον RG8 χώρο) σε χρώματα που υπάρχουν στην εικόνα. Τα μειονεκτήματα αυτά δεν εμφανίζονται στη (β) διαδικασία. 17

18 Στις διανυσματικές διαδικασίες οι τρεις τιμές R,G,B θεωρούνται συνιστώσες ενός διανύσματος και οι μέθοδοι που χρησιμοποιούνται είναι βέβαια μέθοδοι διανυσματικής ανάλυσης. Μία κλασική τέτοια μέθοδος είναι η διαδικασία του διανυσματικού διάμεσου. 2.5 Ομομορφική επεξεργασία (Homomorphic Processing) Η διαδικασία αυτή που περιγράφεται στο επόμενο σχήμα 3.12 χρησιμοποιείται στην περίπτωση που μία εικονα με μεγάλη δυναμική περιοχή αποτυπώνεται σε ένα μέσο (film, χαρτί) με μικρή δυναμική περιοχή. Αποτέλεσμα είναι η ελάττωση της αντίθεσης, ιδιαίτερα στις σκοτεινές ή στις πολύ φωτεινές περιοχές. Η διαδικασία που περιγράφεται. στη συνέχεια ουσιαστικά ελαττώνει την αρχική δυναμική περιοχή και αυξάνει την τοπική αντίθεση πριν αρχίσει η επεξεργασία ή η αποτύπωση. Σύμφωνα με ένα απλοποιημένο μοντέλο μία εικόνα f(ni,n2) σχηματίζεται σε δύο στάδια: παραγωγή υπό την φωτεινή πηγή και ανάκλαση από το αντικείμενο. Επομένως μπορεί να θεωρήσουμε ότι η εικόνα f(n^n2) έχει δύο συνιστώσες που αντιστοιχούν στην φωτεινή πηγή i(n^n2) και στην ανάκλαση -r(n1,n2) : f(ni,n2) = i(ni,n2) r(ni,n2) Από τις δύο αυτές συνιστώσες θεωρούμε ότι η μεγάλη δυναμική περιοχή οφείλεται βασικά στο i(n1?n2) και έχει μικρές εναλλαγές - αντίθεση. Αντίθετα ο όρος r(n1?n2) δημιουργεί τις λεπτομέρειες της εικόνας. Επομένως επιδιώκουμε μείωση του i(n1?n2) και αύξηση του r(n^n2). Σαν πρώτο βήμα γίνεται διαχωρισμός των δύο συνιστωσών με λογαρίθμηση. Στη συνέχεια φιλτράρεται η έξοδος με βαθυπερατό και υψιπερατό φίλτρο. Επειδή η συνιστώσα i(n^n2) έχει φασματικό περιεχόμενο στις χαμηλές συχνότητες θεωρούμε ότι θα αποτελεί το κύριο τμήμα της εξόδου του βαθυπερατού φίλτρου. Αντίστοιχα η r(n^n2) θα είναι η έξοδος του υψιπερατού φίλτρου. Μετά τον διαχωρισμό αυτό μπορούμε να ενισχύσουμε την μία συνιστώσα πολλαπλασιάζοντας με συντελεστή β>1ι. 18

19 Η τελική έξοδος γίνεται με άθροιση των δύο συνιστωσών και αντιστροφή της λογαριθμικής συνάρτησης (εκθετική συνάρτηση). Το τελικό αποτέλεσμα είναι αύξηση της αντίθεσης στην εικόνα. Σχήμα 2.8 Η αρχική εικόνα ί(πι,π2) λογαριθμειται και με τα δύο φίλτρα ξεχωρίζονται οι δυο συνιστώσες. Στο τέλος γίνεται η αντίστροφη πράξη με την εκθετική συνάρτηση. 19

20 3ο ΚΕΦΑΛΑΙΟ ΑΝΙΧΝΕΥΣΗ ΑΚΜΩΝ (EDGE DETECTION) Ακμή ή περίγραμμα (edge) σε μια εικόνα Χ, ορίζεται ω ς το σύνολο των σημείων στη θέση i, j της εικόνας, όπου παρατηρείται μία σημαντική αλλαγή της έντασης ή του χρώματος της εικόνας. Τ ο μέγεθος της μεταβολής αυτής αποτελεί το ύψος της ακμής. Ανιχνευτής ακμής (Edge detector) είναι ο αλγόριθμος π ο υ βρίσκει σε μία εικόνα το σύνολο τ ω ν σημείων Xij. Το αποτέλεσμα της ανίχνεύσης ακμών είναι η δημιουργία ενός χάρτη (edge map) που συνήθως παρουσιάζεται σαν μια καινούργια εικόνα με ένταση (συνήθως) ανάλογη το υ ύψους της ακμής. Στο χάρτη ακμών υπάρχουν πραγματικές και λανθασμένες ακμές. Οι βασικές μέθοδοι εύρεση τ ω ν ακμών - περιγραμμάτων είναι ο ι εξής Με την πρώτη παράγωγο ( Β αθμω ση - Gradient) Με την Laplaci an Με την Laplacian of Gaussian - LoG Μ ε άλλες μεθόδους (εντροπία κλπ) Ιδανικές κα ι πραγματικές ακμές Στο επόμενο σχήμα δεικνύετε το προφίλ τριών χαρακτηριστικών περιπτώσεως ιδανικών ακμών. Στην πραγματικότητα οι ιδανικές ακμές έχουν πολύ περισσότερες μορφές με βασικό χαρακτηριστικό την απότομη μεταβολή της έντασης ή του χρώματος. Εάν όμως δούμε μία πραγματική ακμή θα διαπιστώσουμε ότι δεν υφίστανται τόσο καλά οργανωμένες και με τέτοια οξύτητα ακμές. 20

21 Σχήμα 3.1 (α) ιδανική βηματική ακμή (step), ( β ) ράμπα (ramp), (γ) ακμή τύπου οροφής (roof) 3.1 Μια πρώτη προσέγγιση της διαδικασίας ανίχνευσης ακμών Η ανίχνευση ακμής βασίζεται στην εύρεση των σημείων που η παράγωγος της έντασης ως προς την απόσταση είναι μέγιστη. Η διαδικασία αυτή γίνεται σε δύο στάδια: πρώτα υπολογίζεται η παράγωγος και στη συνέχεια ανιχνεύονται τα σημεία μεγάλης τιμής με ένα κατώφλιο. Σε μία δεύτερη προσέγγιση ανιχνεύονται ω ς ακμές τα σημεία που η δεύτερη παράγωγος μεταβάλλεται από θετικές σε αρνητικές τιμές (ή αντίστροφα) και λαμβάνει μηδενική τιμή. ί(χ) έχει πρώτη παράγωγο f '(χ) και δεύτερη ί"(χ). Όλα τα σημεία f '(χ) πάνω από το κατώφλιο θεωρούνται σημεία ακμής. Αντίθετα ένα μόνο σημείο υπάρχει όπου ί"(χ).=0 21

22 Ένα τυπικό σύστημα ανίχνευσης ακμής που υλοποιεί την διαδικασία ευρέσεως ακμής με παράγωγο (G radient) και κατωφλιο δεικνύετε στο επόμενο σχήμα Σχήμα 3. 3 Στον αρχικό υπολογισμό του Gradient υπολογίζεται η απόλυτη τιμή και στη συνέχεια θεωρείται σημείο ακμής εάν η τιμή V f (x) είναι μεγαλύτερη από ένα κατώφλιο. 3.2 Α μέθοδος 1η παράγωγος (Βάθμωση - Gradient) Το gradient (βάθμωση) G υπολογίζεται ως το διάνυσμα με συνιστώσες τις μερικές παραγώγους της εντάσεως f(x,y) ως προς την οριζόντια και κάθετη μετατόπιση. G{f(χ, y)} Ο. G. dx f dy (4.1) Το μέτρο του G υπολογίζεται ω ς ολ=g + οοτ (4.2) και μία καλή προσέγγιση είναι: Ga = Οχ + Ο, (4.3) Αποδεικνύεται εύκολα ότι G r < G a < J g r (4.4) Η γωνία του G υπολογίζεται ω ς θ = tan ι Gy G (4.5) 22

23 x-1 x x+1 fy = ((38-12)/2+(66-15)/2+(65-42)/2)/3 = ( )/3 = 16 fx = ( ( )/2 + (64-14)/2+(42-12)/2 ) / 3 =( )/3 = 18 θ=1απ-1(16/18)=0.727γαά = 42 degrees V/ = ( )1' 2 = 24 Στο προηγούμενο σχήμα δεικνύετε ο υπολογισμός του Gradient G = V / = ( / / ) για ένα τμήμα της εικόνας που περικλείεται στο παράθυρο 3x3 και που το κεντρικό pixel βρίσκεται ακριβώς επάνω στην ακμή. Η υλοποίηση των παραγώγων (4.1) γίνεται με διαφόρους τρόπους (αριθμητικές μεθόδους) και κάθε τρόπος υπολογισμού αντιστοιχεί σε μία μάσκα συνέλιξης (παράθυρο ή τελεστής). Πριν υπεισέλθουμε στους διαφόρους τύπους των μασκών - παραθύρων Θα πρέπει να τονισθεί ότι κάθε μέθοδος ευρέσεως παραγώγου θα πρέπει να ακολουθείται από κατωφλιοποίηση. Και επίσης ότι υψηλή τιμή κατωφλίου δίνει λεπτές γραμμές περιγραμμάτων αλλά παραλείπει και την ανίχνευση μικρών ακμών (χαμηλής αντίθεσης - low contrast). Επίσης θ α πρέπει να υπενθυμίσουμε ότι κάθε μάσκα υπολογίζει την μερική παράγωγο G x ή G y από τις οποίες θα υπολογισθεί η συνολική τιμή G με την (4.2) ή συνηθέστερα με την (4.3). Στον πίνακα 4.1 δίνονται οι πιό χαρακτηριστικές μάσκες για παράθυρο 3x3 και στο σχήμα 4. 5 πoυ ακολουθεί γίνεται εφαρμογή μερικών εξ αυτών σε εικόνα. 23

24 ΠΙΝΑΚΑΣ 4. 1 Είδος τελεστού - μάσ κας Gx Gy R oberts Prew itt Sobel Ρ^ί- ^π Για τον τελεστή Sobel η υλοποίηση του G radient G βασίζεται στίς σχέσεις: G y = [f(x-1,y+l)+2 f(x,y+l)+ f(x+l,y+l)] -[f(x-1,y-1)+2 f(x,y-1)+ f(x+l,y-1)] (4.6) G x = [f(x+1,y-1)+2 f(x+l,y)+ f(x+1,y+1)] -[f(x-1,y-1)+2 f(x-1,y)+ f(x-1,y+l)] Με παρόμοιες σχέσεις υλοποιούνται και οι υπόλοιπες μάσκες. (4.7) Στους τελεστές που δεικνύονται στον πίνακα 4.1 παρατηρούμε ότι το άθροισμα των στοιχείων των μασκών είναι = 0. Αυτό έχει σαν συνέπεια ότι σε σταθερές περιοχές η έξοδος είναι επίσης = 0. Η εύρεση του βέλτιστου κατωφλίου δεν είναι εύκολη διαδικασία και μία απλή επιλογή είναι ο μέσος όρος των G για όλη την εικόνα Ένα άλλο θέμα που αξίζει να επισημάνουμε είναι ότι ο ι τελεστές του πίνακα. 4.1 βρίσκουν ακμές σε οριζόντιες και κάθετες διευθύνσεις. Εάν θέλουμε να έχουμε και την κατεύθυνση τότε πρέπει σε κάθε σημείο να χρησιμοποιούμε την (4.5). Μπορούμε όμως να δημιουργήσουμε και επιπλέον μάσκες που να υπολογίζουν παραγώγους και επομένως ακμές σε άλλες διευθύνσεις. Έτσι για τον τελεστή Prewitt αντί τ ω ν 2 μασκών τού παραπάνω πίνακα 4.1 χρησιμοποιούμε τις 8 μάσκες του πίνακα

25 ΠΙΝΑΚΑΣ 4. 2 East N ortheast N orth N orthw est West Southwest South Southeast I (α) (γ) (δ) Σχήμα 3. 4 Η αρχική εικόνα α) επεξεργασμένη με Roberts β) P rew itt γ) Sobel δ) Ένα βασικό χαρακτηριστικό των τελεστών που αναφέρθηκαν για αναγνώριση ακμών και πού βασίζονται στην 1η παράγωγο, είναι οι μεγάλου εύρους γραμμές που εμφανίζονται σαν έξοδος των ανιχνευτών ακμής. Το μεγάλο εύρος οφείλεται στην επιλογή του κατωφλίου και στην βραδεία μεταβολή της έντασης σε ορισμένες περιπτώσεις. Σπανίως όμως η πληροφορία του πλάτους των ακμών επιδιώκεται στην επεξεργασία ενώ αντίθετα ο εντοπισμός της ακμής (localization) είναι αυτό που συνήθως επιζητείται. Ο εντοπισμός μίας ακμής απαιτεί την εύρεση ενός σημείου που θα είναι και το κέντρο της ακμής. Βελτίωση στο πρόβλημα του πάχους των ακμών μπορεί να γίνει βέβαια με μεθόδους ελάττωσης - thnning. 25

26 3.3 Β μέθοδος - 2η παράγωγος (Laplacian) Η δεύτερη κατηγορία ευρέσεως ακμών βασίζεται στην εύρεση της 2ης παραγώγου και δεν παρουσιάζει τα προβλήματα του μεγάλου εύρους ακμών που αναφέρθησαν προηγούμενα, αφού η έξοδος των τελεστών αυτών είναι τα σημεία μηδενισμού της 2ης παραγώγου (σχήμα 4.3). Αξίζει να επισημάνουμε ότι τα σημεία μηδενισμού αντιστοιχούν σε σημεία ακμών εφόσον αναφέρονται σε μετάβαση από θετικές σε αρνητικές τιμές και αντίστροφα (zero crossing points ) Η L ap lacian είναι η χαρακτηριστική συνάρτηση που υλοποιείται στη κατηγορία αυτή. Για μία συνάρτηση f(x,y) ορίζεται ω ς εξής: v 2f ( X, y ) C f c f cx 2 dy 2 (4.8) Μία αριθμητική προσέγγιση της παραπάνω σχέσεως γίνεται από την εξής σχέση v f (χ y ) = f (χ+ 1 y ) +f (x - 1 y ) +f (x y +1)+f (x y -1 ) - 4 f (x y) (4 9) που υλοποιείται από την ακόλουθη μάσκα V 2 = = = (4.10) Όπως φαίνεται είναι δυνατή η διάσπαση σε δύο μάσκες οριζόντια και κατακόρυφη που είναι βέβαια μονοδιάστατες. Εκτός από τη ν (4.10) μία ακόμη μάσκα υλοποίησης της Laplacian είναι και η εξής V (4.11) Οι (4.9)-(4.11) δεικνύουν ότι η τιμή της L aplacian είναι ανάλογη του f(x,y)-mean[f(x,y)] Μπορεί επίσης να προσεγγισθεί και ω ς median[f(x,y)]- mean[f(x,y)]. 26

27 Σε όλες τις διαδικασίες του τελεστού αυτού χρησιμοποιείται η απόλυτη τιμή και εύρεση τ ω ν ακμών γίνεται με την εύρεση τ ω ν μηδενικών τιμών (zero crossing) Δύο παραδείγματα απόκρισης του τελεστού της Laplacian δίνονται στο παρακάτω σχήμα 4.6 όπου παρατίθενται δύο περιοχές εικόνας. Οι μηδενισμοί τ ω ν (α) και (β) δίνονται στην (γ) και (δ) αντίστοιχα. Στο (α) η μετάβαση είναι απότομη και τα σημεία μηδενισμού (zero crossmg) δεν αποτυπώνονται στην έξοδο (γ) (γ) (δ) Σχήμα 3.5 Τ ο (γ) είναι η απόκριση του (α) σε Laplacian. Ο μηδενισμός δεν εμφανίζεται αλλά φαίνεται καθαρά η θέση του λόγω του θετικού και αρνητικού σημείου. Σ το (δ) που αντιστοιχεί στη ράμπα ( β ) φαίνεται το σημείο μηδενισμού. Μερικές ιδιότητες του τελεστού αυτού (της L aplacian) είναι οι εξής: 1. Σε σταθερές περιοχές έχει απόκριση μηδενική. Οι τιμές αυτές δεν αποτελούν σημεία ακμών διότι δεν είναι σημεία zero crossing. 2. Τα ανιχνευόμενα περιγράμματα είναι πάντα κλειστές γραμμές. 3. Είναι ανεξάρτητη της διεύθυνσης. 4. 'Έχει μεγάλη ευαισθησία στο θόρυβο και αναδεικνύει ακμές που δεν αντιστοιχούν σε χαρακτηριστικά της εικόνας. 27

28 Λόγω της παραπάνω ιδιότητας και για να βελτιώσουμε την συμπεριφορά στο θόρυβο συνήθως η μέθοδος αυτή συνδυάζεται με κατώφλια που υπολογίζουν τον τοπικό θόρυβο. Στο διάγραμμα του σχήματος 4.7 δεικνύετε μία μέθοδος όπου για την ύπαρξη ακμής δεν αρκούν τα σημεία μηδενισμού (zero crossing) αλλά πρέπει να εξασφαλίζεται ότι η τοπική διακύμανση είναι μεγαλύτερη από ένα κατώφλιο Τ που θεωρείται ότι αντιστοιχεί στο θόρύβο. Σχήμα 3.6 Χρήση της διακύμανσης σ2 (variance) σε συνδυασμό με τον τελεστή της Laplacian για ανίχνευση ακμής 3.4 L a p lacia n o f G au ssian (LoG ) Με την μέθοδο αυτή γίνεται υλοποίηση δύο τελεστών : της Laplacian και της Gaussίan.Δηλαδή στην αρχική εικόνα εφαρμόζεται Gaussian μάσκα για να φιλτράρει τον θόρυβο και στη συνέχεια εφαρμόζεται Laplacian μάσκα για εύρεση των σημείων μηδενισμού και επομένως των ακμών. Αν και οι διαδικασίες αυτές μπορούν να γίνουν σε δύο διαδοχικά στάδια επειδή η συνέλιξη είναι γραμμική πράξη γίνονται ταυτόχρονα σε ένα βήμα όπως περιγράφεται στη συνέχεια. Η σχέση που εκφράζει τις δύο διαδικασίες είναι η εξής: V 2 G = 1 2πσ' χ + y σ 2 e 2 2 χ + y ' σ 2 (4.12) 28

29 Δυο μάσκες (3x3) και (5x5) που υλοποιούν την (4.12) είναι οι ακόλουθες : " Γενικά η υλοποίηση του LoG απαιτεί μεγάλες μάσκες ώστε να εμφανισθούν θετικές και αρνητικές τιμές που εκφράζουν την μορφή στην (4.12) Σχήμα 3. 7 Η συναρτήσεις Gavssian (α) και η -LoG (β) σε τομή. H σχέση μεταξύ w και σ συνήθως λαμβάνεται w = ΐ 4 ϊ σ. Το μήκος του παραθύρου είναι 3w x 3w. Για παράθυρο 3x3 έχουμε w=1 και σ=1/(2χ/2 ). Στο (γ) δεικνύετε η μορφή της L og στον (τρισδιάστατο) χώρο. Οι άξονες x,y είναι βαθμολογημένοι με τιμές της σ. 29

30 Σχήμα 3. 8 Εφαρμογή LoG με τρεις διαφορετικές τιμές του σ. Μία καλή προσέγγιση της LoG γίνεται με διαφορά δύο Gaussian που έχουν διαφορετικές τυπικές αποκλίσεις σ (Difference οί Gaussian - DoG). Η μέθοδος αυτή μειώνει το υπολογιστικό κόστος της LoG. D og ( x, y ) (4.14) 2 2 x + y e 2σ 2 π σ 2 e 2 x 2 + y 2 σ 2 π σ \ Η ακόλουθη μάσκα 7 x 7 υλοποιεί τον τελεστή DoG για λόγο σ2/σι= Ανιχνευτής ακμής με την μέθοδο Canny 30

31 Η ανίχνευση με την μέθοδο Canny είναι μία ολοκληρωμένη μέθοδος που βασίζεται στην 1η παράγωγο αλλά περιλαμβάνει και άλλα βήματα με κυριότερα, το διπλό κατώφλιο κ α ι την διαγραφή των σημείων από τον χάρτη ακμών που δεν αντιστοιχούν στο μέγιστο της βάθμωσης (nοnmaxima supression). Ο αλγόριθμος υλοποίησης περιλαμβάνει τα παρακάτω βήματα: 1. Η αρχική εικόνα I(i,j) λεια ίνεται με Gaussian φίλτρο S(i,j) = G(i,j,a) * I(i,j) 2. Γίνεται ο υπολογισμός του G radient σε πολική μορφή P(t, j) * VxS(i, j ) ] \m (i, j) = Jpr+QI Q<JJ) * V > S(h j)j ^ \p(ij) = tan-'(p, Q) 3. Διαγραφή τ ω ν σημείων M(ij) που δεν είναι μέγιστα (nonmaxima supresston) N(i,j)=nms[M(i,j), θ (i,j)] 4. Εφαρμογή διπλού κατωφλίου για ανίχνευση και σύνδεση ακμών. Συνήθως το ένα κατώφλιο είναι διπλάσιο του άλλου. Στη διαδικασία αυτή εισοδος είναι η εικόνα N(i,j). Με βάση το μεγάλο κατώφλιο ελέγχονται οι ακμές συλλέγοντας σημεία από το χάρτη ακμών του μικρού κατωφλίου. Στο επόμενο σχήμα δεικνύεται τ ο αποτέλεσμα ανιχνευτού Canny σε σύγκριση με L G. 31

32 Α ρχικη Εικονα LoG Canny 3.6 Ανίχνευση ακμών σε έγχρωμη εικόνα Η ανίχνευση ακμών σε έγχρωμη εικόνα μπορεί να γίνει με διαφόρους τρόπους. Χρησιμοποιώντας το κανάλι της εντάσεως αφού γίνει μετασχηματισμός R G B - ->YIQ ή μετασχηματισμός RGB-->HSI ή άλλος μετασχηματισμός πού εμφανίζεται η συνιστώσα της φωτεινότητας αποσυσχετισμένη απο την χρωματικότητα Χρησιμοποιώντας τα τρία κανάλια R, G, B χωριστά. Ο χάρτης ακμών G ( x, y ) θα προέλθει από τους τρεις επιμέρους χάρτες GR, Gg, GB ω ς εξής: G( X, y) = V g R + g G + G (4.16α) ή G(x,y)=max(GR, Gg, Gb) (4.16β) Να γίνει με διανυσματικές διαδικασίες θεωρώντας τα pixel της εικόνας ω ς διανύσματα στον τρισδιάστατο R G B χώρο. Αξίζει στο σημείο αυτό να τονίσουμε ότι όπως έχει παρατηρηθεί, ο μεγαλύτερος αριθμός ακμών σε μία έγχρωμη εικόνα ανιχνεύεται με την φωτεινότητα και ένας πολύ μικρός αριθμός (χρωματικών) ακμών εμφανίζεται στις συνιστώσες της χρωματικότητας και 32

33 ιδιαίτερα σε περιπτώσεις μικρής αντίθεσης (low contrast) Κριτήρια σωστής ανίχνευσης ακμών Τα σφάλματα στην ανίχνευση των ακμών είναι τα εξής: Παράλειψη σημείων ακμής Λανθασμένη αναγνώριση σημείων που δεν είναι πραγματικές ακμές Μετατόπιση σημείων ακμής Ενα κριτήριο (FOM -figure of merit) σωστής ανίχνευσης που έχει προταθεί απο τον Pratt και περιλαμβάνει τις παραπάνω περιπτώσεις είναι το εξής 1 R = max[ Ir, IA ] ad (4.17) όπου II= ιδανικός αριθμός σημείων, IA= o αριθμός σημείων πού ανίχνευσε η μέθοδος, α= παράγοντας κλιμάκωσης και d ^ μετατόπιση του σημείου ακμής από την πραγματική του θέση. Η τιμή του R ευρίσκεται με εικόνες όπου οι πραγματικές ακμές είναι γνωστές. Συνήθως προστίθεται θόρυβος και μετριέται το R σ α ν συνάρτηση του SNR (signal to noise rati o). Στο επόμενο σχήμα δεικνύονται τα σφάλματα στην αναγνώριση ακμών. Σχήμα 3. 8 (α) τμήμα εικόνας με ακμή (β) ιδανική ανίχνευση ακμής (γ) Ένα σημείο που δεν ανιχνεύτηκε και (δ) ανίχνευση σημείων ακμής με μετατόπιση 3.8 Ο Διανυσματικός χώρος τω ν σημάτων που αποτελούνται 33

34 από n σημεία μίας εικόνας Εισαγωγικά Σε όλες τις προηγούμενες διαδικασίες επεξεργαζόμαστε σημεία μίας εικόνας που ανήκουν σε ένα παράθυρο 3x3 ή 5x5 κλπ. Τα σημεία αυτά μπορούμε να θεωρήσουμε ότι αποτελούν τις συντεταγμένες ενός διανύσματος σε ένα χώρο n διαστάσεων (πχ. n = 9 ή n=25 κλπ). Το μήκος του διανύσματος αυτού σχετίζεται με την ενέργεια του σήματος που ορίζεται σαν το τετράγωνο του μήκους του ή ισοδύναμα με το άθροισμα των τετραγώνων των συνιστωσών του. Εάν το διάνυσμα είναι S=[si,s2,... sn] τότε η ενέργεια αυτού είναι: Ο , 2 S - s i + S 2 + S S n (4.1) Στη διαδικασία αυτή θεωρούμε εμμέσως ότι η βάση ανάλυσης είναι η standard ορθοκανονική βάση. Με τη ν ονομασία standard εννοούμε τον διανυσματικό χώρο όπου τα διανύσματα βάσεως πχ. για n = 3 έχούν την μορφή wi=(1 0 0 ), w2= ( ), w3= ( 0 0 1). Το πρόβλημα που ανακύπτει στη θεώρηση αυτή είναι η επιλογή μίας ορθοκανονικής βάσης πέρα από τ η ν standard βάση που κάθε άξονας να έχει μία συγκεκριμένη ερμηνεία. Στη θεώρηση αυτή η συνολική ενέργεια του διανύσματος - σήματος θα είναι σταθερή (αφού πρόκειται για ορθοκανονική βάση) αλλά η κατανομή στις διάφορες συνιστώσες θα αποκαλύπτει κάποια χαρακτηριστικά της εικόνας. Στην συνέχεια βλέπουμε την εξής ορθοκανονική βάση Roberts που αναφέρεται στο χώρο των 4 διαστάσεων : " 0 1" 1 ~ 1 0 " 1 "-1 1 " W - - W W - W - 1 W V2-1 0 W Αρχικά διαπιστώνεται εύκολα ότι είναι ορθογώνια διότι το εσωτερικό γινόμενο δύο οποιονδήποτε διανυσμάτων είναι =0 Επίσης είναι κανονική διότι το μέτρο κάθε διανύσματος βάσης είναι = 1. πχ. WJV, 1 1 1" 1 1 1" /4Χ4=1 Στη, βάση αυτή παρατηρούμε ότι μία σταθερή περιοχή θα έχει μη μηδενική συνιστώσα μόνο στον άξονα W 1. 34

35 Πχ Γ ια την σταθερή περιοχή εχουμε 5 5" 20 r 1 "1 1]Ί 5 5 _ α = 10W Φ 0W2 Φ 0W3 Φ 0W4 Δηλ. εχει μία μόνο συνιστώσα την Wi Αντίθετα η περιοχή αναλύεται ω ς : που αντιστοιχεί σε μία ακμή στην οριζόντια διεύθυνση, 2 2 0W Φ ;= W Φ ;= W Φ 0W δηλ. έχει τις δύο συνιστώσες που αντιστοιχούν στις W 2 και W 3. Ουσιαστικά το μέγεθος της προβολής (κάθε συνιστώσας) δεικνύει το βαθμό ομοιότητας με το συγκεκριμενο διάνυσμα βάσεως. 35

36 4ο ΚΕΦΑΛΑΙΟ GRAPHICAL USER INTERFACE (GUI) 4.1 ΠΕΡΙΒΑΛΛΟΝ (INTERFACE) Για να δημιουργηθεί το γραφικό περιβάλλον της εργασίας χρησιμοποιήθηκε το FLTK framework. Το FLTK είναι μια συλλογή κλάσεων της C++ που βοηθάει να δημιουργηθούν εφαρμογές των windows χωρίς την γνώση των WIN32 API. Το γραφικό περιβάλλον απευθύνεται σε χρηστές μυημένους ή όχι με τον προγραμματισμό, αφού χαρακτηρίζεται από την απλότητα και την σαφήνεια της λειτουργίας του. Συγκεκριμένα ο χρηστής δεν έχει παρά να ορίσει το αρχείο που θέλει να εξετάσει, να ορίσει το είδος του ανιχνευτή ακμών που επιθυμεί καθώς και τις λεπτομέρειες που χρειάζονται (high-low threshold, αρχή και τέλος frames κλπ) και να παρακολουθήσει το αποτέλεσμα που προκύπτει. Φυσικά οι ενέργειες που λήφθηκαν καθώς και το ανιχνευμενο video μπορούν να αποθηκευτούν στο μέρος και με το όνομα που επιθυμεί ο χρήστης. Πιο αναλυτικά έχουμε : 36

37 4.1.1 OPEN AVI Πατώντας το συγκεκριμένο κουμπί (button) του γραφικού περιβάλλοντος το πρόγραμμα ανοίγει ένα νέο παράθυρο και περιμένει από τον χρήστη να επιλέξει ένα αρχείο τύπου AVI. Αυτό το βίντεο θα επεξεργαστεί και θα χρησιμοποιηθεί από το πρόγραμμα INFORMATION BAR Κατά την φόρτωση του αρχείου, το πρόγραμμα διαβάζει το video και το σπάει σε frames. Από κάθε frame παίρνουμε τα στοιχεία του (raster data), αποθηκεύεται στην μνήμη και είναι έτοιμο να επεξεργαστεί από τον χρηστή. Το μέγεθος κάθε frame αλλά και το σύνολο τους σε κάθε video απεικονίζεται εδώ. 37

38 4.1.3 ALGORITHM Σ αυτό το σημείο ο χρήστης μπορεί να επιλέξει ποιός ανιχνευτής ακμών θα χρησιμοποιηθεί. Απλά τσεκάροντας το ανάλογο εικονίδιο επιλέγεται αυτόματα ο ανιχνευτής ακμών (Sobel, Prewitt κλπ) και εφαρμόζεται σε κάθε frame του video που ανοίξαμε. Σύμφωνα με την επιλογή του χρηστή ξεκλειδώνονται ανάλογα και κάποιες παραπάνω επιλογές (στον ανιχνευτή Canny ο χρήστης μπορεί να επιλέξει εκτός High threshold και Low threshold) START FRAME-END FRAME Κατά το άνοιγμα του αρχείου το πρόγραμμα μας πληροφορεί για τα στοιχεία του (information bar). Εξορισμού φορτώνονται σαν αρχικό και τελικό frame το πρώτο και το τελευταίο frame του video. Ο χρηστής όμως μπορεί να αλλάξει το πεδίο αυτό 38

39 ορίζοντας σαν αρχικό και τελικό κάποιο άλλο frame (φυσικά μέσα στο όριο τιμών που δίνεται). Επιτυγχάνεται έτσι η επεξεργασία να μην γίνεται μόνο σε ολόκληρο το video αλλά σε ένα συγκεκριμένο κομμάτι που θα έχει οριστεί από τον χρηστή, ενώ το υπόλοιπο κομμάτι θα παραμείνει ως έχει THRESHOLD Εξορισμού ορίζεται μια αρχική τιμή για το high threshold (127). Ανάλογα όμως τα αποτελέσματα που επιθυμεί ο χρηστής (δηλ. ακμές), η συγκεκριμένη τιμή μπορεί να αλλαχθεί έτσι ώστε να έχουμε τα επιθυμητά αποτελέσματα. Ιδιαίτερα για τον ανιχνευτή ακμών με την μέθοδο Canny εκτός από High threshold υπάρχει και Low. Ομοίως και αυτό έχει μια αρχική τιμή αλλά μπορεί να αλλαχθεί ανάλογα με την επιθυμία του χρήστη PLAY AVI 39

40 Χρησιμοποιώντας το συγκεκριμένο κουμπί ο χρηστής επιλέγει να τρέξει το video που χρησιμοποιείται από το πρόγραμμα. Ανάλογα με τις επιλογές που έχουν δοθεί για την επεξεργασία του αρχείου έχουμε και το ανάλογο αποτέλεσμα. Δηλαδή : Αν έχει τσεκαριστεί κάποιος ανιχνευτής τότε θα δούμε το video επεξεργασμένο. Αν το video φορτώνεται για πρώτη φορά η αν δεν έχει επιλεχθεί κάποιος ανιχνευτής θα δούμε το αρχικό video. Αν επίσης έχουν αλλαχτεί το αρχικό και το τελικό frame θα δούμε το συγκεκριμένο κομμάτι επεξεργασμένο, ενώ το υπόλοιπο θα παραμείνει ίδιο με το αρχικό ΜΠΑΡΑ ΚΥΛΙΣΗΣ Εκτός από την επιλογή του PLAY όπου ο χρηστής βλέπει ολόκληρο το video, υπάρχει και η επιλογή της μπάρας. Εδώ ο χρηστής μετά τις επιλογές που έχει κάνει (ανιχνευτή ακμών κλπ) μπορεί να δει να εφαρμόζονται σε κάθε frame ξεχωριστά. Απλά χρησιμοποιώντας την μπάρα ο χρήστης βλέπει κάθε frame από το video επεξεργασμένο και μπορεί να σταματήσει εκεί που επιθυμεί ο ίδιος. Οι ίδιες επιλογές με λίγα λόγια που εφαρμόζονται με την επιλογή play γίνονται και εδώ για κάθε frame. Επίσης ο αριθμός του frame που βλέπουμε κάθε στιγμή εμφανίζεται αριστερά της μπάρας. 40

41 4.1.8 SAVE AVI Αφού ο χρηστής τελειώσει με την επεξεργασία του αρχείου, μπορεί με αυτήν την επιλογή να το αποθηκεύσει. Πατώντας το συγκεκριμένο κουμπί, εμφανίζεται το παράθυρο όπου περιμένει από τον χρήστη να ορίσει το όνομα και το σημείο που θα αποθηκευτεί το αρχείο. Φυσικά και το νέο αρχείο θα είναι τύπου AVI και μπορεί να χρησιμοποιηθεί για περαιτέρω χρήση από αλλά προγράμματα. Το εύρος λειτουργίας του συγκεκριμένου προγράμματος περιορίζεται για video τύπου AVI αλλά η εξέλιξη του κώδικα και για περισσότερους τύπους video είναι εφικτή και υλοποιήσιμη. 41

42 5. ΕΠΙΛΟΓΟΣ Στην παρούσα εργασία αναπτύχθηκαν και υλοποιήθηκαν ορισμένοι ανιχνευτές ακμών πάνω σε εφαρμογές βίντεο τύπου AVI. Οι ανιχνευτές που υλοποιήθηκαν είναι : ανιχνευτής ακμών με μάσκες Sobel, ανιχνευτής ακμών με μάσκες Laplace ανιχνευτής ακμών με μάσκες Prewitt ανιχνευτής ακμών με τον αλγόριθμο Canny Για την δημιουργία των ανιχνευτών αυτών χρησιμοποιήθηκαν : Για την μεταγλώτιση του κωδικα χρησιμοποιήσαμε τον GCC compiler Για το παραθυρικό περιβάλλον (GUI) χρησιμοποιήθηκε το πλαίσιο FLTK Για το διάβασμα των αρχείων χρησιμοποιήθηκε το Microsoft s Video for Windows (VFW) API Για την επεξεργασία της εικόνας, την αποθήκευση του βίντεο καθώς και την δημιουργία των ανιχνευτών χρησιμοποιήθηκε η γλώσσα προγραμματισμού C Η όλη εφαρμογή διεκπεραιώνεται μέσω παραθυρικού περιβάλλοντος (GUI) στο οποίο ο χρήστης έχει τις επιλογές ανοίγματος του αρχείου επεξεργασίας του με τον κατάλληλο ανιχνευτή ακμών και όταν κρίνει ότι το αποτέλεσμα είναι το επιθυμητό να αποθηκεύσει το συγκεκριμένο αρχείο στο μέρος και με το όνομα που θέλει. Η παραπάνω εργασία δεν απευθύνεται αποκλειστικά και μόνο σε άτομα εξειδικευμένα με τον προγραμματισμό αφού το παραθυρικό περιβάλλον έχει δημιουργηθεί έτσι ώστε να είναι κατανοητό από όλους. Επίσης η αποκλειστική χρήση του προγράμματος για αρχεία τύπου AVI δεν αποκλείει την μελλοντική του εξέλιξη αφού η βάση για ενός τέτοιου είδους εγχειρήματος υπάρχει και περιμένει την συνέχιση του. 42

43 ΒΙΒΛΙΟΓΡΑΦΙΑ "A Computational Approach to Edge Detection" Canny, John Artificial Intelligence Laboratory, Massachusetts Institute of Technology, Cambridge, Publication Date: Nov "Theory of Edge Detection", by D. Marr and E. Hildreth 1980 The Royal Society. "Pattern Recognition & Image Analysis", by D. Ziou, S Tabbone "Computer Graphics and Image Processing", by T Peli, D Malah 1982 Πηγές απο τις παρκάυω ιστοσελίδες : Σημειώσεις μαθήματος "Ψηφιακή Επεξεργασία Εικόνας" του Σ. Φωτοπουλου, Τμήμα Φυσικής- Πανεπιστήμιο Πάτρας 43