Μοντελοποίηση, προσοµοίωση και αξιολόγηση συστήµατος εντοπισµού θέσης χαρακτήρων σε τυπωµένο κείµενο παρουσία θορύβου µε τεχνικές διδιάστατου µετασχηµατισµού Fourier Κύρια περιοχή έρευνας: Σήµατα ευτερεύουσα περιοχή έρευνας: Ψηφιακή επεξεργασία (διδιάστατων σηµάτων) εικόνας Μάριος. Βλάχος ιδακτορικός Φοιτητής Εργαστήριο Ενσύρµατου Τηλεπικοινωνίας Τµήµα Ηλεκτρολόγων Μηχανικών & Τεχνολογίας Υπολογιστών Πολυτεχνική Σχολή Πανεπιστήµιο Πατρών Κάτω Καστρίτσι 26500 mvlachos@george.wcl2.ee.upatras.gr Τηλέφωνο: 6947 727249 Περίληψη Στην παρούσα εργασία παρουσιάζεται η µελέτη, ο σχεδιασµός, η υλοποίηση και η αξιολόγηση ενός συστήµατος εντοπισµού θέσης χαρακτήρων σε τυπωµένο κείµενο. Το σύστηµα αποτελείται από την βαθµίδα εξαγωγής παραµέτρων και από ένα στάδιο σύγκρισης χαρακτήρων. Η βαθµίδα εξαγωγής παραµέτρων εκµεταλλεύεται τις κατευθυντικές ιδιότητες του διδιάστατου µετασχηµατισµού Fourier µε αποτέλεσµα να είναι κατάλληλη για εντοπισµό χαρακτήρων που είναι προσανατολισµένοι σε διαφορετικές διευθύνσεις (συνηθισµένες διευθύνσεις σε τυπωµένο κείµενο είναι αυτές που σχηµατίζουν γωνίες 0, 90 και 180 µοιρών µε τον οριζόντιο άξονα). Η διαδικασία εντοπισµού των χαρακτήρων χρησιµοποιεί µέθοδο σύγκρισης των χωρικών χαρακτηριστικών των τυπωµένων χαρακτήρων. Σκοπός του αναπτυχθέντος συστήµατος είναι ο εντοπισµός θέσης χαρακτήρων σε τυπωµένο κείµενο τόσο σε ιδανικές συνθήκες (εικόνας χωρίς ή αµελητέας επίδρασης θόρυβο) όσο και σε συνθήκες θορύβου (δηλαδή στην περίπτωση που η εικόνα έχει παραµορφωθεί από κάποιο είδος θορύβου, π.χ. θόρυβος τύπου White Gaussian, Salt & Pepper, Speckle, σε βαθµό που η επίδρασή του να επηρεάζει σηµαντικά την ποιότητα της εκτύπωσης). Αρχικά πραγµατοποιείται η εξαγωγή του προτύπου (χαρακτήρα) από το τυπωµένο κείµενο και στη συνέχεια ακολουθεί µια διαδικασία σύγκρισης του εξαχθέντος προτύπου µε όλα τα πρότυπα της εικόνας µε σκοπό να βρεθούν τα ζεύγη προτύπων που ταιριάζουν καλύτερα µε κριτήριο το µέτρο συσχέτισης. Με την προτεινόµενη µέθοδο ο εντοπισµός θέσης χαρακτήρων σε τυπωµένο κείµενο καθίσταται µια απλή διαδικασία: το µόνο που απαιτείται είναι η αποθήκευση των εξαχθέντων προτύπων σε µια βάση δεδοµένων και στη συνέχεια ο εντοπισµός ενός χαρακτήρα (από τους υπάρχοντες), απλά µε προσοµοίωση του αναπτυχθέντος
συστήµατος, παρέχοντας του σαν είσοδο τον επιθυµητό χαρακτήρα κάθε φορά. Για τη µελέτη όλων των παραµέτρων σχεδίασης και για την εκτίµηση της απόδοσης του αναπτυχθέντος συστήµατος κατασκευάστηκε ένα µοντέλο σε περιβάλλον Simulink (Matlab). Συµπερασµατικά το υλοποιηθέν σύστηµα όπως προκύπτει από τα αποτελέσµατα προσοµοίωσης του αναπτυχθέντος µοντέλου καταφέρνει να επιτύχει τον σκοπό του που είναι ο σθεναρός εντοπισµός θέσης χαρακτήρων, προσανατολισµένων σε διαφορετικές διευθύνσεις, σε τυπωµένο κείµενο ακόµα και σε περιβάλλον µε ισχυρή παρουσία διαφόρων τύπων θορύβου. Τα πειραµατικά αποτελέσµατα που περιλαµβάνουν εντοπισµό θέσης χαρακτήρα σε δοσµένη εικόνα µε ή χωρίς θόρυβο έδειξαν επιτυχία εντοπισµού χωρίς σφάλµατα σε όλες τις περιπτώσεις. Λέξεις κλειδιά: Αναγνώριση χαρακτήρων, πρότυπο, µετασχηµατισµός Fourier, συσχέτιση, θόρυβος. 1. Εισαγωγή Η αναγνώριση προτύπων αποτελεί ένα από τα σηµαντικότερα στοιχεία ενός συστήµατος τεχνητής νοηµοσύνης που στοχεύει στην αναγνώριση και λήψη αποφάσεων. Στην περιοχή της ψηφιακής επεξεργασίας και ανάλυσης εικόνας τα πρότυπα καλούνται και χαρακτηριστικά (features). Γενικά ως χαρακτηριστικό µπορεί να θεωρηθεί οποιοδήποτε µετρήσιµο µέγεθος που εξάγεται από µια εικόνα. Τα χαρακτηριστικά χρησιµοποιούνται για να περιγράψουν αντικείµενα που περιέχονται σε εικόνες και συνεπώς πρέπει να επιλέγονται µε βάση τις ιδιαίτερες απαιτήσεις της εφαρµογής. Η χρήση χαρακτηριστικών αντιστοιχεί ουσιαστικά στην ανάπτυξη συστηµάτων µείωσης πληροφορίας (information reduction), απεικόνισης πληροφορίας (information mapping) και ονοµατισµού πληροφοριών (information labeling). Ουσιαστικά η περιγραφή αντικειµένων µε χαρακτηριστικά απεικονίζει τα αντικείµενα στο χώρο των χαρακτηριστικών µε αποτέλεσµα η αναγνώρισή τους να ισοδυναµεί µε τη µέτρηση της οµοιότητας µεταξύ των χαρακτηριστικών των αντικειµένων. Συνεπώς τα χαρακτηριστικά που επιλέγονται πρέπει να είναι σε θέση να διαχωρίζουν και να περιγράφουν κατά το δυνατόν µονοσήµαντα τα αντικείµενα. Η κατηγοριοποίηση των χαρακτηριστικών µπορεί να γίνει µε διάφορους τρόπους. Έτσι τα χαρακτηριστικά µπορεί να είναι µεγέθη µετρήσιµα ή συµβολικά. Επίσης µπορούν να χρησιµοποιηθούν και σαφή ή ασαφή χαρακτηριστικά. Από πλευράς πεδίου ορισµού τα χαρακτηριστικά µπορούν να κατηγοριοποιηθούν ως: Χαρακτηριστικά χώρου (spatial features) Χαρακτηριστικά από µετασχηµατισµό (transform features) Στην περιοχή χαρακτηριστικών από µετασχηµατισµό που µας ενδιαφέρει στην παρούσα εργασία συνήθως η εικόνα ή ένα µέρος αυτής µετασχηµατίζεται µε τη βοήθεια ενός διδιάστατου ή µονοδιάστατου µετασχηµατισµού και στη συνέχεια τα χαρακτηριστικά ορίζονται και εξάγονται στο πεδίο της συχνότητας. Γενικά αξίζει να σηµειωθεί ότι ένα σύνολο χαρακτηριστικών πρέπει να ικανοποιεί τις ακόλουθες ιδιότητες: ιακριτικότητα Αξιοπιστία Μικρό υπολογιστικό κόστος Καλή προσαρµογή στη διαδικασία ταξινόµησης Εκτός από τις παραπάνω ιδιότητες πολλές φορές τα χαρακτηριστικά πρέπει να ικανοποιούν και κάποιες ακόµα απαιτήσεις όπως το να είναι ανεξάρτητα της κλιµάκωσης, της περιστροφής και της µετατόπισης και να µην είναι ευαίσθητα στο θόρυβο.
2. Μελέτη Για να πραγµατοποιήσουµε το προτεινόµενο σύστηµα εκµεταλλευτήκαµε τις κατευθυντικές ιδιότητες του διδιάστατου διακριτού µετασχηµατισµού Fourier (2-d Discrete Fourier Transform, 2-d DFT). Ο διδιάστατος διακριτός µετασχηµατισµός Fourier ορίζεται από τις παρακάτω σχέσεις: 2 π n k 2 π n k X ( k, k ) x( n, n ) exp( i i ) (1) N1 1 N2 1 1 2 = n1= 0 n2= 0 N1 N2 π π x( n, n ) X ( k, k ) exp( i i ) (2) N1 1 N2 1 n1 k n2 k2 = + N1 N2 k1= 0 k2= 0 N1 N2 Ο διακριτός µετασχηµατισµός Fourier είναι ένα πολύ σπουδαίο εργαλείο στην επεξεργασία διδιάστατων σηµάτων, επειδή στην πράξη όλα τα σήµατα είναι πεπερασµένα (και εποµένως δεν απαιτείται η χρήση του µετασχηµατισµού Fourier διακριτού χρόνου) και επειδή ο DFT προσφέρεται για αριθµητικούς υπολογισµούς. Η σχέση που συνδέει τον DFT µε το µετασχηµατισµό Fourier διακριτού χρόνου είναι ιδιαίτερα ενδιαφέρουσα: X ( k, k ) = X ( ω, ω ) π k π k (3) 2 2 ω1=, ω2= N1 N2 Εποµένως ο DFT είναι µια δειγµατοληψία του µετασχηµατισµού Fourier διακριτού χρόνου πάνω στο µοναδιαίο κύκλο. Είναι χαρακτηριστικό το γεγονός ότι η δειγµατοληψία στη συχνότητα εισάγει περιοδική επέκταση του σήµατος στο χρόνο. Αντίστοιχα η δειγµατοληψία στο χρόνο εισάγει περιοδική επανάληψη στη συχνότητα. Από τις ιδιότητες του DFT η πιο σηµαντική είναι αυτή της κυκλικής συνέλιξης σηµάτων. Έστω ότι έχουµε δυο ακολουθίες x( n1, n2 ) και h( n1, n2 ) και ότι γνωρίζουµε τους αντίστοιχους DFT τους. Μπορούµε να σχηµατίσουµε το ακόλουθο γινόµενο: Y ( k, k ) = X ( k, k ) H ( k, k ) (4) Επιπλέον ας υποθέσουµε ότι θέλουµε να υπολογίσουµε την παρακάτω κυκλική συνέλιξη των δυο σηµάτων: y( n, n ) = x( n, n ) h( n, n ) (5) Αναφερόµαστε στην παραπάνω σχέση µε τον όρο κυκλική συνέλιξη και τη συµβολίζουµε µε το σύµβολο επειδή αντί των γραµµικών µετατοπίσεων χρησιµοποιούνται κυκλικές µετατοπίσεις. Αξίζει να σηµειωθεί ότι ο διδιάστατος DFT υποστηρίζει µόνο διδιάστατες κυκλικές συνελίξεις. Εποµένως για τον υπολογισµό της κυκλικής συνέλιξης µπορούµε να υπολογίσουµε τους DFTs X ( k1, k2), H ( k1, k2) των δυο σηµάτων, να κάνουµε πολλαπλασιασµό στη συχνότητα και µετά να υπολογίσουµε το αποτέλεσµα y( n1, n 2) µε τη χρήση του αντίστροφου DFT. Η παραπάνω διαδικασία συνοψίζεται στο σχήµα 1 που ακολουθεί.
Xp(n) DFT Xp(k) Yp(k) DFT yp(n) hp(n) DFT Hp(k) Σχήµα 1. Υπολογισµός διδιάστατης κυκλικής συνέλιξης Παρόλα αυτά στις περισσότερες περιπτώσεις εκείνο που µας ενδιαφέρει είναι ο υπολογισµός της διδιάστατης γραµµικής συνέλιξης και όχι της διδιάστατης κυκλικής συνέλιξης. Έτσι λοιπόν αν θέλουµε να υπολογίσουµε τον DFT για τον υπολογισµό της γραµµικής συνέλιξης πρέπει πρώτα να τη µετατρέψουµε σε κυκλική συνέλιξη. Έστω λοιπόν ότι η ακολουθία x( n1, n2 ) έχει περιοχή υποστήριξης RP 1P = [0 P 2 1) [0 P2 ) και η ακολουθία h( n, n ) έχει περιοχή υποστήριξης R = [0 Q ) [0 Q ). Η γραµµική συνέλιξη ορίζεται ως εξής: Q1 1 Q2 1 1 2 m1= 0 m2= 0 Q1Q 2 y( n, n ) = h( m, m ) x( n m, n m ) (6) και έχει περιοχή υποστήριξης R = [0 L ) [0 L ) όπου: L1 L2 Li = Pi + Qi 1, i=1,2 (7) Έστω λοιπόν ότι εκλέγουµε µια περιοχή υποστήριξης N i Li. Επεκτείνουµε τις ακολουθίες όλη την περιοχή υποστήριξης R N1N2 R = [0 N ) [0 N ) τέτοια ώστε N1N2 x( n, n ), h( n1, n 2) µε µηδενικά ώστε να ορίζονται σε. Συχνά οι ακολουθίες επεκτείνονται µε µηδενικά έτσι ώστε η περιοχή υποστήριξης να έχει µέγεθος που να είναι δύναµη του δυο. Αυτό γίνεται γιατί επιταχύνει τον υπολογισµό του γρήγορου µετασχηµατισµού Fourier. x( n1, n2 ), ( n1, n2 ) R xp ( n1, n2 ) = 0, ( n1, n2 ) R R P1 P2 N1N2 P1 P2 (8) h( n1, n2 ), ( n1, n2 ) R hp ( n1, n2 ) = 0, ( n1, n2 ) R R Q1Q 2 N1N2 Q1Q 2 (9) Μπορεί εύκολα να αποδειχθεί ότι η κυκλική συνέλιξη: y ( n, n ) = x ( n, n ) h ( n, n ) (10) p p p δίνει ακριβώς τα ίδια αποτελέσµατα µε τη γραµµική συνέλιξη. Εποµένως η έξοδος της γραµµικής συνέλιξης µπορεί να υπολογισθεί ως εξής: y( n, n ) = y ( n, n ) (11) L L p ( n1, n2 ) R Συνοψίζοντας, για τον υπολογισµό της γραµµικής συνέλιξης µπορούµε να ακολουθήσουµε τα παρακάτω βήµατα:
Επεκτείνουµε τις ακολουθίες x( n1, n 2), h( n1, n 2) µε µηδενικά ώστε να ορίζονται σε όλη την περιοχή υποστήριξης R µε Ni Li. N1N2 Υπολογίζουµε τους DFTs των ακολουθιών xp ( n1, n2 ), hp ( n1, n2 ) διαστάσεων N N. Υπολογίζουµε το Y ( p k, ) 1 k2 σαν γινόµενο των X p ( k1, k2), H p ( k1, k 2). Υπολογίζουµε το y ( p n, ) 1 n 2 χρησιµοποιώντας τον αντίστροφο DFT. Το αποτέλεσµα της γραµµικής συνέλιξης δίνεται από τη σχέση (11). Ο τρόπος αυτός υπολογισµού της συνέλιξης αν και φαίνεται πολύπλοκος είναι πολύ πιο γρήγορος σε σχέση µε τη χρήση του ορισµού (σχέση (6)) διότι ο υπολογισµός των DFTs και αντίστροφων DFTs (DFTs) µπορεί να γίνει πολύ γρήγορα χρησιµοποιώντας τον διδιάστατο γρήγορο µετασχηµατισµό Fourier (FFT). Ο διδιάστατος γρήγορος µετασχηµατισµός Fourier επιτρέπει τον γρήγορο υπολογισµό του DFT πράγµα που χρειάζεται σε πολλές εφαρµογές όπως η σχεδίαση FR φίλτρων, ο υπολογισµός φάσµατος κ.ά. Υπάρχουν πολλοί τρόποι για τον υπολογισµό του διδιάστατου γρήγορου µετασχηµατισµού Fourier. Αναφέρουµε τους πιο σηµαντικούς που είναι ο FFT γραµµής στήλης (Row Column FFT, RCFFT) και ο FFT διανυσµατικής ρίζας (Vector radix FFT, VFFT). 3. Σχεδιασµός Στην παρούσα εργασία εκµεταλλευόµαστε τις παραπάνω ιδιότητες του διδιάστατου διακριτού µετασχηµατισµού Fourier καθώς και τη δυνατότητα για γρήγορο υπολογισµό του µέσω του γρήγορου µετασχηµατισµού Fourier (FFT) µε σκοπό τη σχεδίαση ενός συστήµατος εντοπισµού της θέσης χαρακτήρων µέσα σε τυπωµένο κείµενο (εικόνα που απεικονίζει τυπωµένους χαρακτήρες). Ο µετασχηµατισµός Fourier µπορεί να χρησιµοποιηθεί για τον υπολογισµό της συσχέτισης (correlation) δυο σηµάτων, η οποία είναι στενά συνδεδεµένη µε την έννοια της συνέλιξης (convolution). Η συσχέτιση χρησιµοποιείται για να εντοπίσει χαρακτηριστικά σε µια εικόνα. Κάτω από αυτή την έννοια τη χρησιµοποιούµε εδώ για τον εντοπισµό της θέσης χαρακτήρων σε τυπωµένο κείµενο µια διεργασία συχνά αποκαλούµενη στη διεθνή βιβλιογραφία ως template matching. Η εικόνα δεν είναι τίποτα άλλο παρά ένα διδιάστατο διακριτό ψηφιακό σήµα. Εποµένως µπορούµε πολύ εύκολα να εφαρµόσουµε όλες τις µεθόδους ψηφιακής επεξεργασίας διδιάστατων σηµάτων που είναι ευρύτερα γνωστές µε σκοπό να επιτύχουµε το σκοπό µας. Η διαδικασία εντοπισµού χαρακτήρων περιγράφεται συνοπτικά στο σχήµα 2 και επεξηγείται λεπτοµερώς στη συνέχεια. Το προτεινόµενο σύστηµα έχει δυο εισόδους. Η πρώτη είναι η διδιάστατη ψηφιακή εικόνα που απεικονίζει το τυπωµένο κείµενο και η δεύτερη είναι µια διδιάστατη ψηφιακή εικόνα που απεικονίζει το χαρακτήρα του οποίου θέλουµε να εντοπίσουµε τις εµφανίσεις (θέσεις) µέσα στο τυπωµένο κείµενο. Αξίζει να σηµειωθεί ότι η δεύτερη εικόνα αποτελεί το πρότυπο χαρακτήρα και αναφέρεται συχνά σαν character pattern ή template. Επίσης σηµαντικό είναι να αναφέρουµε ότι το πρότυπο χαρακτήρα εξάγεται από την πρώτη εικόνα του τυπωµένου κειµένου (αποτελεί δηλαδή τµήµα της εικόνας). Σε αντίθετη περίπτωση, όταν δηλαδή ο χαρακτήρας προέρχεται από άλλη εικόνα µε άλλα χωρικά χαρακτηριστικά η απόδοση του αλγορίθµου θα είναι γενικά χειρότερη. Τα σχήµατα 3 και 4 που ακολουθούν δείχνουν τις δυο εισόδους του προτεινόµενου συστήµατος.
First nput: Entire Text mage Compute the 2-d linear correlation Zero padding Compute the 2-d circular convolution Compute the 2-d linear convolution by keeping the appropriate part of the result Second nput: Pattern Character Define a threshold Find the points that are above the predeterminated threshold Superimpose these points to the initial text image to indicate the recognition of the pattern character Σχήµα 2. ιεργασία εντοπισµού χαρακτήρων Σχήµα 3. Πρώτη είσοδος: εικόνα που απεικονίζει το τυπωµένο κείµενο Σχήµα 4. εύτερη είσοδος: εικόνα που απεικονίζει το πρότυπο χαρακτήρα Στη συνέχεια οι δυο εικόνες αντιµετωπίζονται σαν διδιάστατα διακριτά ψηφιακά σήµατα. Εµείς αυτό που θέλουµε είναι να υπολογίσουµε την συσχέτιση µεταξύ τους και αυτό γιατί στις θέσεις όπου η συσχέτιση θα πάρει µεγάλες τιµές θα υπάρχει µεγάλη πιθανότητα να υπάρχει το πρότυπο χαρακτήρα που χρησιµοποιήσαµε στη δεύτερη είσοδο. Ενώ αντίθετα στις θέσεις όπου η συσχέτιση θα έχει µικρές τιµές θα υπάρχει µικρότερη πιθανότητα να αντιστοιχούν σε χαρακτήρες ίδιους µε το εισαχθέν πρότυπο. Ως κριτήριο για το πότε είναι ικανοποιητική η τιµή της συσχέτισης έτσι ώστε να αποτελέσει ένδειξη του πρότυπου χαρακτήρα χρησιµοποιούµε όπως θα δούµε στη συνέχεια ένα κατώφλι (threshold) που υπολογίζεται δυναµικά µε βάση τα ιδιαίτερα χαρακτηριστικά κάθε ζεύγους εισόδου. Εµείς όµως µέχρι τώρα έχουµε µιλήσει για υπολογισµό διδιάστατης γραµµικής συνέλιξης (convolution) και δεν έχουµε αναφέρει τίποτα για τον υπολογισµό της διδιάστατης γραµµικής
συνέλιξης. Αυτό δεν αποτελεί πρόβληµα γιατί η διδιάστατη γραµµική συσχέτιση µπορεί να υπολογισθεί µε τη βοήθεια της διδιάστατης γραµµικής συνέλιξης αν περιστρέψουµε την εικόνα του προτύπου (δεύτερη είσοδο) κατά 180 µοίρες γύρω από τον άξονά της (αριστερόστροφη περιστροφή). Στη συνέχεια η διδιάστατη γραµµική συνέλιξη της πρώτης εισόδου µε την περιστραµµένη κατά 180 µοίρες δεύτερη είσοδο µπορεί να πραγµατοποιηθεί µε τον γρήγορο υπολογισµό της διδιάστατης κυκλικής συνέλιξης και περιορισµό του αποτελέσµατος στην περιοχή υποστήριξης R = [0 L ) [0 L ) όπου: Li = Pi + Qi 1, i=1,2. L1 L2 Η εικόνα του περιστραµµένου προτύπου που απαιτείται για τον υπολογισµό της διδιάστατης γραµµικής συνέλιξης φαίνεται στο σχήµα 5. Σχήµα 5. εύτερη είσοδος περιστραµµένη κατά 180 µοίρες Όπως όµως έχουµε ήδη αναφέρει ο σκοπός της παρούσας εργασίας είναι ο εντοπισµός της θέσης του προτύπου χαρακτήρα που κατευθύνεται σε διαφορετικές διευθύνσεις µέσα σε τυπωµένο κείµενο. Αν παρατηρήσετε το σχήµα 3 θα διαπιστώσετε ότι το πρότυπο χαρακτήρα του σχήµατος 4 είναι προσανατολισµένο σε δυο διευθύνσεις πράγµα που µας αναγκάζει να υπολογίσουµε την διδιάστατη γραµµική συσχέτιση σε δυο διευθύνσεις. Παρόµοια αν το πρότυπο χαρακτήρα στις εικόνες τυπωµένου κειµένου που θέλουµε να το εντοπίσουµε βρίσκεται σε περισσότερες διευθύνσεις πρέπει να λάβουµε ανάλογη µέριµνα κατά το σχεδιασµό του συστήµατος. Η καλύτερη προσέγγιση στο σχεδιασµό θα ήταν να ενσωµατώσουµε στο σύστηµα µονάδες για τον υπολογισµό της συσχέτισης σε όλες τις δυνατές διευθύνσεις και να επιλέγουµε από αυτές τις πιο δυνατές αποκρίσεις. Στο υπάρχον σύστηµα για τον εντοπισµό του προτύπου χαρακτήρα στις δυο διευθύνσεις πραγµατοποιήσαµε τον υπολογισµό δυο συσχετίσεων µία χρησιµοποιώντας σαν δεύτερη είσοδο την εικόνα του σχήµατος 5 και µια χρησιµοποιώντας την εικόνα του σχήµατος 6 που είναι περιστραµµένη κατά 270 µοίρες. Σχήµα 6. εύτερη είσοδος περιστραµµένη κατά 270 µοίρες Τα σχήµατα 7 και 8 δείχνουν το µέτρο της συσχέτισης σαν εικόνα για και για τις δυο προαναφερθέντες περιπτώσεις. Τα σηµεία της εικόνας που παρουσιάζονται πιο έντονα (µεγάλες τιµές έντασης φωτεινότητας) παρουσιάζουν µεγαλύτερη πιθανότητα να είναι θέσεις εµφάνισης χαρακτήρα. Σχήµα 7. Συσχέτιση της εικόνας του σχήµατος 3 µε την εικόνα του σχήµατος 5
Σχήµα 8. Συσχέτιση της εικόνας του σχήµατος 3 µε την εικόνα του σχήµατος 6 Από τις παραπάνω εικόνες καλούµαστε να εντοπίσουµε τις θέσεις εµφάνισης του προτύπου χαρακτήρα που προσανατολίζεται στις δυο παραπάνω διευθύνσεις. Για να το κάνουµε αυτό υπολογίζουµε για κάθε µια από τις παραπάνω εικόνες τη µέγιστη τιµή της συσχέτισης και στη συνέχεια ορίζουµε ένα κατώφλι κατά προτίµηση όσο το δυνατόν πιο κοντά σε αυτή την τιµή. Αυτό το κάνουµε για να αποφύγουµε λανθασµένους εντοπισµούς της θέσης του προτύπου χαρακτήρα σε περιοχές µε χαµηλό µέτρο συσχέτισης. Κάτι τέτοιο καθίσταται ιδιαίτερα σηµαντικό κυρίως σε περιπτώσεις όπου η εικόνα έχει παραµορφωθεί από ισχυρή παρουσία θορύβου όπως θα δούµε στη συνέχεια. Τα παρακάτω σχήµατα (σχήµα 9 και 10) δείχνουν τις περιοχές της εικόνας µε υψηλή τιµή µέτρου συσχέτισης (σε σχέση πάντα µε το υπολογισθέν κατώφλι). Σχήµα 9. Θέσεις εντοπισµού προτύπου χαρακτήρα από εικόνα σχήµατος 7
Σχήµα 10. Θέσεις εντοπισµού προτύπου χαρακτήρα από εικόνα σχήµατος 8 Τα παρακάτω σχήµατα (σχήµα 11 και 12) δείχνουν όλες τις θέσεις εντοπισµού του προτύπου χαρακτήρα που κατάφερε να εντοπίσει το προτεινόµενο σύστηµα και τις ίδιες θέσεις να υπερτίθενται πάνω στην πρώτη είσοδο του συστήµατος δηλαδή την εικόνα του σχήµατος 3 αντίστοιχα. Σχήµα 11. Θέσεις εντοπισµού προτύπου χαρακτήρα από το προτεινόµενο σύστηµα Σχήµα 12. Θέσεις εντοπισµού προτύπου χαρακτήρα από το προτεινόµενο σύστηµα υπερτιθέµενες στην εικόνα του σχήµατος 3
4. Υλοποίηση Για τη µελέτη όλων των παραµέτρων σχεδίασης και για την εκτίµηση της απόδοσης του αναπτυχθέντος συστήµατος κατασκευάστηκε ένα µοντέλο σε περιβάλλον Simulink (Matlab). Το υλοποιηθέν σύστηµα φαίνεται στο σχήµα 13 που ακολουθεί. Video Viewer corr text text 2-D FFT Video Viewer 2-D FFT Video To Workspace mage From Workspace 2-D FFT Re(u) Video Viewer char Divide 2-D FFT Complex to Real-mag Video Viewer1 char 2-DPad Rotate 2-D FFT mage From Workspace1 2-DPad Rotate 2-D FFT1 max 0 Reshape MinMax Display 0 Video Viewer 1 Add Display1 Video Viewer2 Constant corr2 > Relational Operator Video Viewer Video Viewer3 Draw Lines Pts Draw Shapes point_vector Pts Video To Workspace1 2-D FFT Re(u) max 0 OR Embedded MATLAB Function1 Rotate Rotate1 2-D FFT 2-D FFT2 Divide1 2-D FFT1 Complex to Real-mag1 Reshape1 MinMax1 Display2 0 Logical Operator point_vector Pts Draw Lines Pts Video Viewer 1 Add1 Display3 Embedded MATLAB Function Draw Shapes1 Video Viewer6 Constant1 Video Viewer Video Viewer5 > Relational Operator1 Video Viewer Video Viewer4 Σχήµα 13. Το µοντέλο του προτεινόµενου συστήµατος σε περιβάλλον Simulink Όπως φαίνεται από το παραπάνω σχήµα το µοντέλο έχει δυο εισόδους τις text και char που αντιστοιχούν στην πρώτη και δεύτερη είσοδο του σχεδιασθέντος συστήµατος αντίστοιχα. Στη συνέχεια η πρώτη και η δεύτερη είσοδος επεκτείνονται µε µηδενικά έτσι ώστε να έχουν την ίδια περιοχή υποστήριξης 256 256 (προσέξτε ότι όπως ήδη έχουµε αναφέρει η περιοχή υποστήριξης έχει µέγεθος που είναι δύναµη του δυο για επιτάχυνση των υπολογισµών). Έπειτα η δεύτερη είσοδος περιστρέφεται κατά 180 και 270 µοίρες αντίστοιχα για να λάβουµε υπόψη µας τις δυο κατευθύνσεις του προτύπου χαρακτήρα µέσα στο τυπωµένο κείµενο. Ακολούθως υπολογίζουµε τους µετασχηµατισµούς Fourier της πρώτης εισόδου και των δυο περιστραµµένων εκδοχών της δεύτερης εισόδου. Μετά διαχωρίσουµε δυο περιπτώσεις που είναι οι δυο ξεχωριστοί υπολογισµοί των αντίστοιχων συσχετίσεων. Για την πρώτη περίπτωση πολλαπλασιάζουµε τους DFTs της εικόνας του σχήµατος 3 και του σχήµατος 5, υπολογίζουµε τον αντίστροφο µετασχηµατισµό Fourier και παίρνουµε το µέτρο της συσχέτισης. Από την εικόνα των µέτρων της συσχέτισης υπολογίζουµε τη µέγιστη τιµή και εκλέγουµε το κατώφλι να είναι µία µονάδα κάτω από αυτή. Για το πρότυπο της εικόνας του σχήµατος 5 η τιµή κατωφλίου επιλέχθηκε να έχει την τιµή 67. Η τιµή αυτή κατωφλίου χρησιµοποιείται ως µέτρο σύγκρισης για την επιλογή των θέσεων που είναι πιθανόν να περιέχουν το πρότυπο χαρακτήρα. Τέλος οι θέσεις αυτές που εντοπίστηκαν χρησιµοποιούνται σαν τα σηµεία που βοηθούν στη σχεδίαση των γραµµών που υπερτίθενται στην εικόνα τυπωµένου κειµένου του σχήµατος 3. Για την δεύτερη περίπτωση πολλαπλασιάζουµε τους DFTs της εικόνας του σχήµατος 3 και του σχήµατος 6, υπολογίζουµε τον αντίστροφο µετασχηµατισµό Fourier και παίρνουµε το µέτρο της συσχέτισης. Από την εικόνα των µέτρων της συσχέτισης υπολογίζουµε τη µέγιστη τιµή και εκλέγουµε το κατώφλι να είναι µία µονάδα κάτω από αυτή. Για το πρότυπο της εικόνας του σχήµατος 6 η τιµή κατωφλίου επιλέχθηκε να έχει και πάλι την τιµή 67. Η τιµή αυτή κατωφλίου χρησιµοποιείται ως µέτρο σύγκρισης για την επιλογή των θέσεων που είναι πιθανόν να περιέχουν το πρότυπο χαρακτήρα. Τέλος οι θέσεις αυτές που εντοπίστηκαν χρησιµοποιούνται σαν τα σηµεία που βοηθούν στη σχεδίαση των γραµµών που υπερτίθενται στην εικόνα τυπωµένου κειµένου του σχήµατος 3 όπως και στην προηγούµενη περίπτωση. Αξίζει να σηµειώσουµε ότι η διαδικασία αυτή πρέπει να επαναλαµβάνεται για κάθε πιθανή διεύθυνση του προτύπου χαρακτήρα αλλά δεν επιφέρει ιδιαίτερη επιβάρυνση στο σύστηµα
γιατί µπορεί να υλοποιηθεί σε παράλληλη αρχιτεκτονική χωρίς πρόσθετη χρονική επιβάρυνση. Με την προτεινόµενη µέθοδο ο εντοπισµός θέσης χαρακτήρων σε τυπωµένο κείµενο καθίσταται µια απλή διαδικασία: το µόνο που απαιτείται είναι η αποθήκευση των εξαχθέντων προτύπων σε µια βάση δεδοµένων και στη συνέχεια ο εντοπισµός ενός χαρακτήρα (από τους υπάρχοντες), απλά µε προσοµοίωση του αναπτυχθέντος συστήµατος, παρέχοντας του σαν είσοδο τον επιθυµητό χαρακτήρα κάθε φορά. Η εξαγωγή των προτύπων χαρακτήρων µπορεί να γίνει µε µια αυτοµατοποιηµένη διεργασία µε αποτέλεσµα να µην απαιτείται η εξαγωγή του προτύπου χαρακτήρα κάθε φορά που το σύστηµα προσοµοιώνεται. Αρκεί η ανάκτηση του επιθυµητού προτύπου χαρακτήρα από τη βάση δεδοµένων στην οποία είναι αποθηκευµένοι όλοι οι χαρακτήρες που ανήκουν στη δοσµένη εικόνα. Η µοντελοποίηση του παραπάνω συστήµατος µας επιτρέπει να εξετάσουµε το σύστηµα κάτω από διάφορες συνθήκες θορύβου και να αξιολογήσουµε κατάλληλα την απόδοσή του. Επίσης µας δίνει τη δυνατότητα να εξετάσουµε τη συµπεριφορά του συστήµατος παρέχοντάς του στην είσοδο όλους τους υπάρχοντες χαρακτήρες στο τυπωµένο κείµενο. 5. Αξιολόγηση Σε αυτό το σηµείο αφού παρουσιάσαµε όλες τις παραµέτρους σχεδίασης και δώσαµε τις προδιαγραφές του µοντέλου του συστήµατος που υλοποιήσαµε σε περιβάλλον Simulink είµαστε σε θέση να αξιολογήσουµε τη σχεδίαση εξετάζοντας τη συµπεριφορά του συστήµατος κάτω από την επίδραση διαφόρων ειδών θορύβου (διαφορετικής ισχύος). Στην παρούσα εργασία µελετήσαµε την επίδραση που έχουν στον εντοπισµό τα παρακάτω τρία είδη θορύβου: Gaussian, Salt & Pepper, Speckle. Τα παρακάτω σχήµατα (σχήµα 14 και 15) δείχνουν την συµπεριφορά της διεργασίας εντοπισµού υπό την παρουσία θορύβου τύπου Gaussian µηδενικής µέσης τιµής και διασποράς 0.01. Σχήµα 14. Εικόνα τυπωµένου κειµένου παραµορφωµένη µε θόρυβο τύπου Gaussian µηδενικής µέσης τιµής και διασποράς 0.01
Σχήµα 15. Θέσεις εντοπισµού προτύπου χαρακτήρα από το προτεινόµενο σύστηµα υπερτιθέµενες στην εικόνα του σχήµατος 14 Το σχήµα 16 δείχνει την εικόνα του σχήµατος 3 παραµορφωµένη από θόρυβο τύπου Salt & Pepper (αλάτι και πιπέρι) πυκνότητας θορύβου 0.04 ενώ το σχήµα 17 δείχνει τις θέσεις εντοπισµού υπερτιθέµενες στην εικόνα του σχήµατος 16. Σχήµα 16. Εικόνα τυπωµένου κειµένου παραµορφωµένη µε θόρυβο τύπου Salt & Pepper πυκνότητας θορύβου 0.04 Σχήµα 17. Θέσεις εντοπισµού προτύπου χαρακτήρα από το προτεινόµενο σύστηµα υπερτιθέµενες στην εικόνα του σχήµατος 16
Τέλος στις εικόνες των σχηµάτων 18 και 19 δείχνουµε τη συµπεριφορά του συστήµατος στην επίδραση πολλαπλασιαστικού θορύβου Speckle µηδενικής µέσης τιµής και διασποράς 0.02. Σχήµα 18. Εικόνα τυπωµένου κειµένου παραµορφωµένη µε θόρυβο τύπου Speckle µηδενικής µέσης τιµής και διασποράς 0.02 Σχήµα 19. Θέσεις εντοπισµού προτύπου χαρακτήρα από το προτεινόµενο σύστηµα υπερτιθέµενες στην εικόνα του σχήµατος 18 Ολοκληρώνουµε την παρουσίαση του προτεινόµενου συστήµατος παραθέτοντας ακόµη ένα παράδειγµα εντοπισµού θέσης προτύπου χαρακτήρα επιλέγοντας τώρα σαν πρότυπο χαρακτήρα τον χαρακτήρα που φαίνεται στο σχήµα 20. Το σχήµα 21 δείχνει τον επιτυχή του εντοπισµό. Σχήµα 20. Πρότυπο χαρακτήρα
Σχήµα 21. Θέσεις εντοπισµού προτύπου χαρακτήρα (που φαίνεται στο σχήµα 20) από το προτεινόµενο σύστηµα υπερτιθέµενες στην εικόνα του σχήµατος 3 6. Συµπεράσµατα Στην παρούσα εργασία παρουσιάστηκε η µελέτη, ο σχεδιασµός, η υλοποίηση και η αξιολόγηση ενός συστήµατος εντοπισµού θέσης χαρακτήρων που είναι προσανατολισµένοι σε διαφορετικές διευθύνσεις µέσα σε τυπωµένο κείµενο. Σκοπός του αναπτυχθέντος συστήµατος ήταν ο εντοπισµός θέσης χαρακτήρων σε τυπωµένο κείµενο τόσο σε ιδανικές συνθήκες (εικόνας χωρίς ή αµελητέας επίδρασης θόρυβο) όσο και σε συνθήκες θορύβου (δηλαδή στην περίπτωση που η εικόνα έχει παραµορφωθεί από κάποιο είδος θορύβου, π.χ. θόρυβος τύπου White Gaussian, Salt & Pepper, Speckle, σε βαθµό που η επίδρασή του να επηρεάζει σηµαντικά την ποιότητα της εκτύπωσης). Για τη µελέτη όλων των παραµέτρων σχεδίασης και για την εκτίµηση της απόδοσης του αναπτυχθέντος συστήµατος κατασκευάστηκε ένα µοντέλο σε περιβάλλον Simulink (Matlab). Μελετήθηκαν διεξοδικά όλοι οι παράµετροι που εµπλέκονται στη σχεδίαση και υλοποίηση του παραπάνω µοντέλου και συνδέθηκαν κατάλληλα µε την θεωρία ψηφιακής επεξεργασίας διδιάστατων διακριτών σηµάτων. Συµπερασµατικά το υλοποιηθέν σύστηµα όπως προκύπτει από τα αποτελέσµατα προσοµοίωσης του αναπτυχθέντος µοντέλου καταφέρνει να επιτύχει τον σκοπό του που είναι ο σθεναρός εντοπισµός θέσης χαρακτήρων, προσανατολισµένων σε διαφορετικές διευθύνσεις, σε τυπωµένο κείµενο ακόµα και σε περιβάλλον µε ισχυρή παρουσία διαφόρων τύπων θορύβου. Τα πειραµατικά αποτελέσµατα που περιλαµβάνουν εντοπισµό θέσης χαρακτήρα σε δοσµένη εικόνα µε ή χωρίς θόρυβο έδειξαν επιτυχία εντοπισµού χωρίς σφάλµατα σε όλες τις περιπτώσεις. 7. Αναφορές Gongalez, R. and Woods, R., Digital mage Processing, Addison-Wesley Publishing Co,1993 Jain, A.K, Fundamentals of Digital mage Processing, Prentice Hall, 1986 Kan, C. and Srinath, M., nvariant character recognition with Zernike and orthogonal Fourier-Mellin moments, Pattern Recognition, vol. 35, pp. 143-154, 2002 Lim, J.S, Two-Dimensional Signal and mage Processing, Prentice-Hall international, nc., 1990 Papamarkos, N., Spiliotis,. and Zoumadakis, A., Character recognition by signature approximation, nternational Journal of Pattern Recognition and Artificial ntelligence, vol. 8, pp. 1171-1187, 1994 Theodoridis, S., and Koutroumbas, K., Pattern Recognition, Academic Press, San Diego, 1999 Παπαµάρκος, Ν., Ψηφιακή επεξεργασία & Ανάλυση εικόνας, 2005 Πήτας, Ι., Ψηφιακή επεξεργασία εικόνας