ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΜΕ ΘΕΜΑ: ΣΗΜΑΣΙΟΛΟΓΙΚΗ ΑΝΑΛΥΣΗ ΠΟΛΥΜΕΣΩΝ ΜΕ ΧΡΗΣΗ ΓΝΩΣΗΣ ΠΑΠΑΔΟΠΟΥΛΟΣ ΓΕΩΡΓΙΟΣ ΑΕΜ: 4486 ΕΠΙΒΛΕΠΩΝ ΚΑΘΗΓΗΤΗΣ: Μ. Γ. ΣΤΡΙΝΤΖΗΣ ΘΕΣΣΑΛΟΝΙΚΗ, ΟΚΤΩΒΡΙΟΣ 2005

2 Περιεχόμενα 1. Εισαγωγή Σημασία των πολυμέσων Το πρόβλημα της διαχείρισης των εικόνων Σύντομη περιγραφή περιεχομένων Ανάλυση πολυμέσων με χρήση γνώσης Σημασιολογική ανάλυση πολυμέσων με χρήση γνώσης Αναπαράσταση γνώσης Οντολογίες Κατάτμηση εικόνων και οπτική ροή Κατάτμηση ακίνητων εικόνων (segmentation process) Οπτική ροή (optical flow) Βελτίωση κατάτμησης Αίτια εφαρμογής της διαδικασίας Περιγραφή μεθόδου Κατάτμηση και υπολογισμός οπτικής ροής εικόνας Εκτίμηση κίνησης και υπολογισμός επιφάνειας σφάλματος Αναγνώριση εσφαλμένης κατάτμησης περιοχών βάση κίνησης ο στάδιο συγχώνευσης περιοχών ο στάδιο συγχώνευσης περιοχών Δημιουργία συνεκτικών περιοχών Διαχείριση μικρών περιοχών Αποτελέσματα εφαρμογής μεθόδου Χωρικές σχέσεις στο επίπεδο (2D spatial relations) Τοπολογικές σχέσεις (topological relations) Σχέση γειτονίας - μη γειτονίας (connected disconnected) Παράγοντας γειτονίας Σχέση περικύκλωσης (surrounds) Σχετική περικύκλωση (quasi-inclusion) Σχέσεις απόστασης (distance relations) Σχέσεις κατεύθυνσης (directional relations)

3 Εξαντλητική μέθοδος υπολογισμού σχέσεων κατεύθυνσης Υπολογισμός των σχέσεων κατεύθυνσης με ομαδοποίηση Υπολογισμός σχέσεων κατεύθυνσης βάση περιγράμματος Υπολογισμός σχέσεων κατεύθυνσης με χρήση κέντρων βάρους Υπολογισμός σχέσεων κατεύθυνσης με χρήση των κέντρων των MBR Υπολογισμός σχέσεων κατεύθυνσης με χρήση MBR και χωρισμού της εικόνας σε περιοχές Σύγκριση μεθόδων υπολογισμού σχέσεων κατεύθυνσης Γενικά σχόλια και επιλογή μεθόδου Σχέσεις απόλυτης θέσης (absolute positions) Γεωμετρικά χαρακτηριστικά περιοχών Εξέταση αποτελεσματικότητας 2Δ χωρικών σχέσεων Χωρικές σχέσεις στον τρι-διάστο χώρο (3D spatial relations) Μέθοδος υπολογισμού σχέσεων βάθους (depth-ordering) Υλοποίηση αλγορίθμου υπολογισμού σχέσεων βάθους ο στάδιο: Κατάτμηση εικόνας ο στάδιο: Υπολογισμός κίνησης ο στάδιο: Εκτίμηση κίνησης ο στάδιο: Εξαγωγή των σχέσεων βάθους Παρουσίαση αποτελεσμάτων Παράδειγμα εφαρμογής Παράδειγμα εφαρμογής Παράδειγμα εφαρμογής Συμπεράσματα - Μελλοντική Εργασία Βιβλιογραφία Παράρτημα Α - Υπολογισμός των παραμέτρων του διγραμμικού μοντέλου κίνησης με τη μέθοδο εκτίμησης ελαχίστων τετραγώνων

4 1. Εισαγωγή 1.1 Σημασία των πολυμέσων Η εικόνα σαν μέσο μετάδοσης και αποθήκευσης πληροφορίας έχει αναδειχθεί ως ένα από τα πλέον περιεκτικά και παράλληλα αποδοτικότερα στη χρήση. Ο συνολικός όγκος των πληροφοριών που μπορούν να αποθηκευθούν σε μια μόνο εικόνα είναι χωρίς υπερβολή τεράστιος. Το μέγεθος αυτό μπορεί να γίνει καλύτερα αντιληπτό εάν αναλογιστούμε με πόσες λέξεις απλού κειμένου μπορούμε να περιγράψουμε το σύνολο της πληροφορίας το οποίο απεικονίζεται σε αυτή. Επιπλέον, το γεγονός ότι η εικόνα αποτελεί ένα μέσο εύκολα προσβάσιμο από όλους και ότι δεν απαιτείται καμία ιδιαίτερη δεξιότητα του ατόμου στην προσπάθεια άντλησης της πληροφορίας από αυτήν, την έχουν καταστήσει ως ένα ευρέως χρησιμοποιούμενο μέσο μετάδοσης της πληροφορίας. Εξαιτίας όλων των παραπάνω ευνοϊκών ιδιοτήτων της, η εικόνα έχει χρησιμοποιηθεί ως βασικό στοιχείο σε ένα μεγάλο και συνεχώς αυξανόμενο σύνολο πεδίων εφαρμογών. Τα τελευταία χρόνια, όμως, με την εξέλιξη της τεχνολογίας τόσο στο τομέα του υλικού όσο και στον τομέα του λογισμικού, ο συνολικός αριθμός των εικόνων που χρησιμοποιεί το κάθε άτομο είτε στις καθημερινές του δραστηριότητες είτε στο εργασιακό του περιβάλλον έχει αυξηθεί κατακόρυφα. Σε αυτό έχει συντελέσει κύρια, εκτός από το γεγονός της ψηφιοποίησης της εικόνας και της ευκολίας που αυτή παρέχει στις διαδικασίες της αποθήκευσης και της επεξεργασίας των εικόνων γενικότερα, η εμφάνιση φορητών μέσων αποθήκευσης μεγάλης χωρητικότητας (CD-ROMs, DVD- ROMs, φορητοί μαγνητικοί δίσκοι) που συντελούν στην εύκολη και αποτελεσματική μαζική αποθήκευση και μεταφορά των εικόνων, όσο και η παγκόσμια εξάπλωση του διαδικτύου (που με τη σειρά του παρέχει επιπρόσθετες δυνατότητες στη διάδοση και την αναζήτησή τους). Επιπλέον, σχετικά πρόσφατα έχει παρουσιαστεί μια πλειάδα νέων εφαρμογών που μπορούν να χρησιμοποιηθούν στις καθημερινές μας δραστηριότητες. Χαρακτηριστικά παραδείγματα των τελευταίων είναι η χρήση των εικόνων μέσω των κινητών τηλεφώνων, αλλά και η δυνατότητα επικοινωνίας μέσω των τηλεδιασκέψεων (όπου εκτός από τον ήχο δίνεται η δυνατότητα οπτικής επικοινωνίας μέσω των χρηστών). Παράλληλα, με αυτού του είδους την αύξηση παρατηρείται και η αντίστοιχη αύξηση στις απαιτήσεις των χρηστών. Έτσι, αναδύονται πλέον καινούργια είδη 4

5 Κεφάλαιο 1: Εισαγωγή προβλημάτων, τα οποία καλούμαστε να αντιμετωπίσουμε. Τέτοια προβλήματα, για παράδειγμα, μπορεί να σχετίζονται με την ποιότητα των απεικονιζόμενων εικόνων. Ήδη, έχει εφαρμοστεί μια σειρά από μεθόδους που στόχο έχουν τη διασφάλιση της όσο το δυνατόν καλύτερης ποιότητας κατά τη διαδικασία λήψης της εικόνας ή της βελτίωσής της σε περίπτωση μερικής καταστροφής. Πιο πρόσφατα, όμως, παράλληλα με την τεράστια αύξηση του διαθέσιμου υλικού, προέκυψαν προβλήματα που σχετίζονται με την ευκολία στην διαχείριση των εικόνων και ειδικότερα με την γρήγορη και αποτελεσματική αναζήτησή τους μέσα σε μια μεγάλη βάση πολυμέσων ή ακόμα και το πρόβλημα της ταξινόμησής τους. Στα πλαίσια της διπλωματικής εργασίας επικεντρωθήκαμε στην μελέτη προβλημάτων της τελευταίας κατηγορίας. 1.2 Το πρόβλημα της διαχείρισης των εικόνων Όπως αναφέραμε και στην προηγούμενη ενότητα, καθώς το πλήθος των χρησιμοποιούμενων εικόνων άρχισε να αυξάνει σημαντικά, αναδείχθηκε το πρόβλημα της εύκολης και αποτελεσματικής διαχείρισής τους. Αρχικά, έγιναν προσπάθειες να αντιμετωπιστούν τα προβλήματα της αναζήτησης και της ταξινόμησης των εικόνων σε μια αντίστοιχη βάση δεδομένων με κάποια από τις παραδοσιακές μεθόδους, στην ίδια λογική με τον τρόπο οργάνωσης μιας βιβλιοθήκης. Μια από τις πρώτες προσπάθειες που επιχειρήθηκαν στα πλαίσια της λογικής αυτής είναι γνωστή με τον όρο αναζήτηση βάση λέξεων-κλειδιών. Βασικό χαρακτηριστικό αυτής της κατηγορίας των μεθόδων είναι η προσπάθεια εκμετάλλευσης τυχόν προϋπαρχόντων υποτίτλων σε μια εικόνα προκείμενου να επιτευχθεί μια κατηγοριοποίησή της σε προκαθορισμένες θεματικές ομάδες ή η δημιουργία ενός αυστηρού αλφάβητου. Το αλφάβητο αυτό αποτελείται από μια σειρά όρων που μπορούν να αντιστοιχιστούν σε εικόνες, προκειμένου να χαρακτηρίσουν το περιεχόμενό τους. Στην περίπτωση της δημιουργίας του σχετικά περιορισμένου αυτού αλφαβήτου, η διαδικασία της κατηγοριοποίησης γίνεται σε ένα επόμενο στάδιο, βάση της συσχέτισης του αλφαβήτου αυτού με τον εκάστοτε υπότιτλο της εικόνας. Αν και η μέθοδος αυτή φαίνεται αρκετά απλή και υπολογιστικά αποτελεσματική, ωστόσο παρουσιάζει μια σειρά από περιορισμούς που την καθιστούν γενικά όχι και τόσο αποτελεσματική. Οι 5

6 Κεφάλαιο 1: Εισαγωγή περιορισμοί αυτοί προκύπτουν από την χρησιμοποίηση ενός περιορισμένου αλφαβήτου, το οποίο δεν επιτρέπει γενικά απροσδόκητες αναζητήσεις, αλλά και ούτε μπορεί να επεκταθεί χωρίς προηγουμένως να επανα-υπολογιστούν οι πιθανές συνδέσεις μεταξύ κάθε στοιχείου της βάσης πολυμέσων και κάθε νέας προσθήκης στο αλφάβητο. Επιπρόσθετα, τέτοιου είδους προσεγγίσεις προαπαιτούν είτε την ύπαρξη σχολίων κειμένου σε κάθε εικόνα είτε την εισαγωγή τους βάση του περιορισμένου αλφαβήτου χειροκίνητα από τον χρήστη. Στην τελευταία περίπτωση, εάν υπάρξει ασυνέχεια στον τρόπο αντιστοίχησης των λέξεων-κλειδιών, η απόδοση και η αποτελεσματικότητα της μεθόδου θα μειωθεί σημαντικά. Εν συνεχεία, διαπιστώθηκε ότι η φύση των εικόνων (και γενικότερα των πολυμεσικών οντοτήτων) συνιστούσε έναν διαφορετικό τρόπο αντιμετώπισης του προβλήματος. Έτσι, οι προσπάθειες στράφηκαν στο σχεδιασμό συστημάτων που αξιοποιούσαν καλύτερα τις δυνατότητες που παρέχουν οι ίδιες οι εικόνες. Στηριζόμενοι στην παρατήρηση αυτή, αναπτύχθηκε μια γενικότερη κατηγορία μεθόδων που έγινε ευρέως γνωστή με τον όρο αναζήτηση-με-βάση-το-περιεχόμενο (content-based image retrieval). Στα πλαίσια της μεθόδου αυτής, επιχειρήθηκε να εξεταστεί και να αξιοποιηθεί το ίδιο το περιεχόμενο της εικόνας. Σε ένα πρώτο στάδιο της συνολικής επεξεργασίας (pre-processing), εξάγονται από την κάθε εικόνα μια σειρά από πολυμεσικά χαρακτηριστικά. Μερικά από αυτά τα χαρακτηριστικά που συνήθως επιλέγονται αφορούν την κατανομή του χρώματος της εικόνας, την υφή και το σχήμα των αντικειμένων που απεικονίζονται σε αυτήν. Τα χαρακτηριστικά αυτά συνήθως ονομάζονται χαρακτηριστικά χαμηλού επιπέδου. Κατόπιν, δίνεται η δυνατότητα στον χρήστη να πραγματοποιήσει μια διαδικασία αναζήτησης με κριτήριο κάποιο από τα παραπάνω χαρακτηριστικά ή ακόμα και κάποιον συνδυασμό τους. Έτσι, πλέον η αναζήτηση των εικόνων υλοποιείται βάση του περιεχομένου τους. Ένα χαρακτηριστικό παράδειγμα μεθόδου αναζήτησης της παραπάνω κατηγορίας είναι η αναζήτηση-με-παράδειγμα (Query-by-example). Στη μέθοδο αυτή, αρχικά υπολογίζεται ένα σύνολο από χαρακτηριστικά χαμηλού επιπέδου για κάθε εικόνα της πολυμεσικής βάσης. Κατόπιν, η αναζήτηση των εικόνων γίνεται με έναν ημι-αυτόματο τρόπο, όπου ο εκάστοτε χρήστης μπορεί να επεμβαίνει διαδοχικά και να συγκεκριμενοποιεί τα κριτήρια αναζήτησης. Ειδικότερα, ο χρήστης έχει τη δυνατότητα 6

7 Κεφάλαιο 1: Εισαγωγή να εισάγει ως κριτήριο αναζήτησης κάποια εικόνα της προτίμησής του και στη συνέχεια εξετάζονται όλες οι εικόνες της πολυμεσικής βάσης με βάση κάποιο κριτήριο ομοιότητας, που χρησιμοποιεί τα χαρακτηριστικά των εικόνων, και με βάση το κριτήριο αυτό επιστρέφονται τα όμοια αποτελέσματα. Κατόπιν, ο χρήστης έχει την δυνατότητα, για το σύνολο των εικόνων που έχουν επιλεγεί ήδη, να συγκεκριμενοποιήσει ακόμα περισσότερο το κριτήριο αναζήτησής του μέχρι να βρεθεί η επιθυμητή εικόνα. Αν και η παραπάνω μέθοδος βελτίωσε σημαντικά τις επιδόσεις των αλγορίθμων αναζήτησης των εικόνων, ωστόσο σε ορισμένες περιπτώσεις τα αποτελέσματα της αναζήτησης θεωρήθηκαν ότι μπορούσαν να βελτιωθούν ακόμα περισσότερο. Τα τελευταία χρόνια, έχει αναπτυχθεί μια καινούργια κατηγορία μεθόδων, η οποία οδηγεί σε ικανοποιητικά αποτελέσματα αναζήτησης και ταυτόχρονα παρέχει πολλές ευκολίες χειρισμού στον χρήστη. Η κεντρική ιδέα που διέπει αυτές τις μεθόδους είναι το να γίνεται η διαδικασία της αναζήτησης-ταξινόμησης των εικόνων βάση κριτηρίων διαισθητικά κοντύτερων στα κριτήρια που θα έθετε ο ίδιος ο άνθρωπος. Δηλαδή, τα κριτήρια αναζήτησης πλέον δεν αποτελούνται από απλά αριθμητικά ή αλφανουμερικά δεδομένα, αλλά κύρια από δεδομένα σύνθετης μορφής που αντιπροσωπεύουν μια ανθρώπινη σκέψη-κριτήριο. Η κατηγορία αυτή των μεθόδων είναι γνωστή με τον όρο σημασιολογική ανάλυση των πολυμέσων (semantic multimedia analysis). Στα πλαίσια της σημασιολογικής ανάλυσης των πολυμέσων, υλοποιείται η προσπάθεια για βαθύτερη κατανόηση των εικόνων (image understanding) [25][26]. Συγκεκριμένα, η ανάλυση μεταφέρεται σε ένα καθαρά σημασιολογικό επίπεδο, όπου από μια εικόνα προσπαθούμε να εξάγουμε λογικές πλέον σχέσεις-δηλώσεις για το περιεχόμενό της, ξεφεύγοντας από την περιγραφή των ιδιοτήτων των χαρακτηριστικών χαμηλού επιπέδου σε κάθε σημείο. Σε πολλές περιπτώσεις, το πρώτο και ιδιαίτερα σημαντικό στάδιο της σημασιολογικής ανάλυσης είναι η εφαρμογή ενός αλγορίθμου κατάτμησης (segmentation process). Ο στόχος μιας διαδικασίας κατάτμησης είναι ο χωρισμός της εικόνας σε επιμέρους αντικείμενα περιοχές (segments), έτσι ώστε αυτές να προσεγγίζουν σε ικανοποιητικό βαθμό τα πραγματικά αντικείμενα που θα αναγνώριζε διαισθητικά ένας ανθρώπινος παρατηρητής. Μέχρι σήμερα έχουν προταθεί διάφοροι επιμέρους αλγόριθμοι 7

8 Κεφάλαιο 1: Εισαγωγή κατάτμησης. Πολλοί από αυτούς έχουν ως βασικό στοιχείο την χρησιμοποίηση των χαρακτηριστικών μεγεθών του χρώματος και της υφής της εικόνας, προκειμένου να προσδιορίσουν με ακρίβεια τα αντικείμενα που απεικονίζονται σε αυτήν. Σε επόμενο στάδιο, εφαρμόζεται μια διαδικασία προ-επεξεργασίας (preprocessing) της εικόνας κατά τρόπο παρόμοιο με αυτόν της προηγούμενης κατηγορίας μεθόδων. Η διαφορά έγκειται στο ότι τα χαρακτηριστικά χαμηλού επιπέδου που θα προκύψουν από αυτήν την επεξεργασία ορίζονται σε σχέση πλέον με τα αντικείμενα - περιοχές που προέκυψαν από την εφαρμογή του αλγορίθμου κατάτμησης. Σε αρκετές μεθόδους τα χαρακτηριστικά αυτά χρησιμοποιούνται από στατιστικούς αλγόριθμους κατάταξης και εκτίμησης για να αντιστοιχίσουν σημασιολογικές έννοιες ή κατηγορίες στις εικόνες ή στις περιοχές έπειτα από μια διαδικασία μάθησης. Χαρακτηριστικά παραδείγματα χαρακτηριστικών χαμηλού επιπέδου (low-level-features) είναι αυτά που: Περιγράφουν την κατανομή του χρώματος και της φωτεινότητας Περιγράφουν το σχήμα των αντικειμένων που απεικονίζονται στην εικόνα Δηλώνουν τη σχετική κίνηση των αντικειμένων κάθε χρονική στιγμή (σε περίπτωση που αναφερόμαστε σε εικονοσειρές video) Υποδηλώνουν τις σχετικές χωρικές θέσεις μεταξύ των διαφόρων αντικειμένων στα πλαίσια της εικόνας (2Δ χωρικές σχέσεις) ή στον τριδιάστατο χώρο (3Δ χωρικές σχέσεις) Στα πλαίσια των μεθόδων αυτών, η παρούσα διπλωματική ασχολείται με την προσέγγιση εκείνη όπου για τη σημασιολογική ανάλυση των πολυμέσων χρησιμοποιείται γνώση εκ των προτέρων κατά τη διάρκεια της επεξεργασίας μιας εικόνας [2]. Με τον όρο αυτό, υπονοούμε γενικά την συλλογή χαρακτηριστικών και ταυτόχρονα αντιπροσωπευτικών δεδομένων για μια θεματική ενότητα και την κατάλληλη αναπαράστασή τους σε κάποια συγκεκριμένη δομή. Το ποια δεδομένα θα αποθηκευθούν στη δομή και με ποιον τρόπο γίνεται ύστερα από αναλυτική θεωρητική μελέτη, ανάλογα με τη θεματική ενότητα για την οποία θέλουμε να συλλέξουμε πληροφορίες. Κατάλληλες δομές για αναπαράσταση γνώσης αποτελούν και οι οντολογίες (ontologies), ο τρόπος δόμησης των οποίων περιγράφεται αναλυτικότερα στο επόμενο κεφάλαιο. Ουσιαστικά, σε μια οντολογία υπάρχουν αναλυτικές περιγραφές των διαφόρων πραγματικών 8

9 Κεφάλαιο 1: Εισαγωγή αντικειμένων που μπορούν να υπάρξουν σε μια συγκεκριμένη θεματική ενότητα συναρτήσει των χαρακτηριστικών χαμηλού επιπέδου, που υπολογίζονται στο στάδιο της προεπεξεργασίας. Εν συνεχεία, συγκρίνοντας τα χαρακτηριστικά χαμηλού επιπέδου που προκύπτουν για μια εικόνα με τα αντίστοιχα μιας οντολογίας, καθίσταται δυνατή πλέον η αναγνώριση των ίδιων των αντικειμένων που απεικονίζονται στην εικόνα. Έτσι, στο τελευταίο στάδιο της σημασιολογικής ανάλυσης των εικόνων, αφού δηλαδή έχουν αναγνωριστεί τα πραγματικά αντικείμενα που απεικονίζονται στην εικόνα και έχουν υπολογιστεί οι λογικές σχέσεις που τα συνδέουν, είναι δυνατή πλέον η αναζήτηση των επιθυμητών εικόνων βάση κριτηρίων ανώτερου σημασιολογικού περιεχομένου. Για παράδειγμα, καθίσταται πλέον δυνατή η αναζήτηση με κριτήριο της μορφής «Βρες όλες τις εικόνες με αρτηρίες», για την περίπτωση των ιατρικών εικόνων. Στα πλαίσια της διπλωματικής εργασίας, λοιπόν, ασχοληθήκαμε με το αντικείμενο της σημασιολογικής ανάλυσης των εικόνων (και των εικονοσειρών) με χρήση γνώσης. Συγκεκριμένα, η μελέτη μας επικεντρώθηκε στα εξής σημεία: Ανάπτυξη αλγορίθμου που να βελτιώνει τα αποτελέσματα της διαδικασίας κατάτμησης της εικόνας, με την εισαγωγή της κίνησης ως επιπρόσθετου κριτηρίου κατάτμησης Την εξαγωγή χωρικών σχέσεων μεταξύ των περιοχών της μάσκας κατάτμησης στο επίπεδο της εικόνας (2Δ χωρικές σχέσεις) Ανακατασκευή του πραγματικού σκηνικού που απεικονίζεται στα πλαίσια της εικόνας, μέσω της εξαγωγής χωρικών σχέσεων στο τρι-διάστατο χώρο (3Δ χωρικές σχέσεις) μεταξύ των περιοχών της μάσκας κατάτμησης, και ειδικότερα τον υπολογισμό χαρτών σχετικού βάθους (depth maps) Εξαγωγή χαρακτηριστικών χαμηλού επιπέδου που περιγράφουν το σχήμα και τις γεωμετρικές ιδιότητες των αντικειμένων της εικόνας 1.3 Σύντομη περιγραφή περιεχομένων Στα κεφάλαια που ακολουθούν και όπου αναλύουμε τους αλγόριθμους που έχουμε σχεδιάσει, παραθέτουμε παράλληλα και μια σύντομη αναφορά των κύριων 9

10 Κεφάλαιο 1: Εισαγωγή μεθόδων που έχουν εφαρμοστεί ή προταθεί μέχρι τώρα. Έτσι, η γενική δομή της εργασίας έχει ως εξής: Στο κεφάλαιο 2, περιγράφεται με συνοπτικό τρόπο το τι είναι η σημασιολογική ανάλυση των πολυμέσων με χρήση γνώσης. Περιγράφονται με συγκεκριμένα παραδείγματα οι τρόποι αλλά και οι λόγοι για τους οποίους εφαρμόζεται, καθώς και ορισμένα από τα πεδία εφαρμογής της. Στο κεφάλαιο 3, αναλύονται δύο βασικές έννοιες διαδικασίες που διαδραματίζουν σημαντικό ρόλο στη σημασιολογική ανάλυση των πολυμέσων. Οι δύο αυτές έννοιες είναι οι διαδικασίες της κατάτμησης ακίνητης εικόνας (segmentation process) και του υπολογισμού της οπτικής ροής (optical flow), αντίστοιχα. Στο κεφάλαιο 4, παραθέτουμε τη μέθοδο που υλοποιήθηκε με στόχο τη βελτίωση της αρχικής κατάτμησης ακίνητης εικόνας με την χρήση του μεγέθους της οπτικής ροής. Στο κεφάλαιο 5, περιγράφουμε αναλυτικά τις χωρικές σχέσεις-κανόνες που υλοποιούνται στο επίπεδο της εικόνας, ενώ στο κεφάλαιο 6, γίνεται η ανάλυση της μεθόδου υπολογισμού των σχετικών θέσεων βάθους μεταξύ των αντικειμένων της εικόνας στο χώρο (depth ordering). Στο κεφάλαιο 7, παραθέτουμε μια σειρά από αποτελέσματα, όπου παρουσιάζονται οι επιδόσεις των αλγορίθμων που έχουμε σχεδιάσει, με τον αντίστοιχο σχολιασμό τους. Τέλος, στο κεφάλαιο 8, παραθέτουμε τα γενικά συμπεράσματα στα οποία έχουμε καταλήξει και αναφέρουμε τους μελλοντικούς μας στόχους. 10

11 2. Ανάλυση πολυμέσων με χρήση γνώσης 2.1 Σημασιολογική ανάλυση πολυμέσων με χρήση γνώσης Τα τελευταία χρόνια, προκειμένου να επιλυθούν οι δυσκολίες που παρουσιάζονται στις διαδικασίες αναζήτησης και ταξινόμησης πολυμεσικού υλικού, έχει αναπτυχθεί μια νέα κατηγορία μεθόδων, η οποία προσπαθεί να καλύψει αποτελεσματικά όλες τις νέες απαιτήσεις των χρηστών. Η κατηγορία αυτή είναι γνωστή με τον όρο σημασιολογική ανάλυση πολυμέσων με χρήση γνώσης. Μια από τις βασικότερες ιδιαιτερότητες που εισάγει είναι η χρήση, κατά τη διάρκεια της επεξεργασίας, γνώσης εκ των προτέρων. Με τον όρο αυτό, υπονοούμε γενικά την συλλογή χαρακτηριστικών και ταυτόχρονα αντιπροσωπευτικών δεδομένων για μια θεματική ενότητα και την κατάλληλη αναπαράστασή τους σε κάποια συγκεκριμένη δομή. Το ποια δεδομένα θα αποθηκευθούν στη δομή και με ποιον τρόπο γίνεται ύστερα από αναλυτική μελέτη, ανάλογα με τη θεματική ενότητα για την οποία θέλουμε να συλλέξουμε πληροφορίες. Κατάλληλες δομές για την αναπαράσταση της γνώσης αποτελούν και οι οντολογίες (ontologies), ο τρόπος δόμησης των οποίων περιγράφεται αναλυτικότερα στην επόμενη ενότητα. Γενικά, η όλη διαδικασία της σημασιολογικής ανάλυσης των πολυμέσων με χρήση γνώσης μπορεί να θεωρηθεί ότι αποτελείται από τα τέσσερα βασικά στάδια (επίπεδα επεξεργασίας) [1] που απεικονίζονται στο σχήμα 2.1. Τα στάδια επεξεργασίας είναι αναλυτικά τα εξής: Επίπεδο πολυμεσικών δεδομένων (content data): Στο επίπεδο αυτό δηλώνεται ποιο κάθε φορά πολυμεσικό δεδομένο θα υποστεί τη διαδικασία της σημασιολογικής ανάλυσης με χρήση γνώσης, καθώς και σε ποια θεματική ενότητα ανήκει. Εναλλακτικά, μπορεί να θεωρηθεί ως η διαδικασία εισαγωγής των πολυμεσικών δεδομένων στην αντίστοιχη βάση. Εδώ, πρέπει να σημειώσουμε ότι τα δεδομένα που μας ενδιαφέρουν είναι οι ακίνητες εικόνες και οι εικονοσειρές, γι αυτό και παρακάτω αναφερόμαστε σε χαρακτηριστικά που 11

12 Κεφάλαιο 2: Aνάλυση πολυμέσων με χρήση γνώσης αφορούν μόνο αυτούς τους δύο τύπους πολυμεσικών δεδομένων. Ουσιαστικά, σε αυτό το στάδιο δε γίνεται κανενός είδους επεξεργασία, αλλά απλά μας παρέχονται βασικές πληροφορίες για την προέλευση του περιεχομένου. Σχήμα 2.1 Επίπεδο εξαγωγής χαρακτηριστικών χαμηλού επιπέδου (low-level feature extraction): Σε αυτό το στάδιο εξάγονται τα χαρακτηριστικά χαμηλού επιπέδου (low level features), τα οποία ονομάζονται έτσι επειδή προκύπτουν απ ευθείας από την απλή επεξεργασία της εικόνας και δεν αποτελούν σύνθετα εννοιολογικά στοιχεία. Συνήθως, τα χαρακτηριστικά χαμηλού επιπέδου αποτελούν μικρά αποκοπτόμενα κομμάτια της ακατέργαστης πληροφορίας που περιέχεται στην εικόνα. Το συνολικό πλήθος και ο ακριβής ορισμός των χαρακτηριστικών που θα 12

13 Κεφάλαιο 2: Aνάλυση πολυμέσων με χρήση γνώσης χρησιμοποιηθούν διαφέρει ανάλογα με τη θεματική ενότητα για την οποία ενδιαφερόμαστε και στην οποία ανήκει η εικόνα. Για παράδειγμα, σε μια εικόνα ιατρικού ενδιαφέροντος μπορεί να απαιτούνται διαφορετικά αντιπροσωπευτικά χαρακτηριστικά για την περαιτέρω ανάλυσή της απ ότι σε μια εικόνα που προέρχεται από μια κάμερα ελέγχου της κυκλοφορίας. Μερικά ενδεικτικά χαρακτηριστικά που εξάγονται στις περισσότερες εφαρμογές είναι τα εξής: -χρώμα: με αυτόν τον όρο υποδηλώνεται ο υπολογισμός της κατανομής του χρώματος σε μια περιοχή της εικόνας. Είναι ένα από τα βασικότερα και πιο χρήσιμα χαρακτηριστικά για την μετέπειτα πορεία της ανάλυσης. -υφή: ο υπολογισμός των μεγεθών που περιγράφουν την υφή των αντικειμένων ή περιοχών της εικόνας έχει αποδειχθεί στην πράξη ότι είναι ένα πολύ χρήσιμο χαρακτηριστικό. -σχήμα: τα χαρακτηριστικά αυτά περιγράφουν το σχήμα του κάθε αντικειμένου που απεικονίζεται στην εικόνα. Μπορεί να είναι απλά βαθμωτά μεγέθη όπως για παράδειγμα το εμβαδό της περιοχής του αντικειμένου ή πιο σύνθετα διανυσματικά που περιγράφουν τα γεωμετρικά χαρακτηριστικά των αντικειμένων. -χωρικές σχέσεις: χρησιμοποιούνται για να δηλώσουν τις απόλυτες ή και τις σχετικές θέσεις στο χώρο μεταξύ των αντικειμένων της εικόνας. Ειδικότερες κατηγορίες χωρικών σχέσεων είναι οι τοπολογικές σχέσεις, οι σχέσεις απόστασης, οι σχέσεις κατεύθυνσης και οι σχέσεις βάθους. -κίνηση: ο υπολογισμός της σχετικής κίνησης των αντικειμένων στα πλαίσια της εικόνας, πέρα από την προφανή χρησιμότητά του, συχνά αποτελεί ένα από τα πρώτα στάδια επεξεργασίας πολλών αλγορίθμων -χρονικές σχέσεις: Μέσω αυτών παρέχεται η δυνατότητα εξέτασης διαφόρων γεγονότων συναρτήσει του χρόνου. Όπως αναφέρθηκε στο προηγούμενο κεφάλαιο, στην προσέγγιση που ακολουθείται, τα χαρακτηριστικά δεν εξάγονται από ολόκληρη την εικόνα, αλλά από περιοχές που προκύπτουν μετά από μια διαδικασία κατάτμησης. Ειδικότερα, με τον όρο περιοχή της μάσκας κατάτμησης αναφερόμαστε στο αποτέλεσμα ενός 13

14 Κεφάλαιο 2: Aνάλυση πολυμέσων με χρήση γνώσης αλγορίθμου κατάτμησης, που στόχο έχει να χωρίσει την εικόνα σε περιοχές, έτσι ώστε αυτές να αντιστοιχούν όσο το δυνατόν καλύτερα στα πραγματικά αντικείμενα της εικόνας που θα διέκρινε ένας ανθρώπινος παρατηρητής. Περισσότερες λεπτομέρειες για τη διαδικασία της κατάτμησης ακίνητης εικόνας δίνονται στο επόμενο κεφάλαιο. Επίπεδο αναγνώρισης αντικειμένων (object recognition): Στόχος αυτού του επιπέδου επεξεργασίας είναι να αναγνωριστούν τα αντικείμενα που απεικονίζονται στην εικόνα βάση των αντίστοιχων χαρακτηριστικών χαμηλού επιπέδου που έχουν προκύψει από το προηγούμενο βήμα. Αυτό είναι και το στάδιο όπου χρησιμοποιείται η γνώση εκ των προτέρων. Συγκεκριμένα, όπως έχουμε αναφέρει παραπάνω, οι οντολογίες περιέχουν ακριβείς και αντιπροσωπευτικές περιγραφές για τα διάφορα αντικείμενα μιας θεματικής ενότητας. Για κάθε αντικείμενο έχει προστεθεί στην οντολογία μια πλήρης περιγραφή όλων των ιδιαίτερων χαρακτηριστικών του χαμηλού επιπέδου. Για την περιγραφή των χαρακτηριστικών ενός είδους αντικειμένου χρησιμοποιείται ο όρος μοντέλο (object model). Τα μοντέλα αποτελούνται από ένα σύνολο τιμών των κατάλληλων χαρακτηριστικών χαμηλού επιπέδου και βρίσκονται αποθηκευμένα στα πλαίσια μιας οντολογίας. Η επεξεργασία που λαμβάνει χώρα σε αυτό το στάδιο είναι ουσιαστικά μια διαδικασία σύγκρισης και αντιστοίχισης μεταξύ των χαρακτηριστικών χαμηλού επιπέδου μιας περιοχής της μάσκας κατάτμησης που προέκυψε από το προηγούμενο στάδιο επεξεργασίας- και των παραμέτρων των διαφόρων μοντέλων της οντολογίας. Με την εφαρμογή ενός κατάλληλου αλγορίθμου αντιστοιχίζεται τελικά στο κάθε αντικείμενο το μοντέλο με το μεγαλύτερο βαθμό ομοιότητας. Σε αυτό το σημείο, πρέπει να σημειωθεί ότι κατά τη διαδικασία της αντιστοίχισης, η εισαγωγή σε ένα σημαντικό βαθμό ασάφειας και ανακρίβειας ως προς την αναγνώριση των αντικειμένων είναι αναπόφευκτη. Επιπλέον, όσο αυξάνεται η παρουσία θορύβου στην εικόνα ή υπάρχει σφάλμα στον ακριβή υπολογισμό των χαρακτηριστικών χαμηλού επιπέδου, τόσο αυξάνονται οι πιθανότητες εσφαλμένης ή μη αποτελεσματική αντιστοίχησης μεταξύ μοντέλων και αντικειμένων. 14

15 Κεφάλαιο 2: Aνάλυση πολυμέσων με χρήση γνώσης Επίπεδο αναπαράστασης γνώσης (knowledge representation): Σε αυτό το στάδιο η επεξεργασία μεταφέρεται σε ένα καθαρά σημασιολογικό επίπεδο. Ειδικότερα, σε αυτό το σημείο συνδυάζονται τα αποτελέσματα που έχουν προκύψει από τα δύο προηγούμενα στάδια επεξεργασίας για να προκύψουν σύνθετες εννοιολογικές σχέσεις (high level features). Με τη σειρά τους αυτές οι σύνθετες σχέσεις, που αντιπροσωπεύουν έννοιες κατά τον ίδιο τρόπο με τον οποίο σκέφτεται και τις αντιλαμβάνεται ο άνθρωπος, αποθηκεύονται σε μια κατάλληλη δομή στα πλαίσια της βάσης των πολυμέσων. Αυτές οι σημασιολογικές σχέσεις είναι το αποτέλεσμα της όλης διαδικασίας της ανάλυσης των πολυμέσων με χρήση γνώσης και χρησιμοποιούνται πλέον για τις διαδικασίες της αναζήτησης ή της ταξινόμησης των εικόνων. Χάρη σε αυτές, είναι εφικτή πλέον μια αναζήτηση με κριτήριο της μορφής «Βρες όλες τις εικόνες με αρτηρίες», για την περίπτωση των ιατρικών εικόνων. 2.2 Αναπαράσταση γνώσης - Οντολογίες Στην προηγούμενη παράγραφο είδαμε το πόσο σημαντικός είναι ο ρόλος της χρήσης γνώσης εκ των προτέρων για τη σημασιολογική ανάλυση των πολυμέσων. Επίσης, αναφέρθηκε ο όρος οντολογίες ως ένα μέσο αποθήκευσης και αναπαράστασης αυτής της γνώσης. Στην παράγραφο αυτή θα παραθέσουμε μια συνοπτική περιγραφή του τι είναι οντολογία, πως δομείται και ποιες είναι οι βασικότερες από τις ιδιότητές της [27]. Το αντικείμενο μιας οντολογίας είναι η μελέτη των κατηγοριών των αντικειμένων που υπάρχουν ή μπορεί να υπάρξουν σε μια συγκεκριμένη θεματική ενότητα. Το αποτέλεσμα μιας τέτοιας μελέτης, που είναι η ίδια η οντολογία, είναι ένας κατάλογος από διαφορετικούς τύπους αντικειμένων που θεωρείται ότι υπάρχουν σε μια θεματική ενότητα πεδίο εφαρμογής. Με άλλα λόγια, μια οντολογία είναι μια προσπάθεια δημιουργίας ενός σαφούς προσδιορισμού μιας γενικότερης, συνήθως, «αφηρημένης» ιδέας για το πως ο άνθρωπος αντιλαμβάνεται ένα πεδίο ενδιαφέροντος. Η οντολογία μας παρέχει μια τυπική περιγραφή των όρων σε μια θεματική ενότητα, καθώς και των 15

16 Κεφάλαιο 2: Aνάλυση πολυμέσων με χρήση γνώσης σχέσεων μεταξύ τους. Με τον όρο «αφηρημένη» ιδέα δηλώνουμε μια απλοποιημένη άποψη του κόσμου, τον οποίο θέλουμε να αναπαραστήσουμε για κάποιο λόγο. Σε μια τυπική οντολογία υπάρχει ταξινόμηση των όρων και μια σειρά από λογικούς κανόνες εξαγωγής συμπεράσματος. Η χρήση οντολογιών προσδίδει στις διάφορες εφαρμογές μια πρόσθετη ιδιότητα «έξυπνου» χειρισμού τους, με την έννοια ότι πλέον οι εφαρμογές αυτές παρουσιάζουν έναν τρόπο λειτουργίας κοντύτερα στον ανθρώπινο τρόπο σκέψης. Κάθε οντολογία στη γενική της μορφή αποτελείται από τα ακόλουθα στοιχεία: Μια τυπική και σαφής περιγραφή των κλάσεων (ή διαφορετικά των αντικειμένων-ιδεών) μιας θεματικής ενότητας που μας ενδιαφέρει. Ιδιότητες για κάθε κλάση που περιγράφουν διάφορα χαρακτηριστικά και τρόπους αλληλεπίδρασής της με άλλες κλάσεις. Περιορισμούς για τα αντικείμενα που ανήκουν σε κάθε κλάση. Ο συνδυασμός μιας οντολογίας με ένα σύνολο αντικειμένων ομότυπων που αντιστοιχούν σε οντότητες του πραγματικού κόσμου-, μερικών κλάσεών της συνθέτουν μια γνωστική βάση. Επιπλέον, η γνώση που περιέχεται σε μια οντολογία μπορεί, και έχει ως σκοπό, να χρησιμοποιηθεί από πολλούς και διαφορετικούς χρήστες. Στην πράξη, η δημιουργία μιας οντολογίας περιλαμβάνει τα εξής βήματα: Καθορισμός των κλάσεων στα πλαίσια μιας οντολογίας Ταξινόμηση των κλάσεων κατά έναν ιεραρχικό τρόπο Καθορισμός των επιμέρους ιδιοτήτων κάθε κλάσης και δήλωση των επιτρεπτών τιμών γι αυτές Συμπλήρωση των τιμών των ιδιοτήτων για κάθε νέο αντικείμενο. Η κάθε κλάση περιγράφει μια επιμέρους ιδέα της γενικότερης θεματικής ενότητας. Κάθε κλάση μπορεί να έχει υποκλάσεις, οι οποίες αναπαριστούν ιδέες πιο εξειδικευμένες από την ιδέα της αρχικής κλάσης. Τόσο για το πλήθος, όσο και για τον τύπο των κλάσεων δεν υπάρχει κανένας περιορισμός και έτσι ο κάθε χρήστης μπορεί να δημιουργήσει κατά τρόπο αυθαίρετο αν και δε συνίσταται τη δική του οντολογία. Στο παρακάτω σχήμα 2.2 παραθέτουμε ένα απλοποιημένο παράδειγμα της δομής μιας 16

17 Κεφάλαιο 2: Aνάλυση πολυμέσων με χρήση γνώσης οντολογίας με θέμα την «αφηρημένη» ιδέα φοιτητής. Στο σχήμα μπορούμε να διακρίνουμε τις κλάσεις και τις υποκλάσεις της οντολογίας, καθώς και τις χαρακτηριστικές ιδιότητες της κάθε μιας. Σχήμα 2.2 Στην προτεινόμενη προσέγγιση, όπως αναφέρθηκε, οι οντολογίες, για την περιγραφή μιας συγκεκριμένης θεματικής ενότητας, εμπλουτίζονται με πολυμεσικά χαρακτηριστικά. Πιο συγκεκριμένα, για κάθε είδος αντικειμένου της θεματικής ενότητας (κλάση της οντολογίας) υπάρχει μια σαφής περιγραφή του (object model) συναρτήσει 17

18 Κεφάλαιο 2: Aνάλυση πολυμέσων με χρήση γνώσης των χαρακτηριστικών χαμηλού επιπέδου. Τα χαρακτηριστικά χαμηλού επιπέδου, όπως έχουν ήδη αναφερθεί, μπορεί να είναι ενδεικτικά τα χαρακτηριστικά μεγέθη του χρώματος, της υφής, του σχήματος των αντικειμένων, των χωρο-χρονικών σχέσεων και της κίνησης στα πλαίσια της εικόνας. 18

19 3. Κατάτμηση εικόνων και οπτική ροή 3.1 Κατάτμηση ακίνητων εικόνων (segmentation process) Κατά την ανάλυση που έλαβε χώρα στα προηγούμενα κεφάλαια, μας δόθηκε η ευκαιρία να αναδείξουμε το πόσο σημαντικός είναι ο ρόλος της διαδικασίας κατάτμησης ακίνητης εικόνας στην όλη πορεία της σημασιολογικής ανάλυσης των πολυμέσων με χρήση γνώσης. Γενικά, ο στόχος μιας διαδικασίας κατάτμησης είναι ο χωρισμός μιας εικόνας σε επιμέρους αντικείμενα περιοχές (segments), έτσι ώστε αυτές να προσεγγίζουν σε ικανοποιητικό βαθμό τα αντικείμενα που θα αναγνώριζε διαισθητικά ένας ανθρώπινος παρατηρητής. Μέχρι σήμερα, έχει προταθεί μια πλειάδα διαφορετικών μεθόδων κατάτμησης [22][23][24]. Ωστόσο, καμία από αυτές δεν επιλύει το πρόβλημα της κατάτμησης απολύτως αποτελεσματικά σε κάθε περίπτωση. Ως εκ τούτου, το πρόβλημα παραμένει «ανοιχτό» στην εφαρμογή νέων μεθοδολογιών. Οι κυριότερες κατηγορίες μεθόδων κατάτμησης που έχουν εφαρμοστεί ευρέως είναι: Κατάτμηση βάση περιγράμματος: Στην κατάτμηση βάση περιγράμματος, πρωτεύοντα ρόλο παίζουν οι ακμές, οι οποίες ορίζονται ως τα σημεία της εικόνας στα οποία παρουσιάζεται απότομη μεταβολή του χρώματος. Η ανίχνευση των ακμών επιτυγχάνεται είτε με τοπικές τεχνικές, που χρησιμοποιούν τελεστές διαφόρισης τους οποίους εφαρμόζουν σε γειτονιές της εικόνας, είτε με καθολικές τεχνικές που κάνουν χρήση ψηφιακών φίλτρων. Μετά την ανίχνευση των ακμών ακολουθεί η σύνδεσή τους κατά τρόπο κατάλληλο ώστε να σχηματιστούν κλειστές καμπύλες, οι οποίες αποτελούν τα περιγράμματα των αντικειμένων που ανιχνεύθηκαν. Με μελέτη ιστογράμματος και κατωφλίωση: Οι τεχνικές αυτής της υποκατηγορίας βασίζονται στην μελέτη του ιστογράμματος, από την οποία προκύπτει μια εκτίμηση του πλήθους των περιοχών της εικόνας και των 19

20 Κεφάλαιο 3: Κατάτμηση εικόνων και οπτική ροή χρωματικών ορίων κάθε περιοχής. Μετά τον καθορισμό των χρωματικών ορίων των περιοχών, η κατάταξη ενός pixel γίνεται εύκολα βάση του χρώματός του. Με αύξηση περιοχών: Η τεχνική της αύξησης περιοχών (region growing) μπορεί να εφαρμοστεί είτε ανεξάρτητα είτε σε συνδυασμό με κατωφλίωση. Σημείο εκκίνησης για το σχηματισμό μιας περιοχής αποτελεί είτε μια υφιστάμενη περιοχή, αν έχει προηγηθεί κατωφλίωση, είτε ένα μεμονωμένο pixel. Σε αυτή την αρχική «περιοχή» προσαρτώνται τα γειτονικά της pixel, υπό την προϋπόθεση ότι αυτά έχουν ίδια χαρακτηριστικά με την εξεταζόμενη περιοχή. Ο σχηματισμός της περιοχής έχει ολοκληρωθεί όταν πλέον δεν είναι δυνατή άλλη προσάρτηση, οπότε αρχίζει ο σχηματισμός της επόμενης περιοχής, και αυτή η διαδικασία συνεχίζεται μέχρι να αντιστοιχηθούν όλα τα pixel της εικόνας σε κάποια περιοχή. Με διαίρεση και συνένωση περιοχών: Οι αλγόριθμοι αυτής της ομάδας ξεκινούν με την υπόθεση ότι ολόκληρη η εικόνα αποτελείται από μια ομοιογενή περιοχή. Υπολογίζοντας κάποιο μέτρο της χρωματικής ομοιογένειας της περιοχής, όπως η τυπική απόκλιση των τριών χρωματικών συνιστωσών, ελέγχεται εάν είναι αληθής ή όχι η υπόθεση. Εάν είναι αληθής, τότε η κατάτμηση έχει τερματιστεί, ενώ σε αντίθετη περίπτωση η αρχική περιοχή χωρίζεται σε τέσσερις ορθογώνιες, ισομεγέθεις περιοχές. Για τις περιοχές αυτές ελέγχεται εάν κάποιες έχουν κοινά χαρακτηριστικά και συνενώνονται όσες έχουν πράγματι κοινά χαρακτηριστικά. Στη συνέχεια ελέγχεται η χρωματική ομοιογένεια των περιοχών που σχηματίστηκαν σε αυτό το πρώτο επίπεδο διαίρεσης-συνενώσεων. Σε όσες δεν ικανοποιείται το σχετικό κριτήριο ομοιογένειας εφαρμόζεται ένα ακόμα επίπεδο διαίρεσης-συνενώσεων. Η διαδικασία αυτή συνεχίζεται αναδρομικά μέχρι την ικανοποίηση του κριτηρίου ομοιογένειας από όλες τις περιοχές. Με χρήση του αλγορίθμου κατάταξης Κ-Μέσων: Οι τεχνικές αυτής της ομάδας χρησιμοποιούν παραλλαγές του αλγορίθμου Κ-Μέσων για την κατάταξη των pixel σε περιοχές. Σε αυτή την κατηγορία ανήκει και η μέθοδος κατάτμησης που επιλέξαμε να χρησιμοποιήσουμε και παρουσιάζουμε συνοπτικά παρακάτω. 20

21 Κεφάλαιο 3: Κατάτμηση εικόνων και οπτική ροή Ο αλγόριθμος κατάτμησης, που χρησιμοποιήσαμε στην ανάλυσή μας χρησιμοποιεί στους υπολογισμούς του τα χαρακτηριστικά μεγέθη του χρώματος και της υφής κατά μήκος της εικόνας. Η γενική μορφή του αλγορίθμου αυτού φαίνεται στο σχήμα 3.1 [3]. Σχήμα 3.1 Ειδικότερα, τα επιμέρους στάδια του αλγορίθμου κατάτμησης και μια συνοπτική περιγραφή τους είναι τα εξής: Μετατροπή από χρωματικό χώρο RGB σε CIE L*a*b: Αν και ο χρωματικός χώρος RGB είναι ευρέως χρησιμοποιούμενος στις διάφορες εφαρμογές, στο σύστημα κατάτμησης επιλέχθηκε να χρησιμοποιηθεί ο χρωματικός χώρος CIE L*a*b. Αυτή η επιλογή γίνεται γιατί ο χώρος CIE L*a*b παρουσιάζει την ιδιότητα να είναι κατά προσέγγιση γραμμικός ως προς την αντίληψη των χρωμάτων. Το γεγονός αυτό οδηγεί στην 21

22 Κεφάλαιο 3: Κατάτμηση εικόνων και οπτική ροή απλούστευση των μαθηματικών μοντέλων που σχετίζονται με την επεξεργασία των μεγεθών του χρώματος και της υφής της εικόνας. Εκτίμηση πλήθους περιοχών και αρχικών κέντρων αυτών: Σε αυτό το στάδιο εφαρμόζεται αρχικά μια παραλλαγή του αλγορίθμου maximin. Ο αλγόριθμος maximin, λαμβάνοντας υπόψη τα χαρακτηριστικά του χρώματος και της υφής της εικόνας, επιστρέφει μια πρώτη εκτίμηση του πλήθους των περιοχών της εικόνας, τα pixel των οποίων παρουσιάζουν μεγάλη ομοιότητα ως προς τα μεγέθη αυτά. Κατόπιν, η εφαρμογή του αλγορίθμου Κ-μέσων έχει ως αποτέλεσμα τον υπολογισμό των αρχικών κέντρων των περιοχών αυτών. Υπό συνθήκη εφαρμογή φίλτρου: Το στάδιο αυτό της διαδικασίας κατάτμησης εκτελείται προαιρετικά. Συγκεκριμένα, στοχεύει στη βελτίωση του διαχωρισμού των περιοχών, δίνοντας περισσότερο έμφαση στο μέγεθος της υφής των αντικειμένων της εικόνας παρά στην τιμή του χρώματος. Κατά αυτόν τον τρόπο, καθίσταται εφικτή η σύγκλιση ενός αντικειμένου της εικόνας με μεγάλη χρωματική διακύμανση σε μια μόνο περιοχή της μάσκας κατάτμησης. Κατάταξη των pixels με χρήση αλγορίθμου Κ μέσων: Σε αυτό το στάδιο της διαδικασίας, πραγματοποιείται η τελική κατάταξη των pixels στις διάφορες περιοχές της μάσκας κατάτμησης. Αυτό επιτυγχάνεται με την εφαρμογή ενός αλγορίθμου Κ-μέσων με χωροχρωμική συσχέτιση. Ως κριτήριο κατάταξης των pixels χρησιμοποιείται μια συνάρτηση απόστασης της παρακάτω μορφής: Ορίζουμε ως απόσταση ενός pixel p [ i, j], με διάνυσμα θέσης P [ i, j] = [ i j] Τ και διάνυσμα χρώματος I[ i, j] = [ I [ i, j] I [ i, j] I [ i j] ] Τ, από περιοχή R k, με χωρικό κέντρο [ S S ] Τ Τ C k = [ Ck, L Ck, a Ck, b ], την ποσότητα S k = k i k, j L a b,, και χρωματικό κέντρο 22

23 Κεφάλαιο 3: Κατάτμηση εικόνων και οπτική ροή p A, λ (3.1) A [ i j] Rk = I[ i, j] Ck + P[ i, j] S k όπου I k 2 2 [ i j] C = ( I [ i, j] C ) + ( I [ i, j] C ) + ( I [ i j] C ) 2, k L k, L a k, a b, k, b είναι η χρωματική απόσταση, P 2 [ i j] S = ( i S ) + ( j S ) 2, k k, i k, j είναι η χωρική απόσταση, A k είναι το μέγεθος της περιοχής R k σε pixels, A είναι το μέσο μέγεθος περιοχής σε pixels και λ είναι μια σταθερά κανονικοποίησης Τελικά, έξοδος της διαδικασίας είναι οι συνεκτικές περιοχές που παρουσιάζουν όσο το δυνατόν μεγαλύτερη ομοιότητα ως προς τα μεγέθη του χρώματος και της υφής. Επιπλέον, υπάρχει μέριμνα για την συγχώνευση-απομάκρυνση τυχόν πολύ μικρών περιοχών. Μερικά παραδείγματα εφαρμογής του αλγορίθμου κατάτμησης που χρησιμοποιήσαμε, και ταυτόχρονα εξέτασης της σχετικής απόδοσής του, φαίνονται στα παρακάτω σχήματα. Στα αριστερά απεικονίζεται η αρχική εικόνα, ενώ στα δεξιά η αντίστοιχη μάσκα κατάτμησής της: Σχήμα 3.2: Αρχική εικόνα-μάσκα κατάτμησης 23

24 Κεφάλαιο 3: Κατάτμηση εικόνων και οπτική ροή Σχήμα 3.3: Αρχική εικόνα-μάσκα κατάτμησης Σχήμα 3.4: Αρχική εικόνα-μάσκα κατάτμησης 3.2 Οπτική ροή (optical flow) Εκτός από την εφαρμογή της διαδικασίας της κατάτμησης, ένα άλλο μέγεθος το οποίο παρουσιάζει σημαντικό ενδιαφέρον στα πλαίσια της σημασιολογικής ανάλυσης των πολυμέσων είναι ο υπολογισμός της σχετικής κίνησης των αντικειμένων της εικόνας. Πέρα από τη διαισθητική του σημασία, ο υπολογισμός της κίνησης έχει βρει πολλά πεδία εφαρμογής και έχει αποδειχθεί ιδιαίτερα χρήσιμος στην εξαγωγή επιπρόσθετων χαρακτηριστικών αναφορικά με τα διάφορα αντικείμενα μιας εικόνας. Μέχρι σήμερα, έχουν προταθεί πολλές και διαφορετικές προσεγγίσεις για την επίλυση του θέματος του υπολογισμού της κίνησης, η αποδοτικότητα και η αποτελεσματικότητα των οποίων ποικίλει ακόμα και ανάλογα με το ιδιαίτερο πεδίο εφαρμογής. Στα πλαίσια της εργασίας μας επιλέξαμε ως πλέον κατάλληλη τη μέθοδο του υπολογισμού της οπτικής ροής 24

25 Κεφάλαιο 3: Κατάτμηση εικόνων και οπτική ροή (optical flow), η οποία επιστρέφει τα συγκριτικά καλύτερα και ακριβέστερα αποτελέσματα. Στόχος της μεθόδου είναι να προκύψει μια προσεγγιστική εκτίμηση ενός διδιάστατου επιπέδου κίνησης, μια προβολή δηλαδή των τρι-διάστατων διανυσμάτων κίνησης των διαφόρων αντικειμένων στο χώρο πάνω στο επίπεδο της εκάστοτε εικόνας. Με πιο απλά λόγια, προσπαθούμε να καθορίσουμε προς ποια κατεύθυνση και κατά πόσο «μετακινείται» το κάθε pixel μιας εικόνας μεταξύ των γειτονικών του πλαισίων (frames) στην αντίστοιχη εινονοσειρά (video). Από τη στιγμή που θα προκύψει το διάνυσμα κίνησης για κάθε pixel της εικόνας, είμαστε σε θέση να εφαρμόσουμε μια σειρά από επιπρόσθετες ενέργειες, που βοηθούν στην περαιτέρω ανάλυση των εικονοσειρών. Ήδη, έχουν προταθεί πολλές και διαφορετικές μεθοδολογίες για τον υπολογισμό της οπτικής ροής [4]. Ανεξάρτητα, όμως, αυτού του γεγονότος, όλες περιέχουν σε γενικές γραμμές τα εξής επιμέρους στάδια επεξεργασίας: Αρχικό φιλτράρισμα της εικόνας με ένα χαμηλοπερατό ή ζωνοπερατό φίλτρο, έτσι ώστε να απομονωθεί το κομμάτι της δομής της εικόνας που μας ενδιαφέρει ή να ενισχυθεί ο λόγος του σήματος προς το θόρυβο. Την εξαγωγή βασικών μεγεθών, όπως οι χωρο-χρονικές παράγωγοι ή και οι τοπικές επιφάνειες συσχέτισης. Τη σύνθεση όλων των παραπάνω μεγεθών, ώστε να προκύψει ένα δι-διάστατο επίπεδο κίνησης, όπου συχνά εφαρμόζονται οι κατάλληλες υποθέσεις και προσεγγίσεις που στοχεύουν στη βελτίωση των αποτελεσμάτων. Η συγκεκριμένη υλοποίηση αλγορίθμου υπολογισμού της οπτικής κίνησης που επιλέξαμε να χρησιμοποιήσουμε στη δική μας ανάλυση είναι αυτή που προτάθηκε από τον Proesman [5][6]. Ο αλγόριθμος αυτός, επιχειρεί να υπολογίσει το μέγεθος της κίνησης στο δι-διάστατο επίπεδο βάση της γενικότερης μεθοδολογίας της χρησιμοποίησης των μερικών παραγώγων. Επιπλέον, περιλαμβάνει μια διαδικασία γνωστή ως ανισότροπη διάχυση (anisotropic diffusion), που στοχεύει στο να ομαλοποιήσει τυχόν ασυνέχειες στο υπολογιζόμενο διάνυσμα της οπτικής ροής. Συνοπτικά, η διαδικασία η οποία εφαρμόζεται είναι η εξής: 25

26 Κεφάλαιο 3: Κατάτμηση εικόνων και οπτική ροή Έστω I( x, y, t) το εξεταζόμενο κάθε φορά pixel της εικόνας, το οποίο στο χρονικό διάστημα dt 0 μετακινείται κατά dx, dy ως προς τους αντίστοιχους ορθοκανονικούς άξονες. Ισχύει δηλαδή η σχέση I ( x y, t) = I( x + dx, y + dy, t + dt), (3.2) Θεωρώντας ότι οι ποσότητες dx,dy, dt είναι ικανοποιητικά μικρές, αναλύουμε τον πρώτο όρο της παραπάνω σχέσης σε σειρά Taylor 1 ης τάξης. Από την υπόθεση που έχουμε κάνει προκύπτει η προσεγγιστική σχέση I I x I y ( x + dx, y + dy, t + dt) I( x, y, t) + dx + dy + dt (3.3) I t Χρησιμοποιώντας τους συμβολισμούς I x I =, x I y I =, y I t I = και μετά από απλούς t μετασχηματισμούς της (3.3) προκύπτει η σχέση ( I x, I y )( u x, u y ) = I t ή διαφορετικά στη μορφή r I u = I t (3.4) όπου με u και u συμβολίζονται οι συνιστώσες της ταχύτητας κατά τους άξονες x, y x y και με το διανυσματικό μέγεθος της κλίσης. Η παραπάνω εξίσωση είναι γνωστή με τον όρο εξίσωση περιορισμών 2Δ κίνησης. Η λύση της είναι οι τιμές των u, u και προκύπτει υπολογιστικά μέσω ενός αλγορίθμου ελαχιστοποίησης του σφάλματος, το οποίο ορίζεται από την σχέση x y D r u x u x y y ( I u + I ) + λ dxdy t x 2 y 2 u x 2 u y 2 (3.5) όπου το λ αναπαριστά τον παράγοντα ομαλοποίησης της κίνησης Παρακάτω, παρουσιάζουμε ένα παράδειγμα υπολογισμού της οπτικής ροής, το οποίο αναδεικνύει και την επίδοση του αλγορίθμου. Στο σχήμα παραθέτουμε τις δύο ((α) (β)) διαδοχικές εικόνες μιας εικονοσειράς (ώστε να μπορούμε να διαπιστώσουμε και 26

27 Κεφάλαιο 3: Κατάτμηση εικόνων και οπτική ροή εποπτικά την κίνηση στην εικόνα) που χρησιμοποιήθηκαν για τον υπολογισμό της οπτικής κίνησης, καθώς και το προκύπτον δι-διάστατο επίπεδο διανυσμάτων κίνησης. (α) (β) 27

28 Κεφάλαιο 3: Κατάτμηση εικόνων και οπτική ροή (γ) Σχήμα 3.5: Το λιοντάρι κατευθύνεται προς το δεξιό μέρος της εικόνας, ενώ το όλο πλάνο της εικόνας μετατοπίζεται προς το αριστερά. 28

29 4. Βελτίωση κατάτμησης 4.1 Αίτια εφαρμογής της διαδικασίας Στο προηγούμενο κεφάλαιο περιγράψαμε συνοπτικά τον τρόπο με τον οποίο εφαρμόζεται η διαδικασία της κατάτμησης σε μια ακίνητη εικόνα. Εκεί, αναφέραμε ότι η διαδικασία του σχηματισμού των διαφόρων περιοχών (regions) της μάσκας κατάτμησης, που προσπαθείται να προσεγγίσουν όσο το δυνατόν ακριβέστερα τα πραγματικά αντικείμενα που απεικονίζονται στην εικόνα, στηρίζεται κυρίως στα χαρακτηριστικά μεγέθη του χρώματος και της υφής. Αν και ο αλγόριθμος που χρησιμοποιήσαμε παρουσιάζει σε γενικές γραμμές καλή απόδοση, ωστόσο υπάρχουν και ορισμένες περιπτώσεις στις οποίες αποτυγχάνει να αναγνωρίσει σωστά τα πραγματικά αντικείμενα της εικόνας. Τέτοιες περιπτώσεις συναντούνται για παράδειγμα όταν τα πραγματικά αντικείμενα της εικόνας παρουσιάζουν μεγάλη χρωματική διακύμανση κατά μήκος της επιφάνειάς τους (οπότε δημιουργούνται δύο ή και περισσότερες περιοχές για το ίδιο πραγματικό αντικείμενο στην μάσκα κατάτμησης) ή όταν ολόκληρη η εικόνα παρουσιάζει μια σχετικά μεγάλη ομοιογένεια χρώματος (οπότε παρατηρούνται εσφαλμένες συγχωνεύσεις ή διασπάσεις περιοχών που ανήκουν σε ένα πραγματικό αντικείμενο της εικόνας), ενώ ταυτόχρονα η προσπάθεια αναγνώρισης των περιοχών βάση της υφής και ταυτόχρονη μείωση της βαρύτητας του χρώματος στη διαδικασία κατάτμησης- αδυνατεί να βελτιώσει το τελικό αποτέλεσμα. Παρακάτω, παραθέτουμε δύο χαρακτηριστικές περιπτώσεις αδυναμίας του αλγορίθμου κατάτμησης να αναγνωρίσει με ακρίβεια τα αντικείμενα που απεικονίζονται στις εικόνες. Στα αριστερά απεικονίζεται η πραγματική εικόνα και στα δεξιά η μάσκα κατάτμησης που προκύπτει. 29

30 Κεφάλαιο 4: Βελτίωση κατάτμησης Σχήμα 4.1: Στο παραπάνω σχήμα παρατηρούνται και τα δύο φαινόμενα εσφαλμένης κατάτμησης που αναφέραμε παραπάνω. Συγκεκριμένα, η ουρά του ζώου έχει αναγνωριστεί εσφαλμένα ως ξεχωριστή περιοχή, ενώ το κεφάλι του έχει συμπεριληφθεί στην περιοχή που αντιστοιχεί στο φόντο (background) της εικόνας. Σχήμα 4.2 Επειδή, όμως, η διαδικασία της κατάτμησης έχει μεγάλη σημασία στην όλη πορεία της σημασιολογικής ανάλυσης των εικόνων και των εικονοσειρών, όπως έχουμε διαπιστώσει από την περιγραφή που έχει γίνει στο κεφάλαιο 2, προσπαθήσαμε να σχεδιάσουμε έναν αλγόριθμο που να βελτιώνει αυτά τα αποτελέσματα. Η μέθοδος που εφαρμόσαμε στηρίζεται στην εξής βασική ιδέα: Ξεκινώντας από την μάσκα κατάτμησης που προέκυψε βάση των χαρακτηριστικών του χρώματος και της υφής, προσπαθήσαμε να δημιουργήσουμε από τις υπάρχουσες περιοχές της μάσκας νέες προσθέτοντας ως νέο επιπρόσθετο κριτήριο κατάτμησης την κίνηση. Η όλη επιπρόσθετη διαδικασία (post-processing procedure) στηρίζεται στην παραδοχή-παρατήρηση ότι η προβολή ενός αντικειμένου στο επίπεδο της εικόνας παρουσιάζει ποιοτικά (αλλά ως ένα βαθμό και ποσοτικά) μικρή σχετικά μεταβλητότητα τόσο στην κατεύθυνση όσο και στο μέτρο της υπολογιζόμενης κίνησης σε όλη την επιφάνειά του. Η αναλυτική περιγραφή του αλγορίθμου που σχεδιάσαμε και υλοποιήσαμε παρουσιάζεται στην επόμενη παράγραφο. 30

31 Κεφάλαιο 4: Βελτίωση κατάτμησης 4.2 Περιγραφή μεθόδου Όπως αναφέραμε και στην προηγούμενη παράγραφο, στόχος της διαδικασίας που εφαρμόσαμε είναι η εισαγωγή του επιπρόσθετου κριτηρίου της κίνησης, που ταυτόχρονα με την χρησιμοποίηση των χαρακτηριστικών μεγεθών της υφής και του χρώματος, επιδιώκει να βελτιώσει τα αποτελέσματα της αρχικής διαδικασίας κατάτμησης. Ακριβώς επειδή θέλουμε να διατηρήσουμε την ιδιότητα του να παρουσιάζουν οι τελικές περιοχές της μάσκας κατάτμησης όσο το δυνατόν μεγαλύτερη ομοιογένεια ως προς το χρώμα και την υφή, η επεξεργασία που επιλέξαμε να εφαρμόσουμε δε γίνεται σε επίπεδο pixel της εικόνας αλλά επιλέγονται κατάλληλες ομάδες από pixels προς επεξεργασία. Κάναμε αυτή την επιλογή διότι η επεξεργασία σε επίπεδο pixel θα οδηγούσε ενδεχομένως σε εσφαλμένη τοποθέτηση pixels σε περιοχές με τις οποίες θα είχαν μεγάλη ομοιότητα ως προς την κίνηση, αλλά πιθανότατα και με μεγάλη διαφορά ως προς το χρώμα και την υφή. Επιπρόσθετα, η σύγκριση στην πράξη ανέδειξε την 2 η μέθοδο ως υπολογιστικά πιο αποδοτική και ταυτόχρονα πιο αποτελεσματική. Για τον καθορισμό των ομάδων των pixels, οι οποίες θα λάβουν μέρος στη διαδικασία της επεξεργασίας, χρησιμοποιήσαμε τα αποτελέσματα ενός αλγόριθμου υπερκατάτμησης (over-segmentation) [20]. Ο αλγόριθμος αυτός ανήκει στην ίδια κατηγορία με τον αλγόριθμο που παρουσιάσαμε στην παράγραφο 3.1, δηλαδή χρησιμοποιεί ως κριτήρια κατάτμησης τα χαρακτηριστικά μεγέθη του χρώματος και της υφής. Η βασική του, όμως, διαφορά, σε σχέση με τον αλγόριθμο κατάτμησης της παραγράφου 3.1, είναι ότι τα κριτήρια του αλγορίθμου υπερ-κατάτμησης είναι σημαντικά αυστηρότερα, δηλαδή οι περιοχές της μάσκας υπερ-κατάτμησης που προκύπτουν παρουσιάζουν σε μεγαλύτερο βαθμό ομοιογένεια ως προς την υφή και το χρώμα. Ως εκ τούτου, ο συνολικός αριθμός των περιοχών στην μάσκα υπερ-κατάτμησης είναι σημαντικά μεγαλύτερος, ενώ παράλληλα και το σχετικό μέγεθος της επιφάνειάς τους είναι μικρότερο. Γι αυτό το λόγο δικαιολογείται και η χρησιμοποίησή του ως ένα ενδιάμεσο στάδιο της επεξεργασίας που εφαρμόσαμε, αφού πληρεί τις επιθυμητές για τον αλγόριθμό μας προδιαγραφές. Στο εξής, με τον όρο αντικείμενα θα αναφερόμαστε στα πραγματικά αντικείμενα της εικόνας, τα οποία θα αναγνώριζε ένας ανθρώπινος παρατηρητής. Με τον όρο περιοχές θα αναφερόμαστε στις περιοχές της μάσκας κατάτμησης του αλγορίθμου κατάτμησης, που 31

32 Κεφάλαιο 4: Βελτίωση κατάτμησης παρουσιάστηκε στην παράγραφο 3.1. Ενώ, με τον όρο ομάδες pixels θα υποδηλώνουμε τις αντίστοιχες περιοχές της μάσκας κατάτμησης του αλγορίθμου υπερ-κατάτμησης. Ένα σχεδιάγραμμα της συνολικής διαδικασίας της βελτίωσης κατάτμησης παρουσιάζεται στο σχήμα 4.3, ενώ παρακάτω αναλύονται λεπτομερώς τα επιμέρους στάδιά της. Προκειμένου για την καλύτερη παρουσίαση της λειτουργίας του αλγορίθμου, παράλληλα με τη θεωρητική ανάλυση παραθέτουμε και ένα παράδειγμα εφαρμογής του. Σχήμα

33 Κεφάλαιο 4: Βελτίωση κατάτμησης Κατάτμηση και υπολογισμός οπτικής ροής εικόνας Το στάδιο αυτό υλοποιεί τη διαδικασία εισαγωγής της εικόνας στο σύστημα βελτίωσης της κατάτμησης. Κατά την εισαγωγή της η εικόνα υπόκειται διαδοχικά σε 3 επιμέρους διεργασίες. Αρχικά, εφαρμόζεται ο αλγόριθμος κατάτμησης που έχουμε περιγράψει στην ενότητα 3.1. Κατόπιν, εφαρμόζεται ο αλγόριθμος υπερ-κατάτμησης, όπως έχει αναλυθεί στην παράγραφο 4.2. Επιπλέον, χρησιμοποιείται και η μέθοδος υπολογισμού της οπτικής ροής που αναφέρεται στην ενότητα 3.2. Σε αυτό το σημείο πρέπει να σημειώσουμε ότι, προκειμένου να υπολογιστεί το μέγεθος της οπτικής ροής για μια εικόνα, ο συγκεκριμένος αλγόριθμος απαιτεί δύο διαδοχικά πλαίσια (frames) της αντίστοιχης εικονοσειράς. Ως εκ τούτου, την είσοδο στο σύστημα αποτελούν ουσιαστικά αυτές οι δύο διαδοχικές εικόνες στα πλαίσια της εικονοσειράς και όχι μόνο η μία και μοναδική εικόνα που μας ενδιαφέρει. Τα αποτελέσματα της κάθε μιας διεργασίας αποθηκεύονται ξεχωριστά, έτσι ώστε να χρησιμοποιηθούν στα επόμενα στάδια της επεξεργασίας, ενώ απεικονίζονται παραστατικά στα παρακάτω σχήματα. Σχήμα 4.4: Πρώτο πλαίσιο της εξεταζόμενης εικονοσειράς 33

34 Κεφάλαιο 4: Βελτίωση κατάτμησης Σχήμα 4.5: Δεύτερο πλαίσιο της εξεταζόμενης εικονοσειράς (από την εξέταση των σχημάτων 4.4 και 4.5 μπορούμε να διαπιστώσουμε και εποπτικά την κίνηση στην εικόνα) Σχήμα 4.6: Προκύπτον δι-διάστατο επίπεδο διανυσμάτων κίνησης 34

35 Κεφάλαιο 4: Βελτίωση κατάτμησης Σχήμα 4.7: Μάσκα του αλγορίθμου κατάτμησης. Μπορούμε εύκολα να παρατηρήσουμε ότι στη μάσκα δεν υπάρχει περιοχή που να αντιστοιχίζεται στο δεύτερο πλοιάριο της εικόνας, ενώ και για το πρώτο η αντιστοιχιζόμενη περιοχή δεν είναι ιδιαίτερα ακριβής Σχήμα 4.8: Μάσκα του αλγορίθμου υπερ-κατάτμησης 35

36 Κεφάλαιο 4: Βελτίωση κατάτμησης Εκτίμηση κίνησης και υπολογισμός επιφάνειας σφάλματος Στο βήμα αυτό, εφαρμόζουμε διαδοχικά για κάθε περιοχή της μάσκας κατάτμησης έναν αλγόριθμο εκτίμησης της κίνησής της. Γενικά, οι διάφοροι αλγόριθμοι εκτίμησης κίνησης που εφαρμόζονται σε εικόνες έχουν ως στόχο να προσεγγίσουν όσο το δυνατόν καλύτερα τις πραγματικές τιμές των διανυσμάτων της κίνησης σε οποιοδήποτε σημείο τους. Στα πλαίσια της εργασίας μας χρησιμοποιήσαμε το διγραμμικό μοντέλο εκτίμησης κίνησης (η λειτουργία του αναλύεται στο παράρτημα Α). Το διγραμμικό είναι ένα παραμετρικό μοντέλο εκτίμησης κίνησης, όπου η βελτιστοποίησή του επιτυγχάνεται μέσω μιας επαναληπτικής διαδικασίας που στόχο έχει τον καθορισμό των βέλτιστων τιμών των οκτώ παραμέτρων που χρησιμοποιεί και που οδηγούν στο ελάχιστο σφάλμα εκτίμησης. Ας θεωρήσουμε τους συμβολισμούς u x ( i, j) και u y ( i, j) στο σημείο για τις τιμές της οριζόντιας και της κατακόρυφης συνιστώσας της ταχύτητας P ( i, j ) της εικόνας, που προέκυψαν μετά την εφαρμογή του αλγορίθμου υπολογισμού της οπτικής ροής. Επιπλέον, ας θεωρήσουμε και τις αντίστοιχες τιμές που επιστρέφει το διγραμμικό μοντέλο εκτίμησης κίνησης ως u x ( i, j) και u y ( i, j). Ως σφάλμα εκτίμησης της κίνησης σε ένα σημείο ( i j) P, ορίζουμε την ποσότητα : PE, = u ( i, j) u x ( i, j) + u y ( i, j) u y ( i, j) ( i j) 2 x (4.1) Χαρακτηριστική ιδιότητα του παραπάνω μέτρου του σφάλματος είναι ότι παρουσιάζει τόσο μεγαλύτερες τιμές όσο το αντίστοιχο διάνυσμα κίνησης ενός pixel αποκλίνει από την «μέση» κίνηση της περιοχής στην οποία ανήκει. Υπολογίζοντας το μέτρο του σφάλματος εκτίμησης για όλα τα pixels κάθε μιας από τις περιοχές της μάσκας κατάτμησης της εικόνας προκύπτει η επιφάνεια σφάλματος εκτίμησης κίνησης. Η επιφάνεια αυτή για την εικόνα του παραδείγματός μας φαίνεται στο παρακάτω σχήμα: 2 36

37 Κεφάλαιο 4: Βελτίωση κατάτμησης Σχήμα 4.9: Eπιφάνεια σφάλματος εκτίμησης κίνησης Αναγνώριση εσφαλμένης κατάτμησης περιοχών βάση κίνησης Στο στάδιο αυτό του αλγορίθμου επιχειρούμε να προσδιορίσουμε το σύνολο των pixels της εικόνας που έχουν εσφαλμένα καταχωρηθεί σε μια περιοχή της μάσκας κατάτμησης, με κριτήριο αξιολόγησης την κίνηση. Συγκεκριμένα, η διαδικασία που ακολουθούμε είναι η εξής: Αρχικά, υπολογίζουμε την μέση τιμή του σφάλματος εκτίμησης κίνησης για κάθε μια περιοχή της μάσκας κατάτμησης, αλλά και της μάσκας υπερ-κατάτμησης, βάση της επιφάνειας σφάλματος που έχει προκύψει στο προηγούμενο στάδιο επεξεργασίας. Το μέσο σφάλμα εκτίμησης κίνησης μιας περιοχής ορίζεται από τη σχέση: PEj j AE( i) = N (4.2) όπου ο αριθμητής ισούται με το άθροισμα των τιμών σφάλματος των pixels που ανήκουν στην περιοχή i και Ν είναι το πλήθος τους. Ας χρησιμοποιήσουμε τους συμβολισμούς 37

38 Κεφάλαιο 4: Βελτίωση κατάτμησης A (i) και AE(i), όταν αναφερόμαστε σε περιοχές της μάσκας κατάτμησης, και A' ( i) και AE' ( i) όταν αναφερόμαστε σε περιοχές της μάσκας υπερ-κατάτμησης. Κατόπιν, για κάθε περιοχή (ομάδα pixels) A' ( j) της μάσκας υπερ-κατάτμησης συγκρίνουμε το μέτρο του μέσου σφάλματος εκτίμησης της κίνησής της, AE' ( j), με το αντίστοιχο μέτρο, AE (i), της περιοχής της μάσκας κατάτμησης, A(i), στην οποία έχουν καταχωρηθεί τα περισσότερα pixels της A' ( j). Εφόσον, η διαφορά των δύο μέτρων είναι συγκριτικά μεγάλη, αυτό σημαίνει ότι τα pixels που αντιστοιχούν στην περιοχή A' ( j), θεωρώντας ως κριτήριο κατάτμησης των pixels την κίνηση, έχουν εσφαλμένα καταχωρηθεί στην περιοχή A(i). Ο μαθηματικός τύπος που περιγράφει την παραπάνω σχέση είναι ο εξής: AE '( j) > a * AE( i) (4.3) Ο παράγοντας a στην παραπάνω σχέση, μετά από πειραματική μελέτη, έχει οριστεί να λαμβάνει μια τιμή στο διάστημα [2.5,3.5]. Εφόσον, η παραπάνω σχέση ισχύει για κάποια περιοχή A' ( j), τότε αυτή αναγνωρίζεται σε πρώτη φάση ως νέα περιοχή στην μάσκα κατάτμησης, η οποία ενημερώνεται κατάλληλα. Σχήμα 4.10: Ενημερωμένη μάσκα κατάτμησης. Στην εικόνα διακρίνουμε τις νέες περιοχές που έχουν σχηματιστεί βάση της διαδικασίας που περιγράψαμε στην ενότητα 38

39 Κεφάλαιο 4: Βελτίωση κατάτμησης ο στάδιο συγχώνευσης περιοχών Σε αυτό το βήμα, προσπαθούμε να εκχωρήσουμε κάθε νέα περιοχή, που προέκυψε στο προηγούμενο βήμα επεξεργασίας, σε κάποια από τις αρχικές περιοχές της μάσκας κατάτμησης. Κριτήριο για τον έλεγχο της συγχώνευσης είναι το μέγεθος της κίνησης, ή εναλλακτικά το μέτρο του σφάλματος της εκτίμησης κίνησης. Συγκεκριμένα, η διαδικασία που ακολουθούμε συνίσταται από τα ακόλουθα επιμέρους βήματα: Για κάθε μια από τις νέες περιοχές που προέκυψαν στο προηγούμενο βήμα στην μάσκα κατάτμησης, υπολογίζουμε όλες τις αρχικές περιοχές (περιοχές δηλαδή που είχαν δημιουργηθεί εξ αρχής από την εφαρμογή του αλγόριθμου κατάτμησης-παράγραφος 4.2.1) της ίδιας μάσκας με τις οποίες συνορεύει. Κατόπιν, για κάθε μια από τις γειτονικές αυτές περιοχές ανακτούμε τις οκτώ τιμές των παραμέτρων του διγραμμικού μοντέλου εκτίμησης κίνησης, έτσι όπως υπολογίστηκαν στην ενότητα Στη συνέχεια, για κάθε μια οκτάδα παραμέτρων εφαρμόζουμε τη διαδικασία εκτίμησης κίνησης και υπολογίζουμε το προκύπτον σφάλμα εκτίμησης για την εξεταζόμενη «νέα» περιοχή. Εάν το μέτρο του σφάλματος μειώνεται, σε σχέση με το αρχικό, για κάποια γειτονική περιοχή, αυτό σημαίνει ότι τα pixels της εξεταζόμενης περιοχής παρουσιάζουν μεγαλύτερη ομοιότητα ως προς την κίνηση με αυτά της γειτονικής περιοχής. Γι αυτό το λόγο οδηγούμαστε στη συγχώνευση της εξεταζόμενης περιοχής με τη συγκεκριμένη γειτονική της. Εάν το σφάλμα μειώνεται για περισσότερες από μία γειτονικές περιοχές, τότε επιλέγεται για συγχώνευση η περιοχή της οποίας η εκτίμηση οδηγεί στη μεγαλύτερη μείωση του σφάλματος. Η όλη διαδικασία εκτελείται επαναληπτικά για όλες τις περιοχές μέχρις ότου να μην παρατηρείται κάποια ενέργεια συγχώνευσης. Με αυτόν τον επαναληπτικό τρόπο εκτέλεσης εξασφαλίζεται η δυνατότητα του να μπορεί να συγχωνευθεί μια περιοχή που προέκυψε στην ενότητα με 39

40 Κεφάλαιο 4: Βελτίωση κατάτμησης μια αρχική περιοχή, που κατά την 1 η επανάληψη δεν αναγνωρίστηκε ως γειτονική της. Για την εικόνα του παραδείγματός μας προκύπτει η εξής ενδιάμεση μάσκα κατάτμησης μετά την εφαρμογή του 1 ου σταδίου συγχώνευσης: Σχήμα 4.11: Ενημέρωση της μάσκας κατάτμησης μετά το 1 ο στάδιο συγχώνευσης. Στην εικόνα μπορούμε να διακρίνουμε ότι η περιοχή που αντιστοιχούσε στον άνθρωπο έχει ενσωματωθεί στην αρχική περιοχή που αντιστοιχεί στο δεξιό πλοιάριο ο στάδιο συγχώνευσης περιοχών Σε αυτό το στάδιο, επιχειρούμε να συγχωνεύσουμε όσες νέες περιοχές απέμειναν από το 1 ο στάδιο συγχώνευσης, που δεν παρουσίαζαν δηλαδή ομοιότητα ως προς την κίνηση με κάποια από τις αρχικές περιοχές της μάσκας κατάτμησης, μεταξύ τους με κριτήριο και πάλι την κίνηση. Τα επιμέρους βήματα που ακολουθούνται είναι τα εξής: Πρώτα, εφαρμόζουμε το διγραμμικό μοντέλο εκτίμησης κίνησης για όλες τις περιοχές της μάσκας κατάτμησης, έτσι όπως έχει αυτή διαμορφωθεί από το 1 ο στάδιο συγχώνευσης. 40

41 Κεφάλαιο 4: Βελτίωση κατάτμησης Κατόπιν, υπολογίζουμε για κάθε μια από τις νέες περιοχές που προέκυψαν στην ενότητα και δε συγχωνεύτηκαν στην ενότητα 4.2.4, όλες τις αντίστοιχες γειτονικές τους νέες περιοχές. Στη συνέχεια, κατά τον ίδιο τρόπο με το 1 ο στάδιο συγχώνευσης, συγχωνεύουμε τα ζευγάρια των γειτονικών περιοχών που παρουσιάζουν μεγάλη ομοιότητα κίνησης. Η ομοιότητα εκφράζεται και πάλι μέσω του μέτρου του σφάλματος εκτίμησης κίνησης. Δηλαδή, στην εξεταζόμενη για συγχώνευση περιοχή εφαρμόζουμε την οκτάδα των παραμέτρων του διγραμμικού μοντέλου όλων των γειτονικών της περιοχών. Η περιοχή για την οποία εμφανίζεται η μεγαλύτερη μείωση της τιμής του σφάλματος εκτίμησης είναι υποψήφια για συγχώνευση. Η συγχώνευση υλοποιείται εάν και μόνο εάν ισχύει η παρακάτω σχέση: MAE '( j) < b * MAE( j) (4.4) όπου ο αριστερός όρος της σχέσης δηλώνει την νέα τιμή του σφάλματος που θα εμφανίζει η περιοχή εάν πραγματοποιηθεί η συγχώνευση και ο δεξιός την τιμή του πριν την συγχώνευση. Η σχέση αυτή εξασφαλίζει ότι μόνο περιοχές με μεγάλη ομοιότητα ως προς την κίνηση θα συγχωνευτούν. Η τιμή του παράγοντα έχει προσδιοριστεί πειραματικά να λαμβάνει τιμή στο διάστημα [4,6]. Η σχετικά μεγάλη τιμή του συντελεστή σύγκρισης b δικαιολογείται από το γεγονός ότι οι νέες περιοχές είναι σχετικά μικρές σε μέγεθος και ως εκ τούτου τα σφάλματα εκτίμησης είναι αρκετά υψηλά. Τα τελευταία δύο βήματα της διαδικασίας εφαρμόζονται και πάλι επαναληπτικά, μέχρι να μην παρατηρείται καμιά ενέργεια συγχώνευσης. Για την εικόνα του παραδείγματός μας προκύπτει η εξής ενδιάμεση μάσκα κατάτμησης μετά την εφαρμογή του 1 ου σταδίου συγχώνευσης: 41

42 Κεφάλαιο 4: Βελτίωση κατάτμησης Σχήμα 4.12: Ενημέρωση της μάσκας κατάτμησης μετά το 2 ο στάδιο συγχώνευσης. Στην εικόνα μπορούμε να διακρίνουμε ότι οι νέες περιοχές που αντιστοιχούσαν σε κομμάτια του αριστερού πλοιαρίου έχουν ενσωματωθεί πλέον σε μια περιοχή της μάσκας κατάτμησης Δημιουργία συνεκτικών περιοχών Κατά τα προηγούμενα στάδια της επεξεργασίας υπάρχει το ενδεχόμενο να προκύψουν περιοχές μη-συνεκτικές. Αυτό το γεγονός παρατηρείται κυρίως στις περιοχές της αρχικής μάσκας κατάτμησης, οι οποίες διαχωρίζονται με τρόπο μη προβλέψιμο εκ των προτέρων κατά τη δημιουργία των νέων περιοχών στην ενότητα Έτσι, σε αυτό το βήμα εφαρμόζεται ένας αλγόριθμος που αναγνωρίζει το ποιες περιοχές της μάσκας κατάτμησης, έτσι όπως έχει διαμορφωθεί από τα προηγούμενα στάδια επεξεργασίας, είναι μη συνεκτικές. Κατόπιν, υλοποιείται ένας διαχωρισμός των περιοχών αυτών στα επιμέρους μη-συνεκτικά κομμάτια τους, με την κατάλληλη ενημέρωση της μάσκας κατάτμησης. Για την εικόνα του παραδείγματός μας, μετά το στάδιο της δημιουργίας συνεκτικών περιοχών, προκύπτει η εξής μάσκα κατάτμησης: 42

43 Κεφάλαιο 4: Βελτίωση κατάτμησης Σχήμα 4.13: Ενημέρωση της μάσκας κατάτμησης μετά το στάδιο της δημιουργίας συνεκτικών περιοχών. Διακρίνουμε τις μεταβολές στα σημεία της εικόνας που αντιστοιχούν στο αριστερό πλοιάριο Διαχείριση μικρών περιοχών Σαν τελευταίο στάδιο της όλης επεξεργασίας, εφαρμόζεται ένας αλγόριθμος που πραγματοποιεί το διαχειρισμό των λεγόμενων «μικρών» περιοχών. Ως μικρές θεωρήσαμε τις περιοχές των οποίων η συνολική επιφάνεια έχει μέγεθος σε pixels μικρότερο από το 0.25% των συνολικών pixels της εικόνας. Ουσιαστικά, ο αλγόριθμος εκτελεί την άνευ όρων συγχώνευση των περιοχών αυτών με την αντίστοιχη κάθε φορά γειτονική τους για την οποία (κατά τα γνωστά) εμφανίζεται η μικρότερη τιμή του σφάλματος εκτίμησης - και όχι απαραίτητα η μεγαλύτερη μείωσή του. Για την εικόνα του παραδείγματός μας, η τελική μορφή της μάσκας κατάτμησης είναι η εξής: 43

44 Κεφάλαιο 4: Βελτίωση κατάτμησης Σχήμα 4.14: Τελική μάσκα κατάτμησης. Συγκρίνοντας τις μάσκες κατάτμησης των σχημάτων 4.7 και 4.14, μπορούμε να διακρίνουμε: α) τόσο την βελτίωση της περιοχής που αντιστοιχεί στο σκάφος στο κέντρο της εικόνας (όπου στην περιοχή περιλαμβάνεται πλέον και ο άνθρωπος, που αν και στην εικόνα δεν παρουσιάζει ομοιότητα ως προς το χρώμα με το σκάφος, έχει ωστόσο την ίδια κίνηση με αυτό), β) την εμφάνιση της νέας περιοχής που αντιστοιχεί στο δεύτερο σκάφος της εικόνας. 4.3 Αποτελέσματα εφαρμογής μεθόδου Στο σημείο αυτό κρίναμε σκόπιμο να παρουσιάσουμε κάποια από τα αποτελέσματα της εφαρμογής του αλγορίθμου που παρουσιάστηκε σε αυτό το κεφάλαιο. Μέσα από τo παρακάτω παράδειγμα, προσπαθούμε να αναδείξουμε τη λειτουργία των διαφόρων σταδίων του αλγορίθμου, αλλά και να παρουσιάσουμε ένα μέτρο της αποτελεσματικότητάς του. Στα παρακάτω σχήματα παραθέτουμε τα δύο διαδοχικά πλαίσια της εικονοσειράς που χρησιμοποιήθηκαν ως είσοδοι του συστήματός μας (α)-(β) (ώστε να μπορούμε να διαπιστώσουμε και εποπτικά την κίνηση στην εικόνα), το προκύπτον δι-διάστατο επίπεδο διανυσμάτων κίνησης (γ), τις μάσκες κατάτμησης (δ) και υπερ-κατάτμησης (ε) των αντίστοιχων αλγορίθμων κατάτμησης, την ενδιάμεση μορφή της μάσκας κατάτμησης μετά την εκτέλεση του σταδίου που αναλύεται στην ενότητα 44

45 Κεφάλαιο 4: Βελτίωση κατάτμησης τη δημιουργία των νέων περιοχών (στ), και την τελική μορφή της μάσκας κατάτμησης μετά την ολοκλήρωση της διαδικασίας βελτίωσης της κατάτμησης (η). (α) (β) 45

46 Κεφάλαιο 4: Βελτίωση κατάτμησης (γ) (δ) 46

47 Κεφάλαιο 4: Βελτίωση κατάτμησης (ε) (στ) 47

48 Κεφάλαιο 4: Βελτίωση κατάτμησης (η) Συγκρίνοντας τις μάσκες κατάτμησης των σχημάτων (δ) και (η), μπορούμε να διακρίνουμε τις νέες περιοχές που δημιουργούνται και αντιστοιχούν: α) στο μπαλάκι του πινγκ-πονγκ, β) το τραπέζι, γ) τη ρακέτα. Επιπλέον, ο καρπός του χεριού δε συμπεριλαμβάνεται στην περιοχή της ρακέτας, καθώς (σχήμα γ) ο αλγόριθμος υπολογισμού της οπτικής ροής αντιστοιχεί εσφαλμένα σχεδόν μηδενικά διανύσματα κίνησης στα pixels αυτά. 48

49 5. Χωρικές σχέσεις στο επίπεδο (2D spatial relations) Όπως έχουμε αναφέρει και στο 2 ο κεφάλαιο, στα πρώτα στάδια της διαδικασίας της σημασιολογικής ανάλυσης των εικόνων, ένας από τους βασικούς στόχους είναι η εξαγωγή των χαρακτηριστικών χαμηλού επιπέδου. Τα χαρακτηριστικά αυτά ορίζονται σε σχέση με τα διάφορα αντικείμενα της εικόνας, που έχουν αναγνωριστεί με την εφαρμογή της μεθόδου της κατάτμησης, και αποτελούν τη βάση για τις διαδικασίες της αναγνώρισής τους αλλά και της εξαγωγής των πιο σύνθετων εννοιολογικά σχέσεων. Τα χαρακτηριστικά αυτά, όπως έχουμε ήδη αναφέρει, μπορεί να σχετίζονται με τα μεγέθη του χρώματος, της υφής ή του σχήματος των αντικειμένων, αλλά μπορεί και να δηλώνουν ακόμα και διάφορα είδη σχέσεων μεταξύ των αντικειμένων. Ένα από τα πλέον βασικά είδη σχέσεων μεταξύ των αντικειμένων είναι και οι λεγόμενες χωρικές σχέσεις (spatial relations). Στο κεφάλαιο αυτό θα ασχοληθούμε με τις χωρικές σχέσεις των αντικειμένων στο επίπεδο της εικόνας. Μέχρι σήμερα, έχουν προταθεί στη βιβλιογραφία πολλές και διαφορετικές προσεγγίσεις σχετικά με την επιλογή των εφαρμοζόμενων χωρικών σχέσεων και τον τρόπο ορισμού και υπολογισμού τους. Το συνολικό πλήθος των χωρικών σχέσεων, αλλά και το ποιες επιμέρους σχέσεις θα χρησιμοποιηθούν, εξαρτάται άμεσα από το αντίστοιχο πεδίο εφαρμογής. Επίσης, καθώς το πεδίο εφαρμογής μπορεί να διαφέρει από περίπτωση σε περίπτωση, ο ακριβής ορισμός ακόμα και των ίδιων χωρικών σχέσεων μπορεί να μεταβάλλεται αντίστοιχα. Σε ότι αφορά τις μεθόδους εξαγωγής των χωρικών σχέσεων και εδώ έχουν προταθεί πολλές και διαφορετικές μεθοδολογίες. Οι Wang και Makedon πρότειναν μια μέθοδο υπολογισμού των χωρικών σχέσεων που βασίζεται στην χρησιμοποίηση των R-ιστογραμμάτων [7]. Μια άλλη κατηγορία μεθοδολογιών, ευρέως διαδεδομένη, στηρίζεται στη σχεσιακή άλγεβρα και τη θεωρία των τομών των περιγραμμάτων και των εσωτερικών των αντικειμένων [8][9]. Επιπλέον προσεγγίσεις αφορούν την χρήση της θεωρίας των διαστημάτων [10][11], ή γεωμετρικών μεγεθών όπως τα MBR (Minimum Bounding Rectangle) [12][13]. Ανεξάρτητα των τρόπων ορισμού και υπολογισμού τους, οι βασικές κατηγορίες των χωρικών σχέσεων στο επίπεδο είναι οι εξής: 49

50 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο τοπολογικές σχέσεις, σχέσεις απόστασης, σχέσεις κατεύθυνσης και σχέσεις απόλυτης θέσης. Στα πλαίσια της διπλωματικής μας εργασίας, προσπαθήσαμε να ορίσουμε και να υλοποιήσουμε μια σειρά από χωρικές σχέσεις γενικής χρήσης που να καλύπτουν επαρκώς όλες τις παραπάνω κατηγορίες. Επιπλέον, ορίσαμε και μια σειρά πρόσθετων γεωμετρικών χαρακτηριστικών, που συχνά παρέχουν χρήσιμες πληροφορίες για το σχήμα και τις γεωμετρικές ιδιότητες των αντικειμένων. Στις παρακάτω παραγράφους περιγράφονται αναλυτικά οι τρόποι ορισμού και υπολογισμού των εξής σχέσεων: τοπολογικές σχέσεις (σχέσεις γειτονίας και περικύκλωσης) σχέσεις απόστασης (ένα μέτρο που χαρακτηρίζει την απόσταση μεταξύ των περιοχών) σχέσεις κατεύθυνσης (οι σχετικές θέσεις των αντικειμένων συναρτήσει των οκτώ κατευθύνσεων της πυξίδας) σχέσεις απόλυτης θέσης (οι απόλυτες θέσεις των αντικειμένων στο επίπεδο της εικόνας συναρτήσει των οκτώ κατευθύνσεων της πυξίδας) σχέσεις που χαρακτηρίζουν το σχήμα των αντικειμένων (μια σειρά χρήσιμων βαθμωτών μεγεθών) 5.1 Τοπολογικές σχέσεις (topological relations) Με τον όρο τοπολογικές σχέσεις υποδηλώνουμε την προσπάθεια να περιγράψουμε με ποιοτικό τρόπο τις χωρικές σχέσεις μεταξύ των διαφόρων αντικειμένων που αναγνωρίστηκαν στην μάσκα κατάτμησης της εικόνας. Συγκεκριμένα, οι τοπολογικές σχέσεις περιγράφουν καταστάσεις της μορφής, για παράδειγμα, του να είναι οι περιοχές δύο αντικείμενων στο επίπεδο της εικόνας συνδεδεμένες ή όχι, η περιοχή ενός αντικειμένου να περικλείει την περιοχή ενός άλλου αντικειμένου κτλ. Πριν προχωρήσουμε στην αναλυτική περιγραφή των τοπολογικών σχέσεων που ορίσαμε, θεωρούμε σημαντικό να διευκρινίσουμε μια έννοια η οποία θα μας 50

51 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο απασχολήσει κατά την όλη πορεία της εξέτασης των χωρικών σχέσεων. Αυτή είναι η έννοια της γειτονικότητας. Στην όλη ανάλυση που θα ακολουθήσει, για τον όρο γειτονία χρησιμοποιήσαμε τον ευρέως διαδεδομένο ορισμό της γειτονίας των 4άρων. Σύμφωνα με τον ορισμό αυτό, για κάθε ένα pixel ( i j) pixels στις θέσεις ( i 1, j) για το pixel P ( i, j), i 1, j, P, της εικόνας ορίζονται ως γειτονικά του τα ( + ) ( i, j +1), (, j 1) i. Παραστατικά, στο σχήμα 5.1, (O) της εικόνας σημειώνονται με (Χ) τα 4 γειτονικά του pixels. Τέλος, μια σημαντική παρατήρηση που αφορά την εξαγωγή όλων των χωρικών σχέσεων είναι η εξής: οι χωρικές σχέσεις που εξάγουμε ορίζονται για τις προβολές των διαφόρων πραγματικών αντικειμένων πάνω στο επίπεδο της εικόνας. Ως εκ τούτου, μπορεί για την ίδια απεικονιζόμενη σκηνή να εξάγονται διαφορετικές χωρικές σχέσεις, ανάλογα με την εκάστοτε γωνία λήψης της κάμερας ή της φωτογραφικής μηχανής. Σχήμα Σχέση γειτονίας - μη γειτονίας (connected disconnected) Στην ανάλυσή μας ορίσαμε δύο περιοχές ως γειτονικές, όταν τουλάχιστον ένα pixel της μιας περιοχής έχει ως γειτονικό του τουλάχιστον ένα pixel της άλλης περιοχής (connected). Σε αντίθετη περίπτωση, το ζεύγος των δύο εξεταζόμενων περιοχών χαρακτηρίζεται ως μη-γειτονικές (disconnected). Ο αλγόριθμος υπολογισμού των σχέσεων γειτονίας είναι ιδιαίτερα απλός και προκύπτει με την εφαρμογή δύο διαδοχικών σαρώσεων της εικόνας, την πρώτη φορά η σάρωση γίνεται κατά γραμμές και τη δεύτερη κατά στήλες. Κατά την εξέταση των pixels, 51

52 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο με τον τρόπο που μόλις περιγράψαμε, όποτε παρατηρείται μια μετάβαση από μια περιοχή σε μια άλλη, τότε το ζεύγος των δύο περιοχών χαρακτηρίζεται ως γειτονικές. Για τα ζεύγη των περιοχών στα οποία δεν έχει αντιστοιχηθεί η ιδιότητα της γειτονικότητας, απλά χαρακτηρίζονται ως μη-γειτονικές. Στο σχήμα 5.2 παραθέτουμε δύο περιπτώσεις όπου οι περιοχές είναι γειτονικές, ενώ στο σχήμα 5.3 δύο περιπτώσεις όπου οι περιοχές θεωρούνται από τον αλγόριθμό μας ως μη-γειτονικές. Σχήμα 5.2: Τόσο το ζεύγος των περιοχών 1-2, όσο και το ζεύγος 3-4, αναγνωρίζονται βάση του ορισμού μας ως γειτονικές. Σχήμα 5.3: Τόσο το ζεύγος των περιοχών 1-2, όσο και το ζεύγος 3-4, αναγνωρίζονται βάση του ορισμού μας ως μη- γειτονικές. 52

53 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο Παράγοντας γειτονίας Στην παράγραφο ορίσαμε την τοπολογική σχέση της γειτονίας μεταξύ δύο περιοχών της μάσκας κατάτμησης. Συγκεκριμένα, ορίσαμε ότι δύο περιοχές χαρακτηρίζονται ως γειτονικές όταν τουλάχιστον ένα pixel της μιας περιοχής έχει ως γειτονικό του (βάση της γειτονίας των 4άρων) τουλάχιστον ένα pixel της άλλης περιοχής. Σε αρκετά σημεία, όμως, της ανάλυσής μας ο χαρακτηρισμός αυτός αποδεικνύεται ότι δεν είναι επαρκής, καθώς ακόμα και δύο περιοχές που έχουν ένα μόνο ζεύγος γειτονικών pixels μπορούν να χαρακτηριστούν ως γειτονικά και άρα απαιτείται μια περαιτέρω εξειδίκευση της σχέσης (σχήμα 5.2, ζεύγος περιοχών 1-2). Με τη μέθοδο που περιγράφουμε σε αυτήν την παράγραφο, επιχειρήσαμε να δώσουμε ένα μέτρο του βαθμού στον οποίο για δύο περιοχές ισχύει η σχέση της γειτονίας. Το μέτρο του βαθμού αυτού είναι ένας παράγοντας (παράγοντας γειτονίας) που μπορεί να λάβει τιμές στο διάστημα [ 0,1]. Ειδικότερα, ο παράγοντας αυτός υπολογίζεται ως εξής: Καταρχήν, προσδιορίζεται το συνολικό περίγραμμα (εσωτερικό και εξωτερικό) μιας περιοχής-της περιοχής αναφοράς. Εν συνεχεία, για κάθε pixel του περιγράμματος αυτού προσδιορίζεται με ποια περιοχή της μάσκας κατάτμησης είναι γειτονικό, βάση της γειτονίας των 4άρων. Στο επόμενο στάδιο, και αφού έχει υπολογιστεί ο συνολικός αριθμός των pixels του περιγράμματος της περιοχής αναφοράς που είναι γειτονικά με κάθε μια από τις γειτονικές της περιοχές, υπολογίζονται και τα αντίστοιχα ποσοστά τους επί του συνόλου των pixels του περιγράμματος. Τα ποσοστά αυτά είναι και η τιμή του παράγοντα γειτονίας για κάθε ζεύγος περιοχών και δηλώνουν ουσιαστικά σε τι βαθμό ισχύει η σχέση γειτονίας μεταξύ της περιοχής αναφοράς και κάθε άλλης εξεταζόμενης περιοχής. Για τιμή παράγοντα γειτονίας ίση με 0 οι δύο εξεταζόμενες περιοχές είναι μηγειτονικές (disconnected), ενώ για τιμή παράγοντα ίση με 1 η περιοχή αναφοράς περικυκλώνεται από την εξεταζόμενη περιοχή. Επιπλέον, η τιμή του παράγοντα γειτονίας δεν είναι απαραίτητα μοναδική για κάθε ζεύγος περιοχών, αλλά εξαρτάται από το ποια θα θεωρήσουμε ως περιοχή αναφοράς κάθε φορά. Το αποτέλεσμα της παραπάνω διαδικασίας φαίνεται παραστατικά στο παρακάτω σχήμα: 53

54 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο Σχήμα 5.4: Η περιοχή 1 είναι γειτονική με την 2 κατά ένα παράγοντα γειτονίας 0.002, ενώ η 2 είναι γειτονική με την 1 κατά τον παράγοντα Αντίστοιχα, η περιοχή 3 γειτονεύει με την 4 κατά έναν παράγοντα 0.14, ενώ η 4 γειτονεύει με την 3 κατά τον παράγοντα Σχέση περικύκλωσης (surrounds) Βάση του ορισμού μας, θεωρήσαμε ότι μια περιοχή περικυκλώνει (surrounds) μια δεύτερη, όταν όλα τα pixels της δεύτερης περιοχής περιβάλλονται από pixels της πρώτης. Εφόσον ισχύει η παραπάνω σχέση, ορίσαμε επίσης ότι η δεύτερη περιοχή περικυκλώνεται (surrounded) από την πρώτη. Από τον ορισμό που δώσαμε για τη σχέση της περικύκλωσης, εύκολα μπορούμε να διαπιστώσουμε ότι εάν για δύο περιοχές ισχύει η σχέση της περικύκλωσης, τότε δεν ισχύει απαραίτητα και η σχέση της γειτονίας. Ο αλγόριθμος υπολογισμού της σχέσης περικύκλωσης, συνίσταται στον προσδιορισμό του εξωτερικού περιγράμματος της κάθε περιοχής. Γενικά, θεωρήσαμε ότι ένα pixel μιας περιοχής, που ανήκει στο εξωτερικό περίγραμμά της, χαρακτηρίζεται από την ιδιότητα του να έχει ως γειτονικό τουλάχιστον ένα pixel μιας άλλης περιοχής ή να ανήκει το ίδιο στο όριο της εικόνας. Έτσι, ξεκινώντας από το pixel της περιοχής που βρίσκεται στο χαμηλότερο σημείο της εικόνας, καθορίζουμε μέσω μιας αναδρομικής διαδικασίας όλα τα pixels του εξωτερικού περιγράμματός της. Από τη στιγμή που έχει καθοριστεί το εξωτερικό περίγραμμα μιας περιοχής, η εικόνα χωρίζεται σε δύο υποσύνολα. Στο πρώτο από αυτά ανήκουν τα pixels της εικόνας που περιβάλλονται από 54

55 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο το εξωτερικό περίγραμμα της περιοχής, ενώ στο δεύτερο όλα τα υπόλοιπα. Το αποτέλεσμα της εφαρμογής της παραπάνω διαδικασίας φαίνεται παραστατικά στο σχήμα 5.5 (διακρίνεται το εξωτερικό περίγραμμα μιας περιοχής και ο διαχωρισμός της εικόνας σε δύο υποσύνολα). Στη συνέχεια θεωρούμε διαδοχικά όλες τις υπόλοιπες περιοχές της εικόνας. Εάν για μια περιοχή όλα τα pixels της ανήκουν στο εσωτερικό του περιγράμματος που έχουμε υπολογίσει, τότε η περιοχή αυτή αναγνωρίζεται ότι περικλείεται (surrounded) από την αντίστοιχη περιοχή, της οποίας το εξωτερικό περίγραμμα έχουμε υπολογίσει. Η διαδικασία εφαρμόζεται διαδοχικά για όλες τις περιοχές της εικόνας και κατά αυτόν τον τρόπο αναγνωρίζονται όλες οι πιθανές σχέσεις περικύκλωσης. Στο σχήμα 5.6 παριστάνονται δύο παραδείγματα περιοχών που συνδέονται με τη σχέση περικύκλωσης, ενώ στο σχήμα 5.7 παρουσιάζονται δύο ζευγάρια περιοχών που δε συνδέονται με τη σχέση περικύκλωσης. Σχήμα 5.5: Με την έντονη γραμμή αναπαριστούμε το εξωτερικό περίγραμμα της περιοχής, το υποσύνολο 2 αποτελείται από τα pixels που περικλείονται από αυτό, ενώ το υποσύνολο 1 από τα υπόλοιπα. 55

56 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο Σχήμα 5.6: Τόσο η περιοχή 1 όσο και η περιοχή 3 περιβάλλουν, βάση του ορισμού μας, τις περιοχές 2 και 4 αντίστοιχα. Σχήμα 5.7: Βάση του ορισμού μας, τα ζευγάρια των περιοχών 1-2 και 3-4, αναγνωρίζονται απλά ως γειτονικές Σχετική περικύκλωση (quasi-inclusion) Στην προηγούμενη παράγραφο έχουμε ήδη ορίσει τη σχέση της περικύκλωσης. Η σχέση αυτή ισχύει όταν όλα τα pixels μιας περιοχής περικυκλώνονται από τα pixels μιας δεύτερης περιοχής. Υπάρχουν, όμως, συχνά περιπτώσεις στην πράξη όπου η παραπάνω σχέση δεν επαληθεύεται βάση του ορισμού που της προσδώσαμε, αλλά η ανθρώπινη διαίσθηση αναγνωρίζει κάποιο είδος σχετικής περικύκλωσης (σχήμα 5.7, ζεύγος περιοχών 1-2). Με τη μέθοδο που παραθέτουμε σε αυτήν την ενότητα, προσπαθούμε να 56

57 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο εκφράσουμε την περικύκλωση αυτή, με τη γενικότερη διαισθητικά έννοια, μέσω ενός αριθμητικού παράγοντα που λαμβάνει τιμή στο διάστημα [ 0,1]. Δηλαδή, όταν μια περιοχή περιβάλλει πλήρως μια δεύτερη (ισχύει η σχέση περικύκλωσης) η τιμή του παράγοντα αυτού θα είναι 1, ενώ όταν δεν υπάρχει καμία «ανθρώπινη αίσθηση» σχετικής περικύκλωσης ο παράγοντας αυτός θα λαμβάνει την τιμή 0. Η μέθοδος που υλοποιήσαμε είναι ευρέως γνωστή με την ονομασία quasi inclusion και συχνά χρησιμοποιείται από τις μεθόδους κατάτμησης ακίνητων εικόνων [14][15]. Η διαδικασία υπολογισμού του παράγοντα του quasi inclusion αποτελείται από δυο επιμέρους στάδια. Στο πρώτο στάδιο, υπολογίζεται για την περιοχή αναφοράς το ελάχιστο κυρτό πολύγωνο το οποίο περιβάλλει όλα τα pixels της περιοχής και αναφέρεται στη βιβλιογραφία με τον όρο convex hull. Στο δεύτερο στάδιο, για την εκάστοτε εξεταζόμενη περιοχή (περιοχή η οποία περιβάλλεται, με την ευρεία έννοια του όρου, από την περιοχή αναφοράς) υπολογίζεται το ποσοστό των pixels της που ανήκουν στο προηγουμένως υπολογισθέν convex-hull της περιοχής αναφοράς. Η τιμή του ποσοστού αυτού αποτελεί και την τιμή του παράγοντα που δηλώνει το μέτρο της σχετικής περικύκλωσης. Η διαδικασία που περιγράφηκε εφαρμόζεται για όλα τα ζεύγη των περιοχών της μάσκας κατάτμησης και απεικονίζεται παραστατικά στο σχήμα 5.8. Σημαντικό σημείο της διαδικασίας που μόλις αναφέραμε είναι το γεγονός ότι τιμή του παράγοντα της σχετικής περικύκλωσης ίση με 1 δεν σημαίνει απαραίτητα ότι ισχύει και η τοπολογική σχέση της περικύκλωσης. Η περίπτωση αυτή παρουσιάζεται στο σχήμα 5.9. Αντίθετα, όμως, όταν ισχύει η σχέση της τοπολογικής περικύκλωσης ο παράγοντας του quasi-inclusion είναι πάντα ίσος με 1. 57

58 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο Σχήμα 5.8: Στο παραπάνω σχήμα με κόκκινη διακεκομμένη γραμμή παρουσιάζεται το convex hull (ελάχιστο κυρτό πολύγωνο που περιβάλλει όλα τα pixels της περιοχής) για την περιοχή 1, με την χρήση του οποίου μπορούμε να υπολογίσουμε την τιμή του παράγοντα της σχετικής περικύκλωσης που συνδέει την περιοχή 1 με την περιοχή 2. Η τιμή του παράγοντα αυτού, για το συγκεκριμένο παράδειγμα, είναι ίση με

59 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο Σχήμα 5.9: Στο παραπάνω σχήμα με κόκκινη διακεκομμένη γραμμή παρουσιάζεται το convex hull (ελάχιστο κυρτό πολύγωνο που περιβάλλει όλα τα pixels της περιοχής) για την περιοχή 1. Ωστόσο, αν και η τιμή του παράγοντα της σχετικής περικύκλωσης είναι 1, παρατηρούμε ότι δεν ισχύει η τοπολογική σχέση της περικύκλωσης. 5.2 Σχέσεις απόστασης (distance relations) Μέσω αυτής της κατηγορίας των χωρικών σχέσεων, επιχειρείται να δοθεί ένα χαρακτηριστικό μέτρο του πόσο κοντά βρίσκονται δύο αντικείμενα της μάσκας κατάτμησης στα πλαίσια της εικόνας. Μέχρι σήμερα, έχει παρουσιαστεί μια σειρά μεθόδων που προσπαθεί να χαρακτηρίσει ποιοτικά το μέτρο αυτής της απόστασης. Αυτό υποδηλώνεται μέσω του ορισμού σχέσεων της μορφής «κοντά», «μακριά» κτλ. Στα πλαίσια της εργασίας, επιλέξαμε να υπολογίσουμε ένα μέτρο που να εκφράζει αυτήν την απόσταση. Συγκεκριμένα, επιλέξαμε να υπολογίσουμε το απόλυτο μέτρο της απόστασης μεταξύ δύο περιοχών. Η απόσταση αυτή εκφράζεται σε μονάδες pixels. Ειδικότερα, ορίσαμε ως απόσταση μεταξύ δύο περιοχών την ελάχιστη απόσταση που παρατηρείται για κάποιο ζεύγος pixels που ανήκουν το κάθε ένα σε μια από τις δύο εξεταζόμενες περιοχές. Βάση αυτού του ορισμού, το μέτρο της απόστασης μεταξύ δύο περιοχών της 59

60 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο μάσκας κατάτμησης μπορεί να είναι ένας θετικός πραγματικός αριθμός, ενώ για δύο γειτονικές ή δύο περιοχές που συνδέονται με τη σχέση της περικύκλωσης το μέτρο αυτό ισούται με το μηδέν. Ο αλγόριθμος υπολογισμού της απόστασης μεταξύ δύο οποιονδήποτε περιοχών είναι ο εξής: Αρχικά, υπολογίζονται τα εξωτερικά περιγράμματα των δύο περιοχών (με την προϋπόθεση ότι οι περιοχές δεν είναι γειτονικές), κατά τον τρόπο που περιγράφηκε στην παράγραφο Κατόπιν, για όλα τα ζευγάρια των pixels που ανήκουν αντίστοιχα στα δύο αυτά περιγράμματα υπολογίζεται η μεταξύ τους απόσταση. Το ελάχιστο μέτρο της απόστασης που προκύπτει, για όλα τα παραπάνω ζεύγη, αποτελεί και την απόσταση των δύο περιοχών. Στο σχήμα 5.10 φαίνεται παραστατικά ο τρόπος εφαρμογής του παραπάνω αλγορίθμου. Σχήμα 5.10: Η απόσταση d είναι η ελάχιστη απόσταση μεταξύ των δύο μη-γειτονικών περιοχών 1-2 της μάσκας κατάτμησης της εικόνας 60

61 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο 5.3 Σχέσεις κατεύθυνσης (directional relations) Με την χρήση των σχέσεων αυτής της κατηγορίας επιχειρείται να περιγραφεί η σχετική θέση των διαφόρων αντικειμένων στο επίπεδο της εικόνας. Στην καθημερινή μας ομιλία η σχετική θέση των διαφόρων αντικειμένων δηλώνεται με την χρήση τοπικών προσδιοριστών, όπως για παράδειγμα, το βιβλίο βρίσκεται «πάνω» από το τραπέζι. Στη σημασιολογική ανάλυση των εικόνων έχουν προταθεί προσδιοριστές σχετικής θέσης που μπορεί να είναι ποιοτικοί (δεξιά από, κάτω από κτλ.) ή να εκφράζονται σε κάποιο σύστημα συντεταγμένων (πολικές ή καρτεσιανές συντεταγμένες). Επιπλέον, υπάρχει μια σειρά από διαφορετικές μεθοδολογίες οι οποίες χρησιμοποιούνται προκειμένου να υπολογιστούν οι σχέσεις κατεύθυνσης, όπως έχουμε αναφέρει και στην αρχή του κεφαλαίου. Στην ανάλυσή μας, επιχειρήσαμε να δώσουμε τους κατάλληλους ορισμούς για τις οκτώ κατευθύνσεις του ορίζοντα (Β, Ν, Α, Δ, ΒΑ, ΒΔ, ΝΑ, ΝΔ), όπως αυτές παρουσιάζονται και στο σχήμα Δηλαδή, θεωρώντας κάθε φορά ένα αντικείμενο της μάσκας κατάτμησης ως σημείο αναφοράς, προσπαθούμε να εκφράσουμε τη σχετική θέση όλων των υπολοίπων αντικειμένων ως προς αυτό. Στις ενότητες που ακολουθούν, περιγράφουμε αναλυτικά τους διαφορετικούς αλγόριθμους τους οποίους εφαρμόσαμε, ενώ στο τέλος σχολιάζουμε τις επιδόσεις του καθενός και επιλέγουμε αυτόν που θα χρησιμοποιήσουμε στο εξής για την ανάλυσή μας. Σχήμα

62 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο Εξαντλητική μέθοδος υπολογισμού σχέσεων κατεύθυνσης Στα πλαίσια αυτής της μεθόδου, ο υπολογισμός της σχέσης κατεύθυνσης μεταξύ των δυο περιοχών γίνεται ύστερα από εξέταση όλων των pixels της κάθε μιας περιοχής. Συγκεκριμένα, θεωρούμε αρχικά όλα τα δυνατά ζεύγη pixels που μπορούμε να σχηματίσουμε, όταν σε κάθε ζεύγος συμμετέχει ένα pixel από κάθε μια περιοχή. Το πρώτο pixel του κάθε ζεύγους αντιστοιχεί στο αντικείμενο αναφοράς, ενώ το δεύτερο στο αντικείμενο του οποίου τη σχετική θέση θέλουμε να υπολογίσουμε. Κατόπιν, για κάθε ζεύγος σχηματίζουμε ένα διάνυσμα ενώνοντας τα δύο pixels του (με φορά από το πρώτο pixel προς το δεύτερο) και υπολογίζουμε την γωνία που σχηματίζει με τον οριζόντιο άξονα της εικόνας. Η διαδικασία αυτή επαναλαμβάνεται για όλα τα ζεύγη των pixels που έχουν προκύψει μεταξύ των δύο περιοχών και φαίνεται στο σχήμα Στην συνέχεια, υπολογίζουμε τον μέσο όρο όλων των γωνιών που έχουν προκύψει. Το μέγεθος αυτό εκφράζει τη «μέση» γωνία κατεύθυνσης μεταξύ των δύο αντικειμένων. Ανάλογα με το διάστημα τιμών στο οποίο ανήκει η «μέση» γωνία, αντιστοιχίζεται και η κατάλληλη σχέση κατεύθυνσης βάση του πίνακα 5.13 με αντικείμενο αναφοράς αυτό που έχουμε θεωρήσει στους υπολογισμούς μας ως πρώτο. Στο σημείο αυτό πρέπει να κάνουμε την εξής διευκρίνιση: οι τιμές που μπορεί να λάβει η γωνία που δημιουργείται από τον οριζόντιο άξονα της εικόνας και το αντίστοιχο σχηματιζόμενο διάνυσμα κάθε φορά κατά τη διάρκεια των υπολογισμών, ανήκουν στο διάστημα [ 0. 90] για το πρώτο θεωρούμενο τεταρτημόριο, στο (90,180] για το δεύτερο τεταρτημόριο, στο [ 180,270) για το τρίτο και στο [ 90,0] για το τέταρτο τεταρτημόριο. Ο τρόπος αυτός θεώρησης των επιτρεπτών τιμών της γωνίας και όχι η εξ αρχής επιλογή της στο διάστημα [0,360] έγινε για καθαρά υπολογιστικούς λόγους. Συγκεκριμένα, για δύο σημεία της δεύτερης περιοχής (όχι δηλαδή της περιοχής αναφοράς) που είναι συμμετρικά ως προς τον οριζόντιο άξονα της εικόνας και βρίσκονται «δεξιότερα» του θεωρούμενου σημείου που ανήκει στην περιοχή αναφοράς, η συνολική τους προσφορά στη μέση γωνία πρέπει να είναι 0 ο σε μοίρες. Αντίστοιχα, για δύο συμμετρικά σημεία «αριστερά» του σημείου αναφοράς, πρέπει η συνολική προσφορά τους στη σχέση να είναι 180 ο μοίρες. Επιπλέον, κατά τον υπολογισμό της «μέσης» γωνίας υπολογίζονται 62

63 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο δυο ξεχωριστά αθροίσματα, ένα για τις γωνίες στο [ 90,90] και ένα για τις γωνίες στο (90,270), τα οποία και συντίθενται κατάλληλα προκειμένου να αποφευχθούν τυχόν νέα προβλήματα συμμετρίας και να προκύψει τελικά το τελικό μέτρο της «μέσης» γωνίας στο διάστημα [0,360]. Η παραπάνω θεώρηση διευκρινίζεται στο σχήμα Σχήμα 5.12: Στο παραπάνω σχήμα η περιοχή αναφοράς είναι η περιοχή 1 και άρα η γωνία μεταξύ των σημείων Ρ και Σ, θ, υπολογίζεται ως η γωνία του διανύσματος ΡΣ r με τον οριζόντιο άξονα της εικόνας Μέτρο της "μέσης" Αντιστοιχιζόμενη γωνίας θ σε μοίρες σχέση κατεύθυνσης θ>337.5 και θ<22.5 Α 22.5<θ<67.5 ΒΑ 67.5<θ<112.5 Β 112.5<θ<157.5 ΒΔ 157.5<θ<202.5 Δ 202.5<θ<247.5 ΝΔ 247.5<θ<292.5 Ν 292.5<θ<337.5 ΝΑ Πίνακας

64 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο Σχήμα 5.14: Το σημείο αναφοράς είναι η αρχή των αξόνων. Διακρίνονται τα διαστήματα τιμών των γωνιών κατά τη διαδικασία υπολογισμού της μέσης γωνίας. Για τα δύο ζεύγη των συμμετρικών σημείων ισχύει ( θ + θ ) / συνολική συνεισφορά 1 = στη μέση γωνία 0 ο σε μοίρες - και (( θ 3 ) + (180 θ 3)) / 2 = 180 συνολική συνεισφορά 180 ο σε μοίρες Υπολογισμός των σχέσεων κατεύθυνσης με ομαδοποίηση Η μέθοδος υπολογισμού των σχέσεων κατεύθυνσης με ομαδοποίηση των pixels των περιοχών είναι ουσιαστικά μια βελτιωμένη έκδοση του αλγορίθμου της εξαντλητικής μεθόδου υπολογισμού. Ο αλγόριθμος που παρουσιάστηκε στην προηγούμενη ενότητα, λαμβάνει υπόψη στους υπολογισμούς όλα τα ζεύγη των pixels μεταξύ δύο περιοχών και επομένως είναι ιδιαίτερα αργός υπολογιστικά. Με την ομαδοποίηση των pixels που εφαρμόζουμε, προσπαθούμε να εξάγουμε από μια περιοχή ένα σύνολο «αντιπροσωπευτικών» pixels. Εν συνεχεία, τα pixels αυτά συμμετέχουν στις ίδιες διαδικασίες εκτίμησης της «μέσης» γωνίας μεταξύ των δύο περιοχών, όπως αυτές έχουν περιγραφεί στην προηγούμενη ενότητα. Στόχος της διαδικασίας της ομαδοποίησης είναι 64

65 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο να εξάγει ένα σύνολο από 30 μέχρι 50 περίπου επιθυμητών pixels, που να είναι ομοιόμορφα κατανεμημένα κατά μήκος της επιφάνειας της περιοχής (οσοδήποτε μεγάλη ή μικρή είναι αυτή η περιοχή), έτσι ώστε να μπορέσουν να θεωρηθούν ως αντιπροσωπευτικά δείγματά της και να μπορούν να συμμετέχουν στις διαδικασίες υπολογισμού χωρίς να εισάγουν σημαντικό σφάλμα. Σε ότι αφορά τη μέθοδο της ομαδοποίησης των pixels έχουμε να παρατηρήσουμε τα εξής: Η διαδικασία της ομαδοποίησης γίνεται διαδοχικά και για κάθε μια από τις περιοχές της μάσκας κατάτμησης ξεχωριστά. Θεωρούμε, λοιπόν, έναν κατακερματισμό της εικόνας σε ορθογώνια, μη-επικαλυπτόμενα και διαδοχικά κομμάτια διαστάσεων K K (blocks), όπου η διαδικασία αρχικοποίησής τους ξεκινά από το άνω-αριστερό άκρο της εικόνας και συνεχίζεται διαδοχικά κατά γραμμές. Κάθε ένα από αυτά τα διατεταγμένα κομμάτια της εικόνας θεωρούμε ότι «ανήκει» στην εξεταζόμενη περιοχή, εάν τουλάχιστον τα μισά από τα pixels που το αποτελούν έχουν εκχωρηθεί στην εξεταζόμενη περιοχή κατά τη διαδικασία της κατάτμησης. Εφόσον κάποιο από τα κομμάτια αυτά αναγνωριστεί ότι «ανήκει» στην εξεταζόμενη περιοχή, τότε το κεντρικό του pixel θεωρείται αυτόματα και ως αντιπροσωπευτικό pixel της περιοχής. Με άλλα λόγια, η όλη διαδικασία του αλγορίθμου αναλίσκεται στον υπολογισμό της κατάλληλης τιμής της παραμέτρου K για κάθε μια περιοχή, ώστε ο συνολικός αριθμός των αντιπροσωπευτικών pixels να βρίσκεται εντός των επιθυμητών ορίων. Στο σχήμα 5.15 απεικονίζεται παραστατικά η διαδικασία υπολογισμού της διάστασης K των blocks για μια τυχαία περιοχή. Επιπλέον, από την πρακτική εφαρμογή του αλγορίθμου διαπιστώσαμε ότι ο χρόνος που απαιτείται για την εξαγωγή των σχέσεων κατεύθυνσης, συγκριτικά με τη μέθοδο του εξαντλητικού υπολογισμού, μειώνεται δραστικά, ενώ τα επιστρεφόμενα αποτελέσματα είναι σχεδόν ταυτόσημα. 65

66 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο Σχήμα 5.15: Διαδικασία κατακερματισμού της εικόνας και εύρεση της κατάλληλης διάστασης των blocks. Τα κέντρα των blocks, των οποίων τουλάχιστον τα μισά από τα pixels που τα αποτελούν ανήκουν στην εξεταζόμενη περιοχή, αποτελούν τα αντιπροσωπευτικά pixels της περιοχής Υπολογισμός σχέσεων κατεύθυνσης βάση περιγράμματος Η μέθοδος υπολογισμού των σχέσεων κατεύθυνσης λαμβάνοντας υπόψη τα εξωτερικά περιγράμματα των περιοχών αποτελεί και πάλι μια μέθοδο που στηρίζεται στον προσδιορισμό μιας «μέσης» γωνίας μεταξύ των εξεταζόμενων περιοχών. Η μέθοδος αυτή αποτελεί μια εναλλακτική έκδοση της πρώτης μεθόδου που παρουσιάσαμε, με τη διαφορά όμως ότι στους υπολογισμούς λαμβάνονται υπόψη μόνο τα pixels που ανήκουν στα εξωτερικά περιγράμματα των περιοχών. Χαρακτηριστικό της μεθόδου είναι το γεγονός ότι παρουσιάζεται μια απόκλιση στα επιστρεφόμενα αποτελέσματα, σε σχέση με τις προηγούμενες δύο μεθόδους υπολογισμού της «μέσης γωνίας, όταν οι εξεταζόμενες περιοχές δεν είναι κυρτές ή συμπαγείς Υπολογισμός σχέσεων κατεύθυνσης με χρήση κέντρων βάρους Στα πλαίσια αυτής της μεθόδου, προκειμένου να υπολογίσουμε τη σχέση κατεύθυνσης που συνδέει δύο περιοχές της μάσκας κατάτμησης, βασιζόμαστε σε ένα μόνο αντιπροσωπευτικό pixel για κάθε περιοχή, το κέντρο βάρους του. Ο υπολογισμός 66

67 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο του κέντρου βάρους μιας περιοχής είναι μια απλή και γρήγορη διαδικασία. Στη συνέχεια, αφού έχουμε υπολογίσει τα κέντρα βάρους για τις δυο εξεταζόμενες περιοχές, η μέση γωνία που δηλώνει τη σχετική θέση τους προκύπτει κατά τα γνωστά, δηλαδή σχηματίζοντας ένα διάνυσμα που να συνδέει τα δυο κέντρα και κατόπιν υπολογίζοντας τη γωνία που αυτό σχηματίζει με τον οριζόντιο άξονα της εικόνας. Ανάλογα με την τιμή της μέσης γωνίας αντιστοιχίζεται και η κατάλληλη σχέση διεύθυνσης, με τον ίδιο τρόπο που έχει οριστεί και για τις προηγούμενες μεθόδους υπολογισμού μέσης γωνίας. Σημαντική παρατήρηση, αναφορικά με την απόδοση του αλγορίθμου, είναι το γεγονός ότι η μέθοδος είναι ιδιαίτερα γρήγορη και απλή, αλλά παρουσιάζει μειωμένη αποτελεσματικότητα όταν οι εξεταζόμενες περιοχές δεν είναι συμπαγείς Υπολογισμός σχέσεων κατεύθυνσης με χρήση των κέντρων των MBR Ως MBR (Minimum Bounding Rectangle) μιας περιοχής θεωρείται το μικρότερο ορθογώνιο παραλληλόγραμμο, το οποίο περικλείει πλήρως την περιοχή αυτή, στο επίπεδο της εικόνας. Ο αλγόριθμος υπολογισμού του MBR μιας περιοχής είναι ιδιαίτερα απλός και συνίσταται στον υπολογισμό ουσιαστικά τεσσάρων συντεταγμένων, της μέγιστης-ελάχιστης τιμής της οριζόντιας συντεταγμένης της εξεταζόμενης περιοχής και της ελάχιστης-μέγιστης τιμής της κατακόρυφης συντεταγμένης. Από τη στιγμή που έχουν καθοριστεί τα MBR των δύο εξεταζόμενων περιοχών, εύκολα μπορούμε να υπολογίσουμε τα γεωμετρικά τους κέντρα. Βάση των κέντρων αυτών υπολογίζεται η σχέση κατεύθυνσης που συνδέει τις δυο περιοχές κατά τον ίδιο ακριβώς τρόπο όπως με την χρήση των κέντρων βάρους. Στο σχήμα 5.16 απεικονίζονται τα MBR δύο περιοχών και η προκύπτουσα «μέση» γωνία τους, που χρησιμεύει για την αντιστοίχηση της κατάλληλης σχέσης κατεύθυνσης. Όπως και με τη μέθοδο της χρήσης των κέντρων βάρους, και αυτή η μέθοδος είναι υπολογιστικά απλή, αλλά παρουσιάζει μειωμένη αποτελεσματικότητα για περιοχές μη συμπαγείς. 67

68 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο Σχήμα 5.16: Στο παραπάνω σχήμα η περιοχή 1 είναι η περιοχή αναφοράς και η γωνία θ είναι η προκύπτουσα «μέση» γωνία, βάση της οποίας θα αντιστοιχηθεί η κατάλληλη σχέση κατεύθυνσης. Τα MBR των δύο περιοχών συμβολίζονται με τις διακεκομμένες γραμμές Υπολογισμός σχέσεων κατεύθυνσης με χρήση MBR και χωρισμού της εικόνας σε περιοχές Όλες οι προηγούμενες μέθοδοι, που παρουσιάστηκαν μέχρι τώρα, είχαν ως βασική ιδέα τον υπολογισμό-εκτίμηση με κάποιον τρόπο μιας «μέσης» γωνίας μεταξύ των δύο εξεταζόμενων περιοχών και κατόπιν μια διαδικασία αντιστοίχισης της κατάλληλης σχέσης κατεύθυνσης βάση της τιμής της γωνίας αυτής. Η μέθοδος υπολογισμού των σχέσεων κατεύθυνσης με χρήση των MBR και χωρισμού της εικόνας σε περιοχές βάση αυτών, επιχειρεί να εξάγει τις κατάλληλες σχέσεις με έναν τρόπο πιο εκλεπτυσμένο και διαισθητικό. Συγκεκριμένα, στα πλαίσια αυτής της μεθόδου προσπαθήσαμε να ξεφύγουμε από τον εκάστοτε αυστηρό μαθηματικό καθορισμό των σχέσεων και να επιχειρήσουμε να διαχειριστούμε κατάλληλα το γεγονός της δεδομένης ασάφειας που χαρακτηρίζει τις σχέσεις κατεύθυνσης. 68

69 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο Αρχικά, υπολογίζουμε το MBR και το αντίστοιχο κέντρο του για τη περιοχή που θα χρησιμοποιηθεί ως περιοχή αναφοράς. Κατόπιν, βάση του MBR χωρίζεται το επίπεδο της εικόνας σε οκτώ περιοχές, όπως φαίνεται παραστατικά στο σχήμα Σε κάθε μια από τις προκύπτουσες περιοχές αντιστοιχίζεται και η κατάλληλη σχέση κατεύθυνσης, κατά τα γνωστά. Εν συνεχεία, για κάθε περιοχή της μάσκας κατάτμησης, της οποίας τη σχετική θέση θέλουμε να εξάγουμε, υπολογίζουμε το ποσοστό των συνολικών pixels της που ανήκουν σε κάθε μια από τις οκτώ προαναφερθείσες ορθογώνιες περιοχές της εικόνας. Το ορθογώνιο κομμάτι της εικόνας, στο οποίο αντιστοιχεί το μεγαλύτερο ποσοστό των pixels της εξεταζόμενης περιοχής, χρησιμοποιείται για τον καθορισμό της σχέσης κατεύθυνσης. Η παραπάνω διαδικασία επαναλαμβάνεται διαδοχικά, θεωρώντας κάθε φορά μια από τις περιοχές της μάσκας κατάτμησης ως περιοχή αναφοράς. Σημαντική λεπτομέρεια στη διαδικασία καθορισμού των οκτώ ορθογώνιων περιοχών, στις οποίες αναφερθήκαμε προηγουμένως, είναι ότι η εξέταση των pixels που αντιστοιχούν στις περιοχές των Β, Ν, Α, Δ ξεκινά από το κέντρο του MBR της περιοχής αναφοράς και συνεχίζεται μέχρι το όριο της εικόνας. Το γεγονός αυτό για την περιοχή της σχέσης Α απεικονίζεται στο σχήμα Επιπλέον, υπάρχει μέριμνα για την περίπτωση κατά την οποία για δύο ορθογώνιες περιοχές εμφανίζονται ίδια ποσοστά περιεχόμενων pixels. Έτσι, για την περίπτωση που τα ποσοστά αυτά εμφανίζονται για δύο «διαδοχικές» ορθογώνιες περιοχές της εικόνας (θεωρώντας ότι κινούμαστε κατά την ανθωρολογιακή φορά), επιστρέφεται ως αποτέλεσμα η τιμή της περιοχής Α (αν αυτή είναι η μια από τις δύο), ή η τιμή της περιοχής Β ή Δ ή Ν, κατά τον ίδιο τρόπο, παρακάμπτοντας ουσιαστικά στους υπολογισμούς τις περιοχές ΒΔ, ΒΑ, ΝΑ, ΝΔ. Εάν πάλι, μεταξύ των δύο περιοχών με το μεγαλύτερο (και ίσο) ποσοστό παρεμβάλλεται μια τρίτη περιοχή, το αποτέλεσμα που επιστρέφεται είναι η τιμή της τρίτης «ενδιάμεσης» περιοχής. Επιπρόσθετα, υπάρχει και η δυνατότητα εξαγωγής των σχέσεων κατεύθυνσης βάση της ασαφούς λογικής. Δηλαδή, ο αλγόριθμος μπορεί να επιλεγεί να επιστρέφει για κάθε μια από τις οκτώ σχέσεις κατεύθυνσης το ποσοστό στο οποίο επαληθεύεται η κάθε μια, για κάθε ζεύγος εξεταζόμενων περιοχών της μάσκας κατάτμησης. Με αυτόν τον τρόπο δίνεται η δυνατότητα εξαγωγής μιας πιο ολοκληρωμένης περιγραφής της σχέσης κατεύθυνσης, που συνδέει τις δύο εξεταζόμενες κάθε φορά περιοχές. Όταν θα κάνουμε 69

70 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο χρήση αυτής της έκδοσης του συγκεκριμένου αλγορίθμου, αυτό θα δηλώνεται με τη σημείωση (ασαφ). Σχήμα 5.17: Οι έντονα διακεκομμένες γραμμές στο σχήμα ορίζουν το προκύπτον MBR της περιοχής, ενώ οι λιγότερο έντονες τα όρια των ορθογώνιων περιοχών. Σχήμα 5.18: Στο παραπάνω σχήμα τα σημεία που περικλείονται από τη διακεκομμένη γραμμή ορίζουν την ορθογώνια περιοχή της σχέσης κατεύθυνσης Α. 70

71 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο Σύγκριση μεθόδων υπολογισμού σχέσεων κατεύθυνσης Στο σημείο αυτό, καθώς έχουμε παρουσιάσει αναλυτικά όλες τις μεθόδους που σχεδιάσαμε για τον υπολογισμό των σχέσεων κατεύθυνσης, θεωρήσαμε σκόπιμο να τις συγκρίνουμε ως προς την αποδοτικότητα και την αποτελεσματικότητά τους. Η σύγκριση αυτή γίνεται μέσω μιας σειράς χαρακτηριστικών παραδειγμάτων. Για κάθε παράδειγμα ακολουθεί και ο κατάλληλος σχολιασμός των αποτελεσμάτων. Παράδειγμα 1: Στο παράδειγμα αυτό, εφαρμόζουμε διαδοχικά όλες τις μεθόδους υπολογισμού των σχέσεων κατεύθυνσης για τη μάσκα κατάτμησης του σχήματος Τα επιστρεφόμενα αποτελέσματα απεικονίζονται στον πίνακα Σχήμα 5.19 Αλγόριθμος Σχέση κατεύθυνσης που χρησιμοποιήθηκε (η 1η είναι η περιοχή αναφοράς) Α/Α Α με Β1 Α με Β2 1 ΝΑ Α 2 ΝΑ Α 3 ΝΑ Α 4 ΝΑ Α 5 ΝΑ Α 6(ασαφ) Α:100% Α:100% Πίνακας 5.20: Από την εξέταση των αποτελεσμάτων του παραδείγματος αυτού, διαπιστώνουμε ότι η απόσταση των περιοχών μπορεί να επηρεάσει τα αποτελέσματα των αλγορίθμων που στηρίζονται στον υπολογισμό μιας «μέσης» γωνίας (αλγόριθμοι 1-5), ενώ κάτι τέτοιο δεν παρατηρείται για την έκτη μέθοδο. 71

72 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο Παράδειγμα 2: Στο παράδειγμα αυτό, εφαρμόζουμε και πάλι διαδοχικά όλες τις μεθόδους υπολογισμού των σχέσεων κατεύθυνσης για τη μάσκα κατάτμησης του σχήματος Τα επιστρεφόμενα αποτελέσματα απεικονίζονται στον πίνακα Σχήμα 5.21 Αλγόριθμος Σχέση κατεύθυνσης που χρησιμοποιήθηκε (η 1η είναι η περιοχή αναφοράς) Α/Α Α με Β B με A 1 A Δ 2 A Δ 3 A Δ 4 A Δ 5 A Δ 6(ασαφ) Α:100% ΒΔ:10.42%, Δ:29.17%, ΝΔ:60.42% Πίνακας 5.22: Από την εξέταση των αποτελεσμάτων του παραδείγματος αυτού, διαπιστώνουμε ότι όλοι οι αλγόριθμοι που στηρίζονται στον υπολογισμό μιας «μέσης» γωνίας (αλγ. 1-5) παράγουν πάντα συμμετρικές σχέσεις κατεύθυνσης για τις δύο εξεταζόμενες περιοχές, ενώ για τον έκτο αλγόριθμο δεν ισχύει πάντα αυτό. Παραδείγματα 3,4: Στα παραδείγματα αυτά, εφαρμόζουμε και πάλι διαδοχικά όλες τις μεθόδους υπολογισμού των σχέσεων κατεύθυνσης για τις μάσκες κατάτμησης των σχημάτων

73 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο και Τα επιστρεφόμενα αποτελέσματα απεικονίζονται στους πίνακες 5.24 και 5.26 αντίστοιχα. Με αυτό τον τρόπο, θέλουμε να αναδείξουμε τα ιδιαίτερα χαρακτηριστικά των επιδόσεων των αλγορίθμων σε «τυχαίες» περιπτώσεις, τα οποία και παρουσιάζουν ιδιαίτερο ενδιαφέρον. Σχήμα 5.23 Αλγόριθμος Σχέση κατεύθυνσης που χρησιμοποιήθηκε (η 1η είναι η περιοχή αναφοράς) Α/Α Α με Β1 Α με Β2 1 ΒΑ Α 2 ΒΑ Α 3 ΒΑ Α 4 ΒΑ Α 5 ΒΑ Α 6(ασαφ) Α:100% Α:100% Πίνακας 5.24 Σχήμα

74 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο Αλγόριθμος Σχέση κατεύθυνσης που χρησιμοποιήθηκε (η 1η είναι η περιοχή αναφοράς) Α/Α Α με Β1 Α με Β2 1 ΒΑ ΝΑ 2 ΒΑ ΝΑ 3 ΒΑ ΝΑ 4 Β Ν 5 Β Ν 6(ασαφ) Α:100% Α:100% Πίνακας Γενικά σχόλια και επιλογή μεθόδου Εξετάζοντας προσεκτικά τα παραπάνω αποτελέσματα, καταλήξαμε στο συμπέρασμα ότι η 6 η μέθοδος που σχεδιάσαμε και ιδιαίτερα η έκδοσής της που επιστρέφει τα ποσοστά στα οποία επαληθεύεται η κάθε μια σχέση κατεύθυνσης (μέθοδος υπολογισμού των σχέσεων κατεύθυνσης με χρήση MBR και διαχωρισμού της εικόνας σε περιοχές βάση αυτών) παρουσιάζει γενικά τα πιο αυστηρά και συνεπή με τη διαισθητική μας κρίση αποτελέσματα. Η παρατήρησή μας αυτή μπορεί να δικαιολογηθεί απλά ως εξής: Στις πρώτες 5 μεθόδους προσπαθούμε να υπολογίσουμε μια «μέση» γωνία μεταξύ των δύο εξεταζόμενων περιοχών της μάσκας κατάτμησης δίνοντας έμφαση μόνο στη θέση των pixels των δύο περιοχών. Αντιθέτως, στην 6 η μέθοδο, εκτός από τη θέση των pixels λαμβάνεται υπόψη και το σχήμα των περιοχών (μέσω της κατάλληλης χρήσης του MBR). Γι αυτό το λόγο, για τον προσδιορισμό των σχέσεων κατεύθυνσης θα χρησιμοποιούμε στο εξής αποκλειστικά και μόνο την 6 η μέθοδο υπολογισμού. 5.4 Σχέσεις απόλυτης θέσης (absolute positions) Μέσω αυτής της κατηγορίας των χωρικών σχέσεων επιχειρούμε να προσδιορίσουμε την απόλυτη θέση του κάθε αντικειμένου στο επίπεδο της εικόνας. Οι σχέσεις αυτές ορίζονται ξεχωριστά για κάθε μια περιοχή της μάσκας κατάτμησης. Στη βιβλιογραφία έχουν προταθεί διάφοροι τρόποι προσδιορισμού της απόλυτης θέσης μιας περιοχής, όπου άλλοι χρησιμοποιούν χαρακτηριστικά μεγέθη κάποιου συστήματος 74

75 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο συντεταγμένων (καρτεσιανό ή πολικό), ενώ άλλοι κάνουν χρήση όρων ποιοτικού τοπικού προσδιορισμού. Στα πλαίσια της εργασίας μας, επιχειρήσαμε να ορίσουμε μια σειρά σχέσεων που να περιγράφουν με ποιοτικό και ακριβή τρόπο την απόλυτη θέση των αντικειμένων στην εικόνα. Συγκεκριμένα, θεωρήσαμε ότι η απόλυτη θέση μιας περιοχής στο επίπεδο της εικόνας μπορεί να έχει μία μόνο από τις παρακάτω «ποιοτικές» τιμές: Β, Ν, Δ, Α, ΒΔ, ΒΑ, ΝΔ, ΝΑ, Κ ακολουθώντας την ίδια λογική που διέπει τις σχέσεις κατεύθυνσης. Οι σχέσεις αυτές απεικονίζονται στο σχήμα Η διαδικασία προσδιορισμού της απόλυτης θέσης μιας περιοχής είναι απλή και αποτελείται από δύο επιμέρους στάδια. Στο πρώτο στάδιο, η εικόνα σαρώνεται κατά την κατακόρυφη διεύθυνση και προσδιορίζεται εάν η εξεταζόμενη περιοχή ανήκει στο πάνω, στο κεντρικό ή στο κάτω «κομμάτι» της εικόνας. Η επιλογή γίνεται βάση της σύγκρισης του αριθμού των pixels της περιοχής που περιλαμβάνονται σε κάθε θεωρούμενο κομμάτι. Μια αντίστοιχη σάρωση της εικόνας κατά την οριζόντια διεύθυνση προσδιορίζει, κατά τον ίδιο τρόπο, εάν η εξεταζόμενη περιοχή ανήκει στο αριστερό, το κεντρικό ή το δεξιό κομμάτι της εικόνας. Από το συνδυασμό των δύο παραπάνω ενδιάμεσων αποτελεσμάτων προκύπτει η απόλυτη θέση του αντικειμένου στο πλαίσιο της εικόνας. Σχήμα

76 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο 5.5 Γεωμετρικά χαρακτηριστικά περιοχών Μέχρι τώρα στην ανάλυσή μας, αναφερθήκαμε σε χωρικές-ποιοτικές σχέσεις μεταξύ των περιοχών της μάσκας κατάτμησης. Όπως έχει ήδη αναφερθεί στις προηγούμενες παραγράφους, μέσω των αλγορίθμων που έχουμε εφαρμόσει μπορούμε να προσδιορίσουμε τις σχετικές ή απόλυτες θέσεις των αντικειμένων στην εικόνα και να εξάγουμε μια σειρά από ποιοτικές σχέσεις που ισχύουν για ένα ζευγάρι περιοχών, χωρίς όμως να λαμβάνουμε υπόψη τα ιδιαίτερα χαρακτηριστικά του σχήματος της κάθε περιοχής. Βάση των αλγορίθμων που περιγράφουμε σε αυτήν την ενότητα, επιχειρούμε να περιγράψουμε με βαθμωτά μεγέθη τα συγκεκριμένα γεωμετρικά χαρακτηριστικά της κάθε μιας περιοχής της μάσκας κατάτμησης. Τα χαρακτηριστικά αυτά, τα οποία μπορούν να φανούν χρήσιμα κατά τη διαδικασία της αναγνώρισης των διαφόρων αντικειμένων, όπως αυτή έχει περιγραφεί στο κεφάλαιο 2, είναι τα εξής [21]: Ύψος περιοχής, Υ, που ορίζεται ως η μέγιστη προβολή κατά τον κατακόρυφο άξονα της εικόνας Πλάτος περιοχής, Π, που είναι η μέγιστη προβολή της περιοχής κατά τον οριζόντιο άξονα Λόγος ύψος/πλάτος, Λ Εμβαδό περιοχής, Ε, το σύνολο των pixels της περιοχής, 4πE Παράγοντας σχήματος, ΠΣ= 2 Π Περίμετρος περιοχής, ΠΠ, που υπολογίζεται ως ο συνολικός αριθμός των pixels του εξωτερικού περιγράμματος της περιοχής 4E Κυκλικότητα, ΚΥΚ= 2 πυ Ισοδύναμη Κυκλική Διάμετρος, ΙΚΔ = ΙΚΔ Πυκνότητα περιοχής, ΠΥ= Υ 4E π 76

77 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο Επιφάνεια MBR, Εmbr, ο συνολικός αριθμός των pixels που περιέχονται στο MBR της περιοχής E Αναλογία MBR, Αmbr= Embr Επιφάνεια Convex Hull, Ech, η συνολική επιφάνεια σε pixels του ελάχιστου κυρτού πολυγώνου που περικλείει την περιοχή, Περίμετρος Convex Hull, Πch, ο αριθμός των pixels του εξωτερικού περιγράμματος του convex hull, E Συνεκτικότητα, Σ = Ech Κοιλότητα, Κ= Εch-E Πch Κυρτότητα, ΚΥ= ΠΠ 5.6 Εξέταση αποτελεσματικότητας 2Δ χωρικών σχέσεων Στην ενότητα αυτή εξετάζουμε το κατά πόσο οι ποιοτικές χωρικές σχέσεις στο επίπεδο, που έχουν οριστεί στα πλαίσια του κεφαλαίου, συμφωνούν με την ανθρώπινη διαίσθηση ως προς τα επιστρεφόμενα αποτελέσματά τους. Στο σχήμα 5.28 απεικονίζεται η αρχική εικόνα για την οποία θα υπολογιστούν οι 2Δ χωρικές σχέσεις. Στο σχήμα 5.29 απεικονίζεται η μάσκα κατάτμησης της εικόνας, που προκύπτει μετά την εφαρμογή του αλγορίθμου που περιγράφηκε στο κεφάλαιο 4. Στους πίνακες 5.30 και 5.32 παρατίθενται οι σχέσεις κατεύθυνσης και οι απόλυτες θέσεις των αντικειμένων της μάσκας κατάτμησης αντίστοιχα, οι οποίες έχουν προκύψει ύστερα από ερωτήσεις σε ένα αριθμό ανθρώπινων παρατηρητών. Στους πίνακες 5.31 και 5.33 παρουσιάζονται τα αποτελέσματα που επιστρέφονται μετά την εφαρμογή των αλγορίθμων που έχουμε υλοποιήσει. 77

78 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο Σχήμα 5.28: Εξεταζόμενη εικόνα Σχήμα 5.29: Προκύπτουσα μάσκα κατάτμησης της εικόνας 78

79 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο Π1 Π2 Π3 Π4 Π5 Π6 Π7 Π8 Π1 - Α Ν Ν Ν ΝΑ Ν ΝΔ Π2 Δ - ΝΔ ΝΔ ΝΔ Ν ΝΔ ΝΔ Π3 Β ΒΑ - Ν Ν ΝΑ Ν ΝΔ Π4 Β ΒΑ Β - Ν ΝΑ Ν ΝΔ Π5 Β ΒΑ Β Β - Α Δ/Ο ΒΔ Π6 ΒΔ Β ΒΔ ΒΔ Δ - Δ Δ Π7 Β ΒΑ Β ΒΑ Δ/Ο ΝΑ - Δ Π8 ΒΑ ΒΑ ΒΑ ΒΑ ΝΑ ΝΑ Α - Πίνακας 5.30: Σχέσεις κατεύθυνσης μεταξύ των αντικειμένων της μάσκας κατάτμησης, έτσι όπως θα τις αναγνώριζε διαισθητικά ένας ανθρώπινος παρατηρητής. Ως περιοχή αναφοράς θεωρείται η περιοχή που αντιστοιχεί στην γραμμή του κάθε στοιχείου του πίνακα. Δηλαδή, το στοιχείο (2,1) δηλώνει τη σχετική θέση της περιοχής Π1 με σημείο αναφοράς την Π2 Π1 Π2 Π3 Π4 Π5 Π6 Π7 Π8 Π1 - Α Ν Ν Ν ΝΑ Ν Ν Π2 Δ - ΝΔ ΝΔ ΝΔ Ν ΝΔ ΝΔ Π3 Β Β - Ν Ν Ν Ν Ν Π4 Β ΒΑ Β - Ν ΝΑ Ν ΝΔ Π5 Β ΒΑ Β Β - Α Δ/Ο ΒΔ Π6 ΒΔ Β ΒΔ Δ Δ - Δ Δ Π7 ΒΑ ΒΑ ΒΑ ΒΑ Δ/Ο ΝΑ - Δ Π8 ΒΑ ΒΑ ΒΑ ΒΑ ΝΑ ΝΑ ΝΑ - Πίνακας 5.31: Σχέσεις κατεύθυνσης μεταξύ των αντικειμένων της μάσκας κατάτμησης, έτσι όπως αναγνωρίζονται από τον αλγόριθμο που έχουμε υλοποιήσει. Με κόκκινη σήμανση, δηλώνονται οι σχέσεις για τις οποίες το αποτέλεσμα του αλγορίθμου δε συμφωνεί με τη διαισθητική ανθρώπινη κρίση του προηγούμενου πίνακα. 79

80 Κεφάλαιο 5: Χωρικές σχέσεις στο επίπεδο Π1 Π2 Π3 Π4 Π5 Π6 Π7 Π8 Β ΒΑ Β Β Ν Α Κ Δ Πίνακας 5.32: Απόλυτες θέσεις των αντικειμένων στα πλαίσια της εικόνας, έτσι όπως θα τις αναγνώριζε διαισθητικά ένας ανθρώπινος παρατηρητής. Π1 Π2 Π3 Π4 Π5 Π6 Π7 Π8 ΒΔ ΒΑ ΒΑ Β ΝΔ Α Κ Δ Πίνακας 5.33: Απόλυτες θέσεις των αντικειμένων της μάσκας κατάτμησης, έτσι όπως αναγνωρίζονται από τον αλγόριθμο που έχουμε υλοποιήσει. Με κόκκινη σήμανση, δηλώνονται οι σχέσεις για τις οποίες το αποτέλεσμα του αλγορίθμου δε συμφωνεί με τη διαισθητική ανθρώπινη κρίση που παρατίθεται στον προηγούμενο πίνακα. Συγκρίνοντας τα αποτελέσματα των παραπάνω πινάκων, παρατηρούμε ότι για τις σχέσεις κατεύθυνσης τα αποτελέσματα του αλγορίθμου μας συμφωνούν κατά ένα ποσοστό της τάξης του 85.71% με τις αντίστοιχες διαισθητικές επιλογές ενός ανθρώπινου παρατηρητή. Αντίστοιχα, για την περίπτωση των απόλυτων θέσεων των αντικειμένων το ποσοστό είναι 62.5%. Στο σημείο αυτό έχουμε να παρατηρήσουμε ότι ο καθορισμός των χωρικών σχέσεων χαρακτηρίζεται από μια έντονη ασάφεια, την οποία δεν μπορούμε να τη διαχειριστούμε αποτελεσματικά σε κάθε περίπτωση. Επιπλέον, ο μαθηματικός ορισμός των χωρικών σχέσεων δεν μπορεί από τη φύση του να συμβαδίζει πάντα με την ανθρώπινη διαίσθηση, η οποία μπορεί να διαφέρει από παρατηρητή σε παρατηρητή. 80

81 6. Χωρικές σχέσεις στον τρι-διάστο χώρο (3D spatial relations) Στα πλαίσια του προηγούμενου κεφαλαίου, αναφερθήκαμε στις χωρικές σχέσεις μεταξύ των αντικειμένων που απεικονίζονται στο επίπεδο της εικόνας (2D spatial relations). Πέρα, όμως, από την ανάλυση στο δι-διάστατο επίπεδο, έχει αναπτυχθεί και μια ξεχωριστή κατηγορία μεθόδων που επιχειρεί να εξάγει χωρικές σχέσεις μεταξύ των αντικειμένων της εικόνας στον τρι-διάστατο χώρο (3D spatial relation). Βασικός στόχος αυτής της κατηγορίας των μεθόδων είναι να ανακατασκευάσει, με όσο το δυνατόν μεγαλύτερη ακρίβεια και αποτελεσματικότητα, την πραγματική διάταξη των διαφόρων αντικειμένων του χώρου, ο οποίος απεικονίζεται στα πλαίσια μιας εικόνας. Μια από τις σημαντικότερες υπο-κατηγορίες των προαναφερθέντων μεθόδων είναι αυτή που οι αλγόριθμοί της χρησιμοποιούν χαρακτηριστικά της κίνησης στους υπολογισμούς τους και αναφέρεται στη βιβλιογραφία με το γενικότερο όρο structure-from-motion algorithms. Αυτές οι μέθοδοι έχουν ένα ευρύ πεδίο εφαρμογών και η μελέτη τους παρουσιάζει ιδιαίτερο ενδιαφέρον. Μια ιδιαίτερα ενδιαφέρουσα διαδικασία, που υλοποιείται από μεθόδους της παραπάνω κατηγορίας, είναι ο υπολογισμός των σχέσεων βάθους των αντικειμένων που απεικονίζονται σε μια εικόνα. Δηλαδή, η αναγνώριση του ποια αντικείμενα βρίσκονται κοντά στο φακό της κάμερας, κατά τη διαδικασία λήψης της φωτογραφίας, και ποια βρίσκονται σε μακρινή απόσταση. Καθώς, ο υπολογισμός των σχέσεων της παραπάνω μορφής είναι ιδιαίτερα χρήσιμος στη σημασιολογική ανάλυση των εικόνων, επιχειρήσαμε να υλοποιήσουμε έναν αλγόριθμο που να εξάγει από μια εικόνα τα παραπάνω είδη χωρικών σχέσεων βάθους. Η μέθοδος, την οποία επιλέξαμε να υλοποιήσουμε, στηρίζεται στην χρησιμοποίηση κατάλληλων χαρακτηριστικών της κίνησης των αντικειμένων, στα πλαίσια μιας εικόνας, προκειμένου να εξάγει τις σχέσεις βάθους. Στη βιβλιογραφία, έχει προταθεί μια σειρά από μεθόδους που προσπαθούν να επιλύσουν το ίδιο πρόβλημα, αλλά ακολουθώντας διαφορετικές επιμέρους προσεγγίσεις η κάθε μια [16][17][18]. Η μέθοδος που υλοποιήσαμε περιγράφεται αναλυτικά στις επόμενες παραγράφους. 81

82 Κεφάλαιο 6: Χωρικές σχέσεις στον τρι-διάστατο χώρο 6.1 Μέθοδος υπολογισμού σχέσεων βάθους (depth-ordering) Η βασική παρατήρηση, στην οποία στηριχθήκαμε για να εξάγουμε τις σχέσεις βάθους μεταξύ των αντικειμένων μιας εικόνας, έγκειται στο γεγονός ότι οποιοσδήποτε αλγόριθμος υπολογισμού της κίνησης εισάγει πάντοτε κάποιο σφάλμα. Το σφάλμα αυτό, αν και είναι σχεδόν πάντα αναπόφευκτο, μπορούμε να το αναγνωρίσουμε και εν συνεχεία να το εκμεταλλευτούμε κατάλληλα στην προσπάθεια υπολογισμού του σχετικού βάθους του κάθε αντικειμένου. Προκειμένου να γίνει ευκολότερα αντιληπτή η βασική ιδέα του αλγορίθμου που υλοποιήσαμε, η παρουσίασή του θα γίνει με τη βοήθεια ενός παραδείγματος [19]. Συγκεκριμένα, ας υποθέσουμε ότι μέσω μιας φωτογραφικής κάμερας λαμβάνονται εικόνες που απεικονίζουν τα δύο αντικείμενα του τρι-διάστατου πραγματικού χώρου, κατά τον τρόπο που φαίνεται στο σχήμα 6.1. Σχήμα 6.1: Στο παραπάνω σχήμα έχουμε μια πανοραμική άποψη του απλοποιημένου τοπίου, το οποίο απεικονίζεται στη φωτογραφία. Τα δύο ορθογώνια αντικείμενα κινούνται κατά τη φορά που δείχνουν τα αντίστοιχα βέλη. Η μορφή της εικόνας που θα ληφθεί από τη φωτογραφική μηχανή, για τη δεδομένη γωνία λήψης, φαίνεται παραστατικά στο σχήμα 6.2. Όπως εύκολα παρατηρούμε από τα δύο αυτά σχήματα, στην πραγματικότητα το δεξιό αντικείμενο της εικόνας βρίσκεται μπροστά από το αριστερό, ενώ οι αντίστοιχες κατευθύνσεις της κίνησής τους είναι αντίθετες. Λογική συνέπεια της παραπάνω παρατήρησης είναι ότι το κοινό όριο μεταξύ των δύο αντικειμένων που εμφανίζεται στο επίπεδο της εικόνας «ανήκει» -είναι μέρος του- στο δεξιό αντικείμενο και ως εκ τούτου η φορά της κίνησής του θα είναι ίδια με αυτό, δηλαδή προς το αριστερό μέρος της εικόνας. 82

83 Κεφάλαιο 6: Χωρικές σχέσεις στον τρι-διάστατο χώρο Σχήμα 6.2: Εικόνα η οποία λαμβάνεται από τη φωτογραφική μηχανή. Τα βέλη δηλώνουν τις κατευθύνσεις της κίνησης των αντικειμένων Έστω, ότι, προκειμένου να υπολογίσουμε την κίνηση που εμφανίζεται στο πλαίσιο της εικόνας, εφαρμόζουμε έναν αλγόριθμο που κάνει χρήση του μαθηματικού μοντέλου των μερικών παραγώγων και της κλίσης της φωτεινότητας-χρωμικότητας κατά μήκος της επιφάνειας της εικόνας. Για παράδειγμα, χρησιμοποιούμε έναν αλγόριθμο υπολογισμού της οπτικής ροής, τη λειτουργία του οποίου αναλύσαμε στο κεφάλαιο 3. Το αποτέλεσμα που θα μας επιστρέψει ένας τέτοιος αλγόριθμος, δηλαδή το πεδίο των διανυσμάτων κίνησης στο επίπεδο (2D), απεικονίζεται στο σχήμα 6.3. Σχήμα 6.3: Το πεδίο των διανυσμάτων κίνησης στο επίπεδο (2D), το οποίο επιστρέφεται από την εφαρμογή του αλγορίθμου υπολογισμού της οπτικής ροής. 83

84 Κεφάλαιο 6: Χωρικές σχέσεις στον τρι-διάστατο χώρο Αντίστοιχα, στο σχήμα 6.4 απεικονίζεται το ιδανικό πεδίο των διανυσμάτων κίνησης, που θα έπρεπε να επιστρέφει ο αλγόριθμος υπολογισμού της οπτικής ροής, εάν δεν εισήγαγε ο ίδιος σφάλματα. Σχήμα 6.4: Στο σχήμα απεικονίζεται το ιδανικό - σωστό πεδίο των διανυσμάτων κίνησης στο επίπεδο (2D), που προκύπτει ύστερα από θεωρητική ανάλυση. Συγκρίνοντας τα δύο προηγούμενα σχήματα παρατηρούμε, εκτός από την αναμενόμενη αδυναμία του αλγορίθμου να προσδιορίσει σωστά και με ακρίβεια τα διανύσματα κίνησης όλων των σημείων της εικόνας, την εμφάνιση ενός χαρακτηριστικού σφάλματος-αστοχίας: Στην περιοχή του αριστερού αντικειμένου και κατά μήκος του κοινού του ορίου με το δεξιό αντικείμενο, εμφανίζεται η κίνηση του δεξιού αντικειμένου (κίνηση προς τα αριστερά) και όχι η αναμενόμενη κίνηση προς τα δεξιά. Η παραπάνω διαπίστωση είναι γενική και εμφανίζεται σχεδόν πάντοτε κατά την εφαρμογή όλων εκείνων των αλγορίθμων υπολογισμού της κίνησης που χρησιμοποιούν το μαθηματικό μοντέλο των μερικών παραγώγων. Δηλαδή, κατά τη διαδικασία υπολογισμού της οπτικής ροής, με έναν αλγόριθμο που χρησιμοποιεί στους υπολογισμούς του το μαθηματικό μοντέλο των μερικών παραγώγων και της κλίσης της φωτεινότητας- 84

85 Κεφάλαιο 6: Χωρικές σχέσεις στον τρι-διάστατο χώρο χρωμικότητας της εικόνας, εμφανίζεται στο αντικείμενο που βρίσκεται στο φόντο της εικόνας (occluded object) και κατά μήκος του κοινού του ορίου, η κίνηση του αντικειμένου που βρίσκεται στο προσκήνιο (occluding object) και τείνει να το επικαλύψει. Εξετάζοντας το παραπάνω φαινόμενο και για άλλες εικόνες, παρατηρήσαμε ότι αυτή η εσφαλμένη εμφάνιση της κίνησης του αντικειμένου που είναι στο προσκήνιο στην αντίστοιχη περιοχή του αντικειμένου που είναι στο φόντο της εικόνας και επικαλύπτεται από το πρώτο, ισχύει σχεδόν πάντοτε και άρα μπορεί να χρησιμοποιηθεί σαν ένα κριτήριο εκτίμησης της σχέσης βάθους μεταξύ δύο αντικειμένων. Μια μαθηματική εξήγηση της εμφάνισης αυτού του φαινομένου είναι η εξής: Ας ανάγουμε για ευκολία την ανάλυσή μας στο μονοδιάστατο επίπεδο, θεωρώντας μια οριζόντια τομή κατά μήκος της εικόνας και επίσης ότι η διάκριση των pixels των δύο αντικειμένων εκφράζεται μόνο βάση της διαφοράς στη τιμή της φωτεινότητάς τους. Με αυτές τις δύο υποθέσεις από το σχήμα 6.2 αναγόμαστε στο σχήμα 6.5. Σχήμα 6.5: Ο κατακόρυφος άξονας αναπαριστά τις τιμές της φωτεινότητας των αντικειμένων, ενώ ο άξονας x δηλώνει σημεία κατά μήκος της οριζόντιας τομής της εικόνας. Έστω, ότι με την εφαρμογή του αλγορίθμου της οπτικής ροής, που έχουμε ήδη αναφέρει, επιχειρούμε να υπολογίσουμε το διάνυσμα της κίνησης για ένα σημείο x της επικαλύπτουσας περιοχής κοντά στο κοινό όριο. Η διαδικασία αυτή απεικονίζεται στο σχήμα 6.6. Ο αλγόριθμος της οπτικής ροής, όπως έχουμε αναλύσει ήδη στο κεφάλαιο 3, υπολογίζει την τιμή του διανύσματος κίνησης βάση της κατανομής του χρώματος σε ένα 85

86 Κεφάλαιο 6: Χωρικές σχέσεις στον τρι-διάστατο χώρο διάστημα pixels της μορφής [ x s / 2, x + s / 2], για τη μονοδιάστατη περίπτωση. Εφόσον, τα pixels που αντιστοιχούν στο κοινό όριο των αντικειμένων δε βρίσκονται εντός του διαστήματος αυτού, το σφάλμα υπολογισμού του διανύσματος κίνησης πρέπει να είναι θεωρητικά μηδενικό. Εάν, όμως, τα pixels του κοινού ορίου ανήκουν σε αυτό το διάστημα, λαμβάνοντας υπόψη ότι το κοινό όριο από τη στιγμή που αποτελείται από pixels της επικαλύπτουσας περιοχής εμφανίζει ίδια κίνηση με την περιοχή αυτή, το σφάλμα υπολογισμού της κίνησης είναι μικρό έως αμελητέο. Οπότε, συνολικά, κοντά στο κοινό όριο των δύο περιοχών, δεν υπεισέρχεται σημαντικό σφάλμα στον υπολογισμό του διανύσματος της κίνησης για τα pixels της επικαλύπτουσας περιοχής. Σχήμα 6.6: Εκτίμηση κίνησης για σημείο της επικαλύπτουσας επιφάνειας κοντά στο κοινό όριο b των περιοχών. Η διακεκομμένη γραμμή εκφράζει το χαμηλοπερατό φίλτρο που εφαρμόζεται από τον αλγόριθμο υπολογισμού της οπτικής ροής. Κατά τον ίδιο τρόπο, θα εξετάσουμε τη διαδικασία υπολογισμού του διανύσματος κίνησης ενός σημείου της επικαλυπτόμενης περιοχής κοντά στο κοινό όριο των δύο περιοχών. Εφόσον, στο διάστημα [ x s / 2, x + s / 2] δεν περιλαμβάνονται τα pixels του κοινού ορίου, το σφάλμα υπολογισμού του διανύσματος κίνησης πρέπει να είναι, σε αντιστοιχία με πριν, και αυτό θεωρητικά μηδενικό. Στην περίπτωση, όμως, που στο διάστημα [ x s / 2, x + s / 2] περιλαμβάνονται και σημεία του κοινού ορίου, τα οποία όπως αναφέραμε και πριν παρουσιάζουν την ίδια κίνηση με αυτήν της επικαλύπτουσας περιοχής (στην οποία και ανήκουν), το σφάλμα που υπεισέρχεται στον υπολογισμό του διανύσματος κίνησης είναι σημαντικό. Η παραπάνω διαδικασία φαίνεται παραστατικά στο σχήμα

87 Κεφάλαιο 6: Χωρικές σχέσεις στον τρι-διάστατο χώρο Σχήμα 6.7: Εκτίμηση κίνησης για σημείο της επικαλυπτόμενης επιφάνειας κοντά στο κοινό όριο b των περιοχών. Η διακεκομμένη γραμμή εκφράζει το χαμηλοπερατό φίλτρο που εφαρμόζεται από τον αλγόριθμο υπολογισμού της οπτικής ροής. Από την παραπάνω ανάλυση, για την απλοποιημένη μονοδιάστατη περίπτωση, εξηγήσαμε με ποιοτικό τρόπο γιατί εισάγεται σφάλμα, κατά τη διαδικασία υπολογισμού της κίνησης, μόνο στην επικαλυπτόμενη περιοχή και όχι στην επικαλύπτουσα. Η παραπάνω διαπίστωση ισχύει και για τη διδιάστατη περίπτωση και την εξέταση πραγματικών εικόνων. Προκειμένου να ποσοτικοποιήσουμε το σφάλμα το οποίο υπεισέρχεται στους υπολογισμούς, εφαρμόζουμε ένα παραμετρικό μοντέλο εκτίμησης της κίνησης σε κάθε μια από τις δύο εξεταζόμενες περιοχές. Συγκεκριμένα, στην ανάλυσή μας θα χρησιμοποιήσουμε το διγραμμικό μοντέλο εκτίμησης του διανύσματος κίνησης, του οποίου τη λειτουργία και τον τρόπο εφαρμογής τον έχουμε παρουσιάσει στο κεφάλαιο 4. Ας θεωρήσουμε τους συμβολισμούς u x ( i, j) και ( i j) u y, για τις τιμές της οριζόντιας και της κατακόρυφης συνιστώσας της ταχύτητας στο σημείο ( i j) P, της εικόνας, που προέκυψαν μετά την εφαρμογή του αλγορίθμου υπολογισμού της οπτικής ροής. Επιπλέον, ας θεωρήσουμε και τις αντίστοιχες τιμές που επιστρέφει το διγραμμικό μοντέλο εκτίμησης κίνησης ως u x ( i, j) και u y ( i, j). Ως σφάλμα εκτίμησης της κίνησης σε ένα σημείο P ( i, j) ορίζουμε την ποσότητα : 87

88 Κεφάλαιο 6: Χωρικές σχέσεις στον τρι-διάστατο χώρο PE, = u ( i, j) u x ( i, j) + u y ( i, j) u y ( i, j) ( i j) 2 x (6.1) Χαρακτηριστική ιδιότητα του παραπάνω ορισμένου μέτρου του σφάλματος είναι ότι παρουσιάζει τόσο μεγαλύτερες τιμές όσο το αντίστοιχο διάνυσμα κίνησης ενός pixel αποκλίνει από την «μέση» κίνηση της περιοχής στην οποία ανήκει. Υπολογίζοντας το μέτρο του σφάλματος εκτίμησης για όλα τα pixels κάθε μιας από τις δύο εξεταζόμενες περιοχές της εικόνας προκύπτει η επιφάνεια σφάλματος εκτίμησης κίνησης. Για την εικόνα του παραδείγματός μας, η επιφάνεια του σφάλματος εκτίμησης κίνησης παρουσιάζεται στο παρακάτω σχήμα. 2 Σχήμα 6.8: Το σημείο x=50 αντιστοιχεί στο κοινό όριο των δύο αντικειμένων της εικόνας. Από την εξέταση του σχήματος, διαπιστώνουμε την ασύμμετρη κατανομή του σφάλματος εκτίμησης της κίνησης κατά μήκος του κοινού ορίου των δύο περιοχών. Η εμφάνιση αυτής της ασύμμετρης κατανομής του σφάλματος θα αποτελέσει στο εξής και το κριτήριο της αντιστοίχισης της κατάλληλης σχέσης βάθους μεταξύ δύο γειτονικών αντικειμένων της εικόνας. 88

89 Κεφάλαιο 6: Χωρικές σχέσεις στον τρι-διάστατο χώρο 6.2 Υλοποίηση αλγορίθμου υπολογισμού σχέσεων βάθους Ο αλγόριθμος, που έχουμε σχεδιάσει για την εξαγωγή των σχέσεων βάθους μεταξύ των αντικειμένων που απεικονίζονται στα πλαίσια μιας εικόνας, χρησιμοποιεί ως βασικό κριτήριο, στη διαδικασία της επεξεργασίας του, την ασύμμετρη κατανομή του σφάλματος εκτίμησης της κίνησης που αναφέραμε στην προηγούμενη ενότητα. Συγκεκριμένα, ο αλγόριθμος αποτελείται από τέσσερα επιμέρους στάδια επεξεργασίας, τα οποία είναι: κατάτμηση της αρχικής εικόνας, εφαρμογή αλγορίθμου οπτικής ροής, εκτίμηση της κίνησης και εξαγωγή των σχέσεων βάθους. Το κάθε ένα στάδιο περιγράφεται αναλυτικά στις επόμενες ενότητες ο στάδιο: Κατάτμηση εικόνας Κατά τη διαδικασία της κατάτμησης επιχειρείται να αναγνωριστούν τα αντικείμενα που απεικονίζονται στα πλαίσια της εικόνας. Ο αλγόριθμος κατάτμησης που χρησιμοποιούμε είναι αυτός που έχουμε αναφέρει στο κεφάλαιο 3. Επιπλέον, εφαρμόζεται και η διαδικασία της βελτίωσης της κατάτμησης, που στηρίζεται σε χαρακτηριστικά μεγέθη της κίνησης των περιοχών της μάσκας κατάτμησης, και έχει περιγραφεί αναλυτικά στο κεφάλαιο ο στάδιο: Υπολογισμός κίνησης Στο στάδιο αυτό υπολογίζονται τα διανύσματα κίνησης για όλα τα σημεία της εικόνας. Ο αλγόριθμος που χρησιμοποιείται είναι ο αλγόριθμος υπολογισμού της οπτικής ροής (optical flow), η λειτουργία του οποίου έχει αναλυθεί στα πλαίσια του κεφαλαίου 3. Η επιλογή του συγκεκριμένου αλγορίθμου έγινε, διότι ο αλγόριθμος αυτός χρησιμοποιεί στους υπολογισμούς του το μαθηματικό μοντέλο της κλίσης και των μερικών παραγώγων της φωτεινότητας-χρωμικότητας κατά μήκος της επιφάνειας της εικόνας, και άρα πληρεί τις προδιαγραφές που περιγράφηκαν στην ενότητα 6.1. Επιπλέον, αναφέρουμε ότι ο αλγόριθμος υπολογισμού της οπτικής ροής που χρησιμοποιήσαμε υπολογίζει τα διανύσματα κίνησης των διαφόρων σημείων της εικόνας με ακρίβεια μεγαλύτερη του μισού pixel (sub-pixel accuracy), γεγονός που απαιτείται προκειμένου να παρατηρηθεί το 89

90 Κεφάλαιο 6: Χωρικές σχέσεις στον τρι-διάστατο χώρο φαινόμενο της εμφάνισης της κίνησης της επικαλύπτουσας περιοχής στην επικαλυπτόμενη ο στάδιο: Εκτίμηση κίνησης Προκειμένου να εφαρμόσουμε τη διαδικασία της εκτίμησης κίνησης, κάνουμε χρήση του διγραμμικού μοντέλου εκτίμησης. Η λειτουργία του μοντέλου αυτού έχει περιγραφεί αναλυτικά στο κεφάλαιο 4 (αναφορά υπάρχει και στο παράρτημα Α). Αφού έχει εφαρμοστεί το διγραμμικό μοντέλο εκτίμησης κίνησης ξεχωριστά για κάθε μια περιοχή της μάσκας κατάτμησης, υπολογίζεται για κάθε pixel το σφάλμα εκτίμησης κίνησης βάση της σχέσης (6.1). Αποτέλεσμα της παραπάνω διαδικασίας είναι να προκύψει η επιφάνεια σφάλματος εκτίμησης κίνησης, που αναπαριστά τις τιμές των σφαλμάτων κατά μήκος της επιφάνειας της μάσκας κατάτμησης της εικόνας ο στάδιο: Εξαγωγή των σχέσεων βάθους Σε αυτό το στάδιο της επεξεργασίας, επιχειρούμε να προσδιορίσουμε την κατανομή του σφάλματος της εκτίμησης κίνησης κοντά στα όρια των περιοχών της μάσκας κατάτμησης. Εφόσον παρατηρηθεί η ασύμμετρη κατανομή του σφάλματος εκτίμησης κίνησης που περιγράφηκε στην ενότητα 6.1, αυτόματα θα εξάγεται η κατάλληλη σχέση βάθους μεταξύ των εξεταζόμενων περιοχών. Συγκεκριμένα, η διαδικασία που ακολουθείται είναι η εξής: Αρχικά, θεωρούμε ένα ζεύγος γειτονικών περιοχών της μάσκας κατάτμησης της εικόνας. Κατόπιν, υπολογίζουμε τα εξωτερικά περιγράμματα των περιοχών αυτών. Από τα pixels των εξωτερικών περιγραμμάτων, σχηματίζουμε όλα τα ζεύγη των γειτονικών pixels (βάση της γειτονίας των τεσσάρων), όπου το κάθε ένα pixel του ζεύγους ανήκει σε μια από τις δύο εξεταζόμενες περιοχές. Δηλαδή, τα ζεύγη των pixels που προκύπτουν προσδιορίζουν στην ουσία τα σημεία του κοινού ορίου μεταξύ των δύο περιοχών. Έστω, ότι το συνολικό πλήθος των ζευγών των γειτονικών pixels είναι Z. Εν συνεχεία, για κάθε ένα ζεύγος pixels ορίζουμε τέσσερις επιμέρους περιοχές της μάσκας κατάτμησης, κατά τον τρόπο που φαίνεται στο σχήμα 6.9. Οι περιοχές Π1, Π2, Π1, Π2, που έχουν θεωρηθεί, θα 90

91 Κεφάλαιο 6: Χωρικές σχέσεις στον τρι-διάστατο χώρο χρησιμεύσουν στη διαδικασία υπολογισμού της κατανομής του σφάλματος εκτίμησης κίνησης. Σχήμα 6.9: Με έντονους χαρακτήρες παριστάνονται τα γειτονικά pixels του ζεύγους που εξετάζουμε κάθε φορά. Οι περιοχές Π1, Π2, Π1, Π2 δηλώνονται με τις αντίστοιχες τιμές των δεικτών. Οι περιοχές Π1, Π2, Π1, Π2 δεν είναι απαραίτητα ορθογώνιες. Αποτελούνται από τα pixels της κάθε μιας περιοχής που ανήκουν σε ένα θεωρούμενο ορθογώνιο πλέγμα διαστάσεων 5 5, που προσαρμόζεται κατάλληλα σε κάθε ένα pixel του εξεταζόμενου ζεύγους. Οι διαστάσεις του θεωρούμενου αυτού ορθογώνιου πλέγματος επιλέγησαν ύστερα από εμπειρική μελέτη, καθώς η εμφάνιση της κίνησης της επικαλύπτουσας περιοχής στην επικαλυπτόμενη συνήθως συμβαίνει μέχρι ενός βάθους περίπου πέντε pixels στην επικαλυπτόμενη πλευρά. Επιπλέον, θεωρήσαμε τέσσερις υποπεριοχές και όχι δύο, προκειμένου να έχουμε μεγαλύτερη ακρίβεια στους υπολογισμούς μας. 91

92 Κεφάλαιο 6: Χωρικές σχέσεις στον τρι-διάστατο χώρο Σε αυτό το σημείο, λαμβάνει χώρα μια διαδικασία σύγκρισης των τιμών του σφάλματος εκτίμησης κίνησης που εμφανίζονται εκατέρωθεν του κοινού ορίου. Ειδικότερα, για κάθε μια από τις περιοχές Π1, Π2, Π1, Π2 υπολογίζεται η μέση τιμή του σφάλματος εκτίμησης κίνησης. Αυτό γίνεται με τη βοήθεια του τύπου: MAE ( i, j ) ( k ) = εk PE ( i, j) (6.2) N όπου η τιμή του σφάλματος του κάθε pixel ( i j) PE, δίνεται από τη σχέση (6.1), k είναι μια από τις περιοχές Π1, Π2, Π1, Π2 και N το πλήθος των pixels της περιοχής k. Στη συνέχεια, συγκρίνουμε τις μέσες τιμές του σφάλματος που προκύπτουν για τα συμμετρικά ζεύγη των περιοχών Π1-Π1 και Π2-Π2. Στόχος μας είναι να αναγνωρίσουμε σημαντικές-διακριτές διαφορές στη μέση τιμή του σφάλματος. Ορίζουμε ότι υπάρχει διακριτή διαφορά σφάλματος μεταξύ δύο υπο-περιοχών (Π1-Π1 και Π2- Π2 ) εάν ισχύει η παρακάτω σχέση: MAE( k1) a * MAE( k2) όπου ο παράγοντας σύγκρισης a δύναται να λαμβάνει τιμές στο διάστημα [ 3, 5]. (6.3) Εφόσον ισχύει η παραπάνω σχέση για το ζεύγος των υπο-περιοχών - k, k1 2 δηλώνουμε ότι η περιοχή της μάσκας κατάτμησης που περιλαμβάνει την περιοχή k 1 περιέχει ένα διακριτό σφάλμα εκτίμησης κίνησης. Επαναλαμβάνοντας την παραπάνω διαδικασία για όλα τα, Z σε πλήθος, ζεύγη των γειτονικών pixels των εξωτερικών περιγραμμάτων των εξεταζόμενων περιοχών, προκύπτει το συνολικό πλήθος των διακριτών σφαλμάτων για κάθε μια από τις δύο περιοχές της μάσκας κατάτμησης. Έστω, ότι οι τιμές αυτές παριστάνονται με τις μεταβλητές DAE1 (Discrete-Area-Errors -1) και DAE2 (Discrete-Area-Errors-2). Σε αυτό το σημείο, ακολουθεί μια λογική επεξεργασία των αποτελεσμάτων, που έχουν προκύψει μέχρι τώρα, προκειμένου να εξαχθεί η κατάλληλη σχέση βάθους μεταξύ των εξεταζόμενων περιοχών. Στο πρώτο βήμα αυτού του ελέγχου, εξετάζεται εάν ο συνολικός αριθμός των διακριτών σφαλμάτων, που έχουν αναγνωριστεί και για τις δύο 92

93 Κεφάλαιο 6: Χωρικές σχέσεις στον τρι-διάστατο χώρο περιοχές της μάσκας κατάτμησης, επαρκεί για να εξαχθεί κάποια σχέση βάθους. Αυτός ο έλεγχος πραγματοποιείται μέσω της σχέσης: DAE 1 + DAE 2 γ Z (6.4) όπου ο παράγοντας σύγκρισης γ λαμβάνει τιμές στο [ 0.2,0.4]. Η χρησιμοποίηση της παραπάνω σχέσης εκφράζει το γεγονός ότι η εμφάνιση της κίνησης της επικαλύπτουσας περιοχής στην επικαλυπτόμενη δε γίνεται απαραίτητα κατά μήκος όλου του κοινού τους ορίου. Έτσι, θέτουμε ένα κατώτατο όριο του ποσοστού του κοινού ορίου στο οποίο πρέπει να παρατηρείται η εμφάνιση της κίνησης, προκειμένου να έχουμε διαφορά στο βάθος των δύο αντικειμένων. Εάν δεν ισχύει η σχέση (6.4), οι δύο περιοχές θεωρείται ότι βρίσκονται στο ίδιο βάθος και η διαδικασία εξαγωγής των σχέσεων βάθους τερματίζεται σε αυτό το σημείο. Εάν ισχύει η σχέση (6.4), στο αμέσως επόμενο βήμα συγκρίνουμε τους συνολικούς αριθμούς των διακριτών λαθών των δύο περιοχών. Αυτός ο έλεγχος γίνεται βάση των σχέσεων: DAE 1 β DAE 2 (6.5) DAE και 2 β DAE 1 (6.6) όπου ο συντελεστής σύγκρισης β λαμβάνει τιμές στο διάστημα [ 2,3]. Εφόσον ισχύει η σχέση (6.5), θεωρείται ότι έχω σαφέστατα μεγαλύτερη συγκέντρωση διακριτών σφαλμάτων στην πρώτη περιοχή. Οπότε, δεδομένου ότι ισχύει και η σχέση (6.4), εξάγεται η σχέση ότι το αντικείμενο της εικόνας που αντιστοιχεί στην πρώτη περιοχή βρίσκεται πίσω από το αντικείμενο που αντιστοιχεί στη δεύτερη περιοχή, ή εναλλακτικά ότι το δεύτερο αντικείμενο βρίσκεται μπροστά από το πρώτο. Το αντίστοιχο συμπέρασμα ισχύει και στην περίπτωση που επαληθεύεται η σχέση (6.6). Εάν, όμως, δεν επαληθεύεται καμία από τις σχέσεις (6.5)-(6.6), μεταξύ των δύο θεωρούμενων αντικειμένων αντιστοιχίζεται η σχέση του ίδιου σχετικού βάθους, κι εδώ τελειώνει η διαδικασία εξαγωγής των σχέσεων βάθους. 93

94 Κεφάλαιο 6: Χωρικές σχέσεις στον τρι-διάστατο χώρο Η παραπάνω διαδικασία εφαρμόζεται διαδοχικά για όλα τα ζεύγη των γειτονικών περιοχών της μάσκας κατάτμησης της εικόνας. Επιπλέον, εάν εφαρμόσουμε τη μεταβατική ιδιότητα μεταξύ των σχέσεων βάθους των διαφόρων αντικειμένων, μπορεί να υπολογιστεί και ο αντίστοιχος χάρτης βάθους της εικόνας, στον οποίο για όλα τα αντικείμενα έχει υπολογιστεί το σχετικό βάθος τους στο χώρο. 94

95 7. Παρουσίαση αποτελεσμάτων Στο κεφάλαιο αυτό παρουσιάζουμε μια σειρά παραδειγμάτων εφαρμογής των αλγορίθμων που έχουμε σχεδιάσει και υλοποιήσει σε πραγματικές εικόνες, με σκοπό να εξετάσουμε την αποτελεσματικότητά τους. Σε κάθε ένα παράδειγμα, υπολογίζουμε για την αντίστοιχη εικόνα όλες τις χωρικές σχέσεις στο δι-διάστατο και το τρι-διάστατο επίπεδο, όπως αυτές έχουν οριστεί στα κεφάλαια 5-6. Συγκεκριμένα, για κάθε παράδειγμα, τα σχήματα που παρατίθενται απεικονίζουν αντίστοιχα: (α) την πρώτη εικόνα (frame) της εικονοσειράς που χρησιμοποιήσαμε και για την οποία εξάγονται όλες οι χωρικές σχέσεις, (β) τη δεύτερη -διαδοχική της πρώτης- εικόνα της εικονοσειράς που χρησιμοποιήσαμε για τον υπολογισμό της οπτικής ροής, που χρησιμεύει στο να μπορέσουμε να διαπιστώσουμε και εποπτικά την κίνηση στην εικόνα, (γ) το προκύπτον δι-διάστατο επίπεδο διανυσμάτων κίνησης που προκύπτει μετά την εφαρμογή του αλγορίθμου υπολογισμού της οπτικής ροής, (δ) η μάσκα κατάτμησης της εικόνας μετά την εφαρμογή του αλγορίθμου κατάτμησης που περιγράφεται στο κεφάλαιο 3, (ε) η τελική μάσκα κατάτμησης μετά την εφαρμογή του αλγορίθμου βελτίωσης της κατάτμησης (κεφάλαιο 4), με τον κατάλληλο ονοματισμό των περιοχών της, (στ) η επιφάνεια σφάλματος εκτίμησης της κίνησης, που προκύπτει μετά την εφαρμογή του διγραμμικού παραμετρικού μοντέλου εκτίμησης κίνησης, (η) ο πίνακας των ποσοστών γειτονίας, (θ) ο πίνακας των παραγόντων της σχετικής περικύκλωσης των περιοχών, (ι) ο πίνακας των σχέσεων απόστασης, (κ) ο πίνακας των σχέσεων κατεύθυνσης, (λ) ο πίνακας των απόλυτων θέσεων των περιοχών στην εικόνα, (μ)-(ν) οι πίνακες των γεωμετρικών χαρακτηριστικών των περιοχών, (ξ) ο πίνακας των σχέσεων βάθους των περιοχών και (ο) ο προκύπτον χάρτης βάθους της εικόνας. 95

96 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων 7.1 Παράδειγμα εφαρμογής 1 Πρώτη Εικόνα (frame) της Εικονοσειράς (α) Δεύτερη Εικόνα (frame) της Εικονοσειράς (β) 96

97 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων Δι-διάστατο Επίπεδο Διανυσμάτων Κίνησης (γ) Αρχική Μάσκα Κατάτμησης (δ) 97

98 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων Τελική Μάσκα Κατάτμησης (ε) Επιφάνεια Σφάλματος Εκτίμησης Κίνησης (στ) 98

99 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων Πίνακας Ποσοστών γειτονίας Περιοχών Π1 Π2 Π3 Π4 Π5 Π6 Π7 Π8 ΠΕΡ. ΕΙΚΟΝΑΣ Π Π Π Π Π Π Π Π (η) Ως περιοχή αναφοράς, δηλώνεται η περιοχή που αντιστοιχεί στην γραμμή του κάθε στοιχείου. Δηλαδή, π.χ. το στοιχείο (5,6) του παραπάνω πίνακα δηλώνει ότι το 20.94% του περιγράμματος της περιοχής Π5 συνορεύει με την περιοχή Π6. Πίνακας Παραγόντων Σχετικής Περικύκλωσης Περιοχών Π1 Π2 Π3 Π4 Π5 Π6 Π7 Π8 Π Π Π Π Π Π Π Π (θ) Ως περιοχή αναφοράς, δηλώνεται η περιοχή που αντιστοιχεί στην γραμμή του κάθε στοιχείου. Δηλαδή, π.χ. το στοιχείο (5,4) του παραπάνω πίνακα δηλώνει ότι η περιοχή αναφοράς Π5 περικυκλώνει, με την ευρεία έννοια του όρου, την περιοχή Π4 σε ποσοστό 84,81%. 99

100 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων Πίνακας Σχέσεων Απόστασης Περιοχών Π1 Π2 Π3 Π4 Π5 Π6 Π7 Π8 Π Π Π Π Π Π Π Π (ι) Με μηδενική απόσταση μεταξύ τους δηλώνονται τα ζεύγη των γειτονικών περιοχών Πίνακας Σχέσεων Κατεύθυνσης Περιοχών Π1 Π2 Π3 Π4 Π5 Π6 Π7 Π8 Π1 - Α Ν Ν Ν ΝΑ Ν Ν Π2 Δ - ΝΔ ΝΔ ΝΔ Ν ΝΔ ΝΔ Π3 Β Β - Ν Ν Ν Ν Ν Π4 Β ΒΑ Β - Ν ΝΑ Ν ΝΔ Π5 Β ΒΑ Β Β - Α Δ/Ο ΒΔ Π6 ΒΔ Β ΒΔ Δ Δ - Δ Δ Π7 ΒΑ ΒΑ ΒΑ ΒΑ Δ/Ο ΝΑ - Δ Π8 ΒΑ ΒΑ ΒΑ ΒΑ ΝΑ ΝΑ ΝΑ - (κ) Με Δ/Ο σημειώνεται ότι δεν μπορεί να οριστεί σχέση κατεύθυνσης για το ζεύγος των περιοχών που συνδέονται με τη σχέση της περικύκλωσης. Ως περιοχή αναφοράς, δηλώνεται η περιοχή που αντιστοιχεί στην γραμμή του κάθε στοιχείου. Δηλαδή, π.χ. το στοιχείο (7,8) του παραπάνω πίνακα δηλώνει ότι η περιοχή Π8 βρίσκεται δυτικά της περιοχής αναφοράς Π7. 100

101 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων Πίνακας Απόλυτων Θέσεων Περιοχών Π1 Π2 Π3 Π4 Π5 Π6 Π7 Π8 ΒΔ ΒΑ ΒΑ Β ΝΔ Α Κ Δ (λ) Πίνακας Πρόσθετων Γεωμετρικών Χαρακτηριστικών Περιοχών(1) Υ Π Λ Ε ΠΣ ΠΠ ΚΥΚ ΙΚΔ Π Π Π Π Π Π Π Π (μ) 101

102 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων Πίνακας Πρόσθετων Γεωμετρικών Χαρακτηριστικών Περιοχών(2) ΠΥ Εmbr Αmbr Ech Πch Σ Κ ΚΥ Π Π Π Π Π Π Π Π (ν) Πίνακας Σχέσεων βάθους Περιοχών Π1 Π2 Π3 Π4 Π5 Π6 Π7 Π8 Π1 - ΙΒ ΙΒ Δ/Ο Δ/Ο Δ/Ο Δ/Ο Δ/Ο Π2 ΙΒ - ΙΒ Δ/Ο Δ/Ο Δ/Ο Δ/Ο Δ/Ο Π3 ΙΒ ΙΒ - ΠΑ ΙΒ ΙΒ Δ/Ο Δ/Ο Π4 Δ/Ο Δ/Ο ΜΑ - ΜΑ Δ/Ο Δ/Ο Δ/Ο Π5 Δ/Ο Δ/Ο ΙΒ ΠΑ - ΙΒ ΠΑ ΠΑ Π6 Δ/Ο Δ/Ο ΙΒ Δ/Ο ΙΒ - Δ/Ο Δ/Ο Π7 Δ/Ο Δ/Ο Δ/Ο Δ/Ο ΜΑ Δ/Ο - Δ/Ο Π8 Δ/Ο Δ/Ο Δ/Ο Δ/Ο ΜΑ Δ/Ο Δ/Ο - (ξ) Με τους συμβολισμούς δηλώνεται ΙΒ-ίδιο βάθος, ΠΑ-πίσω από, ΜΑ-Μπροστά από, Δ/Ο δεν μπορεί να οριστεί άμεσα σχέση αφού οι περιοχές είναι μη-γειτονικές. Ως περιοχή αναφοράς, δηλώνεται η περιοχή που αντιστοιχεί στην γραμμή του κάθε στοιχείου. Δηλαδή, π.χ. το στοιχείο (5,6) του παραπάνω πίνακα δηλώνει ότι η περιοχή Π5 βρίσκεται στο ίδιο σχετικό βάθος με την περιοχή Π6 της εικόνας. 102

103 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων Εφαρμόζοντας τη μεταβατική ιδιότητα για τις σχέσεις βάθους του προηγούμενου πίνακα, μεταξύ των περιοχών, προκύπτει ο χάρτης βάθους της εικόνας, στον οποίο και αναπαρίσταται το σχετικό βάθος όλων των περιοχών της εικόνας. Χάρτης Βάθους Εικόνας (ο) Με ανοιχτό χρωματισμό σημειώνονται οι περιοχές που βρίσκονται πιο κοντά στο φακό της κάμερας. Στον παραπάνω χάρτη βάθους, ενώ αναγνωρίζονται ικανοποιητικά τα σχετικά βάθη των περιοχών Π7, Π8, ωστόσο για την Π4 το αποτέλεσμα μπορεί να θεωρηθεί ως μη ικανοποιητικό. Αυτό συμβαίνει γιατί η Π4 αντιστοιχεί σε σημεία της εικόνας με έντονη υφή. Αυτό έχει ως αποτέλεσμα να οδηγηθεί ο αλγόριθμος κατάτμησης σε μη ικανοποιητικό καθορισμό των ορίων των περιοχών. Επιπλέον, λόγω της έντονης υφής της περιοχής, τα αποτελέσματα του αλγορίθμου υπολογισμού της οπτικής ροής είναι ακριβή για την περιοχή Π4, αλλά όχι και για τις περιοχές Π3, Π5, όπου η υφή δεν είναι τόσο έντονη. Έτσι, κατά μήκος του κοινού ορίου των παραπάνω περιοχών δεν παρατηρείται η ασύμμετρη κατανομή του σφάλματος εκτίμησης της κίνησης, που αξιοποιεί ο αλγόριθμος που έχουμε σχεδιάσει για την αναγνώριση των σχέσεων βάθους μεταξύ των περιοχών. 103

104 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων 7.2 Παράδειγμα εφαρμογής 2 Πρώτη Εικόνα (frame) Της Εικονοσειράς (α) Δεύτερη Εικόνα (frame) Της Εικονοσειράς (β) 104

105 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων Δι-διάστατο Επίπεδο Διανυσμάτων Κίνησης (γ) Αρχική Μάσκα Κατάτμησης (δ) 105

106 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων Τελική Μάσκα Κατάτμησης (ε) Επιφάνεια Σφάλματος Εκτίμησης Κίνησης (στ) 106

107 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων Πίνακας Ποσοστών γειτονίας Περιοχών Π1 Π2 Π3 Π4 Π5 Π6 Π7 ΠΕΡ. ΕΙΚΟΝΑΣ Π Π Π Π Π Π Π (η) Ως περιοχή αναφοράς, δηλώνεται η περιοχή που αντιστοιχεί στην γραμμή του κάθε στοιχείου. Δηλαδή, π.χ. το στοιχείο (5,8) του παραπάνω πίνακα δηλώνει ότι το 1.233% του περιγράμματος της περιοχής Π5 συνορεύει -ανήκει στο περίγραμμα της εικόνας. Πίνακας Παραγόντων Σχετικής Περικύκλωσης Περιοχών Π1 Π2 Π3 Π4 Π5 Π6 Π7 Π Π Π Π Π Π Π (θ) Ως περιοχή αναφοράς, δηλώνεται η περιοχή που αντιστοιχεί στην γραμμή του κάθε στοιχείου. Δηλαδή, π.χ. το στοιχείο (1,5) του παραπάνω πίνακα δηλώνει ότι η περιοχή αναφοράς Π1 περικυκλώνει, με την ευρεία έννοια του όρου, την περιοχή Π5 σε ποσοστό 75,911%. 107

108 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων Πίνακας Σχέσεων Απόστασης Περιοχών Π1 Π2 Π3 Π4 Π5 Π6 Π7 Π Π Π Π Π Π Π (ι) Με μηδενική απόσταση μεταξύ τους δηλώνονται τα ζεύγη των γειτονικών περιοχών Πίνακας Σχέσεων Κατεύθυνσης Περιοχών Π1 Π2 Π3 Π4 Π5 Π6 Π7 Π1 - Α Ν Δ/Ο Ν Δ/Ο Α Π2 Δ - ΝΔ Δ ΝΔ Δ Ν Π3 Β Β - Β Β Β Β Π4 Δ/Ο ΒΑ ΝΔ - ΝΑ Β ΝΑ Π5 Β Β Ν Β - Β Β Π6 Δ/Ο ΝΑ ΝΔ ΝΑ ΝΑ - ΝΑ Π7 ΒΔ ΒΔ Δ Δ Δ ΒΔ - (κ) Με Δ/Ο σημειώνεται ότι δεν μπορεί να οριστεί σχέση κατεύθυνσης για το ζεύγος των περιοχών που συνδέονται με τη σχέση της περικύκλωσης. Ως περιοχή αναφοράς, δηλώνεται η περιοχή που αντιστοιχεί στην γραμμή του κάθε στοιχείου. Δηλαδή, π.χ. το στοιχείο (7,6) του παραπάνω πίνακα δηλώνει ότι η περιοχή Π6 βρίσκεται βορειο-δυτικά της περιοχής αναφοράς Π7. 108

109 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων Πίνακας Απόλυτων Θέσεων Περιοχών Π1 Π2 Π3 Π4 Π5 Π6 Π7 ΒΔ Α ΝΔ Κ ΝΑ Β ΝΑ (λ) Πίνακας Πρόσθετων Γεωμετρικών Χαρακτηριστικών Περιοχών(1) Υ Π Λ Ε ΠΣ ΠΠ ΚΥΚ ΙΚΔ Π Π Π Π Π Π Π (μ) 109

110 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων Πίνακας Πρόσθετων Γεωμετρικών Χαρακτηριστικών Περιοχών(2) ΠΥ Εmbr Αmbr Ech Πch Σ Κ ΚΥ Π Π Π Π Π Π Π (ν) Πίνακας Σχέσεων βάθους Περιοχών Π1 Π2 Π3 Π4 Π5 Π6 Π7 Π1 - ΙΒ Δ/Ο ΠΑ ΠΑ ΜΑ ΠΑ Π2 ΙΒ - Δ/Ο Δ/Ο Δ/Ο Δ/Ο ΠΑ Π3 Δ/Ο Δ/Ο - Δ/Ο ΙΒ Δ/Ο Δ/Ο Π4 ΜΑ Δ/Ο Δ/Ο - Δ/Ο Δ/Ο Δ/Ο Π5 ΜΑ Δ/Ο ΙΒ Δ/Ο - Δ/Ο ΙΒ Π6 ΠΑ Δ/Ο Δ/Ο Δ/Ο Δ/Ο - Δ/Ο Π7 ΜΑ ΜΑ Δ/Ο Δ/Ο ΙΒ Δ/Ο - (ξ) Με τους συμβολισμούς δηλώνεται ΙΒ-ίδιο βάθος, ΠΑ-πίσω από, ΜΑ-Μπροστά από, Δ/Ο δεν μπορεί να οριστεί άμεσα σχέση αφού οι περιοχές είναι μη-γειτονικές. Ως περιοχή αναφοράς, δηλώνεται η περιοχή που αντιστοιχεί στην γραμμή του κάθε στοιχείου. Δηλαδή, π.χ. το στοιχείο (1,4) του παραπάνω πίνακα δηλώνει ότι η περιοχή Π1 βρίσκεται πίσω από την περιοχή Π4 της εικόνας. 110

111 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων Εφαρμόζοντας τη μεταβατική ιδιότητα για τις σχέσεις βάθους, του προηγούμενου πίνακα, μεταξύ των περιοχών, προκύπτει ο χάρτης βάθους της εικόνας, στον οποίο και αναπαρίσταται το σχετικό βάθος όλων των περιοχών της εικόνας. Χάρτης Βάθους Εικόνας (ο) Με ανοιχτό χρωματισμό σημειώνονται οι περιοχές που βρίσκονται πιο κοντά στο φακό της κάμερας. Στον παραπάνω χάρτη βάθους, ενώ αναγνωρίζονται ικανοποιητικά τα σχετικά βάθη των περιοχών Π3, Π4, Π5, ωστόσο για την Π6 το αποτέλεσμα είναι μη ικανοποιητικό. Αυτό συμβαίνει γιατί η Π6, που αντιστοιχεί στο μπαλάκι της εικόνας, παρουσιάζει μεγάλη παραμόρφωση στην απεικόνιση του σχήματός του, όπως μπορούμε να διαπιστώσουμε από το σχήμα (α). Αυτό έχει ως αποτέλεσμα να οδηγηθεί ο αλγόριθμος κατάτμησης σε μη ακριβή καθορισμό των ορίων της περιοχής. Επιπλέον, επειδή η επιφάνεια της περιοχής Π6 είναι σχετικά μικρή, δεν είναι ικανοποιητική και η σωστή εκτίμηση της κίνησής της, με χρήση του διγραμμικού μοντέλου. Ως εκ τούτου, η ασύμμετρη κατανομή του σφάλματος που θα περιμέναμε, προκειμένου να εξαχθεί η σωστή σχέση βάθους, τελικά δεν παρατηρείται. 111

112 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων 7.3 Παράδειγμα εφαρμογής 3 Πρώτη Εικόνα (frame) Της Εικονοσειράς (α) Δεύτερη Εικόνα (frame) Της Εικονοσειράς (β) 112

113 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων Δι-διάστατο Επίπεδο Διανυσμάτων Κίνησης (γ) Αρχική Μάσκα Κατάτμησης (δ) 113

114 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων Τελική Μάσκα Κατάτμησης (ε) Επιφάνεια Σφάλματος Εκτίμησης Κίνησης (στ) 114

115 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων Πίνακας Ποσοστών γειτονίας Περιοχών Π1 Π2 Π3 Π4 Π5 Π6 Π7 Π8 ΠΕΡ. ΕΙΚΟΝΑΣ Π Π Π Π Π Π Π Π (η) Ως περιοχή αναφοράς, δηλώνεται η περιοχή που αντιστοιχεί στην γραμμή του κάθε στοιχείου. Δηλαδή, π.χ. το στοιχείο (5,3) του παραπάνω πίνακα δηλώνει ότι το % του περιγράμματος της περιοχής Π5 συνορεύει με την περιοχή Π3. Πίνακας Παραγόντων Σχετικής Περικύκλωσης Περιοχών Π1 Π2 Π3 Π4 Π5 Π6 Π7 Π8 Π Π Π Π Π Π Π Π (θ) Ως περιοχή αναφοράς, δηλώνεται η περιοχή που αντιστοιχεί στην γραμμή του κάθε στοιχείου. Δηλαδή, π.χ. το στοιχείο (1,7) του παραπάνω πίνακα δηλώνει ότι η περιοχή αναφοράς Π1 περικυκλώνει, με την ευρεία έννοια του όρου, την περιοχή Π7 σε ποσοστό 4,711%. 115

116 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων Πίνακας Σχέσεων Απόστασης Περιοχών Π1 Π2 Π3 Π4 Π5 Π6 Π7 Π8 Π Π Π Π Π Π Π Π (ι) Με μηδενική απόσταση μεταξύ τους δηλώνονται τα ζεύγη των γειτονικών περιοχών Πίνακας Σχέσεων Κατεύθυνσης Περιοχών Π1 Π2 Π3 Π4 Π5 Π6 Π7 Π8 Π1 - Α Δ/Ο ΝΑ Δ/Ο Δ/Ο Ν Ν Π2 Δ - Δ Ν Δ Δ Δ Δ Π3 Δ/Ο ΒΑ - Α Δ Α ΝΑ Ν Π4 ΒΔ ΒΑ ΝΔ - ΝΔ ΝΔ ΝΔ ΝΔ Π5 Δ/Ο ΒΑ Α ΒΑ - Α ΝΑ Ν Π6 Δ/Ο ΒΑ Δ ΒΑ ΝΔ - ΝΑ ΝΔ Π7 Β Β Β Β ΒΔ Β - Δ Π8 ΒΑ ΒΑ Β ΒΑ Β ΒΑ Α - (κ) Με Δ/Ο σημειώνεται ότι δεν μπορεί να οριστεί σχέση κατεύθυνσης για το ζεύγος των περιοχών που συνδέονται με τη σχέση της περικύκλωσης. Ως περιοχή αναφοράς, δηλώνεται η περιοχή που αντιστοιχεί στην γραμμή του κάθε στοιχείου. Δηλαδή, π.χ. το στοιχείο (7,6) του παραπάνω πίνακα δηλώνει ότι η περιοχή Π6 βρίσκεται βόρεια της περιοχής αναφοράς Π7. 116

117 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων Πίνακας Απόλυτων Θέσεων Περιοχών Π1 Π2 Π3 Π4 Π5 Π6 Π7 Π8 Β Α ΝΔ Α ΝΔ Ν ΝΑ ΝΔ (λ) Πίνακας Πρόσθετων Γεωμετρικών Χαρακτηριστικών Περιοχών(1) Υ Π Λ Ε ΠΣ ΠΠ ΚΥΚ ΙΚΔ Π Π Π Π Π Π Π Π (μ) 117

118 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων Πίνακας Πρόσθετων Γεωμετρικών Χαρακτηριστικών Περιοχών(2) ΠΥ Εmbr Αmbr Ech Πch Σ Κ ΚΥ Π Π Π Π Π Π Π Π (ν) Πίνακας Σχέσεων βάθους Περιοχών Π1 Π2 Π3 Π4 Π5 Π6 Π7 Π8 Π1 - ΙΒ ΙΒ ΙΒ ΙΒ ΠΑ ΠΑ ΠΑ Π2 ΙΒ - Δ/Ο ΙΒ Δ/Ο Δ/Ο ΠΑ Δ/Ο Π3 ΙΒ Δ/Ο - Δ/Ο ΙΒ Δ/Ο Δ/Ο Δ/Ο Π4 ΙΒ ΙΒ Δ/Ο - Δ/Ο Δ/Ο Δ/Ο Δ/Ο Π5 ΙΒ Δ/Ο ΙΒ Δ/Ο - Δ/Ο Δ/Ο Δ/Ο Π6 ΜΑ Δ/Ο Δ/Ο Δ/Ο Δ/Ο - Δ/Ο Δ/Ο Π7 ΜΑ ΜΑ Δ/Ο Δ/Ο Δ/Ο Δ/Ο - ΜΑ Π8 ΜΑ Δ/Ο Δ/Ο Δ/Ο Δ/Ο Δ/Ο ΠΑ - (ξ) Με τους συμβολισμούς δηλώνεται ΙΒ-ίδιο βάθος, ΠΑ-πίσω από, ΜΑ-Μπροστά από, Δ/Ο δεν μπορεί να οριστεί άμεσα σχέση αφού οι περιοχές είναι μη-γειτονικές. Ως περιοχή αναφοράς, δηλώνεται η περιοχή που αντιστοιχεί στην γραμμή του κάθε στοιχείου. Δηλαδή, π.χ. το στοιχείο (1,4) του παραπάνω πίνακα δηλώνει ότι η περιοχή Π1 βρίσκεται στο ίδιο σχετικό βάθος με την περιοχή Π4 της εικόνας. 118

119 Κεφάλαιο 7: Παρουσίαση αποτελεσμάτων Εφαρμόζοντας τη μεταβατική ιδιότητα για τις σχέσεις βάθους, του προηγούμενου πίνακα, μεταξύ των περιοχών, προκύπτει ο χάρτης βάθους της εικόνας, στον οποίο και αναπαρίσταται το σχετικό βάθος όλων των περιοχών της εικόνας. Χάρτης Βάθους Εικόνας (ο) Με ανοιχτό χρωματισμό σημειώνονται οι περιοχές που βρίσκονται πιο κοντά στο φακό της κάμερας. Στον παραπάνω χάρτη βάθους, ενώ αναγνωρίζονται ικανοποιητικά τα σχετικά βάθη των περιοχών Π1-Π6, ωστόσο για τις περιοχές Π7-Π8 το αποτέλεσμα μπορεί να θεωρηθεί ίσως ως μη πλήρως ικανοποιητικό. Αυτό συμβαίνει γιατί οι Π7, Π8 αντιστοιχούν σε σημεία της εικόνας με έντονη υφή. Αυτό έχει ως αποτέλεσμα να οδηγηθεί ο αλγόριθμος κατάτμησης σε μη ικανοποιητικό καθορισμό των ορίων των περιοχών αυτών. Επιπλέον, λόγω της έντονης υφής των περιοχών Π7 και Π8, τα αποτελέσματα του αλγορίθμου υπολογισμού της οπτικής ροής είναι ακριβή για τις περιοχές αυτές, αλλά όχι και για τις περιοχές Π1, Π2, όπου η υφή δεν είναι τόσο έντονη. Έτσι, κατά μήκος του κοινού ορίου των παραπάνω περιοχών δεν παρατηρείται η 119