ΑΝΑΚΑΤΑΣΚΕΥΗ ΤΡΙΣΔΙΑΣΤΑΤΟΥ ΑΝΤΙΚΕΙΜΕΝΟΥ ΜΕ ΤΗΝ ΒΟΗΘΕΙΑ ΔΟΜΗΜΕΝΟΥ ΦΩΤΟΣ

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΗΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΕΡΓΑΣΤΗΡΙΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΠΛΗΡΟΦΟΡΙΑΣ ΚΑΙ ΥΠΟΛΟΓΙΣΜΩΝ ΟΜΑΔΑ ΚΑΤΑΝΟΗΣΗΣ ΠΟΛΥΜΕΣΩΝ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΑΝΑΚΑΤΑΣΚΕΥΗ ΤΡΙΣΔΙΑΣΤΑΤΟΥ ΑΝΤΙΚΕΙΜΕΝΟΥ ΜΕ ΤΗΝ ΒΟΗΘΕΙΑ ΔΟΜΗΜΕΝΟΥ ΦΩΤΟΣ Εκπόνηση Δημήτριος Μπέλλος Επιβλ. Καθηγητής Αναστάσιος Ντελόπουλος Θεσσαλονίκη Νοέμβριος 2016

2 ARISTOTLE UNIVERSITY OF THESSALONIKI FACULTY OF ENGINEERING DEPARTMENT OF ELECTRICAL AND COMPUTER ENGINEERING INFORMATION PROCESSING LABORATORY MULTIMEDIA UNDERSTANDING GROUP DIPLOMA THESIS RECONSTRUCTION OF 3D OBJECT WITH THE HELP OF STRUCTURED LIGHT Untertaken by Dimitrios Bellos Supervisor Anastasios Delopoulos Thessaloniki November 2016

3 Περίληψη Η παρούσα διπλωματική εργασία πραγματοποιήθηκε σε αποκλειστική συνεργασία του φοιτητή Δημήτριου Μπέλλου και του αναπληρωτή καθηγητή Αναστάσιου Ντελόπουλου του Αριστοτελείου Πανεπιστημίου Θεσσαλονίκης. Το θέμα αποφασίστηκε από κοινού των προαναφερόμενων προσώπων, στα πλαίσια των προπτυχιακών σπουδών του φοιτητή. Στην διπλωματική αυτή εργασία θα παρουσιαστεί μια μέθοδος η οποία χρησιμοποιώντας δομημένο φως προχωρά στην ανακατασκευή της τρισδιάστατης γεωμετρίας αντικειμένων με την χρήση μίας κάμερας και ενός προβολέα. Ακόμη στην παρούσα μέθοδο ο προβολέας προβάλει μόνιμα μια μονάχα εικόνα-μοτίβο με την μορφή πλέγματος. Πιο συγκεκριμένα στην διπλωματική αυτή εργασία θα εξηγηθεί το πρόβλημα το οποίο επιλύει η τρέχουσα μέθοδος αλλά και τους λόγους που παρουσιάζει ιδιαίτερη χρησιμότητα. Θα παρουσιαστούν ακόμη οι διάφορες μέχρι στιγμής προσεγγίσεις που έχουν προταθεί για την επίλυση του παραπάνω προβλήματος. Επίσης θα αναλυθεί σύντομα αλλά και αναλυτικά η λειτουργία του συστήματος με το οποίο η παρούσα μέθοδος ανακατασκευάζει την τρισδιάστατη γεωμετρία των αντικειμένων. Και τέλος παρουσιάζονται τα πειράματα που έγιναν τόσο με συνθετικά όσο και πραγματικά αντικείμενα.

4 Abstract The current diploma thesis has been written in an exclusive collaboration of the student Dimitrios Bellos and Assosiate Professor Anastasios Delopoulos of the Aristotle University of Thessaloniki. The subject was decided jointly by the above persons in the context of the undergraduate study. Τhis diploma thesis will present a method that uses structured light in order to proceed with the reconstruction of object s three-dimensional geometry using only one camera and one projector. In this method the projector projects permanently a single image-pattern that has the form of a grid. More specifically this diploma thesis will explain the problem which the presented method solves and the reasons why this method is particularly useful. It will also present various approaches that has been proposed so far in order to solve the aforementioned problem. Furthermore it will analyze in short and in detail the operation of the system which the presented method uses to reconstruct the threedimensional geometry of objects. Finally it will present experiments performed on both synthetic and real objects.

5 Ευχαριστίες Ολοκληρώνοντας την παρούσα Διπλωματική Εργασία, θα ήθελα να ευχαριστήσω τον Καθηγητή κ. Αναστάσιο Ντελόπουλο που με βοήθησε πάρα πολύ παρέχοντας μου τον απαραίτητο εξοπλισμό, τις συμβουλές και την καθοδήγηση του σε κάθε πτυχή αυτής της διπλωματικής εργασίας. Τέλος, θα ήθελα να ευχαριστήσω την οικογένεια μου, διότι χωρίς την στήριξη της δεν θα είχα καταφέρει να ολοκληρώσω τις σπουδές μου. Δημήτριος Μπέλλος Θεσσαλονίκη, Νοέμβριος 2016

6 Περιεχόμενα 1. Εισαγωγή Διατύπωση του προβλήματος: Ποιος είναι ο στόχος και που είναι χρήσιμη η μέθοδος που παρουσιάζεται Επισκόπηση μεθόδων εκτίμησης του βάθους και ιδίως με την χρήση Δομημένου Φωτός Συνοπτική περιγραφή της μεθόδου που υλοποιήθηκε Δομή της διπλωματικής εργασίας Μοντελοποίηση της Κάμερας και του Προβολέα Pinhole Model Το μοντέλο της μικρής οπής Το οπτικό πεδίο της κάμερας και κβαντισμός Το μοντέλο του προβολέα Βαθμονόμηση της Κάμερας και του Προβολέα Ενδογενείς και Εξωγενείς Παράμετροι (Intrinsic and Extrinsic Parameters) Ενδογενείς Παράμετροι (Intrinsic Parameters) και πως ορίζονται Εξωγενείς Παράγοντες (Extrinsic Parameters) και πως ορίζονται Η μέθοδος των Daniel Moreno και Gabriel Taubin Αναλυτική Περιγραφή του Συστήματος Εύρεση των επιπέδων στο χώρο για κάθε γραμμή του μοτίβου Εξίσωση του επιπέδου στο σύστημα συντεταγμένων του κόσμου (προβολέα) Εξίσωση του επιπέδου στο σύστημα συντεταγμένων της κάμερας Η αναγνώριση των κάθετων και οριζόντιων γραμμών Εύρεση των κορυφών Ομαδοποίηση και δεικτοδότηση γραμμών Εύρεση των διασταυρώσεων μεταξύ κατακόρυφων κόκκινων και οριζόντιων μπλε γραμμών Ομαδοποίηση των διασταυρώσεων σε διασυνδεδεμένα σύνολα (linked sets) Αντιστοίχιση των γραμμών που εντοπίστηκαν με αυτές του μοτίβου Επίλυση του ενός βαθμού ελευθερίας του γραμμικού συστήματος Η επιλογή του μοτίβου Ανακατασκευή της τρισδιάστατης εικόνας

7 5. Πειράματα Προσημειώσεις Συνθετικά Δεδομένα Ανακατασκευή πραγματικών αντικειμένων Ο χώρος εργασίας Η βαθμονόμηση με το πρόγραμμα των Daniel Moreno και Gabriel Taubin Η Ανακατασκευή της τρισδιάστατης γεωμετρίας των πραγματικών αντικειμένων Βιβλιογραφία... 53

8 1. Εισαγωγή 1.1 Διατύπωση του προβλήματος: Ποιος είναι ο στόχος και που είναι χρήσιμη η μέθοδος που παρουσιάζεται. Η ανακατασκευή της τρισδιάστατης γεωμετρίας δυναμικών σκηνών με αντικείμενα που δεν έχουν σύνθετη υφή(texture) άλλα έχουν όμως σύνθετη γεωμετρία αποτελεί ακόμη και σήμερα μια πρόκληση. Για την επίλυση αυτού του προβλήματος πολλές διαφορετικές λύσεις έχουν προταθεί αλλά γενικότερα χωρίζονται σε δύο κατηγορίες: Στην πρώτη γίνεται με την προβολή πολλών εικόνων-μοτίβων των οποίων το περιεχόμενο είναι πλήρως γνωστό και όχι ιδιαίτερα σύνθετο. Ταυτόχρονα με την προβολή τους γίνεται συγχρονισμένη λήψη φωτογραφιών του αντικειμένου όταν αυτές προβάλλονται πάνω του. Στην δεύτερη κατηγορία έχουμε την προβολή μιας ή γενικά λιγοστών εικόνων-μοτίβων το περιεχόμενο των οποίων είναι γνωστό αλλά σύνθετο. Ενώ με τις τεχνικές της πρώτη κατηγορίας είναι εφικτό να ανακατασκευαστεί ικανοποιητικά ένα αντικείμενο απαιτείται συνήθως ένας μεγάλος αριθμός εικόνωνμοτίβων. Το παραπάνω σημαίνει πως το αντικείμενο πρέπει να είναι σχετικά ακίνητο όσο χρόνο διαρκεί η συγχρονισμένη λήψη φωτογραφιών. Από την άλλη στις τεχνικές τις δεύτερης κατηγορίας αν και δεν υπάρχει απαίτηση το αντικείμενο να μην κινείται για ορισμένα διαστήματα παρόλα αυτά υπάρχουν άλλα προβλήματα. Επειδή κωδικοποιούν την πληροφορία της θέσης του κάθε εικονοστοιχείου(pixel) στα γειτονικά εικονοστοιχεία απαιτείται να παρθούν ορισμένες υποθέσεις για την γεωμετρία του αντικειμένου όπως και για το πώς ανακλούν το φως. Έτσι αν οι υποθέσεις αυτές δεν ικανοποιούνται υπάρχει η πιθανότητα λανθασμένης ανακατασκευής. Στην διπλωματική αυτή εργασία θα αναλυθεί πως γίνεται η ανακατασκευή της τρισδιάστατης γεωμετρίας αντικειμένων με την χρήση μίας κάμερας και ενός προβολέα ο οποίος προβάλει μια μόνο εικόνα-μοτίβο σε μορφή πλέγματος. Το πλεονέκτημα αυτής της μεθόδου είναι η ευρωστία της ακόμη και σε αντικείμενα που η γεωμετρία τους είναι σύνθετη και δεν έχουν απαραίτητο τα αντικείμενα να έχουν συγκεκριμένες ανακλαστικές ιδιότητες. Ακόμη δεν θέτει κάποιον περιορισμό στην ταχύτητα με την οποία τα αντικείμενα κινούνται εντός της σκηνής. Κάτι τέτοιο είναι πάρα πολύ χρήσιμο σε πολλές εφαρμογές στον χώρο της ψυχαγωγίας αλλά και γενικότερα στην βιομηχανία. 1

9 1.2 Επισκόπηση μεθόδων εκτίμησης του βάθους και ιδίως με την χρήση Δομημένου Φωτός Οπτικοί Μέθοδοι εκτίμησης βάθους χωρίς επαφή Παθητικές Ενεργές Παθητική Στερεοσκόπιση Ενεργές παραλλαγές παθητικών μεθόδων Σχήμα από Κίνηση -Ενεργή Στερεοσκόπιση Σχήμα από Υφή -Ενεργό Βάθος από Αποεστίαση Σχήμα από Σιλουέτες Σχήμα από Σκιά και Φωτομετρική στερεοσκόπιση Σχήμα από Εστίαση/Αποεστίαση Χρόνος Πτήσης Τριγωνοποίηση - Τριγωνοποίηση με laser -Δομημένο Φως Παθητικές Μέθοδοι Παθητική Στερεοσκόπιση (passive stereo) Έχουμε εικόνες οι οποίες λαμβάνονται ταυτόχρονα από δύο ξεχωριστές κάμερες με διαφορετικές θέσεις. Μία τέτοια διάταξη αναφέρεται ως στερεοσκοπική. Η βασική ιδέα είναι πως για δεδομένες δύο προβολές του ίδιου σημείου της πραγματικής σκηνής πάνω στις δύο εικόνες, η τρισδιάστατη θέση του βρίσκεται ως το σημείο τομής των δύο ακτινών προβολής. Απαιτεί πλήρη γνώση των καμερών: τις (σχετικές) θέσεις τους και κατευθύνσεις αλλά και ρυθμίσεις όπως το εστιακό μήκος (focal length) και οι ενδογενείς παράμετροί της(intrinsic parameters). Το δύσκολο στη στερεοσκοπική ανακατασκευή είναι η αντιστοίχιση των σημείων της μιας εικόνας στα αντίστοιχα της άλλης. Σχήμα από Κίνηση Η μέθοδος αυτή αποτελεί μια παραλλαγή της προηγούμενης, κατά την οποία οι δύο φωτογραφικές μηχανές έχουν αντικατασταθεί από μια μηχανή λήψης κινούμενης εικόνας που καταγράφει το αντικείμενο από διαφορετικές οπτικές γωνίες. Βασική προϋπόθεση για την εφαρμογή της μεθόδου είναι η απόλυτη ακινησία του αντικειμένου ενώ θεωρείται δεδομένο ότι δεν υπάρχουν κινητά μέρη πάνω του. Σχήμα από Υφή Η βασική αρχή πίσω από την τεχνική αυτή είναι οι παραμορφώσεις που δέχονται μεμονωμένα τα εικονοστοιχεία υφής (texels). Οι μεταβολές της υφής πάνω στην εικόνα επιτρέπουν την εκτίμηση του τρισδιάστατου σχήματος της επιφάνειας της οποίας ζητείται η ανακατασκευή. Στην συνέχεια με την χρήση ενός αρκετά σύνθετου αλγορίθμου για να αναφέρουμε πλήρως γίνεται η ανακατασκευή. 2

10 Σχήμα από Σιλουέτες Το αντικείμενο τοποθετείται πάνω σε ένα περιστρεφόμενο τραπέζι και σε τακτά χρονικά διαστήματα περιστροφής λαμβάνονται εικόνες. Σε καθεμιά εικόνα προσδιορίζεται το περίγραμμα του αντικειμένου. Η σιλουέτα σχηματίζει έναν κώνο ακτινών προβολής και αυτό συμβαίνει για κάθε προσανατολισμό της κάμερας. Η διασταύρωση αυτών με το φόντο αποδίδει ένα προσεγγιστικό σχήμα. Σχήμα από Εστίαση/Αποεστίαση Στην τεχνική αυτή η απόσταση στην οποία η κάμερα έχει την βέλτιστη εστίαση της είναι γνωστή. Φωτογραφίζοντας το αντικείμενο καθώς το μετακινούμε διαδοχικά πλησιάζοντας το στην κάμερα μπορούμε να υπολογίσουμε σε πια λήψη η εστίαση είναι βέλτιστη σε ένα συγκεκριμένο σημείο. Επειδή γνωρίζουμε σε κάθε λήψη πόσο μακριά από την κάμερα ήταν ένα επίπεδο αναφοράς το αντικειμένου (συνήθως το πίσω μέρος του) με υπολογισμούς μπορούμε να υπολογίσουμε την τρισδιάστατη πληροφορία. Η ίδια διαδικασία γίνεται έτσι για όλα τα σημεία του αντικειμένου οπότε και παίρνουμε την τρισδιάστατή εικόνα. Ενεργές Μέθοδοι Ενεργές παραλλαγές παθητικών μεθόδων Σε αυτές συγκαταλέγονται η Ενεργή Στερεοσκόπιση και το Ενεργό Βάθος από Αποεστίαση οι οποίες είναι παραλλαγές της Παθητικής Στερεοσκόπισης και του Σχήματος από Εστίαση/Αποεστίαση. Σε αυτές γίνεται ότι και στις παθητικές μεθόδους με την διαφορά ότι προβάλλονται γνωστά μοτίβα που βοηθούν στην ταυτοποίηση κάθε σημείου μεταξύ των διαφορετικών εικόνων. Σχήμα από Σκιά και Φωτομετρική Στερεοσκόπιση Με την μέθοδο Σχήμα από Σκιά γίνεται ανάκτηση του βάθους με τη βοήθεια των φωτοσκιάσεων. Για την ανάκτηση βάθους απαιτείται μία μόνο οπτική γωνία λήψης. Φυσικά για την πλήρη αποτύπωση του αντικειμένου απαιτούνται περισσότερες και οι όλη ιδέα δουλεύει με την χρήση ιδιαίτερα σύνθετων αλγορίθμων. Η μέθοδος της Φωτομετρικής Στερεοσκόπισης είναι μια παραλλαγή της τεχνικής Σχήμα από Σκιά. Η διαφορά τους βρίσκεται στο πλήθος φωτογραφιών που χρησιμοποιούνται για την ανακατασκευή του βάθους. Για την εφαρμογή των μεθόδων απαιτείται πλήρη γνώση των συνθηκών φωτισμού. Χρόνος Πτήσης Η βασική αρχή λειτουργίας των time-of-flight-αισθητήρων είναι η μέτρηση του χρόνου που ένα διαμορφωμένο σήμα (συνήθως ενός φωτός λέιζερ) χρειάζεται για να ταξιδέψει πριν επιστρέψει στον αισθητήρα. Κατανοεί κανείς ότι ο χρόνος αυτός είναι ανάλογος της απόστασης του σημείο του αντικειμένου στον οποίο προσπίπτει το διαμορφωμένο σήμα από την πηγή του διαμορφωμένου σήματος. Με τον τρόπο αυτό μπορούμε να βρούμε την τρισδιάστατη θέση του σημείου σε 3

11 σχέση με την θέση της πηγής στην οποία θέση είναι και ο αισθητήρας. Ανάλογα με τον χρησιμοποιούμενο τύπο κυμάτων οι συσκευές ονομάζονται radars (ηλεκτρομαγνητικά κύματα χαμηλής συχνότητας), sonars (ηχητικά κύματα) ή optical radars (οπτικά κύματα). Τριγωνοποίηση με laser Στην τριγωνοποίηση με laser έχουμε προβολή ενός μοτίβου με προβολέα laser και στην συνέχεια μια κάμερα το φωτογραφίζει συγχρονισμένα καθώς ο προβολέας μετακινεί ή γενικώς αλλάζει το μοτίβο. Το μοτίβο είναι συνήθως είτε σημείο-α ή, ευθεία-ες, ή τετράγωνο ή κύκλος και άρα αν επεκτείνουμε αυτά τα σχήματα στην τρίτη διάσταση έχουμε αντίστοιχα γραμμή-ες, επίπεδο-α, πρίσμα ή κύλινδρο. Για κάθε εικονοστοιχείο της κάμερας αν θεωρήσουμε το pinhole model υπάρχει μια ευθεία γραμμή στον χώρο η οποία είναι ο γεωμετρικός τόπος των σημείων που όλα θα προβάλλονταν στο κέντρο του εικονοστοιχείου. Βρίσκοντας τις τομές των ευθειών αυτών με τα προαναφερθέντα σχήματα στην Τρίτη διάσταση μπορούμε να βρούμε την απόστασή τους από την κάμερα. Σαφώς η θέση και προσανατολισμός της κάμερας σε σχέση με τον προβολέα πρέπει να είναι γνωστή. Ποιο αναλυτικά δίνεται παρακάτω μια ανάλυση για το δομημένο φως Ταξινομία μεθόδων δομημένου φωτός Με Πολύπλεξη Χρόνου Δυαδικοί Κώδικες Κώδικες n-ψηφίων Κωδικοποίηση Gray σε συνδιασμό με την διαφορά φάσης Υβριδικές Μέθοδοι Με Κωδικοποίηση γειτονικών στοιχείων Μη-τυπική κωδικοποίηση Ακολουθίες De Brujin Μαθηματικοί πίνακες Με Χρήση Άμεσης Κωδικοποίησης Κωδικοποίηση βασισμένη σε διαβαθμίσεις του γκρι. Κωδικοποίηση βασισμένη σε χρώμα. Πολύπλεξη χρόνου Αποτελεί μια από τις πιο δημοφιλείς τεχνικές και βασίζεται στην κωδικοποίηση πληροφορίας στον χρόνο. Με τον όρο κωδικοποίηση πληροφορίας στον χρόνο εννοούμε τη χρήση ενός συνόλου διαφορετικών μοτίβων που προβάλλονται περιοδικά ενώ ταυτόχρονα και συγχρονισμένα γίνεται λήψη φωτογραφιών. Παρακάτω εξηγούνται περιληπτικά πως λειτουργούν οι διάφορες υποκατηγορίες. 4

12 Δυαδικοί κώδικές Σε αυτή την τεχνική χρησιμοποιούνται δύο μόνο επίπεδα φωτισμού, τα οποία κωδικοποιούνται συνήθως ως 0 και 1. Κάθε εικονοστοιχείο(pixel) του μοτίβου έχει τη δική του λέξη κλειδί, που διαμορφώνεται από μια ακολουθία δυαδικών ψηφίων (0 και 1). Ένα σημαντικό χαρακτηριστικό της τεχνικής αυτής είναι ότι το μοτίβο κωδικοποιείται μόνο σε έναν άξονα κάθε φορά. Πολλοί ερευνητές έχουν ασχοληθεί με τη συγκεκριμένη κωδικοποίηση. Το 1982 οι Posdamer και Altschuler [1] ήταν οι πρώτοι που πρότειναν την προβολή μιας ακολουθίας m μοτίβων για να κωδικοποιηθούν 2m κάθετες ρίγες, χρησιμοποιώντας δυαδικές λέξεις-κλειδιά. Ως εκ τούτου, η λέξη-κλειδί που σχετίζεται με κάθε εικονοστοιχείο είναι μια δυαδική ακολουθία που παράχθηκε από m μοτίβα. Με τον όρο λέξη-κλειδί αναφερόμαστε στην πληροφορία που χαρακτηρίζει κάθε εικονοστοιχείο και που βοηθά στο να εντοπιστεί από πιο σημείο του μοτίβου προήλθε ώστε στην συνέχεια μέσω τριγωνοποίησης να υπολογιστεί η θέση του στον χώρο. Ο μέγιστος αριθμός των μοτίβων προβολής καθορίζεται από την ανάλυση σε εικονοστοιχεία της συσκευής προβολής. Φυσικά σε κανένα σύστημα δεν προτείνεται πολύ μεγάλος αριθμός μοτίβων, καθώς τα οπτικά συστήματα των σαρωτών πολλές φορές αδυνατούν να ανιχνεύσουν πολύ στενές ρίγες. Θα πρέπει ακόμα να σημειωθεί πως τα εικονοστοιχεία που ανήκουν στην ίδια ρίγα της υψηλότερης συχνότητας μοτίβων μοιράζονται την ίδια λέξη-κλειδί. Για το λόγο αυτό η τριγωνοποίηση στα περισσότερα συστήματα λαμβάνει υπόψη είτε από το κέντρο της κάθε ρίγας είτε τη μία άκρη της. Η δεύτερη μέθοδος έχει δειχθεί ότι αποφέρει καλύτερα αποτελέσματα. Οι Inokuchi et al. [2] βελτίωσαν την κωδικοποίηση των Posdamer και Altschuler εισάγοντας κωδικοποίηση σε αποχρώσεις του γκρι. Το πλεονέκτημα της μεθόδου έγκειται στον έλεγχο των λέξεων-κλειδιών με τη μέθοδο της απόστασης Hamming. Η κωδικοποίηση γίνεται έτσι πιο ανθεκτική στο θόρυβο. Ο Trobina [3] έδειξε πως το κρίσιμο σημείο σε τέτοια συστήματα ψηφιοποίησης είναι ο ακριβής εντοπισμός της κάθε ρίγας πάνω στην εικόνα. Πρότεινε μια τεχνική όπου με συγκεκριμένη μέθοδο μετατροπής σε ασπρόμαυρες φωτογραφίες (binarization) καταφέρνει να αναγνωρίζει τις ρίγες σε επίπεδο εικονοστοιχείου. Τα τελευταία χρόνια το ερευνητικό ενδιαφέρον έχει επικεντρωθεί σε τρόπους βελτίωσης της αναγνώρισης των ορίων των ριγών. Το 2001 ο Rocchini [4] πρότεινε την χρωματική αλλαγή των ριγών από άσπρο και μαύρο σε μπλε και κόκκινο για να καταφέρει την ευκολότερη αναγνώριση των ορίων των ριγών. Επιπρόσθετα εισήγαγε μια σχισμή πράσινου χρώματος μήκους ενός εικονοστοιχείου ανάμεσα σε κάθε ρίγα. Με τη μέθοδο αυτή οι μεταβάσεις ανάμεσα σε δύο διαδοχικές ρίγες γίνονται με την αναγνώριση της πράσινη σχισμής με ακρίβεια ενός εικονοστοιχείου. Κώδικες n-ψηφίων Η τεχνική αυτή έρχεται να μειώσει λίγο την χρήση πολλών μοτίβων που εμφανίζει η δυαδική κωδικοποίηση. Ο Caspi [5] παρουσίασε έναν κώδικα πολλών χρωματικών επιπέδων, ο οποίος βασίζεται σε αλφάβητο που αποτελείται από n 5

13 σύμβολα, όπου το κάθε σύμβολο αντιστοιχεί σε μία χρωματική τιμή. Με τη μέθοδο αυτή επιτυγχάνεται μείωση του πλήθους των απαιτούμενων μοτίβων. Έχει, επίσης, δειχθεί ότι η κωδικοποίηση n-ψηφίων επιτυγχάνει ακρίβεια μέτρησης και αντοχή στο θόρυβο παρόμοια με αυτή της δυαδικής κωδικοποίησης χρησιμοποιώντας λιγότερα μοτίβα. Κωδικοποίηση Gray σε συνδυασμό με διαφορά φάσης Η ενσωμάτωση των τεχνικών κωδικοποίησης Gray και διαφοράς φάσης οδηγούν σε μια τεχνική με τα πλεονεκτήματα και των δύο, οδηγώντας σε σαφή και ορθή κωδικοποίηση του μοτίβου διασφαλίζοντας ταυτόχρονα και υψηλή ανάλυση ιδίως με την πιο πρόσφατη μέθοδο του Guhring [6] αλλά είναι πολύ σημαντικό και πάλι η σκηνή να είναι στατική. Υβριδικές τεχνικές Στην βιβλιογραφία υπάρχουν πολλές μέθοδοι που βασίζονται στην πολλαπλή προβολή μοτίβων, στην πολύπλεξη χρόνου αλλά ταυτόχρονα και στην πληροφορία που μπορούν να παρέχουν γειτονικά εικονοστοιχεία. Η πιο πρόσφατη από αυτές τις μεθόδους είναι αυτή που υλοποίησαν οι Hall-Holt και Rusinkiewicz [7] με ιδιαίτερα ενδιαφέρον χαρακτηριστικό αυτής της τεχνικής ότι μπορεί να υποστηρίξει την τρισδιάστατη αποτύπωση τόσο κινούμενων αντικείμενων με τον περιορισμό όμως ότι η κίνηση πρέπει να είναι ομαλή. Αυτό επιτυγχάνεται χάρη στην έξυπνη κωδικοποίηση που εφαρμόζεται, καθώς και τη δυνατότητα αναγνώρισης των ριγών ανάμεσα στα διαφορετικά μοτίβα. Κωδικοποίηση γειτονικών στοιχείων Όλες σχεδόν οι τεχνικές που ανήκουν σε αυτή την κατηγορία χρησιμοποιούν ένα μοτίβο. Η λέξη κλειδί ενός συγκεκριμένο σημείου στο μοτίβο δημιουργείται από τα γειτονικά του σημεία. Αυτό έχει σαν αποτέλεσμα τη δυσκολότερη αποκωδικοποίηση, αφού πολλές φορές δεν είναι εφικτό να αναγνωριστούν σωστά όλα τα σημεία, και εισάγονται, έτσι, γεωμετρικά σφάλματα. Παρακάτω εξηγούνται περιληπτικά πως λειτουργούν οι διάφορες υποκατηγορίες. Μη τυπική κωδικοποίηση Πολλοί ερευνητές έχουν προτείνει τη χρήση μοτίβων που είναι σχεδιασμένα με τέτοιο τρόπο, ώστε να διαιρούνται σε ένα συγκεκριμένο πλήθος περιοχών. Οι Maruyama και Abe [8] σχεδίασαν ένα μοτίβο με τυχαία κατανεμημένα κενά. Τα τυχαία αυτά κενά δημιουργούν ένα σύνολο από γραμμικά τμήματα, όπου η θέση του κάθε τμήματος υπολογίζεται από το μήκος του και από το μήκος των γειτονικών τμημάτων. Η τεχνική αυτή έχει εφαρμογή μόνο σε αντικείμενα των οποίων η επιφάνεια παρουσιάζει ομαλές μεταβολές βάθους. Μια παραλλαγή του μοτίβου παρουσιάστηκε από την ερευνητική ομάδα του Durdle [9], κατά την οποία η κωδικοποίηση πραγματοποιείται σε ρίγες χρωματισμένες με τρία επίπεδα του γκρι (λευκό-λ, γκρίζο-γ και μαύρο-μ). Το μοτίβο παρουσιάζει την εξής μορφολογία χρωμάτων για τη διαδοχή των ριγών: ΜΛΓΛΒΓΛΓΜΓΛΜΓΜΛΜΓΛ. Τέλος μια άλλη 6

14 δουλειά σε αυτήν την κατηγορία μεθόδων είναι της ερευνητικής ομάδας του Chen [10] στην οποία το μοτίβο αποτελούνταν από χρωματιστές κάθετες σχισμές που χωρίζονταν από μαύρες ζώνες. Τα χρώματα επιλέγονταν μέσω ενός αλγορίθμου δοκιμής και λάθους με στόχο την χαμηλή αυτοσυσχέτιση τους στην συνιστώσα της απόχρωσης (Hue component). Στην μέθοδο αυτή για την επεξεργασία των δεδομένων γίνεται η χρήση δυναμικού προγραμματισμού που απαιτεί η επιφάνειες να έχουν σταθερή μονοτονία (δεν μπορούν να έχουν πολλαπλές κοιλάδες ή κορυφές) ώστε τα αποτελέσματα να είναι εύρωστα. Ακολουθίες De Bruijn Για την κωδικοποίηση των μοτίβων χρησιμοποιούνται επίσης και οι ακολουθίες De Bruijn. Πολλές είναι οι ερευνητικές εργασίες που πραγματεύονται το συγκεκριμένο τρόπο κωδικοποίησης. Οι πιο σημαντικές είναι των Salvi [11], Petriu [12] και Lavoie et al [13]. Πρόσφατα οι Zhang et al. [15] ανέπτυξαν άλλη μια τεχνική βασισμένη στην κωδικοποίηση De Bruijn κάνοντας χρήση της δουλειάς της ομάδας του Chen [14] λύνοντας το πρόβλημα της μονοτονίας εισάγωντας τον multi-pass δυναμικό προγραμματισμό και ακόμη επαναπροβάλλοντας το μοτίβο τους μετατοπισμένο στον χρόνο (πολυπλεξία στον χρόνο) κατάφεραν να έχουν υψηλής ποιότητας αποτελέσματα για στατικές όμως σκηνές. Μαθηματικοί πίνακες Εφαρμογή στη σάρωση με προβολή μοτίβων έχουν βρει και οι μαθηματικοί πίνακες αφού τα χαρακτηριστικά τους βοηθούν στη διαδικασία κωδικοποίησης. Η χρήση πινάκων για κωδικοποίηση των σημείων του μοτίβου προϋποθέτει την αμφίδρομη κωδικοποίηση και στους δύο άξονες (x,y), αφού κάθε σημείο του μοτίβου φέρει διαφορετική λέξη-κλειδί για τις κάθετες και οριζόντιες συντεταγμένες. Σημαντικές εργασίες στη συγκεκριμένη τεχνική είναι αυτές των Petriu et al [15]., Spoelder et al. [16] και Griffin et al. [17]. Η κωδικοποίηση με βάση τους μαθηματικούς πινάκες μπορεί να εφαρμοστεί σε αντικείμενα όπου άλλες τεχνικές όπως τα χρωματιστά μοτίβα δεν λειτουργούν ικανοποιητικά. Αυτό οφείλεται στο γεγονός ότι η χρωματική ποικιλομορφία που παρουσιάζει η επιφάνεια ενός αντικειμένου εμποδίζει την αναγνώριση των παραμορφώσεων που δέχεται το μοτίβο. Παρόλα αυτά δεν μπορεί να υπάρξει κάποια βελτίωση σε ότι αφορά σφάλματα που προέρχονται από την γεωμετρία του αντικειμένου. Άμεση κωδικοποίηση Η αρχή αυτής της μεθοδολογίας σχετίζεται με τη δημιουργία ενός μοτίβου, όπου κάθε εικονοστοιχείο μπορεί να περιγραφεί μονάχα από τη χρωματική πληροφορία που αυτό φέρει. Η άμεση κωδικοποίηση εφαρμόζεται κυρίως σε μονόχρωμα αντικείμενα χωρίς έντονες επιφανειακές ανακλάσεις και προαπαιτεί μια διαδικασία βαθμονόμησης για την αναγνώριση όλου του χρωματικού φάσματος που παρουσιάζει το αντικείμενο. Παρακάτω εξηγούνται περιληπτικά πως λειτουργούν οι διάφορες υποκατηγορίες 7

15 Κωδικοποίηση βασισμένη σε διαβαθμίσεις του γκρι Οι Carrihill και Hummel [18] ανέπτυξαν ένα σύστημα, το οποίο ονόμασαν αισθητήρας βάθους βασιζόμενος στο λόγο έντασης (intensity ratio depth sensor). Το μοτίβο αποτελείται από ένα σύνολο στηλών που περιέχουν χρωματικές διαβαθμίσεις του γκρι. Ο λόγος έντασης της απόχρωσης του γκρι υπολογίζεται σε όλα τα εικονοστοιχεία του μοτίβου. Τα αποτελέσματα της μεθόδου είναι πολύ χαμηλής ποιότητας αφού η κλίμακα του σφάλματος αγγίζει το 1 εκατοστό. Η μέθοδος βελτιώθηκε από άλλους ερευνητές όπως οι Miyasaka et al [19], Chazan και Kiryati [20]. Κωδικοποίηση βασισμένη σε χρώμα Η μέθοδος βασίζεται στην ίδια αρχή με την προηγούμενη, με μοναδική διαφορά στο ότι το πλήρες χρωματικό φάσμα έρχεται να αντικαταστήσει τις διαβαθμίσεις του γκρι. Οι Tajima και Iwakawa [21] χρησιμοποίησαν τα χρώματα του ουράνιου τόξου. Ο Sato [22], όμως, το 1999 υποστήριξε ότι χρειάζεται ένα σύνθετο οπτικό σύστημα (κάμερα με οπτικά φίλτρα) για να συλλάβει ένα τέτοιο χρωματικό φάσμα. 8

16 1.3 Συνοπτική περιγραφή της μεθόδου που υλοποιήθηκε Στην μέθοδο που παρουσιάζεται στην παρούσα διπλωματική εργασία γίνεται χρήση δομημένου φωτός με την βοήθεια μίας κάμερας και ενός προβολέα. Η κάμερα και ο προβολέας πρέπει να είναι βαθμονομημένοι και επιπλέον η θέση και ο προσανατολισμός της κάμερας σε σχέση με αυτή του προβολέα θα πρέπει να είναι γνωστοί. Κατά την σάρωση προβάλλεται ένα μόνο μοτίβο συνεχόμενα το οποίο έχει την παρακάτω μορφή: Σχήμα 1.1 Η μορφή του μοτίβου Οι κόκκινες οριζόντιες γραμμές έχουν επιλεχτεί να απέχουν ίση απόσταση η μία από την άλλη ενώ για τις μπλε επιλέχτηκαν τυχαία. Ο λόγος που γίνεται αυτό εξηγείται στο Κεφάλαιο 4.7 παρακάτω. Η θέση της κάθε γραμμής είναι γνωστή και σε συνδυασμό με τις παραμέτρους βαθμονόμησης μπορούμε να ξέρουμε τις εξισώσεις των επιπέδων που οι γραμμές αυτές σχηματίζουν προβαλλόμενες στον χώρο είτε προς το σύστημα συντεταγμένων του προβολέα είτε της κάμερας. Σχήμα 1.2 Η διάταξη προβολέα και κάμερας στο σύστημα μας 9

17 Ακόμη έχοντας θεωρήσει pinhole model (αναλυτικά στο Κεφάλαιο 2) ως το μοντέλο της κάμερας γνωρίζουμε ότι κάθε σημείο στις εικόνες προκύπτει από την προβολή κάποιου σημείου στον χώρο που ανήκει σε μια ευθεία μοναδική για κάθε σημείο στην εικόνα. Στο σύστημά μας αφού αρχικά ανιχνευτούν οι γραμμές πάνω στο αντικείμενο στην φωτογραφία που πήρε η κάμερα και βρεθεί από ποιο επίπεδο του μοτίβου προέρχεται η κάθε μια, λύνοντας το σύστημα επιπέδου-ευθείας (η ευθεία είναι αυτή που προαναφέραμε, μοναδική για κάθε σημείο στην εικόνα) μπορούμε να βρούμε την θέση στο χώρο για κάθε σημείο της εικόνας στο οποίο βρέθηκε κάποια από τις γραμμές του μοτίβου. 1.4 Δομή της διπλωματικής εργασίας Στο Κεφάλαιο 2 θα αναλύσουμε το μοντέλο με το περιγράφουμε την κάμερα και τον προβολέα Στο Κεφάλαιο 3 θα περιγράψουμε αναλυτικά τους παραμέτρους βαθμονόμησης της κάμερας και του προβολέα καθώς και την μέθοδο που χρησιμοποιήθηκε στην παρούσα διπλωματική εργασία για την ταυτόχρονη βαθμονόμηση κάμερας και προβολέα. Στο Κεφάλαιο 4 γίνεται μια διεξοδική περιγραφή της μεθόδου που υλοποιήθηκε αναφέροντας ξεχωριστά κάθε βήμα από την είσοδο των δεδομένων έως την ανακατασκευή της τρισδιάστατης γεωμετρίας του αντικειμένου. Στο Κεφάλαιο 5 γίνεται αναφορά στα πειράματα που έλαβαν μέρος τόσο με συνθετικά αντικείμενα όσο και με πραγματικά αντικείμενα. 10

18 2. Μοντελοποίηση της Κάμερας και του Προβολέα 2.1 Pinhole Model Το μοντέλο της μικρής οπής Υπάρχουν πολλά διαφορετικά μοντέλα με τα οποία μπορεί να περιγράψει κανείς την αρχή λειτουργίας μια φωτογραφικής μηχανής, ανάλογα με τις ιδιότητες τις οποίες θέλει να την περιγράψει, το βαθμό ακρίβειας που επιθυμεί, και την εφαρμογή για την οποία προορίζεται η κάμερα. Όσον αφορά την περίπτωση της ανακατασκευής τρισδιάστατων αντικειμένων αυτό που έχει ενδιαφέρον είναι η ακρίβεια όσον αφορά την εύρεση του σημείου στον χώρο γνωρίζοντας σε ποιο σημείο στην εικόνα αυτό προβλήθηκε. Το μοντέλο της μικρής οπής είναι ένα απλουστευμένο, αλλά χωρίς μεγάλες αποκλίσεις από την πραγματικότητα, μοντέλο που εξηγεί τον μηχανισμό προβολής ενός σημείο πάνω στο επίπεδο της εικόνας (image plane). Με την όρο επίπεδο της εικόνας εννοούμε την επίπεδη επιφάνεια στην οποία σχηματίζεται η εικόνα προς λήψη και στις μηχανές με φιλμ αυτό είναι το φιλμ ενώ στις ψηφιακές ο CCD αισθητήρας. Στο σχήμα παρακάτω φαίνεται η γεωμετρική ερμηνεία της κάμερας μικρής οπής. Η κάμερα μικρής οπής αποτελείται από ένα φωτοστεγανό κουτί. Στη μία πλευρά αυτού του κουτιού υπάρχει μια μικρή οπή μέσω της οποίας διέρχονται ακτίνες φωτός της σκηνής που προβάλλονται ως εικόνες στην άλλη άκρη του κουτιού. Σχήμα 2.1 Το μοντέλο της μικρής οπής (pinhole model) 11

19 Αν τώρα θεωρήσουμε την οπή ως σημειακή, η συσκευή που προκύπτει υλοποιεί απόλυτα το μαθηματικό μοντέλο προβολής και κατά κανόνα οι αλγόριθμοι της υπολογιστικής όρασης θεωρούν ότι οι εικόνες έχουν ληφθεί με αυτό τον τρόπο. Στην πράξη μια τέτοια σημειακή οπή δεν υλοποιείται και το μέγεθός της σχετίζεται με την ποσότητα του φωτός που προσπίπτει στην επιφάνεια προβολής. Παρατηρώντας το παραπάνω σχήμα βλέπουμε ότι οι διερχόμενες από την οπή οπτικές ακτίνες, προσπίπτοντας στο επίπεδο της εικόνας, δημιουργούν ένα ανεστραμμένο είδωλο του αντικειμένου. Στο σχήμα παρακάτω φαίνεται αναλυτικότερα η προβολή ενός σημείου (Α). Σχήμα 2.2 Η προβολή ενός σημείου Α με το μοντέλο της μικρής οπής Το σημείο C είναι η εστία της κάμερας ή το οπτικό κέντρο και παριστάνει το σημείο στο οποίο βρίσκεται η μικρή οπή. Η απόσταση του C από το επίπεδο της εικόνας ονομάζεται εστιακή απόσταση (focal length) και την συμβολίζουμε με w. Από την γεωμετρία του σχήματος υπολογίζεται η παρακάτω σχέση. Α Β w = AB z (2.1) Mε z να είναι η οριζόντια απόσταση του προβαλλόμενου σημείου Α από την εστία της κάμερας. Αν και από φυσικής άποψης το είδωλο (προβολή) του σημείου A είναι το A, από μαθηματικής άποψης είναι πιο βολικό να θεωρείται ως είδωλο το συμμετρικό του A ως προς C, δηλαδή το σημείο A. Τα A και Α έχουν την ίδια απόσταση από την εστία της κάμερα αλλά με αντίθετο πρόσημο. Το επίπεδο στο οποίο βρίσκονται τα Α και Β είναι το εικονικό επίπεδο της εικόνας (virtual image plane). Έτσι μπορεί κανείς να γράψει την παρακάτω σχέση: Α Β w = AB z (2.2) 12

20 Στην ουσία η κάμερα είναι μια συσκευή που εκτελεί έναν μετασχηματισμό προοπτικής προβολής από τον τρισδιάστατο χώρο, N 3, στο δισδιάστατο χώρο N 2, ο οποίος είναι το εικονικό επίπεδο το εικόνας. Αν προσπαθήσουμε να περιγράψουμε τις σχέσεις των καρτεσιανών συντεταγμένων ενός σημείου στον τρισδιάστατο χώρο με αυτές της προβολής του στην εικόνα, οι σχέσεις που προκύπτουν είναι μη γραμμικές. Παρακάτω δίνονται οι σχέσεις για την προοπτική προβολή ενός σημείου p = [x p, y p, z p ] T στο σημείο q = [x q, y q ] T : x q = wx p z, y q = wy p z (2.3) Στις παραπάνω σχέσεις αξίζει να σημειώσουμε ότι το πρόσημο των x q, y q θα έπρεπε να είναι αντίθετο με αυτών x p, y p αντίστοιχα. Ο λόγος που δεν συμβαίνει εδώ είναι επειδή το σημείο q είναι σημείο του εικονικού επιπέδου προβολής και όχι το πραγματικού. Στην συνέχεια θα μπορούσαμε να θεωρήσουμε πως το κέντρο συντεταγμένων της κάμερας έχει σαν αρχή το σημείο C και το μοναδιαίο διάνυσμα ẑ c είναι το κάθετο στο εικονικό επίπεδο της εικόνας. Ακόμη θα μπορούσαμε να θεωρήσουμε πως το εικονικό επίπεδο της εικόνας είναι το επίπεδο z c = 0. Κάτι τέτοιο έρχεται σε σύγκρουση με τα προηγούμενα ότι το εικονικό επίπεδο της εικόνας απέχει w από την εστία της κάμερας C. Παρόλη όμως την ασυμβατότητα αυτή με το αληθινό μοντέλο δεν θα υπάρξουν σφάλματα στον υπολογισμό αφού η επίδραση του w θα ληφθεί υπόψιν μέσω των εξισώσεων (2.3). Έτσι η θέση του σημείου q ως προς το σύστημα συντεταγμένων της κάμερας είναι q = [ wx p z, wy p z, 0]T.Το προηγούμενο μπορεί να γραφτεί κάνοντας χρήση ομογενών συντεταγμένων και πράξεις πινάκων ως εξής: q = Mp 1 x q y q [ z p z q 1 w 0 ] = [ 0 w ] [ 0 0 z p x p y p ] (2.4) Ο ενδιάμεσος πίνακας M είναι ένας πάρα πολύ σημαντικός πίνακας για την κάμερα και ονομάζεται πίνακας προβολής (projection matrix) καθώς χρησιμοποιείται σε μεθόδους που υπολογίζουν τους ενδογενής και εξωγενής παραμέτρους της κάμερας κατά την βαθμονόμηση. 2.2 Το οπτικό πεδίο της κάμερας και κβαντισμός Μια ακόμη πολύ σημαντική πτυχή για το μοντέλο της κάμερας είναι το οπτικό της πεδίο. Προηγουμένως περιγράψαμε πως ένα σημείο στον χώρο προβάλλεται προοπτικά πάνω στο εικονικό επίπεδο της εικόνας χωρίς κανένα περιορισμό ως προς το μέγεθος αυτού του επιπέδου προβολής. Όπως είναι λογικό μόνο ορισμένα σημεία θα προβληθούν στην τελική φωτογραφία και αυτό γιατί το μέσο σύλληψη του φωτός (φιλμ ή CCD αισθητήρας) έχει ένα περιορισμένο φυσικό μέγεθος. Το ποια σημεία θα 13

21 συμπεριληφθούν στην φωτογραφία εξαρτάται από το μήκος και το ύψος αυτού του μέσου καθώς και την εστιακή απόσταση. Όσο μεγαλύτερο είναι το φιλμ ή ο CCD αισθητήρας τόσα περισσότερα σημεία θα προβληθούν. Ακόμη μειώνοντας την εστιακή απόσταση η γωνία θέασης αυξάνει όπως φαίνεται και στην εικόνα παρακάτω. Σχήμα 2.3 Η επίδραση της εστιακής απόστασης στο οπτικό πεδίο της κάμερας Τέλος όσον αφορά της ψηφιακές φωτογραφικές μηχανές ανάλογα με τον αριθμό των εικονοστοιχείων (pixels) γίνεται και μια διακριτοποίηση των σημείων στον χώρο και στην συνέχεια γίνεται κβαντισμός του επιπέδου της φωτεινότητας με βάση κάποια προκαθορισμένη κλίμακα. 2.3 Το μοντέλο του προβολέα Όπως για την κάμερα έτσι και για τον προβολέα υπάρχουν πολλά διαφορετικά μοντέλα με τα οποία μπορείς να τον περιγράψεις. Παρόλα αυτά μια από της πιο απλές και ταυτόχρονα καλές προσεγγίσεις είναι αυτή της αντιστρόφου κάμερας. Βάση αυτήν ο προβολέας δεν είναι τίποτε άλλο παρά μια κάμερα που αντί να δέχεται φως και προβάλει ότι βλέπει στο επίπεδο της εικόνας αντίθετα εκπέμπει φως στο χώρο προς κάθε σημείο που δυνητικά θα προβαλλόταν στο επίπεδο της εικόνας. Έτσι θεωρώντας τον προβολέα μία αντίστροφη κάμερα μοντέλου μικρής οπής το σημείο C είναι πλέον το οπτικό κέντρο του προβολέα και για κάθε σημείο q προβάλει μια δέσμη φωτός στο σχήμα ευθείας γραμμής το χρώμα της οποίας είναι αυτό που ορίζεται από την προβαλλόμενη εικόνα για το σημείο q = [x q, y q ] T. Η εξίσωση της ευθείας θεωρώντας πάλι ως αρχή του συστήματος συντεταγμένων το οπτικό κέντρο του προβολέα και το μοναδιαίο διάνυσμα ẑ c είναι το κάθετο στο επίπεδο της εικόνας με βάση τις εξισώσεις (2.3) είναι: 14

22 x = y = z x q y q w (2.5) Όπως είναι λογικό ένας ψηφιακός προβολέας δεν μπορεί να προβάλει δέσμες φωτός με διαφορετικό χρώμα για κάθε σημείο, αντ αυτού ανάλογα και με την ανάλυση του (αριθμός των εικονοστοιχείων-pixel του chip) για τα σημεία που ανήκουν στο ίδιο εικονοστοιχείο (pixel) στέλνεται φως με το ίδιο χρώμα. Ακόμη σε πολλούς προβολείς δεν στέλνεται το συνολικό χρώμα κάθε στιγμή αλλά μόνο μία από τις τρεις χρωματικές συνιστώσες RGB (Κόκκινο-Πράσινο-Μπλε) του φωτός και η ένταση τους υπαγορεύεται από το εκάστοτε εικονοστοιχείο της προβαλλόμενης εικόνας. Η ψευδαίσθηση του χρώματος στο μάτι προκαλείτε επειδή η εναλλαγή των χρωματικών συνιστωσών στον χρόνο (Κόκκινο, Πράσινο, Μπλε, Κόκκινο, ) γίνεται με μεγάλη ταχύτητα και το μάτι βλέπει την σύνθεση τους. Τέλος όπως και στις κάμερες έτσι και στους προβολείς η εικόνα που προβάλλεται έχει ορισμένα φυσικά όρια. Το μέγεθος της ορίζεται και πάλι από το μέγεθος του chip-s που έχει μέσα του ο προβολέας (τα κυρίαρχα είναι τα LCD και DLP chips) και από το μέγεθος της εστιακής απόστασης την οποία ο χρήστης έχει θέσει μεταξύ των διαθέσιμων. 15

23 3. Βαθμονόμηση της Κάμερας και του Προβολέα 3.1 Ενδογενείς και Εξωγενείς Παράμετροι (Intrinsic and Extrinsic Parameters) Παρατηρώντας τη μορφή του πίνακα M στην παράγραφο 2.1, διαπιστώνουμε πως αυτή είναι αρκετά απλή. Αυτό είναι αποτέλεσμα κάποιων αποδοχών που κάναμε. Μία από αυτές είναι η υπόθεση ότι το εστιακό κέντρο της κάμερας C βρίσκεται την αρχή του συστήματος συντεταγμένων του κόσμου (World Coordinate System, WCS). Επιπλέον θεωρήσαμε ότι οι κατευθύνσεις των αξόνων της κάμερας (οι 2 άξονες επί του εικονικού επιπέδου της εικόνας και ο τρίτος άξονας που είναι κάθετος στο επίπεδο αυτό) συμπίπτουν με τις κατευθύνσεις των αξόνων του συστήματος συντεταγμένων του κόσμου. Συνδυάζοντας τα δύο προηγούμενα εν συντομία θεωρήσαμε το σύστημα συντεταγμένων της κάμερας (Camera Coordinate System, CCS) ίδιο με αυτό του κόσμου (WCS). Το πρόβλημα με αυτήν την θεώρηση είναι πως δεν μπορούμε να υπολογίσουμε την προβολή ενός σημείο στο εικονικό επίπεδο της εικόνας με τις εξισώσεις (2.3) αν προηγουμένως δεν εκφράσουμε τις συντεταγμένες του στο σύστημα συντεταγμένων της κάμερας. Άλλη μια υπόθεση είναι ότι το εστιακό κέντρο της κάμερας C (principal point) βρίσκεται στο κέντρο του μέσου με το οποίο κάνουμε σύλληψη του φωτός (φιλμ ή CCD). Ακόμη δεν έχουμε λάβει υπόψιν μας ότι στις ψηφιακές φωτογραφίες τα σημεία είναι διακριτοποιημένα όπως είπαμε προηγουμένως σε εικονοστοιχεία των οποίων η αρίθμηση ξεκινά από την πάνω αριστερή γωνία της φωτογραφίας, δηλαδή το σύστημα συντεταγμένων της εικόνας (Image Coordinate System) δεν είναι το ίδιο με το σύστημα συντεταγμένων της κάμερας ούτε σε θέση, ούτε σε μονάδες μήκους. Τέλος από την στιγμή που έχουμε το ίδιο μοντέλο και για τον προβολέα δεν είμαστε σε θέση να υπολογίσουμε την εξίσωση (2.5) καθώς το σημείο q = [x q, y q ] T το γνωρίζουμε σε μέγεθος εικονοστοιχείων και στο σύστημα συντεταγμένων της εικόνας που θέλουμε να προβάλουμε και όχι στο σύστημα συντεταγμένων του προβολέα. 16

24 Σχήμα 3.1 Απεικόνιση τις χρησιμότητας των ενδογενών και εξωγενών παραμέτρων Το πρόβλημά μας τώρα ανάγεται στην εύρεση των παραμέτρων αυτών ώστε να είναι δυνατή η αντιστοίχιση ενός σημείου στον τρισδιάστατο χώρο με εκφρασμένες στις συντεταγμένες του στο σύστημα συντεταγμένων του κόσμου WCS σε ένα σημείο της εικόνας που οι συντεταγμένες του είναι σε εικονοστοιχεία (pixels) και είναι στο σύστημα συντεταγμένων της εικόνας. Η εικόνα αυτή μπορεί να είναι είτε η εικόνα που θα προβάλλει ο προβολέας είτε η εικόνα που φωτογράφησε η κάμερα. Επίσης θα πρέπει να είναι δυνατόν να εκφράσουμε ένα σημείο από συντεταγμένες εικόνας (pixels) σε συντεταγμένες είτε στο σύστημα συντεταγμένων της κάμερας είτε στο σύστημα συντεταγμένων του προβολέα αναλόγως σε ποια εικόνα αναφερόμαστε. Η λύση εδώ μπορεί να βρεθεί με την γνώση των παραμέτρων της κάμερας και του προβολέα. Οι παράμετροι αυτοί χωρίζονται στις εσωγενείς (intrinsic) και στις εξωγενείς (extrinsic). Οι πρώτες παραμένουν αμετάβλητες καθώς εξαρτώνται μονάχα από την ίδια τη συσκευή και τις ρυθμίσεις που έχουν επιλεγεί σε αυτήν ενώ οι δεύτερες εξαρτώνται τόσο από τη θέση όσο και από τον προσανατολισμό των συστημάτων της κάμερας και του προβολέα ως προς το σύστημα συντεταγμένων του κόσμου. Για ευκολία μπορούμε να επιλέξουμε ένα από τα δύο συστήματα ως το σύστημα συντεταγμένων του κόσμου και γι αυτό επιλέγουμε αυθαίρετα το σύστημα συντεταγμένων του κόσμου να είναι αυτό του προβολέα. Με τον τρόπο αυτό οι μόνοι εξωγενείς παράγοντες που πρέπει να βρεθούν είναι αυτοί της κάμερας και όσον αφορά του ενδογενείς αυτοί πρέπει να βρεθούν και για τις δύο συσκευές αφού εξαρτώνται από το πώς αυτές έχουν κατασκευαστεί. 17

25 3.2 Ενδογενείς Παράμετροι (Intrinsic Parameters) και πως ορίζονται Για την εύρεση των ενδογενών παραμέτρων είτε αυτοί είναι της κάμερας είτε του προβολέα κάνουμε την παραδοχή ότι έχουμε ήδη εκφράσει τις συντεταγμένες των σημείων του χώρου στο σύστημα συντεταγμένων αντίστοιχα είτε της κάμερας είτε του προβολέα. Για να τις εκφράσουμε στα συστήματα αυτά κάνουμε χρήση των εξωγενών παραμέτρων τους οποίους θα ορίσουμε στο παρακάτω κεφάλαιο. Ακόμη κάνουμε την παραδοχή ότι η κάμερα και ο προβολέας είναι ψηφιακοί κάτι απαραίτητο για τις εφαρμογές υπολογιστικής όρασης. Θα προσπαθήσουμε τώρα να βρούμε πως πρέπει να μετασχηματίσουμε τις συντεταγμένες ενός σημείου στο χώρο ώστε να βρούμε τις συντεταγμένες στις οποίες αυτό θα προβληθεί ως προς το σύστημα συντεταγμένων της εικόνας. Να διευκρινίσουμε αν και ειπώθηκε και πρωτύτερα ότι το σύστημα συντεταγμένων της εικόνας έχει αρχή την πάνω και αριστερή γωνία της εικόνας, οι άξονες του έχουν ίδια διεύθυνση με αυτή του συστήματος συντεταγμένων της κάμερας (ή του προβολέα) και ότι είναι ορθό αλλά όχι κανονικό. Αυτό συμβαίνει γιατί στους CCD αισθητήρες τα εικονοστοιχεία (pixelσ) δεν είναι συνήθως τελείως τετράγωνα. Έτσι οι μονάδες μήκους του u άξονα είναι το μήκος ενός εικονοστοιχείου du (mm/du) ενώ για τον v άξονα, μονάδες μέτρησης είναι το ύψος ενός εικονοστοιχείου dv (mm/dv). Με βάση τα προηγούμενα προκύπτουν τα εξής για ένα σημείο στον χώρο. x u = c x + w, v = c du z y + w dv y z (3.1) Όπου c x και c y είναι οι συντεταγμένες του εστιακού κέντρου (principal point) στο σύστημα συντεταγμένων της εικόνας και τα x,y,z όπως είπαμε εκφρασμένα στο σύστημα συντεταγμένων της κάμερας (ή του προβολέα). Για να μπορέσουμε να εκφράσουμε τα παραπάνω με μορφή πίνακα δημιουργούμε τα εξής μεγέθη. Έτσι η (3.1) γράφεται x = x z, y = y z, s x = 1 du, s y = 1 dv u s x 0 c x w 0 0 x [ v] = [ 0 s y c y ] [ 0 w 0] [ y Τέλος αν θέσουμε f x = ws x, f y = ws y έχουμε: u f x 0 c x x u x [ v] = [ 0 f y c y ] [ y ] [ v] = K [ y (3.2) ] (3.3) ] (3.4) Και ο πίνακας Κ ονομάζεται πίνακας ενδογενών παραμέτρων (Intrinsic Matrix) 18

26 Ακόμη να πούμε πως τα x, y είναι συντεταγμένες στο κανονικοποιημένο συστήμα συντεταγμένων της κάμερας (ή του προβολέα), δηλαδή με μονάδα μέτρησης το μήκος της εστιακής απόστασης w (mm/w) αφού ισχύει: x = x q, w y = y q w (3.5) Τέλος αν θέλουμε να πάμε από τις συντεταγμένες του συστήματος συντεταγμένων της εικόνας (pixels) στις συντεταγμένες του κανονικοποιημένου συστήματος συντεταγμένων της κάμερας (ή του προβολέα) δεν έχουμε παρά να πολλαπλασιάσουμε με τον αντίστροφο του πίνακα Κ. x [ y ] = 1 [ 1 fx 0 c x fx 0 1 fy c y fy ] u [ v 1 ] (3.6) 3.3 Εξωγενείς Παράγοντες (Extrinsic Parameters) και πως ορίζονται Όπως είπαμε στο προηγούμενο κεφάλαιο με την χρήση των εξωγενών παραμέτρων μπορούμε να μεταβούμε από το σύστημα συντεταγμένων του κόσμου στο σύστημα συντεταγμένων της κάμερα ή του προβολέα. Ακόμη είπαμε ότι για λόγους ευκολίας θεωρούμε αυθαίρετα πως το σύστημα συντεταγμένων του κόσμου είναι το ίδιο με το σύστημα συντεταγμένων του προβολέα. Έτσι απαιτείται η εύρεση μόνο των εξωγενών παραμέτρων της κάμερας αφού για τον προβολέα δεν χρειάζεται καμία αλλαγή. Για να μπορέσουμε να μεταβούμε από το ένα σύστημα στο άλλο θα πρέπει πρώτα να μετατοπίσουμε την αρχή του συστήματος του κόσμου πάνω στην αρχή του συστήματος συντεταγμένων της κάμερας. Αν το κέντρο της κάμερα βρίσκεται στην θέση Τ = [x Τ, y Τ, z Τ ] T εκφρασμένο ως προς το σύστημα συντεταγμένων του κόσμου τότε οι νέες συντεταγμένες ενός σημείου Α = [x Α, y Α, z Α ] T είναι οι εξής: x A x Τ Α new = A Τ = [ y A y Τ ] (3.7) z A z Τ Η αφαίρεση γίνεται γιατί η διαδικασία με την οποία το σύστημα μετατοπίζεται κατά ένα διάνυσμα Τ είναι ισοδύναμη με το σύστημα να μένει ακίνητο και το σημείο Α να μετατοπίζεται κατά ένα διάνυσμα Τ. Για να κάνουμε ταυτόσημα στην συνέχεια τα δύο συστήματα πρέπει στρέψουμε το σύστημα του κόσμου ώστε να έχει τον ίδιο προσανατολισμό με αυτό της κάμερας. Αποδεικνύονται τα παρακάτω: 19

27 x A x A x Τ Αν A = [ y A ] = [ y A y Τ ] z A z A z Τ x B cosθ sinθ 0 x A Το Β = [ y B ] = [ sinθ cosθ 0] [ y A ] προκύπτει αν περιστρέψεις το Α γύρω από zb z A τον z άξονα κατά θ. x B cosθ 0 sinθ x A Το Β = [ y B ] = [ ] [ y A ] προκύπτει αν περιστρέψεις το Α γύρω από zb sinθ 0 cosθ z A τον y άξονα κατά θ. x B x A Το Β = [ y B ] = [ 0 cosθ sinθ] [ y A ] προκύπτει αν περιστρέψεις το Α γύρω από zb 0 sinθ cosθ z A τον x άξονα κατά θ. Και συνολικά x B Το Β = [ y B cosα sinα 0 cosβ 0 sinβ ] = [ sinα cosα 0] [ zb sinβ 0 cosβ ] [ 0 cosγ sinγ 0 sinγ cosγ ] [ x A y A ] za προκύπτει αν περιστρέψεις το Α γύρω από τον x άξονα κατά γ, μετά γύρω τον y άξονα κατά β και τέλος γύρω z άξονα κατά α. Να πούμε εδώ ότι με το παραπάνω μόνο το σημείο Α μετακινείται έτσι όχι το σύστημα συντεταγμένων. Θεωρούμε τον πίνακα cosα sinα 0 cosβ 0 sinβ R = [ sinα cosα 0] [ ] [ 0 cosγ sinγ] (3.8) sinβ 0 cosβ 0 sinγ cosγ Εδώ όμως θέλουμε να εκφράσουμε ένα σημείο ως ένα περιεστρεμμένο σύστημα συντεταγμένων, κατά γ γύρω από τον άξονα x και μετά κατά β γύρω από τον άξονα y και μετά κατά α γύρω από τον άξονα z, ενώ το σημείο θα παραμένει ακίνητο. Κάτι τέτοιο είναι ισοδύναμο με την μετακίνηση του σημείου Α πρώτα κατά -α γύρω από τον άξονα z και μετά κατά -β γύρω από τον άξονα y και τέλος κατά -γ γύρω από τον άξονα x, δηλαδή οι συντεταγμένες του Α ως προς το νέο σύστημα συντεταγμένων είναι: Α new cos ( β) 0 sin( β) cos ( α) sin( α) 0 = [ 0 cos ( γ) sin( γ) ] [ ] [ sin( α) cos( α) 0] [ 0 sin( γ) cos( γ) sin( β) 0 cos( β) x A y A ] za 20

28 Και αποδεικνύεται ότι: Συνδυάζοντας την (3.7) με την (3.9) προκύπτει: Α new = R 1 A = R T A (3.9) Α new = R T (A Τ) = R T Α R T Τ (3.10) Το προηγούμενο μπορεί να γραφτεί με ομογενείς συντεταγμένες σαν μία απλή πράξη πινάκων. [ Α new 1 ] = [ RT R T Τ 0 1x3 1 ] [A 1 ] (3.11) Ο πίνακας περιστροφής R = R T και το διάνυσμα μετατόπισης Τ = R T Τ αποτελούν τους εξωγενής παραμέτρους της κάμερας. Όπως είναι λογικό από την στιγμή που θέσαμε το σύστημα συντεταγμένων του κόσμου ίδιο με αυτό του προβολέα κάναμε τον αντίστοιχο πίνακα περιστροφής του προβολέα έναν μοναδιαίο πίνακα 3x3 και το διάνυσμα μετατόπισης του ένα μηδενικό διάνυσμα 3x1. Έτσι βλέπουμε ότι οι εξωγενείς παράμετροι εξαρτώνται από 6 αγνώστους. Τρείς για την μετατόπιση που είναι οι συνιστώσες του διανύσματος Τ και φυσικά οι τρεις γωνίες α, β, γ για την περιστροφή του συστήματος συντεταγμένων. 3.4 Η μέθοδος των Daniel Moreno και Gabriel Taubin Η μέθοδος αυτή αφορά την βαθμονόμηση τόσο της κάμερας όσο και του προβολέα. Για την εύρεση των ενδογενών παραμέτρων της κάμερας γίνεται χρήση της μεθόδου του Zhang. Η μέθοδος του Zhang [24] κάνει χρήση ενός σχεδίου σκακιέρας, τυπωμένο σε ένα χαρτί το οποίο τοποθετείται σε μια επίπεδη επιφάνεια. Έτσι έχοντας μια σειρά από εικόνες που η σκακιέρα έχει διαφορετική θέση και προσανατολισμό μπορεί να υπολογίσει τον προαναφερθέντα πίνακα ενδογενών παραμέτρων Κ για την κάμερα. Η μέθοδος του Zhang το κάνει αυτό με το να εντοπίζει τις θέσεις στην εικόνα που βρίσκονται γωνίες μεταξύ δύο διαγώνιων μαύρων τετραγώνων και κάνοντας χρήση των περιορισμών που δημιουργούνται από το γεγονός ότι ανήκουν στο ίδιο επίπεδο σε κάθε εικόνα. Παρόλα αυτά η παραπάνω μέθοδος δεν μπορεί να χρησιμοποιηθεί άμεσα για τον υπολογισμό των ενδογενών παραμέτρων του προβολέα από την στιγμή που δεν μπορούμε να κάνουμε λήψη φωτογραφιών από την θέση στην οποία βρίσκεται. Για τον λόγο αυτό γίνεται η χρήση μοτίβων με κωδικοποίηση gray. Έτσι στην μέθοδο των Moreno και Taubin [23] δεν γίνεται λήψη μιας φωτογραφίας για κάθε διαφορετική θέση και πόζα της σκακιέρας αλλά μια σειρά από φωτογραφίες. Σε κάθε τέτοιο set φωτογραφιών η σκακιέρα πρέπει να είναι ακίνητη καθώς πάνω της προβάλλονται 21

29 μια ακολουθία μοτίβων με κωδικοποίηση Gray. Παρακάτω φαίνεται πως είναι γενικώς η μορφή τους. Σχήμα 3.1 Μια ακολουθία μοτίβων με Κωδικοποίηση Gray Ο λόγος που γίνεται αυτό είναι γιατί επιθυμούμε να βρούμε για τα εικονοστοιχεία (pixels) στα οποία εντοπίστηκαν γωνίες μεταξύ μαύρων τετραγώνων και συνεπώς για τα σημεία στον χώρο που αυτές οι γραμμές βρίσκονται, ποιες γραμμές και ποιες στήλες του επιπέδου εικόνας του προβολέα τις βλέπουν. Έτσι μπορούμε να βρούμε την θέση των γωνιών στο σύστημα συντεταγμένων της εικόνας (Image Coordinate System) του προβολέα. Κάνοντας το αυτό μπορούμε να χρησιμοποιήσουμε την μέθοδο του Zhang και να υπολογίσουμε τον πίνακα ενδογενών παραμέτρων για τον προβολέα. Τέλος μένει ο υπολογισμός των εξωγενών παραμέτρων. Από την στιγμή που με την ακολουθία μοτίβων σε Κωδικοποίηση Gray μπορούμε να κατασκευάσουμε την εικόνα την οποία θα έπαιρνε μια κάμερα με το ίδιο σύστημα συντεταγμένων με αυτό του προβολέα το πρόβλημα ανάγεται στην βαθμονόμηση δύο καμερών κάτι για το οποίο έχει βρεθεί λύση στην στερεοσκοπική φωτογράφηση. Να πούμε εδώ ότι οι εξωγενείς παράμετροι στην μέθοδο των Moreno και Taubin υπολογίζονται με την θεώρηση ότι το σύστημα συντεταγμένων του κόσμου είναι το σύστημα συντεταγμένων της κάμερας και όχι του προβολέα κάτι που σημαίνει ότι πρέπει να κάνουμε τις απαραίτητες αλλαγές (αντιστροφή του ομογενούς πίνακα που σχηματίζουν) για να τις χρησιμοποιήσουμε στην μέθοδό μας. Περισσότερα για το πως λειτουργεί και το λογισμικό το οποίο υλοποιεί την μέθοδο τους θα δοθεί στο κεφάλαιο των πειραμάτων. 22

30 4. Αναλυτική Περιγραφή του Συστήματος 4.1 Εύρεση των επιπέδων στο χώρο για κάθε γραμμή του μοτίβου Εξίσωση του επιπέδου στο σύστημα συντεταγμένων του κόσμου (προβολέα) Ένα από τα πρώτα βήματα που πρέπει να γίνουν για να οδηγηθούμε στην ανακατασκευή του αντικειμένου είναι η εύρεση των εξισώσεων των επιπέδων που δημιουργούν οι γραμμές του μοτίβου στον χώρο. Όπως είπαμε στο Κεφάλαιο 1.3 αυτές οι εξισώσεις είναι απαραίτητες για τον υπολογισμό του βάθους. Πριν πούμε πως υπολογίζονται αυτές οι εξισώσεις με βάση το εκάστοτε μοτίβο που προβάλλεται πρέπει να εξηγήσουμε με γεωμετρία πως ορίζεται ενδεικτικά η εξίσωση για ένα επίπεδο. Σχήμα 4.1 Απεικόνιση του διανύσματος και του σημείου που γενικά ορίζουν την εξίσωση ενός επιπέδου Αν το διάνυσμα N = [a, b, c] T είναι ένα διάνυσμα κάθετο στο επίπεδο και Χ 0 = [x 0, y 0, z 0 ] T ένα σημείο που ανήκει στο επίπεδο τότε ένα σημείο X = [x, y, z] T ανήκει στο επίπεδο αν ισχύει η παρακάτω σχέση. Ν Τ (Χ Χ ο ) = 0 (4.1) 23

31 Όσον αφορά όμως την εύρεση της εξίσωσης του επιπέδου στο σύστημα συντεταγμένων του προβολέα ξέρουμε ότι το κέντρο του προβολέα O p = [0,0,0] T ανήκει στο επίπεδο. Να σημειώσουμε εδώ ότι όλες οι προηγούμενες συντεταγμένες είναι εκφρασμένες στο σύστημα συντεταγμένων του κόσμου, δηλαδή του προβολέα. Το πρόβλημα επομένως βρίσκεται στην εύρεση του διανύσματος Ν για κάθε επίπεδο. Το διάνυσμα Ν μπορεί να βρεθεί από το εξωτερικό γινόμενο διανυσμάτων που ανήκουν στο επίπεδο. Έτσι το μόνο που χρειάζεται είναι να υπολογίσουμε την θέση στο σύστημα συντεταγμένων του κόσμου δύο σημείων για κάθε γραμμή. Αυτό γίνεται με την χρήση της (3.6) όπου και υπολογίζονται τα σημεία στο κανονικοποιημένο σύστημα συντεταγμένων του προβολέα. Αν τα σημεία αυτά είναι τα Α = [ x qa w p, y qa w p, 1] T και Β = [ x qβ w p, y qβ w p, 1] T με το w p να είναι η εστιακή απόσταση του προβολέα το διάνυσμα Ν μπορεί να υπολογιστεί ως εξής: N = [ 0 1 y qa w p 1 0 x qa y qa w p w p x qβ w p y qβ w x p qa 0 [ w p ] 1 ] (4.2) Πρέπει να διευκρινίσουμε εδώ ότι δεν μας ενοχλεί που τα Α, Β και επομένως και το Ν δεν είναι σημεία στο πραγματικό σύστημα συντεταγμένων του προβολέα αλλά στο κανονικοποιημένο καθώς στο κανονικοποιημένο αλλάζουν μόνο η μονάδα μέτρησης του μήκους(είναι mm/w p ) αλλά οι διευθύνσεις των διανυσμάτων βάσης είναι ίδιες. Το σημαντικό εδώ είναι οι κατευθύνσεις των διανυσμάτων να είναι η ίδιες καθώς τα μέτρα τους επηρεάζουν μόνο το μέτρο του N που δεν μας ενδιαφέρει. Με την χρήση της (4.1) σε συνδυασμό με το γεγονός ότι O p = [0,0,0] T καταλήγουμε σε μία εξίσωση της μορφής: ax + by + cz = 0 (WCS) (4.3) Εξίσωση του επιπέδου στο σύστημα συντεταγμένων της κάμερας. Αν τώρα επιθυμούμε να γράψουμε τις εξισώσεις των προαναφερθέντων επιπέδων ως προς το σύστημα συντεταγμένων της κάμερας το μόνο που χρειάζεται να κάνουμε είναι να υπολογίσουμε το διάνυσμα Ν ως προς το σύστημα της κάμερας καθώς και το κέντρο του κόσμου-προβολέα. Για τον υπολογισμό ενός διανύσματος σε ένα νέο σύστημα συντεταγμένων δεν έχουμε παρά να το πολλαπλασιάσουμε με τον αντίστροφο πίνακα περιστροφής. Ο αντίστροφος αυτός πίνακας περιστροφής δεν είναι άλλος παρά ο πίνακας περιστροφής των εξωγενών παραμέτρων που υπολογίζεται από την βαθμονόμηση. Έτσι το διάνυσμα νέο διάνυσμα Ν είναι το R N. Τέλος το διάνυσμα μετατόπισης Τ των εξωγενών παραμέτρων δεν είναι άλλο παρά 24

32 το κέντρο του κόσμου εκφρασμένο στο σύστημα συντεταγμένων της κάμερας. Με βάση όλα τα παραπάνω και την εξίσωση (4.1) η εξίσωση του επιπέδου προκύπτει από την παρακάτω: Η τελική εξίσωση είναι της μορφής: R Ν Τ (Χ T ) = 0 (4.4) a x + b y + c z + d = 0 (CCS) (4.5) και διαιρώντας ως προς d (a=a /d, b=b /d, c=c /d) έχουμε: ax + by + cz + 1 = 0 (CCS) (4.6) 4.2 Η αναγνώριση των κάθετων και οριζόντιων γραμμών Το επόμενο βήμα για να γίνει η ανακατασκευή στην παρούσα μέθοδο (αλλά και σε κάθε μέθοδο δομημένου φωτός) είναι η ανίχνευση του μοτίβου στις εικόνες που λαμβάνει η κάμερα όταν αυτό προβάλλεται πάνω στο προς ανακατασκευή αντικείμενο. Το γεγονός ότι για την προβολή του μοτίβου χρησιμοποιείται ένας απλός βιντεοπροβολέας και όχι κάποια ειδική συσκευή με laser ή έντονο φως κάνει την χρήση κάποιου κατωφλίου στη ένταση του φωτός (πάνω από την οποία το σημείο ανήκει στην γραμμή) αδύνατη. Για το λόγο αυτό γίνεται η εξής διαδικασία Εύρεση των κορυφών Αρχικά η εικόνα σαρώνεται τόσο οριζόντια για κάθε γραμμή όσο και κάθετα για κάθε στήλη. Στην οριζόντια σάρωση σαρώνουμε μόνο τις γραμμές της κόκκινης χρωματικής συνιστώσας ενώ στην κατακόρυφη τις στήλες της μπλε χρωματικής συνιστώσας. Η κάθε γραμμή στην οριζόντια σάρωση (στήλη στην κατακόρυφη) μπορεί να θεωρηθεί σαν ένα δειγματοληπτημένο σήμα. Για καθένα από τα σήματα αυτά (γραμμές στην οριζόντια, στήλες στην κατακόρυφη) πρέπει να βρεθούν οι θέσεις των σημαντικών κορυφών. Με τον όρο σημαντικές κορυφές δεν εννοούμε απλώς τις κορυφές που είναι υψηλότερες από κάποιο κατώφλι αλλά τις κορυφές που είναι υψηλότερες με διαφορά σε σχέση με τις γειτονικές τιμές. Ο τρόπος με τον οποίο βρίσκονται οι θέσεις των κορυφών στην παρούσα διπλωματική εργασία είναι με την θέσπιση ενός κατωφλίου στο σχετικό ύψος(prominence) [25] των κορυφών αυτών. Για να υπολογιστεί το σχετικό ύψος(prominence) μιας κορυφής επεκτείνουμε μια οριζόντια γραμμή αριστερά και δεξιά στο ύψος της κορυφής μέχρι ότου είτε να διασταυρωθεί με το σήμα είτε να φτάσει στα άκρα του δημιουργώντας έτσι δύο διαστήματα (το αριστερό και το δεξί) αναζήτησης στα οποία δεν υπάρχει άλλη κορυφή υψηλότερη από την εξεταζόμενη. Στην συνέχεια βρίσκουμε το χαμηλότερο σημείο για τα δύο διαστήματα και από τα δύο αυτά χαμηλά σημεία κρατάμε το 25

33 υψηλότερο, το σχετικό ύψος(prominence) της κορυφής είναι το ύψος της κορυφής μείον το υψηλότερο από τα δύο χαμηλά σημεία. Ακόμη ένα άλλο βήμα που γίνεται πριν την ανίχνευση των κορυφών στο δειγματοληπτημένο σήμα (γραμμή ή στήλη) είναι η χρήση μιας διαδικασίας εξομάλυνσης για την απομάκρυνση του θορύβου. Στην παρούσα διπλωματική εργασία έγινε επανυπολογισμός της τιμής του κάθε δείγματος ως τον μέσο όρο του δείγματος με τα δύο δεξιότερα και τα δύο αριστερότερα γειτονικά του δείγματα αν αυτά ήταν διαθέσιμα (αν δεν έχουμε να κάνουμε με ακριανά δείγματα). Η πράξη έδειξε ότι η διαδικασία έπρεπε να γίνει δύο φόρες όπου τα αποτελέσματα μετά την πρώτη εκτέλεση της διαδικασίας ανατροφοδοτούνταν ώστε η διαδικασία να επαναληφθεί για δεύτερη. Η διαδικασία αυτή μπορεί να αλλάζει τις τιμές των δειγμάτων αλλά δεν αλλάζει την θέση στην οποία οι κορυφές εκδηλώνονται. Αρχή Οριζόντια ή κατακόρυφη σάρωση Για κάθε γραμμή στην κόκκινη χρωματική συνιστώσα Τέλος Για κάθε στήλη στην μπλε χρωματική συνιστώσα Τέλος Βρες την θέση των κορυφών με ελάχιστο Prominence x [~,locs]=findpeaks(smooth(smooth (image)),'minpeakprominence',x); Βρες την θέση των κορυφών με ελάχιστο Prominence x [~,locs]=findpeaks(smooth(smooth (image)),'minpeakprominence',x); Κράτα σε πίνακα τα Pixel που εντοπίστηκαν κορυφές Κράτα σε πίνακα τα Pixel που εντοπίστηκαν κορυφές Σχήμα 4.2 Διάγραμμα ροής για την εύρεση κορυφών Στο τέλος της διαδικασίας όλα τα εικονοστοιχεία (pixels) που είναι μέλη κόκκινων κατακόρυφων γραμμών έχουν κρατηθεί σε ένα πίνακα μεγέθους Ν 1 x2. Το ίδιο γίνεται και για τα εικονοστοιχεία που είναι μέλη μπλε οριζοντίων γραμμών και τοποθετούνται σε πίνακα μεγέθους Ν 2 x Ομαδοποίηση και δεικτοδότηση γραμμών Στην συνέχεια αφού έχουμε βρει ποια εικονοστοιχεία (pixels) αποτελούν τις κάθετες και οριζόντιες γραμμές (πίνακες μεγέθους Ν 1 x2 και Ν 2 x2 αντίστοιχα) πρέπει να τα ομαδοποιήσουμε ώστε να ξέρουμε ποια ανήκουν στην ίδια γραμμή. Για την ομαδοποίηση αυτή χρησιμοποιήθηκε στην παρούσα διπλωματική εργασία ο αλγόριθμος ομαδοποίησης DBSCAN [26]. Στον αλγόριθμο DBSCAN για κάθε σημείοδεδομένο (κάθε γραμμή στους προαναφερθέντες πίνακες είναι ένα σημείοδεδομένο) ερευνάται μια περιοχή ακτίνας Eps. Αν εντός αυτής της ακτίνας βρεθούν 26

34 τουλάχιστον άλλα MinPts σημεία-δεδομένα τότε το σημείο αυτό γίνεται μέλος της ομάδας που ανήκουν και εκείνα. Αν δεν βρεθούν τουλάχιστον άλλα MinPts σημείαδεδομένα τότε το σημείο-δεδομένο επισημαίνεται ως θόρυβος. Τέλος το πρόγραμμα επιστρέφει έναν αριθμό δείκτη για κάθε σημείο-δεδομένο που είναι ο αριθμός της ομάδας του. Όλα τα σημεία-δεδομένα με ίδιο αριθμό ομάδας αποτελούν την ίδια γραμμή. Το πλεονέκτημα του αλγορίθμου αυτού στην περίπτωση μας είναι μεγάλο αφού έχει την ικανότητα να ομαδοποιεί στοιχεία χωρίς αυτά να έπρεπε να σχηματίζουν κάποιου είδος σχήμα όπως κύκλος ή έλλειψη. Ακόμη απομακρύνει σημεία που λανθασμένα ανιχνεύτηκαν από τον προηγούμενο αλγόριθμο εύρεσης κορυφών ή τμήματα των γραμμών που λόγο θορύβου (π.χ. αντηλιών) παρουσιάζουν απότομες μεταβάσεις από γραμμή σε γραμμή (ή από στήλη σε στήλη). Ο λόγος που θέλουμε να απομακρύνουμε τα σημεία αυτά είναι γιατί αν περάσουν στους έπειτα υπολογισμούς θα οδηγήσουν σε εύρεση των σημείων που γίνονται οι διασταυρώσεις κόκκινων και μπλε γραμμών λανθασμένα. Στην παρούσα διπλωματική κάνουμε χρήση του αλγορίθμου δύο φορές. Μια με αυστηρά κριτήρια ώστε να απορρίψουμε θόρυβο και παραμορφώσεις και μία με χαλαρά κριτήρια ώστε να ενωθούν οι γραμμές που θα έπρεπε να ενωθούν αλλά δεν ενώθηκαν λόγο των αυστηρών κριτηρίων. Να σημειώσουμε όμως πως τα χαλαρά αυτά κριτήρια πρέπει να τεθούν με προσοχή ώστε να μην τύχει να ενωθούν γραμμές που δημιουργούνται από διαφορετικές γραμμές του μοτίβου. 4.3 Εύρεση των διασταυρώσεων μεταξύ κατακόρυφων κόκκινων και οριζόντιων μπλε γραμμών. Για την εύρεση των διασταυρώσεων μεταξύ κατακόρυφων κόκκινων και οριζόντιων μπλε γραμμών δεν έχουμε παρά να ελέγξουμε για κάθε μια από τις εντοπισμένες κατακόρυφες κόκκινες αν διασταυρώνεται και που με κάθε μια από τις εντοπισμένες οριζόντιες μπλε γραμμές. Για την επίτευξη αυτού κάνουμε χρήση ενός αλγορίθμου εύρεσης διασταυρώσεων (intersections) από καμπύλες που περιγράφονται σαν ένα σύνολο σημείων στο χώρο (δυσδιάστατο). Στην παρούσα διπλωματική εργασία γίνεται η χρήση του αλγορίθμου InterX.m [27]. Επειδή όμως ο προαναφερθείς αλγόριθμος σχεδιάστηκε για να εντοπίζει πολλαπλές διασταυρώσεις και οι γραμμές από εικονοστοιχεία (pixel) μπορεί να διασταυρώνονται πολλαπλές φορές στην περιοχή που βρίσκεται η πραγματική διασταύρωση σαν τελικό σημείο της διασταύρωσης λαμβάνουμε τον μέσο όρο των σημείων αν εντοπιστούν περισσότερα από ένα. Για την κάθε διασταύρωση στην συνέχεια πρέπει να υπολογιστούν οι συντεταγμένες της στο σύστημα συντεταγμένων της κάμερας. Για να γίνει κάτι τέτοιο είχαμε αναφέρει και προηγουμένως κάνουμε χρήση της (3.6) όπου τον πίνακα ενδογενών παραμέτρων της κάμερα τον υπολογίζουμε από την βαθμονόμηση. Με την μέθοδο αυτή όμως γνωρίζουμε ότι βρίσκουμε τα σημεία σε συντεταγμένες του 27

35 κανονικοποιημένου συστήματος συντεταγμένων της κάμερας. Έτσι για μια διασταύρωση Α = [x Α, y Α ] T θα βρούμε την Α = [ x Α, y Α ] T, όπου w w c w c η εστιακή c απόσταση της κάμερας, κάτι το οποίο πρέπει να έχουμε κατά νου μας στην συνέχεια. Τέλος για την κάθε διασταύρωση αποθηκεύουμε μαζί της τους δείκτες των γραμμών που τέμνονται για να την δημιουργήσουν. Οι δείκτες αυτοί που είναι έξοδοι του αλγορίθμου DBSCAN θα μας βοηθήσουν να εκτελέσουμε αυτό που αναφέρεται αμέσως παρακάτω. 4.4 Ομαδοποίηση των διασταυρώσεων σε διασυνδεδεμένα σύνολα (linked sets) Το επόμενο βήμα μετά την εύρεση των διασταυρώσεων είναι να τις ομαδοποιήσουμε σε σύνολα ώστε εντός ενός συνόλου όλες οι διασταυρώσεις να είναι διασυνδεδεμένες. Με τον όρο διασυνδεδεμένες εννοούμε πως ξεκινώντας από μια διασταύρωση εντός του συνόλου μπορούμε να μεταβούμε σε οποιαδήποτε άλλη πάλι εντός του συνόλου χρησιμοποιώντας τις κόκκινες ή μπλε γραμμές που σχηματίζουν τις διασταυρώσεις του συνόλου. Σχήμα 4.3 Απεικόνιση του ενός διασυνδεδεμένου συνόλου Το παραπάνω πρόβλημα το λύνουμε με την χρήση μιας συστοιχίας κελιών (cell array). Αρχικά δημιουργούμε μια συστοιχία κελιών μιας στήλης και γραμμών όσες και οι εντοπισμένες διασταυρώσεις. Σε κάθε ένα από αυτά τα κελιά τοποθετούμε ένα αντικείμενο τύπου διασταύρωσης που περιέχει την θέση της διασταύρωσης (όπως υπολογίστηκε στο κεφάλαιο 4.3) και τους δύο δείκτες των γραμμών όπως αναφέραμε νωρίτερα. Στην συνέχεια παίρνουμε την πρώτη διασταύρωση (πρώτη γραμμή) και ψάχνουμε σε όλες τις υπόλοιπες (δεύτερη γραμμή και έπειτα) διασταυρώσεις για να βρούμε εκείνες που έχουν είτε τον ίδιο δείκτη κατακόρυφης γραμμής είτε τον ίδιο δείκτη οριζόντιας γραμμής. Όσες διασταυρώσεις 28

36 πληρούν το προηγούμενο κριτήριο τοποθετούνται στην ίδια γραμμή και διαδοχικές στήλες με την πρώτη ενώ παράλληλα οι γραμμές που ήταν τοποθετημένες διαγράφονται. Όταν αυτό τελειώσει το πρόγραμμα χρησιμοποιεί τις διασταυρώσεις που προστέθηκαν στην ίδια γραμμή για να βρει στις υπόλοιπες διασταυρώσεις (πάλι δεύτερη γραμμή και έπειτα) μήπως υπάρχουν κάποιες με είτε τον ίδιο δείκτη κατακόρυφης γραμμής είτε τον ίδιο δείκτη οριζόντιας γραμμής με κάποια από αυτές που προστέθηκαν πρόσφατα. Αν βρεθούν τις προσθέτει στην ίδια γραμμή και διαδοχικές στήλες διαγράφοντας τις γραμμές που βρίσκονταν αρχικά και αλγόριθμος επαναλαμβάνεται και για τις νέες προσθήκες. Όταν σε κάποια επανάληψη δεν προστεθούν καινούργιες διασταυρώσεις-στήλες δύο πιθανότητες υπάρχουν. Είτε όλες οι διασταυρώσεις είναι στο ίδιο διασυνδεδεμένο σύνολο (πρώτη γραμμή), δηλαδή η συστοιχία κελιών έχει τώρα μια γραμμή ή υπάρχουν και άλλες γραμμές, δηλαδή και άλλες διασταυρώσεις που σίγουρα δεν ανήκουν στην ομάδα της πρώτης γραμμής. Στην πρώτη περίπτωση ο αλγόριθμος μας έχει τελειώσει ενώ στην δεύτερη θα θεωρήσει πως η καινούργια πρώτη γραμμή είναι η αμέσως επόμενη δηλαδή η δεύτερη και θα ξαναεκτελέσει την όλη την προαναφερθείσα διαδικασία για την καινούργια πρώτη γραμμή. Με τον παραπάνω τρόπο όταν τελειώσει το πρόγραμμα η κάθε γραμμή της συστοιχίας κελιών θα είναι ένα διαφορετικό διασυνδεδεμένο σύνολο και οι διασταυρώσεις που το αποτελούν θα βρίσκονται διαδοχικά στις στήλες σε μορφή αντικειμένου τύπου «διασταύρωσης». Αρχή Πρώτη Γραμμή = 1 Κ στοιχείο = αυτό της Πρώτης Γραμμής και πρώτης στήλης Κάνε Κ στοιχείο διαδοχικά τα στοιχεία που ήταν οι νέες προσθήκες Για κάθε γραμμή μετά την Πρώτη Γραμμή NAI Υπήρχαν νέες προσθήκες ; Αν η διασταύρωση στην γραμμή αυτή έχει είτε τον ίδιο δείκτη κατακόρυφης γραμμής είτε τον ίδιο δείκτη οριζόντιας γραμμής με αυτούς του Κ στοιχείου ΟΧΙ Υπάρχουν άλλες γραμμές μετά την Πρώτη Γραμμή ΝΑΙ Πρώτη Γραμμή = Πρώτη Γραμμή +1 Κ στοιχείο = αυτό της Πρώτης Γραμμής και πρώτης στήλης ΟΧΙ Τέλος Πρόσθεσε την στην Πρώτη Γραμμή και K Στήλη και διέγραψε την γραμμή από την οποία την βρήκες Σχήμα 4.4 Διάγραμμα ροής για την ομαδοποίηση διασταυρώσεων σε διασυνδεδεμένα σύνολα 29

37 4.5 Αντιστοίχιση των γραμμών που εντοπίστηκαν με αυτές του μοτίβου Στο κεφάλαιο αυτό θα αναλύσουμε τον τρόπο με τον οποίο μπορούμε να αντιστοιχίσουμε τις γραμμές που επιτυχώς εντοπίσαμε με την κάμερα στις γραμμές του μοτίβου που προβάλλονται από τον προβολέα. Για να γίνει αυτή η αντιστοίχιση πρέπει να πούμε πως οι γραμμές είτε κατακόρυφες είτε οριζόντιες θα πρέπει όλες να είναι γραμμές που σχηματίζουν διασταυρώσεις που ανήκουν στο ίδιο διασυνδεδεμένο σύνολο. Ο λόγος πίσω από αυτό θα εξηγηθεί παρακάτω καθώς απαιτείται να γίνει μια πρώτη ανάλυση ώστε να γίνει κατανοητό. Επομένως για την πλήρη εύρεση της ανακατασκευής της τρισδιάστατής γεωμετρίας του αντικειμένου αυτά τα οποία θα αναλυθούν παρακάτω πρέπει να επαναληφθούν για κάθε διασυνδεδεμένο σύνολο ξεχωριστά. Η μέθοδος με την οποία επιλύουμε το πρόβλημα αυτό της αντιστοίχισης κάνει χρήση των περιορισμών που θέτονται από τα επίπεδα που σχηματίζουν οι γραμμές του μοτίβου προβαλλόμενες στον χώρο. Ειδικότερα έστω ότι έχουμε την διασταύρωση Α από το διασυνδεδεμένο σύνολο διασταυρώσεων με το οποίο εργαζόμαστε. Υπενθυμίζουμε ότι με βάση την διαδικασία στο Κεφάλαιο 4.3 αυτό που γνωρίζουμε είναι το Α = [ x Α w c, y Α w c ] T και ενώ τα x Α w c και y Α w c είναι γνωστά η εστιακή απόσταση w c δεν είναι. Για την διασταύρωση αυτή έστω ότι το κατακόρυφο επίπεδο k το οποίο την δημιουργεί έχει την εξής εξίσωση: a k x + b k y + c k z + 1 = 0 (CCS) (4.7) ενώ το οριζόντιο l που την δημιουργεί έχει την παρακάτω: Ακόμη βάσει των εξισώσεων (2.3) ισχύει: d l x + e l y + f l z + 1 = 0 (CCS) (4.8) x Α = w cx z, y A = w cy z (4.9) Έτσι αν αφαιρέσουμε την (4.8) από την (4.7) και αντικαταστήσουμε στην συνέχεια με βάση την (4.9) προκύπτει x Α w c a k + y Α w c b k + c k x Α w c d l y Α w c e l f l = 0 (CCS) (4.10) Το οποίο αποτελεί μια εξίσωση έξι αγνώστων, τις παραμέτρους των επιπέδων. Ακόμη τα επίπεδα των εξισώσεων (4.7) και (4.8) περνούν από το κέντρο του προβολέα το οποίο είναι η αρχή του συστήματος συντεταγμένων του κόσμου. Η αρχή του συστήματος συντεταγμένων του κόσμου εκφρασμένη στο σύστημα συντεταγμένων της κάμερας γνωρίζουμε ότι είναι το διάνυσμα μετατόπισης Τ = 30

38 [x Τ, y Τ, y Τ ] T των εξωγενών παραμέτρων της κάμερας έτσι προκύπτουν οι παρακάτω εξισώσεις. a k x Τ + b k y Τ + c k z Τ + 1 = 0 (CCS) (4.11) d l x Τ + e l y Τ + f l z Τ + 1 = 0 (CCS) (4.12) Ακόμη το διάνυσμα του άξονα y του συστήματος συντεταγμένων του κόσμου ανήκει σε όλες τις εξισώσεις των κατακόρυφων επιπέδων. Το διάνυσμα αυτό εκφρασμένο στο σύστημα συντεταγμένων της κάμερας υπολογίζεται ως εξής: Και έτσι ισχύει το παρακάτω: x Q 0 [ y Q ] = R [ 1 zq 0 ] (4.13) a k x Q + b k y Q + c k z Q = 0 (CCS) (4.14) Ομοίως το διάνυσμα του άξονα x του συστήματος συντεταγμένων του κόσμου ανήκει σε όλες τις εξισώσεις των κατακόρυφων επιπέδων. Το διάνυσμα αυτό εκφρασμένο στο σύστημα συντεταγμένων της κάμερας υπολογίζεται ως εξής: x R 1 [ y R ] = R [ 0 zr 0 ] (4.15) Και έτσι ισχύει το παρακάτω: d l x R + e l y R + f l z R = 0 (CCS) (4.16) Αν τώρα συνδυάσουμε τις εξισώσεις (4.10) για όλες τις διασταυρώσεις στο διασυνδεδεμένο σύνολο και τις εξισώσεις (4.11), (4.12), (4.14), (4.16) για όλες τις γραμμές που δημιουργούν τις διασταυρώσεις του διασυνδεδεμένου συνόλου, τότε έχουμε το παρακάτω γραμμικό σύστημα: Mx = b (4.17) Όπου x = [a 1, b 1, c 1,, a m, b m, c m, d 1, e 1, f 1,, d n, e n, f n ] T (4.18) Το παραπάνω σύστημα αποτελεί ένα σύστημα ενός βαθμού ελευθερίας, δηλαδή αν αποφασίζαμε το βάθος ενός σημείου που ανήκει σε κάποια από τις γραμμές που δημιουργούν στο τρέχων διασυνδεδεμένο σύνολο θα μπορούσαμε να υπολογίσουμε το βάθος για όλα τα σημεία. Αυτό συμβαίνει γιατί αν χρησιμοποιήσουμε τις (4.11), (4.12), (4.14), (4.16) και τις αντικαθιστούμε στην (4.10) έχουμε μία εξίσωση με δύο αγνώστους, για παράδειγμα τους a k και d l. Τέτοιες εξισώσεις υπάρχουν όσες και οι διασταυρώσεις που έχουν βρεθεί. Αν το σύνολο των 31

39 διασταυρώσεων είναι διασυνδεμένο τότε ανά δύο οι παραπάνω εξισώσεις των δύο αγνώστων έχουν ένα κοινό άγνωστο. Καταλαβαίνει κανείς ότι το μόνο που απαιτείται είναι να δοθεί τιμή μόνο σε έναν άγνωστο για να υπολογιστούν και οι υπόλοιποι. Το γεγονός αυτό δηλώνει έκδηλα ότι το σύστημα είναι ενός βαθμού ελευθερίας. Ακόμη φαίνεται η ανάγκη οι διασταυρώσεις να είναι διασυνδεδεμένο σύνολο διότι θα διαφορετικά τόσο σύστημα θα είχε τόσους βαθμούς ελευθερίας όσα και τα διασυνδεμένα σύνολα που θα σχημάτιζαν οι διασταυρώσεις που θα χρησιμοποιούσε. Το παραπάνω θα δυσκόλευε την ανάλυση που δίνεται παρακάτω η οποία λύνει το σύστημα ενός βαθμού ελευθερίας της (4.17). Έτσι από την στιγμή που το σύστημα έχει ένα βαθμό ελευθερίας οι λύσεις του μπορούν να γραφτούν με την παρακάτω μορφή: x = w + pu (4.19) Όπου το w αποτελεί μια από τις λύσεις του και για το u ισχύει Mu = 0 Για τον υπολογισμό των w και u γίνεται μία Ανάλυση του Πίνακα Μ σε ιδιάζουσες τιμές [28] (Singular Value Decomposition) και έτσι έχουμε M = UΣV T = Udiag(s 1,, s 3n )V T (4.20) Όπου με βάση την (4.20) τα U και V είναι πίνακες των οποίων τα διανύσματαστήλες είναι ορθογώνια μεταξύ τους και τα s 1,, s 3n είναι οι ιδιοτιμές του πίνακα Μ ταξινομημένες σε φθίνουσα σειρά. Η τιμή του u της (4.19) μπορεί να αποκτηθεί ως η δεξιότερη στήλη του V και η τιμή του w υπολογίζεται από τον παρακάτω τύπο. w = Vdiag(1 s 1,, 1 s 3n 1, 0)UT b (4.21) 4.6 Επίλυση του ενός βαθμού ελευθερίας του γραμμικού συστήματος Για διευκόλυνση στην κατανόηση εισάγουμε τις ακόλουθες συναρτήσεις ã 1, b 1, c 1,, f n όπου η ã 1 (x) επιστρέφει την τιμή a 1 δηλαδή το x(1). Προφανώς οι συναρτήσεις αυτές έχουν νόημα μόνο για τα διανύσματα x, w και u Έστω τώρα ότι κάνουμε την εικασία ότι η k -οστή κατακόρυφη γραμμή από αυτές που ανιχνεύτηκαν (να σημειώσουμε ότι η γραμμή αυτή πρέπει να δημιουργεί τουλάχιστον μια διασταύρωση στο διασυνδεδεμένο σύνολο διασταυρώσεων που εξετάζουμε) είναι η i -οστή κατακόρυφη γραμμή από το μοτίβο. Τότε θα πρέπει να ισχύει το παρακάτω: Α i = ã k (x) = ã k (w + pu) = ã k (w) + pã k (u) (4.22) Όπου για την γνωστή i -οστή γραμμή ισχύει: 32

40 Α i x + B i y + C i z + 1 = 0 (CCS) (4.23) Τότε η τιμή του p για αυτήν την εικασία υπολογίζεται ως εξής: p(k, i ) = Α i ã k (w) ã k (u) (4.24) Όπου το (k, i ) μας δηλώνει πως αφορά το p που προκύπτει από την εικασία ότι η k από τις εντοπισμένες κατακόρυφες είναι η i από τις γνωστές γραμμές του μοτίβου. Αν τώρα ορίσουμε τις συναρτήσεις ṽ k (x) = [ã k (x), b k(x), c k(x)] T και h l(x) = [d l(x), ẽ l (x), f l(x)] T τότε έχουμε: v k (k, i ) = ṽ k (w) + p(k, i )ṽ k (u) (4.25) h l (k, i ) = h l(w) + p(k, i )h l(u) (4.26) Οι οποίες είναι οι παράμετροι του επιπέδου για την k-οστή εντοπισμένη κατακόρυφη γραμμή και οι παράμετροι του επιπέδου για την l-οστή εντοπισμένη οριζόντια γραμμή αντίστοιχα, που δίνει ως αποτέλεσμα το γραμμικό σύστημα για την επιλογή του p ως το p(k, i ). Καταλαβαίνουμε λοιπόν πως για δεδομένη k εντοπισμένη κατακόρυφη γραμμή υπάρχει νόημα να εικάσουμε πως είναι μια οποιαδήποτε από της γνωστές από το μοτίβο κατακόρυφές γραμμές. Δηλαδή ο αριθμός των εικασιών που μπορούμε να κάνουμε, για δεδομένη πάντα k εντοπισμένη κατακόρυφη γραμμή, είναι όσες και ο αριθμός των γνωστών κατακόρυφων γραμμών του μοτίβου. Άρα αν υπήρχε ένας τρόπος να αξιολογήσουμε αυτές τις εικασίες θα μπορούσαμε να λύσουμε την αβεβαιότητα που εισάγει ο ένας βαθμός ελευθερίας του συστήματος. Την αξιολόγηση αυτή την πραγματοποιούμε με μία συνάρτηση σφάλματος για κάθε εικασία. Η συνάρτηση αυτή του σφάλματος είναι το άθροισμα των τετραγώνων των γωνιών μεταξύ των επιπέδων που παράγει το σύστημα για την εκάστοτε εικασία με το κοντινότερο για το κάθε επίπεδο από τα γνωστά επίπεδα των γραμμών του μοτίβου. Η μορφή της παρουσιάζεται παρακάτω. m Ε(k, i ) = min {D(v k(k, i ), V i )} 2 + min {D(h l(k, i ), H j )} 2 i=1,,m j=1,,n k=1 (4.27) Όπου V i = [A i, B i, C i ] T όπου το i μπορεί να είναι i = {1,, M} και H j = [D j, E j, F j ] T και το j μπορεί να είναι j = {1,, N}. Τέλος η συνάρτηση D ορίζεται ως εξής: D(v k, V i ) = arccos ( n l=1 v k V i ) v k V i (4.28) 33

41 H αναζήτηση μας τελειώνει όταν βρεθεί το i για το οποίο η (4.27) δίνει την ελάχιστη τιμή της, δηλαδή: i min = arg min Ε (k, i ) (4.29) i 4.7 Η επιλογή του μοτίβου Η επιλογή του μοτίβου αν και είναι κάτι που γίνεται πριν καν η όλη διαδικασία που αναφέρθηκε ως τώρα ξεκινήσει αναλύεται αυτήν την στιγμή γιατί στο τρέχον σημείο έχει δοθεί όλο το απαραίτητο θεωρητικό υπόβαθρο. Στο κεφάλαιο 1.3 είχαμε πει πως ενώ οι κατακόρυφες γραμμές επιλέγονται να απέχουν ίση απόσταση η μια από την άλλη ενώ για τις μπλε οριζόντιες οι θέση τους επιλέχθηκε τυχαία (εντός κάποιων ορίων ώστε να μην προσπεράσει μια κάτω γραμμή μια πιο πάνω γραμμή). Αυτό γίνεται λόγο του τρόπου με τον οποίο επιλύεται η αβεβαιότητα του ενός βαθμού ελευθερίας του συστήματος. Επιλέγοντας τυχαία διαστήματα για τις μπλε γραμμές το σφάλμα της (4.27) γίνεται μικρότερο για την σωστή εικασία επιτρέποντας κάνοντας έτσι το σύστημα πιο εύρωστο στα σφάλματα που τυχόν συσσωρευτούν από τους υπολογισμούς. Τέλος πρέπει να υπάρχουν κάποια όρια για τις θέσεις που μπορούν να πάρουν οι μπλε γραμμές ώστε η μεταξύ τους απόσταση να μην γίνει πολύ μικρή. Αυτό γίνεται ώστε ο αλγόριθμος του κεφαλαίου 4.2 να μπορεί να αναγνωρίζει με επιτυχία τις διαφορετικές μπλε γραμμές. 4.8 Ανακατασκευή της τρισδιάστατης εικόνας. Τέλος γνωρίζοντας τα v k (k, i min ) και h l (k, i min ) για κάθε εντοπισμένη κατακόρυφη γραμμή k και κάθε εντοπισμένη οριζόντια γραμμή l αντίστοιχα, μπορούμε να βρούμε την τρισδιάστατη ανακατασκευή των σημείων τους. Τα σημεία τους που με τους μέχρι τώρα στους υπολογισμούς τα έχουμε μόνο σαν μια λίστα από εικονοστοιχεία (pixel) πρέπει πρώτα να τα μεταφέρουμε στο σύστημα συντεταγμένων της κάμερας κάνοντας χρήση του πίνακα ενδογενών παραμέτρων της κάμερας με την εξίσωση (3.6). Έτσι αποκτούμε για ένα σημείο Α τις συντεταγμένες του στο κανονικοποιημένο σύστημα της κάμερα Α = [ x Α, y Α, 1] T. w c w c Μπορεί το διάνυσμα αυτό να είναι εκφρασμένο σε mm/w c αλλά η κατεύθυνση του είναι ίδια με το διάνυσμα [x Α, y Α, w c ] T που θα θέλαμε. Αν τώρα το Α είναι η προβολή ενός σημείου Α που ανήκει στο επίπεδο με εξίσωση: ax + by + cz + 1 = 0 (CCS) (4.30) 34

42 τότε το σημείο αυτό είναι το Α = k [ x Α w c, y Α w c, 1] T. Αντικαθιστώντας το προηγούμενο στην εξίσωση του επιπέδου και λύνοντας ως προς k έχουμε: k = 1 a x Α wc +b y Α wc +c (4.31) Και άρα το σημείο στον τρισδιάστατο χώρο είναι το Α = [k x Α w c, k y Α w c, k] T (4.32) Με τον παραπάνω τρόπο μπορούμε να βρούμε όλα τα σημεία όλων τα οποία προβλήθηκαν και σχημάτισαν στην κάμερα τις γραμμές που ανιχνεύτηκαν με την διαδικασία του κεφαλαίου 4.2 και φυσικά σχηματίζουν στο τρέχον διασυνδεδεμένο σύνολο. Επαναλαμβάνοντας και τις παραπάνω διαδικασίες ( ) για κάθε διασυνδεδεμένο σύνολο έχουμε την τρισδιάστατη ανακατασκευή. 35

43 5. Πειράματα 5.1 Προσημειώσεις Συνθετικά Δεδομένα Ως πρώτο συνθετικό δεδομένο επιλέξαμε μια σφαίρα στο σημείο [0,0,2.5] T με ακτίνα 1.7 ενώ η κάμερα μας είχε τοποθετηθεί στην θέση [0.5, 0.1,0] T ως εστιακή απόσταση επιλέξαμε w=2 και όρια εικόνας είναι H=5, W=5 και οι διαστάσεις της εικόνας είναι Μ=Ν=1200 εικονοστοιχεία (pixels). Παρακάτω φαίνεται η εικόνα που πήραμε: Σχήμα 5.1 Η Σφαίρα στην οποία προβάλλεται το μοτίβο μας και την βλέπουμε από την οπτική της κάμερας To αποτέλεσμα της ανίχνευσης γραμμών είναι το παρακάτω: 36

44 Σχήματα Οι εντοπισμένες κόκκινες κατακόρυφες γραμμές που ανιχνεύτηκαν (δεξιά) και οι εντοπισμένες μπλε οριζόντιες γραμμές (αριστερά) της σφαίρας Οι γραμμές που έχουν αναγνωριστεί ως διαφορετικές έχουν διαφορετικό χρώμα. Στην συνέχεια την κάνοντας χρήση του αλγορίθμου για τον εντοπισμό διασταυρώσεων βρήκαμε το εξής. Σχήμα 5.4 Απεικόνιση των διασταυρώσεων που εντοπίστηκαν στην σφαίρα 37

45 Στο παραπάνω σχήμα o άξονας τον y αντιστράφηκε (άλλαξε το πρόσημο) ώστε ο προσανατολισμός να είναι ίδιος με τις εικόνες που βλέπαμε πριν. Στην παραπάνω εικόνα εντοπίζεται ένα διασυνδεδεμένο σύνολο και εκτελώντας τον αλγόριθμο που περιγράφεται στα κεφάλαια 4.4, 4.5 και 4.7 βρίσκουμε την παρακάτω τρισδιάστατη ανακατασκευή. Σχήματα Η τρισδιάστατη ανακατασκευή από δύο διαφορετικές γωνίες Η ρίζα του μέσου τετραγωνικού σφάλματος RMS είναι

46 Σαν ένα δεύτερο συνθετικό δεδομένο λήφθηκε το παρακάτω ανθρωπάκι. Σχήμα 5.7 Απεικόνιση του αντικειμένου στο πρόγραμμα Blender Παρακάτω φαίνεται η εικόνα που πήραμε προβάλλοντας πάνω του τις γραμμές του μοτίβου: Σχήμα 5.8 To ανθρωπάκι πάνω στο οποίο προβάλλεται το μοτίβο μας και το βλέπουμε από την οπτική της κάμερας 39

47 To αποτέλεσμα της ανίχνευσης γραμμών είναι το παρακάτω: Σχήματα Οι εντοπισμένες κόκκινες κατακόρυφες γραμμές που ανιχνεύτηκαν (δεξιά) και οι εντοπισμένες μπλε οριζόντιες γραμμές (αριστερά) πάνω στο ανθρωπάκι Οι γραμμές που έχουν αναγνωριστεί ως διαφορετικές έχουν διαφορετικό χρώμα. Στην συνέχεια την κάνοντας χρήση του αλγορίθμου για τον εντοπισμό διασταυρώσεων βρήκαμε το εξής. Σχήμα 5.11 Απεικόνιση των διασταυρώσεων που εντοπίστηκαν στο ανθρωπάκι 40

48 Στην παραπάνω εικόνα εντοπίζεται ένα διασυνδεδεμένο σύνολο και εκτελώντας τον αλγόριθμο που περιγράφεται στα κεφάλαια 4.4, 4.5 και 4.7 βρίσκουμε την παρακάτω τρισδιάστατη ανακατασκευή. Σχήματα Η τρισδιάστατη ανακατασκευή από δύο διαφορετικές γωνίες Η ρίζα του μέσου τετραγωνικού σφάλματος RMS είναι Ανακατασκευή πραγματικών αντικειμένων Ο χώρος εργασίας Στις παρακάτω φωτογραφίες φαίνεται η διαρρύθμιση με την οποία τοποθετήθηκαν η κάμερα, ο προβολέας και το αντικείμενο κατά τα πειράματα με πραγματικά αντικείμενα. Η κάμερα μας που χρησιμοποιήσαμε είναι η RICOH GR (με ανάλυση 4928x3264) και ο προβολέας είναι ο Infocus LP600 με ανάλυση (1024x768) 41

49 42

50 Σχήματα Φωτογραφίες του χώρου εργασίας από διαφορετικές γωνίες 43

51 5.2.2 Η βαθμονόμηση με το πρόγραμμα των Daniel Moreno και Gabriel Taubin Για την βαθμονόμηση του συστήματος μας κάναμε χρήση του λογισμικού που παρέχεται στην ιστοσελίδα των Daniel Moreno και Gabriel Taubin [29]. Για την βαθμονόμηση τρία σύνολα 42 φωτογραφιών για κάθε σύνολο η κάμερα φωτογράφιζε μια σκακιέρα, γνωστών διαστάσεων ενώ πάνω της προβάλλονταν μια ακολουθία εικόνων με κωδικοποίηση Gray από τον προβολέα (περισσότερα στο κεφάλαιο 3.3). Παρακάτω φαίνεται μια φωτογραφία της σκακιέρας. Σχήμα 5.18 Μια από τις 126 (3*42) φωτογραφίες που χρησιμοποιήθηκαν για την βαθμονόμηση 44

52 Σχήμα 5.19 Απεικόνιση του γραφικού περιβάλλοντος του λογισμικού των Daniel Moreno και Gabriel Taubin Παρακάτω φαίνεται το αποτέλεσμα της βαθμονόμησης. Σχήμα 5.20 Τα αποτελέσματα που επιστρέφει το πρόγραμμα 45

53 Με τον παραπάνω τρόπο υπολογίσαμε τόσο τους πίνακες ενδογενών μεταβλητών του προβολέα και της κάμερας όσο και τους εξωγενείς παράγοντες, δηλαδή τον πίνακα περιστροφής και τον πίνακα μετατόπισης. Υπενθυμίζουμε ότι στην μέθοδο των Daniel Moreno και Gabriel Taubin σύστημα συντεταγμένων του κόσμου θεωρείται αυτό της κάμερας και άρα πρέπει να πάρουμε στην θέση του R το R T και στην θέση του T το R T T Η Ανακατασκευή της τρισδιάστατης γεωμετρίας των πραγματικών αντικειμένων. Αρχικά γίνεται η λήψη μια φωτογραφίας του αντικειμένου ενώ πάνω του προβάλλεται το μοτίβο. Η εικόνα του μοτίβου είναι η παρακάτω με διαστάσεις όσο και η ανάλυση του προβολέα: Σχήμα 5.21 Η εικόνα του μοτίβου που χρησιμοποιήθηκε στον προβολέα για τα πραγματικά αντικείμενα 46

54 Η εικόνα που λάβαμε είναι η παρακάτω: Σχήμα 5.22 Η εικόνα που πήρε η φωτογραφική μηχανή αρχικά Για λόγους ταχύτητας πήραμε μόνο το τμήμα της εικόνας που υπάρχουν γραμμές προς ανίχνευση και έχουμε την παρακάτω εικόνα: Σχήμα 5.23 Η εικόνα που χρησιμοποιήθηκε για την ανακατασκευή της εικόνας 47

55 Κάνοντας χρήση της διαδικασίας που εξηγείται στο κεφάλαιο 4.2 παίρνουμε τις κάτωθι αναγνωρισμένες γραμμές. Σχήματα Οι εντοπισμένες κόκκινες κατακόρυφες γραμμές που ανιχνεύτηκαν (δεξιά) και οι εντοπισμένες μπλε οριζόντιες γραμμές (αριστερά) πάνω στο για το πρώτο πραγματικό αντικείμενο. Οι γραμμές που έχουν αναγνωριστεί ως διαφορετικές έχουν διαφορετικό χρώμα. Παρακάτω φαίνεται το σχήμα οι εντοπισμένες διασταυρώσεις για τις παραπάνω εντοπισμένες γραμμές. 48

56 Σχήμα 5.26 Απεικόνιση των διασταυρώσεων που εντοπίστηκαν στο πρώτο πραγματικό αντικείμενο. Στο παραπάνω σχήμα o άξονας τον y αντιστράφηκε ώστε ο προσανατολισμός να είναι ίδιος με τις εικόνες που βλέπαμε πριν. Στην παραπάνω εικόνα εντοπίζεται ένα διασυνδεδεμένο σύνολο και εκτελώντας τον αλγόριθμο που περιγράφεται στα κεφάλαια 4.4, 4.5 και 4.7 βρίσκουμε την παρακάτω τρισδιάστατη ανακατασκευή. 49

57 Σχήματα Η τρισδιάστατη ανακατασκευή από τέσσερις διαφορετικές γωνίες 50

58 Την παραπάνω διαδικασία χρησιμοποιήσαμε και στην παρακάτω προτομή. Σχήματα Φωτογραφίες της προτομής Ακριβώς με τις ίδιες διαδικασίες που αναλύονται και παραπάνω παίρνουμε την παρακάτω τρισδιάστατη ανακατασκευή. 51