Βαθμονόμηση κάμερας Camera Calibration. Κ Δελήμπασης 1

Transcript

1 Βαθμονόμηση κάμερας Camera Calibration Κ Δελήμπασης 1

2 Βασικές αρχές σχηματισμού εικόνας Σκοτεινός θάλαμος Pinhole camera camera obscura Απόσταση αντικ - κάμ Απόσταση κάμ - είδωλο Ομοια τριγωνα Ομοια τριγωνα Αντικείμενο Είδωλο Κ Δελήμπασης 2

3 Σχηματισμός εικόνας από λεπτό κυρτό φακό Εστω αμφίκυρτος φακός με εστιακή απόσταση f. To fεξαρτάται από τις ακτίνες καμπυλότητας R 1, R 2 των 2 επιφανειών του φακού και το δείκτη διάθλασης n. Τα 2 σημεία εκατέρωθεν του φακού, επί του άξονα του, με απόσταση fαπό το κέντρο, είναι τα εστιακά σημεία F 1, F 2. Κ Δελήμπασης 3

4 Σχηματισμός εικόνας αντικείμένου με απόσταση s>f Αποδεικνύεται ότι: Οταν s, s f Οτανs τότε s (>f) = s s f Κ Δελήμπασης 4

5 Η εικόνα σχηματίζεται ευκρινώς, όταν το αισθητήρας (sensor) τοποθετείται σε απόσταση s από τον φακό. Επειδή πάντα s>> f, θεωρούμε s =f. Κ Δελήμπασης 5

6 Υπολογιστική προσομοίωση της κάμερας Θεωρούμε κέντρο προβολής το (0,0,0) και επίπεδο προβολής (αισθητήρας εικόνας) z=f. ΕστωP(x c,y c,z c )σημείο στο σύστημα της κάμερας και (u,v) οι συντεταγμένες κεντρικής προβολής του P στο image sensor Image sensor Κ Δελήμπασης 6

7 Βάσει όμοιων τριγώνων: u f xc =, z c v f = y z c c Η κεντρική προβολή γράφεται σε μορφή πινάκων. Προσοχή, η 4 η γραμμή δείχνει ότι δεν πρόκειται για Affine μετά τον πολ/σμο διαιρούμε κάθε στοιχείο της στήλης αποτελέσματος με το 4 ο στοιχείο της u f x v 0 f 0 0 y = f 0z u xc f =, z c v = yc z c f Κ Δελήμπασης 7

8 Βήματα της βαθμονόμησης κάμερας Θέση κάμ., οπτικός άξονας Σημείο (x,y,z) σύστημα world Σημείο (x c,y c,z c ) σύστημα camera Εστιακή απόστ. f Sensor size, γραμμές, στήλες (u,v) image sensor (j,i) image pixel Κ Δελήμπασης 8

9 Εσωτερικές παράμετροι Απαραίτητες για μετάβαση από image sensor (u,v) σεimage pixel (i,j) Field of view: Horizontal, Vertical, Diagonal Διάσταση sensor(x CCD, y CCD ) (σε mm) Διάσταση εικόνας(n lin, N col ) Στα επόμενα, θεωρούμε ότι οι εσωτερικές παράμετροι είναι γνωστές από τον κατασκευαστή της κάμερας και επικεντρωνόμαστε στις εξωτερικές παραμέτρους Κ Δελήμπασης 9

10 Οριζόντιο FoV(φ H ) φ H f N j= x N i= y col CCD line CCD 1 u+ 1 v+ N N col 2 line Κ Δελήμπασης 10

11 Κατακόρυφο FoV(φ V ) Διαγώνιο FoV(φ D ) φ V f φ D f Sensor height y CCD Κ Δελήμπασης 11

12 Εξωτερικές παράμετροι Θέση καμερας Διάνυσμα οπτικού άξονα Περιστροφή γύρω από το Διάνυσμα οπτικού άξονα Παραμόρφωση εικόνας Κ Δελήμπασης 12

13 Αλλαγή συστήματος συντεταγμένων World Camera + = z y x c c c t t t z y x r r r r r r r r r z y x Κ Δελήμπασης 13

14 O πίνακας Rπροκύπτει από το γινόμενο των πινάκων Euler,ή τον πίνακα περιστροφής γύρω από τυχαίο διάνυσμα Κ Δελήμπασης 14

15 Τα σημεία (x c,y c,z c )προβάλονται στοcamera sensor (u,v) f u= xc = f z c r11x + r12y + r13z + t r x+ r y+ r z+ t f r21x + r22y + r23z + t v= yc = f zc r31x + r32y + r33z + t Μετά από αλγεβρικές πράξεις: ( ) ( ) ( ) ( ) ( ) ( ) uxr + uyr + uzr + ut x fr y fr z fr ft = z vxr + vyr + vzr + vt x fr y fr z fr ft = z x z y z x y 0 0 Κ Δελήμπασης 15

16 Αν γνωρίζουμε τα (x,y,z) από Ν σηµεία και την προβολή τους (u,v) στοcamera sensor, τότε έχουμε ένα γραμμικό ομογενές σύστημα 2Ν εξισώσεων με 12 αγνώστους: fr 11, fr 12,, fr 13, fr 21,fr 22, fr 23,r 31, r 31,r 31,t x,t y,, t z, Κατασκευάζουμε τον (2Ν 12) πίνακα Α του συστήματος Μία λυση του συστήματος: το ιδιοδιάνυσμα του Α Τ Α με τη μικρότερη ιδιοτιμή 24 σημεία με γνωστά (x,y,z) και προβολές (u,v) Κ Δελήμπασης 16

17 Τα 9 άγνωστα στοιχεία του πίνακα R(r 11, r 12,, r 13, r 21,r 22, r 23,r 31,r 32,r 33 ) είναι συσχετισμένα, αλλά τα αντιμετωπίζουμε ώς ασυσχετιστα για να καταστεί το σύστημα γραμμικό Επισημαίνεται ότι η επίλυση του συστήματος παράγει μία λύση με μέτρο =1, κάθε πολλαπλάσιο της οποίας επίσς είναι λύση. Οι τιμές των αγνώστων υπολογίζονται βάσει της ορθοκανονικότητας γραμμών και στηλών του πίνακα περιστροφής R. Πχ r + r + r = ( r r r )( r r r ),,,, = Αν τα σημεία που επιλέγονται είναι συνεπίπεδα, τότε η αλγεβρική αντιμετώπιση τροποποιείται. Κ Δελήμπασης 17

18 Προσδιορισμός παραμέτρων της κάμερας με μη γραμμική βελτιστοποίηση του σφάλματος της επαναπροβολής σημείων με γνωστές θέσεις στο χώρο και στο Image frame(ή στο camera sensor αφού οι εσωτ. παράμετροι είναι γνωστές) Για συγκεκριμένες τιμές παραμέτρων, υπολογίζονται οι αναμενόμενες θέσεις στο Image frameκαι υπολογίζεται το σφάλμα σε σχέση με τις πραγματικές θέσεις στο Image frame Οι άγνωστες παράμετροι δεν είναι τα στοιχεία του πίνακα R (αφοθ δε χρησιμοποιείται γραμμική μέθοδος), αλλά Διάνυσμα οπτικού άξονα (nx,ny,nz), Γωνία περιστροφής γύρω από οπτικό άξονα Θέση της κάμερας Κ Δελήμπασης 18

19 Εικόνα από βαθμονομημένη κάμερα Κ Δελήμπασης 19

20 Επιπροβολή σημείων του δαπέδου ανά 10cm Κ Δελήμπασης 20

21 Προσθήκη μίας εικονική σφαίρας, διαμέτρου 1m στο δάπεδο της εικόνας, με χρήση της βαθμονόμησης της κάμερας Κ Δελήμπασης 21

22 Camera 2 Camera 1 Camera 3 Εφαρμογή του calibration για κατασκευή συνθετικών frame: 3Dμοντέλο 2D image frame Κ Δελήμπασης 22

23 Αλλα είδη καμερών Εκτός από κάμερες προοπτικής προβολής, υπάρχουν και κάμερες με ευρύ οπτικό πεδίο (ευρυγώνιες). με οπτικό πεδίο =180 0 (fisheye / omnidirectional) Διαφορετικό μοντέλο σχηματισμού εικόνας Οι ευθείες γραμμές απεικονίζονται ως ελείψεις Εικόνα από fisheye οροφής. Παρατηρείστε την απεικόνιση των οριζόντιων και κατακόρυφων γραμμών Κ Δελήμπασης 23

24 Βασικά paper για βαθμονόμηση κάμερας Tsai, R. "A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses." IEEE Journal on Robotics and Automation 3.4 (1987): Zhang, Z. (2000). A flexible new technique for camera calibration.ieee Transactions on PAMI, 22(11), Κ Δελήμπασης 24