Ε.Α.Υ. Υπολογιστική Όραση. Αντίληψη και Αναπαράσταση Εικόνας και Χρώματος

Transcript

1 Ε.Α.Υ. Υπολογιστική Όραση Αντίληψη και Αναπαράσταση Εικόνας και Χρώματος Γεώργιος Παπαϊωάννου 2015

2 ΑΝΤΙΛΗΨΗ ΤΟΥ ΦΩΤΟΣ

3 Το Ανθρώπινο Οπτικό Σύστημα We perceive light intensity and chromaticity via our photoreceptors: cones and rods

4 Το Φως και το Ηλεκτρομαγνητικό Φάσμα (1) Το φως συμπεριφέρεται και ως (ηλεκτρομαγνητικό) κύμα και ως σωματίδιο Το μήκος κύματος του φωτός καθορίζεται από τη σχέση: λλ = cc, όπου cc η ταχύτητα του φωτός και vv η vv συχνότητα του κύματος

5 Το Φως και το Ηλεκτρομαγνητικό Φάσμα (2) Πηγή:

6 ΑΟΣ Κωνία (1) Τα κωνία είναι υπεύθυνα για την όραση την ημέρα Κάθε ένας από τους 3 τύπους είναι ευαίσθητος σε μια ζώνη μήκους κύματος φωτός ή χρώμα Κόκκινο Πράσινο Μπλε

7 ΑΟΣ Κωνία (2) Τα κωνία είναι συγκεντρωμένα και περισσότερο πυκνά κοντά στο κέντρο του οπτικού μας πεδίου (fovea) Εξαιτίας της απευθείας μονής σύνδεσής τους με το οπτικό νεύρο, ως συστοιχία: Διακρίνουν καλύτερα λεπτομέρειες Αντιλαμβάνονται ταχύτερα χρονικές αλλαγές

8 ΑΟΣ Ραβδία (1) Τα ραβδία μπορούν να διεγερθούν σε χαμηλότερο φωτισμό Ευθύνονται για την νυχτερινή (scotopic) όραση Ρυθμίζουν το μέσο επίπεδο του ερεθίσματος (βλ. δυναμικό εύρος) Μεγαλύτερη συγκέντρωση μακριά από το οπτικό κέντρο (περιφερειακή όραση)

9 ΑΟΣ Ραβδία (2) Χαμηλή αντίληψη λεπτομέρειας λόγω της συνάθροισής των σημάτων τους Στο σκοτάδι δε βλέπουμε λεπτομέρειες Σύζευξη πολλών ραβδίων μαζί

10 ΑΟΣ Ραβδία (3) Η απόκριση συχνοτήτων των ραβδίων είναι κεντραρισμένη και αυτή κοντά στο πράσινο Ραβδία

11 ΑΟΣ Ολική Απόκριση Η αθροιστική απόκριση και των τεσσάρων αισθητήρων μας είναι αισθητά πιο ισχυρή σε τόνους του πράσινου Μπορούμε να διακρίνουμε καλύτερα αποχρώσεις και διαφορές έντασης στην περιοχή του πράσινου Γιατί;

12 Αντίληψη Φωτεινότητας (1) Αντιλαμβανόμενο φως πραγματικό προσπίπτον φως Το διάγραμμα αφορά σταθερό περιβάλλον φωτισμό

13 Αντίληψη Φωτεινότητας (2) Η αντιλαμβανόμενη φωτεινότητα εξαρτάται από τη φωτεινότητα του υποβάθρου Φωτεινότερο υπόβαθρο Σκοτεινότερο σημείο ενδιαφέροντος

14 Αντίληψη Αντίθεσης Το ΑΟΣ δε διακρίνει απόλυτες εντάσεις Δουλεύει συγκρίνοντας εντάσεις Πολλές οπτικές απάτες στηρίζονται σε αυτό Χρώμα A = Χρώμα B

15 Δυναμικό Εύρος Το ολικό εύρος των εντάσεων που μπορεί να παραγάγει ή να διακρίνει ένα σύστημα Δυναμικό προσαρμοστικό Το ΑΟΣ προσαρμόζεται στη μέση ένταση του υποβάθρου Ραβδία (scotoptic light): 10-6 cd/m 2 10cd/m 2 Κωνία (photoptic light): 10-2 cd/m cd/m 2 Ολικό εύρος: 10 8 :10-6 Δε μπορούμε να δούμε τις εντάσεις αυτές ταυτόχρονα!

16 ΧΡΩΜΑ

17 Χρώμα Όταν αναφερόμαστε σε εικόνες με μοναδικό κριτήριο την ένταση (φωτεινότητα): Μονόχρωμες εικόνες (τόνοι του γκρι) YY = ff(xx, yy) Εμείς αντιλαμβανόμαστε την έγχρωμη πληροφορία μέσω 3 συνιστωσών: κόκκινη, πράσινη και μπλε Δεν είναι ο μοναδικός τρόπος αναπαράστασης ενός χρώματος

18 Χρώμα Χρωματικά Μοντέλα (1) Το χρώμα αναπαριστάται μαθηματικά με κάποιο χρωματικό μοντέλο Χρωματικό μοντέλο: Απεικονίζει τα μήκη κύματος που απαρτίζουν το φως σε χρωματικές συνιστώσες Αφορά είτε την πραγματική φωτεινότητα είτε την αντιληπτή

19 Χρώμα Χρωματικά Μοντέλα (2) Χρειαζόμαστε τα χρωματικά μοντέλα (δηλ. μια μαθηματική αναπαράσταση του χρώματος και της φωτεινότητας) ώστε τα χρώματα να τα: Περιγράφουμε Συγκρίνουμε Διατάσσουμε Ταξινομούμε

20 Ταξινόμηση Χρωματικών Μοντέλων Προσθετικά. Υπακούουν στη λογική της υπέρθεσης φωτός. Το μάτι μας και οι οθόνες ακολουθούν αυτή τη λογική Αφαιρετικά. Αναπαριστούν τις διαδικασίες διέλευσης φωτός μέσα από χρωστικές. Η εκτύπωση και η ζωγραφική υπακούουν σε αυτή την μοντελοποίηση

21 Χρώμα Χώροι Χρωμάτων Οι βασικές συνιστώσες (πρωτεύοντα primaries) αποτελούν μια βάση ενός χώρου χρωμάτων (color space): Ο συνδυασμός των βασικών συνιστωσών μας δίνει τα υπόλοιπα χρώματα Καμία βασική συνιστώσα δε μπορεί να αναπαρασταθεί ως συνδυασμός των άλλων Κάποιοι χώροι χρωμάτων: Έχουν και αρνητικές τιμές Είναι φραγμένοι

22 Απόχρωση (Hue) Η απόχρωση καθορίζει πιο χρώμα αναπαριστά ένα σήμα, ανεξάρτητα από τη φωτεινότητά του Τυπικά την παριστάνουμε σε έναν κύκλο χρωμάτων και όχι με βάση το μήκος κύματος του φωτός «Μίξη» μεταξύ βασικών χρωμάτων Οι αποχρώσεις ταξινομούνται σε: Θερμές Ψυχρές Θερμά Ψυχρά

23 Θερμά και Ψυχρά Χρώματα Ψυχολογική απεικόνιση των αποχρώσεων ανάλογα με τη συνειρμική σύνδεσή τους με γεγονότα και ψυχικές καταστάσεις Χρήσιμο στην επιλογή παλέτας για οπτικοποίηση πληροφοριών, web sites κλπ Για μεγαλύτερη αντίθεση συνδυάζουμε μη συνεχόμενες αποχρώσεις Θερμά Ψυχρά

24 Κορεσμός Χρώματος Ο κορεσμός του χρώματος υποδηλώνει πόσο «έντονο» είναι ένα χρώμα ως απόκλιση από την «άχρωμη» πληροφορία Υψηλός κορεσμός χρώματος Χαμηλός κορεσμός χρώματος

25 Η ΨΗΦΙΑΚΗ ΕΙΚΟΝΑ

26 Η Εικόνα Μπορούμε να θεωρήσουμε την εικόνα ως ένα συνεχές σήμα (πραγματική συνάρτηση) που ορίζεται σε ένα επίπεδο (xx, yy CC R): YY = ff(xx, yy) Η Έγχρωμη εικόνα είναι μια διανυσματική συνάρτηση (πολυδιάστατο σήμα), με διάσταση ίση με τον αριθμό των συνιστωσών του χρώματος: cc = ff xx, yy

27 Μονόχρωμη και Έγχρωμη Εικόνα Μια μονόχρωμη εικόνα αποτελείται απλά από μια διαβάθμιση τιμών Μια έγχρωμη εικόνα απαρτίζεται από τις συνιστώσες της ή τα «κανάλια» χρώματος Κάθε κανάλι χρώματος είναι μια μονόχρωμη εικόνα!

28 Η Ψηφιακή Εικόνα (1) Τόσο ή σύνθεση εικόνας (γραφικά) όσο και η καταγραφή εικόνας (φωτογραφία, βίντεο) δημιουργούν μια διακριτοποιημένη αναπαράσταση ενός συνεχούς σήματος:

29 Η Ψηφιακή Εικόνα (2) Είναι μια διάταξη διακριτών δειγμάτων Συνήθως, ένας πίνακας (raster) εικοστοιχείων (pixels) Διακριτή προσέγγιση του συνεχούς σήματος Κάθε δείγμα εκπροσωπεί την περιοχή ενός pixel Τα έγχρωμα δεδομένα είναι κωδικοποιημένα με βάση κάποιο από τα χρωματικά μοντέλα (π.χ. RGB)

30 Η Ψηφιακή Εικόνα (3) Αναπαράσταση ψηφιακής εικόνας: Πίνακας τιμών II(ii, jj) ή I[ii, jj], ii 0, ww 1, jj [0, h 1]

31 Η Ψηφιακή Εικόνα (4) Τι παθαίνει η εικόνα κατά την μετατροπή της σε ψηφιακή; Δειγματοληπτείται: Παίρνουμε δείγματα σε διακριτές θέσεις στο χώρο της εικόνας ενδεχομένως χάνοντας ενδιάμεσες τιμές! τα δείγματα δεν είναι απαραίτητα στις βέλτιστες θέσεις Οι τιμές των δειγμάτων αναπαριστώνται αριθμητικά σε ψηφιακή μορφή: Κβάντιση Αποκοπή

32 Κβάντιση Λόγω πεπερασμένης αριθμητικής ακρίβειας (ειδικά σε ακεραίους), η αναπαράσταση και αποθήκευση της τιμής διαφέρει από την αρχική 8 bits (256 στάθμες) 4 bits (16 στάθμες)

33 Αποκοπή Λόγω πεπερασμένης αριθμητικής ακρίβειας (ειδικά σε ακεραίους), η αναπαράσταση και αποθήκευση της τιμής διαφέρει από την αρχική max Είσοδος Έξοδος 0 4 bits (16 στάθμες)

34 Αποθήκευση Εικόνων Αποθηκεύονται ως πίνακες στη μνήμη συνήθως κατά γραμμές, αλλά ενδέχεται και σε blocks ή στήλες Συνήθως οι χρωματικές συνιστώσες αποθηκεύονται εναλλάξ στη σειρά για κάθε pixel (interleaved)

35 Εικόνες Υψηλού Δυναμικού Εύρους (1) Αν θέλουμε να αποθηκεύσουμε δεδομένα εικόνας με: ελάχιστα ή καθόλου προβλήματα κβάντισης Σχεδόν κανένα πρόβλημα αποκοπής Χρησιμοποιούμε αναπαράσταση με δεκαδικούς αριθμούς Ισχύει και για αρχεία εικόνων (π.χ. Raw, EXR κλπ) Προσοχή: Αν η εικόνα μας έχει αποθηκευτεί είδη με μορφή ακεραίων, η ζημιά έχει γίνει!

36 Εικόνες Υψηλού Δυναμικού Εύρους (2) Για να μπορέσουμε να δείξουμε εικόνες HDR, και πάλι πρέπει να κβαντίσουμε και αποκόψουμε τις εντάσεις διότι: Οι συσκευές και τα μέσα εξόδου έχουν περιορισμένο εύρος και τονική ευκρίνεια Παράδειγμα: συνθετική εικόνα αποθηκευμένη σε 32bit/κανάλι Για να απεικονιστεί, μετατρέπεται πρώτα σε 8/bit/κανάλι. Δε μπορούν να αποτυπωθούν όλες οι εντάσεις ταυτόχρονα.

37 Ιστόγραμμα (1) Το ιστόγραμμα μιας εικόνας (τόνων του γκρι) είναι η κατανομή των Pixels ανά επίπεδο φωτεινότητας Ανάλογα επεκτείνεται για τα 3 κανάλια χρώματος στις έγχρωμες εικόνες

38 Ιστόγραμμα (2) Μπορούμε να το κανονικοποιήσουμε PDF εντάσεων Συχνά μαζεύουμε πολλές εντάσεις μαζί σε bins γιατί μας ενδιαφέρει η μακροσκοπική κατανομή των επιπέδων φωτεινότητας: PDF

39 Αισθητήρες Εικόνας Η ψηφιακή κάμερα παράγει μια στάθμη τάσης σε κάθε κελί μιας μήτρας αισθητήρων Το αναλογικό αυτό σήμα στη συνέχεια ψηφιοποιείται Σχετικά γραμμική απόκριση στην ένταση του προσπίπτοντος φωτός

40 Αισθητήρες και Χρώμα Οι τεχνητοί αισθητήρες δε μπορούν εγγενώς να ξεχωρίσουν χρώματα Λύσεις: Color filter arrays Τυπικές κάμερες 3 sensor arrays + πρίσμα Βαριά κατασκευή (high-end video cameras) Image source: Wikipedia

41 Color Filter Arrays Για να καταγράψουμε χρώμα με μόνο μία μήτρα αισθητήρων: Σε γειτονιές από κελιά (π.χ. 2Χ2) βάζουμε μια επικάλυψη από χρωματιστά φίλτρα Δυστυχώς, με αυτό τον τρόπο το χρώμα υποδειγματοληπτείται! Bayer filter

42 Ανακατασκευή Χρώματος Για να πάρουμε πλήρη έγχρωμη πληροφορία σε κάθε Pixel, εφαρμόζεται μια διαδικασία (φίλτρο) ανακατασκευής: Τα χρώματα που λείπουν παρεμβάλλονται από γειτονικά κελιά που τα έχουν Είσοδος Έξοδος αισθητήρα Χρωματισμένη έξοδος Ανακατασκευασμένο χρώμα

43 ΧΡΩΜΑΤΙΚΑ ΜΟΝΤΕΛΑ

44 Γιατί χρειαζόμαστε Πολλαπλά Μοντέλα; Τι κάθε μοντέλο χρώματος είναι κατάλληλο για μια σειρά από δουλειές Όπως θα δούμε, κάποια μοντέλα μας βοηθούν να: Ξεχωρίσουμε αποχρώσεις Δουλέψουμε με φωτεινότητα Να κάνουμε υπολογισμούς γραμμικά ως προς την αντίληψή μας για το χρώμα ή γραμμικά ως προς την πηγή Να αποθηκεύσουμε αποδοτικά δεδομένα (π.χ. συμπίεση) κλπ

45 Αντικειμενικότητα Μοντέλων Αντικειμενικά Οι χρωματικές συνιστώσες έχουν μοναδικές τιμές ως προς το πώς αντιλαμβανόμαστε το φωτισμό Εξαρτώμενα από συσκευή Οι ίδιες συνιστώσες θα προκαλέσουν διαφορετικό ερέθισμα στο μάτι μας ανάλογα με τη συσκευή που προβάλει το χρώμα

46 Το Μοντέλο RGB (1) Εξαρτώμενο από συσκευή Οι εικόνες αναπαριστώνται ως τριπλέτες RGB (κόκκινο, πράσινο, μπλε) σε κάθε Pixel Το μοντέλο RGB ταιριάζει με την τριχρωματική μας όραση Οι οθόνες εκπέμπουν φως στις 3 αυτές συνιστώσες Το μοντέλο RGB αναπαριστά παραγόμενη ισχύ φωτοβολίας και επομένως είναι γραμμικό ως προς την πηγή Το μοντέλο RGB δεν είναι γραμμικό ως προς την αντίληψη εντάσεων του ματιού μας

47 Το Μοντέλο RGB (2) Τυπικό μοντέλο για: Αποθήκευση φωτεινότητας εικόνων (στη μνήμη και σε αρχεία) Συστήματα προβολής (οθόνες, προβολικά κλπ) Συνήθως, αναπαριστά φραγμένες τιμές φωτεινότητας (κανονικοποιημένες 0-1, ακέραιες 0-255, κλπ)

48 Μοντέλο RGB Ο Χρωματικός Κύβος Τα 3 πρωτεύοντα χρώματα (R,G,B) αποτελούν τη βάση του χώρου RGB Οι κανονικοποιημένες τιμές RGB σχηματίζουν τον κύβο αποχρώσεων RGB:

49 Το Μοντέλο XYZ Αντικειμενικό μοντέλο Μη γραμμικό ως προς την αντίληψη έντασης Αναπαριστά 3 ποσότητες: Y: Φωτεινότητα (luminance) X,Z: Συνιστώσες χρωματικότητας (chromaticity) Οι συνιστώσες XYZ δεν είναι πρωτεύοντα «χρώματα»

50 Το μοντέλο CIE L*a*b* Παρόμοια με το XYZ, διαχωρίζει την φωτεινότητα (εδώ L*) από τη χρωματικότητα (a*,b*) Είναι αντιληπτικά γραμμικό Πάντα ορίζεται αναφορικά με το σημείο του λευκού μιας συσκευής Άξονας a*: πράσινο - μοβ Άξονας b*: μπλε - κίτρινο

51 Σημείο του Λευκού Το χρώμα που εκπέμπεται από μια συσκευή όταν όλες οι συνιστώσες χρώματος πάρουν τη μέγιστη τιμή Συνήθως όταν δηλαδή απεικονίζουμε r = g = b = 1 (normalized max) Το σημείο του λευκού το εκφράζουμε στο CIE XYZ μοντέλο ως (XX nn, YY nn, ZZ nn )

52 CIE L*a*b* - Υπολογισμοί Οι συντελεστές του L*a*b* ορίζονται αναφορικά με τις συντεταγμένες XYZ και το σημείο του λευκού: Αντιστρέψιμη διαδικασία (L*a*b* XYZ) Yr 16, if Yr > , L* = Yr, if Yr , a* = 500( f( Xr) f( Yr)) X Y Z b* = 200( f( Yr) f( Zr)) Xr = Yr = Zr = X Y Z f() t n n n 3 t if t >, = 7.787t + 16 /116, if t ,

53 Το Μοντέλο HSV (1) Τα μοντέλα RGB, XYZ και L*a*b* δεν είναι διαισθητικά εύκολα για να δουλέψουμε μαζί τους (π.χ. για να προσδιορίσουμε ένα χρώμα) Το μοντέλο HSV κωδικοποιεί τα χρώματα με μια πιο ανθρωποκεντρική προσέγγιση: (H)ue (απόχρωση): καθορίζει ποιο είναι το χρώμα (S)aturation (κορεσμός): καθορίζει πόσο έντονος είναι ο χρωματισμός (V)alue (τιμή έντασης): καθορίζει την ένταση (φωτεινότητα) του χρώματος

54 Το Μοντέλο HSV (2) Τα χρώματα αναπαριστώνται πάνω σε έναν κύλινδρο:

55 Το Μοντέλο HSV - Απόχρωση Τα χρώματα τοποθετούνται στην περίμετρο ενός κύκλου Η απόχρωση δίνεται από τη γωνία R = 0, G = 120, B = 240 O κύκλος αποχρώσεων αποτελεί μια τομή του κυλίνδρου HSV

56 Το Μοντέλο HSV - Κορεσμός Μέγιστος στην επιφάνεια (περιφέρεια) του κυλίνδρου Περιφέρεια: Αναπαριστά καθαρά χρώματα με μέγιστη χρωματικότητα Ελάχιστος πάνω στον άξονα (τόνοι του γκρι)

57 Που μας Χρησιμεύει το Μοντέλο HSV; Πολλές φορές στην υπολ. όραση χρειάζεται να ξεχωρίσουμε σχήματα ενός χρώματος, αλλά οποιασδήποτε έντασης ή κορεσμού (π.χ. «όλα τα χρώματα κοντά στο κόκκινο») Πολλά χαρακτηριστικά σε μια εικόνα αφορούν μόνο φωτεινότητα (π.χ. ακμές σχημάτων)

58 Παράδειγμα Χρήσης HSV If (H>36 o and H<324 o ) then V=0

59 Μετατροπή από HSV σε RGB

60 Μετατροπή από RGB σε HSV