Ψηφιακή Επεξεργασία Εικόνας. Σ. Φωτόπουλος ΨΕΕ

Transcript

1 Ψηφιακή Επεξεργασία Εικόνας ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 1/46

2 Περιλαμβάνει: Βελτίωση (Enhancement) Ανακατασκευή (Restoration) Κωδικοποίηση (Coding) Ανάλυση, Κατανόηση Τμηματοποίηση (Segmentation) ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 2/46

3 «Επίπεδα» Επεξεργασίας Επεξεργασία Σημείου (Χαμηλό επίπεδο υπολογισμών) πχ. Τροποποίηση ιστογράμματος Επεξεργασία Περιοχής πχ. φιλτράρισμα Γεωμετρική Επεξεργασία πχ. Περιστροφή, affine μετασχηματισμός, υποβάθμιση, μορφισμός, κλπ. Επεξεργασία στιγμιοτύπων (frames) ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 3/46

4 Ιστόγραμμα (Histogram) Υπολογισμός Ιστογράμματος Ισοστάθμιση Ιστογράμματος Τροποποίηση Ιστογράμματος Βελτίωση του contrast (stretching) Μετασχηματισμοί Εντάσεως ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 4/46

5 Υπολογισμός ιστογράμματος x = Έστω μία εικόνα x με 16 pixels Η κατανομή των pixels στις διάφορες στάθμες (τιμές) αποτελεί το ιστόγραμμα της εικόνας. Αν διαιρέσουμε με το άθροισμα των εικονοστοιχείων παίρνουμε το κανονικοποιημένο ιστόγραμμα ή αλλιώς την εκτίμηση πυκνότητας πιθανότητας (pdf). Το συσσωρευτικό ιστόγραμμα προκύπτει με ολοκλήρωση-άθροιση του ιστογράμματος της εικόνας ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 5/46

6 Τροποποίηση ιστογράμματος x = Οιαρχικέςτιμέςτηςεικόναςx (2,3,4,5) έχουν μετακινηθεί στις (1,3,5,7) 4 2 Δηλαδή έχει χρησιμοποιηθεί μεγαλύτερο τμήμα του εύρους τιμών ήισοδύναμαόληηδιαθέσιμηδυναμική περιοχή Συνεπάγεται αύξηση της αντίθεσης x = ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 6/46

7 Γραμμικές διαδικασίες μεταβολής ιστογράμματος δ z γ α z β δ γ z' = (z-α) + γ β α Κάθε τιμή pixel z της εικόνας που βρίσκεται στο διάστημα [α, β] μετακινείται γραμμικά στην τιμή z ώστε να απεικονιστεί στο διάστημα [γ, δ]. ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 7/46

8 παράδειγμα Οι τιμές των pixels της εικόνας εισόδου βρίσκονται στο διάστημα [, 255], 255 συμπιέζονται στο διάστημα [, 127], στη συνέχεια συμπιέζονται στο διάστημα [128, 255] και τέλος αντιστρέφονται συμμετρικά ως προς το ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 8/46

9 Gamma (γ) correction Μετασχηματισμός έντασης 1.5 γ= (pixel εξόδου) ) = (pixel( εισόδου) 1/ 1/γ Με τον μετασχηματισμό έντασης που αντιστοιχεί σε «διόρθωση γ» η αρχική εικόνα μετατρέπεται σε μία εικόνα φωτεινότερη ή σκοτεινότερη, ανάλογα με την τιμή της μεταβλητής γ. ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 9/46

10 (pixel εξόδου) ) = (pixel( εισόδου) γ γ=3 γ=4 γ=5 ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 1/46

11 imadjdemo.m ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 11/46

12 Ισοστάθμιση ιστογράμματος Επιδιώκουμε : Το ιστόγραμμα της αρχικής εικόνας να μετατραπεί σε ομοιόμορφο δηλ ο αριθμός των σημείων σε όλες τις στάθμες είναι ίδιος. Αντίστοιχα το αθροιστικό - συσσωρευτικό ιστόγραμμα έχει γραμμική μορφή n= ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 12/46

13 Ισοστάθμιση Ιστογράμματος Υλοποίηση Υπολογισμός του επιθυμητού αριθμού n των pixels του κάθε bin στο τελικό ιστόγραμμα: συνολικός αριθμός pixel N n = αριθμός σταθμών εντάσεως (π.χ255) Το ιστόγραμμα της αρχικής εικόνας μετατρέπεται σε αθροιστικό ιστόγραμμα. Έστω C j οαριθμόςοαριθμόςτωνpixels από τη στάθμη έως j. Υπολογίζεται το ακέραιο μέρος C j /n. Ο αριθμός αυτός αποτελεί την νέα τιμή εντάσεως που θα έχει η αρχική κλάση j. j C j /n ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 13/46

14 παράδειγμα Υπολογίζουμε: n=262144/15= Για x= x τελ =56364/ = Αρχικές τιμές pixel ιστόγραμμα αθροιστικό ιστόγραμμα Τελικές τιμές pixel x x (α) Το αρχικό ιστόγραμμα, (β) το συσσωρευτικό και (γ) η σχέσηx τελ =f(x αρχ ) (α) (β) (γ) ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 14/46

15 Τροποποίηση ιστογράμματος Είναι γενίκευση της ισοστάθμισης ιστογράμματος Τροποποιεί το ιστόγραμμα της δοθείσης εικόνας p(f) σύμφωνα με ένα επιθυμητό ιστόγραμμα p d (q) Διαδικασία Υπολογίζονται τα «αθροιστικά» ιστογράμματα P(f) και P d (q) Επιλέγεται ο μετασχηματισμός q=t(f) έτσι ώστε να γίνει η καλύτερη προσέγγιση:p d (q) - P(f) = min k 1 Εύρεση k: p i q i k p i ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 15/46

16 παράδειγμα Αρχικό ιστόγραμμα Αρχικό συσωρευτικό ιστόγραμμα τελικές τιμές Αρχικές Επιθυμητό ιστόγραμμα Επιθυμητό συσωρευτικό ιστόγραμμα Τελικό ιστόγραμμα ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 16/46

17 παράδειγμα (με το matlab) Το πρώτο σχήμα (a) παρουσιάζει την αρχική εικόνα. Στο σχήμα (b) φαίνεται το ιστόγραμμα της αρχικής εικόνας όπου οι τιμές των pixels είναι συγκεντρωμένες στο πρώτο μισό του ιστογράμματος. Στο σχήμα (c) φαίνεται η επεξεργασμένη εικόνα (μετά την ισοστάθμιση του ιστογράμματός της) Στο τελευταίο σχήμα (d) δεικνύεται το ισοσταθμισμένο ιστόγραμμα, όπου παρατηρούμε πως οι τιμές των pixels είναι ομοιόμορφα κατανεμημένες σε όλο το ιστόγραμμα. * Οι τιμές των pixels στα ιστογράμματα είναι κανονικοποιημένες στη μονάδα ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 17/46

18 (α) (β) (γ) (δ) ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 18/46

19 Τροποποίηση ιστογράμματος σε έγχρωμες εικόνες μετασχηματίζουμε RGB YIQ τροποποίηση των τιμών της Y συνιστώσας μετασχηματισμός YIQ RGB Η διαδικασία αυτή επηρεάζει μόνο τη φωτεινότητα (luminance) της εικόνας. ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 19/46

20 Το Ιστόγραμμα σαν χαρακτηριστικό εικόνας ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 2/46

21 «Απόσταση «εικόνων με το ιστόγραμμα Το ιστόγραμμα αποτελεί χαρακτηριστικό της εικόνας h q (m) Η απόσταση ορίζεται ως εξής: d M 1 = q, t hq ( m) ht ( m) m= r h t (m) m για r=2 d = (h q h t ) T (h q h t ) ή γενικότερα d = (h q h t ) T Α(h q h t ) m ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 21/46

22 Ιστόγραμμα και ψευδοχρωματισμός εικόνας ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 22/46

23 Ψευδοχρωματισμός δύο τρόποι Να προσδώσουμε συγκεκριμένο χρώμα σε κάθε τμήμα του ιστογράμματος. Με γραμμικούς μετασχηματισμούς του ιστογράμματος. Με αυτόν τον τρόπο μία τιμή pixel παίρνει μέσω τριών μετασχηματισμών τρεις διαφορετικές τιμές που αντιστοιχούν στις τιμές RGB. ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 23/46

24 Κάθε τιμή pixel τηςασπρόμαυρηςεικόναςαπό-255 παίρνει διαφορετική τιμή στο R, G και στο B. Οι τρεις αυτές τιμές αποτελούν το διάνυσμα στον RGB χρωματικό χώρο. ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 24/46

25 1 τιμή rgb pixel,,1,2,3,4,5,6,7,8,9 1, τιμή pixel εισόδου ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 25/46

26 Και γενικά. ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 26/46

27 Στο matlab απλά. με το χρωματικό χάρτη χωρισμός του ιστογράμματος σε 256 τιμές και για κάθε τιμή χρησιμοποιούμε τον hot ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 27/46

28 Ιστόγραμμα και κατάτμηση εικόνας ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 28/46

29 Ιστόγραμμα και κατάτμηση εικόνας ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 29/46

30 Κατάτμηση με Κατωφλιοποίηση ιστογράμματος Βάσει «ποσοστού» Με επιλογή μεγίστων Με επιλογή κατωφλίου από επαναλήψεις Με προσαρμοζόμενο κατώφλιο Με «διπλό» κατώφλιο Μέθοδος Otsu Μείξη Gaussian συναρτήσεων Μέθοδος κλάσματος Rayleigh ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 3/46

31 Κατωφλιοποίηση βάσει ποσοστού (p-tile) Εφαρμόζεται όταν είναι γνωστό το ποσοστό των pixels που αντιστοιχούν στο αντικείμενο. Κλασσικό παράδειγμα:αναγνώριση χαρακτήρων (κείμενο) ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 31/46

32 ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 32/46

33 κατωφλιοποίηση Με επιλογή κορυφών - μεγίστων Η επιλογή των μεγίστων βασίζεται στην διαφορά μεγίστου ελαχίστου και όχι στην απόσταση των Βασίζεται στο μέγεθος: min(h 1,H 2 )/H Η 1 Η 3 Η Συνήθως αρκετά pixels του υποβάθρου έχουν ίδιες τιμές με pixels του αντικειμένου και η κατανομή τους έχει αλληλεπικάλυψη ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 33/46

34 Περιοχές που «χάνονται» κατωφλιοποιημένη εικόνα ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 34/46

35 κατωφλιοποίηση Με επιλογή κατωφλίου από επαναλήψεις Αλγόριθμος 1. Επιλογή αρχικής τιμής κατωφλίου Τ. (πχ. Ημέσητιμή) 2. Κατάταξη των pixels βάσει του κατωφλίου Τ σε δύο ομάδες R 1 και R 2 3. Υπολογισμός των μέσων τιμών μ 1 και μ 2 των ομάδων R 1 και R 2 4. Επιλογή καινούριας τιμής κατωφλίου Τ= 1 / 2 (μ 1 +μ 2 ) 5. Επανάληψη των βημάτων 2 έως 4 μέχρις ότου οι τιμές μ 1 και μ 2 δεν μεταβάλλονται R 1 T R ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 35/46

36 αρχική εικόνα και μετά από κατωφλιοποίηση Ιστόγραμμα αρχικής εικόνας ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 36/46

37 κατωφλιοποίηση Με προσαρμοζόμενο κατώφλιο Χωρίζουμε την εικόνα σε m n τμήματα (blocks) Επιλέγουμε κατώφλιο Τ ij για κάθε block Η τελική κατάτμηση είναι η ένωση των επιμέρους περιοχών όπως προκύπτουν σε κάθε block Τ 1,1 Τ 1,2 Τ 1,3 εικόνα 1.1 Τ 2,1 Τ 2,3 Τ2,2 ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 37/46

38 Εφαρμογή : εικόνα με ανομοιόμορφο φωτισμό Κακή επιλογή κατωφλίου 1 ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 38/46

39 κατωφλιοποίηση Με μεταβλητό κατώφλιο Εφαρμογή: εικόνα με ανομοιόμορφο φωτισμό Αρχική εικόνα Εκτίμηση του υποβάθρου Αφαίρεση του υποβάθρου από την αρχική εικόνα Αύξηση του contrast κατωφλιοποίηση ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 39/46

40 κατωφλιοποίηση Μέθοδος Οtsu Επαναληπτική μέθοδος Βασίζεται: Στην ελαχιστοποίηση της «within class» διακύμανσης Που ισοδυναμεί με την μεγιστοποίηση της «between class» διακύμανσης Επιτυγχάνεται με ελάττωση του σταθμικού αθροίσματος των διακυμάνσεων ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 4/46

41 σ w 2 (t ) = q 1 (t )σ 1 2 (t ) + q 2 (t )σ 2 2 (t ) q 1 (t) = μ 1 (t) = σ 1 2 (t) = t I P(i) q 2 (t) = P(i) i =1 t i =1 ip(i) q 1 (t) μ 2 (t) = i = t +1 I i =t +1 ip(i) q 2 (t ) t [i μ 1 (t)] 2 P(i) I P(i) σ 2 q 1 (t) 2 (t) = [i μ 2 (t)] 2 q 2 (t) i=1 i =t +1 ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 41/46

42 Επειδή σ 2 =σταθερή σ 2 = σ w 2 ( t ) + q 1 ( t )[ 1 q 1 ( t )][ μ 1 ( t ) μ 2 ( t )] 2 Within-class Between-class τελικά: q 1 (t +1) = q 1 (t) + P(t +1) μ 1 (t +1) = q 1 (t)μ 1 (t) + (t +1)P(t +1) q 1 (t +1) μ 2 (t +1) = μ q (t +1)μ 1 1 (t +1) 1 q 1 (t +1) ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 42/46

43 Μέθοδος Οtsu παράδειγμα ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 43/46

44 Διαχωρισμός με το πηλίκο Rayleigh J = ( μ μ ) 1 var var 2 max ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 44/46

45 Μείξη Gaussian συναρτήσεων h model (g) = n a e (g 2 μa ) (g μb 2 2 2σa 2σb + n b e ) Οι παράμετροι : μ Β, μ, σ Β, σ, n B, n «Σαρώνουμε» τις τιμές g και ελαχιστοποιούμε την συνάρτηση κόστους: ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 45/46

46 Ασκήσεις 2.1 Να γίνει ένα m-file που να τροποποιεί το ιστόγραμμα μίας εικόνας ώστε το τελικό ιστόγραμμα να έχει μορφή Gaussian συνάρτησης 2.2 Να υπολογισθεί το ιστόγραμμα 2 εικόνων και να βρεθεί η ευκλείδια απόσταση των. 2.3 Να υλοποιηθεί ο ψευδοχρωματισμός με βάση τον μετασχηματισμό της έντασης I R,G,B 2.4 Να γίνει ισοστάθμιση ιστογράμματος για μία τουλάχιστον έγχρωμη εικόνα 2.5 Να γίνει ψευδοχρωματισμός με τμηματοποίηση του ιστογράμματος 2.6 Nα γίνει κατάτμηση μαυρόασπρης (και έγχρωμης) εικόνας βάσει του ιστογράμματος (τηςυ συνιστώσας). 2.7 Να γίνει εφαρμογή της μεθόδου κατωφλιοποίησης με ποσοστά, σε αναγνώριση χαρακτήρων 2.8 Να υλοποιηθεί ο αλγόριθμος επιλογής κατωφλίου απο επαναλήψεις. Εφαρμογή σε εικόνα 2.9 Υλοποίηση του αλγορίθμου με προσαρμοζόμενο κατώφλιο. Εφαρμογή σε εικόνα με ανομοιόμορφο φωτισμό ΒΕΛΤΙΩΣΗ ΕΙΚΟΝΑΣ ΜΕ ΙΣΤΟΓΡΑΜΜΑ ΔΠΜΣ ΗΕΠ 46/46