Advances in Digital Imaging and Computer Vision. Lectures 1-2 Κώστας Μαριάς Αναπληρωτής Καθηγητής Επεξεργασίας Εικόνας

Transcript

1 Advances in Digital Imaging and Computer Vision Lectures 1-2 Κώστας Μαριάς Αναπληρωτής Καθηγητής Επεξεργασίας Εικόνας 21/2/2017 1

2 Advances in Digital Imaging and Computer Vision Lecture and Lab I Κώστας Μαριάς Αναπληρωτής Καθηγητής Επεξεργασίας Εικόνας 21/2/2017 2

3 Εισαγωγή στο μάθημα 3

4 Some basics on the class Το μάθημα είναι διεπιστημονικό, αντλώντας από τα μαθηματικά και τη στατιστική, τη φυσική, την οπτική, τη φυσιολογία και θεωρία της πληροφορίας, καθώς και την επιστήμη υπολογιστών, και έχει πολλές εφαρμογές συμπεριλαμβανομένης της τηλεπισκόπησης, των πολυμέσων, την επιτήρηση, την κατασκευή, τη ρομποτική, ιατρική απεικόνιση. 4

5 Σκοπός Μαθήματος Εξοικείωση με την Επεξεργασία Εικόνας και Υπολογιστική Όραση σε μεταπτυχιακό επίπεδο. Να μάθουμε να επεξεργαζόμαστε εικόνες με Matlab. Να μάθουμε βασικές έννοιες και υπολογιστικά εργαλεία Υπολογιστικής Όρασης με Matlab αλλά και Python! Να δημιουργήσουμε μια καλή και λειτουργική ομάδα! 5

6 Some basics on the class Η επεξεργασία εικόνας και η υπολογιστική όραση είναι δύο γειτονικές περιοχές έρευνας που έχουν κερδίσει μεγάλη προσοχή από την ερευνητική κοινότητα τις τελευταίες δεκαετίες. Το μάθημα αυτό επικεντρώνεται στην επεξεργασία / ανάλυση των εικόνων με σκοπό την βελτίωση του περιεχομένου τους αλλά και την κατανόηση των αντικειμένων και των διαδικασιών στον κόσμο που τους δημιουργούν. Basic Matlab Research 6

7 Image Processing vs. Computer Vision Επεξεργασία Εικόνας Research area within electrical engineering/signal processing Input and output are images and focus is on low level processing/features Υπολογιστική Όραση image image Research area within computer science/artificial intelligence Faces Focus on semantics, People symbolic or geometric descriptions image Chairs etc. 7

8 Goal of Image Processing and Computer Vision Make computers understand images. (e.g. photos, videos, medical images) 8

9 Example: Object Recognition Both image processing and CV techniques are required! 9

10 Example: Optical Character Recognition (OCR) 10

11 Example: Biometrics 11

12 Basic Example: Medical Vision DrEye 12

13 Some basics on the class Major topics include optics, image representation, feature extraction, image processing and analysis, object recognition, motion estimation, 3D and multi-view imaging. The emphasis is both on learning mathematical concepts and techniques and on their implementation (Matlab & Python) to solve real vision and imaging problems. A programming background is assumed, as well as familiarity with linear algebra although everything will be well explained in class! 13

14 Εφαρμογές Επεξεργασίας Εικόνας Basic Φωτογραφία Επεξεργασία εικόνας για ιατρικούς σκοπούς Ανάλυση μικροσκοπικών παρατηρήσεων Ταυτοποίηση προσώπων (σύγκριση στα χαρακτηριστικά προσώπου, δακτυλικών αποτυπωμάτων κτλ.) Εφαρμογές στην τεχνητή νοημοσύνη/ μηχανική όραση Τέχνη, Γραφιστική Βιομηχανική παρακολούθηση Εφαρμογή νόμου Διεπαφές ανθρώπου υπολογιστή Photo Image processing for medical purposes Analysis of microscopic observations Face identification (comparison to face, fingerprint, etc.) Applications in Artificial Intelligence / Mechanical Vision Art, Graphic Design Industrial monitoring Implementation of the law Human Computer Interfaces 14

15 Basic Για την Ιστορία Image from Science 313: Eric Betzig, Stefan W. Hell and William E. Moerner Nobel Prize in Chemistry 2014 for having bypassed a presumed Nobel prizes scientific limitation stipulating that an optical microscope can never Roentgen (1901): Discovery of X-rays yield Hounsfield a resolution & Cormack better than (1979): 0.2 Computed micrometres. tomography Super-resolution imaging pioneers 15

16 Basic Image processing and computer vision Μια ευρεία κατηγοριοποίηση είναι σε Επεξεργασία Χαμηλού, Μέσου και Υψηλού Επιπέδου: Επεξεργασία Χαμηλού Επιπέδου Επεξεργασία Μέσου Επιπέδου Επεξεργασία Υψηλού Επιπέδου Input: Εικόνα Output: Εικόνα Input: Εικόνα Output: Χαρακτηριστικά Input: Χαρακτηριστικά Output: Κατανόηση, ΑΙ Παραδείγματα: Αφαίρεση θορύβου, όξυνση κοντράστ εικόνας Παραδείγματα: Αναγνώριση αντικειμένου, κατάτμηση εικόνας Παραδείγματα: Αναγνώριση σκηνής, αυτόνομη πλοήγηση, αυτόματη διάγνωση 16

17 Basic Παράδειγμα ροής εργασίας Επεξεργασίας Εικόνας Problem Domain Image Acquisition Morphological Processing Image Restoration Segmentation Object Recognition Image Enhancement Representation & Description Αυτόματη αναγνώριση τύπου ιστού (BIRADS) και εκτίμηση ρίσκου. Κτήση εικόνας Βελτίωση ποιότητας εικόνας Κατάτμηση Εικόνας Αναγνώριση Αντικειμένου K. Marias, C.P. Behrenbruch, R.P. Highnam, S. Parbhoo, A. Seifalian and Michael Brady: "A mammographic image analysis method to detect and measure changes in breast density". European Journal of Radiology, Volume 52, Issue 3, December 2004, Pages

18 Η αλυσίδα της απεικόνισης 18

19 Η αλυσίδα της απεικόνισης Basic Είναι ένα εννοιολογικό μοντέλο που περιγράφει τους παράγοντες που πρέπει να ληφθούν υπόψιν για τη δημιουργία ενός απεικονιστικού συστήματος. Τα βασικά του συστατικά περιλαμβάνουν: Το οπτικό σύστημα του ανθρώπου. Οι σχεδιαστές απεικονιστικών συστημάτων πρέπει να λαμβάνουν υπόψη τις φυσιολογικές διαδικασίες που μεταφράζουν τις οπτικές πληροφορίες σε αίσθηση της όρασης. 19

20 Η αλυσίδα της απεικόνισης τη μορφή της ενέργειας που εκπέμπεται ή αντανακλάται, όπως ηλεκτρομαγνητική ενέργεια ή μηχανική ενέργεια. τη συσκευή λήψης της ενέργειας και μετατροπής της σε ηλεκτρονικό σήμα. τους επεξεργαστές που μετατρέπουν με αλγορίθμους τα σήματα σε ψηφιακή εικόνα. την οπτικοποίηση, μετα-επεξεργασια (π.χ. αναγνώριση, μετάφραση), αποθήκευση και μετάδοση 20

21 Imaging Chain 1. The human visual system. Designers must also consider the psychophysicalprocesses which take place in human beings as they make sense of information received through the visual system. 2. The subject of the image. When developing an imaging system, designers must consider the observables associated with the subjects which will be imaged. These observables generally take the form of emitted or reflected energy, such as electromagnetic energy or mechanical energy. 3. The capture device. Once the observables associated with the subject are characterized, designers can then identify and integrate the technologies needed to capture those observables. For example, in the case of consumer digital cameras, those technologies include optics for collecting energy in the visible portion of the electromagnetic spectrum, and electronic detectors for converting the electromagnetic energy into an electronic signal. 21

22 Imaging Chain 4. The processor. For all digital imagingsystems, the electronic signals produced by the capture device must be manipulated by an algorithm which formats the signals so they can be displayed as an image. In practice, there are often multiple processors involved in the creation of a digital image. 5. The display. The display takes the electronic signals which have been manipulated by the processor and renders them on some visual medium. Examples include paper (for printed, or "hard copy" images), television, computer monitor, or projector. 22

23 Basic Η αλυσίδα της απεικόνισης Η διαδρομή της πληροφορίας στο οπτικό σύστημα του ανθρώπου : Το οπτικό ερέθισμα από τον έξω κόσμο συλλαμβάνεται στο αισθητήριο όργανο (μάτι), και στη συνέχεια μέσω του οπτικού νεύρου μεταδίδεται στον εγκέφαλο, καταλήγοντας στον οπτικό φλοιό όπου γίνεται η επεξεργασία της πληροφορίας και πραγματώνεται η αίσθηση της όρασης. 23

24 Η αλυσίδα της απεικόνισης Το ανθρώπινο μάτι Ο αμφιβληστροειδής είναι η εσωτερική μεμβράνη του ματιού. Όταν το μάτι εστιάζει (κίνηση μέσω μυών) το φως από ένα εξωτερικό αντικείμενο απεικονίζεται στον αμφιβληστροειδή μέσω των κυτταρων-δεκτών που μεταφέρουν μέσω νευρώνων τα σήματα στον εγκέφαλο προς επεξεργασία. Απλουστευμένο διάγραμμα μιας τομής του ματιού 24

25 Η αλυσίδα της απεικόνισης Όραση Γραφική αναπαράσταση του ματιού ενώ κοιτάει το δέντρο. Το σημείο C είναι το οπτικό κέντρο του φακού. Digital Image Processing, Rafael C. Gonzalez & Richard E. Woods, Addison-Wesley,

26 Η αλυσίδα της απεικόνισης Όραση Ο παρατηρητής κοιτάει το δέντρο ύψους 15μ από απόσταση 100μ. Αν x είναι το μήκος της εικόνας στον αμφιβληστροειδή από τη γεωμετρία της εικόνας έχουμε 15/100=χ/17-> x =2,55mm x Digital Image Processing, Rafael C. Gonzalez & Richard E. Woods, Addison-Wesley,

27 Basic Ηλεκτρομαγνητική ακτινοβολία και απεικόνιση Τύποι ηλεκτρομαγνητικής ακτινοβολίας Gamma radiation X-ray radiation Ultraviolet radiation Visible radiation Infrared radiation Terahertz radiation Microwave radiation Radio waves 27

28 Basic Ανακατασκευή από προβολές προβολή του απεικονιζόμενου αντικειμένου υπό γωνία θ g det ector I( x) ( x) = ln = (x, I o source y) d y Το πρόβλημα της ανακατασκευής μπορεί να τεθεί ως η προσπάθεια υπολογισμού της συνάρτησης (x,y) από προβολές 28

29 Basic Ανακατασκευή από προβολές Συνεχής περιστροφή του συστήματος πηγής-ανιχνευτή για την πρόσκτηση προβολών από διαφορετικές γωνίες. μετασχηματισμός Radon του μ(x,y). R xcos ysin g ( R) = (x, y) ( xcos ysin x y R) dydx 29

30 Basic Οπτικοποίηση και Επεξεργασία DrEye 30

31 Ψηφιακή εικόνα και επεξεργασία 31

32 Basic Η ψηφιακή εικόνα Η ψηφιακή εικόνα είναι μια αναπαράσταση f(x,y) μιας δισδιάστατης εικόνας ως ένα διακριτό σύνολο ψηφιακών τιμών (pixels) Digital Image Processing, Rafael C. Gonzalez & Richard E. Woods, Addison-Wesley,

33 Basic Η ψηφιακή εικόνα Μπορούμε να σκεφτούμε μια εικόνα ως συνάρτηση f, από R 2 -> R : f( x, y ) δίνει την ένταση στο ( x, y ) Ρεαλιστικά, περιμένουμε την εικόνα για να οριστεί μόνο σε ένα ορθογώνιο, με έναν πεπερασμένο εύρος: Μια έγχρωμη εικόνα είναι μια διανυσματική συνάρτηση τριών εικόνων R, G, B r( x, y) f ( x, y) g( x, y) b ( x, y) 33

34 Basic Η ψηφιακή εικόνα Χρησιμοποιούμε διακριτές τιμές στις εικόνες (π.χ. δειγματοληψία) Η εικόνα μπορεί τώρα να αναπαρασταθεί ως ένας πίνακας με ακέραιες τιμές 4 j 3 i Η Ένταση στο i=3, j=4 είναι f( 3, 4 ) = 46 34

35 Επεξεργασία εικόνας Basic Η επεξεργασία εικόνας συνήθως καθορίζει μια ροή εργασιών που έχει ως αποτέλεσμα να δημιουργηθεί μια νέα εικόνα g με βάση την υπάρχουσα εικόνα f. Η επεξεργασία εικόνας αποσκοπεί τόσο στην δημιουργία της εικόνας (π.χ. Αλγόριθμοι ανακατασκευής 3Δ εικόνας από προβολές) όσο και στην βελτίωση της ποιότητας της εικόνας για την ευκολότερη ερμηνεία του περιεχομένου (φίλτρα, γεωμετρικοί μετασχηματισμοί, ευθυγράμμιση) καθώς και την αποθήκευση μετάδοση και αναπαράσταση. Τα όρια της επεξεργασίας εικόνας με την υπολογιστική/μηχανική όραση είναι σε ορισμένες περιπτώσεις θολά! 35

36 Σημαντικές κατηγορίες Επεξεργασίας Εικόνας Basic Γεωμετρικές μετατροπές και ευθυγράμμιση εικόνων: Αλλαγή στο μέγεθος ολόκληρης ή τμήματος της εικόνας, περιστροφή, παραμόρφωση, αλλαγή προοπτικής κτλ. Κατάτμηση της εικόνας σε περιοχές, με στόχο τον καθορισμό των τομέων ενδιαφέροντος στην εικόνα (Regions of Interest, ROI). Εφαρμογή φίλτρων με στόχο τη βελτίωση της ποιότητας της εικόνας ή τον τονισμό γνωρισμάτων της (π.χ. περιγραμμάτων). Αποκατάσταση εικόνας, από μία ενθόρυβη / θολωμένη ή παραμορφωμένη με atrifacts εικόνα εισόδου. Συμπίεση και μετάδοση εικόνων/βίντεο δεδομένων. Σύντηξη εικόνων για βελτιστοποίηση της πληροφορίας (data fusion). 36

37 Εισαγωγή στην Ψηφιακή Εικόνα 37

38 Βασικές έννοιες επεξεργασίας 38

39 Digital Image Processing, Rafael C. Gonzalez & Richard E. Woods, third edition, Pearson Prentice Hall 2008 Study Material Page 53: Digitization and Quantization Page 58: Number of bits required to store an image, spatial and intensity resolution Page 67: Reducing spatial or temporal resolution 68-72: Some Basic Relationships between Pixels To learn the basics on Image formats 39

40 Basic Δειγματοληψία και κβαντοποίηση y επίπεδα έντασης Συνεχής Εικόνα Digital Image Processing, Rafael C. Gonzalez & Richard E. Woods, Addison-Wesley,

41 y επίπεδα έντασης Digitizing the coordinate values is called sampling. Digitizing the amplitude values is called quantization. Sampling is constrained by the Nyquist theorem. Digital Image Processing, Rafael C. Gonzalez & Richard E. Woods, Addison-Wesley,

42 Δειγματοληψία και κβαντοποίηση Basic Δειγματοληψία: Αφορά τις χωρική δειγματοληψία με τους περιορισμούς του θεωρήματος του Nyquist. Κβαντοποίηση: Αφορά τα επίπεδα εντάσεων που θα αποδοθούν στα pixels της εικόνας. Ο κβαντισμός αναφέρεται στη διακριτοποίηση της τιμής f του κάθε εικονοστοιχείου (δηλαδή του πεδίου τιμών). 42

43 Basic Δειγματοληψία και κβαντοποίηση Ο αριθμός, b, των bits που απαιτούνται για την αποθήκευση μιας εικόνας με 2 k επίπεδα εντάσεων: b = M * N * k (γραμμές*στήλες*k) Οι εντάσεις (L = 2 k ) είναι ισοκατανεμημένες στο διάστημα [0, L - 1] Μειώνοντας τη χωρική ανάλυση από 1250 σε 72dpi Μειώνοντας των αριθμό εντάσεων από 128 σε 4 επίπεδα έντασης Digital Image Processing, Rafael C. Gonzalez & Richard E. Woods, Addison-Wesley,

44 Δειγματοληψία και κβαντοποίηση Basic Εικόνα Ν M, πλήθους αποχρώσεων G=2 κ b = Ν M κ k k: εύρος χρωματικής πληροφορίας εικονοστοιχείου 44

45 Basic Βασικές σχέσεις ανάμεσα σε pixels Γείτονες του pixel p: 4-γείτονες Ν 4 (p) Είναι το σύνολο από τους Τέσσερεις οριζόντιους και κάθετους: (x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1) (x - 1, y) (x, y - 1) (x,y) (x, y + 1) (x + 1, y) στήλες γραμμές 45

46 Basic Βασικές σχέσεις ανάμεσα σε pixels Γείτονες του pixel p: 4- διαγώνιοι γείτονες Ν D (p) Είναι το σύνολο από τους Τέσσερεις διαγώνιους: (x + 1, y + 1), (x + 1, y - 1), (x - 1, y + 1), (x - 1, y - 1) (x - 1, y - 1) (x - 1, y + 1) (x,y) στήλες (x + 1, y - 1) (x + 1, y + 1) γραμμές 46

47 Basic Βασικές σχέσεις ανάμεσα σε pixels Γείτονες του pixel p: 8-γείτονες N 8 (p)=n 4 (p)+ Ν D (p) στήλες (x - 1, y - 1) (x - 1, y) (x - 1, y + 1) (x, y - 1) (x,y) (x, y + 1) (x + 1, y - 1) (x + 1, y) (x + 1, y + 1) γραμμές Σε όλες τις περιπτώσεις αν το (x,y) είναι στο περίγραμμα της εικόνας οι γείτονες ενδέχεται να είναι έξω από την εικόνα!!! 47

48 Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Adjacency, Connectivity, Regions, and Boundaries Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Ορίζουμε ως V το σύνολο των τιμών εντάσεων εικόνας για να ορίσουμε γειτνίαση. Στην δυαδική εικόνα (binary) V = {1} οπότε μιλάμε για γειτνίαση pixels που έχουν τιμή 1. Σε 8bit εικόνα το V ={0..255}. Basic 48

49 Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Η Γειτνίαση ορίζεται (a) 4-γειτνίαση. 2 pixels p και q με τιμές από το V έχουν 4-γειτνίαση αν το q ανήκει στο σύνολο Ν 4 (p) (b) 8-γειτνίαση. 2 pixels p και q με τιμές από το V έχουν 8-γειτνίαση αν το q ανήκει στο σύνολο Ν 8 (p) (c) m-γειτνίαση(mixed adjacency). 2 pixels p και q με τιμές από το V έχουν m-γειτνίαση αν (i) q ανήκει στο Ν 4 (p), ή (ii) q ανήκει στο Ν D (p) και η τομή Ν 4 (p) Ν 4 (q) δεν έχει pixels με τιμές στο V. Basic 49

50 Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Η m-γειτνίαση μας βοηθάει να ορίζουμε μονοσήμαντα σχέσεις pixels ώστε να αποφεύγεται η ασάφεια που προκύπτει από π.χ. την 8- γειτνίαση. Το παράδειγμα δείχνει αυτήν την ιδιότητα: Ν4(p) Ν4(q) Basic q p 8-γειτνίαση m-γειτνίαση 1)Το q ΔΕΝ ανήκει στο Ν 4 (p) 2)Το Ν 4 (p) Ν 4 (q) ΔΕΝ είναι κενό σύνολο στο V={1} p,q δεν είναι m-γείτονες 50

51 Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Ένα ψηφιακό μονοπάτι από το pixel p (x,y) στο q(s,t) ορίζεται ως η ακολουθία ξεχωριστών pixels με συντεταγμένες (x 0, y 0 ), (x 1, y 1 ),, (x n, y n ) αν: (x 0, y 0 ) = (x, y) και (x n, y n ) = (s, t) Κάθε ζεύγος pixels (x i, y i ) και (x i-1, y i-1 ) έχουν γειτνίαση για i=1..n. Το μήκος του μονοπατιού είναι n Αν (x 0, y 0 ) = (x n, y n ) το μονοπάτι είναι κλειστό Μπορούμε να ορίσουμε 4-,8-, ή m-μονοπάτια ανάλογα με το πώς ορίζουμε την γειτνίαση. Basic 51

52 Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Μπορούμε να ορίσουμε 4-,8- μονοπάτια, ή m- μονοπάτια ανάλογα με το πώς ορίζουμε την γειτνίαση. Basic 52

53 Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Basic Έστω ότι το S είναι ένα υποσύνολο των pixels μιας εικόνας. Δύο pixels p και q are ορίζονται ως συνδεδεμένα στο S αν υπάρχει ένα μονοπάτι αναμεσά τους με pixels που ανήκουν αποκλειστικά στο S. Για οποιοδήποτε pixel p του S, το σύνολο των pixels στο S που είναι συνδεμένα μαζί του ονομάζεται συνδεδεμένο συστατικό (connected component) του S. Αν το S έχει μόνο ένα συνδεδεμένο συστατικό ονομάζεται συνδεδεμένο σύνολο (connected set). 53

54 Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Έστω ότι R είναι ένα υποσύνολο των pixels μιας εικόνας. Το R είναι μια περιοχή (region) της εικόνας αν είναι ένα συνδεδεμένο σύνολο (connected set). Δύο περιοχές είναι γειτονικές αν η ένωσή τους σχηματίζει ένα συνδεδεμένο σύνολο Διαφορετικά οι περιοχές είναι ξεχωριστές (disjoint). Για να ορίσουμε όλα τα παραπάνω πρέπει να έχουμε ορίσει πρώτα αν μιλάμε για 4-,8- γειτνίαση περιοχών. Basic 54

55 Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Στο παρακάτω παράδειγμα αριστερά οι δύο περιοχές που έχουν 4-γειτνίαση δεν γειτονεύουν. Αν χρησιμοποιήσουμε όμως 8-γειτνίαση (δεξιά) οι περιοχές γειτονεύουν γιατί η ένωσή τους είναι ένα συνδεδεμένο σύνολο! 55

56 Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Σχετικά με το περίγραμμα πρέπει και πάλι να ορίσουμε αν αναφερόμαστε σε 4-,8-, m- γειτνίαση. Για να αποφύγουμε ασάφεια (βλέπε παρακάτω σχήμα) χρησιμοποιούμε 8-γειτνίαση/συνδεσιμότητα για σημεία μιας περιοχής και του background. Το pixel αυτό ΔΕΝ ανήκει στο περίγραμμα της περιοχής με τιμές 1 αν χρησιμοποιήσουμε 4- γειτνίαση με το φόντο! 56

57 Γειτνίαση, Συνδεσιμότητα, Περιοχές, και Όρια Ο προηγούμενος ορισμός είναι το εσωτερικό περίγραμμα σε αντίθεση με το εξωτερικό που είναι το αντίστοιχο του background. Αυτό είναι σημαντικό για ανάπτυξη αλγορίθμων που εντοπίζουν το περίγραμμα της εικόνας γιατί το περίγραμμα είναι πάντα ένα κλειστό μονοπάτι! Το εσωτερικό περίγραμμα της περιοχής εικόνας με τιμές 1 είναι η ίδια περιοχή ΑΛΛΑ δεν είναι κλειστό μονοπάτι!!! Το εξωτερικό όμως είναι!!! 57

58 Αποστάσεις Για pixels p, q, and z, με συντεταγμένες (x, y), (s, t), και (v, w), αντίστοιχα, το D είναι μια μετρική απόστασης αν: D(p, q) 0, (D(p, q) = 0 if p = q), D(p, q) = D(q, p) D(p, z) D(p, q) + D(q, z). 58

59 Ευκλείδεια απόσταση: Αποστάσεις De(p, q) = [(x - s) 2 + (y - t) 2 ] 1/2 D 4 απόσταση: D 4 (p, q) = Ix s I + I y t I p 1 2 γραμμές στήλες p:(x, y) σταθερό, κέντρο q: (s, t) μετακινούμενο D 4 =1: 4-γείτονες του p 59

60 D 8 απόσταση: Αποστάσεις D 8 (p, q) = max{ Ix s I, I y t I } στήλες p p:(x, y) σταθερό, κέντρο q: (s, t) μετακινούμενο D 8 =1: 8-γείτονες του p γραμμές 60

61 Παράδειγμα Άσκηση 1 Consider the two image subsets S1,S2 and shown in the following figure. For V={1}, determine whether these two subsets are (a) 4-adjacent, (b) 8-adjacent, or (c) m-adjacent. 61

62 Παράδειγμα Άσκηση 2 Let V={0,1} and compute the lengths of the shortest 4-, 8-, and m-path between p and q. If a particular path does not exist between these two points, explain why. (b) Repeat for V = {1,2} 62

63 References Digital Image Processing, Rafael C. Gonzalez & Richard E. Woods, Addison-Wesley, 2002 Image Registration for Remote Sensing, ed. J. Le Moigne, N.S. Netanyahu and R.D. Eastman, Cambridge, UK:Cambridge University Press,

64 Μέγεθος αρχείων εικόνων Τα αρχεία εικόνων είναι γενικά μεγάλα. Για μια δυαδική εικόνα 512x512 pixels χρειαζόμαστε: 512x512pixels x 1bit/pixel=262144bit Διαιρώντας με 8 ισοδυναμεί με 32768bytes ή 32,768Kb Για μια εικόνα Gray Scale χρειαζόμαστε: 512x512pixels x 1byte/pixel=262144bytes ή 262,144Κb Για μια έγχρωμη εικόνα RGB κάθε pixel χρειάζεται 3 byte (RGB = 3 πίνακες από 0-256) οπότε χρειαζόμαστε: 512x512pixels x 3byte/pixel=786432bytes ή 786,432Κb 64

65 Format εικόνων Υπάρχουν διάφορα format με πλεονεκτήματα ή μειονεκτήματα ανάλογα την εφαρμογή. To Matlab με ευκολία φορτώνει τα περισσότερα από αυτά (π.χ. GIF, TIFF, PNG), αλλά σε κάθε περίπτωση είναι καλό να γνωρίζουμε κάποια βασικά πράγματα. Από τα πολλά διαθέσιμα format κάποια είναι σχεδιασμένα για συγκεκριμένες ανάγκες (π.χ. μετάδοση εικόνων στο δίκτυο), ενώ άλλα έχουν σχεδιαστεί π.χ. για συγκεκριμένα λειτουργικά συστήματα. 65

66 Format εικόνων Εκτός από τις τιμές της εικόνας και θέσεις των pixels ένα αρχείο εικόνας θα περιέχει ένα header τι οποίο θ δίνει πληροφορίες για την εικόνα. Το Header θα προσδιορίζει τουλάχιστον το μέγεθος (γραμμές x στήλες) και αν χρειάζεται ανάλογα με την περίπτωση π.χ. τον χρωματικό χάρτη (colormap), την συμπίεση που έχει χρησιμοποιηθεί καθώς και μια γενική περιγραφή της εικόνας. 66

67 Format εικόνων Για παράδειγμα το TIFF format (Tagged Image Format), είναι ένα πολύ γενικό format που επιτρέπει δυαδικές, grayscale, RGB και indexed έγχρωμες εικόνες. Επομένως είναι κατάλληλο format για μετάδοση εικόνων ανάμεσα σε διαφορετικά λειτουργικά συστήματα και περιβάλλοντα ενώ επιτρέπει την αποθήκευση και παραπάνω από μιας εικόνας ανα αρχείο. Στη matlab διαβάζεται με την εντολή imread. Άλλα σημαντικά format που συναντάμε συχνά είναι τα JPEG, GIF, BMP, PNG, DICOM (για ιατρικές εικόνες) 67

68 JPEG Format Η JPEG (Joint Photographic Experts Group) είναι μια μέθοδος συμπίεσης με απώλεια. Οι συμπιεσμένες εικόνες JPEG αποθηκεύονται συνήθως στη μορφή αρχείου JFIF (Format JPEG File Interchange Format). Η επέκταση αρχείου JPEG / JFIF είναι JPG ή JPEG. Σχεδόν κάθε ψηφιακή φωτογραφική μηχανή μπορεί να αποθηκεύσει εικόνες σε μορφή JPEG / JFIF, η οποία υποστηρίζει εικόνες grayscale 8 bit και έγχρωμες εικόνες 24 bit (οκτώ bits για κόκκινο, πράσινο και μπλε). Το JPEG εφαρμόζει συμπίεση απώλειας σε εικόνες, γεγονός που μπορεί να οδηγήσει σε σημαντική μείωση του μεγέθους του αρχείου. Οι εφαρμογές μπορούν να καθορίσουν το βαθμό συμπίεσης που πρέπει να εφαρμοστεί ενώ το μέγεθος της συμπίεσης επηρεάζει την οπτική ποιότητα του αποτελέσματος. Όταν δεν είναι πάρα πολύ μεγάλη, η συμπίεση δεν επηρεάζει αισθητά ή μειώνει την ποιότητα της εικόνας, αλλά τα αρχεία JPEG υφίστανται διαδοχικές υποβαθμίσεις όταν τροποποιούνται και αποθηκεύονται επανειλημμένα. (Το JPEG παρέχει επίσης αποθήκευση εικόνων χωρίς απώλειες, αλλά η έκδοση χωρίς απώλειες δεν υποστηρίζεται ευρέως.) 68

69 TIFF Format Η μορφή TIFF (Tagged Image File Format) είναι μια ευέλικτη μορφή που κανονικά αποθηκεύει οκτώ bits ή δεκαέξι bits ανά χρώμα (κόκκινο, πράσινο, μπλε) συνολικά 24 bit και 48 bits, αντίστοιχα, συνήθως χρησιμοποιώντας το όνομα αρχείου TIFF ή TIF. Το TIFF σχεδιάστηκε για να είναι εύκολα επεκτάσιμο και πολλοί έχουν εισαγάγει ιδιόκτητες ετικέτες ειδικής χρήσης - με αποτέλεσμα κανένα πρόγραμμα να μπορεί να χειριστεί όλα τα αρχείαtiff. Τα TIFFs μπορεί να είναι με ή χωρίς απώλειες, ανάλογα με την τεχνική επιλογή για την αποθήκευση των δεδομένων εικονοστοιχείων. Ορισμένες ψηφιακές κάμερες μπορούν να αποθηκεύσουν εικόνες σε μορφή TIFF, χρησιμοποιώντας τον αλγόριθμο συμπίεσης LZW για αποθήκευση χωρίς απώλειες. Η μορφή εικόνας TIFF δεν υποστηρίζεται ευρέως από προγράμματα περιήγησης ιστού. Το TIFF παραμένει ευρέως αποδεκτό ως πρότυπο αρχείου φωτογραφιών στην βιομηχανία εκτύπωσης. Τα πακέτα λογισμικού OCR (Οπτική αναγνώριση χαρακτήρων) συνήθως δημιουργούν κάποια μορφή εικόνας TIFF (συχνά μονοχρωματική) για σελίδες σαρωμένου κειμένου. 69

70 GIF Format Το GIF (Graphics Interchange Format) είναι σε κανονική χρήση περιορισμένο σε παλέτα 8-bit ή σε 256 χρώματα (ενώ το βάθος χρώματος 24-bit είναι τεχνικά δυνατό). Το GIF είναι το πιο κατάλληλο για την αποθήκευση γραφικών με λίγα χρώματα, όπως απλά διαγράμματα, σχήματα, λογότυπα και εικόνες στυλ κινουμένων σχεδίων, καθώς χρησιμοποιεί συμπίεση LZW χωρίς απώλειες, η οποία είναι πιο αποτελεσματική όταν μεγάλες περιοχές έχουν ένα μόνο χρώμα και λιγότερο αποτελεσματικές για φωτογραφικές εικόνες. Λόγω της απλότητας και της παλαιότητας του GIF, πέτυχε σχεδόν καθολική υποστήριξη λογισμικού. Λόγω των δυνατοτήτων του για animation, εξακολουθεί να χρησιμοποιείται ευρέως για την παροχή εικόνας με εφέ κίνησης, παρά τη χαμηλή αναλογία συμπίεσης σε σύγκριση με τις σύγχρονες μορφές βίντεο. 70

71 BMP Format Η μορφή αρχείου BMP (Bitmap των Windows) χειρίζεται γραφικά αρχεία μέσα στο λειτουργικό σύστημα Microsoft Windows. Συνήθως, τα αρχεία BMP είναι ασυμπίεστα, και συνεπώς μεγάλα και χωρίς απώλειες. το πλεονέκτημά τους είναι η απλή δομή και η ευρεία αποδοχή τους στα προγράμματα των Windows. 71

72 PNG Format Η μορφή αρχείου PNG (Portable Network Graphics) δημιουργήθηκε ως δωρεάν, opensource εναλλακτική λύση για το GIF. Η μορφή αρχείου PNG υποστηρίζει παλέτες οθονών οκτώ bits (με προαιρετική διαφάνεια για όλα τα χρώματα παλετών) και 24 bit truecolor (16 εκατομμύρια χρώματα) ή truecolor 48 bit - ενώ το GIF υποστηρίζει μόνο 256 χρώματα και ένα ενιαίο διαφανές χρώμα. Σε σύγκριση με το JPEG, το PNG υπερέχει όταν η εικόνα έχει μεγάλες, ομοιόμορφα χρωματισμένες περιοχές. Ακόμη και για φωτογραφίες - όπου η JPEG είναι συχνά η επιλογή καθώς η τεχνική συμπίεσης της αποδίδει συνήθως μικρότερα μεγέθη αρχείων - το PNG είναι ακόμα κατάλληλο για την αποθήκευση εικόνων κατά τη διαδικασία επεξεργασίας λόγω της απώλειας της συμπίεσης. Το PNG μπορεί επίσης να αντικαταστήσει πολλές κοινές χρήσεις του TIFF. Υποστηρίζονται εικόνες ευρετηρίου, grayscale, και truecolor. Το PNG μπορεί να αποθηκεύσει δεδομένα γ-παραμέτρου και χρωματογραφίας για βελτιωμένη αντιστοίχιση χρώματος σε ετερογενείς πλατφόρμες. Το PNG έχει σχεδιαστεί για να λειτουργεί καλά σε εφαρμογές προβολής στο διαδίκτυο, όπως προγράμματα περιήγησης στο διαδίκτυο, και μπορεί να μεταδοθεί πλήρως με μια προοδευτική επιλογή εμφάνισης. Τα animated formats που προέρχονται από PNG είναι MNG και APNG. Το τελευταίο υποστηρίζεται από τα Mozilla Firefox και Opera και είναι συμβατό με PNG. 72

73 Thank you for your attention! 73