MODULE 6 ΚΕΦΑΛΑΙΟ 6. Nonlinear Image Filtering. Μη Γραµµικό Φιλτράρισµα Εικόνων

Transcript

1 MODULE 6 ΚΕΦΑΛΑΙΟ 6 Nonlinear Image Filtering Μη Γραµµικό Φιλτράρισµα Εικόνων Median and Morphological Filters Φίλτρο Μεσαίου και Μορφολογικά Φίλτρα Digital Noise Probability Models Μοντέλα Πιθανοτήτων Ψηφιακού θορύβου Order Statistic Filters Στατιστικά Φίλτρα Homomorphic Filtering Οµοιοµορφικά Φίλτρα QUICK INDEX 6.1

2 MODULE 6 INDEX WHY NONLINEAR FILTERING? ΓΙΑΤΙ ΤΟ ΜΗ-ΓΡΑΜΜΙΚΟ ΦΙΛΤΡΑΡΙΣΜΑ; LIMITATIONS OF LINEAR FILTERING ΠΕΡΙΟΡΙΣΜΟΙ ΤΟΥ ΓΡΑΜΜΙΚΟΥ ΦΙΛΤΡΑΡΙΣΜΑΤΟΣ SMOOTHING VS. PRESERVATION ΕΞΩΜΑΛΥΝΣΗ ΣΕ ΑΝΤΙΘΕΣΗ ΜΕ ΤΗΝ ΙΑΤΗΡΗΣΗ MOTIVATION FOR NONLINEAR FILTERING ΟΘΗΣΗ ΠΡΟΣ ΤΟ ΜΗ-ΓΡΑΜΜΙΚΟ ΦΙΛΤΡΑΡΙΣΜΑ GENERAL NONLINEAR FILTER ΓΕΝΙΚΟ ΜΗ-ΓΡΑΜΜΙΚΟ ΦΙΛΤΡΟ BOUNDARY-OF-IMAGE PROCESSING ΕΠΕΞΕΡΓΑΣΙΑ ΣΤΑ ΑΚΡΑ ΕΙΚΟΝΑΣ MEDIAN FILTER ΦΙΛΤΡΟ ΜΕΣΑΙΟΥ PROPERTIES OF THE MEDIAN FILTER Ι ΙΟΤΗΤΕΣ ΤΟΥ ΦΙΛΤΡΟΥ ΜΕΣΑΙΟΥ COMMENTS ON WINDOW SHAPE ΣΧΩΛΙΑ ΓΙΑ ΤΟ ΣΧΗΜΑ ΤΟΥ ΠΑΡΑΘΥΡΟΥ MORPHOLOGICAL FILTERS ΜΟΡΦΟΛΟΓΙΚΑ ΦΙΛΤΡΑ CLOSE AND OPEN FILTERS ΦΙΛΤΡΑ ΚΛΕΙΣΙΜΑΤΟΣ ΚΑΙ ΑΝΟΙΓΜΑΤΟΣ OPEN-CLOS AND CLOS-OPEN FILTERS ΦΙΛΤΡΑ ΑΝΟΙΓΜΑΤΟΣ-ΚΛΕΙΣΙΜΑΤΟΣ ΚΑΙ ΚΛΕΙΣΙΜΑΤΟΣ-ΑΝΟΙΓΜΑΤΟΣ APPLICATION: PEAK/VALLEY DETECTION ΕΦΑΡΜΟΓΗ: ΕΥΡΕΣΗ ΚΟΡΥΦΩΝ/ΚΥΛΑ ΩΝ ORDER STATISTIC FILTERS 6.2

3 ORDER STATISTIC ΦΙΛΤΡΑ GENERAL PROPERTIES OF OS FILTERS ΓΕΝΙΚΕΣ Ι ΙΟΤΗΤΕΣ ΤΩΝ OS ΦΙΛΤΡΩΝ DIGITAL NOISE PROBABILITY MODELS ΜΟΝΤΕΛΑ ΠΙΘΑΝΟΤΗΤΑΣ ΨΗΦΙΑΚΟΥ ΘΟΡΥΒΟΥ PROBABILITY MASS FUNCTION (PMF) OF NOISE ΣΥΝΑΡΤΙΣΗ ΠΙΘΑΝΟΤΗΤΑΣ ΜΑΖΑΣ (PMF) ΤΟΥ ΘΟΡΥΒΟΥ PROPERTIES OF PMF Ι ΙΟΤΗΤΕΣ ΤΟΥ PMF STATISTICAL MEAN ΣΤΑΤΙΣΤΙΚΟΣ ΜΕΣΑΙΟΣ VARIANCE ΙΑΦΟΡΑ VARIANCE REDUCTION ΜΕΙΩΣΗ ΙΑΦΟΡΑΣ SELECTING THE FILTER COEFFICIENTS ΕΠΙΛΟΓΗ ΣΥΝΤΕΛΕΣΤΩΝ ΦΙΛΤΡΟΥ A ROBUST OS FILTER ΕΝΑ ΑΝΘΕΚΤΙΚΟ OS ΦΙΛΤΡΟ HOMOMORPHIC FILTERING ΟΜΟΙΟΜΟΡΦΙΚΟ ΦΙΛΤΡΑΡΙΣΜΑ LOGARITHMIC POINT OPERATION ΛΟΓΑΡΙΘΜΙΚΕΣ ΛΕΙΤΟΥΡΓΙΕΣ ΑΠΛΟΥ ΣΤΙΓΜΑΤΟΣ EXPONENTIAL POINT OPERATION ΕΚΘΕΤΙΚΕΣ ΛΕΙΤΟΥΡΓΙΕΣ ΑΠΛΟΥ ΣΤΙΓΜΑΤΟΣ EXERCISES ΑΣΚΗΣΕΙΣ QUICK INDEX 6.3

4 WHY NONLINEAR FILTERING? ΓΙΑΤΙ ΤΟ ΜΗ-ΓΡΑΜΜΙΚΟ ΦΙΛΤΡΑΡΙΣΜΑ; Objectives of filtering: To process sampled, quantized images to transform them into Σκοποί του φιλτραρίσµατος: Για να επεξεργαστούµε τις κάτω από δειγµατοληψία, κβαντισµένες εικόνες για να τις µεταµορφώσουµε σε - images of better quality (by some criteria) εικόνες καλύτερης ποιότητας (µε κάποιο κριτήριο) - images with certain features enhanced εικόνες µε ορισµένα χαρακτηρίστηκα υπερτιµηµένα - images with certain features de-emphasized or eradicated εικόνες µε ορισµένα χαρακτηριστικά µε µειωµένη έµφαση ή εκριζωµένα computer program digitized image or dedicated hardware processor transformed image We have addressed some of these goals using the rich approach generally called linear filtering. Έχουµε αναφέρει µερικούς από αυτούς τους σκοπούς χρησιµοποιώντας την πλούσια προσέγγιση που καλείται γενικά γραµµικό φιλτράρισµα However, linear filtering does have important limitations. Ωστόσο, το γραµµικό φιλτράρισµα αχεί σηµαντικούς περιορισµούς 6.4

5 Limitations of Linear Filtering Περιορισµοί του Γραµµικού Φίλτρου The basis of linear filtering is frequency or spectrum shaping: Οι βάσεις του γραµµικού φίλτρου είναι η διαµόρφωση συχνότητας ή φάσµατος - reduce (attenuate) certain unwanted frequencies µειώνει (λιγοστεύει) συγκεκριµένες ανεπιθύµητες συχνότητες - enhance (preserve or amplify) certain desired frequencies υποτιµάει (διατηρεί και ενισχύει) συγκεκριµένες επιθυµητές συχνότητες Consider enhancement of an image contaminated by white noise: Θεωρούµαι την υπερτίµηση της εικόνας µολύνεται µε λευκό θόρυβο: image transmitter noisy channel image receiver The goal of filtering is two-fold: Ο σκοπός του φιλτραρίσµατος είναι: - Smoothing - reduce noise from bit errors, transmission Εξωµαλυνσης µείωση θορύβου από λάθη σε bit, µετάδοση - Preservation - of important features: edges and detail ιατήρηση σηµαντικών χαρακτηριστικών: ακµές και λεπτοµέρειες 6.5

6 Smoothing vs. Preservation Εξοµάλυνση σε αντίθεση µε την ιατήρηση Enhancement contains conflicting goals: Η υπερτίµηση περιλαµβάνει αλληλοσυγκρουόµενους στόχους: - Smoothing usually means that high frequencies are attenuated Η εξοµάλυνση συνήθως σηµαίνει ότι οι ψηλές συχνότητες µειώνονται - Images are broadband: preservation usually means that both low frequencies and important high frequencies be preserved Οι εικόνες είναι µεγάλου φάσµατος: η διατήρηση συνήθως σηµαίνει ότι και οι χαµηλές συχνότητες και οι σηµαντικές υψηλές συχνότητες διατηρούνται - Linear filtering cannot differentiate between desirable high frequencies and undesirable high frequencies Το γραµµικό φιλτράρισµα δεν µπορεί να διακρίνει µεταξύ επιθυµητών υψηλών συχνοτήτων και ανεπιθύµητων υψηλών συχνοτήτων Thus a linear low-pass smoothing filter will always: Έτσι το γραµµικό κατωδιαβατο φίλτρο εξοµάλυνση πάντα θα: - Reduce high frequency noise Μειώνετε τον υψηλής συχνότητας θόρυβο - Blur the image Θολώνει την εικόνα 6.6

7 Motivation for Nonlinear Filtering Ώθηση για το µη-γραµµικό Φιλτράρισµα A nonlinear image filter cannot be expressed as a Το µη-γραµµικό φίλτρα εικόνας δεν µπορεί να εκφραστεί σαν - Linear convolution operation (Λειτουργια γραµµικης συνελιξης) nor a (ούτε σαν) - Predictable shaping of the frequencies (Προλεγόµενα σχήµατα για συχνότητες) Obviously nonlinear filtering covers a lot of possibilities Φανερά το µη-γραµµικό φιλτράρισµα καλύπτει πολλές πιθανότητες Many nonlinear filtering approaches have been proposed - usually based on heuristics. Πολλές µη-γραµµικές προσεγγίσεις φιλτραρίσµατος έχουν προταθεί συνήθως µε βάση αοριστιών Here we explore well-developed classes of nonlinear filters for which a meaningful theory exists. Εδώ εξετάζουµε καλά-αναπτυγµένες τάξεις µη-γραµµικών φίλτρων για τις οποίες υπάρχουν σηµαντικές θεωρίες No DFTs or frequency analysis can be used. εν µπορεί να χρησιµοποιηθεί το DFT ή η ανάλυση συχνότητας The common theme: nonlinear filters give you capabilities that linear filters don't have. Το κοινό θέµα: τα µη-γραµµικά φίλτρα δίνουν δυνατότητες οι οποίες δεν περιλαµβάνονται στα γραµµικά φίλτρα 6.7

8 General Nonlinear Filter Γενικο Μη-γραµµικο Φιλτρο Recall: Given image I and window B, the windowed set at (i, j) is: Θυµηθείτε: ίνετε εικόνα Ι και παράθυρο Β, το σύνολο παραθύρου στο (i, j) είναι: B I(i, j) = {I(i-m, j-n); (m, n) B}. A nonlinear filter F on a windowed set of image pixels is a nonlinear function of the pixels covered by the window. Ένα µη-γραµµικό φίλτρο F σε σύνολο παραθύρου από στίγµατα εικόνας είναι µη-γραµµικές συναρτήσεις στιγµάτων που είναι καλυµµένα από το παράθυρο We will denote the nonlinear filter F on B I(i, j) by Θα ορίσουµε το µη-γραµµικό φίλτρο F στο B I(i, j) µε J(i, j) = F{B I(i, j)} = F{I(i-m, j-n); (m, n) B} Performing this at every pixel gives a filtered image: Εκτελώντας αυτό σε κάθε στίγµα δίνει µια φιλτραρισµένη εικόνα: J = F[I, B] = [J(i, j); 0 i, j N-1] Pseudo-Code (Ψευδοκωδηκας) { int I [N ] [N], J [N ] [N], B [M] do { J(i, j) = F[I(i-m, j-n) for (m, n) B]; } while (0 i, j N-1); } The remainder of this module will discuss various functions F. Στο υπόλοιπο αυτού του κεφαλαίου θα εξετάσουµε διάφορες συναρτήσεις του F 6.8

9 Boundary-of-Image Processing Επεξεργασία στα άκρα-της-εικόνας As with binary morphological filters: when a window is centered so that it overlaps "empty space" Όπως και µε τα δυαδικά µορφολογικά φίλτρα: όταν ένα παράθυρο κεντραριστεί έτσι ώστε να επικαλύπτει κενό-χώρο we will use the convention of replication: fill the "empty" window slots by the nearest image pixel. θα χρησιµοποιήσουµε την εθιµοτυπία της ανατύπωσης: γέµισµα των κενών θυρίδων του παραθύρου από το κοντινότερο στίγµα της εικόνας This is not done with linear convolution (zero-padding is used) since then the DFT property of convolution would not hold. Αυτό δεν γίνεται µε τη γραµµική συνέλιξη (χρησιµοποιεί προσθηδη µηδενικών) αφού τότε η DFT ιδιότητα της συνέλιξης δεν θα ισχύει 6.9

10 Example - Average Filter Παράδειγµα Φίλτρο Μέσου The average filter is linear, it can be defined using windows. Το φίλτρο µέσου είναι γραµµικό, µπορεί να οριστεί χρησιµοποιώντας παράθυρα Define the filtered image Ορίζουµε την φιλτραρισµένη εικόνα by J = AVE[I, B] J(i, j) = AVE{B I(i, j)} = AVE{I(i-m, j-n); (m, n) B} Performing this at every pixel gives the average-filtered image J. Εκτελωντας αυτο σε καθε στιγµα δινει την φιλτραρισµενη εικονα J. The shorthand J = AVE[I, B] allows us to define the operation for any window B. Η στενογραφία J = AVE[I, B] µας επιτρέπει να ορίσουµε την λειτουργία για κάθε παράθυρο Β 6.10

11 MEDIAN FILTER ΦΙΛΤΡΟ ΜΕΣΑΙΟΥ Definition: Given a set of numbers X = {X 1,..., X 2M+1 }, the order statistics (or OS) of the set are the same elements reordered from smallest to largest. The OS of X are denoted Ορισµός: ίνεται ένα σύνολο αριθµών X = {X 1,..., X 2M+1 }, οι στατιστική σειρά (ή OS) του συνόλου είναι τα ίδια στοιχεία κατανεµηµένα από τον µικρότερο στον µεγαλύτερο. Η OS του Χ δίνεται X OS = {X (1),..., X (2M+1) } such that (όπου) X (1) X (2M+1). In particular, (Ιδιαίτερο) MAX{X 1,..., X 2M+1 } = X (2M+1) MIN{X 1,..., X 2M+1 } = X (1) MED{X 1,..., X 2M+1 } = X (M+1) The median MED is the middle value in algebraic rank. Ο µεσαίος MED είναι η µεσαία τιµή στην αλγεβρική ταξινόµηση 6.11

12 Defining the Median Filter Ορίζοντας το Φίλτρο Μεσαίου Given image I and window B, the median filter is simply: ίνεται µια εικόνα Ι και ένα παράθυρο Β, το φίλτρο µεσαίου είναι απλά: J = MED[I, B] Each output pixel is the median of the local windowed pixels: Κάθε στίγµα εξόδου είναι ο µεσαίος των τοπικών στιγµάτων του παραθύρου: J(i, j) = MED{B I(i, j)} = MED{I(i-m, j-n); (m, n) B} Performing this at every pixel gives the median-filtered image J. Εκτελώντας αυτό σε κάθε στίγµα δίνει την φιλτραρισµένη µε το φίλτρο µεσαίου εικόνα J Properties of the Median Filter Ιδιότητες του Φίλτρου Μεσαίου The median filter smooths additive white noise. Το φίλτρο µεσαίου εξοµαλύνει τον αθροιστικό λευκό θόρυβο The median filter does not degrade edges. Το φίλτρο µεσαίου δεν αλλοιώνει της ακµές The median filter is particularly effective for removing large-amplitude noise impulses. Το φίλτρο µεσαίου είναι ιδιαίτερα αποτελεσµατικά για αφαίρεση µεγάλου-µεγέθους κρουστικό θόρυβο 6.12

13 Why the Median Filter Doesn't Degrade Edges Γιατί το Φίλτρο Μεσαίου δεν Αλλοιώνει της Ακµές Consider the window configurations below, where an ideal straight edge is covered by the window: Θεωρείστε τα πιο κάτω περιγράµµατα παραθύρων, όπου µια ιδανική ευθεία ακµή καλύπτεται από το παράθυρο: = light = dark Notice that the median is contained in the majority set in every case, and so is the center pixel. Παρατηρήστε ότι ο µεσαίος περιλαµβάνεται στο σύνολο πλειοψηφίας σε κάθε περίπτωση, και έτσι είναι και το κεντρικό στίγµα. η οποία µοιάζει The center pixel is replaced by a member of the majority set, which resembles the center pixel value. No blur! Το κεντρικό στίγµα αντικαθίσταται από ένα µέλος του συνόλου πλειοψηφίας, η οποία µοιάζει µε την τιµή το κεντρικού στίγµατος 6.13

14 By contrast, the average filter averages together members of the minority and majority sets - creating blur. Σε αντίθεση, το φίλτρο µέσου παίρνει τον µέσο όρο των συντελεστών του συνόλου µειοψηφίας και του συνόλου πλειοψηφίας µαζί δηµιουργεί θόλωση Example - 1-D Median Filter Παράδειγµα 1- Φίλτρο Μεσαίου A single scan line (row) of an image: Μια απλή γραµµή σάρωσης (σειρά) µιας εικόνας AVE[I, B] where B = ROW(3) (I is overlaid): AVE[I, B] οπου B = ROW(3) (η I επικαλυπτεται): 6.14

15 Notice the overall smoothing effect. Παρατηρήστε ότι το αποτέλεσµα της ολικής εξοµάλυνση Now for the median filter: Τώρα για το φίλτρο µεσαίου: MED[I, B] where B = ROW(3) (I is overlaid): MED[I, B] οπου B = ROW(3) (η I επικαλυπτεται): This is a very different effect! 6.15

16 Αυτό είναι πολύ διαφορετικό αποτέλεσµα! - The "noise" is smoothed effectively Ο θόρυβος εξοµαλύνονται αποτελεσµατικά - Large noise spikes are completely eradicated, instead of being blurrrrrrrrred. Οι µεγάλες αιχµές του θορύβου φεύγουν εντελώς, αντί να απαλύνονται - The important signal structure is effectively maintained - the edges are sharp. Η σηµαντική δοµή του σήµατος διατηρείται αποτελεσµατικά οι ακµές είναι αιχµηρές These nice properties of the median filter still hold when 2-D windows B are applied to noisy images. Αυτή η καλή ιδιότητα του φίλτρου µεσαίου ισχύει ακόµα όταν το 2- παράθυρο Β χρησιµοποιείται σε εικόνες µε θόρυβο DEMO ΠΑΡΑ ΕΙΓΜΑ ΦΙΛΤΡΟ ΜΕΣΑΙΟΥ ΣΤΟ MATLAB I = imread( exampleim.tif ); J = imnoise(i, gaussian, 0.02); L = median2(j,[3 3]); imshow(j); figure, imshow(l); 6.16

17 Comments on Window Shape Σχόλια για την Μορφή του Παραθύρου Using B = SQUARE produces lots of noise smoothing, but can also eliminate certain "impulse-like" details of interest: Χρησιµοποιώντας B = ΤΕΤΡΑΓΩΝΟ δηµιουργεί µεγάλη εξοµάλυνση θορύβου, αλλά µπορεί επίσης να περιορίσει ορισµένες κρουστικές λεπτοµέρειες: Using a B = CROSS window can reduce these effects, if it is known beforehand that the the image will contain a lot of these types of structures. Χρησιµοποιώντας παράθυρο B = ΣΤΑΥΡΟ περιορίζει τα πιο πάνω αποτελέσµατα, αν είναι γνωστό από πριν ότι η εικόνα θα περιλαµβάνει πολλούς από αυτούς τους δοµικούς τύπους EXAMPLE: Images of dot-matrix characters ΠΑΡΑ ΕΙΓΜΑ: Εικόνες χαρακτήρων dot-matrix (πίνακα τέλειων) However, if the image contains curvilinear details that are diagonally oriented, then B = CROSS can perform poorly: Ωστόσο, αν η εικόνα περιλαµβάνει καµπυλόγραµµες λεπτοµέρειες οι οποίες είναι τοποθετηµένες διαγώνια, τοτε B = ΣΤΑΥΡΟΣ εκτελεί πολύ φτωχά 6.17

18 A lot of variations suggest various combinations of CROSS, X-SHAPED (oriented cross), ROW, COL, etc. windows. Πολλές µεταλλαγές προτείνουν διάφορους συνδυασµούς από παράθυρα ΣΤΑΥΡΟΣ, Χ- ΣΧΗΜΑΤΟΣ (προσανατολισµένος ΣΤΑΥΡΟΣ), ΣΕΙΡΑ, ΣΤΗΛΗ, κλπ. These "detail-preserving filters" work well, although the theory is somewhat heuristic. Αυτά τα φίλτρα διατήρησης λεπτοµερειών εργάζονται καλά, αν και η θεωρία είναι κάπως αόριστη MORPHOLOGICAL FILTERS ΜΟΡΦΟΛΟΓΙΚΑ ΦΙΛΤΡΑ Gray-level morphological filters extend binary morphological filters discussed in Module 2. Τα µορφολογικά φίλτρα επιπέδων φωτεινότητας είναι µια επέκταση των µορφολογικών φίλτρων που εξετάσαµε στο κεφαλαίο 2 As before everything comes from two basic operations: DILATE and ERODE. Όπως πριν, οτιδήποτε έρχεται από δυο βασικές λειτουργίες: ΙΑΣΤΟΛΗ και ΣΥΣΤΟΛΗ Given an image I and a window B, the DILATE and ERODE filters are defined by: ίνεται µια εικόνα Ι και ένα παράθυρο Β, τα φίλτρα ΙΑΣΤΟΛΗΣ και ΣΥΣΤΟΛΗΣ ορίζονται από: if J = DILATE[I, B] J(i, j) = MAX{B I(i, j)} (local maximum) and (τοπικο µεγιστο) if J = ERODE[I, B] J(i, j) = MIN{B I(i, j)} (local minimum) (τοπικο ελαχιστο) 6.18

19 The DILATE (ERODE) filters have the following properties: Τα φίλτρα ΙΑΣΤΟΛΗΣ (ΣΥΣΤΟΛΗΣ) έχουν τις ακόλουθες ιδιότητες: - Increase the size of peaks (valleys) Μεγαλώνουν το µέγεθος των κορυφών (κοιλάδων) - Decrease the size of, or eliminate, valleys (peaks) Μειώνουν το µέγεθος, ή περιορίζουν τις κοιλάδες (κορυφές) Examples will illustrate this well: Τα παραδείγµατα δείχνουν αυτό καλά: 6.19

20 DILATE[I, B] where B = ROW(3): Notice the elimination of most valleys. If we do it again to the same image row: Προσέξτε την µείωση των περισσότερων κοιλάδων. Αν το εφαρµόσουµε πάλι στην ίδια σειρά της εικόνας: DILATE[DILATE[I, B], B] ; B = ROW(3): Now all of the valleys or negative-going impulses are gone. Τώρα όλες οι κοιλάδες ή οι αρνητικές κρουστικές αιχµές αφαιρούνται 6.20

21 ERODE[I, B] where B = ROW(3): This time the positive-going impulse spikes are reduced or eliminated. If we do it again to the same image row: Αυτή την φορά οι θετικές κρουστικές αιχµές µειώνονται ή περιορίζονται. Αν το εφαρµόσουµε πάλι στην ίδια σειρά της εικόνας: ERODE[ERODE[I, B], B] ; B = ROW(3): Much more pronounced now... Usually it's not useful to iterate ERODE or DILATE many times. Πολύ πιο εκφραστικό τώρα Συνήθως δεν είναι χρήσιµο να κάνουµε πολλαπλές χρήσεις σε σειρά της ΣΥΣΤΟΛΗΣ και ΙΑΣΤΟΛΗΣ η διαστολή 6.21

22 DEMO CLOSE and OPEN Filters Φίλτρα ΚΛΕΙΣΙΜΑΤΟΣ και ΑΝΟΙΓΜΑΤΟΣ As in the case of binary processing, the CLOSE and OPEN filters are defined by: Όπως την υπόθεση της δυαδικής επεξεργασίας, τα φίλτρα ΚΛΕΙΣΙΜΑΤΟΣ και ΑΝΟΙΓΜΑΤΟΣ ορίζονται από: and J = CLOSE[I, B] = ERODE [DILATE [I, B], B] J = OPEN[I, B] = DILATE [ERODE [I, B], B] These are effective smoothing filters similar to the median filter. Αυτά είναι φίλτρα αποτελεσµατικής εξοµαλύνσεις όµοια µε το φίλτρο µεσαίου In fact the CLOSE (OPEN) filter has the following properties: Είναι γεγονός ότι το φίλτρο ΚΛΕΙΣΙΜΑΤΟΣ (ΑΝΟΙΓΜΑΤΟΣ) είχε τις ακόλουθες ιδιότητες - smooths noise εξοµαλύνει τον θόρυβο - preserves edges διατηρεί της ακµές - eradicates negative-going (positive-) going impulses περιορίζει αρνιτικές (θετικές) κρουστικές αιχµές - leaves the signal in its approximate form (ERODE and DILATE do not) αφήνει το σήµα κατά προσέγγιση στην µορφή του (η ΣΥΣΤΟΛΗ και ΙΑΣΤΟΛΗ δεν διατηρών την µορφή) 6.22

23 Some examples: (Για παραδειγµα CLOSE[I, B] where B = ROW(3): Preserves the signal except that the negative-going impulses are gone. ιατηρεί το σήµα εκτός του ότι οι αρνητικές-κρουστικές αιχµές αφαιρούνται OPEN[I, B] where B = ROW(3): Preserves the signal except the positive-going impulses are gone. 6.23

24 ιατηρεί το σήµα εκτός του ότι οι θετικές-κρουστικές αιχµές αφαιρούνται DEMO OPEN-CLOS and CLOS-OPEN Filters Φίλτρα ΑΝΟΙΓΜΑΤΟΣ-ΚΛΕΙΣΙΜΑΤΟΣ και ΚΛΕΙΣΙΜΑΤΟΣ-ΑΝΟΙΓΜΑΤΟΣ The OPEN-CLOS and CLOS-OPEN filters are defined by: Το φίλτρο ΑΝΟΙΓΜΑΤΟΣ-ΚΛΕΙΣΙΜΑΤΟΣ και ΚΛΕΙΣΙΜΑΤΟΣ-ΑΝΟΙΓΜΑΤΟΣ ορίζονται από: and J = OPEN-CLOS [I, B] = OPEN [CLOSE [I, B], B] J = CLOS-OPEN [I, B] = CLOSE [OPEN [I, B], B] These are effective smoothing filters very similar to the median filter. They are also very similar to each another. Αυτά είναι φίλτρα αποτελεσµατικής εξοµαλύνσεις πολύ παρόµοια µε το φίλτρο µεσαίου. Είναι επίσης πολύ παρόµοια αναµεταξύ τους. The CLOS-OPEN and OPEN-CLOS filters obey the following: Τα φίλτρα ΚΛΕΙΣΙΜΑΤΟΣ-ΑΝΟΙΓΜΑΤΟΣ και ΑΝΟΙΓΜΑΤΟΣ-ΚΛΕΙΣΙΜΑΤΟΣ υπακούουν στα ακόλουθα: - both smooth noise και τα δυο εξοµαλύνουν τον θόρυβο - both preserve edges και τα δυο διατηρούν τις ακµές - both eradicate positive and negative impulses και τα δυο περιορίζουν θετικές και αρνητικές κρουστικές αιχµές 6.24

25 - in 1-D, both equivalent to applying MED [I, B] multiple times στην 1-, και τα δυο είναι όµοια µε την εφαρµογή του MED [I, B] πολλές φορές Some examples: (Για παράδειγµα:) OPEN-CLOS[I, B] where B = ROW(3): Note the intense smoothing of noise (especially impulses) and the retention of the global image structure. Σηµειώστε την έντονη εξοµάλυνση του θορύβου(ειδικά για τις κρουστικές αιχµές) και της κράτηση της ολικής δοµής της εικόνας CLOS-OPEN[I, B] where B = ROW(3): 6.25

26 Note the different possible interpretations of "correct image structure" under CLOS-OPEN and OPEN-CLOS. Σηµειώστε την διαφορετική πιθανή επεξήγηση της σωστής δοµής της εικόνας κάτω από το ΚΛΕΙΣΙΜΟ-ΑΝΟΙΓΜΑ και το ΑΝΟΙΓΜΑ-ΚΛΕΙΣΙΜΟ DEMO 6.26

27 Morphological Interpretation Μορφολογικές Επεξηγήσεις DILATE and ERODE are true morphological filters in the sense discussed in Module 2. Η ΙΑΣΤΟΛΗ και ΣΥΣΤΟΛΗ είναι αληθινά µορφολογικά φίλτρα µε την αντίληψη όπως εξηγήσαµε στο κεφάλαιο 2 CLOSE, OPEN, CLOS-OPEN, and OPEN-CLOS are as well. Το ΚΛΕΙΣΙΜΟ, ΑΝΟΙΓΜΑ, ΚΛΕΙΣΙΜΟ-ΑΝΟΙΓΜΑ, και ΑΝΟΙΓΜΑ-ΚΛΕΙΣΙΜΟ είναι επίσης In fact they have the identical interpretation if we regard Είναι γεγονός ότι έχουν όµοια επεξήγηση αν θεωρήσουµε ότι - I as a 3-D binary image with value '1' below its "plot" and '0' above its "plot" Την Ι σαν 3- διαδική εικόνα µε τιµές 1 πιο κάτω απο τη γραφική παράσταση της και 0 πιο πάνω απο αυτή - B as a 2-D structuring element Το Β σαν 2- δοµικό στοιχείο Observe: (Παρατηρήστε:) 6.27

28 structuring element B image function I Leads to fast all-boolean algorithms/architectures. Οδηγεί σε γρήγορους πλήρους-boolean αλγόριθµους / αρχιτεκτονικές 6.28

29 ERODE: (Συστολή:) When the structuring element B lies completely above the image function, the AND of all values within its span is '0'. Όταν το δοµικό στοιχείο Β πέφτει ολόκληρο πάνω από την συνάρτηση της εικόνας, το AND των τιµών µέσα στο πεδίο του είναι 0 When the structuring element B lies completely below the image function, the AND of all values within its span is '1'. Όταν το δοµικό στοιχείο Β πέφτει ολόκληρο κάτω από την συνάρτηση της εικόνας το AND των τιµών µέσα στο πεδίο του είναι 1 Whenever the structuring element B crosses the boundary of the image function, the AND of all values is '0'. Οποτεδήποτε το δοµικό στοιχείο Β διαπερνά το όριο της συνάρτησης της εικόνας, το AND των τιµών είναι 0 DILATE: ( ιαστολή:) When the structuring element B lies completely above the image function, the OR of all values within its span is '0'. Όταν το δοµικό στοιχείο Β πέφτει ολόκληρο πάνω από την συνάρτηση της εικόνας, το OR των τιµών µέσα στο πεδίο του είναι 0 When the structuring element B lies completely below the image function, the OR of all values within its span is '1'. Όταν το δοµικό στοιχείο Β πέφτει ολόκληρο κάτω από την συνάρτηση της εικόνας το OR των τιµών µέσα στο πεδίο του είναι 1 Whenever the structuring element B crosses the boundary of the image function, the OR of all values is '1'. 6.29

30 Οποτεδήποτε το δοµικό στοιχείο Β διαπερνά το όριο της συνάρτησης της εικόνας, το OR των τιµών είναι 0 Application: Peak/Valley Detection Εφαρµογή: εύρεση κορυφών/κυλάδων Impulses are not always due to noise: sometimes, they arise from a bright target, or a dark object that is being sought. Οι κρουστικές αιχµές δεν είναι πάντα λόγο θορύβου: µερικές φορές, εµφανίζονται από ένα φωτεινό στόχο, ή σκοτεινό αντικείµενο το οποίο παρθικέ Suppose that we consider the images resulting from differencing the OPEN and CLOSE operations with the original image I: Υποθέτουµε ότι θεωρούµαι τις εικόνες του αποτελέσµατος της διαφοράς των λειτουργιών του ΑΝΟΙΓΜΑΤΟΣ και ΚΛΕΙΣΙΜΑΤΟΣ µε την αρχική εικόνα Ι: Jpeak = I - OPEN[I, B] Jvalley = CLOSE[I, B] - I As we'd expect, these operations highlight the peaks and valleys that occur. Όπως περιµέναµε, αυτές οι λειτουργίες τονίζουν τις κορυφές και κοιλάδες που υπάρχουν 6.30

31 I - OPEN[I, B] where B = ROW(3): CLOSE[I, B] - I where B = ROW(3): Simple thresholding (binarization) of these could be used to determine the peak and valley locations. Απλή κατωφλιωση (διαδικοποίηση) αυτών µπορεί να χρησιµοποιηθεί για την εύρεση της τοποθεσίας των κορυφών και των κοιλάδων DEMO 6.31

32 Drawbacks of MED, OPEN-CLOS, and CLOS-OPEN Μειονεκτήµατα του ΜΕΣΑΙΟΥ, ΑΝΟΙΓΜΑΤΟΣ-ΚΛΕΙΣΙΜΑΤΟΣ, και ΚΛΕΙΣΙΜΑΤΟΣ- ΑΝΟΙΓΜΑΤΟΣ These three filters are the most suitable nonlinear filters that we have studied so far for noise smoothing / image enhancement. Αυτά τα τρία φίλτρα είναι τα πιο κατάλληλα µη-γραµµικά φίλτρα τα οποία έχουµε µελετήσει µέχρι τώρα για εξοµάλυνση θορύβου/ποιοτηκή βελτίωση εικόνας They have the desirable property of retaining important image structures. Έχουν της επιθυµητή ιδιότητα να διατηρούν τη σηµαντική δοµή της εικόνας However, they must be used with care: using a too-large window can produce streaking and blotching effects which can appear as artifacts. Ωστόσο, πρέπει να χρησιµοποιηθούν µε φροντίδα: χρησιµοποιώντας πολύ-µεγάλα παράθυρα µπορεί να δηµιουργήσουν αποτελέσµατα ραβδώσεων και µουζαλων τα οποία µπορούν να εµφανιστούν σαν τεχνητά αποτελέσµατα While these filters are capable of smoothing most types of white noise, there are other filters that do a better job depending on the specific noise statistics. Ενώ αυτά τα φίλτρα είναι ικανά στη εξοµάλυνση πολλών τύπων λευκού θορύβου, υπάρχουν αλλά φίλτρα τα οποία κάνουν καλύτερη δουλεία που εξαρτώνται στην ειδική στατική θορύβου We will now explore a general class of related filters which Θα εξετάσουµε τώρα µε γενική τάξη σχετικών φίλτρων τα οποία - have reduced streaking/blotching effects περιορίζουν αποτελέσµατα ραβδώσεων και µουζαλων - can be "tuned" to specific noise statistics µπορούν να συντονιστούν σε ειδικές στατιστικές θορύβου 6.32

33 ORDER STATISTIC FILTERS ORDER STATISTIC ΦΙΛΤΡΑ Recall the definition of the OS of a set X = {X1,..., X2M+1} : Θυµηθείτε τον ορισµό των OS αίνος συνόλου X = {X1,..., X2M+1} : XOS = {X (1),..., X (2M+1) } such that (όπου) X (1) X (2M+1). If we define the linear combination of order statistics Αν ορίσουµε τον γραµµικό συνδυασµό των order statistic 2M+1 Σ i=1 Ai X(i) = A T XOS where A = [A1,..., A2M+1] T, then we have the basis for a new set of nonlinear filters called order statistic filters or OS filters. Όπου A = [A 1,..., A 2M+1 ] T, τότε έχουµε τις βάσεις για ένα νέο σύνολο µη-γραµµικών φίλτρων που ονοµάζονται φίλτρα order statistic ή OS φίλτρα The filter weights are always defined so that they sum to 1: Οι συντελεστές του φίλτρου ορίζονται πάντα έτσι ώστε να έχουν άθροισµα 1: 2M+1 Σ i=1 A i = A T e = 1 Recall that (Θυµηθείτε ότι) e = [1, 1,..., 1] T. This way if X = c e is constant then A T XOS = c. Με αυτό τον τρόπο αν X = c e είναι σταθερά τότε A T XOS = c. 6.33

34 The OS coefficients (that we will use) are symmetric: Οι συντελεστές του OS (οι οποίοι θα χρησιµοποιηθούν) είναι συµµετρική: A i = A 2M+2-i for 1 i 2M+1 Defining OS filters (Ορισµός των OS Φίλτρων) Given an image I, a window B, and a coefficient set A, the OS filter with coefficients A is defined by: ίνετε µια εικόνα Ι, και ένα παράθυρο Β, και το σύνολο συντελεστών Α, το OS φίλτρο µε συντελεστές Α ορίζεται από: If (Αν) J = OS A [I, B] J(i, j) = A T {B I(i, j)}os where (οπου) are the OS of (είναι τα OS του) {B I(i, j)}os {B I(i, j)}. These are just the ordered values of the pixels covered by the window B when it's centered at (i, j). Αυτές είναι απλός οι τιµές σε σειρά των στιγµάτων που καλύπτονται από το παράθυρο Β όταν είναι κεντραρισµένο στο (i, j). 6.34

35 General Properties of OS Filters Γενικές Ιδιότητες των OS Φίλτρων The behavior of an OS A [I, B] filter is largely determined by its coefficients or weights A. Η συµπεριφορά νιου OS A [I, B] φίλτρου ορίζεται µέγιστος από τους συντελεστές ή τα βάρη Α The OS filters OS A [I, B] include some important members: Τα OS φίλτρα OS A [I, B] περιλαµβάνουν µερικά σηµαντικά µέλη: - A = [0, 0,..., 0, 1, 0,..., 0] T is the median filter. (είναι το φίλτρο µεσαίου) - A = [ 1 2M +1,..., 2M 1+1 ]T is the average filter. (είναι το φίλτρο µέσου) Generally, if the coefficients A are concentrated near the middle: Γενικά, αν οι συντελεστές Α είναι συγκεντρωµένοι κοντά στην µέση: 0.5 A i i then OS A [I, B] will act much like a median filter: τότε το OS A [I, B] θα δρα σαν φίλτρο µεσαίου: - preserve edges well (διατηρεί τις ακµές καλά) - smooth noise (εξοµαλύνει τον θόρυβο) - reduce impulses (µειώνει τις κρουστικές αιχµές) BUT (ΑΛΛΑ) - will not "streak" or "blotch" as much δεν θα ραβδώνει ή µουντζώνει τόσο που 6.35

36 - will suppress non-impulse noise better (more later) θα συµπιέζει µη-κρουστικές αιχµές θορύβου καλύτερα (περισσότερα αργότερα) Generally, if the coefficients are widely distributed: Γενικά, αν οι συντελεστές είναι φαρδιά διακλαδωµένη: 0.15 A i i then OS A [I, B] will act much like an average filter: τότε το OS A [I, B] θα δρα σαν φίλτρο µέσου: - preserve edges poorly (better than AVE) φτωχή διατήρηση Άκµων (καλύτερη από το AVE) - smooth noise εξοµάλυνση θορύβου - blur impulses (not as badly as AVE) θαµπώνει κρουστικών αιχµών (όχι τόσο πολύ όπως το AVE) We will now explore some noise models that will provide insight into the utility of these filters. Θα εξετάσουµε τώρα µερικά µοντέλα θορύβου τα οποία θα µας δώσουν να καταλάβουµε καλύτερα τις ιδιότητες αυτών των φίλτρων 6.36

37 DIGITAL NOISE PROBABILITY MODELS ΜΟΝΤΕΛΑ ΠΙΘΑΝΟΤΗΤΟΣ ΨΗΡΙΑΚΟΥ ΘΟΡΥΒΟΥ Any channel (electrical wire, airwaves, optical fiber) is imperfect. Images sent over a channel always suffer a degradation of information: Κάθε κανάλι (ηλεκτρικό σύρµα, κύµατα, οπτικές ίνες) δεν είναι τέλειο. Οι εικόνες που στέλνονται µέσα από ένα κανάλι πάντα υποφέρουν από αλλοίωση πληροφοριών: (a) static (high-frequency noise or thermal noise) στατικά (υψηλής-συχνότητας θόρυβο ή θερµικός θόρυβος) (b) bit errors (λάθη στα bits) (c) blurring (defocusing) θάµπωµα (κακή εστίαση) These errors degrade Αυτά τα λάθη αλλοιώνουν - visual interpretation οπτική αντιπροσώπευση - computer image analysis υπολογιστική ανάλυση της εικόνας With nonlinear filters (of the types we'll consider here) the concern is usually (a) and (b), since linear filtering is well-suited for deconvolution (c). Με τα µη-γραµµικά φίλτρα (των τύπων που θα θεωρήσουµε εδώ) το ενδιαφέρον είναι συνήθως το (a) και το (b), αφού το γραµµικό φιλτράρισµα είναι καλά εφαρµοσµένο για το deconvolution (c). To understand the effects of these filters, we need to improve and generalize our noise models. Για να κατανόηση των αποτελεσµάτων αυτών των φίλτρων, πρέπει να καλυτερεύσουµε και γενικοποιήσουµε τα µοντέλα θορύβου µας 6.37

38 White Noise is Independent Noise Ο Λευκός Θόρυβος Είναι Ανεξάρτητος Θόρυβος We will assume the additive white noise model: Θα θεωρήσουµε το µοντέλο λευκού αθροιστικού θορύβου: J = I + N where I is an original image and N a digital white noise image. Όπου Ι είναι µια αρχική εικόνα και Ν η ψηφιακή εικόνα λευκού θορύβου In linear filtering, white noise suggests an average frequency description (a flat spectrum) Στο γραµµικό φιλτράρισµα, ο λευκός θόρυβος εισηγείται µια περιγραφή µέσης συχνότητας (ένα επίπεδο φάσµα) An equivalent meaning is that the elements of N: Μια ισοδύναµη επεξηγήσει είναι ότι τα στοιχεία του Ν: N(i, j) ; 0 i, j N-1 are independent. (είναι ανεξάρτητα) This means that as they (randomly) occur, any two noise elements (m, n) (p, q) Αυτό σηµαίνει ότι όπως (τυχαία) συµβαίνουν, κάθε δυο στοιχεία θορύβου (m, n) (p, q) N(m, n) and N(p, q) do not affect one another's values. They occur independently. εν επηρεάζονται οι τιµές του ενός από το άλλο. Συµβαίνουν ανεξάρτητα It can be shown mathematically that this is equivalent to the noise being white. Μπορεί να αποδεικτή µαθηµατικός ότι αυτό είναι ισοδύναµο µε το θόρυβο που είναι λευκός 6.38

39 Probability Mass Function (PMF) of Noise Συνάρτηση Πιθανότητας Μάζας (PMF) του Θορύβου We shall model the noise as coming from a discrete set of integers (since it has been digitized): Θα σχεδιάσουµε το θόρυβο όπως έρχεται από ένα ψηφιακό σύνολο ακέραιων (αφού έχει ωηφιοποιηθεί): Range of N = R N = {Q 1, Q 1 +1,..., Q 2-1, Q 2 } Although other possibilities are sometimes meaningful, we will assume that the noise range is either symmetric around zero (for additive noise models): Αν και άλλες πιθανότητες είναι µερικές φορές σηµαντικές θα θεωρήσουµε ότι το διάστηµα του θορύβου είναι είτε συµµετρικό γύρο από το µηδέν (για µοντέλα αθροιστικού θορύβου): R N = {-Q,..., -1, 0, 1,..., Q} or non-negative (for multiplicative noise models): ή µη-αρνητικά (για µοντέλα θορύβου πολλαπλασιασµού): R N = {0, 1,..., Q} Remember, if the noise range of N is R N, then each noise element N(i, j) (when it occurs) must satisfy Να θυµάστε, αν το διάστηµα Ν του θορύβου είναι R N, τότε κάθε στοιχείο θορύβου N(i, j) (όταν συµβεί) ικανοποιεί N(i, j) R N 6.39

40 Probability Mass Function of Noise Συνάρτηση Πιθανότητας Μάζας Θορύβου The probability mass function or PMF p N (q) is a model that describes the probabilities that each noise element N(i, j) will take a certain value in R N. Η συνάρτηση πιθανότητας µάζας ή PMF p N (q) είναι ένα µοντέλο το οποίο επεξηγεί τις πιθανότητες ότι κάθε στοιχείο θορύβου N(i, j) θα πάρει συγκεκριµένη τιµή στο R N. It is read ( ιαβάζεται) p N (q) = Pr{N(i, j) = q} = The probability that N(i, j) = q where q R N. We will assume that all of the elements of the noise N(i, j) obey the identical probability model - they all have the same PMF. Θα θεωρήσουµε ότι όλα τα στοιχεία του θορύβου N(i, j) υπακούουν το µοντέλο ταυτόσηµων πιθανοτήτων έχουν όλες το ίδιο PMF. This is why p N (q) is not given as a function of (i, j). Αυτός είναι ο λόγος γιατί το p N (q) δεν δίνεται σαν συνάρτηση του (i, j). 6.40

41 Properties of PMF (Ιδιότητες του PMF) We assume only two properties of the PMF Θεωρούµαι µόνο δυο ιδιότητες του PMF (1) p N (q) 0 for all q R N Q 2 (2) Σ p N (q) = 1 (the probabilities sum to one) q=q 1 (οι πιθανοτητες εχουν αθρισµα 1) Note that (1) and (2) imply that p N (q) 1 for all q R N Σηµειώστε ότι (1) και (2) συνεπάρει ότι p N (q) 1 για όλα τα q R N For noise that has a range that is symmetric around zero: Για θόρυβο που έχει διάστηµα που είναι συµµετρικό γύρο από το µηδέν: R N = {-Q,..., -1, 0, 1,..., Q} we also assume that the PMF p N (q) is a symmetric function επίσης υποθέτουµε ότι η PMF p N (q) είναι µια συµµετρική συνάρτηση p N (q) = p N (-q) This is quite reasonable since in most cases there is no physical reason to believe that an image pixel will be perturbed upward (by an amount q) with a greater or lesser probability then downward (by an amount -q). Αυτό είναι κάπως λογικό αφού στις περισσότερες περιπτώσεις δεν υπάρχει φυσικός λόγος για να πιστεύουµε ότι ένα στίγµα εικόνας θα κινηθεί πάνω (µε µέγεθος q) µε µεγαλύτερη ή µικρότερη πιθανότητα από κάτω (µε µέγεθος q) "Typical" plots of PMF models for image noise follow: 6.41

42 Ακολουθούν τυπικές γραφικές παραστάσεις των µοντέλων PMF για εικόνες θορύβου Digital Gaussian PMF (Ψηφιακό Gaussian PMF) Here (Εδώ) R N = {-Q,..., -1, 0, 1,..., Q} and (και) p N (q) = CG exp [-(q/σ) 2 ] = CG e -(q/σ)2 where (όπου) CG = 1 / Q Σ q=-q e -(q/σ)2 and σ > 0 is a scaling parameter (Q = 12 and σ = 5 here). και σ > 0 είναι µια παράµετρος κλιµάκωσης (Q = 12 και σ = 5 εδώ) p (q) N q Also called the normal distribution. Επίσης καλείται κανονική διανοµή 6.42

43 Comments on Gaussian PMF Σχόλια για το Gaussian PMF Gaussian noise is the most common type of noise that occurs in nature. O Gaussian θόρυβος είναι ο πιο κοινός τύπος θορύβου ο οποίος συµβαίνει στην φύση It is found in nature extensively. Βρίσκεται εκτενώς στην φύση It is the usual type of noise found in electrical circuits. Είναι ο σύνηθες τύπος θορύβου που βρίσκεται σε ηλεκτρικά κυκλώµατα Thermal noise is usually Gaussian. Ο θερµικός θόρυβος είναι συνήθως Gaussian 6.43

44 Digital Laplacian PMF Ψηφιακό Laplacian PMF Here (Εδώ) and (και) R N = {-Q,..., -1, 0, 1,..., Q} p N (q) = CL exp (- q /σ) = CL e - q /σ where (οπου) CL = 1 / Q Σ q=-q e - q /σ and σ > 0 is a scaling parameter (Q = 12 and σ = 5 here). Και σ > 0 είναι µια παράµετρος κλιµάκωσης (Q = 12 και σ = 5 εδώ) p (q) N q Also known as the double-exponential or also two-sided exponential PMF. Επίσης γνωστός σαν διπλός-εκθετικός ή επίσης δίπλευρο εκθετικό PMF 6.44

45 Comments on Laplacian PMF Σχόλια για το Laplacian PMF Laplacian noise is usually used to model impulsive noise. Ο Laplacian θόρυβος συνήθως χρησιµοποιείται για σχεδίαση κρουστικού θορύβου True impulse noise occurrences take a large number of small-amplitude values, and a (relatively) large number of high-amplitude values - but not so many in between. Τα συµβάντα των αληθινών κρουστικών θορύβων παίρνουν ένα µεγάλο αριθµό από µικρού- µεγέθους τιµές, και ένα (σχετικά) µεγάλο αριθµό από µεγάλου-µεγέθους τιµές αλλά όχι ρώσους πολλούς στο ενδιάµεσο Digital Exponential PMF Ψηφιακό Εκθετικό PMF Here (Εδώ) and (και) R N = {0, 1,..., Q} p N (q) = CL exp (-q/σ) = CL e -q/σ where (όπου) CL = 1 / Q Σ q= 0 e -q/σ and σ > 0 is a scaling parameter (Q = 12 and σ = 5 here). και σ > 0 είναι παράµετρος κλιµάκωσης (Q = 12 και σ = 5 εδώ). 6.45

46 0.2 p (q) N q Also called the one-sided exponential PMF. Επίσης καλείται και µονόπλευρο εκθετικό PMF Comments on Exponential PMF Σχόλια για το Εκθετικό PMF Exponential noise is usually used to model multiplicative noise. Ο εκθετικός θόρυβος συνήθως χρησιµοποιείται για σχεδίαση πολλαπλασιαστικού θορύβου We will study multiplicative exponential noise near the end of this module. Θα εξετάσουν τον πολλαπλασιαστικό θόρυβο στο τέλος αυτού του κεφαλαίου 6.46

47 Salt-and-Pepper Noise Θόρυβος αλάτι-και-πιπέρι We will consider one other type of noise known as salt-and-pepper noise. It is a model for significant bit errors. Θα θεωρήσουµε κάποιο τύπο θορύβου γνωστό σαν θόρυβος αλάτι-και-πιπέρι. Είναι ένα µοντέλο για λάθη σηµαντικών bits In the transmission of digital image data, individual significant bit errors can randomly occur: Στην µεταφορά πληροφοριών ψηφιακών εικόνων, ξεχωριστά σηµαντικά λάθη σε bit µπορούν να συµβούν τυχαία: '1' '0' '0' '1' ('light' 'dark') ('dark' 'light') This may be due to thermal effects or even gamma rays. Αυτό µπορεί να είναι λόγο θερµικών αποτελεσµάτων ή ακόµα ακτιων γαµµα Salt and pepper noise is not additive. We model it as follows. Ο θόρυβος αλάτι-και-πιπέρι δεν είναι αθροιστικώς. Τον σχεδιάζουµε ως ακολούθως Let I max and I min be the largest (brightest) and smallest (darkest) allowable gray levels in the image I (usually 255 and 0, resp.) Ας ορίσουµε το I max και I min να είναι το µέγιστο (φωτεινότερο) και ελάχιστο (σκοτεινότερο) επιτρεπτό επίπεδο φωτεινότητας στην εικόνα Ι (συνήθως 255 και 0, αντίστοιχα) Define the simple PMF Ορίζουµε το απλό PMF p s-p (q) = { (1-p)/2 p (1-p)/2 ;q=-1 ;q=0 ;q=1 Salt-and-pepper noise corrupts the image in the following way. If J is the noisy image, then 6.47

48 Ο θόρυβος αλάτι-και-πιπέρι αλλοιώνει την εικόνα µε τον ακόλουθο τρόπο. Αν J είναι η εικόνα ου περιέχει θόρυβο, τότε ={ I min J(i, j) I(i, j) I max ;q=-1 ;q=0 ;q=1 This is a simple model for the worst case type of bit errors. Αυτό είναι ένα απλό µοντέλο για τον χειρότερο τύπο λαθών σε bit Comments on Salt-and-Pepper Noise Σχόλια για τον Θόρυβο Αλάτι-και-Πιπέρι Salt-and-pepper noise is the extreme model for impulse noise. Ο θόρυβος αλάτι-και-πιπέρι είναι το µοντέλο άκρου για κρουστικό θόρυβο ΠΑΡΑ ΕΙΓΜΑ ΘΟΡΥΒΟΥ ΑΛΑΤΙ-ΚΑΙ-ΠΙΠΕΡΙ ΣΤΟ MATLAB I = imread( exampleim.tif ); J = imnoise(i, salt & perrer, 0.02); imshow(i); figure, imshow(j); NOISE Examples (Παραδείγµατα θορύβου) NOISE DEMO 6.48

49 Statistical Mean (Στατιστικός Μεσαίος) The first moment or statistical mean of a noise process N with PMF p N (q) is denoted and defined Η πρώτη στιγµή ή ο στατιστικός µεσαίος µιας λειτουργίας θορύβου Ν µε PMF p N (q) εκφράζεται και ορίζεται µ N = Σ q p N (q) where summation Σ occurs over all q R N. όπου το άθροισµα Σ συµβαίνει σε όλα τα q R N. It is a measure of where the noise tends to congregate - the value that the noise occurrences cluster around. Είναι µια γεώτρησης όπου ο θόρυβος τείνει να συναθροίζει την τιµή όπου τα συµβάντα θορύβου συγκεντρώνονται γύρο For a symmetric PMF, Για ένα συµµετρικό PMF, µ N = Q Σ q=-q q p N (q) = 0 (why?) The Gaussian and Laplacian PMF models are zero-mean. Τα µοντέλα PMF Gaussian και Laplacian έχουν µηδενικό-µεσαίο For the exponential PMF, it can be shown (we won't) that the mean is equal to the parameter σ.* Για το εκθετικό PMF, µπορεί να αποδεικτή (δεν θα το δήξουµε) ότι ο µεσαίος είναι ίσος µε την παράµετρο σ.* * Approximately. For the continuous distribution, it is exact. 6.49

50 Κατά προσέγγιση. Για τη συνεχής διανοµή, είναι ακριβής 6.50

51 Variance ( ιάφορα) The second central moment or variance of a noise process N with PMF p N (q) is denoted and defined Η δεύτερη κεντρική ροπή ή µιας λειτουργίας θορύβου Ν µε PMF p N (q) εκφράζεται και ορίζεται ως σ 2 N = Σ (q - µ N )2 p N (q) where summation Σ occurs over all q R N. όπου το άθροισµα Σ συµβαίνει σε όλα τα q R N. It is a measure of how widely the noise tends to be scattered - σ N, also known as standard deviation, is the average distance from the mean that the noise falls. Είναι µια µέτρηση του πόσο φαρδιά τείνει να διασκορπιστεί ο θόρυβος - σ N, επίσης γνωστό σαν σταθερή απόκλιση, είναι η µέση απόσταση από τον µεσαίο που έχει ο θόρυβος For symmetric (zero-mean) noise, the variance is just Για συµµετρικό (µηδενικό-µεσαίο) θόρυβο, η διάφορα είναι απλός σ 2 N = Σ q2 p N (q) For Gaussian, Laplacian, and exponential PMFs, the variance can be shown (we won't) to be equal to σ 2,* where σ is the scaling parameter given earlier for each of the three models. Για Gaussian, Laplacian, και εκθετικά PMFs, το µπορεί να αποδεικτή (δεν θα το δήξουµε) να είναι ίσος µε σ 2,* όπου το σ είναι παράµετρος κλίµακας που δόθηκε πιο πριν για κάθε ένα από τα 3 µοντέλα *Approximately for the discrete PMFs. 6.51

52 *Κατά προσέγγιση για τα ψηφιακά PMFs. Variance Reduction (Μείωση ιαφοράς) The goal of a smoothing filter can be stated as Ο σκοπός ενός φίλτρου εξοµαλύνσεις µπορεί να εκφραστεί ως reduce the noise variance µείωση της διαφοράς θορύβου OS filters can be characterized by their ability to reduce the noise variance. Τα OS φίλτρα µπορούν να χαρακτηριστούν για την ικανότητα τους να µειόνων το θορύβου Certain choices of the coefficients A of OS A [J, B] are appropriate for certain noise PMFs using the variance reduction criterion. Ορισµένες επιλογές των συντελεστών Α του OS A [J, B] είναι κατάλληλες για ορισµένα PMFs θορύβων, χρησιµοποιώντας το κριτήριο µείωση του. Average Filter (Φίλτρο Μέσου) The average filter is best at reducing Gaussian noise variance. Το φίλτρο µέσου είναι το καλύτερο στην µείωση του Gaussian θορύβου If B contains 2M+1 elements, then AVE[J, B] will reduce (divide) the variance of Gaussian noise by a factor of Αν Β περιλαµβάνει 2M+1 στοιχεία, τότε AVE[J, B] θα µειώσει (διαιρέσει) το του θορύβου Gaussian µε µέγεθος 2M+1 In fact, AVE[J, B] will reduce the noise variance of any kind of white noise by a factor of Είναι γεγονός ότι, AVE[J, B] θα µειώσει το του θορύβου για κάθε είδος λευκού θορύβου µε µέγεθος 2M

53 This may seem pretty good, but for non-gaussian PMFs other OS filters can do much better. Αυτό µπορεί να φανεί πολύ καλό, αλλά για µη-gaussian PMFs αλλά OS φίλτρα µπορούν να είναι πολύ καλύτερα Also: too large a window B will severely blur the image, so the noise variance can only be reduced a certain amount. Επίσης: πολύ µεγάλο παράθυρο Ω θα θολώσει σηµαντικά την εικόνα, έτσι το του θορύβου µπορεί µόνο να µειώσει ορισµένο µέγεθος Median Filter (Φίλτρο Μεσαίου) The median filter MED[J, B] is best for reducing the variance of Laplacian noise. Το φίλτρο µεσαίου MED[J, B] είναι το καλύτερο για την µείωση του του θορύβου Laplacian If B contains 2M+1 elements, then MED[J, B] will reduce the variance of Laplacian noise by a factor of (approximately) Αν Β περιέχει 2M+1 στοιχεία, τότε το MED[J, B] θα µειώσει το του Laplacian θορύβου µε µέγεθος (κατά προσέγγιση) Quite an improvement! (Κάπως σηµαντικό) 2 (2M+1) MED[J, B] is fantastic for removing salt-and-pepper noise. There is no better filter. Το MED[J, B] είναι φανταστικό για αφαίρεση θορύβου αλάτι-και-πιπέρι. εν υπάρχει καλύτερο φίλτρο However, if the noise is Gaussian, then MED[J, B] will reduce the variance by a factor of (approximately) Ωστόσο, αν ο θόρυβος είναι Gaussian, τότε το MED[J, B] θα µειώσει η διάφορα µε µέγεθος (κατά προσέγγιση) 6.53

54 (0.75) (2M+1) This is also quite a difference! Αυτό έχει επίσης κάποια διάφορα! We can claim, based on this, and on the edge-preserving property, that MED[J, B] is generally superior to AVE[J, B] (or any other linear filter!) for reducing white noise in images. Συµπεραίνουµε, µε βάση αυτό, και στην ιδιότητα διατήρησης ακµών, ότι το MED[J, B] είναι γενικά ανώτερο από το AVE[J, B] (ή κάποιου αλλού γραµµικού φίλτρου!) για µείωση λευκού θορύβου στις εικόνες Selecting the Filter Coefficients Επιλογή των Συντελεστών του φίλτρου Without an intensive statistical analysis it is difficult to pick the best OS A [J, B] filter for a given noisy image. Χωρίς µια βαθιά στατιστική ανάλυση είναι δύσκολο να διαλέξουµε το καλύτερο OS A [J, B] φίλτρο για µια δεδοµένη εικόνα µε θόρυβο Fortunately, the strongest property of certain OS filters is the fact that they are "robust." Ευτυχώς, η ισχυρότερη ιδιότητα µερικών OS φίλτρων είναι το γεγονός ότι είναι ανθεκτικές A filter is robust if it does close to optimal performance for a wide variety of noise types. Ένα φίλτρο είναι ανθεκτικό αν κοντεύει στην ιδανική εκτέλεση για µια φαρδιά ποικιλία τύπων θορύβου Filters OS A [J, B] have been shown to be remarkably "robust" for coefficients A that resemble a cross between MED[J, B] and AVE[J, B]. Τα φίλτρα OS A [J, B] έχουν αποδεικτή να είναι αξιοσηµείωτα ανθεκτικά για συντελεστές Α οι οποίοι είναι µεταξύ MED[J, B] και AVE[J, B]. 6.54

55 A Robust OS Filter Ένα Ανθεκτικό OS Φίλτρο The simplest example is the inner average OS filter INNER_AVEP[J, B] with coefficients Το απλούστερο παράδειγµα είναι το OS φίλτρο εσωτερικού µέσου όρου INNER_AVEP[J, B] µε συντελεστές A = [0, 0,..., 1,..., 2P+1 1,..., 0, 0] T 2P+1 where P < M (usually P M/2). όπου P < M (συνήθως P M/2). This is similar to both Αυτό είναι όµοιο και µε τα δυο - AVE[J, B], since several of the OS are averaged. If P = M, then INNER_AVEM[J, B] = AVE[J, B] AVE[J, B], αφού παίρνεται ο µέσος όρος µερικών OS. Αν P = M, τότε INNER_AVEM[J, B] = AVE[J, B] - MED[J, B], since only inner OS are averaged. If P = 0, then INNER_AVE0[J, B] = MED[J, B] MED[J, B], αφού παίρνεται ο µέσος όρος µόνο των εσωτερικών OS. Αν P = 0, τότε INNER_AVE0[J, B] = MED[J, B] The inner average smooths noise will (including impulse noise) and preserves edges well. Το φίλτρο µέσου εσωτερικού όρου εξοµαλύνει το θόρυβο καλά (περιλαµβανόµενου του κρουστικού θορύβου) και διατηρεί τις ακµές καλά For both Gaussian and Laplacian noise, INNER_AVEM/2[J, B] will reduce the variance by a factor Και για τους δυο τον Gaussian και τον Laplacian θόρυβο, το, INNER_AVEM/2[J, B] θα µειώνει το µε µέγεθος 6.55

56 > (0.9) OPTIMAL where OPTIMAL is (2M+1) for Gaussian noise and 2 (2M+1) for Laplacian noise. όπου Ι ΑΝΙΚΟ είναι (2M+1) για τον Gaussian θόρυβο και 2 (2M+1) για τον Laplacian θόρυβο Trimmed Mean DEMO (slow) HOMOMORPHIC FILTERING ΜΟΡΦΟΛΟΓΙΚΟ ΦΙΛΤΡΑΡΙΣΜΑ We will now assume a multiplicative white noise model: Θα εξετάσουµε τώρα µοντέλα πολλαπλασιαστικού λευκού θορύβου J = I N where I is the original image and N is a white noise image. Όπου Ι είναι η αρχική εικόνα και Ν είναι η εικόνα λευκού θορύβου Thus (Έτσι) J(i, j) = I(i, j) N(i, j) for 0 i, j N-1. With multiplicative noise there is no hope of using linear filtering directly, since the noise and image spectra are not added. Με τον πολλαπλασιαστικό θόρυβο δεν υπάρχει ελπίδα χρησιµοποίησης ευθέως γραµµικού φιλτραρίσµατος, αφού ο θόρυβος και το φάσµα εικόνας δεν προσθέτονται Multiplicative noise is always positive since the sensed image intensities must be. Ο πολλαπλασιαστικός θόρυβος είναι πάντα θετικός αφού η αισθητές εντάσεις της εικόνας πρέπει να είναι θετικές Multiplicative noise often has an exponential PMF in practical applications, such as radar, laserbased imaging, electron microscopy, etc. 6.56

57 Ο πολλαπλασιαστικός θόρυβος συχνά έχει εκθετικά PMF σε πρακτικές εφαρµογές, όπως ραντάρ, εικόνες µε βάση-laser, µικροσκόπιο ηλεκτρόνιου, κλπ. Synthetic aperture radar images are an excellent example: 1 2 Οι εικόνες συνθετικού ανοίγµατος ραντάρ είναι ένα καταπληκτικό παράδειγµα: 1 2 Multiplicative noise appears much worse in bright image regions (since it multiplies the gray levels) and can be hardly noticeable in dark regions. Ο πολλαπλασιαστικός θόρυβος εµφανίζεται πολύ χειρότερος σε φωτεινά µέρη εικόνων (αφού πολλαπλασιάζει τα επίπεδα φωτεινότητας) και µπορεί δύσκολα να παρατηρηθεί σε σκοτεινά µέρη The Homomorphic Approach Η Οµοιοµορφική Προσέγγιση Homomorphic filtering is succinctly expressed by the following diagram: Το οµοιοµορφικό φιλτράρισµα εκφράζεται µε το ακόλουθο διάγραµµα: noisy image J logarithmic point operation log( ) linear or nonlinear filter exponential point operation exp( ) smoothed image K We'll study each step: Θα µελετήσουµε κάθε βήµα: 6.57

58 Logarithmic Point Operation Λογαριθµική Λειτουργία Απλού Στίγµατος The idea is similar to the logarithmic point operations used in histogram improvement: de-emphasize the dominant bright image pixels. Η ιδέα είναι παρόµοια µε τις Λογαριθµικές Λειτουργίες απλού στίγµατος που χρησιµοποιήσαµε στην διόρθωση ιστογράµµατος: αφαίρεση της έµφασης από τα επικρατέστερα φωτεινά στίγµατα της εικόνας More than that! Since log (a b) = log (a) + log (b), we have that Περισσότερο από αυτά! Αφού log (a b) = log (a) + log (b), έχουµε ότι log [J(i, j)] = log [I(i, j)] + log [N(i, j)] for 0 i, j N-1. So: the point operation converts the problem into that of smoothing Έτσι: η λειτουργία απλού στίγµατος µετατρέπει το πρόβληµα σε αυτό της εξοµαλύνσεις J = I + N Where (όπου) I (i, j) = log [I(i, j)] N (i, j) = log [N(i, j)] J (i, j) = log [J(i, j)] Importantly, N is still a white noise image. Σηµαντικό, N είναι ακόµα µια εικόνα λευκού θορύβου This is just the additive white noise problem studied earlier! Αυτό είναι απλός ένα πρόβληµα αθροιστικού λευκού θορύβου που µελετήσαµε πιο πριν! 6.58

59 Filtering (Φιλτράρισµα) The filtering problem here is very similar to the linear and nonlinear ones studied earlier in this Module and in Module 5. Το πρόβληµα φιλτραρίσµατος εδώ είναι πολύ όµοιο µε τα γραµµικά και µη-γραµµικά προβλήµατα που µελετήσαµε πιο πριν σε αυτό το κεφαλαίο και το κεφαλαίο 5 Depending on the noise statistics, AVE[J, B], MED[J, B], OS A [J, B], OPEN-CLOS[J, B], CLOS-OPEN[J, B] or other linear or nonlinear filter may be used. Εξαρτάται από τις στατιστικές του θορύβου, AVE[J, B], MED[J, B], OS A [J, B], OPEN- CLOS[J, B], CLOS-OPEN[J, B] ή αλλά γραµµικά ή µη-γραµµικά φίλτρα µπορεί να χρησιµοποιηθούν The theoretical performance of these various filters in homomorphic systems still remains an open question. Η θεωρητικοί εκτέλεση αυτών των διάφορων φίλτρων στα οµοιοµορφία συστήµατα µένει ακόµα µια ανοικτή ερώτηση Most will work reasonably well; in particular MED[J, B] has been observed to be effective if the noise is exponential. Πολλά φίλτρα θα εργάζονται λογικά καλά, ιδιαίτερα MED[J, B] έχει παρατηρηθεί να είναι αποτελεσµατικό αν ο θόρυβος είναι εκθετικός The objective is of course to produce a filtered result Ο σκοπός είναι σίγουρα να παράξουµε ένα φιλτραρισµένο αποτέλεσµα F[J, B] I 6.59

60 Exponential Point Operation Εκθετική Λειτουργία Απλού Στίγµατος Assuming that the filtering operation succeeds, i.e., Θεωρώντας ότι η λειτουργία φιλτραρίσµατος είναι επιτυχηµένοι, π.χ., F[J, B] I then the final output image K will approximate τότε η τελική εικόνα εξόδου Ι θα είναι κατά προσέγγιση K(i, j) exp [I (i, j)] = I(i, j) DEMO 6.60