Πτυχιακή Εργασι α «Εκτι μήσή τής ποιο τήτας εικο νων με τήν χρή σή τεχνήτων νευρωνικων δικτυ ων»

Transcript

1 Ανώτατο Τεχνολογικό Εκπαιδευτικό Ίδρυμα Ανατολικής Μακεδονίας και Θράκης Σχολή Τεχνολογικών Εφαρμογών Τμήμα Μηχανικών Πληροφορικής Πτυχιακή Εργασι α «Εκτι μήσή τής ποιο τήτας εικο νων με τήν χρή σή τεχνήτων νευρωνικων δικτυ ων» Ονοματεπώνυμο: Μπιλιούρη Ιωάννα ΑΕΜ: 1139 Επιβλέπων: Δρ. Γεώργιος Α. Παπακώστας Καβάλα 2014

2 Περιεχόμενα Περίληψη... 4 Abstract... 5 Πρόλογος... 7 ΚΕΦΑΛΑΙΟ Εκτίμηση ποιότητας ψηφιακών μέσων Εισαγωγή στην αξιολόγηση ποιότητας ψηφιακών μέσων Εισαγωγή στις αντικειμενικές μεθόδους ανάλυσης ποιότητας Αλγόριθμοι Μη Αναφοράς (NR - No Reference) Αλγόριθμοι Μειωμένης Αναφοράς (RR - Reduced Reference) Αλγόριθμοι Πλήρους Αναφοράς (FF - Full Reference) Μετρικές αξιολογήσεις πιστότητας οπτικού μέσου Mean Square Error (MSE) Peak Signal To Noise Ratio (PSNR) Structural Similarity Image Measure (SSIM)-Multi-Scale Structural Similarity Image Measure (MS-SSIM) Μέθοδοι Αξιολόγησης Ποιότητας Βίντεο Natural Scene Statistics (NSS) Natural Video Statistics Framework (NVS) ΚΕΦΑΛΑΙΟ Τεχνητά νευρωνικά δίκτυα Εισαγωγή στα τεχνητά νευρωνικά δίκτυα Μοντέλα τεχνητών νευρωνικών δικτύων General Regression Neural Network (GRNN) Support Vector Machines (SVM) Multilayer Perceptron/Feed-Forward Network (MLP) ΚΕΦΑΛΑΙΟ Εκτίμηση ποιότητας με την χρήση τεχνητών νευρωνικών δικτύων Page 1

3 3.1 Μεθοδολογία υλοποίησης πειραμάτων Χαρακτηριστικά Εικόνων Phase Congruence (Ταύτιση Φάσης) Image Entropy (Εντροπία εικόνας) Image Gradient (Κλίση εικόνας) Μετρικές Ποιότητας Οπτικών Μέσων Linear Correlation Coeffient (Γραμική Συσχέτιση) SROCC (Spearman s Rank Order Correlation Coefficient) Root Mean Square Error (Σφάλμα μέσης τετραγωνικής ρίζας) ΚΕΦΑΛΑΙΟ Αποτελέσματα πειραμάτων Αποτελέσματα πειραμάτων στην βάση εικόνων LIVE Σύγκριση αποτελεσματικότητας νευρωνικών δικτύων Αποτέλεσματα πειραμάτων με αλλαγή των δεδομένων εισόδου Aποτελέσματα πειραμάτων από την βιβλιογραφία ΚΕΦΑΛΑΙΟ Συμπεράσματα Σύνοψη Σύνοψη Συμπεράσματα Βιβλιογραφία Page 2

4 Page 3

5 Περίληψη Λόγω της εξάπλωσης των ψηφιακών μέσων στην καθημερινή μας ζωή,η μέτρηση της οπτικής ποιότητας των εικόνων και των βίντεο είναι θεμελιώδους σημασίας για πολλές εφαρμογές επεξεργασίας εικόνων και βίντεο. Ειδικότερα στις ψηφιακές εικόνες λαμβάνοντας υπόψην τις παραμορφώσεις που προκαλούνται κατά την μετάδοση τους μέσω ασυρμάτων δικτύων και κινητών τηλεφώνων. Στην παρούσα πτυχιακή εργασία μελετάται και αναλύεται μία NR (No Reference Image Quality Assessment) μέθοδος εκτίμησης ποιότητας με σκοπό την αξιολόγηση των εικόνων μέσω της χρήσης διαφόρων χαρακτηριστικών τους τα οποία μεταβάλλονται αναλόγα με το είδος και το μέγεθος της παραμόρφωσης που μπορεί να έχουν υποστεί.στην συνέχεια,για να μετρηθεί η πιστότητα των εικόνων,τα αποτελέσματα αυτά συγκρίνονται με τον μέσο όρο γνωμοδότησης DMOS που μετρήθηκε με την χρήση εθελοντών. Στα πλαίσια της πτυχιακής εργασίας υλοποιήθηκαν και μελετήθηκαν τρία διαφορετικά τεχνητά νευρωνικά δίκτυα με την χρήση της γλώσσας προγραμματισμού Matlab,με σκοπό την εκτίμηση της ποιότητας εικόνων και μέσω κατάλληλων πειραμάτων αξιολογήθηκε η απόδοση τους και μελετήθηκαν τα αποτελέσματα συγκριτικά. Page 4

6 Abstract Due to the proliferation of digital media in daily life, the measurement of the optical quality of images and video is of fundamental importance for many applications of image processing and video. Especially, in digital images taking into consideration the distortions caused by transmission through wireless networks and mobile phones the measurement of the media quality is mandatory. In this thesis, we study and analyze the quality estimation of a NR (No Reference Image Quality Assessment) method to evaluate the images through the use of various characteristics which vary depending on the type and the size of the distortion may been suffering. Then, in order to measure the fidelity of images, the results are compared with the average opinion DMOS score. Within this thesis, three different artificial neural networks were implemented and tested using the Matlab programming language, in order to assess the quality of the images. Through appropriate experiments their performance was evaluated and the results were comparatively studied. Page 5

7 Page 6

8 Πρόλογος Στις μέρες μας, τα ψηφιακά οπτικά μέσα όπως οι εικόνες και βίντεο χρησιμοποιούνται καθημερινά είτε μέσω προγραμμάτων επεξεργασίας είτε αποτυπώνονται και μεταδίδονται μέσω διαφόρων ψηφιακών συσκευών. Μέσω των παραπάνω, τα ψηφιακά μέσα υπόκεινται σε διαφόρων ειδών παραμορφώσεις και χάνουν την αρχική τους ποιότητα. Για τον λόγο αυτό, η ανάγκη για την ανάπτυξη διαφόρων μεθόδων που θα εκτιμούν την ποιότητα μιας εικόνας κρίνεται επιτακτική. Στόχος, λοιπόν, της παρούσας πτυχιακής εργασίας είναι η ανάπτυξη και η μελέτη διαφόρων μεθόδων εκτίμησης της ποιότητας μιας εικόνας μέσω της χρήσης τεχνητών νευρωνικών δικτύων και του αλγόριθμου «χωρίς εικόνα αναφοράς» (No Reference Image Quality Assessment). Στο πρώτο κεφάλαιο, αναλύονται και μελετώνται οι μεθόδοι ανάλυσης και αξιόλογης της ποιότητας οπτικών μέσων όπως και οι μετρικές που χρησιμοποιούνται σε αυτές τις μεθόδους. Στο δεύτερο κεφάλαιο, αναλύονται τα τεχνητά νευρωνικά δίκτυα τα οποία και χρησιμοποιούνται για την εκπόνηση των πειραμάτων. Στο τρίτο κεφάλαιο, γίνεται μία εισαγωγή στην αξιολόγηση της ποιότητας μιας εικόνας μέσω των τεχνητών νευρωνικών δικτύων και αναλύεται η μεθολογία υλοποίησης των πειραμάτων. Στο τέταρτο κεφάλαιο, παρουσιάζονται τα αποτελέσματα των πειραμάτων μας άλλα και πειράματα για το σύνολο εικόνων LIVE από την βιβλιογραφία. Στο πέμπτο κεφάλαιο,γίνεται η σύνοψη των συμπερασμάτων της εργασίας. Page 7

9 Page 8

10 ΚΕΦΑΛΑΙΟ 1 Εκτίμηση ποιότητας ψηφιακών μέσων 1.1 Εισαγωγή στην αξιολόγηση ποιότητας ψηφιακών μέσων Η μέτρηση της οπτικής ποιότητας εικόνων και βίντεο είναι θεμελιώδους σημασίας για πολλές εφαρμογές επεξεργασιας εικόνων και βίντεο, λόγω της εξάπλωσης της ψηφιακής εικόνας στην καθημερινή μας ζωή. Στόχος των αλγορίθμων εκτίμησης ποιότητας είναι η αυτόματη αξιολόγηση της ποιότητας σε συμφωνία με την ανθρώπινη κρίση όπως την αντιλαμβάνεται το ανθρώπινο οπτικό σύστημα [1]. Κατα την διάρκεια πολλών ετών [2], αρκετοί ερευνητές έχουν κάνει διαφορετικές προσεγγίσεις στο συγκεκριμένο πρόβλημα, συνέβαλλαν σημαντικά στο πρόβλημα και εχει υπάρξει αξιοσημείωτη πρόοδος στην εκτίμηση της ποιότητας εικόνας σε σχέση με μια υποτιθέμενη εικόνα αναφοράς.( Full Reference Quality Assessment). Μια ποικιλία δεικτών για την αξιολόγηση της αντικειμενικής ποιότητας της εικόνας έχει βρεθεί ότι συσχετίζονται και με την υποκειμενική ανθρώπινη κρίση της ποιότητας. Η αξιολόγηση της ποιότητας μια εικόνας είναι ένα σημαντικό αλλά δύσκολο θέμα σε εφαρμογές επεξεργασίας εικόνας όπως η κωδικοποίηση συμπίεσης και η ψηφιακή υδατογράφηση. Είναι σημαντικό να αξιολογηθεί η απόδοση αυτών των αλγορίθμων σε ένα συγκριτικό περιβάλλον και να αναλύσει τα πλεονεκτήματα και τις αδυναμίες των συγκεκριμένων μεθόδων. Μια εικόνα, απο την στιγμή που αποτυπώνεται έως την στιγμή που εμφανίζεται στον ανθρώπινο παρατηρητή, υπόκειται σε πολλά είδη παραμορφώσεων μέσω διαδικασιών όπως η συμπίεση, η επεξεργασία, η αποθήκευση, κλπ., οπότε και η ποιότητα της υποβαθμίζεται. Υπάρχουν δύο μέθοδοι που χρησιμοποιούνται για την αξιόλογη μιας εικόνας : Υποκειμένικη μέθοδος (subjective) Αντικειμένικη μέθοδος (objective) Η υποκειμενική αξιόλογηση είναι αρκετά δαπανηρή και χρονοβόρα δεδομένου ότι πρέπει να βρεθεί και να επιλεγεί ένας αριθμός παρατηρητών, οι οποίοι θα δουν μια σειρα εικόνων και στην συνέχεια θα αξιολογήσουν την ποιότητα των εικόνων αυτών σύμφωνα με την δική τους κρίση. Αντίθετα,η αντικειμενική αξιολόγηση χρησιμοποιεί αυτοματοποιημένους αλγόριθμους. Page 9

11 Οι πιο απλές και πιο διαδεδομένες μετρικές ποιότητας είναι ο μέσος όρος τετραγωνικού σφάλματος( Mean Square Error), ο μέσος τετραγωνικός όρος της διαφοράς έντασης μεταξύ της διαστρεβλωμένης και της εικόνας αναφοράς, η κορυφή σήματος προς θόρυβο(peak Signal To Noise Ratio)και το SSIM. Το μέσο τετραγωνικό σφάλμα(mse) και η κορυφή σήματος προς θόρυβο (PSNR) χρησιμοποιούνται ευρέως για την μέτρηση του βαθμού παραμόρφωσης της εικόνας, λόγω του ότι μπορούν και αντιπροσωπεύουν την συνολική τιμή σφάλματος του γκρι που περιέχεται στο σύνολο της εικόνας.το MSE έχει ικανοποιητικά αποτελέσματα όταν η παραμόρφωση της εικόνας προκαλείται κυρίως απο την μόλυνση του προσθετικού θορύβου.τόσο το MSE όσο και το PSNR,υπολογίζουν την διαφορά των αντίστοιχων pixel ανάμεσα στην αυθεντική και την παραμορφωμένη εικόνα,θεωρώντας πως όλα τα pixel είναι εξίσου σημαντικά. Ωστόσο, το MSE και οι παραλλαγές αυτού δεν συσχετίζονται σωστά με τις υποκειμενικές τιμές ποιότητας. Ο δείκτης ομοιότητας SSIM [10] και οι παραλλαγές του έχει αποδειχτεί πως έχουν πολύ ψηλότερο βαθμό συσχέτισης σε σχέση με το MSE και το PSNR. Φυσικά τίθεται το ερώτημα εάν αυτές οι μεθόδοι που αφορούν στην πιστότητα της εικόνας μπορούν να χρησιμοποιηθούν και σε κινούμενες εικόνες ή βίντεο. Πράγματι.υπάρχει μεγάλη ζήτηση για μετρικές πιστότητας βίντεο, η οποία έχει κινήσει και τον σχηματισμό μιας ομάδας εμπειρογνωμόνων (VQEG) [9] που επιδιώκει την ανάπτυξη,επικύρωση και τυποποίηση αντικειμενικών μετρικών για την ποιότητα των βίντεο. Μία απλή και προφανής μέθοδος για την αξιολόγηση της πιστότητας ενός βίντεο είναι η μέτρηση της πιστότητας διαφόρων στατικών εικόνων καρέ-καρέ του βίντεο και στην συνέχεια ο υπολογισμός του μέσου όρου αυτών των τιμών. Η SSIM έχει αναπτυχθεί με τον τρόπο αυτό με πολύ καλά αποτελέσματα και πλέον ειναι η πιο διαδεδομένη μέθοδος για την αξιόλογηση της πιστότητας ενός βίντεο. Ωστόσο,υπάρχουν δυο σημαντικές πτυχές του βίντεο που δεν καλύπτονται απο την χρήση της παραπάνω μεθοδολογίας. Πρώτον, υπάρχουν ισχυρές συσχετίσεις μεταξύ γειτονικών καρέ του βίντεο που καθορίζουν την χρονική και χωρο-χρονική πληροφορία δομών και επιπλέον το βίντεο περιέχει μια σημαντικά δομημένη κίνηση. Η πιο κοινή μέθοδος για να λάβει υπόψη τις χρονικές συσχετίσεις είναι το προσωρινό φιλτράρισμα. Γραμμικά φίλτρα εφαρμόζονται αρχικά κατά μήκος των χωρικών και χρονικών κατευθύνσεων και στην συνέχεια τα φιλτραρισμένα κομμάτια ομαλοποιούνται ώστε να αντανακλούν τις πρόσθετης αντίληψης επιδράσεις όπως η ανθρώπινη οπτική ευαισθησία ως συνάρτηση της χρονικής συχνότητας. Οι παραδοσιακοί μέθοδοι αξιολόγησης της ποιότητας μιας εικόνας ή ενος βίντεο βασίζονται σε μια εκ των άνω προς κάτω προσέγγιση που επιχειρεί να προσομειώσει την λειτουργικότητα του ανθρωπίνου οπτικού συστήματος. Page 10

12 Αυτές οι μέθοδοι συνήθως αφορούν στην Προεπεξεργασία - Μια διαδικασία η οποία μπορεί να περιλαμβάνει την ευθυγράμμιση των εικόνων, τον μη-γραμμικό μετασχηματισμό, το χαμηλοπερατό φιλτράρισμα το οποίο προσωμειώνει το οπτικό σύστημα και τον χρωματικό μετασχηματισμό Διεργασία αποσύνθεσης καναλιού - Μια διαδικασία η οποία μεταμορφώνει τα σήματα εικόνας σε διαφορετική χωρική συχνότητα Διαδικασία φυσικού σφάλματος - Μία διαδικασία κατα την οποία μετριέται το σήμα σφάλματος σε κάθε κομμάτι ενσωματώνοντας την μεταβολή της οπτικής ευαισθησίας, όπως επίσης και η διακύμανση της λανθασμένης οπτικής ευαισθησίας που προκαλείται απο τους συντελεστές μεταμόρφωσης ενδογειτονικών καναλιών Σφάλμα διαδικασίας συγκέντρωσης - Μια διαδικασία η οποία συνδυάζει τα σήματα σφάλματος στα διαφορετικά κομμάτια σε μια ενιαία τιμή ποιότητας/παραμόρφωσης. Ενώ οι εκ των ανω προς κάτω προσεγγίσεις μπορούν εύκολα να κάνουν χρήση πολλών γνωστών ψυχο-φυσικών χαρακτηριστικών του ανθρώπινου οπτικού συστήματος, υπάρχουν διάφοροι περιορισμοί. Ειδικότερα, το ανθρώπινο οπτικό σύστημα είναι ένα εξαιρετικά πολύπλοκο και μη-γραμμικό σύστημα όπως επίσης και η πολυπλοκότητα των φυσικών εικόνων είναι πολύ μεγάλη. Τα περισσότερα μοντέλα πρώιμης όρασης βασίζονται σε μια γραμμική μέθοδο η οποία χρησιμοποιεί περιορισμένα και απλοικά ερεθίσματα, άρα οι προσεγγίσεις αυτές πρέπει να βασίζονται σε μια σειρά απο ισχυρές παραδοχές και γενικεύσεις. Επιπλεόν, εφόσον ο αριθμός των χαρακτηριστικών του ανθρωπίνου οπτικού συστήματος έχει αυξηθεί, τα συστήματα αξιολόγησης της ποιότητας μιας εικόνας έχουν γίνει πολύ περίπλοκα για να χρησιμοποιηθούν σε πραγματικές εφαρμογές και κυρίως η ανάπτυξη ενός αλγόριθμου βελτιστοποίησης. Η δομική ομοιότητα παρέχει μια εναλλακτική και συμπληρωματική προσέγγιση στο πρόβλημα της αξιολόγησης της ποιότητας. Βασίζεται σε μια παραδοχή οτι το ανθρώπινο οπτικό σύστημα είναι ιδιαίτερα προσαρμοσμένο στην εκχύλιση διαρθρωτικών στοιχείων απο μια εικόνα, και επομένως η μέτρηση της διαρθρωτικής ομοιότητας είναι μια καλή προσέγγιση για την μέτρηση της αντιληπτής ποιότητας της εικόνας. Εχει αποδειχτεί ότι μια απλή εφαρμογή της συγκεκριμένης μεθοδολογίας, δηλαδη της διαρθρωτικής ομοιότητας(ssim) μπορεί και ξεπερνά την τελευταία λεξη της τεχνολογίας όσον αφορα την αντίληψη και την μέτρηση της ποιοτητας μιας εικόνας. Ωστόσο, ο δείκτης SSIM ειναι μια προσεγγιση ενιαίας κλίμακας. Αυτό θεωρείται ένα μειονέκτημα της μεθόδου διότι το σωστό μέγεθος εξαρτάται απο τις συνθήκες προβολής, οπως η ανάλυση οθόνης και η απόσταση θέασης. Page 11

13 1.2 Εισαγωγή στις αντικειμενικές μεθόδους ανάλυσης ποιότητας Καθώς οι παραδοσιακές μέθοδοι ανάλυσης ποιότητας έχουν επικεντρωθεί στην βελτιστοποίηση των δικτύων διανομής όσον αφορά την απόδοση, τα μήκη μετάδοσης και την χωρητικότητα, η βελτιστοποιήση της παροχής υπηρεσιών πολυμέσων έχει αρχίσει να κερδίζει έδαφος. Αυτό είναι πολύ σημαντικό λαμβάνοντας υπόψη την ραγδαία ανάπτυξη της διακίνησης βίντεο και φυσικά τις αναμενόμενες ελλείψεις του εύρους ζώνης. Η αντικειμενική αξιολόγηση χρησιμοποιεί αυτοματοποιημένους αλγόριθμους για να αξιολόγησει την ποιότητα της εικόνας χωρίς την ανθρώπινη παρεμβολή. Οι αντιληπτικές, αντικειμενικές προσεγγίσεις προσπαθούν να παραδώσουν ενα βίντεο υψηλής ποιότητας στον τελικό χρήστη με την χρήση αντικειμενικών μετρικών για τον υπολογισμό της οπτικής ποιότητας. Υπάρχουν τρεις μέθοδοι αξιολόγησης της ποιότητας ενός οπτικού μέσου και χωρίζονται σε διαφορετικές κατηγορίες ανάλογα με την ύπαρξη ή οχι της αρχικής εικόνας : Αλγόριθμοι Μη Αναφοράς (NR - No Reference) Αλγόριθμοι Μειωμένης Αναφοράς (RR - Reduced Reference) Αλγόριθμοι Πλήρους Αναφοράς (FR - Full Reference) Στους NR αλγόριθμους δεν υπάρχει εικόνα αναφοράς, γιαυτό και καλείται «Τυφλή Αξιολόγηση Εικόνας». Στους RR αλγόριθμους η εικόνα αναφοράς υφίσταται εν μέρει σε ένα σύνολο χαρακτηριστικών που προέρχονται από την αρχική εικόνα και λαμβάνουμε τις πληροφορίες οι οποίες μπορούν να βοηθήσουν στην αξιολόγηση της εικόνας. Στους FR αλγόριθμους η εικόνα αναφοράς είναι πλήρως διαθέσιμη ώστε να είναι δυνατή η σύγκριση της με την παραμορφωμένη εικόνα. Η απόδοση της κάθε προσέγγισης θα πρέπει να εκτιμηθεί απο την συσχέτιση της με την υποκειμενική ανθρώπινη κρίση της ποιότητας, δεδομένου ότι ο άνθρωπος είναι ο παραλήπτης του κάθε οπτικού σήματος. Οι ανθρώπινες απόψεις πάνω στην ποιότητα της εικόνας λαμβάνονται με την διεξαγωγή ευρίας κλίμακας μελετών, που αναφέρονται ως υποκειμενικές εκτιμήσεις ποιότητας και κατά τις οποίες οι παρατηρητές βαθμολογούν έναν μεγάλο αριθμό παραμορφωμένων εικόνων/σημάτων. Όταν συγκεντρώνονται οι επιμέρους απόψεις για κάθε εικόνα, ένας μέσος όρος γνωμοδότησης (MOS) ή ένας μέσος όρος διαφορικής γνωμοδότησης (DMOS) προκύπτει για την κάθε εικόνα της μελέτης, όπου το MOS/DMOS είναι ένα αντιπροσωπευτικό δείγμα αντίληψης του οπτικού σήματος. Ο στόχος του αλγορίθμου αντικειμενικής αξιολόγησης ποιότητας της εικόνας είναι να προβλέψει τα αποτελέσματα των τιμών ποιότητας, έτσι ώστε τα αποτελέσματα που προκύπτουν από τον αλγόριθμο Page 12

14 να συσχετίζονται όσο το δυνατόν καλύτερα με τις τιμές MOS/DMOS. Η πρακτική εφαρμογή αυτών των αλγορίθμων προυποθέτει ότι υπολογίζουν την αντιληπτή ποιότητα της εικόνας αποτελεσματικά Αλγόριθμοι Μη Αναφοράς (NR - No Reference) Το ΝR μοντέλο αξιολόγησης ποιότητας οπτικών μέσων [3] αφορά στην αυτόματη αξιολόγηση της ποιότητας μιας εικόνας χρησιμοποιώντας έναν αλγόριθμο. Η μοναδική πληροφορία που λαμβάνει ο συγκεκριμένος αλγόριθμος, πριν προβλέψει την ποιότητα, είναι η παραμορφωμένη εικόνα την οποία και θέλουμε να αξιολογήσουμε. Oι NR αλγόριθμοι, μπορούν να ταξινομηθούν σε αλγόριθμους ειδικών και μη ειδικών παραμορφώσεων [4], με βάση την προηγούμενη γνώση των τύπων παραμόρφωσης. Οι περισότερες υπάρχουσες μέθοδοι μη αναφοράς είναι ειδικών παραμορφώσεων, υποθέτοντας ότι ο τύπος παραμόρφωσης είναι γνωστός, όπως ο θόρυβος, η θόλωση κλπ. Αυτή η παραδοχή περιορίζει το πεδίο εφαρμογής αυτών των αλγορίθμων. Οι αλγόριθμοι μη ειδικών παραμορφώσεων δεν λαμβάνουν υπόψη την προηγούμενη γνώση του τύπου παραμόρφωσης, αλλά αντίθετα δίνουν αποτελέσματα ποιότητας υποθέτοντας ότι η εικόνα που αξιολογείται έχει τον ίδιο τύπο παραμόρφωσης με τις εικόνες της βάσης δεδομένων εκπαίδευσης. Αυτές οι μεθόδοι συνήθως περιλαμβάνουν τεχνικές μηχανικής εκμάθησης, όπου τα διακριτά χαρακτηριστικά της ποιότητας της εικόνας καταχωρούνται στα μοντέλα εκμάθησης και στην συνέχεια χρησιμοποιούνται για την αξιόλογηση ποιότητας των εικόνων εκπαίδευσης. Η προσέγγιση των NR αλγόριθμων βασίζεται στην αρχή ότι οι φυσικές εικόνες έχουν ορισμένες συνήθης στατιστικές ιδιότητες που τροποποιούνται με την παρουσία στρεβλώσεων. Οι αποκλίσεις των συνήθη στατιστικών τιμών, όταν ποσοστοποιηθούν σωστά, επιτρέπουν τον σχεδιασμό αλγορίθμων που ειναι σε θέση να αξιολόγησουν την αντιληπτή ποιότητα της εικόνας χωρίς την παρουσία μιας εικόνας αναφοράς. Με την ποσοτικοποίηση των στατιστικών φυσικής εικόνας και την αποχή των σαφών χαρακτηριστικών των παραμορφώσεων, η προσέγγιση μας για την αξιολόγηση της ποιότητας δεν περιορίζεται απο το είδος των στρεβλώσεων που μπορεί να έχουν πλήξει την εικόνα. Τέτοιες προσεγγίσεις είναι σημαντικές, δεδομένου ότι οι περισότερες προσεγγίσεις μέχρι τώρα είναι ειδικών παραμορφώσεων, δηλαδή είναι ικανές να εκτελούν «τυφλή» αξιολόγηση μόνο εάν η στρέβλωση που πλήττει την εικόνα είναι γνωστή εκ των προτέρων,π.χ. θαμπάδα, θόρυβος, συμπίεση,κλπ. Page 13

15 H τεράστια αύξηση των προσωπικών ψηφιακών βοηθών και έξυπνων τηλεφώνων στην καθημερινή μας ζωή [5], εχει οδηγήσει σε αύξηση της κυκλοφορίας των βίντεο μέσω ενσύρματων και ασυρμάτων δικτύων και επομένως υπάρχει μια τεράστια πρόκληση όσον αφορά το εύρος ζώνης και την ικανότητα της διατήρησης της υψηλής ποιότητας των βίντεο. Η ανάγκη λοιπόν για μια αυτόματη και αξιόπιστη μέθοδο αξιόλογησης της ποιότητας είναι πολυ σημαντική. Δεν υπάρχουν ακόμη ΝR αλγόριθμοι αξιολόγησης ποιότητας βίντεο που να έχει αποδειχθεί οτι συνάδουν με την ανθρώπινη κρίση της προσωρινής οπτικής ποιότητας. Για τον σχεδιασμό ενός τέτοιου μοντέλου, έχουν αναπτύξει ένα πλαίσιο το οποίο έχει ονομαστεί Video BLIINDS [16] και χρησιμοποιεί ενα χωρο-χρονικό μοντέλο με DCT στατιστικές το οποίο προβλέπει τα αποτέλεσματα της ποιότητας. Ο «Τυφλός» αλγόριθμος : Χαρακτηρίζει τον τύπο κίνησης που υπάρχει στο βίντεο Μοντελοποιεί τόσο τα χωρικά όσο και τα χρονικά χαρακτηριστικά του βίντεο Βασίζεται σε ένα μοντέλο στατιστικής φυσικών βίντεο Ειναι υπολογιστικά γρήγορο, και Εξάγει ενα μικρό αριθμό ερμηνεύσιμων χρακτηριστικών που σχετίζονται με την αντίληψη της ποιότητας Αλγόριθμοι Μειωμένης Αναφοράς (RR - Reduced Reference) Οι αλγόριθμοι εκτίμησης ποιότητας, μειωμένης αναφοράς, διαθέτουν κάποιες πληροφορίες σχετικά με την εικόνα αναφοράς αλλά οχι την πραγματική εικόνα, παρά μονο την παραμορφωμένη. Oι μειωμένης αναφοράς μέθοδοι παρέχουν ένα ενδιαφέρον δίλλημα. Μπορούν να προβλέψουν την υποβάθμιση της ποιότητας της εικόνας με μερικές μόνο πληροφορίες απο την εικόνα αναφοράς, υπό μορφή ενός συνόλου χαρακτηριστικών. Οι αλγόριθμοι μιωμένης αναφοράς είναι ένα πρακτικό εργαλείο για εφαρμογές πραγματικού χρόνου όπως οι μεταδόσεις οπτικών σημάτων μέσω ενσύρματου ή ασύρματου δικτύου, όπου μπορούν να χρησιμοποιηθούν για την παρακολούθηση των αλλαγών της ποιότητας της εικόνας και να ελέγχουν την ροή των πόρων του δικτύου. Το σύστημα περιλαμβάνει μια διαδικασία εκχύλισης χαρακτηριστικών στην πλευρά του αποστολέα και μια διαδικασία ανάλυσης της ποιότητας στην πλευρά του δέκτη. Τα εξαγόμενα χαρακτηριστικά ή οι πληροφορίες της κάθε πλευράς, συνήθως έχουν ένα πολύ χαμηλότερο ρυθμό δεδομένων απο αυτόν των δεδομένων της εικόνας και συνήθως μεταδίδονται στον δέκτη μέσω ενός βοηθητικού καναλιού, το οποίο Page 14

16 θεωρείται ότι δεν εχει λάθη. Ωστόσο αυτό δεν είναι μια αναγκαία απαίτηση, δεδομένου οτι ακόμη και μερικά αποκωδικοποιήμενα χαρακτηριστικά μπορούν να φανούν χρήσιμα για την αξιολόγηση της ποιότητας της παραμορφωμένης εικόνας, αν και η ακρίβεια μπορεί να επηρεαστεί. Το βοηθητικό κανάλι μπορεί επίσης να συγχωνευθεί με το κανάλι παραμόρφωσης, στο οποίο τα χαρακτηριστικά μειωμένης αναφοράς της αρχικής εικόνας θα πρέπει να λαμβάνουν μεγαλύτερη προστασία (έλεγχος σφαλμάτων κωδικοποίησης) από οτι τα δεδομένα εικόνας κατά την διάρκεια της μετάδοσης. Στην πλευρά του δέκτη, η διαφορά των χαρακτηριστικών που εξάγονται απο την παραμορφωμένη και την εικόνα αναφοράς, χρησιμοποιούνται για την αξιολόγηση της υποβάθμισης της ποιότητας της εικόνας. Η διεργασία εκχύλισης στην πλευρά του δέκτη μπορεί επίσης να προσαρμοστεί σύμφωνα με τις πληροφορίες που προέρχονται απο τα RR χαρακτηριστικά μέσω του βοηθητικού καναλιού. Στο γενικό πλαίσιο ενός reduced reference αλγόριθμου [6],υπάρχει μεγάλη ευελιξία στην επιλογή των χαρακτηριστικών. Αυτό είναι μια μεγάλη πρόκληση στην σχεδίαση τέτοιων αλγορίθμων, εφόσον τα κατάλληλα χαρακτηριστικά πρέπει να: Παρέχουν μια αποτελεσματική σύνοψη της εικόνας αναφοράς Είναι ευαίσθητα σε μια μεγάλη ποικιλία παραμορφώσεων, και Είναι συναφή με την οπτική αντίληψη της ποιότητας της εικόνας Μια άλλη σημαντική πτυχή που πρέπει να ληφθεί υπόψη κατά την επιλογή των χαρακτηριστικών που θα χρησιμοποιηθούν είναι να διατηρηθεί μια καλή ισορροπία μεταξύ του ρυθμού δεδομένων των reduced reference χαρακτηριστικών και την ακρίβεια πρόβλεψης της ποιότητας της εικόνας. Με ένα υψηλό ρυθμό δεδομένων, κάποιος μπορεί να συμπεριλάβει μια μεγάλη ποσότητα πληροφοριών για την εικόνα αναφοράς, το οποίο οδηγεί σε πιο ακριβή εκτίμηση της υποβάθμισης της ποιότητας της εικόνας, αλλά γίνεται ένα βαρύ φορτίο κατά την μετάδοση των χαρακτηριστικών στον δέκτη. Απο την άλλη πλευρά, ένας χαμηλότερος ρυθμός μετάδοσης δεδομένων καθιστά ευκολότερη τη μετάδοση των reduced reference χαρακτηριστικών αλλά πιο δύσκολη την ακριβή εκτίμηση της ποιότητας. Στην πρακτική εφαρμογή λοιπόν,ο μέγιστος ρυθμός μετάδοσης των δεδομένων μας δίνεται και πρέπει να τηρείται. Page 15

17 1.2.3 Αλγόριθμοι Πλήρους Αναφοράς (FF - Full Reference) Οι αλγόριθμοι αξιολόγησης ποιότητας πλήρους αναφοράς απαιτούν ως είσοδο όχι μόνο την παραμορφωμένη εικόνα, αλλά και μια «καθαρή» εικόνα αναφοράς σε σχέση με την οποία αξιολογείται η παραμορφωμένη. Τυπικά, οι εικόνες χωρίζονται σε δύο ομάδες, στις εικόνες αναφοράς οι οποίες θεωρούνται οι «καθαρές» εικόνες και στις παραμορφωμένες οι οποίες έχουν υποβληθεί σε κάποιου είδους παραμόρφωση και χρησιμοποιούνται για την εκπαίδευση του συστήματος. Αναλόγως με την πειραματική μέθοδο που ακολουθείται, οι παρατηρητές βλέπουν τις εικόνες, είτε μόνο τις παραμορφωμένες, είτε την κάθε παραμορφωμένη εικόνα μαζί με την εικόνα αναφοράς, και αξιολογούν την αντιληπτή ποιότητα αναλόγως με την ποιότητα της παραμορφωμένης εικόνας ή με την διαφορά της απο την εικόνα αναφοράς. Είναι γνωστό ότι η αντιληπτή ποιότητα ποικίλει στον κάθε παρατηρητή γιαυτό υπολογίζεται η μέση τιμή όλων των διαφορετικών τιμων της ποιότητας που λαμβάνονται απο τους παρατηρητές και προκύπτει η τιμή MOS (Μean Οpinion Score). Στις περιπτώσεις που αξιολογείται και η εικόνα αναφοράς, προκυπτει η τιμή DMOS (Difference Opinion Score) αντί της MOS, η οποία είναι η διαφορά που προκύπτει απο την αξιολόγηση της εικόνας αναφοράς και της εικόνας εκπαίδευσης. Ενώ η παρουσία μιας εικόνας αναφοράς ή των πληροφοριών της εικόνας αναφοράς απλοποιεί το πρόβλημα της αξιολόγησης της ποιότητας, οι εφαρμογές αυτών των αλγορίθμων περιορίζονται σε συνθήκες πραγματικότητας όπου οι πληροφορίες αναφοράς δεν είναι διαθέσιμες όταν αξιολογείται η ποιότητα μιας εικόνας. Περαιτέρω, μπορεί να υποστηριχθεί ότι οι Full Reference και Reduced Reference προσεγγίσεις σε μεγάλο βαθμό, δεν είναι μετρικές αξιολόγησης ποιότητας με την πραγματική έννοια, δεδομένου ότι αυτές οι μεθόδοι μετράνε την πιστότητα της εικόνας σε σχέση με την εικόνα αναφοράς. Επιπλέον, η υπόθεση οτι οποιαδήποτε εικόνα αναφοράς είναι τελείως φυσική είναι αμφισβητήσημη, λόγω του ότι όλες οι εικόνες είναι φαινομενικά παραμορφωμένες. Page 16

18 1.3 Μετρικές αξιολογήσεις πιστότητας οπτικού μέσου Mean Square Error (MSE) Το μέσο τετραγωνικό σφάλμα (MSE) χρησιμοποιείται ως μία μετρική πιστότητας ενός σήματος. Ο στόχος της μέτρησης της πιστότητας ενός σήματος είναι η σύγκριση δύο σημάτων παρέχοντας μια ποικιλία όρων που περιγράφουν τον βαθμό ομοιότητας/πιστότητας ή αντιθετα το επίπεδο των σφαλμάτων /παραμορφώσεων μεταξύ αυτών. Συνήθως θεωρούμε δεδομένο ότι το ένα σήμα ειναι το πρωτότυπο και το άλλο είναι το παραμορφωμένο. Το MSE έχει πολλά ελκυστικά χαρακτηριστικά τα οποία το κάνουν τόσο διαδεδομένο. Είναι απλό. Δεν έχει παραμέτρους και ο υπολογισμός του είναι ανέξοδος, με μια πολυπλοκότητα ενός μόνο πολλαπλασιασμού και δύο προσθηκών ανά δείγμα. Δεν έχει μνήμη.το μέσο τετραγωνικό σφάλμα μπορεί να αξιολογηθεί ανά δείγμα, ανεξάρτητα απο τα υπόλοιπα προηγούμενα δείγματα. Έχει μια σαφή φυσική σημασία-είναι ο δυσικός τρόπος για να καθορίζει την ενέργεια του σήματος σφάλματος. Ένα τέτοιο μέτρο ενέργειας διατηρείται μετά από κάθε ορθογώνιο ή μοναδιαίο γραμμικό μετασχηματισμό. Διατηρεί εγγυήσεις ότι η ενέργεια του παραμορφωμένου σήματος στο πεδίο του μετασχηματισμού έιναι η ίδια όπως στην περιοχή του σήματος. Είναι μία εξαιρετική μετρική στα πλαίσια της βελτιστοποίησης. Περιέχει τις ικανοποιητικές ιδιότητες της κυρτότητας, της συμμετρίας και της διαφορετικότητας. Όλοι οι κανόνες Ip είναι έγκυρες μετρικές απόστασης, οι οποίες ικανοποιούν όλες τις ακόλουθες ευνοικές συνθήκες και καταστούν δυνατή την άμεση ερμηνεία ομοιότητας: 1. Μη αρνητικές Dp(x, y) >= 0 2. Ταυτότητας Dp(x, y) = 0 αν και μονο αν x = y 3. Συμμετρία Dp(x, y) = Dp(y, x) 4. Τριγωνική ανισότητα: Dp(x, z) <= Dp(x, y) + Dp(y, z) Η ΜSE χρησιμοποιείται ευρέως καθώς είναι μια σύμβαση. Ιστορικά,έχει χρησιμοποιηθεί εκτενώς για την βελτιστοποίηση και αξιολόγηση μιας ευρείας ποικιλίας εφαρμογών επεξεργασίας σήματος, περιλαμβανομένου του φίλτρου σχεδιασμού, την συμπίεση σήματος, την ανασυγκρότηση και την ταξινόμηση. Επιπλέον, καθ ολη την έρευνα και την βιβλιογραφία, όλοι οι ανταγωνιστικοί αλγόριθμοι συγκρίνονται με την Page 17

19 MSE και το PSNR. Επομένως,παρέχει ένα βολικό και εκτενή πρότυπο έναντι στο οποίο μπορούν να αξιολογηθούν νέοι αγλόριθμοι. Αυτό εξοικονομεί χρονο αλλά την ίδια στιγμή κανει την χρήση του MSE πιο διαδεδομένη. Αν υποθέσουμε ότι Χ = {x i i = 1,2,., N} και Υ = {y i i = 1,2,, N} είναι δύο πεπερασμένου μήκους διακριτά σήματα (πχ. εικόνες), όπου Ν είναι ο αριθμός των δειγμάτων σήματος (τα εικονοστοιχεία αν πρόκειται για εικόνες) και x i, y i είναι οι τιμές των δειγμάτων του i στο x και y αντίστοιχα. Τότε το MSE μεταξύ των δειγμάτων είναι: MSE(x, y) = 1 N (x i y i ) 2 Στο MSE συχνά αναφέρομαστε στο σήμα σφάλματος e i = x i y i, το οποίο είναι η διαφορά μεταξύ των σημάτων της αρχικής και της παραμορφωμένης εικόνας. Αν ένα απο τα σήματα είναι ένα πρωτότυπο αποδεκτής ποιότητας σήμα και το άλλο είναι η παραμορφωμένη εκδοχή του, την οποία και αξιολογούμε,το μέσo τετραγωνικό σφάλμα μπορεί επίσης να θεωρηθεί ως ένα μέτρο ποιότητας σήματος, με μια πιο γενική μορφή του κανόνα lp N t=1 N d p (x, y) = ( e i t=1 p ) 1/p Peak Signal To Noise Ratio (PSNR) Το PSNR ειναι ο τεχνολογικός όρος για την αναλογία μεταξύ της μέγιστης δυνατής ισχύος ενός σήματος και της δύναμης του θορύβου που μπορεί να παραμορφώσει την αναπαράσταση μιας εικόνας. Επειδή πολλά σήματα έχουν πολύ μεγάλο δυναμικό εύρος, το PSNR εκφράζεται συνήθως με όρους της λογαριθμικής κλίμακας decibel (db). Χρησιμοποιείται για την μέτρηση τη ποιότητας μιας εικόνας και κυρίως συμπιεσμένες εικόνες. Σε αυτή την περίπτωση, το σήμα είναι τα αρχικά δεδομένα και ο θόρυβος είναι το σφάλμα που δημιουργείται απο την συμπίεση. Κατά την σύγκριση των κωδικοποιήσεων της συμπίεσης, το PSNR είναι μια ένδειξη για το πως αντιλαμβάνεται την ποιότητα μιας εικόνας το ανθρώπινο μάτι κατά την ανασυγκρότηση. Παρά το γεγονός ότι ένα υψηλότερο PSNR γενικά δείχνει ότι η ανασυγκρότηση της εικόνας είναι υψηλής ποιότητας, σε ορισμένες περιπτώσεις δεν ισχύει. Πρέπει να είμαστε πολύ προσεκτικοί με το φάσμα ισχύος της συγκεκριμένης μετρικής γι αυτό είναι αποδοτικότερο όταν χρησιμοποιείται για να συγκρίνει αποτελέσματα απο ίδιες μορφές κωδικοποίησης και απο ίδιο περιεχόμενο. Page 18

20 Το PSNR ορίζεται ευκολότερα μέσω του MSE (Μεσο τετραγωνικό σφάλμα), λαμβάνοντας υπόψη μια κανονική και μια παραμορφωμένη εικόνα : MSE = 1 m n m 1 n 1 [I(i, j) K(i, j)]2 i=0 j=0 PSNR = 10 log 10 ( MAX I 2 MSE ) = 20 log 10 ( MAX I MSE ) = 20 log 10 (MAX I) 10 log 10 (MSE) Εδώ το MAX είναι η μέγιστη δυνατή τιμή εικονοστοιχείων που μπορεί να έχει μια εικόνα. Όταν τα εικονοστοιχεία αντιπροσωπεύονται χρησιμοποιώντας 8 bits ανα δείγμα, το MAX είναι 255. Γενικότερα, όταν τα δείγματα έχουν αναπαρασταθεί με την χρήση των 8 bits ανα δείγμα, το MAX ειναι 2Β-1. Για έγχρωμες εικόνες με τρεις τιμές RGB ανά εικονοστοιχείο, ο ορισμός του PSNR είναι ο ίδιος με την διαφορά ότι το MSE είναι το άθροισμα όλων των διαφορετικών τετραγωνισμένων τιμών διαιρούμενο με το μέγεθος της εικόνας και στην συνέχεια με το 3. Τυπικές τιμές για το PSNR σε συμπιεσμένες εικόνες και βίντεο είναι μεταξύ 30 και 50 decibel, εφόσον το βάθος των εικονοστοιχείων ειναι 8 Bit και 60 με 80 decibel όταν το βάθος των εικονοστοιχείων είναι 16 bits. Οι αποδεκτές τιμές για τις απώλειες ποιότητας σε ασύρματη μετάδοση θεωρείται πως είναι μεταξύ 20 και 25 decibel. Εν απουσία θορύβου, η πραγματική και η παραμορφωμένη εικόνα είναι όμοιες και επομένως το MSE είναι μηδέν και το PSNR απροσδιόριστο (άπειρο) Structural Similarity Image Measure (SSIM)-Multi-Scale Structural Similarity Image Measure (MS-SSIM) Χρησιμοποιώντας το πλαίσιο της μέτρησης πιστότητας μιας εικόνας ως ένα πρόβλημα επικοινωνίας της εικόνας, οι μέθοδοι που έχουν συζητηθεί κυρίως επιδιώκουν να διαμορφώσουν τον δέκτη. Λίγες προσεγγίσεις έχουν προσπαθήσει να λαμβάνουν υπόψη τα χαρακτηριστικά του πομπού. Page 19

21 Όπως και με οποιοδήποτε σύστημα επικοινωνίας, όσο περισσότερα είναι γνωστά για τον πομπό τόσο καλύτερη επίκοινωνία μπορεί να επιτευχθεί, ιδιαίτερα αν η πηγή του σήματος είναι συγκεκριμένη. Έτσι, είναι σημαντικό το γεγονός ότι το σύμπλεγμα των φυσικών εικόνων καταλαμβάνει εξαιρετικά μικρό τμήμα στον χώρο της εικόνας. Αυτό παρέχει εκ των προτέρων, ισχυρή πληροφορία, σχετικά με το πώς πρέπει να μοιάζει μια πρωτότυπη εικόνα, η οποία θα πρέπει να είναι μια πολύτιμη πηγή πληροφοριών για τον σχεδιασμό των μετρικών πιστότητας μιας εικόνας. Στην βιβλιογραφία της υπολογιστικής νευροεπιστήμης, έχει υποτεθεί ότι το ανθρώπινο οπτικό σύστημα είναι ιδιαίτερα προσαρμοσμένο στο φυσικό οπτικό περιβάλλον, όχι μονο από την άποψη της βραχυπρόθεσμης ικανότητας προσαρμογής αλλά και μέσω της μακρυπρόθεσμης νευρικής εξέλιξης και ανάπτυξης. Ως εκ τούτου, μπορούν να δουν την μοντελοποίηση της φυσικής εικόνας (πομπός) και του ανθρώπινου οπτικού συστήματος(δέκτης) ως δύο διαφορετικά προβλήματα. Μία πρόσφατη πρόταση προσέγγισης για την μέτρηση της πιστότητας της εικόνας, η οποία μπορεί να αποδειχθεί ιδιαίτερα αποτελεσματική και για την μέτρηση πιστότητας άλλων σημάτων είναι ο δείκτης SSIM [10].Ο συγκεκριμένος δείκτης στην πραγματικότητα λαμβάνει διάφορες μορφές αναλόγως με το αν θα εφαρμοστεί σε ενιαία ή σε πολλαπλή κλίμακα.[10],[11]. Ανεξάρτητα από τις ιδιαιτερότητες, η προσέγγιση SSIM ήταν αρχικά εμπνευσμένη από το γεγονός ότι τα σήματα της φυσικής εικόνας είναι ιδιαίτερα δομημένα, πράγμα που σημαίνει ότι τα δείγματα των φυσικών σημάτων εικόνας έχουν ισχυρές γειτονικές εξαρτήσεις οι οποίες μεταφέρουν σημαντικές πληροφορίες σχετικά με τις δομές των αντικειμένων στο οπτικό σκηνικό. Φυσικά το ίδιο μπορεί να ειπωθεί και τα περισσότερα σήματα άλλου είδους. Η φιλοσοφία της αρχικής SSIM προσέγγισης είναι ότι το ανθρώπινο οπτικό σύστημα είναι ιδιαίτερα προσαρμοσμένο στις αποσπασματικές διαρθρωτικές πληροφορίες της οπτικής σκηνής. Ως εκ τούτου, τουλάχιστον για την μέτρηση της πιστότητας της εικόνας, η διατήρηση της δομής του σήματος είναι ένα σημαντικό συστατικό. Αντίστοιχα, ένας αλγόριθμος μπορεί να μετρήσει τις διαρθρωτικές στρεβλώσεις για την επίτευξη της πιστότητας της εικόνας. Το Σχήμα (1) απεικονίζει την διάκριση μεταξύ των δομικών και μη δομικών στρεβλώσεων. Οι μη δομικές στρεβλώσεις (μεταβολή φωτεινότητας, αλλαγή αντίθεσης, μετατόπιση κλπ) προκαλούνται απο συνθήκες του περιβάλλοντος ή άλλες συνθήκες που συμβαίνουν κατά την λήψη της εικόνας. Οι στρεβλώσεις αυτές δεν αλλάζουν τις δομές των εικόνων των αντικειμένων στην οπτική σκηνή. Ωστόσο, άλλες στρεβλώσεις (προσθετικός θόρυβος,θαμπάδα κλπ),προκαλούν σημαντική αλλοίωση. Page 20

22 Σχήμα 1: Oπτική απεικόνιση διαφορών μεταξύ δομικών και μη-δομικών παραμορφώσεων Αν εξετάσουμε το ανθρώπινο οπτικό σύστημα ως μια ιδανική πηγή πληροφοριών που προσπαθεί να εντοπίσει και να αναγνωρίσει ένα αντικείμενο στην οπτική σκηνή, τότε πρέπει να είναι ιδιαίτερα ευαίσθητο στις διαρθρωτικές στρεβλώσεις και αυτόματα να αντισταθμίζει τις μη διαρθρωτικες στρεβλώσεις. Επομένως, μια αποτελεσματική μετρική πιστότητας σήματος θα πρέπει να προσομειώνει την συγκεκριμένη λειτουργία. Η βασική μορφή της SSIM είναι αρκετά απλή και κατανοητή. Ας υποθέσουμε ότι χ και y είναι κομμάτια της εικόνας που λαμβάνονται από την ίδια θέση των δύο εικόνων που είναι προς σύγκριση. Ο τοπικός δείκτης SSIM μετρά τις ομοιότητες απο τρία στοιχεία των κομματιών της εικόνας: η ομοιότητα L (x, y) της φωτεινότητας, η ομοιότητα C(x, y) των αντιθέσεων και η ομοιότητα S(x, y) της δομής των κομματιών της εικόνας. Αυτές οι τοπικές ομοιότητες εκφράζονται με την χρήση απλών, εύκολα υπολογίσημων στατιστικών στοιχείων και συνδιάζονται μαζί για να σχηματίσουν την τοπική SSIM. Ο δείκτης SSIM υπολογίζεται τοπικά μέσω ενός συρόμενου παραθύρου που κινείται ανά pixel σε όλη την εικόνα, με αποτέλεσμα ένα χάρτη SSIM. Στην συνέχεια, υπολογίζεται το σκορ ολόκληρης της εικόνας, συγκεντρώνοντας τον χάρτη SSIM με την Page 21

23 απλή μέθοδο των μέσων όρων του SSIM σε όλη την εικόνα. Μία πρόσφατη επέκταση του SSIM κάνει χρήση μιας προσαρμοστικής βάσης αποσύνθεσης πλαισίου που επιτρέπει τον ρητό διαχωρισμό των δομικων και μη δομικών στρεβλώσεων. Καλύτερη απόδοση χρησιμοποιώντας το SSIM πλαισίου υπάρχει όταν το σκορ του SSIM υπολογίζεται σε ένα εύρος κλιμάκων. Αυτό συμβαίνει γιατί οι εικόνες, όπως και άλλα φυσικά σήματα, περιέχουν δομές που υπάρχουν σε μια σειρά απο διαφορετικές κλίμακες και λογω του ότι το ανθρώπινο οπτικό σύστημα αποσυντίθει τα οπτικά δεδομένα πολλαπλών κλιμάκων πολύ νωρίς στην οπτική οδό. Παρά την απλότητα του, ο δείκτης SSIM είναι εντυπωσιακά αποτελεσματικός σε μια ευρεία ποικιλίας εικόνων και τύπων παραμόρφωσης. Oι τιμές του SSIM είναι πολυ πιο ακριβής απο αυτές του MSE σε συνάρτηση με την οπτική αντίληψη. Η μετατόπιση της φωτεινότητας και η αλλαγή της αντίθεσης,τα οποία γενικά δεν υποβαθμίζουν την δομή της εικόνας, μπορεί να οδηγήσουν σε πολύ υψηλές τιμές του SSIM ενώ η παραμόρφωση της εικόνας λόγω θορύβου και η υπερβολική JPEG συμπίεση μπορούν να οδηγήσουν αντίστοιχα σε πολυ χαμηλές τιμες. Η αποτελεσματικότητα της μεθόδου SSIM φαίνεται καλύτερα με την σύγκριση των SSIM χαρτών και των χαρτών σφάλματος. Και στους δύο τύπους χαρτών, η φωτεινότητα αντιστοιχεί στην σωστή πιστότητα για κάθε μετρική (όσο πιο φωτεινή τόσο το καλύτερο). Ο δείκτης SSIM χειρίζεται την υφή οπτικής αποκρύψεως αρκετά καλά, παρόλο που ο προστιθέμενος θόρυβος εφαρμόζεται ομοιόμορφα σε όλη την εικόνα,η εμφανιση της εικόνας είναι ιδιαίτερα υποβαθμισμένη στα κομμάτια οπου η εικόνα ειναι πολυ ομαλή. Μερικές εφαρμογές που εχει χρησιμοποιηθεί το SSIM με επιτυχία είναι: Σύντηξη εικόνας Συμπίεση εικόνας Υδατογράφηση εικόνας Χρωματική ποιότητα εικόνας Ασύρματη μετάδοση βίντεο Ραντάρ απεικόνισης Υπέρυθρη απεικόνιση Μαγνητική Τομογραφία Η αντιληψιμότητα των λεπτομεριών της εικόνας εξαρτάται απο την πυκνότητα της δειγματοληψίας του σήματος της εικόνας, απο την απόσταση του παρατηρητή απο το επίπεδο της εικόνας και απο την ικάνοτητα του οπτικού συστήματος του παρατηρητή. Στην πραγματικότητα λοιπόν, η υποκειμενική αξιολόγηση μιας εικόνας μεταβάλλεται όταν οι παραπάνω παράγοντες ποικίλουν. Page 22

24 Μια μέθοδος ενιαίας κλίμακας (SSIM) μπορεί να είναι κατάλληλη μόνο για συγκεκριμένες ρυθμίσεις, ενώ μια μέθοδος πολλών κλιμάκων είναι ο πιο πρακτικός τρόπος για να συμπεριλάβουμε διάφορες λεπτομέριες τις εικόνας σε διαφορετικές αναλύσεις. Λαμβάνοντας υπόψη ότι η παραμορφωμένη και η εικόνα αναφοράς είναι οι είσοδοι μας, η συγκεκριμένη μέθοδος εφαρμόζει ένα επαναλαμβανόμενο low-pass φίλτρο και διαιρεί την φιλτραρισμένη εικόνα κατά συντελεστή 2. Θεωρούμε την αρχική εικόνα ως κλίμακα 1 και την υψηλότερη κλίμακα ως κλίμακα M, που επιτυγχάνεται μετά από Μ(i) για i επαναλήψεις. Στην κλίμακα j, η σύγκριση αντίθεσης και η δομή σύγκρισης υπολογίζονται και συμβολίζονται ως Cj(x, y) και Sj(x, y) αντίστοιχα. Η σύγκριση φωτεινότητας υπολογίζεται μόνο στην κλίμακα M και συμβολίζεται ως Μ(x, y). Η συνολική αξιολόγηση κατά την χρήση της μεθόδου SSIM επιτυγχάνεται με τον συνδυασμό της μέτρησης σε διαφορετικές κλίμακες με την χρήση της παρακάτω παράστασης: SSIM(x, y) = [l M (x, y)] α M M j=1 [ c j (x, y)] β j[s j (x, y)] γ j Tα α M,β j και γ j χρησιμοποιούνται για την ρύθμιση της σχετικής σημασίας που έχει η κάθε συνιστώσα. To SSIM πολλών κλιμάκων πληρεί όλους τους παραπάνω όρους και περιλαμβάνει την μέθοδο ενιαίας κλίμακας ως ειδική περίπτωση. Ειδικότερα, η μέθοδος της ενιαίας κλίμακας εφαρμόζει μια επαναληπτική διαδικασία φιλτραρίσματος και υποδειγματοληψίας στην κλίμακα M όπου μόνο οι συνιστώσες α Μ,β Μ και γ Μ ειναι μηδενικές. Για να απλοποιήσουμε την επιλογή των παραμέτρων θέτουμε ότι α j = β j = γ j για ολες τις τιμές του j. Αυτο καθιστά τις ρυθμίσεις των διαφορετικών παραμέτρων, συμπεριλαμβανομένων όλων των ρυθμίσεων ενιαίας και πολλαπλής κλίμακας,συγκρίσιμες. Το μόνο που απομένει λοιπόν, είναι να καθοριστούν οι σχετικές τιμές σε όλες τις διαφορετικές κλίμακες. Θεωρητικά, αυτό θα πρέπει να σχετίζεται με την λειτουργία της ευαισθησίας στην αντίθεση μιας εικόνας του ανθρώπινου οπτικού συστήματος, η οποία δηλώνει ότι η ανθρώπινη οπτική ευαισθησία κωρυφώνεται σε μεσαίες συχνότητες (περίπου 4 κύκλους ανα βαθμό οπτικής γωνίας) και μειώνεται κατα μήκος και των δυο κατευθύνσεων, της υψηλής και της χαμηλής συχνότητας. Ωστόσο, το χαρακτηριστικό της ευαισθησίας του οπτικού συστήματος δεν μπορεί να χρησιμοποιηθεί απευθείας για να αντλήσει τις πληροφορίες απο το σύστημα μας καθώς είναι κάτι που μετριέται στο επίπεδο ορατότητας κατωφλίου χρησιμοποιώντας ένας αριθμό απλουστευμένων ερεθισμάτων. Στόχος μας, λοιπόν, Page 23

25 ειναι να συγκρίνει την ποιότητα των σύνθετα δομημένων εικόνων σε ορατά επίπεδα παραμόρφωσης. 1.4 Μέθοδοι Αξιολόγησης Ποιότητας Βίντεο Natural Scene Statistics (NSS) Η μέθοδος NSS είναι διαδεδομένη για την μέτρηση της πιστότητας μιας εικόνας ή ενός βίντεο χρησιμοποιώντας στατιστικές μεθόδους φυσικής σκηνής/εικόνας. Οι τρισδιάστατες εικόνες και βίντεο προέρχονται απο μία κοινή κατηγορία, αυτή των φυσικών εικόνων/σκηνών.οι φυσικές εικόνες σχηματίζουν έναν υποχώρο μέσα στον χώρο όλων των πιθανών σημάτων και οι ερευνητές έχουν αναπτύξει εξελιγμένα μοντέλα για να χαρακτηρίσουν αυτά τα στατιστικά στοιχεία [1]. Οι περισότερες διεργασίες παραμόρφωσης στο πραγματικό περιβάλλον προκαλούν στις εικόνες και στα βίντεο διαστρέβλωση. Προτείνεται λοιπόν, η μέθοδος NSS να χρησιμοποιείται σε συνδιασμό με διάφορα μοντέλα παραμόρφωσης για να υπολογίζονται οι στατιστικές πληροφορίες που ανταλλάσονται μεταξύ της παραμορφωμένης και της εικόνας αναφοράς. Η συγκεκριμένη μέτρηση θα είναι μία ένδειξη της πιστότητας που θα σχετίζεται και με την οπτική ποιότητα. Οι παραπάνω προσεγγίσεις περιγράφουν τρόπους για το πρόβλημα της μέτρησης της ποιότητας ενός βιντεο ή μιας εικόνας. Η μία άποψη είναι δομική, δηλαδή από την οπτική του περιεχομένου της εικόνας, στην οποία θεωρούμε ότι οι εικόνες είναι μια προβολή αντικειμένων σε τρισδιάστατο περιβάλλον και προέρχονται απο μια μεγάλη ποικιλία φωτισμού. Τέτοιες παραλλαγές αποτελούν μη-δομικές στρεβλώσεις και πρέπει να αντιμετωπίζονται διαφορετικά απο τις δομικές. Η δεύτερη άποψη είναι ψυχο-οπτική, στην οποία χρησιμοποιέιται η ανθρώπινη οπτική αντίληψη. Γίνεται μια προσωμείωση της επεξεργασίας της εικόνας μέσω του ανρθωπίνου οπτικού συστήματος, μέσω της οποίας προβλέπεται η βαρύτητα των σφαλμάτων. Τέλος είναι η άποψη ότι οι φυσικές εικόνες είναι σήματα με συγκεκριμένες στατιστικές ιδιότητες. Όλες αυτές οι διαφορετικές απόψεις βέβαια έχουν διαφορετικού είδους πολυπλοκότητα όταν πρόκειται για ανάλυση και μοντελοποίηση. Η στατιστική προσέγγιση για την ανάλυση της πιστότητας μιας εικόνας απαιτεί λιγότερες υποθέσεις, ειναι απλή, μεθοδική και υπερτερεί προς το παρόν σε σχέση με Page 24

26 τις αλλες δύο προσεγγίσεις. Οι μέθοδοι που προτείνονται στην βιβλιογραφία μπορούν να χωριστούν σε δύο μεγάλες κατηγορίες: Προσεγγίσεις που βασίζονται στο ανθρώπινο οπτικό σύστημα Προσεγγίσεις που βασίζονται σε αυθαίρετα κριτήρια πιστότητας Εικόνες και βίντεο που συλλαμβάνονται χρησιμοποιώντας συσκευές καταγραφής υψηλής ποιότητας χαρακτηρίζονται ως φυσικές σκηνές και αυτό είναι που τις διαφοροποιεί από ένα κείμενο, από έργα ζωγραφικής, από τα γραφικά και από εικόνες που έχουν αποτυπωθεί με μη φυσικά ερεθίσματα, όπως μια ακτινογραφία ή ένας υπέρηχος. Όπως αναφέρθηκε και παραπάνω, οι φυσικές σκηνές αποτελούν ένα υποσύνολο μέσα στο σύνολο όλων των πιθανών εικόνων και έχει καταβληθεί μεγάλη προσπάθεια απο διάφορους ερευνητές να κατανοηθεί η δομή αυτού του υποσυνόλου μέσω της μελέτης των στατιστικών τους στοιχείων. Οι ερευνητές πιστεύουν ότι το οπτικό ερέθισμα που προέρχεται απο το φυσικό περιβάλλον οδήγησε στην εξέλιξη του ανθρώπινου οπτικού συστήματος και ότι η μοντελοποίηση των φυσικών σκηνών και του ανθρώπινου οπτικού συστήματος είναι δύο διαφορετικά προβλήματα. Ενώ πολλές πτυχές του ανθρώπινου οπτικού συστήματος έχουν μελετηθεί και ενσωματωθεί σε αλγόριθμους ανάλυσης ποιότητας, η κατανόηση του εξακολουθεί να είναι ανεπαρκής. Η μέθοδος NSS λοιπόν χρησιμεύει στην κάλυψη του χάσματος που υπάρχει στην κατανόηση του οπτικού συστήματος. To NSS έχει ενσωματωθεί πλήρως σε μία σειρά απο αλγόριθμους: Συμπίεσης εικόνας Αποθορυβοποίησης εικόνας Μοντελοποίησης εικόνας Κατάτμησης εικόνας Ανάλυσης εκόνας, και Σύστασης εικόνας Ενώ τα χαρακτηριστικά των διεργασιών παραμόρφωσης έχουν ενσωματωθεί σε ορισμένους αλγόριθμους ανάλυσης ποιότητας, οι παραδοχές για τα στατιστικά στοιχεια των εικόνων που επηρεάζουν είναι αρκετά απλοική. Συγκεκριμένα, οι περισσότεροι αλγόριθμοι υποθέτουν ότι οι εικόνες εισόδου είναι ομαλές στην φύση Natural Video Statistics Framework (NVS) Αναφέρεται σε μη παραμορφωμένα βίντεο που δεν έχουν υποβληθεί σε στεβλώσεις όπως τα βίντεο φυσικής σκηνής και στατιστικά μοντέλα που έχουν φτιαχτεί Page 25

27 για βίντεο φυσικής σκηνής [12],[13] Αποκλίσεις απο τα NVS μοντέλα, που προκαλούνται απο τις στρεβλωσεις, μπορούν να χρησιμοποιηθούν για να προβλέψουν την αντιληπτή ποιότητα ενός βίντεο. Η μελέτη των στατιστικών των φυσικών οπτικών σκηνών, είναι μια αρχή στον τομέα της αντίληψης και έχει αποδειχθεί ότι οι στατικές φυσικές σκηνές παρουσιάζουν αξιόπιστες στατιστικές. Η γενική φιλοσοφία ακολουθεί την παραδοχή ότι το ανθρώπινο οπτικό σύστημα έχει εξελιχθεί σε συνάρτηση με τις ιδιότητες του φυσικού περιβάλλοντος και συνεπώς η μελέτη των στατιστικών φυσικής εικόνας είναι ιδιαίτερα χρήσιμη για την κατανόηση της οπτικής αντίληψης. Η προσέγγιση για τον σχεδιασμό ενος «τυφλού» αλγορίθμου αξιοποιεί το γεγονός ότι τα φυσικά, χωρίς παραμορφώσεις βίντεο παρουσιάζουν στατιστικές τιμές που τα διαχωρίζει από παραμορφωμένα βίντεο των οποίων οι τιμές αυτές είναι κατεστραμένες. Πρόκειται για ένα μοντέλο NVS με συντελεστές DCT για τον υπολογισμό των διαφορών μεταξύ των πλαισίων (frames). Σχήμα 2: Απεικόνιση λειτουργίας «Τυφλού Μοντέλου» αξιολόγησης βίντεο Η λειτουργία του «τυφλού» μοντέλου φαίνεται στο παραπάνω Σχήμα (2). Μια τοπική δυσδιάστατη DCT εφαρμόζεται στα κομμάτια διαφοράς πλαισίου, όπου ο όρος «κομμάτι» χρησιμοποειται για να αναφερθεί σε ένα n n μπλοκ των διαφορών πλαισίου, το οποίο συλαμβάνει χωρικά και χρονικά τις τοπικές συχνότητες. Οι συχνότητες είναι τοπικές δεδομένου ότι η DCT υπολογίζεται απο ενα n n μπλοκ και είναι χρονικά τοπικές δεδομένου ότι τα μπλοκς προέρχονται από τις διαδοχικές διαφορές πλαισίου. Στην συνέχεια, οι συχνότητες αυτές μοντελοποιούνται Page 26

28 όπως παράγονται από μια συγκεκριμένη ομάδα συναρτήσεων πυκνότητας και πιθανότητας. Η αλληλεπίδραση μεταξύ της κίνησης και των χωροχρονικών αλλαγών έχει ιδιαίτερο ενδιαφέρον, κυρίως όσον αφορά το εάν η κίνηση εμπλέκεται στην συγκάληψη των στρεβλώσεων. Το είδος της κίνησης που υπάρχει σε ένα βίντεο είναι το αποτέλεσμα της κίνησης της κάμερας και των αντικειμένων. Η κίνηση της εικόνας χαρακτηρίζεται από ένα μέτρο συνοχής που ορίζεται και χρησιμοποιείται για την στάθμιση των παραμέτρων που προέρχονται απο το χωροχρονικό μοντέλο NVS των DCT συντελεστών. Τα χαρακτηριστικά γνωρίσματα που εξάγονται στο μοντέλο NVS, στην συνέχεια χρησιμοποιούνται για να δημιουργηθεί ένα γραμμικό πυρήνα διανύσματος παλινδρόμησης(svr), το οποίο είναι εκπαιδευμένο να προβλέπει την οπτική ποιότητα των βίντεο. Σε αυτό το μοντέλο, οι χωρικές και χρονικές διαστάσεις των σημάτων αξιολογούνται και αναλύονται απο κοινού. Η συμπεριφορά ενός βίντεο αναλύεται κατά μήκος της χρονικής διάστασης με δύο διαφορετικούς τρόπους: 1) Με διαφοροποίηση πλαισίου: Οι στατιστικές διαφορετικού πλαισίου που αναλύθηκαν σύμφωνα με το μοντέλο NVS 2)Με την ανάλυση των τύπων κίνησης που εμφανίζονται στο βιντεο και με την στάθμιση χαρακτηριστικών που προκύπτουν απο το μοντέλο NVS όπως και στον προηγούμενο τρόπο. Page 27

29 ΚΕΦΑΛΑΙΟ 2 Τεχνητά νευρωνικά δίκτυα 2.1 Εισαγωγή στα τεχνητά νευρωνικά δίκτυα Η δημιουργία των νευρωνικών δικτύων προήλθε απο την εξέταση του ανθρώπινου κεντρικού νευρικού συστήματος. Σε ένα τεχνητό νευρωνικό δίκτυο, απλοί τεχνητοί κόμβοι, που ονομάζονται «νευρώνες», συνδέονται για τον σχηματισμό ενός δικτύου το οποίο μιμείται ένα βιολογικό νευρωνικό δίκτυο. Δεν υπάρχει ένας επισημός ορισμός για το τί ακριβώς είναι ένα τεχνητό νευρωνικό δίκτυο. Κοινώς όμως, μια κατηγορία στατιστικών μοντέλων ονομάζονται νευρωνικά εφόσον αποτελούνται από ένα σύνολο προσαρμοστικών τιμών, δηλαδή αριθμητικές παραμέτρους συντονισμένες απο έναν αλγόριθμο εκμάθησης και ικανών να προσεγγίζουν μη γραμμικές συναρτήσεις των εισόδων τους. Τα νευρωνικά δίκτυα είναι επίσης παρόμοια με τα βιολογικά νευρωνικά δίκτυα κατά την εκτέλεση εργασιών, συλλογικά και παράλληλα στις μονάδες, αντί να υπάρχει μια σαφής οριοθέτηση των δευτερεύουσων εργασιών στις διάφορες μονάδες. Ο όρος «νευρωνικό δίκτυο» αναφέρεται συνήθως σε μοντέλα που χρησιμοποιούνται στον τομέα της στατιστικής,της γνωστικής ψυχολογίας και της τεχνητής νοημοσύνης. Τα μοντέλα νευρωνικών δικτύων τα οποία μιμούνται το νευρικό σύστημα είναι μέρος της θεωρητικής και υπολογιστικής νευροεπιστήμης. Στις σύγχρονες εφαρμογές λογισμικού των τεχνητών νευρωνικών δικτύων, η προσέγγιση εμπνευσμένη απο την βιολόγια έχει, σε μεγάλο βαθμό, εγκαταλειφθεί για μια πιο πρακτική προσέγγιση που βασίζεται σε στατιστικές μεθόδους και επεξεργασία σημάτων. Σε μερικά από αυτά τα συστήματα, τα νευρωνικά δίκτυα ή τμήματα των νευρωνικών δικτύων, όπως οι νευρώνες,αποτελούν τα κομμάτια μεγαλυτέρων συστημάτων που συνδιάζουν τόσο προσαρμοστικά όσο και μη προσαρμοστικά στοιχεία. Ιστορικά η χρήση νευρωνικών δικτύων σηματοδότησε μια παραδειγματική στροφή, στα τέλη στης δεκατίας του 80, απο την υψηλού επιπέδου τεχνητή νοημοσύνη, που χαρακτηρίζεται απο έμπειρα συστήματα με γνώση που ενσωματώνονται σε κανόνες If και Then, σε χαμηλό επίπεδο, μηχανικής εκμάθησης που χαρακτηρίζεται απο την γνώση που ενσωματώνεται στις παραμέτρους ενός δυναμικού συστήματος. Τα μοντέλα νευρωνικών δικύων στον τομέα της τεχνητής νοημοσύνης, που συνήθως αναφέρονται ως τεχνητά νευρωνικά δίκτυα, είναι ουσιαστικά απλά Page 28

30 μαθηματικά μοντέλα που ορίζουν μία συνάρτηση και μερικές φορές είναι άμεσα συνδεδεμένα με έναν αλγόριθμο εκμάθησης ή έναν κανόνα εκμάθησης. Το τεχνητό νευρωνικό δίκτυο έίναι ουσιαστικά ο ορισμός μιάς κατηγορίας των εν λόγω λειτουργιών όπου τα μέλη της κατηγορίας λαμβάνονται απο ποικίλες παραμέτρους και ιδιαιτερότητες της αρχιτεκτονικής τους, όπως ο αριθμός των νευρώνων τους και η συνδεσιμότητα τους. Αν και η πιο γενική προσέγγιση αυτών των συστημάτων είναι πιο κατάλληλη για την επίλυση πραγματικών προβλημάτων, δεν έχουν να κάνουν με τα παραδοσιακά μοντέλα τεχνητής νοημοσύνης. Αυτό που έχουν απο κοινού ωστόσο, είναι η αρχή της μη-γραμμικής, κατανεμημένης, παράλληλης και τοπικής επεξεργασίας και προσαρμογής. Ένα σύστημα νευρωνικού δικτύου αποτελείται απο τρία στρώματα. Το πρώτο στρώμα έχει νευρώνες εισόδου οι οποίοι στένουν τα δεδομένα μέσω συνάψεων με το δεύτερο στρώμα (κρυφό στρώμα) νευρώνων και στην συνέχεια μέσω περισσότερων συνάψεων στο τρίτο στρώμα των νευρώνων εξόδου. Τα πιο πολύπλοκα συστήματα έχουν περισσότερα στρώματα νευρώνων με κάποια απο αυτά να έχουν αυξημένα στρώματα νευρώνων τόσο στην είσοδο όσο και στην έξοδο. Ενα τεχνητό νευρωνικό δίκτυο ορίζεται απο τρεις τύπους παραμέτρων: Το μοτίβο διασύνδεσης μεταξύ των στρωμάτων των νευρώνων Την μαθησιακή διαδικασία για την ενημέρωση των διασυνδέσεων Την συνάρτηση ενεργοποίησης που μετατρέπει την σταθμισμένη είσοδο ενός νευρώνα στην ενεργοποίηση της εξόδου του Το μεγαλύτερο πλεονέκτημα των τεχνητών νευρωνικών δικτύων είναι η ικανότητα τους να χρησιμοποιούνται ως ένας αυθαίρετος μηχανισμός προσέγγισης που «μαθαίνει» μέσω την παρατήρησης των δεδομένων. Ωστόσο, η χρήση τους δεν είναι τόσο απλή και μια σχετικά καλή κατανόηση της θεωρίας τους είναι απαραίτητη. Η επιλογή του μοντέλου νευρωνκού δικτύου εξαρτάται απο την αναπαράσταση των δεδομένων και την αναπαραγωγή. Τα πολύ περίπλοκα μοντέλα έχουν οδηγήσει σε προβλήματα με την «μάθηση». Αλγόριθμος εκμάθησης: Υπάρχουν πολλοί συμβιβασμοί μεταξύ των αλγορίθμων εκμάθησης. Σχεδόν οποιοσδήποτε αλγόριθμος θα μπορέσει να λειτουργήσει ορθά με τις σωστές παραμέτρους για την εκπαίδευση σε ένα σταθερό σύνολο δεδομένων, αλλά η επιλογή και η προσαρμογή ενός αλγόριθμου για την εκπαίδευση σε μη γνωστά δεδομένα απαιτεί ένα σημαντικό χρόνο πειραματισμού.με την σωστή εφαρμογή, τα τεχνητά νευρωνικά δίκτυα μπορούν να χρησιμοποιηθούν σε Online μάθηση και σε εφαρμογές μεγάλου όγκου δεδομένων. Η απλή τους εφαρμογή Page 29

31 και η ύπαρξη, τοπικών κυρίως, εξαρτήσεων που υπάρχουν στην δομή τους, επιτρέπουν την γρήγορη και παράλληλη εφαρμογή τους. Οι τύποι των τεχνητών νευρωνικών δικτύων διαφέρουν απο εκείνα με μόνο ένα ή δύο στρώματα ενιαίας λογικής κατεύθυνσης και εκείνα με πολύπλοκα, πολλών εισόδων και κατευθύνσεων βρόγχους ανάδρασης και στρώματα. Στο σύνολο τους, αυτά τα συστήματα χρησιμοποιούν αλγόριθμους στον προγραμματισμό τους, για να καθορίσουν τον έλεγχο και την οργάνωση των λειτουργιών τους. Κάποια μπορεί να είναι πολύ απλά, με μόνο ένα στρώμα νευρώνων και μια είσοδο-εξοδο και άλλα μπορούν και μιμούνται πολύπλοκα συστήματα, όπως το DANN, που μπορεί και μιμείται το χρωμοσωμικό DNA μέσω των μεγεθών των κυττάρων στο κυτταρικό επίπεδο, σε τεχνητούς οργανισμούς και να προσομειώνει την αναπαραγωγή, την μετάλλαξη και το μέγεθος του πληθυσμού. Τα περισσότερα από αυτά τα συστήματα χρησιμοποιούν «βάρη» για να αλλάζουν τις παραμέτρους της απόδοσης και τις διαφορετικές συνδέσεις των νευρώνων. Τα τεχνητά νευρωνικά δίκτυα μπορούν επίσης να είναι αυτόνομα και να «μαθαίνουν» με εισόδους απο εξωτερικούς «δασκάλους» ή ακόμη να ειναι αυτοδίδακτα μέσω γραπτών κανόνων. 2.2 Μοντέλα τεχνητών νευρωνικών δικτύων General Regression Neural Network (GRNN) Τα νευρωνικά δίκτυα πιθανοτήτων(pnn) και γενικής παλινδρόμησης(grnn) (Σχήμα 1) έχουν παρόμοιες αρχιτεκτονικές, αλλά υπάρχει μια θεμελιώδης διαφορά: Τα νευρωνικά δίκτυα πιθανοτήτων εκτελούν ταξινόμηση όταν η τιμή-στόχος είναι κατηγορηματική, ενώ τα νευρωνικά δίκτυα γενικής παλινδρόμησης εκτελούν ταξινόμηση όπου η τιμή-στόχος είναι συνεχής. Page 30

32 Ολα τα δίκτυα GRNN έχουν τέσσερα στρώματα: Στρώμα εισόδου: Για κάθε μεταβλητή πρόβλεψης, υπάρχει και ένας αντίστοιχος νευρώνας στο στρώμα εισόδου. Στην περίπτωση των κατηγοριοποιημένων μεταβλητών, N-1 νευρώνες χρησιμοποιούνται, όπου Ν είναι ο αριθμός των κατηγοριών. Οι νευρώνες εισόδου ή η επεξεργασία πριν απο το στρώμα εισόδου, τυποποεί το εύρος των τιμών αφαιρώντας την μέση τιμή και διαιρώντας με το διατεταρτημοριακό εύρος. Οι νευρώνες εισόδου στην συνέχεια, τροφοδοτύν τις τιμές αυτές σε κάθε ένα απ τους νευρώνες που υπάρχουν στο κρυφό στρώμα. Κρυφό στρώμα: Αυτό το στρώμα έχει ένα νευρώνα για κάθε περίπτωση στο σύνολο των δεδομένων εκπαιδευσης. Ο νευρώνας αποθηκεύει τις τιμές των μεταβλητών πρόβλεψης για την κάθε περίπτωση, μαζί με την τιμή στόχο. Όταν παρουσιάζονται με την τιμή x ως είσοδο, ένας κρυμμένος νευρώνας υπολογίζει την Ευκλείδια απόσταση της δοκιμαστικής τιμής από το κεντρικό σημείο του νευρώνα και στην συνέχεια εφαρμόζει την συνάρτηση RGB χρησιμοποιώντας την τιμή σίγμα. Η τιμή που προκύπτει διέρχεται στους νευρώνες στο στρώμα σχεδίου. Πρότυπο στρώμα/στρώμα Άθροισης: Στο στρώμα σχεδίου υπάρχουν δύο μόνο νευρώνες. Ο ένας απο αυτούς είναι η μονάδα άθροισης παρονομαστή και ο άλλος είναι η μονάδα άθροισης αριθμητή. Η μονάδα άθροισης παρονομαστή προσθέτει τις τιμές βάρους που προέρχονται από κάθε ένα κρυφό νευρώνα και η μονάδα άθροισης αριθμητή προσθέτει τιμές βάρους και πολλαπλασιάζει με την πραγματική τιμή-στόχο για κάθε κρυφό νευρώνα. Στρώμα Απόφασης: Το στρώμα απόφασης διαιρεί την συσωρευμένη τιμή στην μονάδα άθροισης αριθμητή με την τιμή στην μονάδα άθροισης παρονομαστή και χρησιμοποιεί το αποτέλεσμα ως την προβλεπόμενη τιμή-στόχο. Tα συγκεκριμένα νευρωνικά δίκτυα έχουν διάφορα πλεονεκτήματα και μειονεκτήματα συγκρινόμενα με τα νευρωνικά δίκτυα πολλαπλών στρωμάτων: Είναι πολύ πιο γρήγορα στην εκπαίδευση Είναι πολυ πιο ακριβή Είναι σχετικά ανεπηρέαστα απο ακραίες τιμές Παράγουν ακριβή αποτελέσματα για την προβλεπόμενη τιμή στόχου Είναι πιο αργά στην κατάταξη νέων δεδομένων-υποθέσεων Απαιτούν περισσότερο χώρο στην μνήμη για να αποθηκευθούν Page 31

33 Σχήμα 1: Αρχιτεκτονική τεχνητού νευρωνικού δικτύου γενικής παλινδρόμησης GRNN Support Vector Machines (SVM) Οι διανυσματικές μηχανές υποστήριξης (SVM) είναι εποπτευόμενα μοντέλα μάθησης με συναφείς αλγόριθμους μάθησης που αναλύουν τα δεδομένα και αναγνωρίζουν πρότυπα, τα οποία χρησιμοποιούνται για την ταξινόμηση και την ανάλυση της παλινδρόμησης. Το SVM παίρνει ένα σύνολο δεδομένων εισόδου και προβλέπει, για κάθε δεδομένη είσοδο, ποιά από τις δύο πιθανές κατηγορίες θα είναι η έξοδος, καθιστώντας το έναν μη πιθανολογικό δυαδικό γραμμικό ταξινομητή. Λαμβάνοντας υπόψη ένα σύνολο παραδειγμάτων εκπαίδευσης, που το κάθε ένα χαρακτηρίζεται οτί ανήκει σε μία από τις δύο κατηγορίες, ο αλγόριθμος εκπαίδευσης SVM χτίζει ένα μοντέλο που εκχωρεί νέα παραδειγμάτα στην μία ή στην άλλη κατηγορία. To συγκεκριμένο μοντέλο είναι μια αναπαράσταση παραδειγμάτων ως σημεία στον χώρο, έτσι ώστε να αντιστοιχίζονται τα παραδείγματα των επιμέρους κατηγοριών διαχωρισμένα απο ένα κενό όσον δυνατό πιο ευρύ. Στην συνέχεια, τα νέα παραδείγματα αντιστοιχίζονται στο ίδιο διάστημα και προβλέπεται σε ποια κατηγορία ανήκουν με βάση σε ποια πλευρά του χάσματος θα βρεθούν. Page 32

34 Εκτός από την εκτέλεση της γραμμικής ταξινόμησης, τα SVM μπορούν να εκτελέσουν αποτελεσματικά μη-γραμμικές ταξινομήσεις χρησιμοποιώντας την μέθοδο Kernel, δηλαδή την έμμεση χαρτογράφηση των εισόδων τους σε μεγάλων διαστάσεων κενά χαρακτηριστικών. Πρακτικά, μια διανυσμάτικη μηχανή υποστήριξης κατασκευάζει ένα υπερεπίπεδο ή ένα σύνολο υπερεπιπέδων σε ένα υψηλης ή απειρης διάστασης χώρο, τα οποία μπορούν να χρησιμοποιηθούν για ταξινόμηση, παλινδρόμηση και άλλες εργασίες. Ένας σωστός διαχωρισμός επιτυγχάνεται από το υπερεπίπεδο που έχει την μεγαλύτερη απόσταση από το πλησιέστερο σημείο των δεδομένων της κάθε κατηγορίας/κλάσης, δεδομένου ότι σε γενικές γραμμές, όσο μεγαλύτερο είναι το κενό τόσο χαμηλότερο είναι το σφάλμα γενίκευσης του ταξινομητή. Οι διανυσματικές μηχανές υποστήριξης (SVM) μπορούν να χρησιμοποιηθούν για την επίλυση πολλών προβλημάτων της πραγματικής ζωής. Είναι χρήσιμα για την κατηγοριοποίηση κειμένου ή υπερκειμένου αφού η εφαρμογή τους μπορεί να μειώσει σημαντικά την ανάγκη για εκπαίδευση τόσο των τυπικών επαγωγικών και μεταβιβαστικών ρυθμίσεων. Είναι πολύ αποτελεσματικά στην ταξινόμηση των εικόνων. Πειραματικά αποτελέσματα δείχνουν ότι τα SVM επιτυγχάνουν πολύ υψηλότερη ακρίβεια αναζήτησης σε σχέση με τα παραδοσιακά συστήματα βέλτιστων ερωτημάτων. Ειναι χρήσιμα στην ιατρική επιστήμη για την ταξινόμηση των πρωτεϊνών με εώς και 90% επιτυχία. Είναι πολύ αποτελεσματικά στην αναγνώριση χειρόγραφων χαρακτήρων Οι διανυσματικές μηχανές υποστήριξης είναι σχεδιασμένες για δυαδική ταξινόμιση. Όταν όμως έχουμε να κάνουμε με πολλές διαφορετικές κατηγορίες, όπως στην αναγνώριση αντικειμένων ή στην ταξινόμηση εικόνων, πρέπει να επιλεγεί η κατάλληλη μέθοδος. Η σχεδίαση του SVM πρέπει να τροποποιηθεί, προκειμένου να ενσωματωθεί η εκμάθηση πολλών κλάσεων στην τετραγωνική επίλυση. Επιλέγουμε τον συνδυασμό πολλών δυαδικών ταξινομητών : Ένας εναντίον ενός, ή Ένας εναντίον πολλών Το Kernel είναι μια απο τις ρυθμιζόμενες παραμέτρους μιας διανυσματικής μηχανής υποστήριξης, ωστόσο πρέπει να επιλεγεί προσεκτικά δεδομένου οτι μπορεί να Page 33

35 οδηγήσει σε πολύ υψηλή απόδοση αλλά και σε πολύ κακή. Κάποιες από τις παραμέτρους που μπορούμε να επιλέξουμε είναι οι παρακάτω: Γραμμική (Linear) Τετραγωνική (Quadratic) Πολυωνυμική (Polynomial) RBF Πολλαπλών πυρήνων (MLP) Τα SVM μπορούν να θεωρηθούν ως ένας τρόπος εκπαίδευσης πολυωνιμικών, νευρωνικών δικτύων, βασισμένα κυρίως στην ιδέα της διαθρωτικής ελαχιστοποίησης κινδύνου παρά στην εμπειρική ελαχιστοποίηση κινδύνου. Πρακτικά, η εκπαίδευση ενός SVM είναι ισοδύναμη με την επίλυση ενός γραμμικά περιορισμένου τετραγωνικού προγραμματισμού προβλήματος (Linear Constraint Quadratic Programming) σε έναν αριθμό μεταβλητών, ίσο με τον αριθμό των δεδομένων. Αυτό ειναι δύσκολο, όταν το μέγεθος των συνολικών στοιχείων γίνεται μεγαλύτερο από μερικές χιλιάδες, το οποίο ειναι πολύ συχνό σε πρακτικές εφαρμογές. Εχει προταθεί ένας αριθμός απο τεχνικές εκπαίδευσης, ωστόσο πολλές από αυτές επωφελούνται από τις ακόλουθες υποθέσεις/προσδοκίες: Ο αριθμός των διανυσμάτων στήριξης είναι μικρός, σε σχέση με τον αριθμό των δεδομένων Ο συνολικός αριθμός των διανυσμάτων στήριξης δεν ξεπερνάει τις μερικές χιλιάδες Multilayer Perceptron/Feed-Forward Network (MLP) Ένα MLP (Σχήμα 2) είναι ένα προωθητικό τεχνητό νευρωνικό δίκτυο που χαρτογραφεί σύνολα δεδομένων εισόδου σε μια σειρά απο κατάλληλες εξόδους [7]. Αποτελείται από πολλαπλές στρώσεις κόμβων σε ένα κατευθυνόμενο γράφημα, με κάθε στρώση να είναι πλήρως συνδεδεμένη με την επόμενη. Τα MLP αντιπροσωπεύουν την πλέον υποσχόμενη μέθοδο τεχνητών νευρωνικών δικτύων, όσον αφορά την ταξινόμηση. Αποτελούνται από διάφορα στρώματα κόμβων, τα οποία διασυνδέονται μέσω σταθμισμένων άκυκλων τόξων, από το ένα στρώμα στο επόμενο, χωρίς πλευρικές συνδέσεις ή συνδέσεις ανάδρασης. Εκτός από τους κόμβους εισόδου, κάθε κόμβος είναι ένας νευρώνας με μία γραμμική συνάρτηση ενεργοποίησης. Το MLP χρησιμοποιεί για την εκπαίδευση του δικτύου, μια τεχνική επιβλεπόμενης μάθησης που ονομάζεται «ανάστροφης διάδοσης» Page 34

36 και είναι μία τροποποίηση του πρότυπου γραμμικού perceptron και μπορεί να διακρίνει τα δεδομένα που δεν είναι γραμμικά διαχωρίσιμα. Η εκπαίδευση γίνεται αλλάζοντας βάρη σύνδεσης μετά από την επεξεργασία κάθε κομματιού δεδομένων, με βάση το ποσοστό σφάλματος στην έξοδο, σε σύγκριση με το αναμενόμενο αποτέλεσμα. Αυτό είναι ένα παράδειγμα της εποπτευόμενης μάθησης και πραγματοποιείται μέσω της ανάστροφης διάδοσης, η οποία είναι μια γενίκευση των ελαχίστων μέσων τεγραγωνικών αλγορίθμων στην γραμμική Perceptron. Ο όρος «πολυστρωματικό perceptron» συχνά προκαλεί σύγχυση. Το συγκεκριμένο μοντέλο δεν είναι ένα μονό percepton που έχει πολλά στρώματα, αλλά αντίθετα περιέχει πολλά percepton που οργανώνονται σε στρώματα. Επιπλέον, τα perceptons δεν είναι στην πραγματικότητα perceptons με την αυστηρή έννοια, εφόσον τα κανονικά perceptrons είναι μια ειδική περίπτωση τεχνητών νευρώνων που χρησιμοποιούν μια οριακή συνάρτηση ενεργοποίησης, ενώ οι τεχνητοί νευρώνες σε ενα πολυστρωματικό perceptron είναι ελεύθεροι να αναλάβουν οποιαδήποτε αυθαίρετη λειτουργία ενεργοποίησης. Κατά συνέπεια, ενώ ένα πραγματικό perceptron εκτελεί δυαδική ταξινόμηση, ένας νευρώνας σε ένα πολυστρωματικό perceptron είναι ελεύθερος να εκτελεί ταξινόμηση ή παλινδρόμηση, ανάλογα με την λειτουργία ενεργοποίησης. Τα δύο παραπάνω επιχειρήματα μπορούν να συμβιβαστούν με την ονομασία «πολυστρωματικό νευρωνικό δίκτυο», εάν θεωρήσουμε ότι με τον όρο νευρωνικό δίκτυο εννοούμε έναν δυαδικό ταξινομητή, ανεξάρτητο από την συγκεκριμένη μηχανική εφαρμογή της κλασσικής perceptron. Στην περίπτωση αυτή, όλο το δίκτυο μπορεί πράγματι να θεωρηθεί ένας δυαδικός ταξινομητής με πολλά στρώματα. Τα στρώματα είναι ελεύθερα να αποτελούνται από τεχνητούς νευρώνες και όχι μόνο perceptrons. Για την ταξινόμηση προτύπων, το MLP προσαρμόζει την ελεύθερη παράμετρο μέσω της επιβλεπόμενης εκπαίδευσης για να κατατμήσει τον χώρο εισόδου με γραμμικά υπερεπίπεδα. Για να διαχωρίσει διαφορετικές κατηγορίες, προσεγγίζει μια συνάρτηση η οποία διαχωρίζει τον χώρο Χ σε πολυεδρικά σύνολα ή περιοχές και σε καθεμία απο αυτές ανατίθεται μια έξοδος της κατηγορίας Υ. Κάθε κόμβος διαχωρίζει τον χώρο εισόδου σε δύο μέρη. Ο συνδυασμός των επιμέρους, γραμμικών υπερεπιπέδων στις πρόσθετες στρώσεις επιτρέπει τον σταδιακό διαχωρισμό πολύπλοκων περιοχών στον χώρο εισόδου, δημιουργώντας μια οριακή απόφαση για να διαχωριστούν οι κλάσεις σε διαφορετικές κατηγορίες. Ο προσανατολισμός των υπερεπίπεδων κόμβων προσδιορίζεται από τα σχετικά μεγέθη των συμπεριλαμβανομένων ορίων του κόμβου και μοντελοποιείται ώς ένας ρυθμιστής «βάρους» όλων των κόμβων για να αντισταθμίσει τον κάθε υπερεπίπεδο κόμβο με μία απόσταση από την προέλευση του, ώστε να επιτρέπει έναν ευέλικτο διαχωρισμό. Σε σύγκριση με τις λειτουργίες ενεργοποίησης κατωφλίου, με ένα σκληρά περιοριστικό, όριο δυαδικής κλάσης, τα υπερεπίπεδα συνδέονται με σιγμοειδές Page 35

37 κόμβους εφαρμόζοντας μια ομαλή μετάβαση απο το 0 στο 1 για τον διαχωρισμό, επιτρέποντας μια διαβαθμισμένη απόκριση ανάλογα με την κλίση της σιγμοειδούς λειτουργίας και του μεγέθους των βαρών.το επιθυμητό αποτέλεσμα, ως μέλος μίας δυαδικής κλάσης, συχνά κωδικοποιείται με ένα κόμβο εξόδου ή για πολλαπλές κατατάξεις με n κόμβους αντίστοιχα. Σχήμα 2: Γραφική παράσταση ενός MLP τεχνητού νευρωνικού δικτύου με ένα μόνο «κρυφο» στρώμα. Page 36

38 ΚΕΦΑΛΑΙΟ 3 Εκτίμηση ποιότητας με την χρήση τεχνητών νευρωνικών δικτύων 3.1 Μεθοδολογία υλοποίησης πειραμάτων Για την υλοποίηση των πειραμάτων, χρησιμοποιούμε μια σείρα από χαρακτηριστικά εικόνας που διαθέτουν τις κατάλληλες αντιληπτικές πληροφορίες [7]. Τα συγκεκριμένα χαρακτηριστικά είναι μετρικές συμπληρωματικών πτυχών μιας εικόνας όπως συνάφεια φάσης, τοπικές πληροφορίες και κλίση. Το πρώτο από αυτά τα χαρακτηριστικά μετρά τον βαθμό συνοχής των τοπικών συχνοτήτων που περιλαμβάνει μια εικόνα, το δεύτερο μετράει τις διαθέσιμες τοπικές πληροφορίες της εικόνας και τέλος, το τρίτο εξ αυτών μετράει τον αντιληπτικό σχετικό ρυθμό μεταβολής της φωτεινότητας της εικόνας. Κάθε μία από αυτές τις μετρικές χάνει την αξία της χωρίς την χρήση των άλλων δύο. Η ταύτιση φάσης (phase congruence) είναι λιγότερη σχετική όπου υπάρχουν μειωμένες πληροφορίες για την εικόνα και την δραστηριότητα, δηλαδή όταν υπάρχει μικρότερη δομή. Οι πληροφορίες της εικόνας χάνουν την αντιληπτική σημασία τους όταν η τοπική φάση είναι ακανόνιστη(τυχαία) και όταν η δραστηριότητα είναι χαμηλή. Η κλίση(gradient) είναι λιγότερο σημαντική όταν οι τοπικές πληροφορίες είναι λίγες και υπάρχει μικρή δομή. Αρχικά χρησιμοποιήθηκε το νευρωνικό δίκτυο GRNN για την αξιολόγηση της ποιότητας των εικόνων λόγω της εξαιρετικής του δύναμης στην πρόβλεψη. Χρησιμοποιήθηκαν 4 αντιληπτικά χαρακτηριστικά ως εισόδοι: Η μέση τιμή της ταύτισης φάσης της παραμορφωμένης εικόνας (MPC) Η εντροπία της ταύτισης φάσης της παραμορφωμένης εικόνας (EPC) Η εντροπία της παραμορφωμένης εικόνας (EDIS), και Η μέση τιμή του μεγέθους κλίσης της παραμορφωμένης εικόνας (MGDIS) Τρεις μετρικές αποδοτικότητας χρησιμοποιήθηκαν για την αξιολόγηση των αλγορίθμων.το πρώτο είναι το SROCC(Spearman rank order correlation coefficient),το οποίο μετράει την μονοτονία πρόβλεψης του δείκτη ποιότητας και οι άλλες δύο είναι το LCC(Linear Correlation Coefficient) και το RMSE( Root mean square error). Page 37

39 3.2 Χαρακτηριστικά Εικόνων Phase Congruence (Ταύτιση Φάσης) Η ταύτιση φάσης είναι μια σχετικά νέα έννοια σαν χαρακτηριστικό μιας εικόνας. Η φάση μια εικόνας είναι μια ελκυστική ποσότητα στα πλαίσια της ποιότητας μιας εικόνας ή στα πλάισια της πιστής αναπαράστασης της, δεδομένου ότι έχει αποδειχθεί ότι ένα μεγάλο μέρος των αντιληπτικών πληροφοριών του σήματος μιας εικόνας αποθηκεύεται στην φάση Fourier και όχι στο πλάτος Fourier. Η βασική αρχή της ταύτισης φάσης είναι ότι τα σημαντικά αντιληπτικά χαρακτηριστικά μιας εικόνας υπάρχουν σε χωρικές θέσεις όπου τα σημαντικά χαρακτηριστικά Fourier είναι σε μέγιστη φάση το ένα με το άλλο. Ο Morrone και ο Owens [15] ορίζουν την λειτουργία ταύτισης φάσης κατά Fourier, όπου το σήμα l σε μία θέση x να είναι : PC I(x) = n A n cos[ φn (x) φ(x)] max φ (x) 0,2π n A n Όπου A n είναι το πλάτος του νιοστού συστατικού Fourier της εικόνας l, φ n (x) είναι η τοπική φάση του συστατικού Fourier στο x και φ(x) είναι η μέση φάση στο x. Η αξία των φ(x) που μεγιστοποιεί είναι το πλάτος των σταθμισμένων μέσων όρων των τοπικών γωνιών φάσης όλων των όρων Fourier στην συντεταγμένη x. Όπως έχουν τα πράγματα, η ταύτιση φάσης είναι μια δύσκολη μετρική στον υπολογισμό της. Ως εναλλακτική λύση, τα σημεία μέγιστης ταύτισης φάσης μπορούν να υπολογιστούν με την αναζήτηση κορυφών στην λειτουργία τοπικής ενέργειας και ορίζεται ως: E(x) = F 2 (x) + H 2 (x) Όπου F(x) είναι το σήμα l(x) με την συνιστώσα DC να μην υπάρχει και η H(x) είναι ο μετασχηματισμός Hilbert του F(x). Προσεγγίσεις στο F(x) και H(x) μπορούν να βρεθούν μέσω της συνέλιξης του σήματος με ένα τετραγωνικό ζεύγος φίλτρων.τότε μπορεί να αποδειχθεί ότι η ταύτιση φάσης είναι ίση με τον λόγο μεταξύ της ενέργειας και το άθροισμα των πλατών Fourier Page 38

40 PC I(x) = E(x) n A n Στον πρώτο τύπο, η ενέργεια είναι ανάλογη με το συνημίτονο της σταθμισμένης απόκλισης της γωνίας φάσης φ n (x) από την μέση φάση.αν και η συνάρτηση συνημίτονου μεγιστοποιείται όταν το φ n (x) γίνεται ίσο με την μέση φάση, μια σημαντική διαφορά μεταξύ φ n (x) και μέσης φάσης πρέπει να υπάρξει πριν η τιμή της πέσει αισθητά. Το συνημίτονο της απόκλισης φάσης είναι ένα ευαίσθητο μέτρο ταύτισης φάσης. Η ταύτιση φάσης φαίνεται να είναι αντιληπτικά σχετική. Για παράδειγμα, το σχήμα (1) δείχνει ζεύγη εικόνων με την αρχική εικόνα και την εικόνα σε αντιστοιχία φάσης, η οποία αναδεικνύει πολλές περιοχές της εικόνας που έχουν δομική σημασία. Η ταύτιση φάσης έχει εφαρμοστεί σε μια ποικιλία από προβλήματα επεξεργασίας εικόνας,συμπίεσης και ανακατασκευής [17], ανίχνευση συμμετρίας, αναγνώριση κειμένου και προσώπου,[18],[19],[20],[21] κ.τ.λ. Πιστεύεται ότι η ταύτιση φάσης είναι ενα σχετικό χαρακτηριστικό για τυφλούς αλγόριθμους αξιολόγησης ποιότητας εικόνας όπου δεν απαιτείται η εικόνα αναφοράς. Οι στρεβλώσεις φάσης οδηγούν σε μια σημαντική αντίληψη της υποβάθμισης της εικόνας και μπορεί να προκύψουν από πολλές διαφορετικές διαδικασίες παραμόρφωσης. Page 39

41 Σχήμα 1 : Ζεύγη εικόνων και ο χάρτης συνάφειας φάσης : (α)αρχική εικόνα, (β)εικόνα με θόρυβο,(γ)θολή εικόνα Image Entropy (Εντροπία εικόνας) Η εντροπία μιας εικόνας l ορίζεται ως: E I = p(n) log 2 p(n) n Όπου p(n) συμβολίζει την εμπειρική πιθανότητα τιμής φωτεινότητας n. Στα πλαίσια της πτυχιακής, θα χρησιμοποιηθεί η συνάρτηση εντροπίας του Matlab για να υπολογιστεί η εντροπία των εικόνων. Η εντροπία έχει χρησιμοποιηθεί με διάφορους τρόπους, αλλά πολύ λίγες φορές σε μεθόδους που έχουν να κάνουν με την αξιόλογηση της ποιότητας μιας εικόνας. Page 40

42 Η εντροπία χρησιμοποιείται για να προσδιορίσει την ανισοτροπία των εικόνων, όπου στην συνέχεια οι συγγραφείς ανέπτυξαν την εντροπία ως μετρική της ανισοτροπίας των εικόνων και το χρησιμοποιήσαν σαν στατιστικό στοιχείο στους τυφλούς αλγόριθμους αξιολόγησης ποιότητας Image Gradient (Κλίση εικόνας) H κλίση της εικόνας είναι μεγάλη όταν υπάρχουν σημαντικές διακυμάνσεις φωτεινότητας, είτε αυτές προκύπτουν απο ασυνεχείς δομές, είτε απο τυχαίες επιδράσεις.μια απλή και ισχυρή μέτρηση των κατακόρυφων και κάθετων συνιστωσών της κλίσης παράγεται με την συνέλιξη της εικόνας l με την 3x3 μάσκα Sobel [7]. Ως συνήθως το εύρος κλίσης ορίζεται ως η τετραγωνική ρίζα του αθροίσματος των κατευθυντικών παραγώγων εκτίμησης. 3.4 Μετρικές Ποιότητας Οπτικών Μέσων Linear Correlation Coeffient (Γραμική Συσχέτιση) Το LCC ποσοτικοποιεί την δύναμη μιας γραμμικής σχέσης μεταξύ δύο μεταβλητών. Όταν δεν υπάρχει συσχέτιση μεταξύ δύο μεταβλητών, τότε δεν υπάρχει τάση για τις τιμές των μεταβλητών να αυξηθούν ή να μειωθούν σε συνδυασμό. Δύο μεταβλητές που είνα ασυσχέτιστες δεν είναι απαραίτητα ανεξάρτητες επειδή θα μπορούν να έχουν μια γραμμική σχέση. Η γραμμική συσχέτιση μπορεί να χρησιμοποιηθεί για να εξετάσει κατά πόσον υπάρχει μία γραμμική σχέση μεταξύ των μεταβλητών, χωρίς να χρειάζεται να αναλάβει ή να προσαρμοστεί σε ένα συγκεκριμένο μοντέλο για τα δεδομένα. Δύο μεταβλητές που έχουν μικρή ή καμία γραμμική συσχέτιση θα μπορούσαν να έχουν μια ισχυρή μη γραμμική σχέση. Ωστόσο, ο υπολογισμός της γραμμικής συσχέτισης πριν από την τοποθέτηση ενός μοντέλου είναι ένας χρήσιμος τρόπος για τον εντοπισμό των μεταβλητών που έχουν μια απλή σχέση. Τέλος, ένας ακόμη τρόπος να διερευνήσει κανείς πώς σχετίζονται μεταξύ τους οι μεταβλητές είναι το στικτόγραμμα των δεδομένων. Page 41

43 H συγκεκριμένη λειτουργία του Matlab παράγει ένα σύνολο δειγμάτων συντελεστών συσχέτισης για ένα σύνολο δεδομένων, όπου οι συντελεστές συσχέτισης κυμαίνονται από -1 εώς 1. Τιμές κοντά στο «1» δείχνουν ότι υπάρχει μία θετική γραμμική σχέση μεταξύ των δεδομένων Τιμές κοντά στο «-1» υποδεικνύουν ότι τα δεδομένα έχουν μία αρνητική γραμμική σχέση μεταξύ τους, και Τιμές κοντά ή ίσες με το «0» υποδηλώνουν ότι δεν υπάρχει γραμμική σχέση μεταξύ των δεδομένων SROCC (Spearman s Rank Order Correlation Coefficient) Στον τομέα της στατιστικής, ο συντελεστής του SROCC που έχει ονομαστεί από τον Charles Spearman,είναι ένα μη παραμετρικό μέτρο της στατιστικής εξάρτησης μεταξύ δύο μεταβλητών. Αξιολογεί το πόσο καλά μπορεί να περιγραφεί η σχέση μεταξύ των μεταβλητών μέσω μίας μονότονης συνάρτησης. Αν δεν υπάρχουν επαναλαμβανόμενες τιμές δεδομένων, ένας τέλειος συσχετισμός Spearman της τάξης του «1» ή «-1» συμβαίνει όταν κάθε μία από τις μεταβλητές είναι μία τέλεια και μονότονη συνάρτηση της άλλης. Ο συντελεστής Spearman, όπως και κάθε υπολογισμός συσχέτισης,είναι κατάλληλος τόσο για συνεχείς αλλά και για διακριτές μεταβλητές Root Mean Square Error (Σφάλμα μέσης τετραγωνικής ρίζας) Το RMSE, το οποίο ονομάζεται επίσης και απόκλιση μέσης τετραγωνικής ρίζας (RMSD) είναι ένα συχνά χρησιμοποιούμενο μέτρο της διαφοράς μεταξύ της υποδειγματικής τιμής που έχει προβλεφθεί από κάποιο μοντέλο και της πραγματικής τιμής όπως παρατηρείται από το ίδιο μοντέλο. Αυτές οι ατομικές διαφορές ονομάζονται και υπολείμματα και το σφάλμα μέσης τετραγωνικής ρίζας χρησιμεύει για να συσσωματώνονται σε ένα μέτρο πρόβλεψης δύναμης. Το RMSE είναι ένας τετραγωνικός κανόνας βαθμολόγησης που μετρά το μέσο μέγεθος σφάλματος. Δεδομένου ότι τα σφάλματα τετραγωνίζονται πριν βγει ο μέσος όρος, το RMSE δίνει ένα σχετικά υψηλό βάρος σε μεγάλα σφάλματα. Αυτό σημαίνει ότι είναι και πιο χρήσιμο όταν τα μεγάλα λάθη είναι ανεπιθύμητα. Το RMSE ενός μοντέλου πρόβλεψης σε σχέση με την εκτιμώμενη μεταβλητή Xmodel ορίζεται ως η τετραγωνική ρίζα του μέσου τετραγωνικού σφάλματος: Page 42

44 RMSE = n i=1 (X obs,i X model,i ) 2 n Το RMSE μπορεί να κυμαίνεται από «0» εώς το άπειρο και είναι αρνητικά προσανατολισμένο, άρα όσο χαμηλότερη είναι η τιμή του αποτελέσματος τόσο καλύτερη. Page 43

45 ΚΕΦΑΛΑΙΟ 4 Αποτελέσματα πειραμάτων Το νευρωνικό δίκτυο υλοποιήθηκε στο Matlab χρησιμοποιώντας την λειτουργία newgrnn(). Η μόνη παράμετρος που καθορίστηκε είναι η παράμετρος σ (spread) όπου δοκιμάστηκε μια ποικιλία τιμών απο 0.01 εως 0.1. Στην συνέχεια υλοποιηθήκαν άλλα δυο νευρωνικά δίκτυα ώστε να είναι δυνατή η σύγκριση της αποτελεσματικότητας του κάθε νευρωνικού στην συγκεκριμένη μέθοδο. Υλοποιήθηκε ένα FeedForward νευρωνικό δίκτυο με την λειτουργία netff() του Matlab όπου ο αριθμός των νευρώνων ορίστηκε σε 100. Οι είσοδοι και οι έξοδοι είναι ίδιοι όπως και στην υλοποίηση του GRNN δικτύου. Τέλος χρησιμοποίηθηκε και ένα τεχνητό δίκτυο SVM το οποίο υλοποιήθηκε και δοκιμάστηκε με 4 διαφορετικές κατανομές: Πολυωνυμικό (Polyorder) Γραμμικό (Linear) Τετραγωνικό (Quadratic) RBF (Συνάρτηση ακτινικής βάσης) Για την υλοποίηση του πειράματος χρησιμοποιήσαμε την πολύ γνωστή LIVE IQA Database [14]. Η συγκεκριμένη βάση περιέχει πέντε διαφορετικούς τύπους παραμορφωμένων εικόνων: JPEG JPEG2000 WHITE NOISE BLUR FF Περιέχει 29 διαφορετικές εικόνες και ένα συνολικό αριθμό 982 εικόνων(αναφοράς και παραμορφωμένων). Για την υλοποίηση της μεθόδου μας, αφαιρέθηκαν όλες οι εικόνες αναφοράς από την βάση και χρησιμοποιήθηκαν οι υπόλοιπες 779 παραμορφωμένες εικόνες για την εκπαίδευση των νευρωνικών δικτύων.η συγκεκριμένη βάση εικόνων είναι το αποτέλεσμα μιας μεγάλης ανθρώπινης έρευνας[1] και περιέχει τον μέσο όρο διαφορετικότητας (DMOS) για κάθε παραμορφωμένη εικόνα. Για την εκτέλεση του πειράματος, χωρίσαμε τις εικόνες της βάσης LIVE σε 5 datasets, όπως φαίνεται στον Πίνακα 1, όπου το κάθε ένα περιέχει πέντε ή έξι ομάδες εικόνων οι οποίες έχουν ίδιο περιεχόμενο αλλά ποικίλλει το μέγεθος της Page 44

46 παραμόρφωσης που έχουν υποστεί. Κανένα στοιχείο αυτών των υπο-βάσεων δεν μοιράζεται μεταξύ τους, και η παράμετρος spread έχει ορίστει εμπειρικά στο Τέλος, πραγματοποιήθηκαν πειράματα όπου αφαιρέσαμε ένα απο τα τέσσερα χαρακτηριστικά, διαφορετικό κάθε φορά για να δούμε την διαφορά τιμών του SROCC και κατά συνέπεια την βαρύτητα που έχει κάθε χαρακτηριστικό στην αποτελεσματικότητα της μεθόδου. Πίνακας 1: Κατηγορίες εικόνων ανά Dataset. 4.1 Αποτελέσματα πειραμάτων στην βάση εικόνων LIVE Page 45