ΤΕΧΝΟΛΟΓΙΚΟ ΕΚΠΑΙΔΕΥΤΙΚΟ ΙΔΡΥΜΑ ΚΑΒΑΛΑΣ ΣΧΟΛΗ ΤΕΧΝΟΛΟΓΙΚΩΝ ΕΦΑΡΜΟΓΩΝ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ

Transcript

1 ΤΕΧΝΟΛΟΓΙΚΟ ΕΚΠΑΙΔΕΥΤΙΚΟ ΙΔΡΥΜΑ ΚΑΒΑΛΑΣ ΣΧΟΛΗ ΤΕΧΝΟΛΟΓΙΚΩΝ ΕΦΑΡΜΟΓΩΝ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ «Ανάπτυξη και συγκριτική μελέτη μεθόδων αποτίμησης ποιότητας ψηφιακών εικόνων» ΣΠΟΥΔΑΣΤΗΣ: ΤΟΛΙΟΠΟΥΛΟΣ ΙΩΑΝΝΗΣ ΑΕΜ: 782 ΕΠΙΒΛΕΠΩΝ ΚΑΘΗΓΗΤΗΣ: Δρ. ΠΑΠΑΚΩΣΤΑΣ ΓΕΩΡΓΙΟΣ ΚΑΒΑΛΑ 2013

2 Θα ήθελα να ευχαριστήσω τους καθηγητές του τμήματος της βιομηχανικής πληροφορικής για τις γνώσεις και τις βάσεις που μου παρείχαν. Επίσης ιδιαίτερα θα ήθελα να ευχαριστήσω τον Κύριο Παπακώστα Γεώργιο για την βοήθεια και τα μέσα που μου πρόσφερε καθώς και το χρόνο που αφιέρωσε ώστε να περατώσω την πτυχιακή μου εργασία. Με εκτίμηση, Τολιόπουλος Ιωάννης. 1

3 Περιεχόμενα Περίληψη... 3 Ορολογία... 5 Κεφάλαιο 1: Εκτίμηση Ποιότητας Ψηφιακών Μέσων Εισαγωγή Ποιότητα της Εικόνας Ανάγκη για Μέτρηση της Ποιότητας Τύποι Μέτρησης Ποιότητας Υποκειμενική Μέτρηση Αντικειμενική Μέτρηση Πλήρους-Αναφοράς (FR) Αλγόριθμοι Εκτίμησης Ποιότητας Εικόνων Απλά Στατιστικά Σφάλματα Μετρήσεων Χαρακτηριστικά Βασισμένα στην Μέτρηση του Ανθρώπινου Οπτικού Συστήματος HVS Διατύπωση του Προβλήματος Σκοπός Κεφάλαιο 2: Μέθοδοι Εκτίμησης Ποιότητας Εικόνων Μέσος Τετραγωνικού Σφάλματος (MSE) Λόγος Σήματος προς Θόρυβο (PSNR) Καθολικός Δείκτης Ποιότητας Εικόνας (UIQI) Διαρθρωτικός Δείκτης Μέτρησης Ομοιότητας (SSIM) Πληροφορία Οπτικής Πιστότητας (VIF) Κλίση Απόκλιση Ομοιότητας Μεγέθους (GMSD) Κεφάλαιο 3: Λογισμικό Εκτίμησης Ποιότητας Εικόνων Ανάπτυξη Λογισμικού Εκτίμησης Ποιότητας Εικόνων Λειτουργίες Λογισμικού Έλεγχοι Μη Σωστής Λειτουργίας Από Τον Χρήστη Κεφάλαιο 4: Πειραματικά Αποτελέσματα Διαδικασία Πειραματικά Αποτελέσματα Μεταξύ Απλά Στατιστικά σφάλματα μετρήσεων και Χαρακτηριστικά βασισμένα στην μέτρηση του Ανθρώπινου Οπτικού Συστήματος HVS Πειραματικά Αποτελέσματα Μεθόδων Σύγκρισης Ποιότητας Εικόνων Γραφικές Παραστάσεις 1 ου Πειράματος Γραφικές Παραστάσεις 2 ου Πειράματος Κεφάλαιο 5: Συμπεράσματα Σύνοψη Βιβλιογραφία

4 Περίληψη Η συγκεκριμένη πτυχιακή έχει σαν στόχο την ανάπτυξη ενός περιβάλλοντος μελέτης μεθόδων σύγκρισης ποιότητας ψηφιακών εικόνων μεταξύ μιας αρχικής και μιας παραμορφωμένης εικόνας με την χρήση αντικειμενικών μετρήσεων πλήρους αναφοράς. Αρχικά γίνεται μια περιγραφή για την εκτίμηση ποιότητας εικόνων καθώς και των διάφορων προβλημάτων. Στην συνέχεια γίνεται περιγραφή και ανάπτυξη των μεθόδων εκτίμησης ποιότητας εικόνων που χρησιμοποιήθηκαν, το λογισμικό που υλοποιήθηκε και την τελική μορφή που πήρε με βάση της απαιτήσεις της πτυχιακής. Τέλος παρουσιάζονται και αναλύονται τα αποτελέσματα από όλες τις μεθόδους που εφαρμόστηκαν από τα πειράματα που έγιναν σε διάφορες παραμορφωμένες εικόνες με βάση της αρχικές. 3

5 Abstract This thesis aims the development of environmental study methods of compare quality digital images between an original and a distorted image using objective measures full reference. Initially, a description is made for assessing quality images and the various problems. Then there is a description and development of image quality assessment methods used, the software was implemented and the final form it took under the requirements of the graduation. Finally we present and analyze the results of all methods implemented by the experiments conducted on various distorted images based on the original. 4

6 Ορολογία Ανθρώπινο Οπτικό Σύστημα Πλήρους Αναφοράς Μέθοδοι Εκτίμησης Ποιότητας Μέσος Τετραγωνικού Σφάλματος Λόγος σήματος προς θόρυβο Πιστότητα Οπτικής Πληροφορίας Διαρθρωτικός Δείκτης Μέτρησης Ομοιότητας Κλίση Απόκλιση Ομοιότητας Μεγέθους Καθολικός Δείκτης Ποιότητας Εικόνας HVS FR IQA MSE PSNR VIF SSIM GMSD UIQI 5

7 Κεφάλαιο 1: Εκτίμηση Ποιότητας Ψηφιακών Μέσων 6

8 1.1 Εισαγωγή Οι Ψηφιακές εικόνες υπόκεινται σε μια ευρεία ποικιλία στρεβλώσεων κατά τη διάρκεια της απόκτησης, επεξεργασίας, αποθήκευσης, μετάδοσης και της αναπαραγωγής, οποιαδήποτε από τις οποίες μπορεί να οδηγήσουν σε μια υποβάθμιση της οπτικής ποιότητας. Έτσι, η μέτρηση της ποιότητας εικόνας είναι πολύ σημαντικό για πολυάριθμες εφαρμογές επεξεργασίας εικόνας. Οι άνθρωποι είναι πολύ οπτικά πλάσματα. Η κύρια λειτουργία του ανθρώπινου ματιού είναι να εξάγει δομικές πληροφορίες από το οπτικό πεδίο, και το HVS ( ανθρώπινο οπτικό σύστημα ) είναι ιδιαίτερα προσαρμοσμένο για το σκοπό αυτό. Ως εκ τούτου, για τις εφαρμογές στις οποίες οι εικόνες τελικά να είναι ορατές από τον άνθρωπο, η μόνο «σωστή» μέθοδος ποσοτικού προσδιορισμού οπτικής ποιότητας της εικόνας είναι μέσω της υποκειμενικής αξιολόγησης. Στην πράξη, ωστόσο, οι υποκειμενικές αξιολογήσεις είναι συνήθως πολύ άβολες, χρονοβόρες και ακριβές. Τα τελευταία χρόνια, πολλές προσπάθειες έχουν γίνει για την ανάπτυξη αντικειμενικών μετρήσεις ποιότητας εικόνας, που σχετίζονται με αντιληπτή ποιότητα. MSE, PSNR και SSIM είναι μερικές χρήσιμες και που χρησιμοποιούνται πιο συχνά για την μέτρηση ποιότητας εικόνας. 1.2 Ποιότητα της Εικόνας Η ποιότητα της εικόνας θα μπορούσε να υποβαθμίσει σχεδόν όλα τα συστήματα πρακτικής σημασίας. Ψηφιακές εικόνες υπόκεινται σε μία ευρεία ποικιλία στρεβλώσεις κατά την απόκτηση, επεξεργασία, αποθήκευση, μετάδοση και την αναπαραγωγή, οποιοδήποτε από τα οποία μπορεί να οδηγήσει σε υποβάθμιση της οπτικής ποιότητας. 1.3 Ανάγκη για Μέτρηση της Ποιότητας Όπως γνωρίζουμε η σημασία της ποιότητας εικόνων και βίντεο καθώς και το κόστος ποιότητας ισορροπίας, το προφανές ερώτημα που τίθεται είναι γιατί χρειαζόμαστε την μέτρηση της ποιότητας; Η απάντηση είναι απλή και θα μπορούσε να επεξηγηθεί με μερικά παραδείγματα. Εάν ένας σχεδιαστής σχεδιάζει μια τηλεόραση υψηλής τεχνολογίας, και θέλει να ξέρει πώς και ποια είναι η καμπύλη ποιότητας-κόστους, χρειάζεται προφανώς ένα μηχανισμό για τη μέτρηση της ποιότητας του βίντεο εξόδου όταν η κατασκευή του λειτουργεί σε συγκεκριμένες ρυθμίσεις έχοντας συγκεκριμένο κόστος σε συγκεκριμένους 7

9 πόρους. Σε ένα άλλο σενάριο, ένα σχεδιαστής μιας ιατρικής συσκευής απεικόνισης μπορεί να θέλει να αποφασίσει ποιες από της δύο εναλλακτικές X-ray συσκευές δίνει καλύτερα αποτελέσματα. Και αυτός επίσης χρειάζεται έναν επιστημονικό τρόπο σύγκρισης της ποιότητας των δύο συστημάτων. Βασικά, οι αλγόριθμοι αξιολόγησης της ποιότητας που απαιτούνται για τύπους εφαρμογών είναι κυρίως τρεις: 1. Για σκοπούς βελτιστοποίησης, για μεγιστοποίηση της ποιότητας σε ένα δεδομένο κόστος. 2. Για τη συγκριτική ανάλυση μεταξύ διάφορων εναλλακτικών λύσεων. 3. Για την παρακολούθηση της ποιότητας σε εφαρμογές πραγματικού χρόνου. Εικόνα 1.3 Βασική ροή Μέτρηση Ποιότητας Ένα διάγραμμα ενός βασικού συστήματος IQA παρουσιάζεται στην εικόνα 1.3. Σύμφωνα με την διαθεσιμότητα μιας εικόνας αναφοράς, η αντικειμενική μέτρηση IQA μπορεί να χαρακτηριστεί ως πλήρης αναφοράς (FR), μη αναφοράς (NR) και μειωμένης αναφοράς (RR) μεθόδους. Στην περίπτωση των μεθόδων FR, όπου η αρχική "χωρίς παραμόρφωση" εικόνα είναι γνωστή καθώς και η εικόνα αναφοράς. Όπως δείχνει η εικόνα, ανάλογα με την εφαρμογή, χρησιμοποιείται η FR, RR, ή NR μέθοδος μέτρησης για την εκτίμηση ποιότητας της εικόνας. Για παράδειγμα, στην περίπτωση ενίσχυσης εικόνας, μια μέθοδος NR μπορεί να χρησιμοποιηθεί αν και μόνο αν η εικόνα που δημιουργήθηκε στο άκρο εξόδου είναι απαραίτητη για υπολογισμό. Σε εφαρμογές εικόνας, κωδικοποίησης, η FR IQA μέτρηση θα μπορούσε να χρησιμοποιηθεί όπου απαιτείτε ταυτόχρονα αποκωδικοποιημένη εικόνα από το άκρο εξόδου και πρωτότυπη εικόνα αναφοράς από την είσοδο (που συνδέεται μέσω της διακεκομμένης γραμμή). Η δεύτερη προσέγγιση βασίζεται στο βέλτιστο σχεδιασμό, η αντικειμενική μέτρηση IQA πηγαίνει στον πυρήνα του αλγορίθμου επεξεργασίας εικόνας. Μετρήσεις ποιότητας εικόνας που στοιχεία της αξίας χρησιμοποιούνται για την αξιολόγηση της απεικόνισης συστημάτων ή της κωδικοποίησης/τεχνικές επεξεργασίας. Σε αυτό την εργασία εξετάζονται διάφοροι μέθοδοι μέτρησης ποιότητας εικόνας. 8

10 1.4 Τύποι Μέτρησης Ποιότητας Η ποιότητα εικόνας είναι ένα χαρακτηριστικό της εικόνας που μετρά την αντιλαμβανόμενη υποβάθμιση της εικόνας, η οποία παίζει σημαντικό ρόλο σε διάφορες εφαρμογές επεξεργασίας εικόνας. Στόχος της αξιολόγησης ποιότητας εικόνας είναι να παρέχει μετρήσεις ποιότητας που να μπορούν να προβλέψουν την αντιλαμβανόμενη ποιότητα εικόνας αυτόματα. Υπάρχουν δύο τύποι αξιολόγησης ποιότητας εικόνας: 1. Αντικειμενική μέτρηση. 2. Υποκειμενική μέτρηση. Εικόνα 1.1 Μπλοκ Διάγραμμα μέτρησης ποιότητας εικόνας Υποκειμενική Μέτρηση Ένας αριθμός παρατηρήσεων επιλέγονται, και ελέγχονται για τις οπτικές τους δυνατότητες, εμφανίζοντας μια σειρά από σκηνές δοκιμής και τους ζητάμε να σκοράρουν την ποιότητα των σκηνών. Είναι η μοναδική «σωστή» μέθοδος ποσοτικού προσδιορισμού οπτικής ποιότητας εικόνας. Ωστόσο, η υποκειμενική αξιολόγηση είναι συνήθως πολύ άβολη, χρονοβόρα και ακριβή. 9

11 1.4.3 Αντικειμενική Μέτρηση Είναι μαθηματικά μοντέλα αξιολόγησης ποιότητας που προσεγγίζουν τα αποτελέσματα της υποκειμενικής αξιολόγησης ποιότητας. Στόχος της αντικειμενικής αξιολόγησης είναι η ανάπτυξη ποσοτικής μέτρησης που να μπορεί να προβλέψει την αντιληπτική ποιότητα εικόνας. Τέτοιες μέθοδοι θα μπορούσαν να εξαλείψουν την ανάγκη για δαπανηρές υποκειμενικές μελέτες. Η αντικειμενική αξιολόγηση μπορεί να εφαρμοστή: Για την παρακολούθηση και τον έλεγχο την ποιότητα της εικόνας σε συστήματα ποιοτικού ελέγχου Για την συγκριτική αξιολόγηση των συστημάτων επεξεργασίας εικόνας Για τη βελτιστοποίηση αλγορίθμων και παραμέτρων Για να βοηθήσει τους χρήστες στο σπίτι να διαχειρίζονται καλύτερα τις ψηφιακές φωτογραφίες τους και να τις αξιολογούν από την εμπειρία τους στη φωτογράφηση. Οι αντικειμενικές μετρήσεις ποιότητας εικόνας μπορούν να ταξινομηθούν ανάλογα με τη διαθεσιμότητα ενός πρωτοτύπου (χωρίς παραμόρφωση) εικόνας, με την οποία η παραμορφωμένη εικόνα πρόκειται να συγκριθεί. Οι περισσότερες υπάρχουσες προσεγγίσεις είναι γνωστές ως: 1. Πλήρους-αναφοράς(FR): με την έννοια ότι μια πλήρης εικόνα αναφοράς υποτίθεται ότι είναι γνωστή. 2. Μη-αναφοράς(NR): σε πολλές πρακτικές εφαρμογές, ωστόσο, η εικόνα αναφοράς δεν είναι διαθέσιμη, και μια μη-αναφοράς ή «τυφλή» ποιότητα προσέγγιση της αξιολόγησης είναι επιθυμητή. 3. Σε μειωμένης-αναφοράς(rr): Σε έναν τρίτο τύπο της μεθόδου, η αναφορά εικόνα είναι μόνο εν μέρει διαθέσιμα, υπό τη μορφή ενός συνόλου εξάγονται χαρακτηριστικά που διατίθενται ως συμπληρωματική πληροφορία για να βοηθήσει αξιολογεί την ποιότητα της παραμορφωμένης εικόνας. Η εργασία αυτή βασίζεται στο σχεδιασμό της κατηγορίας πλήρους αναφοράς 10

12 1.4 Πλήρους-Αναφοράς (FR) Αλγόριθμοι Εκτίμησης Ποιότητας Εικόνων Ερευνητές στον τομέα της μέτρησης της ποιότητας εικόνας έχουν επιχειρήσει να μετρήσουν την ποιότητα χρησιμοποιώντας τη λεγόμενη πλήρους-αναφοράς (FR) πλαίσιο. Το πλαίσιο αυτό αποτελεί συνέπεια της περιορισμένης κατανόησης της ανθρώπινης αντίληψη της ποιότητας. Περιλαμβάνει την κατόπιν υπόθεση: Η ποιότητα της εικόνας θα μπορούσε να αξιολογηθεί συγκρίνοντάς την έναντι ενός σήματος αναφοράς άριστης ποιότητας. Εικόνα 1.2 Διάγραμμα πλήρους-αναφοράς αξιολόγησης ποιότητας εικόνας Ένα μέτρο της ομοιότητας μεταξύ της εικόνας αναφοράς και της εικόνας που αξιολογείται μπορεί να βαθμονομηθεί για να χρησιμεύσει ως μέτρο αντίληψης της ποιότητας. Οι πλήρους αναφοράς μετρήσεις ποιότητας εικόνων θα μπορούσαν να ταξινομηθούν σε έξι κατηγορίες αντικειμενικών μετρήσεων αξιολόγησης εικόνας, που είναι: 1. Μετρήσεις βασισμένες στην διαφορά εικονοστοιχείων: Ο μέσο τετραγωνικό σφάλμα (MSE), σήμα-προς-θόρυβο (SNR) και η κορυφή του σήματος-προς-θόρυβο (PSNR). Αυτές οι μετρήσεις είναι εύκολες να αξιολογηθούν. 2. Μετρήσεις βασισμένες στην συσχέτιση: Η συσχέτιση χρησιμοποιείται για τη μέτρηση της διαφοράς μεταξύ δύο ψηφιακών εικόνων. Στην αξιολόγηση της ποιότητας της εικόνας, η συσχέτιση των pixels χρησιμοποιείται ως μέτρο της ποιότητας της εικόνας. 3. Μετρήσεις βασισμένες στης ακμές : Σε αυτή την κατηγορία βρίσκονται οι ακμές τις αρχικής και τις παραμορφωμένες εικόνας, στη συνέχεια, μια μέτρηση μετατόπισης θέσεων των ακμών η τη συνοχή χρησιμοποιούνται για να βρουν την ποιότητα της εικόνας για ολόκληρη την εικόνα. 4. Μετρήσεις βασισμένες στην φασματική απόσταση: Ο διακριτός μετασχηματισμός Fourier εφαρμόζεται στις αρχικές και στις 11

13 παραμορφωμένες εικόνες. H διαφορά του μεγέθους Fourier ή η φασματική φάση χρησιμοποιείται ως μέτρο της ποιότητας της εικόνας. 5. Μετρήσεις βασισμένες στο πλαίσιο: Αντί να συγκρίνουμε τα εικονοστοιχεία μεταξύ τις αρχικής και τις παραμορφωμένης εικόνας, συγκρίνουμε τα γειτονικά εικονοστοιχεία το ενός και του άλλου, βρίσκοντας την πολυδιάστατη πιθανότητα του πλαισίου και να το χρησιμοποιήσει για τη μέτρηση της ποιότητας εικόνας. 6. Μετρήσεις βασισμένες στο ανθρώπινο οπτικό σύστημα: Εδώ η ποιότητα της εικόνας μετριέται όπως κάνει το ανθρώπινο μάτι. Οι άνθρωποι συνήθως χρησιμοποιούν αντίθεση, χρώμα, και αλλαγές στη συχνότητα των μετρήσεων τους. Οι έρευνες στο πεδίο της πλήρους HVS αναφοράς που σχετίζονται με την κατανόηση της ανθρώπινης οπτικής αντίληψης, όπου η ποιότητα υπολογίζεται συγκρίνοντάς την με την εικόνα αναφοράς. Τα πρώτα πέντε είδη των μετρήσεων της ποιότητας εικόνας ονομάζονται απλά στατιστικά σφάλματα μέτρησης, ενώ το τελευταίο χαρακτηριστικό ονομάζεται χαρακτηριστικό βασισμένο στην μέτρηση του ανθρώπινου οπτικού συστήματος. Απλά Στατιστικά σφάλματα μετρήσεων. Χαρακτηριστικά Βασισμένα στην Μέτρηση του Ανθρώπινου Οπτικού Συστήματος HVS Απλά Στατιστικά Σφάλματα Μετρήσεων Στην κατηγορία πλήρους-αναφοράς με απλά στατιστικά σφάλματα μέτρησης ανήκουν και έχουν χρησιμοποιηθεί σε συστήματα ποιότητας εικόνων οι μέθοδοι: Μέσος Τετραγωνικού Σφάλματος (MSE) Λόγος Σήματος Προς Θόρυβο (PSNR) Κανονικοποιημένης Συσχέτισης (NC) Μέσης Διαφοράς (AD) Μέγιστης Διαφοράς (MD) Μέσος Απόλυτου Σφάλματος (ΜΑΕ) Αιχμής Μέσου Τετραγωνικού Σφάλματος (RMSE) Κανονικοποιημένης Συσχέτισης (ΝΚ) Διαρθρωτικού Περιεχομένου (SC) Κλίση και Απόκλιση Ομοιότητας Μεγέθους (GMSD) Οι απλούστερες και πιο διαδεδομένες πλήρους αναφοράς μετρήσεις ποιότητας της εικόνας είναι ο MSE και ο PSNR. Πλεονέκτημα των MSE και 12

14 PSNR είναι ότι είναι πολύ γρήγοροι και εύκολοι να εφαρμοστούν. PSNR με μεγαλύτερες τιμές υποδηλώνει μεγαλύτερη ομοιότητα εικόνας, ενώ MSE με μεγαλύτερες τιμές υποδηλώνει μικρότερη ομοιότητα εικόνας. Μέσος Τετραγωνικού Σφάλματος (MSE) Λόγος Σήματος Προς Θόρυβο (PSNR) Χαρακτηριστικά Βασισμένα στην Μέτρηση του Ανθρώπινου Οπτικού Συστήματος HVS Μια μεγάλη έμφαση σε μια πρόσφατη έρευνα έχει δώσει μια βαθύτερη ανάλυση των χαρακτηριστικών του ανθρώπινου οπτικού συστήματος (HVS). Ερευνητές υπέθεσαν ότι η ενσωμάτωση της γνώσης του ανθρώπινου οπτικού συστήματος (HVS) και της ανθρώπινης αντίληψης σε αντικείμενα αξιολόγηση της ποιότητας οι αλγόριθμοι θα μπορούσαν να αυξήσουν την ακρίβειά τους. Ο HVS βασισμένος σε Πλήρους-αναφορές παραδείγματα υπήρξε το κυρίαρχο πρότυπο για τις τελευταίες τρεις δεκαετίες. Εικόνα 1.4 Αμοιβαία πληροφόρηση μεταξύ C και Ε ποσοτικοποιεί τις πληροφορίες που ο εγκέφαλος θα μπορούσε ιδανικά να απόσπαση από την εικόνα αναφοράς, ενώ η αμοιβαία πληροφόρηση μεταξύ του C και F ποσοτικοποιεί τις αντίστοιχες πληροφορίες που θα μπορούσαν να εξαχθούν από την δοκιμαστική εικόνα. Η βασική παραδοχή είναι ότι οι άνθρωποι δεν αντιλαμβάνονται τις εικόνες ως σήματα σε ένα χώρο μεγάλων διαστάσεων, αλλά ενδιαφέρονται για διάφορα χαρακτηριστικά αυτών των εικόνων, όπως φωτεινότητα, αντίθεση, το σχήμα την υφή των αντικειμένων, προσανατολισμούς, την ομαλότητα, κλπ. Από τότε που η ευαισθησία των HVS είναι διαφορετική για τις διάφορες πτυχές των εικόνων, είναι λογικό να λάβει υπόψη τις ιδιαίτερες ευαισθησίες, όσο κάνουμε μια σύγκριση μεταξύ του δοκιμαστικού σήματος και του σήματος αναφοράς. Υπάρχουν πολλά HVS χαρακτηριστικά που μπορούν να επηρεάσουν την οπτική αντίληψη του ανθρώπου στην ποιότητα της εικόνας. 13

15 Παρά το γεγονός ότι ο HVS είναι υπερβολικά πολύπλοκος για να κατανοηθεί πλήρως με τα σημερινά ψυχοσωματικά μέσα, στην ενσωμάτωση ακόμα και σε ένα απλοποιημένο μοντέλο σε αντικειμενικά μέτρα φέρεται να οδηγεί σε μια καλύτερη συσχέτιση με την ανταπόκριση ανθρώπινων παρατηρητών. Σύστημα HVS έχουν εκτεταμένα εκτεθεί στο φυσικό οπτικό περιβάλλον, και μία ποικιλία στοιχείων έχουν δείξει ότι ο HVS είναι ιδιαίτερα προσαρμοσμένος στην εξαγωγή χρήσιμων πληροφοριών από φυσικές σκηνές. Μέθοδοι συστημάτων HVS, βασισμένοι σε μετρήσεις για την ποιότητα εικόνας δίνονται παρακάτω: 1. Universal Image Quality Index (UIQI). 2. Structural Similarity Index Metric (SSIM). 3. Οπτική Πληροφορία Πιστότητας (VIF) 4. Κλίση Απόκλιση ομοιότητας Μεγέθους (GMSD) 1.5 Διατύπωση του Προβλήματος Η Μέτρηση της ποιότητας σε μια εικόνα είναι θεμελιώδους σημασίας σε πολλές εφαρμογές επεξεργασίας εικόνας. Λόγω των εγγενών φυσικών περιορισμών και για οικονομικούς λόγους, η ποιότητα των εικόνων και βίντεο θα μπορούσε να υποβαθμιστεί εμφανώς ακριβός από το σημείο, όταν συλλαμβάνονται στο σημείο όταν αντιμετωπίζονται από ένα ανθρώπινο παρατηρητή. Προσδιορισμός της μέτρησης ποιότητας εικόνας που έχουν μεγαλύτερη ευαισθησία σε αυτές τις στρεβλώσεις θα βοηθήσουν συστηματικά στο σχεδιασμό της κωδικοποίησης, της επικοινωνίας και της απεικόνισης συστημάτων και τη βελτίωση ή τη βελτιστοποίηση της ποιότητας της εικόνας για μια επιθυμητή ποιότητα των παρεχόμενων υπηρεσιών με ελάχιστο κόστος, δηλαδή το κόστος και η ποιότητα εικόνας η βίντεο θα μπορούσε να υποβαθμίσει σχεδόν όλα τα συστήματα πρακτικής σημασίας, είναι ζωτικής σημασίας για σχεδιαστές και προγραμματιστές για να κρατήσει τις ανταλλαγές μεταξύ της οπτικής ποιότητας και του κόστους συστήματος στο μυαλό και στη βελτιστοποίηση των συστημάτων παρέχοντας τη μέγιστη οπτική ποιότητα σε ένα ελάχιστο κόστος. Πολύ συχνά η ποιότητα της εικόνας χρειάζεται να ποσοτικοποιηθεί. Βελτιστοποίηση της απόδοσης των συστημάτων ψηφιακής απεικόνισης σε σχέση με μια ευρεία ποικιλία στρεβλώσεων κατά την απόκτηση, επεξεργασία, αποθήκευση, μετάδοση και αναπαραγωγή, οποιοδήποτε από τα οποία μπορούν να οδηγήσουν σε μια υποβάθμιση της οπτικής ποιότητας. Έτσι, η μέτρηση της ποιότητας της εικόνας είναι πολύ σημαντική για πολυάριθμες εφαρμογές επεξεργασίας εικόνας στον παρούσα τομέα. Κάθε σύστημα απεικόνισης μπορεί να χρησιμοποιήσει την ποιότητα 14

16 μέτρησης για να προσαρμόζεται αυτόματα για την επίτευξη της βελτίωσης της ποιότητας εικόνας. μπορεί να χρησιμοποιηθεί για την σύγκριση και την αξιολόγηση των συστημάτων επεξεργασίας εικόνας και αλγορίθμων. Αυτό μπορεί να γίνει με υποκειμενικές δόκιμες, ή με αντικειμενικές υπολογιστικές μετρήσεις. Ο μόνος "σωστός" τρόπος ποσοτικοποίησης οπτικής ποιότητα της εικόνας είναι μέσω της υποκειμενικής αξιολόγησης. Στην υποκειμενική αξιολόγηση, ένας αριθμός παρατηρητών επιλέγονται, και δοκιμάζονται για τις οπτικές τους δυνατότητες, εμφανίζοντας μια σειρά από σκηνές και ζητούνται να σημειωθεί η ποιότητα των σκηνών. Είναι ο μοναδικός «σωστός» τρόπος ποσοτικοποίησης οπτικής ποιότητας εικόνας. Ωστόσο, η υποκειμενική αξιολόγηση είναι συνήθως πολύ άβολη, χρονοβόρα και δαπανηρή. Από την άλλη μεριά οι αντικειμενικές εκτιμήσεις είναι αυτόματοι αλγόριθμοι για την αξιολόγηση της ποιότητας και θα μπορούσαν να αναλύσουν τις εικόνες και να αναφέρουν την ποιότητά τους, χωρίς ανθρώπινη παρέμβαση. Τέτοιες μέθοδοι θα μπορούσαν να εξαλείψουν την ανάγκη για δαπανηρές υποκειμενικές μελέτες 1.6 Σκοπός Στην βάση αυτών των ιδεών σκοπός αυτής της πτυχιακής εργασίας είναι να συγκρίνει πλήρους αναφοράς αντικειμενικές μετρήσεις ποιότητας εικόνων να τις αξιολόγηση, να τις ανάλυσή, και να μπορεί αυτόματα να προβλέψει την ποιότητα εικόνας. Η αξιολόγηση ποιότητας εικόνας είναι στενά συνδεδεμένη με την αξιολόγηση ομοιότητας εικόνας. Έτσι, η έμφαση στην παρούσα εργασία θα είναι στην εικόνα πιστότητα δηλαδή, πόσο κοντά είναι μια εικόνα σε σχέση με την πρωτότυπη ή αναφοράς εικόνα. Οι μέθοδοι που χρησιμοποιούνται για την αξιολόγηση της ποιότητας εικόνας δίνονται και περιγράφονται στο κεφάλαιο 2. 15

17 Κεφάλαιο 2: Μέθοδοι Εκτίμησης Ποιότητας Εικόνων 16

18 2.1 Μέσος Τετραγωνικού Σφάλματος (MSE) Ο Μέσος τετραγωνικού σφάλματος (MSE) είναι ένας προφανής τρόπος μέτρησης της ομοιότητας και είναι για να υπολογιστεί ένα σήμα σφάλματος αφαιρώντας το δοκιμαστικό σήμα από την αναφορά, και στη συνέχεια υπολογίζοντας το μέσο όρο ενέργειας του σήματος σφάλματος. Ο μέσος τετραγωνικού σφάλματος (MSE) είναι ο απλούστερος, και ο πιο ευρέως χρησιμοποιούμενος, με πλήρη αναφορά μέτρησης ποιότητας της εικόνας. Αυτός ο μετρικός τρόπος χρησιμοποιείται συχνά στην επεξεργασία σήματος και ορίζεται ως εξής: M N MSE = 1 MN (x (i,j) y (i,j) ) 2 i=1 j=1 Όπου το x (i, j) παριστά την αρχική (αναφοράς) και εικόνα y (i, j) παριστά την παραμορφωμένη (τροποποιημένη) εικόνα και i, j είναι το εικονοστοιχείο στην θέση της Μ Ν εικόνας. Ο MSE είναι μηδέν όταν δύο εικόνες είναι πανομοιότυπες δηλαδή το x (i, j) = y (i, j). 2.2 Λόγος Σήματος προς Θόρυβο (PSNR) Ο λόγος σήματος προς θόρυβο (PSNR) PSNR χρησιμοποιείται ως μέτρο εκτίμησης της ποιότητας σε περιπτώσεις συμπίεσης εικόνας. Αξιολογείται σε ντεσιμπέλ και είναι αντιστρόφως ανάλογος του μέσου τετραγωνικού σφάλματος (MSE). Ορίζεται ως εξής: PSNR = 10log 10 ( MAX I 2 MSE ) Το MAX I ορίζεται ως μέγιστη τιμή που μπορεί να λάβει το εικονοστοιχείο μιας εικόνας. Όταν τα εικονοστοιχεία αναπαρίστανται χρησιμοποιώντας 8 bits ανά δείγμα, τότε η τιμή του ορίζεται στο 255. Τυπικές τιμές του PSNR είναι μεταξύ 30 και 50 db για εικόνες η οποίες παρουσιάζουν πολύ μικρές διαφορές λόγω κβάντισης. 17

19 2.3 Καθολικός Δείκτης Ποιότητας Εικόνας (UIQI) Έστω x = {xi i = 1,2,3,..., N}, {y = yi i = 1, 2, 3,..., N} είναι η αρχική και η δοκιμαστική εικόνα, αντίστοιχα Τα x, y, σ x 2, σ y 2 και σ xy δίνονται ως: N x = 1 N x i i=1 N y = 1 N y i i=1 σ 2 x = 1 N N 1 (x i x ) 2 i=1 σ 2 y = 1 N N 1 (y i y ) 2 i=1 N σ 2 xy = 1 N 1 (x i x ) i=1 4 σ xy x y Q = (σ 2 y + σ 2 y ) ((x ) 2 + (y ) 2 ) (y i y ) Το δυναμικό εύρος του Q είναι [0,1] Η καλύτερη τιμή Q = 1, επιτυγχάνεται όταν y i = x i, i = 1, 2,..., n. Αυτό το μοντέλο δείκτη ποιότητας οποιασδήποτε στρέβλωσης σε συνδυασμό των τριών διαφορετικών παραγόντων: απώλεια συσχετισμού, στρέβλωσης φωτεινότητας, και παραμόρφωση αντίθεσης. Για να το καταλάβουμε αυτό, ξαναγράφουμε τον ορισμό του Q ως προϊόν των τριών συνιστώσεων: Q = Q 1 Q 2 Q 3 σ xy Q 1 = σ x σ y 18

20 Q 2 = 2 x y ((x ) 2 + (y) 2 ) Q 3 = 2 σ x σ y (σ x 2 + σ y 2 ) Q = σ xy 2 x y σ x σ y ((x ) 2 + (y) 2 ) 2 σ x σ y (σ 2 x + σ 2 y ) Η πρώτη συνιστώσα είναι ο συντελεστής συσχέτισης μεταξύ του x και του y, που μετρά τον βαθμό γραμμικής συσχέτισης μεταξύ του x και του y. Η καλύτερη τιμή είναι το 1 και επιτυγχάνεται όταν y i = ax i + b για i = 1,2,, N όπου τα a και b είναι σταθερές. Ακόμα και αν τα x και y συνδέονται μεταξύ τους γραμμικά, μπορεί ακόμα η στρέβλωση μεταξύ τους να είναι σχετική, αυτά αξιολογούνται στην δεύτερη και στο τρίτη συνιστώσα. Η δεύτερη συνιστώσα, με εύρος τιμών [0, 1], μετρά πόσο πολύ τα x και y είναι κοντά στη φωτεινότητα. Θα ισούται με 1 αν x = y. Τα σ x και σ y μπορούν να θεωρηθούν ως εκτίμηση της αντίθεσης των x και y, και η τρίτη συνιστώσα μετρά τις ομοιότητες μεταξύ των αντιθέσεων των εικόνων. Το εύρος των τιμών είναι επίσης [0,1], όπου καλύτερη τιμή είναι το 1 και επιτυγχάνεται αν και μόνο αν σ x = σ y. Εφαρμόζοντας την μέθοδο μέτρησης ποιότητας στην τοπική περιοχή χρησιμοποιώντας μια προσέγγιση ολίσθησης παραθύρου. Ξεκινώντας από την πάνω αριστερή γωνία της εικόνας, με μία ολίσθηση παραθύρου μεγέθους BxB κινείται από pixel σε pixel οριζόντια και κατακόρυφα σε όλες τις γραμμές και στήλες της εικόνας μέχρι την κάτω δεξιά γωνία. Ο δείκτης υπολογίζεται για κάθε παράθυρο, και αυτό οδηγεί σε ένα χάρτη ποιότητα της εικόνας. Ο γενικός δείκτης ποιότητας είναι ο μέσος όρος όλων των τιμών Q στο χάρτη ποιότητας: M Q = 1 M Q j j=1 Όπου M ο συνολικός αριθμός παραθύρων. 19

21 2.4 Διαρθρωτικός Δείκτης Μέτρησης Ομοιότητας (SSIM) Η μέθοδος αυτή, βασίζεται στη σύγκριση των δομών της εικόνας αναφοράς και της παραμορφωμένης εικόνας. Αν x και y είναι δύο μη αρνητικά σήματα που αντιστοιχούν στην αρχική και στην παραμορφωμένη εικόνα, αν x, y, σ x 2, σ y 2 και σ xy είναι ο μέσος όρος του x, ο μέσος όρος του y, η διακύμανση του x η διακύμανση του y, και η διακύμανση των x και y, αντίστοιχα. Εδώ ο μέσος όρος και η τυπική απόκλιση (τετραγωνική ρίζα της διακύμανσης) ενός σήματος είναι κατά προσέγγιση και θεωρούνται ως εκτιμήσεις της φωτεινότητας και της αντίθεσης του σήματος. Ο SSIM δίνεται από την παρακάτω εξίσωση. SSIM = (2 x y + C1) (2 σ xy + C2) (σ 2 x + σ 2 y + C2) ((x ) 2 + (y ) 2 + C1) Σε αυτόν τον τύπο, εμπλέκονται τρία διαφορετικά μέτρα: η φωτεινότητα, η αντίθεση και η δομή μέτρων σύγκρισης. Όπου τα C1 και C2 είναι σταθερές, και προστίθενται για την πρόληψη της ασταθής μέτρησης όταν ((x ) 2 + (y) 2 ) η (σ x 2 + σ y 2 ) είναι κοντά στο μηδέν. Τα x, y, σ x 2, σ y 2 και σ xy δίνονται ως: N x = 1 N x i i=1 20

22 N y = 1 N y i i=1 σ 2 x = 1 N N 1 (x i x ) 2 i=1 σ 2 y = 1 N N 1 (y i y ) 2 i=1 N σ 2 xy = 1 N 1 (x i x ) i=1 (y i y ) Παρόμοια με την περίπτωση του UIQI, γίνεται και στον SSIM, εφαρμόζοντας την μέθοδο μέτρησης ποιότητας στην τοπική περιοχή, χρησιμοποιώντας ένα συρόμενο παράθυρο προσέγγισης. Ξεκινώντας από την πάνω αριστερή γωνία της εικόνας, ένα συρόμενο παράθυρο μεγέθους BxB κινείται από pixel σε pixel οριζόντια και κατακόρυφα μέσα από όλες τις σειρές και στήλες της εικόνας έως ότου φτάσει στην κάτω δεξιά γωνία. Η συνολική ποιότητα εικόνας MSSIM λαμβάνεται με τον υπολογισμό του μέσου όρου τιμών των SSIM επί όλων των παραθύρων: M MSSIM = 1 M SSIM j j=1 Όπου M ο συνολικός αριθμός παραθύρων. 2.5 Πληροφορία Οπτικής Πιστότητας (VIF) Μεταξύ των πιο πρόσφατων μετρήσεων αντικειμένων που ενσωματώνουν το ανθρώπινο οπτικό σύστημα είναι η πληροφορία οπτικής πιστότητας (VIF). Ο VIF είναι το αποτέλεσμα μιας βελτιωμένης πιστότητας στο κριτήριο της πληροφορίας, ο οποίος είναι για να ενσωματώσει ένα βήμα εξομάλυνσης. Υπολογίζει την ποιότητα της εικόνας με βάση τη φυσική-σκηνή στατιστικές. Λειτουργεί υπό την προϋπόθεση ότι ο HVS έχει εξελιχθεί με βάση τις στατιστικές ιδιότητες του φυσικού περιβάλλοντος. Κατά συνέπεια, η ποιότητα της παραμορφωμένης εικόνας μπορεί να ποσοτικοποιηθεί με βάση την ποσότητα των πληροφοριών. Αυτή η μέτρηση λαμβάνεται από τη σχέση: 21

23 VIF = j subbands I(C N,j ; F N,j s N,j ) j subbands I(C N,j ; E N,j s N,j ) Όπου C N,j αντιπροσωπεύει τα N στοιχεία της πλήρους αναφοράς Cj για j αριθμός υποπεριοχών. Ο VIF παίρνει τιμές από 0 έως 1 όπου VIF = 1 όταν η εικόνα αναφοράς είναι ίδια με αυτή τις δοκιμαστική και VIF = 0 όταν όλες οι πληροφορίες τις δοκιμαστικής εικόνας έχουν χαθεί. 2.6 Κλίση Απόκλιση Ομοιότητας Μεγέθους (GMSD) GMSD = 1 N N i=1 (GMS(i) GMSM)2 Οι εικόνες διαβάθμισης μεγέθους των R και D υπολογίζονται ως ακολούθως: m r (i) = (r h x ) 2 (i) + (r h y ) 2 (i) m d (i) = (d h x ) 2 (i) + (d h y ) 2 (i) Όπου h x οι τιμές τις εικόνας αναφοράς και h y τις διαστρεβλωμένης αποδίδουν τις οριζόντιες και κάθετες εικόνες r και d. Όπου το σύμβολο " " σημαίνει πράξη συνέλιξης. Έχοντας τις εικόνες κλίσης μεγέθους m r και m d, η ομοιότητα μεγέθους κλίσης (GMS) υπολογίζεται ως εξής: GMS(i) = 2m r(i)m d (i) + c m r2 (i) + m d 2 (i) + c Στην συνέχεια εφαρμόζουμε την μέση συγκέντρωση του GMS και υπολογίζουμε τον μέσο ομοιότητας κλίσης Μεγέθους (GMSM) ως εξής: GMSM = 1 N GMS(i) Όπου Ν ο συνολικός αριθμός pixel της εικόνα. Όσο υψηλότερη GMSM τόσο υψηλότερη συνολική ποιότητα εικόνας έχουμε. N i=1 22

24 Έτσι έχοντας υπολογίσει τους GMS(i) και GMSM μπορούμε να υπολογίσουμε την Κλίση Απόκλιση ομοιότητας Μεγέθους (GMSD) ως εξής: GMSD = 1 N N i=1 (GMS(i) GMSM)2 Η τιμή του GMSD αντικατοπτρίζει το εύρος της στρέβλωσης βαρύτητας σε μια εικόνα. Όσο υψηλότερη είναι η τιμή του GMSD, τόσο μεγαλύτερο είναι το εύρος παραμόρφωσης, και, συνεπώς, τόσο χαμηλότερη είναι η αντιληπτική ποιότητας της εικόνας. 23

25 Κεφάλαιο 3: Λογισμικό Εκτίμησης Ποιότητας Εικόνων 24

26 3.1 Ανάπτυξη Λογισμικού Εκτίμησης Ποιότητας Εικόνων Η Ανάπτυξη και συγκριτική μελέτη μεθόδων αποτίμησης ποιότητας ψηφιακών εικόνων έχει σχεδιαστεί με τη χρήση λογισμικού MATLAB, συγκεκριμένα η έκδοση (R2011a), μέσω του δημιουργού γραφικού περιβάλλοντος (GUI). Το MATLAB είναι ένα ισχυρό, γενικής χρήσης, μαθηματικό πακέτο λογισμικού. Το MATLAB διαθέτει εξαιρετικά γραφικά και ικανότητες διαχείρισης πινάκων. Ενσωματώνει την μαθηματική υπολογιστική σε μια ισχυρή γλώσσα για να παρέχει ένα ευέλικτο περιβάλλον για τεχνικές πληροφορικής. Τα κυριότερα χαρακτηριστικά του MATLAB είναι οι ενσωματωμένες μαθηματικές εργαλειοθήκες και γραφικές λειτουργίες. Επιπλέον, εξωτερικές ρουτίνες που είναι γραμμένες σε άλλες γλώσσες, όπως η C, C + +, Fortran και Java, μπορούν να ενσωματωθούν σε MATLAB εφαρμογές. Το MATLAB υποστηρίζει, επίσης, την εισαγωγή δεδομένων από αρχεία και άλλες εξωτερικές συσκευές. Οι περισσότερες από τις λειτουργίες του MATLAB είναι με γνώμονα τον προσανατολισμό και μπορούν να λειτουργήσουν σε συστοιχίες οποιασδήποτε διάστασης. Το MATLAB έχει επίσης μια ξεχωριστή εργαλειοθήκη για την επεξεργασία εικόνων, η οποία παρέχει απλούστερες λύσεις για πολλά από τα προβλήματα που αντιμετωπίζουμε σε αυτή την εργασία. 25

27 3.2 Λειτουργίες Λογισμικού Η κύρια σελίδα προβολής του αναπτυγμένου περιβάλλοντος φαίνεται στην εικόνα 3.1. Ο χρήστης μπορεί πολύ εύκολα να φορτώσει την εικόνα αναφοράς, την εικόνα που θέλει να συγκρίνει, να επιλέξει την μέθοδο σύγκρισης, τον τύπο, την ένταση θορύβου, και να του εμφανίσει τα αποτελέσματα. Εικόνα 3.2 Περιβάλλον Λογισμικού Χρήστη Αρχικά ο χρήστης επιλέγει την εικόνα αναφοράς πατώντας στην κάτω αριστερή πλευρά του προγράμματος το κουμπί: Επιλέγοντας την εμφανίζεται στο πλαίσιο Original Image εικόνα

28 Εικόνα 3.3 Φόρτωση εικόνας αναφοράς Την ίδια διαδικασία ακολουθούμε για να επιλέξουμε την εικόνα που θέλουμε να συγκρίνουμε με αυτή της εικόνας αναφοράς πατώντας στην κάτω δεξιά πλευρά του προγράμματος το κουμπί Επιλέγοντας την εμφανίζεται στο πλαίσιο Distorted Image εικόνα 3.4. Εικόνα 3.4 Φόρτωση εικόνας σύγκρισης 27

29 Από το μενού επιλογής αλγόριθμου (Select Algorithm) επιλέγουμε την μέθοδο που θέλουμε να εφαρμόσουμε ώστε να συγκρίνουμε τις δύο εικόνες που έχουμε φορτώσει στο πρόγραμμα μας. Το μενού αυτό βρίσκεται στο κέντρο του προγράμματος έχει 7 επιλογές οι οποίες είναι με την σειρά όπως φαίνονται στην εικόνα 3.3. Υπάρχει και μια 8 η επιλογή ALL η οποία υπολογίζει όλες μεθόδους σύγκρισης εικόνων. Εικόνα 3.5 Μενού επιλογής Αλγόριθμου Έχοντας επιλέξει την μέθοδο σύγκρισης των δύο εικόνων στην συνέχεια επιλέγουμε τον τύπο θορύβου που θέλουμε να εφαρμόσουμε στην εικόνα σύγκρισης. Αυτό γίνεται από το μενού επιλογής θορύβου (Select Noise), όπου ο χρήστης μπορεί να επιλέξει έναν από τους θορύβους εικόνα 3.5. Δεν είναι υποχρεωτικό να επιλέξει εάν δεν θέλει να χρησιμοποίηση θόρυβο. Εικόνα 3.6 Μενού επιλογής θορύβου Επιλέγοντας τον τύπο θορύβου που θέλουμε να εφαρμόσουμε κάποιοι θόρυβοι έχουνε αρχική τιμή μηδέν για τον λόγο αυτό η εικόνα σύγκρισης είναι ίδια με την εικόνα αναφοράς. Οι θόρυβοι που έχουνε αρχική τιμή μηδέν είναι ο Gaussian, Salt & Pepper, Localvar, Speckle, Motion Blur, Erosion και Dilation. Για τους θορύβους Gaussian, Salt & Pepper, Localvar, Speckle και Motion 28

30 Blur η αύξηση της έντασης θορύβου γίνεται από τον ρυθμιστή Sigma εικόνα 3.7 με μέγιστη τιμή το 0.1. Εικόνα 3.7 Ρυθμιστής Sigma Για τους θορύβους Erosion και Dilation η αύξηση της έντασης θορύβου γίνεται από τον ρυθμιστή Filter εικόνα 3.8 με αρχική τιμή το ένα και μέγιστη τιμή το δέκα. Εικόνα 3.8 Ρυθμιστής Filter Αφού έχουμε ακολουθήσει την παραπάνω διαδικασία όπως πρέπει πατάμε το κουμπί σύγκρισης το πρόγραμμα μας εμφανίζει τα αποτελέσματα στο πλαίσιο αποτελεσμάτων σύγκρισης εικόνων (Result) εικόνα 3.9 Εικόνα 3.9 Περιοχή εμφάνισης αποτελεσμάτων 29

31 Τέλος στο πρόγραμμα μας υπάρχουν άλλα δύο κουμπιά το και το. Πατώντας ο χρήστης το κουμπί reset επαναφέρει το πρόγραμμα στην αρχική του κατάσταση. Πατώντας το κουμπί exit εμφανίζεται το μήνυμα είσαι σίγουρος ότι θέλεις να κλείσεις το πρόγραμμα? και κλείνει το πρόγραμμα. 3.3 Έλεγχοι Μη Σωστής Λειτουργίας Από Τον Χρήστη Κατά την δημιουργία του λογισμικού περιβάλλοντος χρήστη για την ορθή λειτουργία του προγράμματος κατασκευάστηκαν κάποιοι περιορισμοί έτσι ώστε να μην υπάρχει περίπτωση ο χρήστης να κάνει λάθους χειρισμούς του λογισμικού. Αυτοί οι περιορισμού είναι: 1. Σε περίπτωση που ο χρήστης δεν επιλέξει εικόνα αναφοράς, εικόνα σύγκρισης, μέθοδο σύγκρισης και πατήσει το κουμπί σύγκριση εικόνων εμφανίζεται μήνυμα 2. Σε περίπτωση που ο χρήστης έχει επιλέξει εικόνα αναφοράς, δεν έχει επιλέξει εικόνα σύγκρισης, η και το αντίστροφο, έχει επιλέξει μέθοδο σύγκρισης και πατήσει το κουμπί σύγκριση εικόνων εμφανίζεται μήνυμα 30

32 3. Σε περίπτωση που ο χρήστης έχει επιλέξει εικόνα αναφοράς, εικόνα σύγκρισης, θόρυβο, δεν έχει επιλέξει μέθοδο σύγκρισης και πατήσει το κουμπί σύγκριση εικόνων εμφανίζεται μήνυμα 4. Σε περίπτωση που ο χρήστης δεν έχει επιλέξει εικόνα αναφοράς, εικόνα σύγκρισης, μέθοδο σύγκρισης και επιλέξει τύπο θορύβου εμφανίζεται μήνυμα 31

33 Κεφάλαιο 4: Πειραματικά Αποτελέσματα 32

34 4.1 Διαδικασία Όλες οι χρησιμοποιούμενες μετρήσεις αξιολόγησης εικόνας είναι αντικειμενικές μετρήσεις και ορίζονται από μαθηματικούς αλγορίθμους τους οποίους αναφέραμε παραπάνω. Στα πειράματα που έγιναν χρησιμοποιήθηκαν 12 διαφορετικές εικόνες έγχρωμες και ασπρόμαυρες. Οι εικόνες αυτές είναι Lenna, Gold hill, Mandrill, Boat, Barbara, Pirate, Peppers, Lake, Cameraman, Living room, Jet plane, και Girl. Οι διαστάσεις και των 12 εικόνων είναι 512x512 και έχουν οριστεί ως αρχικές εικόνες δοκιμής (εικόνα 4.1). Εικόνα 4.1 Πρωτότυπες Εικόνες Στα πειράματα που έγιναν χρησιμοποιήθηκαν και εφαρμόστηκαν πράξεις θορύβου στις πρωτότυπες εικόνες δοκιμής για να πάρουμε τις παραμορφωμένες εικόνες έτσι ώστε να μπορέσουμε να υπολογίσουμε τις τιμές των κάθε μεθόδων σύγκρισης ποιότητας εικόνων μεταξύ πρωτότυπης και διαστρεβλωμένης εικόνας. Οι θόρυβοι αυτοί είναι: 1. Gaussian: Γκαουσιανός λευκός θόρυβος με σταθερή μέση τιμή και διασπορά. 2. Localvar: Μηδενική μέση τιμή Γκαουσιανού λευκού θορύβου με μια ένταση που εξαρτάται από την διακύμανση. 3. Salt & Pepper: με ενεργά και ανενεργά εικονοστοιχεία. 33

35 4. Speckle: πολλαπλασιαστική θορύβου. 5. Motion Blur: θαμπάδα. 6. Erosion: διάβρωση. 7. Dilation: διαστολή. 4.2 Πειραματικά Αποτελέσματα Μεταξύ Απλά Στατιστικά σφάλματα μετρήσεων και Χαρακτηριστικά βασισμένα στην μέτρηση του Ανθρώπινου Οπτικού Συστήματος HVS Στους παρακάτω πίνακες παρουσιάζονται τα αποτελέσματα ανάμεσα στις 2 κατηγορίες αντικειμενικών μετρήσεων πλήρους αναφοράς. Δηλαδή ανάμεσα στις μετρήσεις χαρακτηριστικών βασισμένες στο ανθρώπινο οπτικό σύστημα HVS (SSIM, UIQI, VIF, GMSD) και στις μετρήσεις απλών στατιστικών σφαλμάτων συσχέτισης(mse, PSNR). Έτσι επιλέξαμε από τις 12 εικόνες 2 τυχαίες και εφαρμόσαμε τους 8 θορύβους έτσι ώστε πάρουμε παραμορφωμένες εικόνες με σταθερό MSE και να γίνει σύγκριση με τις υπόλοιπες μεθόδους. Η πρώτη τιμή για των MSE είναι 260 και η δεύτερη είναι ) Χρησιμοποιώντας παραμορφωμένες εικόνες lake και Mandrill με σταθερή τιμή MSE=260 πήραμε τα παρακάτω αποτελέσματα Εικόνα 4.2 Παραμορφωμένες Εικόνες Lake με MSE=260 34

36 MSE=260 None Gaussian Lake Salt & Pepper Localvar Speckle Motion Blur MSE PSNR SSIM GMSD UIQI VIF Εικόνα 4.3 Παραμορφωμένες Εικόνες Mandrill με MSE=260 MSE=260 Mandril None Gaussian Salt & Pepper Localvar Speckle Motion Blur MSE PSNR SSIM GMSD UIQI VIF

37 2) Χρησιμοποιώντας παραμορφωμένες εικόνες Lena και Livingroom με σταθερή τιμή MSE=170 πήραμε τα παρακάτω αποτελέσματα: Εικόνα 4.4 Παραμορφωμένες Εικόνες Lena με MSE=170 MSE=170 Lena None Gaussian Salt & Pepper Localvar Speckle Motion Blur MSE PSNR SSIM GMSD UIQI VIF

38 Εικόνα 4.4 Παραμορφωμένες Εικόνες Living room με MSE=170 MSE=170 Living room None Gaussian Salt & Pepper Localvar Speckle Motion Blur MSE PSNR SSIM GMSD UIQI VIF Πειραματικά Αποτελέσματα Μεθόδων Σύγκρισης Ποιότητας Εικόνων Στους παρακάτω πίνακες παρουσιάζονται τα αποτελέσματα τις κάθε μεθόδου σύγκρισης ποιότητας εικόνας χρησιμοποιώντας 8 διαφορετικούς θορύβους παραμόρφωσης σε 12 εικόνες με βάση την πρωτότυπη. 37

39 1) Αποτελέσματα εικόνας Lena με βάση την αρχική και τις παραμορφωμένες εικόνες. Πίνακας 1. τιμές παραμορφώσεων εικόνας Lena με τον θόρυβο που χρησιμοποιήθηκε σε σχέση με την μέθοδο σύγκρισης που εφαρμόστηκε. Sigma = 0.04 Filter = 3 Lena None Gaussian Salt & Pepper Localvar Speckle Poisson Motion Blur Erosion Dilation MSE PSNR SSIM GMSD UIQI VIF

40 2) Αποτελέσματα εικόνας Gold hill με βάση την αρχική και τις παραμορφωμένες εικόνες. Πίνακας 2. τιμές παραμορφώσεων εικόνας Gold hill με τον θόρυβο που χρησιμοποιήθηκε σε σχέση με την μέθοδο σύγκρισης που εφαρμόστηκε. Sigma = 0.04 Filter = 3 Gold hill None Gaussian Salt & Pepper Localvar Speckle Poisson Motion Blur Erosion Dilation MSE PSNR SSIM GMSD UIQI VIF

41 3) Αποτελέσματα εικόνας Mandrill με βάση την αρχική και τις παραμορφωμένες εικόνες. Πίνακας 3. τιμές παραμορφώσεων εικόνας Mandrill με τον θόρυβο που χρησιμοποιήθηκε σε σχέση με την μέθοδο σύγκρισης που εφαρμόστηκε. Sigma = 0.04 Filter = 3 Mandrill None Gaussian Salt & Pepper Localvar Speckle Poisson Motion Blur Erosion Dilation MSE PSNR SSIM GMSD UIQI VIF

42 4) Αποτελέσματα εικόνας Boat με βάση την αρχική και τις παραμορφωμένες εικόνες. Πίνακας 4. τιμές παραμορφώσεων εικόνας Boat με τον θόρυβο που χρησιμοποιήθηκε σε σχέση με την μέθοδο σύγκρισης που εφαρμόστηκε. Sigma = 0.04 Filter = 3 Boat None Gaussian Salt & Pepper Localvar Speckle Poisson Motion Blur Erosion Dilation MSE PSNR SSIM GMSD UIQI VIF

43 5) Αποτελέσματα εικόνας Barbara με βάση την αρχική και τις παραμορφωμένες εικόνες. Πίνακας 5. τιμές παραμορφώσεων εικόνας Barbara με τον θόρυβο που χρησιμοποιήθηκε σε σχέση με την μέθοδο σύγκρισης που εφαρμόστηκε. Sigma = 0.04 Filter = 3 Barbara None Gaussian Salt & Pepper Localvar Speckle Poisson Motion Blur Erosion Dilation MSE PSNR SSIM GMSD UIQI VIF

44 6) Αποτελέσματα εικόνας Pirate με βάση την αρχική και τις παραμορφωμένες εικόνες. Πίνακας 6. τιμές παραμορφώσεων εικόνας Pirate με τον θόρυβο που χρησιμοποιήθηκε σε σχέση με την μέθοδο σύγκρισης που εφαρμόστηκε. Sigma = 0.04 Filter = 3 Pirate None Gaussian Salt & Pepper Localvar Speckle Poisson Motion Blur Erosion Dilation MSE PSNR SSIM GMSD UIQI VIF

45 7) Αποτελέσματα εικόνας Peppers με βάση την αρχική και τις παραμορφωμένες εικόνες. Πίνακας 7. τιμές παραμορφώσεων εικόνας Peppers με τον θόρυβο που χρησιμοποιήθηκε σε σχέση με την μέθοδο σύγκρισης που εφαρμόστηκε. Sigma = 0.04 Filter = 3 Peppers None Gaussian Salt & Pepper Localvar Speckle Poisson Motion Blur Erosion Dilation MSE PSNR SSIM GMSD UIQI VIF

46 8) Αποτελέσματα εικόνας Lake με βάση την αρχική και τις παραμορφωμένες εικόνες. Πίνακας 8. τιμές παραμορφώσεων εικόνας Lake με τον θόρυβο που χρησιμοποιήθηκε σε σχέση με την μέθοδο σύγκρισης που εφαρμόστηκε. Sigma = 0.04 Filter = 3 Lake None Gaussian Salt & Pepper Localvar Speckle Poisson Motion Blur Erosion Dilation MSE PSNR SSIM GMSD UIQI VIF

47 9) Αποτελέσματα εικόνας Cameraman με βάση την αρχική και τις παραμορφωμένες εικόνες. Πίνακας 9. τιμές παραμορφώσεων εικόνας Cameraman με τον θόρυβο που χρησιμοποιήθηκε σε σχέση με την μέθοδο σύγκρισης που εφαρμόστηκε. Sigma = 0.04 Filter = 3 Cameraman None Gaussian Salt & Pepper Localvar Speckle Poisson Motion Blur Erosion Dilation MSE PSNR SSIM GMSD UIQI VIF

48 10) Αποτελέσματα εικόνας Living room με βάση την αρχική και τις παραμορφωμένες εικόνες. Πίνακας 10. τιμές παραμορφώσεων εικόνας Living Room με τον θόρυβο που χρησιμοποιήθηκε σε σχέση με την μέθοδο σύγκρισης που εφαρμόστηκε. Sigma = 0.04 Filter = 3 Livingroom None Gaussian Salt & Pepper Localvar Speckle Poisson Motion Blur Erosion Dilation MSE PSNR SSIM GMSD UIQI VIF

49 11) Αποτελέσματα εικόνας Jet plane με βάση την αρχική και τις παραμορφωμένες εικόνες. Πίνακας 11. τιμές παραμορφώσεων εικόνας Jet plane με τον θόρυβο που χρησιμοποιήθηκε σε σχέση με την μέθοδο σύγκρισης που εφαρμόστηκε. Sigma = 0.04 Filter = 3 Jetplane None Gaussian Salt & Pepper Localvar Speckle Poisson Motion Blur Erosion Dilation MSE PSNR SSIM GMSD UIQI VIF

50 12) Αποτελέσματα εικόνας Girl με βάση την αρχική και τις παραμορφωμένες εικόνες. Sigma = 0.04 Filter = 3 Πίνακας 12. τιμές παραμορφώσεων εικόνας Girl με τον θόρυβο που χρησιμοποιήθηκε σε σχέση με την μέθοδο σύγκρισης που εφαρμόστηκε. None Gaussian Girl Salt & Pepper Localvar Speckle Poisson Motion Blur Erosion Dilation MSE PSNR SSIM GMSD UIQI VIF

51 4.2 Γραφικές Παραστάσεις 1 ου Πειράματος MSE=260, PSNR=24 SSIM GMSD 1,5 0,2 1 0,5 0,15 0,1 0, UIQI VIF 1,5 1, ,5 0, MSE=170, PSNR=25 SSIM GMSD 1,5 0,2 1 0,5 0,15 0,1 0, UIQI VIF 1,5 1, ,5 0,

52 4.3 Γραφικές Παραστάσεις 2 ου Πειράματος MSE Lena Goldhill Mandrill Barbara Cameraman Livingroom Peppers Lake Jetplane Boat Girl Pirate Διαγράμματα διασποράς MSE PSNR Lena Goldhill Mandrill Barbara Cameraman Livingroom Peppers Lake Jetplane Boat Girl Pirate Διαγράμματα διασποράς PSNR 51

53 1,2 1 0,8 0,6 0,4 0,2 0 SSIM Lena Goldhill Mandrill Barbara Cameraman Livingroom Peppers Lake Jetplane Boat Girl Pirate MO SSIM Poly. (MO SSIM) Διαγράμματα διασποράς SSIM 0,35 0,3 0,25 0,2 0,15 0,1 0,05 0 GMSD Lena Goldhill Mandrill Barbara Cameraman Livingroom Peppers Lake Jetplane Boat Girl Pirate MO GMSD Poly. (MO GMSD) Διαγράμματα διασποράς GMSD 52

54 1,2 1 0,8 0,6 0,4 0,2 0 UIQI Lena Goldhill Mandrill Barbara Cameraman Livingroom Peppers Lake Jetplane Boat Girl Pirate Διαγράμματα διασποράς MSE 1,2 1 0,8 0,6 0,4 0,2 0 VIF Lena Goldhill Mandrill Barbara Cameraman Livingroom Peppers Lake Jetplane Boat Girl Pirate Διαγράμματα διασποράς VIF 53

55 Κεφάλαιο 5: Συμπεράσματα Σύνοψη 54

56 Κύριος στόχος αυτής της εργασίας ήταν η ανάπτυξη και η συγκριτική μελέτη μεθόδων αποτίμησης ποιότητας ψηφιακών εικόνων όσον αφορά την ποιότητα της εικόνας. Οι μέθοδοι MSE και PSNR είναι πολύ απλοί, εύκολοι να εφαρμοστούν και έχουν χαμηλή υπολογιστική πολυπλοκότητα. Όμως αυτοί οι μέθοδοι δεν δείχνουν καλά αποτελέσματα. Όπως φαίνεται στους πίνακες και στις γραφικές παραστάσεις του 1 ου πειράματος, όταν οι αρχικές εικόνες παραμορφώθηκαν με διάφορες στρεβλώσεις, έτσι ώστε η κάθε μια να προσαρμοστεί για να δώσει σχεδόν ταυτόσημη τιμή MSE και PSNR σε σχέση με την αρχική εικόνα. Παρά το γεγονός αυτό, οι εικόνες έχουν δραστικά διαφορετική αντιληπτική ποιότητα. Είναι σαφές λοιπόν ότι, τα αποτελέσματα των MSE και PSNR είναι πλήρως σε αντίθεση με το ανθρώπινο οπτικό σύστημα HVS, τιμές ποιότητας PSNR και MSE είναι ίδιες σε διάφορους τύπους παραμόρφωσης μολονότι έχουν διαφορετική οπτική αντίληψη. Ενώ, οι τιμές του MSE θα έπρεπε να είναι μικρότερες από την εφαρμογή κάποιον θορύβων που έχουνε εφαρμοστεί, σύμφωνα με το ανθρώπινο οπτικό σύστημα HVS ο MSE εμφανίζει εντελώς ασυμβίβαστα αποτελέσματα. οι MSE και PSNR είναι αποδεκτοί για το μέτρο ομοιότητας εικόνας μόνο όταν οι εικόνες διαφέρουν με την απλή αύξηση παραμόρφωση ενός ορισμένου τύπου. Αλλά αποτυγχάνουν να συλλάβουν την ποιότητα της εικόνας, όταν χρησιμοποιούνται για να μετρήσουν σε όλους τους τύπους παραμόρφωσης. Η μέθοδος SSIM λειτουργεί με ακρίβεια, μετρά καλύτερα σε όλους τους τύπους παραμόρφωσης σε σύγκριση με τις άλλες μεθόδους είναι πιο κοντά στην ανθρώπινη αντίληψη, αλλά αποτυγχάνει εν μέρει σε περίπτωση εξαιρετικά θολής εικόνας. Η μέθοδος UIQI είναι και αυτή μια αρκετά καλή και αξιόπιστη μέθοδος σύγκρισης ποιότητας εικόνας. Προέρχεται από την μέθοδο SSIΜ. Παρόλα αυτά δεν είναι καλύτερη από τον SSIM. Kαι o UIQI αποτυγχάνει σε περίπτωση θολής εικόνας περισσότερο από τον SSIM. Η μέθοδος GMSD παρουσιάζει και αυτή μεγάλη ακρίβεια και αποτελεσματικότητα. Κυμαίνεται και αυτή στο ίδιο επίπεδο με την μέθοδο UIQI. Η μέθοδος VIF από τα διαγράμματα διασποράς παρουσιάζει την καλύτερη συγκέντρωση σε σχέση με τις υπόλοιπες μεθόδους σε κάθε είδος θορύβου. Μόνο VIF έχει την ικανότητα να προβλέψει την οπτική ποιότητα εικόνας που έχει ενισχυθεί με μια πράξη ενίσχυσης της αντίθεσης. Από τα παραπάνω πειράματα συνάγεται το συμπέρασμα ότι, οι τιμές των μεθόδων MSE και PSNR παρουσιάζουν πολύ κακή συσχέτιση με το ανθρώπινο οπτικό σύστημα HVS. Οι τιμές των μεθόδων SSIM, VIF, GMSD και UIQI δεν δείχνουν επίσης την πλήρη συνοχή με το ανθρώπινο οπτικό 55

57 σύστημα HVS σε όλες τις παραμορφώσεις που εφαρμόστηκαν. Αυτό σημαίνει ότι όλοι οι παραπάνω μέθοδοι που εφαρμόστηκαν ξεχωριστά υστερούν σε κάποιους τύπους θορύβου σε παραμορφωμένες εικόνες. Θα πρέπει λοιπόν να εργαστούμε περισσότερο ώστε να πάρουμε πιο αντικειμενικές μετρήσεις ποιότητας εικόνας. 56

58 Βιβλιογραφία 1. Wang, Z. and Bovik, A. C. A universal image quality index. IEEE Signal Process. Lett., 2002, 9, Wang, Z., Bovik, A. C., Sheikh, H. D. and Simoncelli, E. P. Image quality assessment: from error visibility to structural similarity. IEEE Trans. Image Process., 2004, 13, Wang, Z., Simoncelli, E. P. and Bovik, A. C. Multiscale structural similarity for image quality assessment, Invited Paper, Proc. IEEE Asilomar Conf. on Signals, systems and computers, Pacific Grove, CA, USA, November 2003, IEEE, Vol. 2, pp Sheikh, H. D. and Bovik, A. C. Image information and visual quality. IEEE Trans. Image Process., 2006, 15, Sheikh, H. R., Sabir, M. F. and Bovik, A. C. A statistical evaluation of recent full reference image quality assessment algorithms. IEEE Trans. Image Process., 2006, 15, Sheikh, H. and Bovik, A., Image information and visual quality, Image Processing, IEEE Transactions on, 15, , Wang, Z. and Bovik, A., Mean squared error: Love it or leave it? a new look at signal fidelity measures, Signal Processing Magazine, IEEE, 26, , Wang, Z., "A Universal Image Quality Index," IEEE Signal Processing Letters, vol. 9, pp ,