Υλοποίηση, σύγκριση και αξιολόγηση αλγορίθμων εκτίμησης κίνησης σε ακολουθίες δισδιάστατων εικόνων ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΛΑΖΑΡΙΔΗΣ ΓΕΩΡΓΙΟΣ

Transcript

1 Αριστοτέλειο Πανεπιστήµιο Θεσσαλονίκης Πολυτεχνική Σχολή Τµήµα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Τοµέας Τηλεπικοινωνιών Υλοποίηση, σύγκριση και αξιολόγηση αλγορίθμων εκτίμησης κίνησης σε ακολουθίες δισδιάστατων εικόνων ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΛΑΖΑΡΙΔΗΣ ΓΕΩΡΓΙΟΣ ΕΠΙΒΛΕΠΩΝ ΚΑΘΗΓΗΤΗΣ : ΓΕΩΡΓΙΟΣ ΠΑΠΑΝΙΚΟΛΑΟΥ ΣΕΠΤΕΜΒΡΙΟΣ 2012 ΘΕΣΣΑΛΟΝΙΚΗ

2 Του μέλλοντος οι μέρες στέκοντ' εμπροστά μας σα μιά σειρά κεράκια αναμένα - χρυσά, ζεστά, και ζωηρά κεράκια. Κ.Π Καβάφης

3 Ευχαριστίες Αρχικά, θα ήθελα να ευχαριστήσω τον υποψήφιο διδάκτορα, Κωνσταντίνο Κωνσταντουδάκη, για την πολύτιμη βοήθεια του καθ όλη την διάρκεια εκπόνησης της διπλωματικής εργασίας. Η βοήθεια του κατά τη διάρκεια των πειραματικών μετρήσεων, η συμβολή του στην ανάπτυξη του κώδικα και οι γνώσεις του στο τομέα της επεξεργασίας εικόνας ήταν αναγκαίες για την περάτωση της παρούσας εργασίας. Η καθοδήγησή του από την αρχή της ανάθεσης του θέματος στάθηκε εφαλτήριο για το άλμα της έρευνας, της δημιουργίας και της ενασχόλησης μου με το αντικείμενο. Επίσης, ένα μεγάλο «ευχαριστώ» στην οικογένεια μου για την θερμή υποστήριξή τους και τη συνεχή ψυχολογική και ηθική συμπαράσταση και ανάταση που μου προσέφεραν κατά τη διάρκεια όλων αυτών των χρόνων και ιδιαίτερα στο διάστημα εκπόνησης της διπλωματικής εργασίας. Τέλος, ευχαριστώ τον κ. Γεώργιο Παπανικολάου, καθηγητή του τμήματος Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, για την εμπιστοσύνη που μου έδειξε δίνοντας μου τη δυνατότητα να εκπονήσω τη διπλωματική εργασία στον επιστημονικό τομέα που επιθυμούσα και την «εν κενώ» απόφασή του να μου αναθέσει την διπλωματική εργασία χωρίς δεύτερη σκέψη, κρίνοντας ορθά ότι είμαι ικανός να την φέρω εις πέρας και να με υποστηρίξει με όλη τη δύναμη που διέπει την προσωπικότητα του. Θεσσαλονίκη, 16/06/2012 i

4 Περιεχόμενα Ευχαριστίες ΚΕΦΑΛΑΙΟ 1 1 Εισαγωγή Αρχές Κωδικοποίησης Εκτίμηση Κίνησης Αντιστάθμιση Κίνησης... 8 ΚΕΦΑΛΑΙΟ Σύγκριση και ταύτιση μπλοκ Μέγεθος μπλοκ Κριτήρια Σφάλματος Mean Absolute Difference Mean Squared Error Sum of Absolute Difference ΈΈλεγχος Ποιότητας Κίνηση Προβολή κάμερας Κίνηση στο χώρο και κίνηση της κάμερας Αναπαράσταση και Πεδία κίνησης CIF Ακρίβεια υποεικονοστοιχείου ΚΕΦΑΛΑΙΟ 3 27 Γενικές Μεθοδολογίες Γενική επισκόπηση Three Step Search New Three Step Search Diamond Search Orthogonal Search One at a time Search Cross Search ΚΕΦΑΛΑΙΟ 4 35 Αλγόριθμοι Exhaustive Search Hierarchical Block Matching Algorithm Four-step Search (4SS) Phase Correlation Method Επισκόπηση μεθόδου Βασικές αρχές του συσχετισμού φάσης Υπολογίζοντας την κίνηση πολλών αντικειμένων Συναρτήσεις παραθύρων για τα μπλοκ της συσχέτισης φάσης ΚΕΦΑΛΑΙΟ 5 49 Ακολουθίες i ii

5 5.1 Foreman Bus Clairey Stefan ΚΕΦΑΛΑΙΟ 6 54 Πειράματα EBMA Four - Step Search HBMA Phase Correlation Method ΚΕΦΑΛΑΙΟ 7 93 Συμπεράσματα και μελλοντικές επεκτάσεις Βιβλιογραφία 96 Παράρτημα 98 iii

6 Κατάλογος Διαγραμμάτων 1.2.1: Διαδικασία κωδικοποίησης : Διαδικασία εκτίμησης κίνησης : Υπολογισμοί ανά μπλοκ για μεταβλητό μέγεθος μπλοκ 4x4, 8x8 και 16x16 για σταθερή περιοχή αναζήτησης με P = 4, P = 8 και P = : Υπολογισμοί ανά μπλοκ και χρόνος εκτέλεσης για μεταβλητό μέγεθος μπλοκ 4x4, 8x8 και 16x16 για σταθερή περιοχή αναζήτησης με P = 4, P = 8 και P = : Υπολογισμοί ανά μπλοκ με ακρίβεια ενός και μισού εικονοστοιχείου για μεταβλητό μέγεθος μπλοκ 4x4, 8x8 και 16x16 για σταθερή περιοχή αναζήτησης με P = 4, P = 8 και P = : Υπολογισμοί ανά μπλοκ για μεταβλητή περιοχή αναζήτησης με P = 4, P = 8 και P = 16 και σταθερό μέγεθος μπλοκ 4x4, 8x8 και 16x : PSNR για μεταβλητό μέγεθος μπλοκ 4x4, 8x8 και 16x16 και σταθερή περιοχή αναζήτησης με P = 4, P = 8 και P = : PSNR ακολουθιών για μέγεθος μπλοκ 4x4, 8x8 και 16x16 για σταθερή περιοχή αναζήτησης με P = : PSNR ακολουθιών για ακρίβεια ενός και μισού εικονοστοιχείου με σταθερό μέγεθος μπλοκ 8x8 και σταθερή περιοχή αναζήτησης με P = : Υπολογισμοί ανά μπλοκ για μεταβλητό μέγεθος μπλοκ 4x4, 8x : Υπολογισμοί ανά μπλοκ και χρόνος εκτέλεσης για μεταβλητό μέγεθος μπλοκ 4x4, 8x : PSNR για μεταβλητό μέγεθος μπλοκ 4x4, 8x8 και 16x : PSNR ακολουθιών για μέγεθος μπλοκ 4x4, 8x8 και 16x : Υπολογισμοί ανά μπλοκ για μεταβλητό μέγεθος μπλοκ 4x4, 8x8 και σταθερή περιοχή αναζήτσηης ίση με P = 4, P = 8 και P = : Υπολογισμοί ανά μπλοκ και χρόνος εκτέλεσης για μεταβλητό μέγεθος μπλοκ 4x4, 8x8 και 16x16 για σταθερή περιοχή αναζήτησης με P = 4, P = 8 και P = : PSNR για σταθερό μέγεθος μπλοκ 8x8, σταθερή περιοχή αναζήτησης με P = 8 και μεταβολή των επιπέδων : Υπολογισμοί ανά μπλοκ για σταθερό μέγεθος μπλοκ 8x8, σταθερή περιοχή αναζήτησης με P = 8 και μεταβολή των επιπέδων iv

7 6.3.5: Υπολογισμοί ανά μπλοκ για ακρίβεια ενός και μισού εικονοστοιχείου και σταθερό μέγεθος μπλοκ 8x8, σταθερή περιοχή αναζήτησης με P = : PSNR ακολουθιών για ακρίβεια ενός και μισού εικονοστοιχείου με σταθερό μέγεθος μπλοκ 8x8 και σταθερή περιοχή αναζήτησης με P = : Υπολογισμοί ανά μπλοκ για μέγεθος μπλοκ 8x8 και μεταβλητή περιοχή αναζήτσηης ίση με P = 4, P = 8 και P = : Υπολογισμοί ανά μπλοκ και χρόνος εκτέλεσης για μέγεθος μπλοκ 8x8 και μεταβλητή περιοχή αναζήτσηης ίση με P = 4, P = 8 και P = : PSNR για μέγεθος μπλοκ 8x8 και μεταβλητή περιοχή αναζήτσηης ίση με P = 4, P = 8 και P = : PSNR για μέγεθος μπλοκ 8x8 και μεταβλητή περιοχή αναζήτσηης ίση με P = 4, P = 8 και P =16 όλων των ακολουθιών συγκριτικά με τον ΕΒΜΑ : PSNR και υπολογισμοί για την ακολουθία Foreman με μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης ίση με P = 8 για όλους τους αλγορίθμους v

8 Κατάλογος Εικόνων 1.2.1: Διαφορά μεταξύ δύο διαδοχικών εικόνων : Λειτουργία I frame, P- frame, B frame : Μετατόπιση σε τωρινό καρέ και καρέ αναφοράς : Περιοχή αναζήτης ενός τωρινού μπλοκ στο καρέ αναφοράς : Τωρινό μπλοκ : Περιοχή αναζήτησης : Συντεταγμένες : Aperture problem : Γεωμετρία κάμερας : Τροχιά κίνησης και σχετιζόμενο διάνυσμα μετατόπισης : Προβολή τρισδιάστατου διανύσματος κίνησης στον δισδιάστατο χώρο : Τυπικές κινήσεις κάμερας : Διανυσματικό πεδίο που προκύπτει από ζουμ και από περιστροφή της κάμερας : Καθολική αναπαράσταση : Αναπαράσταση βασισμένη σε εικονοστοιχείο : Αναπαράσταση βασισμένη σε μπλοκ : Αναπαράσταση βασισμένη σε περιοχές : Μετατόπιση μπλοκ με ακρίβεια μισού εικονοστοιχείου : Παράδειγμα διγραμμικής παρεμβολής : Παράδειγμα αναζήτησης αλγορίθμου τριών βημάτων : Παράδειγμα αναζήτησης νέου αλγορίθμου τριών βημάτων : Παράδειγμα αναζήτησης διαμαντιού : Παράδειγμα ορθογώνιας αναζήτησης : Παράδειγμα της ανά μια φορά αναζήτησης : Παράδειγμα σταυρωτής αναζήτησης : Σάρωση πλέγματος : Σπιροειδής σάρωση : Αναζήτηση σε μη επικαλυπτόμενα μπλοκ vi

9 : Αναζήτηση σε επικαλυπτόμενα μπλοκ : Διαδικασία μείωσης της ανάλυσης σε κάθε επίπεδο της ιεραρχικής πυραμίδας : Επαναϋπολογισμός του διανύσματος κίνησης σε διαφορετικές αναλύσεις : Δύο διαφορετικά μονοπάτια αναζήτησης : Βήμα : Βήμα 2 ή : Βήμα 3 ή : Βήμα : Διάγραμμα ροής το αλγόριθμου των τεσσάρων βημάτων : Επιφάνεια συσχέτισης : Επίδραση του παραθύρου εξομάλυνσης στο σήμα : Anchor frame : Reference frame : Anchor frame : Reference frame : Anchor frame : Reference frame : Anchor frame : Reference frame : Καρέ αναφοράς : Τωρινό καρέ : Πεδίο διανυσμάτων κίνησης στην ακολουθία του Foreman για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης 8 εικονοστοιχεία προς κάθε κατεύθυνση : PSNR για την ακολουθία του Foreman για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης 8 εικονοστοιχεία προς κάθε κατεύθυνση : Καρέ αναφοράς : Τωρινό καρέ : Πεδίο διανυσμάτων για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης με P = : Καρέ πρόβλεψης για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης με P = : Καρέ αναφοράς vii

10 6.1.10: Τωρινό καρέ : Πεδίο διανυσμάτων για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης με P = : Καρέ πρόβλεψης για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης με P = : Καρέ αναφοράς : Τωρινό καρέ : Πεδίο διανυσμάτων για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης με P = : Καρέ πρόβλεψης για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης με P = : Πεδίο διανυσμάτων κίνησης στην ακολουθία του Foreman για μέγεθος μπλοκ 8x : PSNR για την ακολουθία του Foreman για μέγεθος μπλοκ 8x : Πεδίο διανυσμάτων για μέγεθος μπλοκ 8x : Καρέ πρόβλεψης για μέγεθος μπλοκ 8x : Πεδίο διανυσμάτων για μέγεθος μπλοκ 8x : Καρέ πρόβλεψης για μέγεθος μπλοκ 8x : Πεδίο διανυσμάτων για μέγεθος μπλοκ 8x : Καρέ πρόβλεψης για μέγεθος μπλοκ 8x : Πεδίο διανυσμάτων κίνησης στην ακολουθία του Foreman για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης με P = : PSNR για την ακολουθία του Foreman για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης με P = viii

11 Κατάλογος Πινάκων 2.1: Σύνολο τιμών σφάλματος MSE : Αναλύσεις CIF : Συγκεντρωτικά αποτελέσματα για μέγεθος μπολοκ ίσο με 8x8 και περιοχή αναζήτησης με P = : Συγκεντρωτικά αποτελέσματα για μέγεθος μπολοκ ίσο με 8x8 και περιοχή αναζήτησης με P = : Συγκεντρωτικά αποτελέσματα για μέγεθος μπολοκ ίσο με 4x4 και ακρίβεια ενός εικονοστοιχείου : Συγκεντρωτικά αποτελέσματα για μέγεθος μπολοκ ίσο με 8x8 και ακρίβεια ενός εικονοστοιχείου : Συγκεντρωτικά αποτελέσματα για μέγεθος μπολοκ ίσο με 16x16 και ακρίβεια ενός εικονοστοιχείου : Συγκεντρωτικά αποτελέσματα για μέγεθος μπολοκ ίσο με 4x4 και ακρίβεια μισού εικονοστοιχείου : Συγκεντρωτικά αποτελέσματα για μέγεθος μπολοκ ίσο με 8x8 και ακρίβεια μισού εικονοστοιχείου : Συγκεντρωτικά αποτελέσματα για μέγεθος μπολοκ ίσο με 16x16 και ακρίβεια μισού εικονοστοιχείου ix

12 Γλωσσάρι Accuracy Ακρίβεια Anchor Frame Τωρινό Καρέ Aperture Problem Πρόβλημα Διαφράγματος Application Specific Integrated Circuits.....Ειδικά Ενσωματωμένα Κυκλώματα Εφαρμογών Bi - Predictive Frame Καρέ που δημιουργούνται από προηγούμενο και επόμενο Blocksize Μέγεθος Μπλοκ Common Interface Format Μορφή Αρχείου Κοινών Διεπαφών Computations Υπολογισμοί Cross Search Σταυρωτή Αναζήτηση Diamond Search Αναζήτηση σε Μορφή Διαμαντιού Exaustive Block Matching Algorithm... Αλγόριθμος Εξαντλητικής Αναζήτησης Σύγκρισης και Ταύτισης Μπλοκ Field Programmable Gate Array Συστοιχία Επιτόπια Προγραμματιζόμενων Πυλών Four Step Search Algorithm Αλγόριθμος Αναζήτησης των Τεσσάρων Βημάτων Hierarchical Block Matching Algoritm.... Αλγόριθμος Ιεραρχικής Αναζήτησης Σύγκρισης και Ταύτισης Μπλοκ Intra Coded Frame Διακριτό Καρέ χωρίς αναφορά σε προηγούμενο ή σε επόμενο Joint Photographic Experts Group Κοινή Ομάδα Ειδικών στην Φωτογραφική Επιστήμη Mean Absolute Difference Μέση Απόλυτη Διαφορά Mean Squared Error Μέσο Τετραγωνικό Σφάλμα Motion Field Πεδίο Κίνησης Moving Pictures Experts Group Ομάδα Ειδικών στις Κινούμενες Εικόνες National Televistion System Commitee Εθνική Επιτροπή Συστήματος Τηλεόρασης New Three Step Search Νέα Αναζήτηση των Τριών Βημάτων One at a Time Search Μία τη Φορά Αναζήτηση Orthogonal Search Ορθογώνια Αναζήτηση x

13 Peak Signal-to-Noise Ratio Μέγιστη Σήματος προς Θόρυβο Αναλογία Phase Correlation Method Μέθοδος Συσχετισμού Φάσης Predicted Frame Καρέ Πρόβλεψης Reference Frame Καρέ Αναφοράς Search Area Περιοχή Αναζήτησης Sum of Absolute Differences ΆΆθροισμα των Απολύτων Διαφορών Time Χρόνος Three Step Search Αναζήτηση των Τριών Βημάτων xi

14 Περίληψη Στην παρούσα διπλωματική εργασία μελετάμε την ανίχνευση της κίνησης σε διαδοχικές εικόνες με σκοπό την εκτιμησή της και την εξαγωγή συμπερασμάτων που αφορούν τα διανύσματα κίνησης, την ακρίβεια, την ταχύτητα, την πολυπλοκότητα και την ευμάρεια των αλγορίθμων που υλοποιηθήκαν για το σκοπό αυτό. Μοντελοποιήσαμε και υλοποιήσαμε τέσσερις αλγόριθμους στο πρόγραμμα MATLAB για το σκοπό αυτό: i. Exhaustive Block Matching Algorithm ii. Four Step Logarithmic Search iii. Hierarchical Block Matching Algorithm iv. Phase Correlation Mehtod Οι αλγόριθμοι αυτοί αναλύουν το περιεχόμενο της εικόνας τόσο στο πεδίο του χρόνου όσο και στο πεδίο της συχνότητας και η ακρίβεια της ανάλυσης τους αναπτύχθηκε και συντάχθηκε στα πλαίσια του ενός ακέραιου εικονοστοιχείου και στου μισού εικονοστοιχείου. Διεξάγαμε πειράματα με διαφορετικές ακολουθίες εικόνων σε CIF (Common Intermediate Format) και QCIF (Quarter CIF) με διαφορετικές παραμέτρους και βελτιστοποιήσαμε και παραμετροποιήσαμε τους αλγορίθμους στο μέγιστο δυνατό βαθμό με σκοπό όχι μόνο απλά μια συγκριτική μελέτή αλλά και την απόκτηση νέας γνώσης στον απύθμενο τομέα της επεξεργασίας εικόνας. Τέλος, αναλύσαμε τα αποτελέσματα ώστε να αποφανθούμε για την ορθότητά και τη σημασία τους με σκοπό την μεταλαμπάδευση της γνώσης στον κόσμο της επιστήμης. xii

15 ΚΕΦΑΛΑΙΟ 1 Εισαγωγή Η εκτίμηση κίνησης είναι μια από τις βασικές τεχνικές που βοηθούν στην επίλυση των προβλημάτων που απαντώνται στη συμπίεση, την επεξεργασία βίντεο, αλλά και την υπολογιστική όραση. Η εξάλειψη του χρονικού πλεονασμού στο ψηφιακό βίντεο, ο εντοπισμός των κινούμενων αντικειμένων σε εφαρμογές παρακολούθησης, η σταθεροποίηση της εικόνας, αλλα και η τμηματοποίηση της κίνησης είναι μόνο μερικές εκ των πολλών βασικών λειτουργιών της εκτίμησης κίνησης, μιας και η γνώση της κίνησης που λαμβάνει χώρα στην εικόνα είναι ζωτικής σημασίας. Εισαγωγικά, μπορούμε να πούμε ότι είναι η διαδικασία κατά την οποία βρίσκουμε τα πραγματικά ή περίπου πραγματικά διανύσματα κίνησης χωρίζοντας την τωρινή εικόνα και την εικόνα αναφοράς σε μπλοκ και πραγματοποιώντας συγκρίσεις μεταξύ αυτών των μπλοκ με βάση ένα κριτήριο σφάλματος, ωστέ να αποφανθούμε ποιά εκ των μπλοκ μοιάζουν περισσότερο μεταξύ τους. Σημειώνουμε ότι εικόνα αναφοράς μπορεί να είναι μια προηγούμενη ή μια επόμενη εικόνα ανάλογα με το αν θέλουμε να κάνουμε εκτίμηση προς τα πίσω ή εκτίμηση προς τα μπροστά. Το κριτήριο του σφάλματος για ένα μπλοκ συνήθως το μετράμε χρησιμοποιώντας το μέσο τετραγωνικό σφάλμα (MSE 1 ), το σύνολο των απόλυτων διαφορών (SAD 2 ) ή κάποιο άλλο κριτήριο μεταξύ των πραγματικών και των προβλεπόμενων τιμών των εικονοστοιχείων για όλα τα εικονοστοιχεία στην περιοχή που γίνεται η εκτίμηση της κίνησης. Ωστόσο, οι απαιτήσεις αυτών των εφαρμογών διαφέρουν σημαντικά. Τα διανύσματα κίνησης πρέπει να αντιπροσωπεύουν την πραγματική κίνηση που γίνεται στην ακολουθία των εικόνων, αλλιώς οι αλγόριθμοι δεν θα δώσουν τα αναμενόμενα αποτελέσματα. Η διαδικασία αυτή θα εξηγηθεί και θα μελετηθεί εκτενώς στη συνέχεια της παρούσας εργασίας. Αρχικά, θα κάνουμε μια ενδελεχή περιγραφή όλων των εννοιών που απαρτίζουν το θεωρητικό υπόβαθρο της μελετης μας και στη συνέχεια θα περάσουμε στο πειραματικό κομμάτι. 1 Mean Sqare Error 2 Sum of Absolute Differences 1

16 1.1 Αρχές Κωδικοποίησης Σε αυτό το σημείο, αξίζει να αναφέρουμε μερικές αρχές που διέπουν την κωδικοποίηση του ψηφιακού βίντεο καθώς η εκίμηση της κίνησης προέκυψε επιτακτικά ως ανάγκη για τη βελτιστοποίηση αυτής διαδικασίας. ΌΌπως είναι ευρέως γνωστό, η σημασία της κωδικοποίησης του ψηφιακού βίντεο έχει αυξηθεί δραματικά από τότε που εισήλθε στο χώρο της ψηφιακής επεξεργασίας εικόνας το MPEG-1 3 στη δεκαετία του 90. Αυτό είχε μεγάλη επίπτωση στην τελική παράδοση του βίντεο, στην αποθήκευση αλλά και στην παρουσίαση αυτού[2]. Συγκρινόμενο με το αναλογικό βίντεο, η κωδικοποίηση του ψηφιακού επιτυγχάνει μεγαλύτερους ρυθμούς συμπίεσης δεδομένων χωρίς σημαντικές απώλειες στην ανθρώπινη υποκειμενικότητα της ποιότητας της εικόνας. Αυτό πρακτικά μειώνει σε μεγάλο βαθμό την ανάγκη για υψηλό εύρος ζώνης σε σχέση με την παράδοση του αναλογικού βίντεο. Με αυτό το σημαντικό χαρακτηριστικό εν όψη, πολλές εφαρμογές έχουν αναδυθεί. Μερικά παραδείγματα αυτών είναι η αναπαραγωγή βίντεο από οπτικούς δίσκους, η τηλεσυνδιάσκεψη μέσω δικτύων, ο διαμοιρασμός βίντεο από χρήστη σε χρήστη, η αναμετάδοση τηλεοπτικού σήματος σε κινητά κ.ά. Η συγκεκριμένη φύση που διέπει τις εφαρμογές βίντεο έχει οδηγήσει στην ανάπτυξη συστημάτων επεξεργασίας βίντεο που έχουν διαφορετικό μέγεθος, επιδόσεις, ποιότητα, κατανάλωση ενέργειας και φυσικά κόστος. Η ψηφιοποίηση των σκηνών βίντεο ήταν ένα αναπόφευκτο βήμα καθώς έχει πολλά πλεονεκτήματα έναντι του αναλογικού βίντεο. Το ψηφιακό βίντεο έχει πρακτικά ανοσία στο θόρυβο, είναι ευκολότερο να μεταδωθεί και είναι ικανό να παρέχει ένα πολύ πιο διαδραστικό περιβάλλον στους χρήστες. Επιπλέον, η ποσότητα του περιεχόμενου βίντεο, π.χ τηλεοπτικό περιεχόμενο, μπορεί να αυξηθεί αρκετά μέσω τεχνικών βελτιωμένης συμπίεσης βίντεο, επειδή το εύρος ζώνης που απαιτείται για την παράδοση του αναλογικού βίντεο μπορεί να χρησιμοποιηθεί για περισσότερα ψηφιακά κανάλια. Με τα σημερινά εξελιγμένα συστήματα συμπίεσης βίντεο, οι τελικοί χρήστες μπορούν επίσης να διαμοιράζουν, να επεξεργάζονται και να αποστέλλουν βίντεο σε άλλους χρήστες μέσω του ίντερνετ ή άλλων δικτύων. Αντίθετα, τα αναλογικά σήματα είναι πολύ δύσκολα στον χειρισμό και την μετάδοση. ΌΌλα αυτά καθιστούν φανερή τη σημασία της εκτίμησης κίνησης στο κόσμο της ψηφιακής επεξεργασίας εικόνας. Γενικά, η συμπίεση βίντεο είναι μια τεχνολογία μετατροπής των ψηφιακών σημάτων που στοχεύει στο να διατηρήσει την αρχική ποιότητα του βίντεο κάτω από ένα σύνολο περιορισμών όπως π.χ περιορισμούς στο μέγεθος, περιορισμούς στην χρονική καθυστέρηση ή περιορισμούς στην υπολογιστική ισχύ. Εκμεταλλεύεται τον πλεονασμό δεδομένων μεταξύ δύο διαδοχικών 3 Moving Pictures Expert Group 2

17 Αρχές Κωδικοποίησης εικόνων για να μειώσει την ανάγκη για (αποθηκευτικό) χώρο εφαρμόζοντας υπολογιστικές μεθόδους. Η σχεδίαση ενός τέτοιου συστήματος συμπίεσης δεδομένων υπό φυσιολογικές συνθήκες περιλαμβάνει μια δίκαιη ανταλλαγή μεταξύ ποιότητας, ταχύτητας, χρησιμοποίησης πόρων και κατανάλωσης ενέργειας. Σε μια σκηνή βίντεο, ο πλεονασμός των δεδομένων προκύπτει από χωρική, χρονική ή στατιστική συσχέτιση μεταξύ εικόνων. Αυτές οι συσχετίσεις επεξεργάζονται ξεχωριστά επειδή διαφέρουν στα χαρακτηριστικά τους. Με την πάροδο των ετών, έχουν προταθεί ή και υλοποιηθεί διάφορες υβριδικές αρχιτεκτονικές από την πρώτη ακόμα γενιά των επίσημων προτύπων που αφορούν την κωδικοποίηση βίντεο με κύριο αντιπρόσωπο το MPEG. ΌΌπως είναι γνωστό, το MPEG αποτελείται από τρία βασικά μέρη που αφορούν τη μείωση το πλεονασμού δεδομένων. Η εκτίμηση κίνησης και η αντιστάθμιση κίνησης χρησιμοποιούνται για να μειώσουν τον χρονικό πλεονασμό μεταξύ διαδοχικών εικόνων στο πεδίο του χρόνου. ΈΈπειτα, η κωδικοποίηση με βάση μετασχηματισμούς χρησιμοποιείται για να μειώσει τη χωρική εξάρτηση μέσα στην ίδια την εικόνα στο πεδίο του χώρου. Τέλος, η κωδικοποίηση εντροπίας χρησιμοποιείται για να μειώσει το στατιστικό πλεονασμό που προκύπτει στο προκύπτει και στα δεδομένα της συμπίεσης. Αυτή είναι μια τεχνική συμπίεσης χωρίς απώλειες που χρησιμοποιείται κατά κόρον στην συμπίεση αρχείων. ΌΌσον αφορά το υλικό, τα συστήματα συμπίεσης βίντεο μπορούν να υλοποιηθούν με κυκλώματα ASIC 4 και με FPGA 5 τεχνολογίες έτσι ώστε με βάση την επιθυμητή ποιότητα, να είναι δυνατή η κωδικοποιήση βίντεο σε πραγματικό χρόνο και σε επίπεδο λογισμικού αλλά και σε επίπεδο υλικού. Πλεονεκτήματα σε διάφορους κωδικοποιητές προκύπτουν συνεχώς από τότε που το ίντερνετ και γενικότερα διάφορα είδη δικτύων έχουν μπει στη ζωή μας. Ως αποτέλεσμα, τα πρότυπα H.264 και MPEG-4 αναπτύχθηκαν για να ανταποκρίνονται στις εφαρμογές των δικτύων αυτών μέσω μιας επαυξημένης ικανότητας στη συμπίεση και την ποιότητα της εικόνας κάτω από πολύ χαμηλούς ρυθμούς bit. Δυστυχώς όμως, η πολυπλοκότητα των τελευταίων κωδικοποιητών βίντεο για εφαρμογές δικτύων έχει αυξηθεί δραματικά σε σχέση με τα προηγούμενα πρότυπα όπως το MPEG-1 και το MPEG-2. Τέλος, αξίζει να σημειώσουμε ότι οι κωδικοποιήσεις σε πραγματικό χρόνο και με χαμηλή ισχύ δημιουργούν μεγάλες προκλήσεις τόσο στους μηχανικούς λογισμικού όσο και στους μηχανικούς υλικού. 4 Αpplication-specific integrated cicuit 5 Field programmable gate array 3

18 1.2 Εκτίμηση Κίνησης Ανάμεσα σε όλα τα τμήματα του κωδικοποιητή βίντεο, η εκτίμηση κίνησης[10] είναι η πιο απαιτητική εργασία και αποτελεί το πρώτο επίπεδο της όλης διαδικασίας κωδικοποίησης. Είναι επίσης το κομμάτι που επηρεάζει την ποιότητα του βίντεο και την αποτελεσματικότητα της συμπίεσης. Σε αυτό το σημείο θα αναφέρουμε τη διαδικασία που επιτελεί ο εκτιμητής κίνησης. Η βασική ιδέα ολόκληρης της διαδικασίας φαίνεται παρακάτω στο μπλοκ διάγραμμα Διάγραμμα : Διαδικασία κωδικοποίησης ΌΌσον αφορά την εκτίμηση, λοιπόν, αυτή υπολογίζει την κίνηση στην τωρινή εικόνα σε σχέση πάντα με την εικόνα αναφοράς και δημιουργείται μια ανακατασκευασμένη εικόνα κίνησης για την τωρινή η οποία χτίζεται από μπλοκ της εικόνας αναφοράς. Αυτές οι εικόνες αναφοράς μπορεί να είναι προηγούμενες ή μελλοντικές εικόνες όπως ειπαμε. Οι στόχοι σχεδίασης που θέτουμε για έναν αλγόριθμο εκτίμησης κίνησης είναι να είναι ικανός να μοντελοποιήσει την τωρινή εικόνα όσο το δυνατόν πιο εύστοχα και με ακρίβεια, διατηρώντας μια αποδεκτή υπολογιστική πολυπλοκότητα. Τα διανύσματα κίνησης για τα μπλοκ που χρησιμοποιηθήκαν για την εκτίμηση κίνησης αναμεταδίδονται, όπως επίσης και η διαφορά της ανακατασκευασμένης και της τωρινής εικόνας που κωδικοποιούνται και αποστέλλονται. Η κωδικοποιημένη εικόνα που αποστέλλεται, αποκωδικοποιείται στον κωδικοποιητή και χρησιμοποιείται σαν εικόνα αναφοράς για τις επόμενες εικόνες. Ο αποκωδικοποιητής αντιστρέφει την 4

19 Εκτίμηση Κίνησης διαδικασία και δημιουργεί μια πλήρη εικόνα. Για την εύρεση του ιδανικού διανύσματος κίνησης, η βασική ιδέα είναι να υπολογιστεί το σφάλμα πρόβλεψης του μπλοκ για κάθε διάνυσμα κίνησης μέσα σε μια συγκεκριμένη περιοχή αναζήτησης της εικόνας και να επιλεχθεί αυτό που έχει την καλύτερη αναλογία λάθους και σε μερικές περιπτώσεις και αριθμού από bit που χρειάζονται για τα δεδομένα του διανύσματος κίνησης του. Η όλη ιδέα, λοιπόν, που κρύβεται πίσω από τη συμπίεση βίντεο βασισμένη στην εκτίμηση κίνησης είναι να γλιτώσουμε bits με το να στέλνουμε κωδικοποιημένες εικόνες διαφορών οι οποίες έχουν μικρότερο ενεργειακό περιεχόμενο και μπορούν να υποστούν μεγαλύτερη συμπίεση σε σχέση με το να αποστείλλουμε μια πλήρη εικόνα. Αναφέρουμε ότι το Motion JPEG 6, όπου όλες οι εικόνες κωδικοποιούνται κατά JPEG, επιτυγχάνει αναλογίες συμπίεσης μεταξύ 10:1 και 15:1, ενώ το MPEG μπορεί να επιτύχει αναλογίες συμπίεσης της τάξης του 30:1. Παρακάτω, στο σχήμα φαίνεται το μπλοκ διάγραμμα με το οποίο γίνεται η εκτίμηση κίνησης. Διάγραμμα Διαδικασία εκτίμησης κίνησης Συνεχίζοντας πιο αναλυτικά με την περιγραφή, η ροή των εικόνων, δηλαδή το ασυμπίεστο βίντεο που έρχεται ως είσοδος, περνάει από αφαίρεση του χρονικού πλεονασμού με την εκμετάλλευση των ομοιοτήτων μεταξύ δύο γειτονικών εικόνων όπως είπαμε. Ο χρονικός πλεονασμός προκύπτει καθώς η διαφορά μεταξύ δύο διαδοχικών εικόνων είναι πολύ μικρή και οι εικόνες μοιάζουν αρκετά μεταξύ τους, όπως φαίνεται στην εικόνα 1.2.1, αφού ειδικά σε μεγάλους ρυθμούς προβολής εικόνων τα αντικείμενα στη σκηνή κάνουν μικρές μετατοπίσεις. Με την εκτίμηση κίνησης, η διαφορά μεταξύ διαδοχικών 6 Joint Photographic Experts Group 5

20 Εκτίμηση Κίνησης εικόνων μπορεί να γίνει ακόμα μικρότερη. Η συμπίεση επιτυγχάνεται με την πρόβλεψη της επόμενης εικόνας σε σχέση με την αρχική. Τα δεδομένα που προκύπτουν από αυτήν την πρόβλεψη είναι το κατάλοιπο μεταξύ της τωρινής εικόνας, της εικόνας αναφοράς και μια ομάδα από διανύσματα κίνησης τα οποία αναπαριστούν την κατεύθυνση της προβλεπόμενης κίνησης. Αξίζει να σημειωθεί ότι η διαδικασία της εύρεσης του διανύσματος κίνησης εξαρτάται αποκλειστικά από τον αλγόριθμο που θα επιλεχθεί. Η πρώτη εικόνα αποστέλλεται πάντα ολόκληρη, όπως επίσης και κάποιες άλλες ανάμεσα σε τακτά χρονικά διαστήματα (π.χ κάθε 6 η εικόνα). Το πρότυπο που χρησιμοποιείται δεν συγκεκριμενοποιεί το διάστημα αυτό, καθώς αυτό μπορεί να αλλάζει από βίντεο σε βίντεο ανάλογα με τη δυναμική του. Οι εικόνες πρόβλεψης που προκύπτουν από την εκτίμηση κίνησης ονομάζονται P-frames 7. Καθώς η συσχέτιση μεταξύ γειτονικών εικόνων είναι εξαιρετικά μεγάλη, η συμπίεση σε αυτό το επίπεδο έχει μεγάλη επίδραση στην όλη διαδικασία του συστήματος συμπίεσης. f(t-1) f(t) f(t) f(t 1) Εικόνα : Διαφορά μεταξύ δύο διαδοχικών εικόνων Γι αυτό το λόγο, πολλοί αλγόριθμοι και διάφορετικές αρχιτεκτονικές έχουν προταθεί για να βελτιστοποιηθεί αυτή η διαδικασία. Βέβαια, με τη σταδιακή πρόοδο και τη βελτίωση των προτύπων που επιβάλλονται στους κωδικοποιητές βίντεο, οι απαιτήσεις της εκτίμησης κίνησης έχουν αυξηθεί επίσης σε πολύ μεγάλο βαθμό, πράγμα που συνεπάγεται βελτιστοποιήσεις τόσο στους αλγορίθμους (λογισμικό) αλλά και στις αρχιτεκτονικές (υλικό) για να μπορούν να ανταπεξέρχονται σε αυτήν την αυξημένη πολυπλοκότητα που έχει προκύψει. 7 Predicted Frame 6

21 Εκτίμηση Κίνησης Η ταχύτητα και η ενέργεια κατανάλωσης είναι πολυ σημαντικές παράμετροι στους κωδικοποιητές, ειδικά σε αυτούς που λειτουργούν σε φορητές συσκευές. Τις περισσότερες φορές, οι υλοποιήσεις κωδικοποιητών βίντεο σε επίπεδο λογισμικού καταλήγουν στο να καταναλώνουν μεγάλα ποσά ενέργειας και να είναι ιδιαίτερα αργοί. ΈΈτσι, για να λυθούν αυτά τα προβλήματα, χρειαζόμαστε το υλικό. Το υλικό, λοιπόν, μπορεί να παραλληλοποιήσει τις διεργασίες και χρησιμοποιώντας παραμέτρους ειδικά κατασκευασμένας για τη φύση του, να αυξήσει δραστικά την απόδοση. Συνεπώς, υλικό και λογισμικό μαζί, μειώνουν όχι μόνο το μεγάλο εύρος ζώνης αλλά κυρίως τη σπατάλη ενέργειας που συνοδεύει την μεταγλώττιση του λογισμικού σε επίπεδο εντολών. Παρατηρούμε δηλαδή ότι με τη χρήση συγκεκριμένου λογισμικού που έχει γραφεί για συγκεκριμένο υλικό, αλλά και υλικό που έχει κατασκευαστεί για να επιτελεί τις λειτουργίες τους συγκεκριμένου λογισμικού το κέρδος από όλες τις σκοπιές είναι τεράστιο. Από τότε που εισήχθησαν εξελιγμένες και νέες τεχνικές εκτίμησης κίνησης στους τελευταίας τεχνολογίας κωδικοποιητές όπως είναι ο MPEG-4 και ο H.264, οι προηγούμενες αρχιτεκτονικές εκτίμησης κίνησης δεν είναι πλέoν εφαρμόσιμες. Αυτό έχει σαν αποτέλεσμα, μια οικόγενεια νέων αρχιτεκτονικών εκτίμησης κίνησης που προτείνονται ανάλογα με τις απαιτήσεις τις εκάστοτε εφαρμογής ενώ παράλληλα χρησιμποιούν υπεραποτελεσματικά τους πόρους της. Συνοψίζοντας, η διαδικασία με το μεγαλύτερο υπολογιστικό κόστος και με τη μεγαλύτερη ανάγκη για πόρους σε ολόκληρη τη διαδίκασια της κωδικοποίησης και της συμπίεσης είναι η εκτίμηση της κίνησης. ΈΈτσι, ο τομέας αυτός έχει τραβήξει το ενδιαφέρον των ερευνητών και έχει τη μεγαλύτερη ερευνητική δραστηριότητα τις τελευταίες δύο δεκαετίες. Στην εργασία αυτή, υλοποιήσαμε και μελετήσαμε αλγόριθμους που αφορούν την εκτίμηση κίνησης και ανήκουν στην δημοφιλή κατηγορία τον αλγορίθμων σύγκρισης και ταύτισης μπλοκ περιλαμβάνοντας τον αλγόριθμο της Εξαντλητικής Αναζήτησης, τον αλγόριθμο των Τεσσάρων Βημάτων, τον αλγόριθμο της Ιεραρχικής σύγκρισης και ταύτισης μπλοκ και τον αλγόριθμο που υλοποιεί τη μέθοδο συσχετισμού φάσης. Περισσότερα για τους αλγόριθμους αυτούς θα ακολουθήσουν στα επόμενα κεφάλαια της διπλωματικής εργασίας. 7

22 1.3 Αντιστάθμιση Κίνησης Η αντιστάθμιση κίνησης[28] περιγράφει μια εικόνα με τον εξής απλό τρόπο: από ποιό σημείο της προηγούμενης εικόνας προήλθε το κάθε κομμάτι της τωρινής. Τόσο απλά. Αυτή είναι και η λογική που επιστρατεύεται κυρίως στη συμπίεση βίντεο. Μια ακολουθία βίντεο αποτελείται από έναν αριθμό εικόνων που συνήθως καλούνται καρέ όπως είναι γνωστό. ΌΌπως έχουμε αναφέρει ήδη, τα γειτονικά καρέ μοιάζουν αρκετά μεταξύ τους, πράγμα που σημαίνει ότι περιέχουν αρκετό πλεονασμό δεδομένων. Αφαιρώντας αυτόν τον πλεονασμό καταφέρνουμε να επιτύχουμε καλύτερες αναλογίες συμπίεσης. Μια πρώτη προσέγγιση που κάναμε, ήταν απλά να αφαιρέσουμε ένα καρέ αναφοράς από ένα άλλο καρέ. Η διαφορά αυτή όπως είπαμε καλείται κατάλοιπο και μπορεί να κωδικοποιηθεί σε χαμηλό ρυθμό bit με την ίδια ποιότητα ενώ ο αποκωδικοποιητής μπορεί να ανακατασκευάσει το αρχικό καρέ προσθέτοντας ξανά το καρέ αναφοράς στο κατάλοιπο. Μια πιο επιστημονική προσέγγιση είναι να μοντελοποιήσουμε την κίνηση ολόκληρης της σκηνής και των αντικειμένων σε μια ακολουθία βίντεο. Η κίνηση περιγράφεται από κάποιες παραμέτρους, οι οποίες πρέπει να κωδικοποιηθούν και αυτές μαζί με την μετάδωση των υπόλοιπων bit. Τα εικονοστοιχεία του καρέ πρόβλεψης προσεγγίζονται με σωστά μετατοπισμένα εικονοστοιχεία στο καρέ αναφοράς. Αυτό μας δίνει πολύ καλύτερα αποτελέσματα από μια απλή αφαίρεση. Ωστόσο, ο ρυθμός bit που καταλαμβάνουν οι παράμετροι του μοντέλου κίνησης δεν πρέπει να είναι πολύ μεγάλος. Συνήθως, τα καρέ τα επεξεργαζόμαστε ανά ομάδες. ΈΈνα καρέ, συνήθως το πρώτο, κωδικοποιείται χωρίς αντιστάθμιση κίνησης σαν μια κανονική εικόνα. Αυτό το καρέ ονομάζεται I frame 8. Τα υπόλοιπα καρέ ονομάζονται P-frames και προκύπτουν με πρόβλεψη από το I-frame ή το P- frame που ακολουθεί ακριβώς πριν από αυτό. Τα μοτίβα της πρόβλεψης, για παράδειγμα, περιγράφονται ως IPPPP, που σημαίνει ότι η συγκεκριμένη ομάδα αποτελείται από ένα I-frame που ακολουθείται από τέσσερα P-frames. Καρέ μπορούν επίσης να προβλεφθούν και από μελλοντικά καρέ. Τα μελλοντικά καρέ πρέπει τότε να κωδικοποιηθούν πριν από τα καρέ πρόβλεψης και κατ αυτόν τον τρόπο η σειρά κωδικοποιήσης δεν ανταποκρίνεται απαραίτητα στην πραγματική σειρά που έχουν τα καρέ. Τέτοιου είδους καρέ συνήθως προκύπτουν από πρόβλεψη και στις δύο κατευθύνσεις και ονομάζονται B-frames. Στην εικόνα φαίνεται η λειτουργία των I-frame, P- frame και B-frame 9. 8 Intra Coded frame 9 Bi Predictive frame 8

23 Αντιστάθμιση Κίνησης -frame µ I- P- frames P-frame B-frame Εικόνα : Λειτουργία I frame, P- frame, B - frame 9

24 ΚΕΦΑΛΑΙΟ Σύγκριση και ταύτιση μπλοκ Η σύγκριση και η ταύτιση των μπλοκ είναι το πιο χρονοβόρο κομμάτι της διαδιασίας εκτίμησης της κίνησης[2][7][16][28]. Κατά τη διαδικασία αυτή, η εικόνες χωρίζονται σε μπλοκ και κάθε μπλοκ του τωρινού καρέ συγκρίνεται με τα μπλοκ του καρέ αναφοράς με σκοπό να βρεθεί ένα μπλοκ που να ταιριάζει. ΌΌταν το τωρινό καρέ ανακατασκευάζεται από τον δέκτη, αυτό το μπλοκ που βρέθηκε να ταιριάζει από το καρέ αναφοράς χρησιμοποιείται σαν υποκατάστατο. Η διαδικασία λαμβάνει χώρα μόνο στο κομμάτι που αφορά τη συνιστώσα της φωτεινότητας των καρέ. Οι χρωματικές συνιστώσες των μπλοκ συμπεριλαμβάνονται όταν κωδικοποιείται το καρέ αλλά δεν χρησιμοποιούνται όταν γίνεται η αξιολόγηση των υποψηφίων μπλοκ. Στην εικονά βλέπουμε μια μετατόπιση σε ένα τωρινό και ένα καρέ αναφοράς, καθώς και την περιοχή αναζήτησης στο καρέ αναφοράς. Η αναζήτηση μπορεί να γίνει σε όλο το καρέ αναφοράς, αλλά συνήθως περιορίζεται σε μια μικρότερη περιοχή αναζήτησης που έχει ως κέντρο την θέση του τωρινού μπλοκ στο τωρινό καρέ. Αυτή η μέθοδος τοποθετεί ένα άνω όριο, γνωστό και ως «μέγιστη μετατόπιση» σχετικά με το πόσο μακριά μπορούν να μετακινηθούν τα αντικείμενα στα δύο καρέ, καθώς θέλουμε να έχουμε μια πιο αποτελεσματική εκτίμηση και κατ επέκταση κωδικοποιήση. Η μέγιστη μετατόπιση ορίζεται ως ο μέγιστος αριθμός των εικονοστοιχείων στον οριζόντιο και στον κάθετο άξονα που μπορεί να μετατοπιστεί ένα υποψήφιο μπλοκ από τη θέση του τωρινού μπλοκ στο τωρινό καρέ. Η ποιότητα της ταύτισης μπορεί να βελτιωθεί με παρεμβολή εικονοστοιχείων στην περιοχή αναζήτησης, αυξάνοντας επαρκώς την ανάλυση στην περιοχή αναζήτησης, επιτρέποντας έτσι την υποθετικά ύπαρξη υποψήφιων μπλοκ με κλασματικές μετατοπίσεις. 10

25 Σύγκριση και Ταύτιση Μπλοκ Backward motion estimation Time t Δt Time t Time t Δt x d(x; t, t Δt) x d(x; t, t Δt) x Target frame Anchor frame Forward motion estimation Target frame Εικόνα : Μετατόπιση σε τωρινό καρέ και καρέ αναφοράς Η σύγκριση και ταύτιση μπλοκ είναι το κομμάτι με το μεγαλύτερο υπολογιστικό κόστος όσον αφορά την εκτίμηση της κίνησης μιας ακολουθίας βίντεο και κατ επέκταση και το πιο χρονοβόρο. Στη μέθοδο αυτή, όπως προαναφέραμε, το μπλοκ στο τωρινό καρέ συγκρίνεται με τα μπλοκ στο καρέ αναφοράς προσπαθώντας να βρει ένα μπλοκ που να μοιάζει όσο το δυνατόν πιο πολύ με αυτό, έχοντας ως μέτρο σύγκρισης ένα κριτήριο σφάλματος. Το μπλοκ, λοιπόν, με το μικρότερο σφάλμα όνομάζεται βέλτιστο ταίρι. Αυτή, λοιπόν, η διαδικασία επαναλαμβάνεται για όλα τα μπλοκ στο τωρινό καρέ. Για να μειωθεί το υπολογιστικό φορτίο της μεθόδου σύγκρισης και ταύτισης μπλοκ, συνήθως ψάχνουμε σε μια μικρή περιοχή αναζήτησης αντί για ολόκληρο το καρέ. Η μικρή αυτή περιοχή αναζήτησης ονομάζεται παράθυρο αναζήτησης όπως φαίνεται στην εικόνα Συνήθως είναι τετραγωνικού σχήματος με συγκεκριμένο μέγεθος αλλά υπάρχουν κάποιοι αλγόριθμοι με παράθυρα αναζήτησης που ποικίλλουν σε μέγεθος και σχήμα. Για να μειώσουμε ακόμα περισσότερο το υπολογιστικό φορτίο, μερικά στοιχεία του παραθύρου αναζήτησης δεν εξετάζονται. Τέτοιου είδους αλγόριθμοι έχουν αναπτυχθεί και προταρχικός τους στόχος είναι να σιγουρεύουν ότι θα εξεταστούν όσο το δυνατόν λιγότερα στοιχεία, διατηρώντας ταυτόχρονα αποδεκτή ποιότητα. Αυτοί οι αλγόριθμοι ονομάζονται γρήγοροι αλγόριθμοι σύγκρισης και ταύτισης μπλοκ. 11

26 Σύγκριση και Ταύτιση Μπλοκ search range in previous frame S k 1 block of current frame S Εικόνα 2.1.2: Περιοχή αναζήτης ενός τωρινού μπλοκ στο καρέ αναφοράς Ανάμεσα στα πιο δημοφιλή πρότυπα κωδικοποίησης βίντεο (Η.261, Η.263, MPEG-2 και MPEG-4), οι λειτουργίες της εκτίμησης και αντιστάθμισης κίνησης εκτελούνται με μπλοκ μεγέθους 8 x 8 ή 16 x 16 εικονοστοιχείων στο τωρινό καρέ. Για κάθε μπλοκ, λοιπόν, ο αλγόριθμος της εκτίμησης κίνησης ψάχνει σε μια γειτονική περιοχή του καρέ αναφοράς για μια περιοχή ίδιου μεγέθους που να ταιριάζει όσο το δουνατόν περισσότερο. Το βέλτιστο ταίρι είναι αυτό που ελαχιστοποιεί το σφάλμα της διαφοράς μεταξύ των δύο μπλοκ. Η περιοχή στην οποία λαμβάνει χώρα η αναζήτηση έχει κέντρο γύρο από το τωρινό μπλοκ επειδή υπάρχει μεγάλη πιθανότητα να βρεθεί ένα σωστό ταίρι στην άμεση γειτονική περιοχή του τωρινού μπλοκ, καθώς υπάρχει μεγάλη ομοιότητα μεταξύ γειτονικών καρέ. Δηλαδή, σε δύο διαδοχικά καρέ, η μετατόπιση ενός αντικειμένου (για φυσιολογικές κινήσεις) δε μπορεί να είναι μεγαλύτερη από ένα συγκεκριμένο κατώφλι. Το κατώφλι αυτό είναι η περιοχή αναζήτησής μας. Θα μπορούσαμε φυσικά να ψάχνουμε σε όλη την εικόνα αλλά το υπολογιστικό φορτίο είναι πολύ μεγάλο αν πραγματοποιηθεί μια τέτοιου είδους αναζήτηση. Παρακάτω βλέπουμε την διαδικάσια της σύγκρισης και ταύτισης μπλοκ με ένα παράδειγμα. Το τωρινό μπλοκ, στην περίπτωσή του παραδείγματος μας έχει μέγεθος 3 x 3 και φαίνεται στα αριστερά. Το μπλοκ αυτό θα συγκριθεί με την ίδια θέση στο καρέ αναφοράς και την άμεση γειτονική περιοχή με απόκλιση 1 εικονοστοιχείο προς κάθε κατεύθυνση. Το μέσο τετραγωνικό σφάλμα μεταξύ του τωρινού μπλοκ και του μπλοκ που βρίσκεται στην ίδια ακριβώς θέση, με συντεταγμένες (0,0), είναι: 1 4! + 3 2! + 2 3! + 6 4! + 4 2! + 3 2! + 5 4! + 4 3! + 3 3! 9 =

27 Σύγκριση και Ταύτιση Μπλοκ Εικόνα 2.1.3: Τωρινό μπλοκ Εικόνα 2.1.4: Περιοχή αναζήτησης Εικόνα 2.1.5: Συντεταγμένες Το σύνολο των τιμών σφάλματος MSE για κάθε θέση αναζήτησης φαίνεται στον πίνακα 2.1. Από εννιά υποψήφιες θέσις, η (-1, 1) δίνει το μικρότερο σφάλμα και κατά συνέπεια αποτελεί το βέλτιστο ταίρι. Σε αυτό το παράδειγμα, το καλύτερο μοντέλο για το τωρινό μπλοκ είναι αυτό που χρησιμοποιεί μπλοκ μεγέθους 3 x 3 και βρίσκεται στη θέση (-1, 1). Ας δούμε τον τρόπο με τον οποίο ένας κωδικοποιητής βίντεο αναλαμβάνει να φέρει εις πέρας αυτήν τη διαδικασία για κάθε μπλοκ στο τωρινό καρέ. Ο κωδικοποιητής ακολουθεί τα εξής βήματα: i. Υπολογίζει το σφάλμα της διαφοράς μεταξύ του τωρινού μπλοκ και του μπλοκ αναφοράς σε ένα ένα σύνολο από γειτονικές περιοχές στο καρέ αναφοράς. ii. Επιλέγει την περιοχή, δηλαδή το μπλοκ που δίνει το μικρότερο σφάλμα. iii. Αφαιρεί την περιοχή που ορίζει το μπλοκ αναφοράς από αυτήν του τωρινού μπλοκ για να παράγει ένα μπλοκ διαφοράς. iv. Κωδικοποιεί και μεταδίδει το μπλοκ διαφοράς. v. Κωδικοποιεί και μεταδίδει ένα διάνυσμα κίνησης που υποδεικνύει τη θέση τις περιοχής που βρέθηκε το βέλτιστο αυτό ταίρι σχετικά με το τωρινό μπλοκ. Τα βήματα i και ii αντιστοιχούν στην εκτίμηση κίνησης και το βήμα iii στην αντιστάθμιση κίνησης. Ο αποκωδικοποιητής βίντεο ανακατασκευάζει το μπλοκ ως εξής: i. Αποκωδικοποιεί το μπλοκ διαφοράς και το διάνυσμα κίνησης. ii. Προσθέτει το μπλοκ διαφοράς στην περιοχή που ταιριάζει και βρίσκεται στο καρέ αναφοράς. (x, y) (-1, 1) (0, -1) (1, -1) (-1, 0) (0, 0) (1, 0) (-1, 1) (0, 1) (1, 1) MSE Πίνακας 2.1: Σύνολο τιμών σφάλματος MSE 13

28 2.2 Μέγεθος μπλοκ Η επιλογή του κατάλληλου μεγέθους μπλοκ δεν είναι κάτι απλό[2][7][16]. Γενικά, μεγάλα μπλοκ είναι λιγότερο ευαίσθητα στο θόρυβο, ενώ μικρότερα μπλοκ παράγουν καλύτερα περιγράμματα. Σίγουρα, ο κύριος παράγοντας για την επιλογή του μεγέθους μπλοκ είναι το μέγεθος των αντικειμένων που πρέπει να εντοπισθούν. Οι άλλοι δύο παράγοντες είναι η παρουσία του θορύβου στα καρέ και η υφή των αντικειμένων στο φόντο. Η υφή των αντικειμένων οδηγεί στο γνωστό πρόβλημα του ανοίγματος ή διαφράγματος (aperture problem). To πρόβλημα αυτό εμφανίζεται σε περιπτώσεις που τα αντικείμενα που μας ενδιαφέρουν έχουν ομοιόρφο χρώμα. Τα μπλοκ που βρίσκονται μέσα στα αντικείμενα δεν φαίνεται να κινούνται επειδή όλα τα μπλοκ γύρω τους έχουν το ίδιο χρώμα. ΌΌταν οι περιοχές με ομοιόμοφο χρώμα αποτελούνται από λιγότερα μπλοκ, τότε υπάρχει μεγαλύτερη πιθανότητα να εντοπιστεί η κίνησή τους επειδή πιθανώς θα υπάρχουν περιοχές με μη ομοιόμορφο χρώμα που θα επικαλύπτονται. Στην εικόνα φαίνεται ένα παράδειγμα τέτοιου προβλήματος, όπου είναι αδύνατον να αποφανθούμε για το αν η κίνηση είναι κατά πάνω ή προς τα αριστερά ώστε να εκτιμήσουμε την κίνηση στο x! χρησιμοποιώντας το άνοιγμα 1. Αυτό συμβαίνει επειδή έχουμε μια εξίσωση για την κλίση και δύο αγνώστους. Στο άνοιγμα 2 μπορούμε να αποφανθούμε ακριβώς για την κίνηση καθώς η εικόνα έχει εξισώσεις για την κλίση και στις δύο κατευθύνσεις. Aperture 2 True Motion Aperture 1 x 2 x 1 Εικόνα 2.2.1: Aperture problem 14

29 2.3 Κριτήρια Σφάλματος Η εκτίμηση κίνησης που βασίζεται σε σύγκριση και ταύτιση μπλοκ, όπως αναφέραμε, αποκτά το βέλτιστο ταίρι για κάθε μπλοκ ελαχιστοποιώντας μια συνάρτηση σφάλματος[2][7][16]. ΈΈχουν προταθεί και αναλυθεί διάφορες συναρτήσεις σφάλματος στη βιβλιογραφία, που ποικίλουν σε πολυπλοκότητα και αποτελεσματικότητα. Εδώ, θα αναφέρουμε και θα εξηγήσουμε τις τρεις πιο γνωστές αλλά και ευρέως χρησιμοποιούμενες από αυτές που είναι η μέση απόλυτη διαφορά (MAD 10 ), ο μέσος του τετραγωνικού σφάλματος (MSE) και το σύνολο των απόλυτων διαφορών (SAD). Στην υλοποίηση των αλγορίθμων μας, εμείς χρησιμοποιήσαμε το MAD. Στους τύπους που θα χρησιμοποιήσουμε παρακάτω, με I! και I!!! συμβολίζουμε το μπλοκ στο τωρινό καρέ και στο καρέ αναφοράς αντίστοιχα. Με m και n συμβολίζουμε το διάνυσμα κίνησης της περιοχής αναζήτησης και με N το μέγεθος του μπλοκ. Τέλος, με k και l συμβολίζουμε τον δείκτη (index) του μπλοκ Mean Absolute Difference Η συνάρτηση σφάλματος MAD ορίζεται ως εξής: MAD k, l; m, n = 1 N 2 Ν Ν ι!0 ι!0 I n k + i, l + j I n!1 (k + i + m, l + j + n) Το πλεονέκτημα της συνάρτησης σφάλματος MAD είναι η εύκολη υλοποίηση του με υλικό και η γενικότερη μαθηματική απλότητά του. Δυστυχώς, το MAD τείνει να δίνει μεγάλη έμφαση σε μικρές διαφορές, έχοντας χειρότερο αποτέλεσμα σε σχέση με το MSE Mean Squared Error Το μέσο τετραγωνικό σφάλμα MSE είναι μια συνάρτηση σφάλματος που υπολογίζει την εναπομείνουσα ενέργεια στο μπλοκ διαφοράς. Η συνάρτηση MSE ορίζεται ως εξής: Ν Ν MSE k, l; m, n = 1 N 2 I n k + i, l + j I n!1 k + i + m, l + j + n 2 ι!0 ι!0 10 Mean Absolute Deviation 15

30 Κριτήρια Σφάλματος Το πλεονέκτημα της συνάρτησης σφάλματος MSE είναι η ακρίβεια της αλλά μεγάλο της μειονέκτημα είναι η πολυπλοκότητά της τόσο στην υλοποίηση με λογισμικό όσο και με υλικό. Επίσης, είναι παραγωγίσιμη, πράγμα το οποίο είναι πολύ χρήσιμο κατά περιπτώσεις όπως όταν π.χ θέλουμε να βρούμε το ελάχιστο ως προς μία μεταβλητή μηδενίζοντας την παράγωγο Sum of Absolute Difference Η συνάρτηση σφάλματος SAD είναι το πλέον ευρέως χρησιμοποιούμενο κριτήριο στην κωδικοποίηση βίντεο λόγω της χαμηλής πολυπλοκότητας, της καλής απόδοσης και της εύκολης υλοποίησης της με υλικό. Η συνάρτη σφάλματος SAD ορίζεται ως εξής: SAD k, l; m, n = Ν Ν ι!0 ι!0 I n k + i, l + j I n!1 (k + i + m, l + j + n) Η μόνη διαφορά μεταξύ SAD και MAD είναι ότι η συνάρτηση σφάλματος SAD υπολογίζει το άθροισμα όλων των εικονοστοιχείων ενώ η συνάρτηση σφάλματος MAD υπολογίζει το μέσο όρο των τιμών των εικονοστοιχείων. Καθώς το μέγεθος του μπλοκ είναι σταθερό κατά την αφαίρεση, η μέση τιμή ανά εικονοστοιχείο δεν είναι σημαντική. ΈΈτσι, έχουμε μια πράξη διαίρεσης λιγότερη και η όλη υπολογιστική διαδικασία απλοποιείται. 16

31 2.4 ΈΈλεγχος Ποιότητας Η ποιότητα μια σκηνής βίντεο μπορεί να εκτιμηθεί χρησιμοποιώντας είτε αντικειμενικές είτε υποκειμενικές προσεγγίσεις[7][16]. ΌΌσον αφορά τις αντικειμενικές, η πιο γνωστή και ευρέως χρησιμοποιούμενη μέθοδος είναι η μέγιστη σήματος-προς-θόρυβο αναλογία που ορίζεται ως εξής: PSNR = 10Log 10 (Peak to peak value of original data) 2 MSE όπου MSE είναι το μέσο τετραγωνικό σφάλμα του αποκωδικοποιημένου καρέ και του αρχικού καρέ. Στον αριθμητή είναι η τιμή 255 που είναι και η μέγιστη καθώς το μέγεθος της τιμής ενός εικονοστοιχείου είναι 8 bits. ΌΌσο μεγαλύτερη είναι η PSNR 11 τόσο μεγαλύτερη είναι και η ποιότητα της κωδικοποίησης. Ουσιαστικά, το μέγεθος αυτό μας δίνει την αναλογία μεταξύ της μέγιστης πιθανής ενός σήματος και του θορύβου που υπεισέρχεται και επηρεάζει την πιστότητα. Στην περίπτωση μας, το σήμα είναι η αρχική εικόνα και ο θόρυβος το σφάλμα που προκύπτει από την εκτίμηση. Επειδή τα περισσότερα σήματα έχουν μια πολύ μεγάλη δυναμική περιοχή, το PSNR εκφράζεται σε στη λογαριθμική κλίμακα και μετράται σε decibel. Το PSNR και ο ρυμός των bit είναι αντικρουόμενα μεγέθη και είναι στο χέρι της εκάστοτε εφαρμογής να επιλέξει ορθά μια σωστή αναλογία μεταξύ των δύο. Παρ όλο που η PSNR μπορεί αντικειμενικά να εκφράσει την ποιότητα της κωδικοποίησης, δεν μπορεί να συγκριθεί και να εξισωθεί με την υποκειμενική ποιότητα. Ως υποκειμενική ποιότητα ορίζουμε την ποιότητα που κρίνεται και αποφαίνεται από έναν αριθμό ανθρώπων που εκφράζουν τη γνώμη τους και με βάση αυτήν καθορίζουμε το τελικό αποτέλεσμα. Γενικά όμως, στις περισσότερες περιπτώσεις η PSNR παρέχει μια πολύ καλή προσέγγιση στο υποκειμενικό ανθρώπινο μέτρο και χρησιμοποιούμε αυτή τη μέθοδο στην παρούσα διπλωματική εργασία για να εκτιμήσουμε την ποιότητα των εικόνων και την απόδοση των αλγορίθμων. 11 Peak Signal-to-Noise Ratio 17

32 2.5 Κίνηση Εξ αιτίας της δυνατής συσχέτισης μεταξύ των ιδιοτήτων της εικόνας και της κατεύθυνσης της κίνησης, λειτουργίες όπως η πρόβλεψη, η παρεμβολή ή το πέρασμα από κάποιο φίλτρο είναι πιο αποτελεσματικές όταν εφαρμόζονται στην τροχιά της κίνησης. Για να υπολογίσουμε αυτές τις τροχιές, πρέπει να χρησιμοποιήσουμε συγκεκριμένα μοντέλα αναπαράστασης της κίνησης. Η κίνηση[1] είναι η προεξέχουσα πηγή των χρονικών μεταβολών σε μια αλληλουχία εικόνων. Για να μοντελοποιήσουμε και να υπολογίσουμε την κίνηση σωστό θα ήταν να κάνουμε μια εξήγηση για το πως σχηματίζονται οι εικόνες και κατ επέκταση έχουμε την κίνηση. Η κίνηση σε μια αλληλουχία εικόνων προκαλείται από τις κινήσεις των αντικειμένων στον τρισδιάστατο χώρο και από την κίνηση της κάμερας. ΈΈτσι, οι παράμετροι της κάμερας, όπως είναι η περιστροφή, η μεγέθυνση ή η εστίαση παίζουν σημαντικό ρόλο στη μοντελοποίηση της κίνησης της εικόνας. Αν έχουμε πλήρη γνώση των παραμέτρων αυτών, τότε το μόνο που μένει είναι o υπολογιστμός της κίνησης των αντικειμένων. Ωστόσο, αυτό το σενάριο είναι συνήθως σπάνιο και τις περισσότερες φορές πρέπει να υπολογίσουμε παραμέτρους που αφορούν και την κίνηση της κάμερας αλλά και την κίνηση των αντικειμένων. Για να υπολογίσουμε τις τροχιές της κίνησης πρέπει να επιλεχθούν σωστά τα υποκείμενα μοντέλα, όπως π.χ το μοντέλο της κίνησης, το μοντέλο που σχετίζει την κίνηση με τα δεδομένα της εικόνας και το μοντέλο που θα καθορίζει τα όρια της κίνησης. Η επιλογή των μοντέλων και οι παράμετροί τους εξαρτάται από την εφαρμογή που έχουμε. ΌΌσον αφορά την απεικόνιση, τα δύο μοντέλα που κατά κύριο λόγο χρησιμοποιούνται είναι αυτά της προοπτικής και της παράλληλης προβολής. Στην προοπτική προβολή, η απόσταση του κέντρου προβολής από το επίπεδο προβολής είναι πεπερασμένη, ενώ στην παράλληλη προβολή το κέντρο προβολής βρίσκεται σε άπειρη απόσταση από το επίπεδο προβολής. Η προοπτική προβολή, ουσιαστικά, μοντελοποιεί το σύστημα παρατήρησης των ματιών μας. ΌΌσον αφορά την παράλληλη προβολή, για να περιγραφεί χρειάζεται να οριστεί η κατεύθυνση προβολής (διάνυσμα) και το επίπεδο προβολής. Χωρίζεται στην ορθογραφική, όπου η κατεύθυνση προβολής είναι κάθετη στο επίπεδο προβολης και την πλάγια, όπου η κατεύθυνση προβολής δεν είναι απαραίτητα κάθετη στο επίπεδο προβολής. 18

33 2.5.1 Προβολή κάμερας Ως πιο κοντινό στην πραγματικότητα θεωρείται το μοντέλο της προοπτικής προβολής[1][12], το οποίο, όμως, αποτυγχάνει όταν το αντικείμενο βρίσκεται μακριά από την κάμερα, ενώ ταυτόχρονα οδηγεί σε μη γραμμικές λύσεις. Στην εικόνα απεικονίζεται μια κάμερα, ή καλύτερα η γεωμετρία μιας κάμερας που θεωρείται τοποθετημένη στην αρχή του καρτεσιανού συστήματος συντεταγμένων, με κέντρο το σημείο C που ονομάζεται κέντρο της κάμερας ή οπτικό κέντρο. Το επίπεδο στο οποίο προβάλλονται τα σημεία του χώρου ονομάζεται εστιακό επίπεδο ή επίπεδο προβολής και το κέντρο του εστιακού επιπέδου θεωρείται ότι είναι η προβολή του κέντρου του καρτεσιανού συστήματος συντεταγμένων. Η ευθεία που ξεκινά από το σημείο C και είναι κάθετη στο εστιακό επίπεδο ονομάζεται οπτικός άξονας και το σημείο που τέμνει το εστιακό επίπεδο είναι το κέντρο της εικόνας. Η απόσταση f ανάμεσα στο κέντρο της εικόνας και το οπτικό κέντρο ονομάζεται εστιακή απόσταση ή εστιακό μήκος. Εικόνα : Γεωμετρία κάμερας 19

34 2.5.2 Κίνηση στο χώρο και κίνηση της κάμερας Ας θεωρήσουμε ένα σημείο σε ένα αντικείμενο που κινείται στον τρισδιάστατο χώρο. ΈΈστω ότι η θέση του τη στιγμή 𝑡 είναι! 𝑿 = 𝑿 𝑡 = 𝑋 𝑡,𝑌 𝑡,𝑍 𝑡 ℝ! εκφρασμένη σε συντεταγμένες της κάμερας. Η 𝑋 𝑡, 𝑡 ορίζει μια καμπύλη στον τρισδιάστατο χώρο στην οποία αναφερόμαστε ως παγκόσμια τροχιά κίνησης. Για δύο χρονικά στιγμιότυπα 𝑡 και 𝜏, η παγκόσμια τροχιά κίνησης αναγνωρίζει μια τρισδιάστατη μετατόπιση στη θέση 𝐷!,! 𝑿 = 𝑿 𝜏 𝑿 𝑡. ΈΈνα σύστημα απόκτησης εικόνων προβάλλει τον τρισδιάστατο κόσμο σε ένα δισδιάστατο επίπεδο με συντατεγμένες για την κάθε εικόνα 𝒙 = (𝑥, 𝑦)!, όπου ο χώρος δειγματοληψίας. Συγκεκριμένα, η παγκόσμιες τροχιές κίνησης προβάλλονται σε δισδιάστατες τροχιές κίνησης 𝒙 𝑡, 𝑡. Υιοθετούμε τον ορισμό της δισδιάστατης τροχιάς κίνησης του Dubois και Konrad: μια τροχιά ορίζεται μόνο από το χρονικό διάστημα κατά το οποίο το σχετιζόμενο σημείο είναι ορατό στην εικόνα. ΈΈτσι, υποθέτοντας ότι έχουμε αδιαφανή αντικείμενα, κάθε χωρο-χρονική θέση (𝒙, 𝑡) ανήκει στην τροχιά της κίνησης ενός μόνο ορατού σημείου. ΌΌπως φαίνεται στην εικόνα , η δισδιάστατη μετατόπιση ή πεδίο κίνησης μπορεί να εκφρασθεί, όμοια με την τρισδιάστατη κίνηση, ως εξής: 𝒅!,! 𝒙 = 𝒙 𝜏 𝒙(𝑡) y (x(τ),τ) τ t (x(t),t) dt,τ (x) x Εικόνα : Τροχιά κίνησης και σχετιζόμενο διάνυσμα μετατόπισης 20

35 Κίνηση στο Χώρο και Κίνηση της Κάμερας Γενικά, ένα πεδίο κίνησης είναι μια συνάρτηση που περιέχει διανύσματα από χωρικές συντεταγμένες. Σε πρακτικές εφαρμογές, αυτή η συνάρτηση συνήθως περιγράφεται σε μια παραμετρική μορφή χρησιμοποιώντας περπερασμένες και συνήθως λίγες παραμέτρους. Καθώς η δισδιάστατη κίνηση είναι αποτέλεσμα προβολής των τρισδιάστατων αντικειμένων στο επίπεδο της εικόνας, ένα μοντέλο για τα δισδιάστατα πεδία κίνησης μπορεί να προκύψει από μοντέλα που περιγράφουν την τρισδιάστατη κίνηση, μια συνάρτηση για την τρισδιάστατη επιφάνεια και την γεωμετρία της προβολής της κάμερας. Αν αυτά τα μοντέλα είναι παραμετρικά, το δισδιάστατο μοντέλο που θα προκύψει θα είναι κι αυτό παραμετρικό. Η προβολή ενός τρισδιάστατου διανύσματος κίνησης στον δισδιάστατο χώρο φαίνεται στο σχήμα και οπτικοποιεί αποτελεσματικά αυτά που ειπώθηκαν προηγουμένως. X Y 2-D MV D 3-D MV Z X x x d y X x C Εικόνα : Προβολή τρισδιάστατου διανύσματος κίνησης στον δισδιάστατο χώρο Τυπικές κινήσεις που μπορούν να γίνουν με τη βοήθεια της κάμερας και η αντίστοιχη δισδιάστατη κίνηση που προκύπτει σε μεγέθυνση και σε περιστροφή της κάμερας γύρω από τον άξονα Ζ, φαίνονται στην εικόνα και το αντίστοιχο διανυσματικό πεδίο κίνησης στην εικόνα Δε θα εμβαθύνουμε περισσότερο στα διανυσματικά πεδία κίνησης που προκύπτουν από διαφορετικά μοντέλα κίνησης γιατί θα ξεφύγουμε από τα πλαισία του αντικειμένου υπό μελέτη. 21

36 Κίνηση στο Χώρο και Κίνηση της Κάμερας Εικόνα : Τυπικές κινήσεις κάμερας Εικόνα : Διανυσματικό πεδίο που προκύπτει από ζουμ και από περιστροφή της κάμερας 22

37 2.5.3 Αναπαράσταση και Πεδία κίνησης Υπάρχουν τέσσερις βασικές μέθοδοι για την αναπαράσταση της κίνησης[10]. Αυτές κατηγοριοποιούνται με βάση την εικόνα ή συγκεκριμένα τμήματα της εικόνας και είναι οι εξής: Καθολική αναπαράσταση: Ολόκληρο το πεδίο κίνησης αναπαρίσταται από μερικές καθολικές παραμέτρους και αφορά όλη την εικόνα. Στην εικόνα φαίνεται μια καθολική αναπαράσταση κίνησης. Αναπαράσταση βασισμένη σε εικονοστοιχείο: Ανατίθεται ένα διάνυσμα κίνησης σε κάθε εικονοστοιχείο με την επιβολή ορισμένων περιορισμών ομαλότητας ανάμεσα σε αυτό και τα γειτονικά του όπως φαίνεται στην εικόνα Αναπαράσταση βασισμένη σε μπλοκ: Ολόκληρη η εικόνα χωρίζεται σε μπλοκ και η κίνηση του κάθε μπλοκ χαρακτηρίζεται από μερικές παραμέτρους όπως φαίνεται στην εικόνα ΈΈνα διάνυσμα κίνησης ανατίθεται σε κάθε μπλοκ. Αναπαράσταση βασισμένη σε περιοχές: Η εικόνα χωρίζεται σε περιοχές και η κάθε μια από αυτές αντιστοιχίζεται σε ένα αντικείμενο. ΈΈνα διάνυσμα κίνησης ανατίθεται σε κάθε περιοχή όπως φαίνεται στην εικόνα Εικόνα : Καθολική αναπαράσταση Εικόνα : Αναπαράσταση βασισμένη σε εικονοστοιχείο Εικόνα : Αναπαράσταση βασισμένη σε μπλοκ Εικόνα : Αναπαράσταση βασισμένη σε περιοχές 23

38 2.6 CIF Υπάρχουν αρκετές μορφές αρχείων εικόνας όπως είναι το CIF 12 το οποίο χρησιμοποιείται για να συγκεκριμενοποιήσει και να προτυποποιήσει τις κάθετες και οριζόντιες αναλύσεις σε εικονοστοιχεία από YCbCr ακολουθίες σε σήματα βίντεο[30]. Σχεδιάστηκε ώστε να είναι εύκολη η μετατροπή από το πρότυπο PAL στο πρότυπο NTSC 13. Πρωτάθηκε για πρώτη φορά στο πρότυπο Η.261. Ορίζει μια ακολουθία βίντεο με ανάλυση 352x288, έναν ρυθμό καρέ της τάξης των 30000/1001 (περίπου 29.97) fps και κωδικοποιεί το χρώμα χρησιμοποιώντας YCbCr 4:2:0. Υπάρχουν και άλλες μορφές όπως είναι το QCIF, το SQCIF, το 4CIF και το 16CIF. Οι αναλύσεις όλως αυτών των μορφών συνοψίζονται στον πίνακα ΌΌλες οι μορφές xcif έχουν ως αποτέλεσμα μια αναλογία εικόνας 4:3, ως εκ τούτου τα εικονοστοιχεία του xcif δεν είναι τετράγωνα. Για να μην έχουμε φαινόμενα stretching στις οθόνες των υπολογιστών, το περιεχόμενο CIF για να προβληθεί σωστά πρέπει να επεκταθεί οριζόντια ~9% σε 384x288. Μορφή αρχείου Ανάλυση βίντεο SQCIF 128 x 96 QCIF 176 x 144 CIF 352 x 288 4CIF 704 x CIF 1408 x 1152 Πίνακας 2.6.1: Αναλύσεις CIF 12 Common Intermediate Format 13 National Television System Commitee 24

39 2.7 Ακρίβεια υποεικονοστοιχείου Οι τεχνικές εκτίμησης κίνησης με ακρίβεια υπο-εικονοστοιχείου (Subpixel accuracy) χρησιμοποιούνται ευρέως στην κωδικοποίηση βίντεο και την μετάδωση ή/και τη συμπίεσή αυτού, αλλά η χρήση τους, πλέον, είναι περισσότερο διαδεδόμενη από αυτήν του ακέραιου εικνοστοιχείου. Αυτό συμβαίνει, προφανώς, γιατί θέλουμε όσο το δυνατόν ακριβέστερα διανύσματα κίνησης που να ανταποκρίνονται στην πραγματική κίνηση που υφίστανται τα αντικείμενα των εικόνων. Ως τώρα, αυτά που μελετήσαμε για τη σύγκριση και ταύτιση μπλοκ αναφέρονται στην ακρίβεια του ενός εικονοστοιχείου. Με άλλα λόγια, πραγματευόμαστε ακέραιες μετατοπίσεις των μπλοκ ανάμεσα στις δύο εικόνες λόγω της απλής παραδοχής ότι η εικόνες αποτελούνται από έναν ακέραιο αριθμό εικονοστοιχείων. Στην πραγματικότητα όμως, ένα μπλοκ μπορεί να έχει μετατοπιστεί σε μια θέση η οποία δεν έχει απαραίτητα ακέραιες συντεταγμένες[14][15]. Συνεπώς, θα έχουμε μια εκτίμηση κίνησης η οποιά θα είναι σωστή αλλά δεν αποτελεί προφανώς το βέλτιστο αποτελέσμα. Στην πράξη, η ακρίβεια που θέλουμε για τα διανύσματα κίνησης ορίζεται από πριν. ΈΈτσι, η ακρίβεια μισού εικονοστοιχείου, για παράδειγμα, είναι η τυπική επιλογή που γίνεται για να έχουμε μια δίκαια ανταλλαγή μεταξύ της καλύτερης ακρίβειας των διανύσματων κίνησης -μειωμένα λάθη στην πρόβλεψη, και τους αυξημένους υπολογισμούς που προκύπτουν. Στους συμβατικούς αλγόριθμους, η εκτίμηση κίνησης γίνεται σε ακρίβεια ενός εικονοστοιχείου και έπειτα αναζητάται καλύτερο αποτέλεσμα με ακρίβεια μισού εικονοστοιχείου στα 8 γειτονικά μισά εικονοστοιχεία γύρω από τη θέση που υπέδειξε το διάνυσμα κίνησης που προέκυψε από την ακέραια εκτίμηση. Προφανώς, πρέπει να εφαρμόσουμε κάποια τεχνική παρεμβολής[6], η οποία με τη σειρά της καταναλώνει αρκετό χρόνο και υπολογισμούς. Αναλυτικότερα, όσον αφορά τα διανύσματα κίνησης με ακρίβεια μισού εικονοστοιχείου, μια λύση που οδηγεί στο σωστό υπολογισμό τους, είναι να μειωθεί, προφανώς, το βήμα της περιοχής αναζήτησης στο μισό. Δηλαδή, αν στην εξαντλητική μέθοδο έχουμε βήμα αναζήτησης 1 και περιοχή αναζήτησης οκτώ γειτονικών σημείων με κέντρο το (0, 0), τότε θα εξετάσουμε τα σημεία με συντεταγμένες (-1,-1), (-1, 0), (-1, 1), (0, -1) κ.ο.κ, ενώ με μειωμένο το βήμα στο μισό και ίσο με 0.5, θα εξετάσουμε τα σημεία (-0.5, -0.5), (-0.5, 0), (-0.5, -0.5), (0, -0.5) κ.οκ. Η δυσκολία σε αυτό έγκειται στο γεγονός ότι το καρέ αναφοράς μας αποτελείται, προφανώς, από ακέραια εικονοστοιχεία. Η λύση είναι η παρεμβολή του καρέ αναφοράς, ωστέ αυτό να αποτελείται πλέον και από μισά εικονοστοιχεία. Συνήθως, χρησιμοποιείται η διγραμμική παρεμβολή. Μπορούν να χρησιμοποιηθούν και άλλες μέθοδοι παρεμβολής με διαφορετικά αποτελέσματα η κάθε μία από αυτές στην αντίστοιχη εκτίμηση των διανυσμάτων κίνησης, χωρίς όμως αυτό να μελετάται στην παρούσα εργασία, καθώς ξεφεύγει από τα πλαίσια έρευνας που έχουν οριστεί. Η πολυπλοκότητα είναι τέσσερις φορές μεγαλύτερη από αυτήν της ακρίβειας του ενός εικονοστοιχείου συν τους πρόσθετους υπολογισμούς που χρειάζεται η 25

40 Ακρίβεια Υποεικονοστοιχείου παρεμβολή. Στους γρήγορους αλγόριθμους σύγκρισης και ταύτισης μπλοκ, συνήθως γίνεται αναζήτηση με ακρίβεια ακέραιου εικονοστοιχείου και μετά βελτιώνεται το ήδη υπάρχον αποτέλεσμα σε μια μικρότερη περιοχή αναζήτησης με ακρίβεια μισού εικονοστοιχείου όπως αναφέραμε προηγουμένως. Στην εικόνα φαίνεται μια μετατόπιση μπλοκ που συμπίπτει σε ακρίβεια μισού εικονοστοιχείου. Με μαύρες βούλες συμβολίζονται τα ακέραια εικονοστοιχεία και με άσπερες τα μισά. Επίσης, στην εικόνα φαίνεται ο τρόπος με τον οποίο γίνεται η διγραμμική παρεμβολή για τη δημιουργία των μισών εικονοστοιχείων. Εικόνα 2.7.1: Μετατόπιση μπλοκ με ακρίβεια μισού εικονοστοιχείου Εικόνα 2.7.2: Παράδειγμα διγραμικής παρεμβολής 26

41 ΚΕΦΑΛΑΙΟ 3 Γενικές Μεθοδολογίες 3.1 Γενική επισκόπηση Σε αυτήν την ενότητα, κρίνεται σκόπιμο να κάνουμε μια αναφορά στην υπάρχουσα τεχνογνωσία που αφορά την εκτίμηση κίνησης τόσο σε πρακτικό, όσο και σε ερευνητικό επίπεδο. Θα ξεκινήσουμε, λοιπόν, με μια σύντομη περιγραφή των υπαρχόντων αλγοριθμικών μοντέλων που έχουν αναπτυχθεί για να επιτελούν τη λειτούργια εκτίμησης της κίνησης και χρησιμοποιούνται αυτήν την στιγμή στην αγορά. Θα αρκεστούμε στους γρήγορους αλγορίθμους που βασίζονται στην εκτίμηση της κίνησης με βάση την κατάτμηση της εικόνας σε μπλοκ και έπειτα τη σύγκριση και ταύτιση τους, καθώς υπάρχουν και μοντέλα που χρησιμοποιούν διαφορετικές προσεγγίσεις με πιο βασικές αυτές που χωρίζουν την εικόνα σε μη επικαλυπτόμενα πολυγωνικά στοιχεία (Mesh based), αυτές που ορίζουν ότι σε ένα μπλοκ ένας επιλεγμένος αριθμός κορυφών μπορούν να κινούνται ελεύθερα (Node based) κ.ά. Επίσης, υπάρχει η μέθοδος συσχετισμού φάσης η οποία εμπλέκει και το πεδίο της συχνότητας και θα αναλυθεί εκτενώς στη συνέχεια. Σε γενικές γραμμές, είναι όλες παρόμοιες προσεγγίσεις, αλλά το μοντέλο που χρησιμοποιείται στην κάθε περίπτωση μπορεί να διαφέρει σε πολλά και σημαντικά σημεία. Η χρησιμοποίηση του κάθε αλγορίθμου κρίνεται με βάση της απαιτήσεις του υλικού και την ποιότητα που θέλουμε να έχουμε ως αποτέλεσμα. Ανάλογα με την εφαρμογή και τις απαιτήσεις της σε υπολογιστική ισχύ, κατανάλωση ενέργειας και το οπτικό αποτέλεσμα που θέλουμε να έχουμε, επιλέγεται ένας και μόνο ένας αλγόριθμος για να επιτελέσει τη λειτουργία της εκτίμησης της κίνησης, ο οποίος βέβαια μπορεί να εκτελεί καλώντας σαν υπορουτίνα τμήματα άλλων αλγορίθμων, σύμφωνα πάντα με τις βασικές αρχές που διέπουν τα πρότυπα κωδικοποίησης και τις απαιτήσεις του υπόλοιπου λογισμικού και υλικού. Θεωρούμε, λοιπόν, ότι ο αναγνώστης οφείλει να έχει μια εμπεριστατωμένη άποψη για όλες τις μεθόδους που χρησιμοποιούνται. Εκτενής αναφορά για τις μεθόδους που υλοποιήσαμε και μελετάμε στην παρούσα εργασία θα γίνει στο κεφάλαιο 4. 27

42 Γενική Επισκόπηση Αρχικά, υπάρχει ο αλγόριθμος της εξαντλητικής αναζήτησης, γνωστός και ως πλήρης αναζήτηση, που παρέχει το καλύτερο αποτέλεσμα συγκρίνοντας όλα τα μπλοκ στο παράθυρο αναζήτησης και αποτελεί τη βάση στην επιστήμη της εκτίμησης της κίνησης. Ο αλγόριθμος αυτός παρουσιάζεται αναλυτικά στο κεφάλαιο 4 και δε θα αναφέρουμε περισσότερα σε αυτό το σημείο εκτός από το γεγονός ότι έχει τον μεγαλύτερο χρόνο εκτέλεσης λόγω της εξαντλητικής φύσης του. Για να βελτιωθεί ο χρόνος αυτός, πολλοί ερευνητές και ειδικοί συνέβαλλαν σημαντικά, τις τελευταίες δύο δεκαετίες, στην αναθεώρηση και τη βελτιώση των αλγορίθμων σύγκρισης και ταύτισης μπλοκ. Διάφοροι από αυτούς έχουν προταθεί και χρησιμοποιηθεί σε διαφορετικά πρότυπα κωδικοποίησης βίντεο με σημαντικότερους αυτούς που ονομάζονται και χρησιμοποιούν[7]: Αναζήτηση των τριών βημάτων (Three Step Search) Νέα αναζήτηση των τριών βημάτων (New Three Step Search) Αναζήτηση των τεσσάρων βημάτων (Four step Search) Αναζήτηση διάταξης διαμαντιού (Diamond Search) Ορθογώνια αναζήτηση (Orthogonal Search) Αναζήτηση ενός σημείο σε κάθε επανάληψη (One at a time search) Σταυρωτή αναζήτηση (Cross Search) Μέθοδο συσχετισμού φάσης (Phase Correlation Method) Ιεραρχική αναζήτηση (Hierarchical Block Mathcing Algorithm) ΌΌλοι αυτοί οι αλγόριθμοι χρησιμοποιούνται για να μειώσουν τον υπολογιστικό χρόνο είτε έχοντας διαφορετικά μοτίβα αναζήτησης είτε έχοντας λιγότερα σημεία αναζήτησης. Ο αλγόριθμος της πλήρης αναζήτησης χρησιμοποιείται ως μέτρο για την αξιολόγηση της αποτελεσματικότητας όλων των υπάρχοντων αλγορίθμων εκτίμησης της κίνησης. 28

43 3.1.2 Three Step Search Στον αλόριθμο αναζήτησης τριών βημάτων[19], η πρώτη επανάληψη αξιολογεί 9 υποψήφια σημεία συμπεριλαμβανομένου του κέντρου. Το αρχικό βήμα είναι ίσο ή λίγο μεγαλύτερο απο το μισό της περιοχής αναζήτησης. Με το πέρας της επαναλήψεως και τον υπολογισμό του σφάλματος για τα εννιά υποψήφια σημεία, το κέντρο αναζήτησης μετατοπίζεται στο σημείο με το μικρότερο σφάλμα και μειώνεται το βήμα στο μισό. Η ίδια διαδικασία επαναλαμβάνεται μέχρι το βήμα να γίνει ίσο με ένα εικονοστοιχείο. Στην περίπτωση αυτή, το σημείό με το μικρότερο σφάλμα θα επιλεγεί ως το βέλτιστο αποτέλεσμα και το διάνυσμα κίνησης που αντιστοιχεί σε αυτό επιλέγεται για το τρέχον μπλοκ. Ο αριθμός των σημείων που αξιολογούνται κατά τη διάρκεια της αναζήτησης είναι πολύ μικρότερος από αυτών της εξαντλητικής μεθόδου και καθορίζεται από το μέγεθος του βήματος που τίθεται στην πρώτη επανάληψη. Βασικά πλεονεκτήματα του αλγορίθμου είναι τα εξής: Μικρή πολυπλοκότητα. Χαμηλός χρόνο αναζήτησης. Αρκετά καλά αποτελέσματα και συνέπεια. Βασικά μεινεκτήματα του αλγορίθμου είναι τα εξής: Ο παράγοντας της πολυπλοκότητας μεγαλώνει ανάλογα με την περιοχή αναζήτησης Δεν είναι κατάλληλος για μικρές κινήσεις Χρησιμοποιείται κυρίως σε εφαρμογές που απαιτούν χαμηλό ρυθμό bit όπως τηλεσυνδιασκέψεις και τηλέφωνα με δυνατότητα βίντεο-κλήσης. Στην εικόνα που ακολουθεί φαίνεται ένα παράδειγμα του αλγόριθμου αναζήτησης των τριών βημάτων. Εικόνα : Παράδειγμα αναζήτησης αλγορίθμου τριών βημάτων 29

44 3.1.3 New Three Step Search Ο νέος αλγόριθμος αναζήτησης των τριών βημάτων[30], χρησιμοποιεί 8 επιπλέον γειτονικά σημεία στην πρώτη επανάληψη. Ως αποτέλεσμα, αν η κίνηση είναι μικρή, τότε στο πρώτο βήμα θα επιλεγεί ένα εκ των 8 εσωτερικών σημείων ή το ίδιο το κέντρο και θα χρησιμοποιηθεί η τεχνική half way stop η οποία συνοψίζεται ως εξής: Αν το σημείο που επιλεγεί είναι το κέντρο, τότε η αναζήτηση σταματάει. Αν το σημείο δεν είναι το κέντρο, τότε η αναζήτηση θα εκτελεστεί μόνο για 8 γειτονικά σημεία και μετά θα σταματήσει Αν η κίνηση είναι μεγάλη, τότε στο πρώτο βήμα θα επιλεγεί ένα από τα 8 εξωτερικά σημεία και η αναζήτηση θα συνεχιστεί όπως στον αλγόριθμο των τριών βημάτων που περιγράφτηκε προηγουμένως. Στην εικόνα φαίνεται ένα παράδειγμα αναζήτησης του συγκεκριμένου αλγορίθμου. Βασικά πλεονεκτήματα του αλγορίθμου είναι τα εξής: ΌΌσον αφορά την πολυπλοκότητα, αυτή είναι συγκρίσιμη και υπολογιστικά παραπλήσια με αυτήν του αλγόριθμου της απλής αναζήτησης των τριών βημάτων. ΈΈχει αρκετά καλή μέγιστη σήματος-προς-θόρυβο αναλογία σε σχέση με τους υπόλοιπους αλγορίθμους και προσσεγίζει αυτήν της εξαντλητικής αναζήτησης. Η προσέγγιση που κάνει επιτυγχάνει γιατί οι περισσότερες έρευνες έχουν δείξει ότι τα βέλτιστα σημεία επιλογής βρίσκονται συνήθως γύρω από το κέντρο. ΌΌσον αφορά τα μειονεκτήματα του αλγορίθμου, μπορούμε να πούμε ότι αυτά συγκεντρώνονται αποκλειστικά γύρω από τη δυσκολία υλοποίησης του αλγορίθμου σε επίπεδο υλικού και ενσωμάτωσής του σε αυτό, λόγω της τεχνικής half-way stop που χρησιμοποιεί. Εικόνα : Παράδειγμα αναζήτησης νέου αλγορίθμου τριών βημάτων 30

45 3.1.4 Diamond Search Η λογική του συγκεριμένου αλγορίθμου[31][32] είναι αρκετά απλή και βασίζεται στην αναζήτηση με βάση την επιλογή σημείων σε μια διάταξη διαμαντιού. Πιο συγκεκριμένα, ο αλγόριθμος ξεκινάει δημιουργώντας μια διάταξη διαμαντιού επιλέγοντας 9 σημεία. Στο επόμενο βήμα, αφού βρεθεί και επιλεγεί το σημείο με το μικρότερο σφάλμα, επαναλαμβάνεται η ίδια διαδικασία με κέντρο το επιλεγμένο αυτό σημείο. ΌΌταν το σημείο που επιλεγεί είναι το κέντρο της διάταξης, τότε ο αλγόριθμος επιλέγει 5 γειτονικά σημεία δημιουργώντας και πάλι μια διάταξη διαμαντιού, μικρότερου φυσικά από το προηγούμενο, και βρίσκει και πάλι το σημείο με το μικρότερο σφάλμα ανάμεσα σε αυτά. Αυτό, λοιπόν, το σημείο είναι που ψάχνουμε και αποτελεί το βέλτιστο ταίρι. Βασικά πλεονεκτήματα του αλγορίθμου είναι τα εξής: Καλύτερη απόδοση και πιο γρήγορος από τον αλγόριθμο αναζήτησης των τριών βημάτων. Μεγάλη μέγιστη σήματος-προς-θόρυβο αναλογία. Λιγότερο πολύπλοκος από το νέο αλγόριθμο αναζήτησης τριών βημάτων και τον αλγόριθμο αναζήτησης τεσσάρων βημάτων. Βασικά μειονεκτήματα του αλγορίθμου είναι τα εξής: Δεν υπάρχει περιορισμός στα βήματα αναζήτησης. Δεν υπάρχει αποτελεσματική υλοποίηση του σε υλικό. Στο σχήμα φαίνεται ένα παράδειγμα αναζήτησης του αλγορίθμου οπού με κύκλο, τετράγωνο, ρόμβο και τρίγωνο, συμβολίζονται σημεία που ανήκουν σε διάταξη μεγάλου διαμαντιού αντίστοιχα για κάθε σχήμα. Με τον κύκλο χρώματος γκρι, συμβολίζεται η διάταξη μικρού διαμαντιού. Βλέπουμε ότι ο αλγόριθμος χρειάζεται πέντε βήματα για να καταλήξει σε ένα διάνυσμα κίνησης με συντεταγμένες (-4, -2). Τέσσερα από τα βήματα είναι με διάταξη αναζήτησης μεγάλου διαμαντιού και ένα από αυτά, το τελευταίο, με διάταξη αναζήτησης μικρού διαμαντιού. Εικόνα : Παράδειγμα αναζήτησης διαμαντιού 31

46 3.1.5 Orthogonal Search Ο αλγόριθμος της ορθογώνιας αναζήτησης[22] είναι αρκετά απλός και βασίζεται στην εξής λογική: Αρχικά, επιλέγεται ένα βήμα συνήθως μεγέθους τεσσάρων εικονοστοιχείων. Στη συνέχεια, επιλέγονται δύο σημεία σε απόσταση ίση με το βήμα κατά μήκος του οριζόντιου άξονα του κέντρου και υπολογίζεται το σφάλμα στα σημεία αυτά. Το κέντρο μεταφέρεται στο σημείο με το μικρότερο σφάλμα και επαναλαμβάνεται η ίδια διαδικασία όπως πριν στον κάθετο αυτή τη φορά άξονα. Με το πέρας αυτού του βήματος, μειώνεται το βήμα στο μισό και ο αλγόριθμος επαναλαμβάνει τα βήματα από την αρχή. ΌΌταν το βήμα γίνει μικρότερο της μονάδας, δηλαδή του ενός εικονοστοιχείου, τότε ο αλγόριθμος σταμάταει. Βασικό πλεονέκτημα του αλγορίθμου είναι ότι είναι πολύ γρήγορος για μικρές κινήσεις. Στην αντίθετη μεριά, βασικό μειονέκτημα του είναι η μεγάλη πιθανότητα λάθους στην εκτίμηση αν η κίνηση είναι μακριά από το κέντρο. Εικόνα : Παράδειγμα ορθογώνιας αναζήτησης 32

47 3.1.6 One at a time Search Ο αλγόριθμος αυτός[25] είναι επίσης αρκετά απλός και βασίζεται σε όμοια λογική αναζήτησης με τον αλγόριθμο ορθογώνιας αναζήτησης που περιγράφτηκε προηγουμένως. Αρχικά, επιλέγονται τρία σημεία γύρω από το κέντρο στον οριζόντιο άξονα και υπολογίζεται το σφάλμα για το κάθε ένα από αυτά. Αν το σημείο με το μικρότερο σφάλμα είναι το κέντρο, τότε επιλέγονται τρία σημεία όπως και πριν αλλά αυτήν τη φορά στον κάθετο άξονα. Στην αντίθετη περίπτωση, επιλέγεται το σημείο που βρίσκεται δίπλα ακριβώς στο σημείο με το μικρότερο σφάλμα στον οριζόντιο άξονα και συνεχίζεται αυτή τη διαδικασία μέχρι να βρεθεί το σημείο με το μικρότερο σφάλμα. Τέλος, αφού βρεθεί το σημείο με το μικρότερο σφάλμα στον οριζόντιο άξονα, επαναλαμβάνεται η ίδια διαδικασία για τα σημεία στον κάθετο άξονα. Βασικά πλεονεκτήματα του αλγορίθμου είναι τα εξής: Χρειάζεται πολύ λίγο χρόνο για να υπολογίσει το διάνυσμα κίνησης καθώς εξετάζει το μικρότερο αριθμό υποψήφιων σημείων κατά μέσο όρο. Είναι πολύ απλός στην υλοποίησή του. Βασικά μειονεκτήματα του αλγορίθμου είναι τα εξής: Δεν δίνει πολύ καλό αποτέλεσμα για το διάνυσμα κίνησης με την έννοια ότι η ακρίβεια του είναι αρκετά φτωχή. Εικόνα : Παράδειγμα της ανά μια φορά αναζήτησης 33

48 3.1.7 Cross Search Ο αλγόριθμος της σταυρωτής αναζήτησης[26] βασίζεται σε μια ιδιαίτερα προσεκτική αλληλουχία βημάτων. Θα περιγράψουμε τα βήματα αυτά σε μορφή αλγοριθμικών βημάτων για να γίνει κατανοητή η δομή του αλγορίθου από τον αναγνώστη. Βήμα 1: Το κεντρικό μπλοκ συγκρίνεται με το τωρινό μπλοκ και αν το σφάλμα είναι μικρότερο από ένα συγκεκριμένο κατώφλι, τότε ο αλγόριθμος σταματάει. Βήμα 2: Επιλέγονται τέσσερα σημεία γύρω από το κέντρο στο σχήμα ενός Χ. Υπολογίζεται το σφάλμα για τα σημεία αυτά και το κέντρο μετατοπίζεται στο σημείο με το μικρότερο σφάλμα. Βήμα 3: Αν το βήμα είναι μεγαλύτερο από 1, τότε μειώνεται στο μισό και επαναλαμβάνεται το βήμα 2. Στην αντίθετη περίπτωση, πηγαίνουμε στο βήμα 4. Βήμα 4: Αν το σημείο με το μικρότερο σφάλμα είναι το κάτω αριστερά ή το πάνω δεξιά, τότε επιλέγονται 4 επιπλέον σημεία σε σχήμα σταυρού (+) και υπολογίζεται το σφάλμα για το κάθε ένα. Αλλιώς, αν το σημείο είναι το πάνω αριστερά ή το κάτω δεξιά, τότε επιλέγονται 4 επιπλέον σημεία σε σχήμα Χ και υπολογίζεται το σφάλμα τους. Σε κάθε περίπτωση, το σημείο με το μικρότερο σφάλμα είναι και το βέλτιστο ταίρι. Βασικά πλεονεκτήματα του αλγορίθμου είναι τα εξής: Μικρή υπολογιστική πολυπλοκότητα και υπολογιστική ισχύς. Καλή απόδοση για σχετικά μικρές κινήσεις. Βασικά μειονεκτήματα του αλγορίθμου είναι τα εξής: Χαμηλότερη απόδοση σε σχέση με τον αλγόριθμο αναζήτησης των τριών βημάτων. Μεγάλη πιθανότητα λάθος εκτίμησης αν η κίνηση είναι μακριά από το κέντρο. Εικόνα : Παράδειγμα σταυρωτής αναζήτησης 34

49 ΚΕΦΑΛΑΙΟ 4 Αλγόριθμοι Στο κεφάλαιο αυτό, θα κάνουμε μια περιγραφή των αλγορίθμων που υλοποιήσαμε στην παρούσα διπλμωματική εργασία. Μετά από αρκετή προεργασία και μελέτη, αποφασίσαμε να υλοποιησούμε τέσσερις αλγόριθμους που να καταλαμβάνουν όσο το δυνατόν μεγαλύτερο χώρο στο φάσμα των χρησιμοποιούμενων και ευρέως διαδεδομένων μεθόδων εκτίμησης κίνησης. Υλοποιήσαμε την μέθοδο της εξαντλητικής αναζήτησης που είναι η βάση και το μέτρο σύγκρισης όλων των αλγορίθμων, την ιεραρχική αναζήτηση, που αποτελεί μια μέθοδος προσέγγισης της εκτίμησης κίνησης σε διαφορετικές αναλύσης, των αλγόριθμο των τεσσάρων βημάτων, που αποτελεί μια γρήγορη μέθοδο εκτίμησης κίνησης και θεωρείται ένας καλός αντιπρόσωπος των γρήγορων τεχνικών και τέλος, τη μέθοδο συσχετισμού φάσης που εκμεταλλεύεται το γεγονός ότι η κίνηση στο χώρο έχει συγκεκριμένο αντίκτυπο στο πεδίο της συχνότητας. Κατ αυτόν τον τρόπο, θεωρούμε ότι καταλαμβάνουμε ένα πολύ μεγάλο κομμάτι των τεχνικών εκτίμησης της κίνησης και παρακάτω θα εξηγήσουμε όσο το δυνατόν καλύτερα και σε βάθος της τεχνικές που χρησιμοποιήσαμε. Με λίγα λόγια, λοιπόν, θα γίνει η θεωρητική μελέτη των αλγορίθμων μας για να γίνει κατανοητός ο τρόπος λειτουργίας και το είδος των αποτελεσμάτων που περιμένουμε να πάρουμε από τον καθένα σύμφωνα με αυτά που επιτάσσει η βιβλιογραφία. Ακόμη περισσότερα για τους αλγορίθμους αυτούς θα αναπτύξουμε στο επόμενο κεφάλαιο που αφορά το πειραματικό κομμάτι της παρούσας διπλωματικής εργασίας και σχετιζέται με την μελέτη πραγματικών ακολουθιών εικόνων και την εφαρμογή των αλγορίθμων που συγγράψαμε πάνω σε αυτές. 35

50 4.1 Exhaustive Search Ο αλγόριθμος αυτός[18], γνωστός και ως Πλήρης Αναζήτηση, έχει το μεγαλύτερο υπολογιστικό κόστος από όλους τους αλγόριθμους σύγκρισης και ταύτισης μπλοκ. Υπολογίζει τη συνάρτηση σφάλματος για κάθε πιθανή θέση. Φυσικά, αυτό έχει σαν αποτέλεσμα να βρίσκει το καλύτερο ζευγάρι για το μπλοκ που θα έχει το μικρότερο δυνατό σφάλμα και κατ επέκταση το μεγαλύτερο PSNR ανάμεσα σε όλους τους αλγορίθμους σύγκρισης και ταύτισης μπλοκ. Πρέπει να αναφέρουμε εδώ, ότι ο αλγόριθμος στην εξαντλητική μορφή του, σε γενικές γραμμές, δε χρησιμοποιείται λόγω των πολλών υπολογισμών που απαιτούνται. Συγκεκριμένα, για να έχουμε το καλύτερο δυνατό αποτέλεσμα στην περιοχή αναζήτησης της εικόνας αναφοράς, θεωρητικά είπαμε ότι είναι αναγκαίο να κάνουμε συγκρίσεις μεταξύ του τωρινού μπλοκ με όλα τα δυνατά μπλοκ αναφοράς. ΌΌμως στην πράξη, καθώς όπως αναφέραμε οι μετατοπίσεις σε γειτονικά καρέ είναι συνήθως μικρές, ένα κάλο ταίρι για το τωρινό μπλοκ μπορεί συνήθως να βρεθεί στην γειτονιά γύρω από τη θέση του μπλοκ στην εικόνα αναφοράς (αν αυτό υπάρχει φυσικά). ΈΈτσι, σε πρακτικές υλοποιήσεις, δεν ψάχνουμε σε όλη την εικόνα, αλλά ορίζουμε μια περιοχή αναζήτησης, ένα παράθυρο αναζήτησης πιο κομψά, το οποίο τυπικά έχει κέντρο στη θέση του τωρινού μπλοκ. Για παράθυρα μεγέθους N x N και μέγιστη απόλυτη μετατόπιση p!!"# p!!"#, η πλήρης αναζήτηση θα υπολογίσει 2p!!"# + 1 2p!!"# + 1 τιμές για κάθε μπλοκ. Το ιδανικό μέγεθος για ένα παράθυρο αναζήτησης εξαρτάται από διάφορους παράγοντες: Την ανάλυση της κάθε εικόνας (ένα μεγάλο παράθυρο είναι προφανώς κατάλληλο για μια πολύ μεγάλη ανάλυση). Τον τύπο της σκηνής (σκηνές με γρήγορη κίνηση συνήθως οφελούνται με ένα μεγάλο παράθυρο αναζήτησης σε αντίθεση με τις σκηνές που έχουν μικρές κινήσεις). Τους υπολογιστικούς πόρους που είναι διαθέσιμοι, καθώς ένα μεγάλο παράθυρο αναζήτησης απαιτεί περισσότερες συγκρίσεις και άρα περισσότερους υπολογισμούς. Μπορούμε να επεξεργαζόμαστε τις τοποθεσίες των μπλοκ με σάρωση raster ή με σπιροειδή σάρωση ξεκινώντας από το κέντρο (0,0) όπως φαίνεται στην εικόνα. ΌΌσον αφορά τους υπόλοιπους αλγόριθμους σύγκρισης και ταύτισης μπλοκ της οικογένειας, όπως είναι και ο αλγόριθμος των τεσσάρων βήματων που υλοποιήθηκε και μελετάται στην παρούσα εργασία, προσπαθούν να επιτύχουν το ίδιο PSNR κάνοντας όσο το δυνατόν λιγότερους υπολογισμούς. Το μεγαλύτερο και προφανέστερο μειονέκτημα του αλγορίθμου της εξαντλητικής αναζήτησης είναι ότι όσο μεγαλύτερο γίνεται το παράθυρο αναζήτησης (μεγαλώνει η παράμετρος p), τόσο περισσότεροι υπολογισμοί απαιτούνται. Η αναζήτηση μπορεί να γίνει και σε επικαλυπτόμενα ή όχι μπλοκ χωρίς να αλλάζει η πολυπλοκότητα του αλγορίθμου. 36

51 Exhaustive Search Εικόνα 4.1.1: Σάρωση πλέγματος Εικόνα 4.1.2: Σπιροειδής σάρωση Reference Frame Current Frame Comparison of block Motion vector (d x, d y) Search Area Macroblock Εικόνα 4.1.3: Αναζήτηση σε μη επικαλυπτόμενα μπλοκ Reference Frame Current Frame Comparison of Macroblock Motion Vector (d x, d y) Search Area Macroblock Εικόνα 4.1.4: Αναζήτηση σε επικαλυπτόμενα μπλοκ 37

52 4.2 Hierarchical Block Matching Algorithm ΌΌπως είδαμε προηγουμένως, όλα τα μοντέλα εκτίμησης της κίνησης φτάνουν σε ένα σημείο όπου το μόνο που έχουν να κάνουν είναι να βρουν ένα σημείο που να έχει το ελάχιστο σφάλμα ωστέ να αποτελέσει το βέλτιστο ταίρι. Ωστόσο, υπάρχουν δύο μεγάλα προβλήματα που σχετίζονται με την εύρεση της σωστής λύσης: Η συνάρτηση υπολογισμού σφάλματος συνήθως έχει πολλά τοπικά ελάχιστα και δεν είναι εύκολο να βρεθεί μια καθολική λύση. Ο αριθμός των υπολογισμών που εμπλέκονται στη διαδικασία ελαχιστοποίησης είναι αρκετά μεγάλος. Και τα δύο αυτά προβλήματα μπορούν να αντιμετωπιστούν με την ιεραρχική προσέγγιση[4][11][18], η οποία αναζητάει για τη βέλτιστη λύση σε διαφορετικές αναλύσεις. Ψάχνοντας μια λύση σε μια μικρή ανάλυση της αρχικής εικόνας, μπορούμε πολλές φορές να βρούμε μία που να ανταποκρίνεται στην πραγματική κίνηση. Επιπλέον, περιορίζοντας το παράθυρο αναζήτησης γύρω από την αρχική λύση που έχει προκύψει από την προηγούμενη ανάλυση σε κάθε επίπεδο, ο συνολικός αριθμός των αναζητήσεων μειώνεται κατά πολύ σε σύγκριση με το να αναζητήσουμε απ ευθείας σε μια μεγάλη περιοχή αναζήτησης της αρχικής εικόνας. Ο συγκεκριμένος αλγόριθμος που χρησιμοποιήσαμε και θα περιγράψουμε αποτελεί μια ειδική περίπτωση εκ των πολλών που χρησιμοποιούν αυτήν την προσέγγιση. Εδώ, το τωρινό καρέ (anchor frame) και το καρέ αναφοράς (reference frame) αναπαρίστανται σε ένα μοντέλο πυραμίδας και ο αλγόριθμος της πλήρης αναζήτησης χρησιμοποιείται για να υπολογίσει τα διανύσματα κίνησης των μπλοκ σε κάθε επίπεδο της πυραμίδας. Στην εικόνα φαίνεται η διαδικασία κατά την οποία μειώνεται στο μισό η ανάλυση σε κάθε επίπεδο της πυραμίδας προς τα πάνω. Υποθέτουμε ότι το μέγεθος μπλοκ που χρησιμοποιείται είναι το ίδιο αναλογικά με κάθε ανάλυση, δηλαδή ο αριθμός των μπλοκ μένει ο ίδιος σε κάθε επίπεδο. Ο αριθμός των υπολογισμός που εμπλέκονται στην ιεραρχική αναζήτηση εξαρτάται από την περιοχή αναζήτησης σε κάθε επίπεδο. ΈΈστω R η περιοχή αναζήτησης στην βέλτιση ανάλυση. Αν έχουμε μια πυραμίδα με L επίπεδα, τότε μπορούμε να ορίσουμε την περιοχή αναζήτησης στο πρώτο επίπεδο ίση με R 2!!!. ΌΌσον αφορά τα υπόλοιπα επίπεδα, το διάνυσμα κίνησης που έχει προκύψει με παρεμβολή από το προηγούμενο επίπεδο αποτελεί μια λύση αρκετά κοντά στην πραγματική κίνηση οπότε η περιοχή αναζήτησης περιορίζεται σε μια μικρή περιοχή γύρω από τη λύση αυτή. Αν υποθέσουμε ότι σε κάθε επίπεδο έχουμε μια περιοχή αναζήτησης μεγέθους R 2!!!, μέγεθος εικόνας Μ Μ και μέγεθος μπλοκ Ν Ν σε κάθε επίπεδο, τότε ο αριθμός των μπλοκ στο l-th επίπεδο θα είναι ίσος με Μ 2!!! N! και ο αριθμός των αναζητήσεων θα είναι Μ 2!!! N! 2R 2!!! + 1!. Επειδή ο αριθμός των υπολογισμών που χρειάζεται η κάθε αναζήτηση είναι N!, ο συνολικός αριθμός των υπολογισμών που θα πραγματοποιηθούν σύμφωνα με τον τύπο θα είναι 38

53 Hierarchical Block Matching Algorithm!!!! Μ 2!!! N! 2R 2!!! + 1! == !!!! 4M! R! 1 4!!!! M! 2R 2!!! + 1! Συνοψίζοντας, η ιεραρχική αναζήτηση παρέχει ακριβή διανύσματα κίνησης επαναϋπολογίζοντας σταδιακά το διάνυσμα κίνησης σε διαφορετικές αναλύσεις στη μορφή μια πυραμίδας. Η αρχική εικόνα είναι η υψηλότερης ανάλυσης, ενώ οι υπόλοιπες προκύπτουν με υποδειγματοληψία της αρχικής και πέρασμα από συγκεκριμένα κατωδιαβατά φίλτρα. Το μέγεθος του μπλοκ μειώνεται κάθε φορά στο μισό στο επόμενο επίπεδο της ανάλυσης και η περιοχή αναζήτησης περιορίζεται γύρω από το διάνυσμα κίνησης που προήλθε από το προηγούμενο επίπεδο. Τα διανύσματα κίνησης, δηλαδή, από τη χαμηλότερη ανάλυση περνούν ως αρχική εκτίμηση για κάθε μπλοκ στο επόμενο επίπεδο. Να επισημάνουμε ότι λόγω της αναζήτησης που κάνουμε αρχικά, στην εικόνα χαμηλής ανάλυσης για διανύσματα κίνησης, επιτυγχάνουμε μια ανοσία στις εικόνες που έχουν μεγάλο ποσοστό θόρυβου. Εικόνα 4.2.1: Διαδικασία μείωσης της ανάλυσης σε κάθε επίπεδο της ιεραρχικής πυραμίδας 39

54 Hierarchical Block Matching Algorithm Εικόνα 4.2.2: Επαναϋπολογισμός του διανύσματος κίνησης σε διαφορετικές αναλύσεις 40

55 4.3 Four-step Search (4SS) Ο αλγόριμος αυτός προτάθηκε για πρώτη φορά το 1996 από τον Lai- Man Po και τον Wing-Chung Ma[3]. Βασίζεται στο γεγονός ότι κύριο χαρακτηριστικό μιας αλληλουχίας εικόνων που περιγράφουν πραγματικά αντικείμενα είναι η κίνηση γύρω από το κέντρο. Ο αλγόριθμος ξεκινάει συγκρίνοντας εννιά σημεία και η επιλογή των επόμενων σημείων για σύγκριση γίνεται ανάλογα με το αποτέλεσμα που προέκυψε από τα εννιά αυτά σημεία. Για μετατοπίσεις κίνησης, τάξεως 7!! εικονοστοιχείων, που είναι και οι μέγιστες, ο προτεινόμενος αλγόριθμος χρησιμοποιεί ένα μοντέλο αναζήτησης γύρω από το κέντρο ελέγχοντας εννιά σημεία σε ένα παράθυρο 5 x 5. Το κέντρο του παραθύρου αναζήτησης μετατοπίζεται στο σημείο που έδωσε το μικρότερο σφάλμα. ΈΈπειτα, ανάλογα με τη θέση του σημείου αυτού θα καθοριστεί και το μέγεθος του παραθύρου αναζήτησης των επόμενων δύο βημάτων. Αν το σημείο με το μικρότερο σφάλμα βρίσκεται στο κέντρο της περιοχής αναζήτησης, τότε η αναζήτηση θα περάσει στο τελευταίο της βήμα εφαρμόζοντας ένα παράθυρο αναζήτησης 3 x 3. Αλλιώς, το μέγεθος του παραθύρου αναζήτησης θα διατηρηθεί 5 x 5 για το βήμα 2 και βήμα 3. Στο τελευταίο βήμα, το παράθυρο αναζήτησης θα μειωθεί σε 3 x 3 και η αναζήτηση θα σταματήσει. Σε κάθε περίπτωση ο αλγόριθμος καταλήγει σε αυτό το βήμα. Συνοπτικά, ο αλγόριθμος αναζήτησης των τεσσάρων βημάτων περιγράφεται ως εξής: Βήμα 1: Στο κέντρο της περιοχής αναζήτησης, που είναι μεγέθους 15 x 15, ορίζεται ένα παράθυρο 5 x 5 και γίνεται έλεγχος των 9 σημείων, όπως φαίνεται στην εικόνα 2α, για να βρεθεί αυτό με το μικρότερο σφάλμα. Αν το σημείο αυτό είναι το κέντρο, τότε πήγαινε στο βήμα 4, αλλιώς πήγαινε στο βήμα 2. Βήμα 2: Το μέγεθος του παραθύρου αναζήτησης διατηρείται 5 x 5. Ωστόσο, η στρατηγική αναζήτησης θα εξαρτηθεί από τη θέση του σημείου που έδωσε το ελάχιστο σφάλμα. Αν το σημέιο αυτό βρίσκεται στη γωνία του προηγούμενου παράθυρου αναζήτησης, τότε πέντε νέα σημεία θα προστεθούν και θα ελεγχθούν όπως φαίνεται στην εικόνα 2β. Αν το σημείο αυτό βρίσκεται στο μέσο του κάθετου ή του οριζόντιου άξονα του προηγούμενου παραθύρου αναζήτησης, τότε τρία νέα σημεία θα προστεθούν και θα ελεχθούν όπως φαίνεται στην εικόνα 2γ. Αν το σημείο με το ελάχιστο σφάλμα βρίσκεται στο κέντρο του παραθύρου αναζήτησης, τότε πήγαινε στο βήμα 4, αλλίως πήγαινε στο βήμα 3. Βήμα 3: Η στρατηγική αναζήτησης είναι η ίδια όπως στο βήμα 2, αλλά τελικά ότι και να γίνει- θα καταλήξουμε στο βήμα 4. 41

56 Four Step Search Βήμα 4: Το παράθυρο αναζήτησης μειώνεται σε 3 x 3 όπως φαίνεται στην εικόνα και η κατεύθυνση των τελικών διανυσμάτων κίνησης θεωρείται αυτή του σημείου που δίνει το ελάχιστο σφάλμα ανάμεσα σε αυτά τα 9 σημεία αναζήτησης. Από τον αλγόριθμο, μπορούμε να δούμε ότι τα ενδιάμεσα βήματα του μπορούν να παραλειφθούν και να πάμε κατ ευθείαν στο τελευταίο βήμα με ένα παράθυρο αναζήτησης 3 x 3 αν σε οποιαδήποτε στιγμή, το σημείο που θα μας δώσει το ελάχιστο σφάλμα είναι το κέντρο του παραθύρου αναζήτησης. Με βάση αυτό, ολόκληρο το παραθύρο μετατόπισης που είναι 15 x 15 μπορεί να καλυφθεί από μικρότερα παράθυρα αναζήτησης όπως είναι το 5 x 5 και το 3 x 3 που χρησιμοποιούνται. Υπάρχουν φυσικά επικαλυπτόμενα σημεία στα παράθυρα αναζήτησης 5 x 5 του βήματος 2 και 3, οπότε ο συνολικός αριθμός των σημείων που θα ελεχθούν ποικίλλει από (9 + 8) = 17 έως ( ) = 27 ανά μπλοκ. Η χειρότερη περίπτωση που μπορεί να συμβεί, όσον αφορά το υπολογιστικό φορτίο, είναι 27 έλεγχοι για να βρεθεί το υποψήφιο μπλοκ. Πράγμα που σημαίνει ότι έχουμε μεγάλη κίνηση υπό εκτίμηση Βλέπουμε ότι ο αριθμός των αναζητήσεων φαντάζει ένα πολύ μικρό νούμερο μπροστά στις αναζητήσεις που χρειάζεται η εξαντλητική αναζήτηση για τον ίδιο σκοπό. Δύο παραδείγματα του αλγόριθμου φαίνονται στην εικόνα 3 με διαφορετικά μονοπάτια αναζήτησης. Για το πάνω μονοπάτι, ένα σύνολο από 25 σημεία χρησιμοποιούνται με το υπολογιζόμενο διάνυσμα κίνησης να έχει συντεταγμένες (3, -7). Στο κάτω μονοπάτι, που είναι και η χειρότερη περίπτωση που μπορεί να συμβεί, ο αριθμός των σημείων που ελέγχονται είναι 27 και το υπολογιζόμενο διάνυσμα κίνησης έχει συντεταγμένες (-7, 7). Εικόνα 4.3.1: Δύο διαφορετικά μονοπάτια αναζήτησης 42

57 Four Step Search Παρακάτω βλέπουμε και την στρατηγική αναζήτησεις που ακολουθεί ο αλγόριθμος όσον αφορά τα εικονοστοιχεία και το λογικό διάγραμμα ροής του. Εικόνα 4.3.2: Βήμα 1 Εικόνα 4.3.3: Βήμα 2 ή 3 Εικόνα 4.3.4: Βήμα 3 ή 2 Εικόνα 4.3.5: Βήμα 4 Εικόνα 4.3.6: Διάγραμμα ροής το αλγόριθμου των τεσσάρων βημάτων 43

58 4.4 Phase Correlation Method Επισκόπηση μεθόδου Η μέθοδος συσχετισμού φάσης[16][18][27][28] για την εκτίμηση της κίνησης εκμεταλλεύεται την ιδιότητα ότι η μετατόπιση στο πεδίο του χώρου έχει συγκεκριμένο αντίκτυπο στο πεδίο της συχνότητας. Καθώς η μέθοδος συσχετισμού φάσης χρησιμοποιεί μόνο την πληροφορία που περιέχεται στη φάση για να κάνει τη συσχέτιση, η μέθοδος είναι σχετικά αναίσθητη στις αλλαγές τις φωτεινότητας. Συνεπώς, η τεχνική αυτή επιτυγχάνει εξαιρετική ευρωστία ενάντια στο θόρυβο, ο οποίος εξαρτάται από τη συχνότητα, και προκύπτει από τη συσχέτιση Βασικές αρχές του συσχετισμού φάσης Η αρχική μέθοδος συσχετισμού φάσης σχεδιάστηκε για να μετράει την σχετική μετατόπιση μεταξύ δύο εικόνων. ΈΈστω δύο πεπερασμένες εικόνες g! και g!, με την g! να αποτελεί ένα αντίγραφο της g! μετατοπισμένο κατά d = d!, d!, έτσι ώστε g2 x = g1 x d. Τότε, σύμφωνα με το θεώρημα μετατόπισης του Fourier, οι μετασχηματισμοί Fourier των εικόνων σχετίζονται ως εξής: G! f = G! f e!!!!!! Υπολογίζοντας το διάφασμα ή ετερο-φάσμα ισχύος και εξάγοντας τη φάση έχουμε: e!"! = G! f G! f G! f G! f = G! f G! f e!!!!!! G! f G! f e!!!!!! = e!!!!!! από την οποία προκύπτει ότι η συνάρτηση συσχετισμού φάσης, p x που προκύπτει από τον αντίστροφο μετασχηματισμό Fourier, είναι μια συνάρτηση δέλτα που εντοπίζεται στο σημείο της μετατόπισης. p x = F!! e!"! = F!! e!!!!!! = δ x d 44

59 Phase Correlation Method Το αποτέλεσμα είναι μία συνάρτηση δέλτα αν και μόνο αν τα δύο μπλοκ αποτελούν το ένα μετατόπιση το άλλου. Στην πράξη, που έχουμε πεπερασμένων διαστάσεων εικόνες, ακόμα κι όταν η επικάλυψη μεταξύ των εικόνων είναι μικρή, η συνάρτηση δέλτα μπορεί να αντικατασταθεί από μια επιφάνεια συσχέτισης, καθώς τα μπλοκ δεν είναι το ένα μετατόπιση του άλλου, αλλά είναι δύο μπλοκ που μοιάζουν μεταξύ τους. Αυτή χαρακτηρίζεται από μια έντονη κορυφή στο σημείο της μετατόπισης ενώ όλες οι άλλες έχουν πολύ μικρότερο πλάτος όπως θα δούμε παρακάτω. Το μέτρο συσχέτισης που έχουμε, λοιπόν, ως αποτέλεσμα, είναι σχετικά ανεξάρτητο της σκηνής και δεν επηρεάζεται από αλλαγές στη φωτεινότητά της, ή από το θόρυβο. Ειδικότερα, μεγάλες μετατοπίσεις μπορούν να μετρηθούν με πολύ υψηλή ακρίβεια. Δηλαδή έχουμε μια επιφάνεια συσχέτισης με μέγιστα τόσο έντονα, όσο όμοια είναι τα μπλοκ μεταξύ τους όπως περιγράφουμε αμέσως μετά Υπολογίζοντας την κίνηση πολλών αντικειμένων Η μέθοδος συσχετισμού φάσης που περιγράψαμε παραπάνω μπορεί να χρησιμοποιηθεί μόνο για να υπολογίσουμε κίνηση που συμβαίνει σε όλη την εικόνα, καθολική κίνηση, αλλά με τροποίηση της παραπάνω μεθόδου είμαστε ικανοί να υπολογίσουμε κινήσεις και πολλών αντικειμένων σε μια σκηνή. Αρχικά, σε αρκετά μεγάλα μπλοκ, υπολογίζουμε εναν συγκεκριμένο αριθμό υποψηφίων διανυσμάτων κίνησης με τη μέθοδο του συσχετισμού φάσης. ΈΈπειτα, για μικρότερα μπλοκ, θα επιλέξουμε ένα εκ των υποψηφίων διανυσμάτων κίνησης χρησιμοποιώντας ένα κριτήριο σύγκρισης και ταύτισης μπλοκ. Πιο συγκεκριμένα, στο πρώτο βήμα, χωρίζουμε την τωρινή εικόνα μας σε αρκετά μεγάλα μπλοκ, συνήθως μεγέθους 64 x 64 εικονοστοιχείων. Οι διαστάσεις αυτών των μπλοκ πρέπει να είναι τουλάχιστον δύο φορές μεγαλύτερες από την μέγιστη κίνηση που μπορεί να υπολογιστεί, έτσι ώστε να είναι σίγουρο ότι θα έχουμε επικάλυψη μεταξύ του περιεχομένου πληροφορίας που βρίσκεται στα αντίστοιχα μπλοκ του καρέ αναφοράς. Στη συνέχεια, υπολογίζεται η συνάρτηση συσχετισμού φάσης για τα μπλοκ στις δύο εικόνες πράγμα που έχει ως αποτέλεσμα μια επιφάνεια συσχέτισης για κάθε μπλοκ στην τωρινή εικόνα όπως φαίνεται στην εικόνα. Μέσω αναζήτησης για μέγιστες ώσεις σε κάθε επιφάνεια συσχέτισης, καταλήγουμε να έχουμε κάποιες ώσεις που είναι μεγαλύτερες από κάποιες άλλες και αποτελούν υποψήφια διανύσματα κίνησης. Αυτές οι ώσεις δεν είναι παρά αποτέλεσμα κίνησης αντικειμένων στο μπλοκ και το πλάτος τους αντανακλά το μέγεθος των αντικειμένων μιλώντας πάντα με σχετικά μεγέθη κ μετατόπιση. ΈΈπειτα, καθένα από τα μεγάλα αυτά μπλοκ το χωρίζουμε σε μικρότερα μπλοκ, συνήθως μεγέθους 8 x 8 εικονοστοιχείων, με σκοπό να 45

60 Phase Correlation Method εφαρμόσουμε τη μέθοδο σύγκρισης και ταύτισης μπλοκ. Κάθε ένα από τα μικρότερα αυτά μπλοκ συγκρίνεται με τα μπλοκ της εικόνας αναφοράς, με βάση τα υποψηφία διανύσματα που έχουν προκύψει από πριν, και υπολογίζεται το σφάλμα για κάθε ένα από αυτά. ΈΈτσι, το διανύσμα με το μικρότερο σφάλμα ανατίθεται σε κάθε μπλοκ. Εικόνα : Επιφάνεια συσχέτισης Ουσιαστικά, η μέθοδος συσχετισμού φάσης καταλήγει να μοιάζει με την εξαντλητική μέθοδο σύγκρισης και τάυτισης μπλοκ, αλλά με μια μεγάλη διαφορά: ο αριθμός των υποψήφιων μετατοπίσεων περιορίζεται μόνο σε αυτές που έχουν προκύψει από τη διαδικασία της συσχέτισης φάσης. Δηλαδή, θα ψάξουμε στην περιοχή που μας υποδεικνύουν οι συντεταγμένες της συγκεκριμένης ώσης που προκύπτει ως κυρίαρχη κάθε φορά. Κατ αυτό τον τρόπο, ο αριθμός των διανυσμάτων κίνησης είναι σχετικά μικρός ενώ ταυτόχρονα μπορούμε να υπολογίσουμε μεγάλες μετατοπίσεις με πολύ καλή ακρίβεια. 46

61 Phase Correlation Method Συναρτήσεις παραθύρων για τα μπλοκ της συσχέτισης φάσης Ο πιο εύκολος τρόπος για να χωρίσουμε σε μπλοκ τις εικόνες μας είναι να εφαρμόσουμε ένα παραλληλόγραμμο παράθυρο, πράγμα που έχει ως συνέπεια η εικόνα μας να κόβεται εντελώς στις γωνίες του κάθε μπλοκ. Ωστόσο, εξ αιτίας της περιοδικότητας του μετασχηματισμού Fourier ενός σήματος προερχόμενο από δειγματοληψία, η αριστερή με τη δεξιά και η κάτω με την πάνω γωνία του μπλοκ ενώνονται, μιλώντας πάντα για το σήμα που προκύπτει στο πεδίο της συχνότητας, πράγμα που έχει ως αποτέλεσμα να έχουμε έντονες μεταβάσεις φωτεινότητας σε αυτές τις γωνίες. Καθώς οι γωνίες των μπλοκ βρίσκονται στην ίδια τοποθεσία και στις δύο εικόνες, αυτό σημαίνει ότι θα έχουμε μια αύξηση στο ύψος της ώσης όταν έχουμε μηδενική μετατόπιση ή μπορεί να έχουμε μια ώση που δεν ανταποκρίνεται στην πραγματικότητα. Αυτό το πρόβλημα λύνεται με τη χρήση ενός παραθύρου εξομάλυνσης, γνωστό και ως παράθυρο χρόνου συχνότητας, όπως είναι το παράθυρο Kaiser ή το παράθυρο Hanning E « L-_--'--_---'-_----'- '.J -16 o Time '\,\ '\ 1 :,\ OJ -, -\- \ 0.5 I t 1-t "0 \, \, i, \, \ \ I, \ \ I \ I- I E I \ I I «-0.5 \.I : - -/ -I:, I, \ f 1/ \ \I \1 \ / ) Ii _J ' Time 0.5 J\ -/ \- 2 \ I I, \ '. 0 -, - I., \ J -:> I \ / E -:, \: «-0.5 '\1., '" \. -1 \. -1 L-_--'--_---'-_----'- '.J -16 o Time EO 20 OJ ] E -40 «-60 L- ' ----'- --'--.J Frequency 20 EO 0 OJ ] E -40 « '- --'-- O>..J Frequency Εικόνα : Επίδραση του παραθύρου εξομάλυνσης στο σήμα 47

62 Phase Correlation Method Στην εικόνα , στο πάνω αριστερά διάγραμα φαίνεται ένα σήμα εισόδου που αποτελείται από μία συχνότητα. Πριν υπολογίσουμε το διακριτό μετασχηματισμό Fourier (DFT) των 64 σημείών που έχουμε χάριν παραδείγματος, το σήμα μας φιλτράρεται με τη χρήση ενός παραλληλόγραμμου παραθύρου (μεσσαία διαγράμματα) και με τη χρήση ενός παραθύρου Hanning (τελευταία διαγράμματα). Στα διαγράμματα της αριστερής μεριάς φαίνεται με τη συνεχόμενη γραμμή το σχήμα του φίλτρου και με τη διακεκομμένη γραμμή το φιλτραρισμένο σήμα. Τα διαγράμματα στη δεξιά μεριά μας δείχνουν το πλάτος του DFT των 64 σημείων σε decibels. ΌΌπως φαίνεται από τα διαγράμματα, το σχετικό ύψος των κορυφών στη συχνότητα του σήματος ειδόδου είναι πολύ μεγαλύτερο στην περίπτωση που χρησιμοποιήθηκε ένα παράθυρο εξομάλυνσης όπως περιγράψαμε προηγουμένως. Δηλαδή, αυτό που καταφέρνουμε με την παραθύρωση του σήματος, είναι να αποφύγουμε πιθανές αναδιπλώσεις ή παραμορφώσεις που μπορεί να υποστεί το σήμα με την μετάβαση στο πεδίο της συχνότητας. Περισσότερα για τη μέθοδο των παραθύρων και την αναλυτική λειτουργία τους γίνεται στο παράρτημα που βρίσκεται στο τέλος της εργασίας. 48

63 ΚΕΦΑΛΑΙΟ 5 Ακολουθίες Για τους τέσσερις παραπάνω αλγόριθμους έχουμε διεξάγει διάφορα πειράματα ωστέ να αποφανθούμε για την ταχύτητα, τους υπολογισμούς που χρειάζονται, την ακρίβεια των αποτελεσμάτων τους και τη γενικότερη απόδοση τους. Για κάθε μέθοδο, το τωρινό καρέ χωρίζεται σε μπλοκ μεγέθους 8 x 8, 16 x 16 και 32 x 32 και υπολογίζεται το διάνυσμα κίνησης για κάθε ένα από αυτά. ΈΈτσι, αποκτούμε τον ίδιο αριθμό διανυσμάτων κίνησης για ένα συγκεκριμένο καρέ από τον κάθε αλγόριθμο. Η περιοχή αναζήτησης επίσης αλλάζει για το κάθε επιλεγμένο μέγεθος μπλοκ σε 4, 8 και 16 εικονοστοιχεία προς κάθε κατεύθυνση. Τα καρέ που χρησιμοποιήσαμε για τη διεξαγωγή των πειραμάτων μας είναι καρέ που τα εξαγάμε από ακολουθίες CIF και QCIF και έχουν προκύψει από ακολουθίες που είναι ευρέως χρησιμοποιούμενες στο χώρο της επεξεργασίας εικόνας. Αυτές είναι η ακολουθία Foreman, η ακολουθία Bus, η ακολουθία Clairey και η ακολουθία Stefan. Θεωρούμε ότι αυτές οι ακολουθίες αποτελούν αντιπροσωπευτικά παραδείγματα αργών, γρήγορων κινήσεων και κινήσεων που προέρχονται από ένα ή πολλά αντικείμενα και λαμβάνουν χώρα είτε γύρω από το κέντρο είτε έχουμε μεγαλύτερες μετατοπίσεις. Πιο συγκεριμένα, σε αυτό το κεφάλαιο, θα κάνουμε μια περιγραφή των καρέ που εξάγαμε και χρησιμοποιήσαμε από κάθε ακολουθία για να γίνει πλήρως κατανοητό το περιεχόμενο των κινήσεων που μελετάμε. Τα καρέ θα παρουσιαστούν σε μορφή RGB και όχι YUV σε αυτό το σημείο για να μπορεί ο αναγνώστης να παρατηρήσει λεπτομερώς το περιεχόμενό τους. 49

64 Ακολουθίες 5.1 Foreman ΌΌσον αφορά την ακολουθία Foreman, χρησιμοποιήσαμε τα παρακάτω καρέ που φαίνονται στις εικόνες και και είναι σε ανάλυση 176x144 (QCIF). Η κίνηση που υφίσταται μεταξύ των δύο καρέ επικεντρώνεται μόνο στην κίνηση του κεφαλιού του μοναδικού αντικειμένου που περιέχεται σε αυτά. Δεν έχουμε κάποια κίνηση που να αφορά την κάμερα όπως ζουμ, περιστροφή κτλ, παρά μόνο μια κανονικής ταχύτητας κίνηση στο κέντρο των δύο καρέ. Η μετατόπιση του αντικείμενου μας δεν θεωρείται μικρή, βέβαια, αλλά δε μπορεί να θεωρηθεί και πολύ μεγάλη. Επομένως, έχουμε μια φυσιολογική κίνηση ενός και μόνο ενός αντικείμενου μεταξύ των δύο καρέ. Εικόνα 5.1.1: Reference frame Εικόνα 5.1.2: Anchor frame 5.2 Bus ΈΈπειτα, παρουσιάζουμε τα καρέ που χρησιμοποιήσαμε από την ακολουθία Bus σε ανάλυση 352x288 (CIF) και φαίνονται στις εικόνες και Εδώ η κίνηση μας δεν περιορίζεται σε ένα αντικείμενο, αλλά σε περισσότερα. Επίσης, έχουμε μια ελαφριά κίνηση της κάμερας που ακολουθεί το λεωφορείο καθώς αυτό κινείται κατά την αριστερή μεριά. Είναι μια σχετικά αργή κίνηση με μικρή μετατόπιση των αντικειμένων, αλλά κάτι το εξαιρετικά ενδιαφέρον είναι η εμφάνιση νέας πληροφορίας στην εικόνα που φαίνεται στο αριστερό κομμάτι του τωρινού καρέ και οφείλεται στην κίνηση της κάμερας. Η κίνηση της κάμερας, έχει ως αποτέλεσμα και τη φαινομενική μετατόπιση των σταθερών αντικειμένων, π.χ όπως είναι η πινακίδα στο πάνω δεξιά μέρος των καρέ, προς τα αριστερά. Γενικά, είναι μια εξαιρετικά ενδιαφέρουσα 50

65 Ακολουθίες αλληλουχία εικόνων που περιέχει ένα μεγάλο μέρος των περιπτώσεων υπό μελέτη. Εικόνα 5.2.1: Reference frame Εικόνα 5.2.2: Anchor frame 5.3 Clairey Tα καρέ που χρησιμοποιήσαμε από την ακολουθία Clairey είναι σε ανάλυση 176x144 και φαίνοται στις εικόνες και Εικόνα Reference frame Εικόνα Anchor frame Η κίνηση της Claire είναι μια αργή κίνηση που επικεντρώνεται στις εκφράσεις του προσώπου της καθώς αυτή μιλάει και δεν περιέχει μεγάλες 51

66 Ακολουθίες μετατοπίσεις. Είναι μια τυπική κίνηση ενός παρουσιαστή δελτίου ειδήσεων όπου όλα μένουν σταθερά και το μόνο που κινείται είναι το στόμα και γενικότερα οι μυς του προσώπου. Δεν έχουμε κίνηση της κάμερας, δεν έχουμε κίνηση του φόντου και γενικότερα η Claire είναι το μόνο αντικείμενό στις δύο εικόνες. Εμφάνιση νέων αντικειμένων ή απόκρυψη άλλων, επίσης, δεν υπάρχει στα δύο καρέ. Με λίγα λόγια, η κίνηση της Claire είναι μια από τις πλέον τυπικές κινήσεις με σταθερή κάμερα, ακίνητο φόντο, και ένα αντικείμενο που κινείται πολύ αργά κατά τη διάρκεια των καρέ. Απλά, είναι ένας άνθρωπος που μιλάει και τον τραβάει η κάμερα. 5.4 Stefan Τέλος, παραθέτουμε τα καρέ που χρησιμοποιήσαμε από την ακολουθία Stefan σε ανάλυση 352x288 (CIF) και παρουσιάζονται στις εικόνες και Εικόνα Reference frame Εικόνα Anchor frame Η κίνηση που υπάρχει ανάμεσα στα δύο καρέ της ακολουθίας Stefan είναι ένα μίγμα πολλών και διαφορετικών κινήσεων. Στα δύο αυτά καρέ, υπάρχει μια ανεπαίσθητη κίνηση της κάμερας, που ακολουθεί το μπαλάκι και κάποιες αργές μικρό-κινήσεις των θεατών στο πλήθος. Βασικότερη όμως όλων είναι η κίνηση που υφίσταται το μπαλάκι μετά το χτύπημα του από την ρακέτα και η κίνηση του χεριού του Stefan. Αυτές οι δύο θεωρούνται γρήγορες 52

67 Ακολουθίες κινήσεις και συγκεκριμένα η κίνηση της μπάλας θεωρείται πολύ γρήγορη. Αυτός είναι και ο λόγος που αποφασίστηκε να μελετηθεί και αυτή η ακολουθία. Παρατηρούμε λοιπόν, ότι τα καρέ από τις ακολουθίες που χρησιμποιήσαμε εμπεριέχουν ένα μεγάλο μέρος των κινήσεων που μπορούν να παρατηρηθούν σε διαδοχικά καρέ. Στο επόμενο κεφάλαιο παρουσιάζονται αναλυτικά τα πειράματα και τα αποτελέσματα που προέκυψαν εξ αυτών. 53

68 ΚΕΦΑΛΑΙΟ 6 Πειράματα 6.1 EBMA Σε αυτό το κεφάλαιο, θα παραθέσουμε τα πειράματα που κάναμε και τα αποτελέσματα που προέκυψαν με τη χρήση των αλγορίθμων της Εξαντλητικής Αναζήτησης, των Τεσσάρων Βημάτων, της Ιεραρχικής Αναζήτησης και της μεθόδου Συσχετισμού Φάσης. Αρχικά, ας πάρουμε τους αλγορίθμους έναν έναν ξεχωριστά για να δούμε τα αποτέλεσματα που έχει ο κάθε ένας στις αλληλουχίες των εικόνων κι έπειτα στο τέλος τους κεφαλαίου θα τους μελετήσουμε όλους μαζί συγκεντρωτικά. Ας πάρουμε, λοιπόν, την ακολουθία του Foreman, για την οποία παραθέτουμε ενδεικτικά το Motion Field που προκύπτει από την εφαρμογή του Εικόνα 6.1.1: Καρέ αναφοράς Εικόνα 6.1.2: Τωρινό καρέ αλγορίθμου της Εξαντλητικής Αναζήτησης για ακρίβεια ενός εικονοστοιχείου, μέγεθος μπλοκ 8x8 εικονοστοιχεία και περιοχή αναζήτησης επίσης 8 εικονοστοιχεία προς κάθε κατεύθυνση. Η ακολουθία αυτή θα χρησιμοποιηθεί σαν βασική στη παρουσίαση των διαγραμμάτων των υπολογισμών που χρειάστηκαν, του χρόνου και άλλων παραμέτρων, καθώς είναι πλήρως αντιπροσωπευτική για το σκοπό αυτό. 54

69 Πειράματα ΕΒΜΑ Εικόνα 6.1.3: Πεδίο διανυσμάτων κίνησης στην ακολουθία του Foreman για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης 8 εικονοστοιχεία προς κάθε κατεύθυνση Παρατηρούμε ότι ο αλγόριθμος μας είναι ικανός να προσεγγίσει με μεγάλη ακρίβεια την κίνηση που υφίσταται το αντικείμενό μας ανάμεσα στις δύο εικόνες και αυτό φαίνεται και από το PSNR μεταξύ του τωρινού καρέ και του καρέ πρόβλεψης που είναι 30,79dB. 55

70 Πειράματα ΕΒΜΑ Εικόνα 6.1.4: PSNR για την ακολουθία του Foreman για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης 8 εικονοστοιχεία προς κάθε κατεύθυνση Επειδή, προφανώς, δεν μπορούμε να παραθέσουμε όλα τα Motion Fields που προκύπτουν από την εφαρμογή του κάθε αλγορίθμου και με όλες τις παραμέτρους, θα παραθέσουμε διαγράμματα και πίνακες που περιέχουν όλες τις πληροφορίες που χρειαζόμαστε για κάθε σετ παραμέτρων. Στην συνέχεια, ας περάσουμε στους υπολογισμούς του αλγορίθμου. Ο αλγόριθμος της Εξαντλητικής Αναζήτησης χρειάζεται 2p + 1! dimy dimx 4 υπολογισμούς στο σύνολο, όπου dimy, dimx οι διαστάσεις της εικόνας και παρατηρούμε ότι είναι ανεξάρτητος του μεγέθους του μπλοκ. Πιο συγκεκριμένα, για κάθε διάνυσμα κίνησης υπάρχουν 2p + 1! τοποθεσίες αναζήτησης και σε κάθε τοποθεσία υπολογίζονται ΝxM εικονοστοιχεία, όπου Ν,Μ οι διαστάσεις του μπλοκ. Κάθε σύγκριση εικονοστοιχείων πριν υπολογιστεί χρειάζεται τέσσερις πράξεις οι οποίες είναι μια αφαίρεση, ένας υπολογισμός απόλυτης τιμής, μια πρόσθεση και μια διαίρεση. ΈΈτσι, η υπολογιστική πολυπλοκότητα για κάθε μακρο μπλοκ είναι 2p + 1! Ν Μ 4 πράξεις. Αν έχουμε εικόνα μεγέθους dimy, dimx τότε η συνολική πολυπλοκότητα ανέρχεται σε 2p + 1!!"#$!"#$ Ν Μ 4,!! δηλαδή 2p + 1! dimy dimx 4. Οι πράξεις ανάλογα την υλοποίηση μπορεί και να μη ληφθούν υπ όψη στην πολυπλοκότητα. Στην δική μας υλοποίηση δεν τις λάβαμε υπ όψιν καθ ότι δεν αλλάζει το αποτέλεσμα. Για κάθε μακρο μπλοκ, λοιπόν, αναζητούνται 2p + 1! τοποθεσίες και για p = 8 έχουμε 289 τοποθεσίες. Στην δική μας υλοποίηση οι τοποθεσίες αυτές κατά μέσο όρο ανέρχονται στις 262,1717 πράγμα που σημαίνει ότι ο αλγόριθμος δουλεύει σωστά και καλύτερα από τα αναμενόμενα αφού δεν εξαντλείται εντελώς. Συνολικά, λοιπόν, έχουμε 262,1717 αναζητήσεις επί 396 μακρομπλοκ = αναζητήσεις αντί για Στη συνέχεια θα παραθέτουμε τους υπολογισμούς ανά μακρό μπλοκ καθότι είναι ένα ανηγμένο και ευκολονόητο μέγεθος. 56

71 Πειράματα ΕΒΜΑ Για περιοχή αναζήτησης σταθερή και ίση με 4 και 8 εικονοστοιχεία προς όλες τις κατευθύνσεις αντίστοιχα, παρατηρούμε τη μεταβολή των υπολογισμών ανάλογα με το μέγεθος μπλοκ. Βλέπουμε ότι οι υπολογισμοί που απαιτούνται αυξάνονται πάρα πολύ με μεταβολή της περιοχής αναζήτησης από 4 σε 8 εικονοστοιχεία προς κάθε κατεύθυνση, ενώ με περιοχή αναζήτησης ίση με 16 οι υπολογισμοί αυξάνονται δραματικά πράγμα που είναι, βέβαια, αναμενόμενο. Παρακάτω, αλλά και στη συνέχεια, η χρήση του τελεστή της τελείας συμβολίζει την αρχή του δεκαδικού μέρους και όχι μέτρηση χιλιάδων. Υπολογισμοί - Μέγεθος μπλοκ Computations (per block) Blocksize Computations with P =4 Computations with P = 8 Computations with P = 16 Διάγραμμα 6.1.1: Υπολογισμοί ανά μπλοκ για μεταβλητό μέγεθος μπλοκ 4x4, 8x8 και 16x16 για σταθερή περιοχή αναζήτησης με P = 4, P = 8 και P = 16 57

72 Πειράματα ΕΒΜΑ Παρακάτω βλέπουμε και τον αντίστοιχο χρόνο για την κάθε περίπτωση σε δευτερόλεπτα Υπολογισμοί - Χρόνος Computations (per block) Computations with P = 4 Computations with P = 8 Computations with P = Time (sec) Διάγραμμα 6.1.2: Υπολογισμοί ανά μπλοκ και χρόνος εκτέλεσης για μεταβλητό μέγεθος μπλοκ 4x4, 8x8 και 16x16 για σταθερή περιοχή αναζήτησης με P = 4, P = 8 και P = 16 Αξίζει να σημειώσουμε ότι τα χρονικά μεγέθη μπορεί να φαίνονται μικρά και οι διαφορές που παρουσιάζουν μεταξύ τους να φαντάζουν ασήμαντες όμως παίζουν τεράστιο ρόλο στην μικροηλεκτρονική και στην κατανάλωση ενέργειας με βάση την υπολογιστική ισχύ που απαιτείται. 58

73 Πειράματα ΕΒΜΑ Ας δούμε τώρα πώς επηρεάζει η ακρίβεια τους υπολογισμούς που χρειάζονται για την περάτωση του αλγορίθμου. Παραθέτουμε το διάγραμμα υπολογισμών ακρίβειας για ακρίβεια ενός εικονοστοιχείου και μισού εικονοστοιχείου για σταθερή περιοχή αναζήτησης ίση με 4 εικονοστοιχεία προς κάθε κατεύθυνση. Ακρίβεια - Υπολογισμοί Computations (per block) Ένα εικονοστοιχείο Μισό εικονοστοιχείο Accuracy Computations with P =4 Computations with P = 8 Διάγραμμα 6.1.3: Υπολογισμοί ανά μπλοκ με ακρίβεια ενός και μισού εικονοστοιχείου για μεταβλητό μέγεθος μπλοκ 4x4, 8x8 και 16x16 για σταθερή περιοχή αναζήτησης με P = 4, P = 8 και P = 16 Παρατηρούμε ότι οι υπολογισμοί αυξάνονται περίπου στο τετραπλάσιο όταν εφαρμόσουμε ακρίβεια μισού εικονοστοιχείου. Αυτό είναι απόλυτα φυσιολογικό καθώς η αναζήτηση πλέον λαμβάνει χώρα σε στην ίδια περιοχή αναζήτησης με βήμα 0.5 αντί για 1, άρα θα σαρώσουμε τον ίδιο χώρο με διπλάσια δειγματοληψία. Δηλαδή, έχουμε μια τετραπλάσια εικόνα (2Μx2Ν). Στην συνέχεια, παραθέτουμε το διάγραμμα των υπολογισμών συναρτήσει της περιοχής αναζήτησης για σταθερό μέγεθος μπλοκ σε κάθε περίπτωση. Η μεταβολές των τιμών είναι 4,8, 16 αντίστοιχα και για την περιοχή αναζήτησης και για το μέγεθος μπλοκ. 59

74 Πειράματα ΕΒΜΑ Υπολογισμοί - Περιοχή αναζήτησης 1200 Computations (per block) Search area Blocksize 4 Blocksize 8 Blocksize 16 Διάγραμμα 6.1.4: Υπολογισμοί ανά μπλοκ για μεταβλητή περιοχή αναζήτησης με P = 4, P = 8 και P = 16 και σταθερό μέγεθος μπλοκ 4x4, 8x8 και 16x16 Η Εξαντλητική Αναζήτηση, όπως ήδη έχουμε πει, είναι μια χρονοβόρα διαδικασία καθώς συγκρίνει όλα τα μπλοκ μεταξύ τους για να βρει το βέλτιστο ταίρι του εκάστοτε μπλοκ και απαιτεί όπως είδαμε και πολλούς υπολογισμούς. Ας δούμε όμως τί γίνεται με την απόδοση του αλγορίθμου που είναι φυσικά η καλύτερη λόγω της εξαντλητικής φύσης του αλγορίθμου. Μέτρο της απόδοσης είναι το PSNR, όπως εξηγήσαμε σε προηγούμενο κεφάλαιο, που στόχος μας είναι να έχει όσο το δυνατόν μεγαλύτερη τιμή ανάμεσα στο τωρινό μας καρέ και το καρέ πρόβλεψης που προέκυψε από τον αλγόριθμο. Παρακάτω βλέπουμε τις τιμές PSNR για μεταβολή στην περιοχή αναζήτησης και το μέγεθος μπλοκ. Τα πειράματα είναι της ίδιας φύσης και πραγματοποιήθηκαν για τις ίδιες τιμές όπως και προηγουμένως. Οι τιμές αυτές είναι 4x4, 8x8 και 16x16 εικονοστοιχεία για το μέγεθος μπλοκ και 4, 8, 16 εικονοστοιχεία προς κάθε κατεύθυνση για την περιοχή αναζήτησης. 60

75 Πειράματα ΕΒΜΑ PSNR - Μέγεθος μπλοκ (μεταβολή περιοχής αναζήτησης) PSNR Search Area 4 Search Area 8 10 Search Area Blocksize Διάγραμμα 6.1.5: PSNR για μεταβλητό μέγεθος μπλοκ 4x4, 8x8 και 16x16 και σταθερή περιοχή αναζήτησης με P = 4, P = 8 και P = 16 Παρατηρούμε εύλογα ότι όσο μικρότερο είναι το μέγεθος του μπλοκ τόσο μεγαλύτερη είναι η ακρίβεια που πετυχαίνουμε στην εκτίμηση και συγκεκριμένα, όσο μεγαλώνει και η περιοχή αναζήτησης η ακρίβεια αυτή βελτιώνεται ακόμη περισσότερο πράγμα που είναι απολύτως φυσιολογικό. Ας δούμε τα διανύσματα κίνησης που προκύπτουν ως αποτέλεσμα μεγέθους μπλοκ 4x4 και περιοχής αναζήτησης 16 για να φανεί αυτή η διαφοροποίηση. Εικόνα 6.1.1: Διανύσματα κίνησης για μέγεθος μπλοκ 4x4 και περιοχή αναζήτησης με P =16 61

76 Πειράματα ΕΒΜΑ Στη συνέχεια, ας περάσουμε σε ένα εξίσου σημαντικό κομμάτι της παρούσας εργασίας που είναι η απόδοση του αλγορίθμου σε διαφορετικές αλληλουχίες εικόνων με αντίστοιχη μεταβολή του μεγέθους μπλοκ. Στο πείραμα, θα κρατήσουμε σταθερή την περιοχή αναζήτησης στα 4 εικονοστοιχεία προς κάθε κατεύθυνση και το μέγεθος μπλοκ θα λάβει τιμές 4x4, 8x8 και 16x16. PSNR - Μέγεθος μπλοκ (διαφορετικές αλληλουχίες εικόνων) PSNR Foreman Bus Clairey Stefan Blocksize Διάγραμμα 6.1.6: PSNR ακολουθιών για μέγεθος μπλοκ 4x4, 8x8 και 16x16 για σταθερή περιοχή αναζήτησης με P =4 Τα αποτελέσματα αυτά είναι εξαιρετικά ενδιαφέροντα, καθώς παρατηρούμε ότι το καλύτερο PSNR αντιστοιχεί στην ακολουθία της Clairey που όπως σχολιάσαμε στο αντίστοιχο κεφάλαιο υφίσταται μια πολύ μικρή και αργή κίνηση χωρίς καμία μεταβολή της κάμερας, ενώ το χειρότερο μας το έδωσε η ακολουθία Bus, η οποία εμπλέκει κίνηση πολλών αντικειμένων, εισαγωγή νέων αντικειμένων στην εικόνα και μια ελαφριά κίνηση της κάμερας. ΌΌμοια αποτελέσματα πήραμε για την ακολουθία του Foreman και του Stefan, με καλύτερα αυτά του Foreman, καθώς είναι δύο κινήσεις που μοιάζουν σε γενικές γραμμές όπως εξηγήθηκε στο αντίστοιχο κεφάλαιο. Αξίζει επίσης να δούμε τον τρόπο με τον οποίο επιδρά η αύξηση της ακρίβειας από ένα σε μισό εικονοστοιχείο στην κάθε περίπτωση. Φυσικά, περιμένουμε καλύτερα αποτελέσματα σε όλες τις αλληλουχίες των εικόνων υπό μελέτη. Ας δούμε αν συμβαίνει αυτό για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης 4 εικονοστοιχεία προς κάθε κατεύθυνση. 62

77 Πειράματα ΕΒΜΑ PSNR PSNR - Ακρίβεια Accuracy Foreman Bus Clairey Stefan Διάγραμμα 6.1.7: PSNR ακολουθιών για ακρίβεια ενός και μισού εικονοστοιχείου με σταθερό μέγεθος μπλοκ 8x8 και σταθερή περιοχή αναζήτησης με P =4 Παρατηρούμε ότι το PSNR αυξήθηκε κατά 1.2dB στην ακολουθία της Clairey, 0.59dB στον Foreman, 1,63dB στον Stefan και 0.39dB στην ακολουθία Bus. Η μεγαλύτερη αύξηση έγινε στην ακολουθία του Stefan η οποία περιέχει και κάποιες γρήγορες κινήσεις, η οποίες με ακρίβεια ενός εικονοστοιχείου δεν μπορούσαν να εκτιμηθούν τόσο καλά όσο τώρα και γι αυτό έχουμε και μια τόσο μεγάλη αύξηση. Για διαφορετικό λόγο έχουμε μεγάλη αύξηση όμως στην ακολουθία της Clairey. Αυτό γίνεται γιατί η ήδη πολύ αργή και απλή κίνηση της εκτιμάται πολύ καλά με ακρίβεια ενός εικονοστοιχείου, οπότε με ακρίβεια μισού εικονοστοιχείου απλά βελτιώνουμε την ήδη πολύ καλή αυτή εκτίμηση που συμβαίνει να είναι αυτής της τάξεως. Στον Foreman έχουμε μια φυσιολογική αύξηση για την σχετικά απότομη κίνηση που αυτός υφίσταται ενώ στην ακολουθία Bus μια πολύ μικρή καθώς ισχύουν όλα αυτά που σημειώσαμε προηγουμένως στην μελέτη του ενός εικονοστοιχείου. Σε αυτό το σημείο ας δούμε τα Motion Fields που προκύπτουν και για τις άλλες ακολουθίες μαζί με τα αντίστοιχα καρέ πρόβλεψης. Αξίζει να σχολιαστεί το πεδίο διανυσμάτων της ακολουθίας bus που είναι χαοτικό και με πολλά λάθη, ενώ πολλά από αυτά θα έπρεπε να έχουν σχεδόν μηδενική τιμή. Αυτό πιθανότατα συμβαίνει λόγω της ομοιομορφίας του (aperture problem). Αντιθέτως, το πεδίο διανυσμάτων του Stefan είναι αξιοθαύμαστο με άκρως επιθυμητά αποτελέσματα. 63

78 Πειράματα ΕΒΜΑ Εικόνα 6.1.5: Καρέ αναφοράς Εικόνα 6.1.6: Τωρινό καρέ Εικόνα 6.1.7: Πεδίο διανυσμάτων για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης με P = 4 Εικόνα 6.1.8: Καρέ πρόβλεψης για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης με P = 4 64

79 Πειράματα ΕΒΜΑ Εικόνα 6.1.9: Καρέ αναφοράς Εικόνα : Τωρινό καρέ Εικόνα : Πεδίο διανυσμάτων για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης με P = 4 Εικόνα : Καρέ πρόβλεψης για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης με P = 4 65

80 Πειράματα ΕΒΜΑ Εικόνα : Καρέ αναφοράς Εικόνα : Τωρινό καρέ Εικόνα : Πεδίο διανυσμάτων για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης με P = 4 Εικόνα : Καρέ πρόβλεψης για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης με P = 4 66

81 Πειράματα ΕΒΜΑ Τα διανύσματα κίνησης προέκυψαν για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης 4 εικονοστοιχεία προς κάθε κατεύθυνση. Παραθέτουμε και συγκεντρωτικούς πίνακες με τα αποτελέσματα για όλες τις ακολουθίες για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης 4 προς διευκόλυνση του αναγνώστη. Accuracy 1 PSNR(dB) Computations (per block) Time(sec) Foreman Bus Clairey Stefan Πίνακας 6.1.1: Συγκεντρωτικά αποτελέσματα για μέγεθος μπολοκ ίσο με 8x8 και περιοχή αναζήτησης με P = 4 Accuracy 0.5 PSNR(dB) Computations (per block) Time(sec) Foreman Bus Clairey Stefan Πίνακας 6.1.2: Συγκεντρωτικά αποτελέσματα για μέγεθος μπολοκ ίσο με 8x8 και περιοχή αναζήτησης με P = 4 Συμπερασματικά, βλέπουμε ότι ο αλγόριθμος της εξαντλητικής αναζήτησης παρέχει πάρα πολύ καλά αποτελέσματα όμως έχει το μειονέκτημα της υπερβολικής αύξησης των υπολογισμών με ταυτόχρονη αύξηση της περιοχής αναζήτησης. ΈΈτσι, για μεγάλες κινήσεις ή/και με κίνηση της κάμερας ο αλγόριθμος θα πρέπει να περιοριστεί σε μια μικρή περιοχή αναζήτησης για να μην ξεφύγει στους υπολογισμούς και αυτό θα έχει ως συνέπεια ένα μη επιθυμητό αποτέλεσμα. 67

82 6.2 Four Step Search Ο αλγόριθμος των τεσσάρων βημάτων, όπως αναφέραμε στο κεφάλαιο που αφιερώσαμε στην περιγραφή του, έχει συγκεκριμένο τρόπο με τον οποίο εφαρμόζει την αναζήτηση του, η οποία και αποτελείται από τέσσερα βήματα. Ο συνολικός αριθμός των μπλοκ που θα ελεγχθούν κυμαίνεται από 27 που είναι το μέγιστο έως 17 που είναι το ελάχιστο. Κατά μέσο όρο θα ελεγχθούν 22 μπλοκ. Στην περίπτωση του Foreman έγινε έλεγχος σε μπλοκ με μέγεθος μπλοκ 8x8 και άρα το θεωρητικό αυτό μοντέλο προσεγγίζει με καλή ακρίβεια τα αποτελέσματα που πήραμε εκ των οποίων θα δούμε γενικά ότι κυμαίνονται κοντά στο προσεγγιστικό νούμερο που μας δίνει η θεωρητική μελέτη. Υπενθυμίζουμε ότι ο τελεστής της τελείας δηλώνει δεκαδικό μέρος. Ας ρίξουμε μια ματιά στο πεδίο των διανυσμάτων κίνησης και το καρέ πρόβλεψης που προκύπτει για μέγεθος μπλοκ 8x8 στην ακολουθία του Foreman. Εικόνα 6.2.1: Πεδίο διανυσμάτων κίνησης στην ακολουθία του Foreman για μέγεθος μπλοκ 8x8 68

83 Πειράματα Four Step Search Εικόνα 6.2.2: PSNR για την ακολουθία του Foreman για μέγεθος μπλοκ 8x8 Υψοψιαζόμαστε ήδη από το πεδίο των διανυσμάτων ότι το αποτελέσμα δε έχει την ίδια ακρίβεια σε σύγκριση με αυτό της εξαντλητικής αναζήτησης. Βλέπουμε κάποια διανύσματα που δεν ανταποκρίνονται σε πραγματική κίνηση όπως αυτά που παρατηρούνται στο δεξί κομμάτι του πεδίου διανυσμάτων και είναι ομόρροπα. Αυτό, όμως, δεν σημαίνει απαραίτητα κάτι, καθώς το τίμημα της ταχύτητας για μερικά λάθος διανύσματα δεν είναι και τόσο σημαντικό. ΌΌντως, όπως βλέπουμε από το καρέ πρόβλεψης και το PSNR, η ακρίβεια είναι μειωμένη αλλά πολύ καλή και πλέον αποδεκτή. Μπροστά στην ταχύτητα του αλγορίθμου και το πολύ μικρό υπολογιστικό κόστος η ανταλλαγή για λίγο μικρότερη απόδοση είναι δίκαια. Θα παραθέσουμε τώρα τα διαγράμματα που αφορούν τους υπολογισμούς, το χρόνο και το PSNR του αλγορίθμου συγκριτικά με αυτά της εξαντλητικής αναζήτησης για να γίνουν εμφανή τα διαφορετικά γνωρίσματά του και να μπορέσουν να σχολιαστούν ευκολότερα τα σημεία που χρήζουν σχολιασμού. Παρακάτω φαίνεται το διάγραμμα που συσχετίζει τους το μέγεθος μπλοκ με τους υπολογισμούς που απαιτούνται για την περάτωση του αλγορίθμου. 69

84 Πειράματα Four Step Search Υπολογισμοί - Μέγεθος μπλοκ Computations Blocksize Computations Fourstep Computations EBMA with P = 4 Διάγραμμα 6.2.1: Υπολογισμοί ανά μπλοκ για μεταβλητό μέγεθος μπλοκ 4x4, 8x8 Παρατηρούμε ότι ο μέσος όρος των υπολογισμών σε σημεία που χρειάζεται κάθε μπλοκ είναι μειωμένος περίπου κατά το 1/3, πράγμα που αποδεικνύει και πειραματικά ότι ο αλγόριθμος των τεσσάρων βημάτων είναι πιο γρήγορος. Αυτό συμβαίνει γιατί ο αλγόριθμος ακολουθεί συγκεκριμένη διαδρομή αναζήτησης ανεξαρτήτως του αν αποτύχει ή όχι, πράγμα που σημαίνει ότι προφανώς και εμπεριέχεται κάποιο ρίσκο κατά την εκτίμηση κινήσεων που γίνονται σε διαφορετικά σημεία από αυτά που μπορούν να εκτιμηθούν με βάση τη συγκεκριμένη διαδρομή του αλγορίθμου. Αυτή είναι όμως και η σκοπιμότητα του αλγορίθμου, ο οποίος και δημιουργήθηκε για να μειώσει τους υπολογισμούς και κατ επέκταση την ταχύτητα εκτέλεσης με τίμημα την απόδοση και την ακρίβεια των αποτελεσμάτων του, που βέβαια κυμαίνονται σε αποδεκτά επίπεδα όπως είπαμε. Παρακάτω βλέπουμε και το διάγραμμα που συσχετίζει τους υπολογισμούς με το χρόνο. Υπολογισμοί - Χρόνος Computations (thousands) Time (sec) Computations EBMA with P = 4 Computations Fourstep Διάγραμμα 6.2.2: Υπολογισμοί ανά μπλοκ και χρόνος εκτέλεσης για μεταβλητό μέγεθος μπλοκ 4x4, 8x8 70

85 Πειράματα Four Step Search Βλέπουμε ότι η διαφορά στο χρόνο εκτέλεσης των δύο αλγορίθμων είναι αρκετά μεγάλη, πράγμα που πιστοποιεί το θεωρητικό υπόβαθρο του αλγορίθμου. Ειδικά, όπως αναφέραμε στο κεφάλαιο του συγκεκριμένου αλγορίθμου, τέτοιες χρονικές διαφορές στο χρόνο εκτέλεσης παίζουν πολύ σημαντικό ρόλο σε εφαρμογές της εκτίμησης κίνησης σε φορητές συσκευές που θέλουν να κρατήσουν την ποιότητα σε ένα αποδεκτό επίπεδο, περιορίζοντας όμως όσο το δυνατόν περισσότερο την κατανάλωση ενέργειας που συνοδεύεται με την αντίστοιχη υπολογιστική ισχύ. Τί γίνεται όμως με την απόδοση του αλγορίθμου και την ακρίβεια των αποτελεσμάτων του στις ακολουθίες που μελετάμε; Είναι αυτή αποδεκτή ή όχι; Αυτό θα φανεί στο επόμενο διάγραμμα που παραθέτουμε και φαίνεται η συσχέτιση του PSNR με το μέγεθος του μπλοκ. PSNR - Μέγεθος μπλοκ 40 PSNR ΕΒΜΑ with P = 8 Fourstep Blocksize Διάγραμμα 6.2.2: PSNR για μεταβλητό μέγεθος μπλοκ 4x4, 8x8 και 16x16 Εδώ έχουμε ένα άκρως ενδιαφέρον αποτέλεσμα από την εφαρμογή του αλγορίθμου στην ακολουθία του Foreman και αυτό δεν είναι άλλο παρά η σχετική σταθερότητα του PSNR σε σχέση με αυτό του EBMA καθώς το μέγεθος μπλοκ μεγαλώνει. Αυτό είναι κάτι αναμενόμενο, καθώς όσο μεγαλώνει το μέγεθος μπλοκ, τόσο πέφτει η ποιότητα εκτίμησης. Εδικά στην εξαντλητική μέθοδο η πτώση είναι της τάξης των 6.78dB ενώ εδώ, το συγκεκριμένο μοτίβο αναζήτησης του αλγορίθμου του επιτρέπει να εκτιμήσει σωστά την κίνηση χωρίς μεγάλη διαφοροποίηση η οποία και είναι 1.86dB. Εδώ, ένα μικρό μπλοκ περιορίζει αρκετά την εκτίμηση της κίνησης αν αυτή δεν γίνεται τοπικά, όπως στη συγκεκριμένη περίπτωση, ενώ ένα μεγάλο μέγεθος μπλοκ εν μέρη βοηθάει, καθώς ουσιαστικά θα συμπεριλάβει περισσότερα εικονοστοιχεία στην εκτίμηση, αυξάνοντας έτσι την πιθανότητα να βρεθεί ένα βέλτιστο ταίρι με βάση το συγκεκριμένο μοτίβο αναζήτησης του αλγορίθμου. Οπότε το ισοζύγιο ποιότητας μένει σχετικά σταθερό. 71

86 Πειράματα Four Step Search Στο επόμενο συγκεντρωτικό διάγραμμα παραθέτουμε την απόδοση του αλγορίθμου για όλες τις ακολουθίες που τίθενται υπό μελέτη. 40 PSNR - Μέγεθος μπλοκ (διαφορετικές αλληλουχίες εικόνων) PSNR Blocksize Foreman Bus Clairey Stefan Διάγραμμα 6.2.4: PSNR ακολουθιών για μέγεθος μπλοκ 4x4, 8x8 και 16x16 Αξιοσημείωτο είναι ότι σε όλες τις ακολουθίες επιβεβαιώνεται αυτό που αναφέραμε προηγουμένως για εξαιρετική απόδοση σε σχέση με το μέγεθος μπλοκ κάτι που είναι φυσικά αναμενόμενο και θεμιττό. Συγκεκριμένα, η ακολουθία Bus, η οποία εμπεριέχει κινήσεις πολλών αντικειμένων, εμφάνιση νέων και κίνηση της κάμερας, αποτελεί μια πολύ δύσκολη περίπτωση για να εκτιμηθεί σωστά γενικότερα και όχι μόνο από το συγκεκριμένο αλγόριθμο, ο οποίος όπως ειπαμε ενδείκνυται για σύνθετες κινήσεις όπως ζουμ της κάμερας και γρήγορη κινήση. Ενδιαφέρον παρουσιάζει επίσης η περίπτωση της Clairey, που είναι μια αργή και απλή κίνηση με μικρή μετατόπιση και βλέπουμε ότι ο αλγόριθμος έχει εξαιρετικά αποτελέσματα στην εκτίμησή της χωρίς, βέβαια, να υποτιμάμαι τα αποτελέσματα του στις υπόλοιπες ακολουθίες που είναι επίσης αξιοσημείωτα. Συγκεντρωτικά, στους παρακάτω πίνακες συνοψίζονται τα αποτελέσματα του αλγορίθμου για μέγεθος μπλοκ 4, 8 και 16 αντίστοιχα. 72

87 Πειράματα Four Step Search Accuracy 1 PSNR(dB) Computations per block Time(sec) Foreman Bus Clairey Stefan Πίνακας 6.2.1: Συγκεντρωτικά αποτελέσματα για μέγεθος μπλοκ ίσο με 4x4 και ακρίβεια ενός εικονοστοιχείου Accuracy 1 PSNR(dB) Computations per block Time(sec) Foreman Bus Clairey Stefan Πίνακας 6.2.2: Συγκεντρωτικά αποτελέσματα για μέγεθος μπλοκ ίσο με 8x8 και ακρίβεια ενός εικονοστοιχείου Accuracy 1 PSNR(dB) Computations per Time(sec) block Foreman Bus Clairey Stefan Πίνακας 6.2.3: Συγκεντρωτικά αποτελέσματα για μέγεθος μπλοκ ίσο με 16x16 και ακρίβεια ενός εικονοστοιχείου 73

88 Πειράματα Four Step Search Accuracy 0.5 PSNR(dB) Computations per block Time(sec) Foreman Bus Clairey Stefan Πίνακας 6.2.4: Συγκεντρωτικά αποτελέσματα για μέγεθος μπλοκ ίσο με 4x4 και ακρίβεια μισού εικονοστοιχείου Accuracy 0.5 PSNR(dB) Computations per block Time(sec) Foreman Bus Clairey Stefan Πίνακας 6.2.5: Συγκεντρωτικά αποτελέσματα για μέγεθος μπλοκ ίσο με 8x8 και ακρίβεια μισού εικνοστοιχείου Accuracy 0.5 PSNR(dB) Computations per block Time(sec) Foreman Bus Clairey Stefan Πίνακας 6.2.6: Συγκεντρωτικά αποτελέσματα για μέγεθος μπλοκ ίσο με 16x16 και ακρίβεια μισού εικονοστοιχείου Στην συνέχεια, παραθέτουμε επίσης και από ένα πεδίο διανυσμάτων κίνησης για κάθε αλληλουχία εικόνων για να γίνει οπτικοποιηθεί το αποτέλεσμα. Τα διανύσματα που παρατίθενται είναι για μέγεθος μπλοκ 8x8 και ακρίβεια ενός εικονοστοιχείου. 74

89 Πειράματα Four Step Search Εικόνα 6.2.3: Πεδίο διανυσμάτων για μέγεθος μπλοκ 8x8 Εικόνα 6.2.4: Καρέ πρόβλεψης για μέγεθος μπλοκ 8x8 75

90 Πειράματα Four Step Search Εικόνα 6.2.5: Πεδίο διανυσμάτων για μέγεθος μπλοκ 8x8 Εικόνα 6.2.6: Καρέ πρόβλεψης για μέγεθος μπλοκ 8x8 76

91 Πειράματα Four Step Search Εικόνα 6.2.7: Πεδίο διανυσμάτων για μέγεθος μπλοκ 8x8 Εικόνα 6.2.8: Καρέ πρόβλεψης για μέγεθος μπλοκ 8x8 77

92 Πειράματα Four Step Search Συμπερασματικά, διαπιστώνουμε ότι ο αλγόριθμος παρουσιάζει εξαιρετικά αποτελέσματα έχοντας βέβαια μεγάλη πιθανότητα να αποτύχει λόγω της φύσης του μοτίβου αναζήτησης του κάτι που είναι απόλυτα φυσιολογικό και αναμενόμενο. Με λίγα λόγια, είναι μια ταχύτερη μέθοδος που εκτιμάει την κίνηση υπερβολικά πιο γρήγορα από την εξαντλητική μέθοδο και με πάρα πολύ καλά αποτελέσματα, αλλά παρουσιάζει μεγαλύτερο περιθώριο λάθους. Ειδικά, σε κινήσεις που παρουσιάζουν κίνηση κάμερας πέραν του ζουμ και εμπλέκουν πολλά αντικείμενα που κινούνται ή εμφανίζονται χωρίς να υπήρχαν προηγουμένως και σε κινήσεις με μεγάλες μετατοπίσεις, ο αλγόριθμος έχει πολύ μεγάλη πιθανότητα λάθους εκτίμησης, χωρίς βέβαια αυτό να τον καθιστά ανίκανο να δώσει ένα αποδεκτό αποτέλεσμα όπως άλλωστε παρατηρήσαμε προηγουμένως. Τα αποτελέσματα που δίνει για το χρόνο περάτωσης του και την υπολογιστική ισχύ που απαιτεί είναι πλήρως ικανοποιητικά και γι αυτό θεωρείται ένας από τους καλύτερους στην κατηγορία των γρήγορων αλγορίθμων σύγκρισης και ταύτισης μπλοκ. 78

93 6.3 HBMA Ο αλγόριθμος της Ιεραρχικής αναζήτησης ουσιαστικά εκμεταλλεύεται τις ιδιότητες της Εξαντλητικής αναζήτησης όπως αναφέραμε στο κεφάλαιο που αφιερώσαμε στην θεωρητική μελέτη του προσεγγίζοντας το αποτέλεσμα σταδιακά σε τρία βήματα και σε τρεις διαφορετικές αναλύσεις. Στην υλοποίησή μας, βάλαμε ως παράμετρο και των αριθμών των βημάτων για να δούμε τί γίνεται αν αντί για τα τρία βήματα που συστήνει η βιβλιογραφία εμείς κάνουμε μόνο δύο ή περισσότερα των τριών, όπως τέσσερα ή και πέντε. Το αποτέλεσμα είναι αρκετά ενδιαφέρον και θα παρατεθεί στη συνέχεια του κεφαλαίου. Ας δούμε λίγο το θεωρητικό μοντέλο και τους υπολογισμούς που επιτάσσει ότι χρειάζεται ο συγκεκριμένος αλγόριθμος. Αυτό μας λέει ότι οι πράξεις που χρειάζονται ανά μακρο μπλοκ είναι 2! + 1! για το τελευταίο! επίπεδο της ιεραχικής πυραμίδας, 2!! + 1! για το μεσσαίο επίπεδο και! 2p + 1! για επίπεδο της αρχικής ανάλυσης. Δεν πρόκειται παρά μια εξαντλητική αναζήτηση με διαφορετική περιοχή αναζήτησης κάθε επίπεδο. Ας θεωρήσουμε λοιπόν την παράμετρο αναζήτησης p ίση με 8 για να δούμε αν τα θεωρητικά αποτελέσματα βρίσκουν εφαρμογή στα πειράματά μας. Το τελευταίο επίπεδο θα μας δώσει 25 τοποθεσίες προς αναζήτηση. Το μεσσαίο δεν θα μας δώσει 81 καθώς υπάρχει ο συμβολισμός p που σημαίνει ότι η περιοχή αναζήτησης δεν θα είναι 8/2, αλλά σύμφωνα με την υλοποίησή μας θα κυμανθεί γύρω από τα διανύσματα που προέκυψαν από την προήγουμενη ανάλυση για να μην ψάξουμε άσκοπα και χωρίς λόγο σε περισσότερα των αναγκαίων σημεία. Πιο απλά, θα εξετάσουμε ένα παράθυρο 7x7 γύρω από την περιοχή που μας υποδεικνύει το διάνυσμα κίνησης που προέκυψε από την προηγούμενη ανάλυση που είναι το τελευταίο επίπεδο. Το ίδιο θα κάνουμε και στο επίπεδο της αρχικής ανάλυσης εξετάζοντας όμως ένα παράθυρο 3x3 γύρω από τα διανύσματα κίνησης που προέκυψαν από το μεσσαίο επίπεδο προηγουμένως. Συγκεκριμένα, για το τελευταίο επίπεδο έχουμε 25 τοποθεσίες προς αναζήτηση όπως είπαμε πριν, για το μεσσαίο το p είναι ίσο με 3 άρα έχουμε 49 τοποθεσίες και για το πρώτο επίπεδο της αρχικής ανάλυσης έχουμε 9. ΆΆρα συνολικά, από τα τρία επίπεδα έχουμε = 83 τοποθεσίες προς αναζήτηση. Για p = 8, στην ακολουθία του Foreman, το τελευταίο επίπεδο της μικρής ανάλυσης μας δίνει τοποθεσίες προς αναζήτηση κατά μέσο όρο, το μεσσαίο επίπεδο και το πρώτο Συνολικά, έχουμε δηλαδή = αναζητήσεις. Αφού, αποδείξαμε και είδαμε ότι ο αλγόριθμος μας όχι μόνο ανταποκρίνεται στη θεωρητική μελέτη, αλλά έχει και περίπου 6 αναζητήσεις λιγότερες για τη συγκεκριμένη ακολουθία και για τη συγκεκριμένη περιοχή αναζήτησης, ας περάσουμε να δούμε όπως και στις προηγούμενες αναλύσεις ένα πεδίο διανυσμάτων κίνησης για την ακολουθία του Foreman που προκύπτει για περιοχή αναζήτησης ίση με 8 εικονοστοιχεία προς κάθε 79

94 Πειράματα HBMA κατεύθυνση (p = 8), μέγεθος μπλοκ 8x8 και 3 επίπεδα στην ιεραρχία όπως και επιτάσσει η θεωρία ως βέλτιστα για την απόδοση. Εικόνα 6.3.1: Πεδίο διανυσμάτων κίνησης στην ακολουθία του Foreman για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης με P = 8 Εικόνα 6.3.2: PSNR για την ακολουθία του Foreman για μέγεθος μπλοκ 8x8 και περιοχή αναζήτησης με P = 8 Παρατηρούμε ότι το αποτέλεσμα είναι άκρως ικανοποιητικό αν και δεν προσεγγίζει αυτό της εξαντλητικής μεθόδου που στην ίδια περίπτωση δίνει 30.79dB. Βλέπουμε, δηλαδή, με μια πρώτη ματιά ότι ο αλγόριθμος είναι αποτελεσματικός σε πολυ καλό βαθμό. ΌΌμως πρέπει να δούμε τί γίνεται με 80