Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ: Συστημάτων και Αυτομάτου Ελέγχου ΕΡΓΑΣΤΗΡΙΟ Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών Αθανάσιου Τσακίρη του Δημητρίου Αριθμός Μητρώου: Θέμα «Υλοποίηση αλγορίθμων επεξεργασίας video» Επιβλέπων Καθ. Αθανάσιος Σκόδρας Αριθμός Διπλωματικής Εργασίας: Πάτρα, Οκτώβριος 2016

2 ΠΙΣΤΟΠΟΙΗΣΗ Πιστοποιείται ότι η Διπλωματική Εργασία με θέμα «Υλοποίηση αλγορίθμων επεξεργασίας video» Του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Αθανάσιου Τσακίρη του Δημητρίου Αριθμός Μητρώου: Παρουσιάστηκε δημόσια και εξετάστηκε στο Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών στις 12/10/2016 Ο Επιβλέπων Ο Διευθυντής του Τομέα Καθηγητής Αθανάσιος Σκόδρας Καθηγητής Νικόλαος Κούσουλας

3 Αριθμός Διπλωματικής Εργασίας: Θέμα: «Υλοποίηση αλγορίθμων επεξεργασίας video» Φοιτητής: Επιβλέπων: Αθανάσιος Τσακίρης Καθηγητής Αθανάσιος Σκόδρας Περίληψη Στην παρούσα διπλωματική εργασία μελετήθηκε το πρότυπο κωδικοποίησης video HEVC, όπως επίσης και ο αλγόριθμος TZSearch που χρησιμοποιεί ο κωδικοποιητής αναφοράς για την αντιστάθμιση video. Προτάθηκε, επίσης, μια νέα μέθοδος αναζήτησης, που αποτελεί συνδυασμό μεθόδων πρόωρου τερματισμού και διαφορετικού μοτίβου αναζήτησης. Η προτεινόμενη μέθοδος υλοποιήθηκε στον κωδικοποιητή αναφοράς του HEVC και τα πειραματικά αποτελέσματα δείχνουν επιτάχυνση της διαδικασίας αναζήτησης με αμελητέα αύξηση στο μέγεθος του τελικού κωδικοποιημένου video.

4

5 HEVC High Efficiency Video Coding Διπλωµατική εργασία Θάνος Τσακίρης

6

7 Υλοποίηση ταχείας ενδο εικονικής αναζήτησης στο πρότυπο «Υψηλής Απόδοσης Κωδικοποίηση Βίντεο» (High Efficiency Video Coding HEVC) OΘάνος Τσακίρης Τμήμα Ηλεκτρολόγων Μηχανικών & Τεχνολογίας Υπολογιστών Πανεπιστήμιο Πατρών Σεπτέμβριος, 2016

8 Για την εκπόνηση της διπλωματικής εργασίας έγινε προσπάθεια ώστε να χρησιμοποιηθεί αποκλειστικά ελεύθερο και ανοικτό λογισμικό. Η μεταγλώττιση του κώδικα έγινε με το GCC στο περιβάλλον Eclipse. Η διπλωματική αναφορά γράφτηκε σε X TEX χρησιμοποιώντας το πακέτο TeXLive. Άλλα προγράμματα που χρησιμοποιήθηκαν ήταν τα Vim, Gimp, Inkscape. E

9

10 Περίληψη Στη κωδικοποίηση video η αντιστάθμιση κίνησης αποτελεί το κομμάτι με το μεγαλύτερο υπολογιστικό κόστος και καταλαμβάνει περισσότερο απ το 50% του συνολικού χρόνου. Στην παρούσα διπλωματική εργασία μελετήθηκε το πρότυπο κωδικοποίησης video HEVC, που είναι η τελευταία πρόταση των οργανισμών ITU- T Video Coding Experts Group (VCEG) και ISO/IEC Moving Picture Experts Group (MPEG) για την αντιμετώπιση των σύγχρονων προκλήσεων κωδικοποίησης video υπερ υψηλής ανάλυσης, όπως επίσης και ο αλγόριθμος TZSearch που χρησιμοποιεί ο κωδικοποιητής αναφοράς για την αντιστάθμιση video. Προτάθηκε, επίσης, μια νέα μέθοδος αναζήτησης, που αποτελεί συνδυασμό μεθόδων πρόωρου τερματισμού και διαφορετικού μοτίβου αναζήτησης. Η προτεινόμενη μέθοδος υλοποιήθηκε στον κωδικοποιητή αναφοράς του HEVC και τα πειραματικά αποτελέσματα δείχνουν επιτάχυνση της διαδικασίας αναζήτησης με αμελητέα αύξηση στο μέγεθος του τελικού κωδικοποιημένου video.

11 Περιεχόμενα 1 Ευχαριστίες 2 2 Εισαγωγή στην κωδικοποίηση video 4 Δεδομένα εισόδου Πρόβλεψη Μετασχηματισμός δειγμάτων Κβάντιση Κωδικοποίηση εντροπίας Το πρότυπο κωδικοποίησης video HEVC 10 Συντακτικό υψηλού επιπέδου Δομή εικόνων Ενδο εικονική κωδικοποίηση Δια εικονική κωδικοποίηση Μετασχηματισμός και κβάντιση Εν βρόχω φίλτρα Τεχνικές δια εικονικής αναζήτησης 24 Εικόνες αναφοράς

12 ΠΕΡΙΕΧΟΜΕΝΑ ΠΕΡΙΕΧΟΜΕΝΑ Μοτίβο πλέγματος Μοτίβο διαμαντιού Μοτίβο εξαγώνου Test Zone Search (TZSearch) Προτεινόμενος αλγόριθμος 31 Κατανομή διανυσμάτων κίνησης Ανάπτυξη αλγορίθμου Πειραματικά αποτελέσματα 35

13

14 Ευχαριστίες Καμία επιδίωξη στη ζωή μου δεν θα ήταν κατορθωτή αν δεν είχα την πολύτιμη και αδιάκοπη συμπαράσταση και αγάπη της οικογένειάς μου. Απ την πρώτη στιγμή της ζωής μου οι γονείς μου έθεσαν τα θεμέλια ώστε από πλήρως εξαρτημένος να εξελιχθώ μελλοντικά σε έναν αυτόβουλο άνθρωπο που μπορεί πλέον να επιδιώκει την δική του ευτυχία και των συνανθρώπων του με τις δικές του δυνάμεις. Πάνω απ όλα τους ευχαριστώ γιατί δε μου επέβελαν ποτέ την άποψή τους, αλλά με άφησαν με τον καιρό να διαμορφώσω την δική μου, γιατί μόνο αυτός που εκτιμά την δική του ελευθερία σέβεται και των υπολοίπων. Και γιατί μου χάρισαν το καλύτερο δώρο της ζωής μου, την αδερφή μου, που υπήρξε πάντα δίπλα μου από προστάτιδα έως φίλη. Θα ήθελα, επίσης, να εκφράσω την ευγνωμοσύνη μου για την πολύτιμη καθοδήγησή του στον επιβλέποντά μου, καθηγητή Αθανάσιο Σκόδρα, αλλά ακόμη σημαντικότερα γιατί η ποιότητα του χαρακτήρα του και το ενδιαφέρον του για τους φοιτητές/παιδιά του αποτελεί αχτίδα ελπίδας μέσα στο ιδρυματοποιημένο πλαίσιο της γνώσης της Νεωτερικής κοινωνίας. Θεωρώ τον εαυτό μου τυχερό που συντέλεσα την διπλωματική μου εργασία δίπλα του και η φιλοσοφία του ως καθηγητής θα αποτελεί για μένα φάρο στην μετέπειτα πορεία μου. Δεν θα μπορούσα να αγνοήσω βέβαια και τον καθηγητή Θάνο Στουραΐτη, με τον οποίο απέκτησα πολλές ακαδημαϊκές εμπειρίες και με διαμόρφωσε ως επιστήμονα μηχανικό με τις συμβουλές του. Θεωρώ επίσης ότι πρέπει να κάνω μνεία σε όλους τους φίλους που ήταν δίπλα μου όλα αυτά τα χρόνια. Κάθε συζήτηση και κάθε προβληματισμός που μοιραστήκαμε αποτέλεσαν κίνητρο για να επιδιώξω τα ενδιαφέροντά μου και συντέλεσαν στο να αποκρυσταλλώσω τις απόψεις μου. Και, βέβαια, διασκεδάσαμε πάρα πολύ μαζί. 2

15 1. Ευχαριστίες Τέλος, θα ήθελα να αφιερώσω την διπλωματική αυτή εργασία στον παππού μου. Μπορεί να μην είναι αυτή τη στιγμή εδώ ώστε να μου κουβαλάει την βαλίτσα, όπως έλεγε, θέλω όμως να ελπίζω ότι θα ήταν περήφανος. Εύχομαι στο μέλλον να καταφέρω να προσφέρω στα παιδιά μου έστω τα μισά απ ό,τι προσέφερε αυτός τότε θα έχω γίνει πετυχημένος γονιός. 3

16 Εισαγωγή στην κωδικοποίηση video Η κωδικοποίηση video πρόκειται για έναν εξαιρετικά γρήγορα αναπτυσσόμενο τομέα της σύγχρονης βιομηχανίας, με μεγάλες επιπτώσεις σε πολλούς άλλους οικονομικούς τομείς αλλά και στην καθημερινή ζωή πολλών χρηστών. Έχει αναφερθεί ότι τα δεδομένα video που μεταδώθηκαν από δίκτυα IP (χωρίς να λαμβάνονται υπόψιν video που διαμοιράζονται από ομότιμα δίκτυα) αποτέλεσαν το 64% της συνολικής διακίνησης δεδομένων για το έτος 2014 και προβλέπεται ότι το ποσοστό θα ανέβει στο 80% μέχρι το 2019 [5]. Η αυξημένη ζήτηση για video υψηλής ποιότητας και η κατακόρυφη ανάπτυξη της βιομηχανίας πυριτίου που μείωσε το κόστος για φορητές υπολογιστικές συσκευές, όπως έξυπνα τηλέφωνα και ταμπλέτες, δημιουργούν την ανάγκη για ικανοποίηση δύο αντιδιαμετρικών απαιτήσεων: την αποδοτική συμπίεση της πληροφορίας, ώστε να μπορεί μεταδωθεί γρήγορα και από δίκτυα κινητής τηλεφωνίας, και την εύρεση νέων μεθόδων και τεχνικών, που αφενός διασφαλίζουν την πιστότητα του σήματος, αφετέρου μπορούν να εκτελεστούν γρήγορα και απλά. Το τελευταίο έχει μεγάλη σημασία σε πολλούς τομείς, απ το κόστος των φορητών συσκευών ή του κωδικοποιητή για την παραγωγή μιας ταινίας, μέχρι την ποιότητα θέασης για έναν χρήστη, χωρίς διακοπές κατά την αναπαραγωγή ή εξάντληση της μπαταρίας. Το πιο συχνά χρησιμοποιούμενο πρότυπο είναι αυτή τη στιγμή το H.264/AVC, ενώ ο διάδοχός του, HEVC, είναι το πρότυπο πάνω στο οποίο βασίστηκε η παρούσα διπλωματική εργασία. Στις επόμενες ενότητες γίνεται μια εισαγωγή στη διαδικασία της κωδικοποίησης video. Αξίζει να σημειωθεί ότι πολλά πρότυπα διαφέρουν πολύ μεταξύ τους και ίσως διαφοροποιούνται σε σημεία με ό,τι αναφέρεται επόμενα. 4

17 2. Εισαγωγή στην κωδικοποίηση video Δεδομένα εισόδου Δεδομένα εισόδου Ένα video αποτελεί στην ουσία μια ακολουθία εικόνων που προβάλλονται με μια συγκεκριμένη σειρά και με έναν συγκεκριμένο ρυθμό. Στην απλότητά του, μια εικόνα μπορεί να αποτυπωθεί ως μια δισδιάσταση συστοιχία δειγμάτων, που ονομάζονται εικονοστοιχεία (pixel), με κάθε τιμή να αντιπροσωπεύει μια διαφορετική ένταση για το δείγμα. Το πλήθος των διαφορετικών τιμών εξαρτάται από το πόσα bit θα επιλέξουμε για την αναπαράστασή ενός εικονοστοιχείου και καλείται βάθος χρώματος (bit depth). Στην τυπική περίπτωση των 8-bit μπορούμε να έχουμε 256 διαφορετικές τιμές έντασης. Χρησιμοποιώντας μόνο ένα κανάλι για την αποτύπωση μια σκηνής μπορούμε να το αναπαραστήσουμε μονοχρωματικά. Λόγω της δομής του ανθρώπινου οπτικού συστήματος, για την έγχρωμη αναπαράσταση χρειαζόμαστε τρία κανάλια σήματος. Υπάρχουν πολλοί τρόποι με τους οποίους μπορούμε να αποτυπώσουμε την έγχρωμη πληροφορία και ο καθένας τους συνδέεται με ένα χρωματικό μοντέλο (chromatic model). Ένα απ τα γνωστότερα χρωματικά μοντέλα είναι το RGB, το οποίο έχει τρία κανάλια που δείχνουν την φωτεινότητα των δειγμάτων στις συνιστώσες του κόκκινου (R), πράσινου (G) και μπλε (B). Για video το πιο συχνά χρησιμοποιούμενο χρωματικό μοντέλο είναι το Y CbCr, που αποτελείται από ένα κανάλι φωτεινότητας (luma) και δύο κανάλια χρωματικότητας (chroma). Το κανάλι φωτεινότητας αποτελεί την αχρωματική πληροφορία της εικόνας ενώ τα κανάλια χρωματικότητας δείχνουν την διαφορά των δειγμάτων απ το μπλε και απ το κόκκινο. Επειδή το ανθρώπινο μάτι είναι περισσότερο ευαίσθητο σε αλλαγές φωτεινότητας παρά χρωματικότητας [3], χρησιμοποιούμε την τεχνική της υποδειγματοληψίας χρωματικότητας (chroma subsampling), κατά την οποία τα κανάλια Cb και Cr υποδειγματοληπτούνται και δείγματά τους απορρίπτονται. Συνηθώς επιλέγεται κάθε δεύτερο δείγμα κατά γραμμή και στήλη και δηλώνεται ως υποδειγματοληψία 4:2:0. Με αυτόν τον τρόπο μειώνουμε το μέγεθος του video κατά 33%. Η προηγούμενη τεχνική αποτελεί ουσιαστικά μια μέθοδο συμπίεσης. Σε ένα video διακρίνουμε μεγάλη συσχέτιση, τόσο μεταξύ διαφορετικών εικόνων (χρονική συσχέτιση), όσο και μεταξύ των δειγμάτων μέσα σε μια εικόνα (χωρική συσχέτιση). Πολλές εικόνες σε μια ακολουθία video περιέχουν ίδιες μεταξύ τους περιοχές, ειδικά σε περιπτώσεις φόντου, ή περιοχές που έχουν μετακινηθεί λόγω της φυσικής κίνησης αντικειμένων ή προσώπων. Ακόμη, σε πολλά αντικείμενα υπάρχουν περιοχές που είναι σχετικά όμοιες. Ο στόχος της συμπίεσης είναι να εκμεταλλευτούμε την συσχέτιση του σήματος και να εκφράσουμε πιο αποδοτικά την ίδια πληροφορία ή να βρούμε χαρακτηριστικά του που θεωρούμε πλεονάζοντα και να τα απορρίψουμε. 5

18 Πρόβλεψη 2. Εισαγωγή στην κωδικοποίηση video Σχήμα 2.1: Γενική δομή κωδικοποιητή HEVC (πηγή [15] Διακρίνουμε δύο τεχνικές συμπίεσης, την απωλεστική (lossy) συμπίεση, κατά την οποία το αποσυμπιεσμένο σήμα διαφέρει απ το αρχικό, και την μη απωλεστική (lossless), στην οποία το αποσυμπιεσμένο σήμα είναι πανομοιότυπο με το αρχικό. Στο πρότυπο HEVC χρησιμοποιούνται και οι δύο μέθοδοι συμπίεσης. Πρόβλεψη Ένα γενικό διαγράμμα ενός κωδικοποιητή HEVC φαίνεται στο σχήμα 2.1. Όλα τα τελευταία πρότυπα κωδικοποίησης ανήκουν στην κατηγορία των υβριδικών προτύπων βασισμένων σε block (hybrid block based video coding), όπου μερικές απ τις εικόνες κωδικοποιούνται μόνο με την πληροφορία που οι ίδιες έχουν, ενώ οι περισσότερες χρησιμοποιούν την πληροφορία άλλων εικόνων του ρεύματος για αποδοτικότερη συμπίεση. Οι εικόνες εισόδου χωρίζονται σε τετράγωνα block μη επικαλυπτόμενων εικονοστοιχείων. Για κάθε ένα block γίνεται αναζήτηση στην ίδια εικόνα ή σε προηγούμενες για υποψήφια block τα οποία οποία έχουν κοινή πληροφορία με το τρέχον και επιλέγεται ο καλύτερος υποψήφιος. Τα δύο block αφαιρούνται και προκύπτει το block υπολοίπων (residual block). Έστωσαν u x,y και v x,y το block υπό κωδικοποίηση και ο πιθανός υποψήφιος αντίστοιχα. Για την επιλογή του βέλτιστου προβλέπτη πρέπει να θέσουμε ένα κριτήριο βελτιστοποίησης. Συνήθως επιλέγεται η ελαχιστοποίηση του αθροίσματος απόλυτων διαφορών (sum of absolute differences 6

19 2. Εισαγωγή στην κωδικοποίηση video Μετασχηματισμός δειγμάτων SAD), που ορίζεται ως min ( u i,j v i,j ) i,j Μια άλλη επιλογή θα ήταν η ελαχιστοποίηση της ενέργειας του block υπολοίπων, το οποίο εκφράζεται ως min ( (u 2 i,j v2 i,j )) i,j αλλά έχει το μειονέκτημα ότι υπολογίζεται πιο αργά σε σχέση με το προηγούμενο. Μετασχηματισμός δειγμάτων Αφού έχουμε σχηματίσει το block υπολοίπων, τα δείγματα υφίστανται έναν δισδιάστατο μετασχηματισμό. Στόχος του μετασχηματισμού είναι η αποσυσχέτιση του σήματος κατά την οριζόντια και κάθετη συνιστώσα. Θεωρητικά ο βέλτιστος μετασχηματισμός είναι ο Karhunen Loève, αλλά η πολυπλοκότητα υπολογισμού του είναι υψηλή. Αντ αυτού συνήθως χρησιμοποιείται ο μετασχηματισμός διακριτού συνημιτόνου (discrete cosine transform DCT). Αν είναι N το μέγεθος, ο ευθύς 1-D DCT ορίζεται ως N 1 u i = j=0 u j c i,j Σχήμα 2.2: Τα διανύσματα βάσης του 8 8 μετασχηματισμού DCT όπου c i,j = P N cos [ π N (j ) i] Ο DCT έχει αρκετά πλεονεκτήματα, μερικά εκ των οποίων [12]: Είναι διαχωρίσιμος, δηλαδή ένας 2-D μετασχηματισμός μπορεί να υπολογιστεί ως το αποτέλεσμα του 1-D μετασχηματισμού σε κάθε γραμμή και στήλη Τα διανύσματα βάσης του είναι ορθογώνια, δηλ. c T i c j = δ ij (όπου δ ij το δέλτα του Kronecker) και γι αυτό παρέχει αποσυσχέτιση του σήματος 7

20 Κβάντιση 2. Εισαγωγή στην κωδικοποίηση video Παρέχει συμπύκνωση της ενέργειας του σήματος, που βελτιώνει την συμπίεσή του Τα στοιχεία μιας μήτρας μετασχηματισμού διάστασης 2 M 2 M εμπεριέχονται σε μια μήτρα διάστασης 2 M+1 2 M+1. Αυτη η ιδιότητα μειώνει το κόστος των υλοποιήσεων σε υλικό Σε μια μήτρα διάστασης 2 M 2 M υπάρχουν μόνο 2 M 1 μοναδικά στοιχεία Τα άρτια διανύσματα βάσης είναι συμμετρικά, ενώ τα περιττά είναι αντι συμμετρικά. Η ιδιότητα αυτή μειώνει το πλήθος των υπολογισμών Οι συντελεστές έχουν χρήσιμες τριγωνικές ιδιότητες, που μειώνουν περαιτέρω το πληθος των υπολογισμών. Κβάντιση Ακόμη μία τεχνική απωλεστικής συμπίεσης της πληροφορίας είναι η κβάντιση (quantization) των δειγμάτων, που πρόκειται για την αντιστοίχιση μιας περιοχής τιμών σε μια ονομαστική τιμή. Το ανθρώπινο μάτι είναι λιγότερο ευαίσθητο σε απότομες αλλαγές φωτεινότητας. Οι απότομες αλλαγές ενός σήματος βρίσκονται στις υψηλές συχνότητες του αντίστοιχου μετασχηματισμένου κι έτσι αποθηκεύουμε με μεγαλύτερη ακρίβεια τις τιμές χαμηλών συχνοτήτων και με μικρότερη των υψηλών, ενώ σε πολλές περιπτώσεις τις απορρίπτουμε τελείως. Κωδικοποίηση εντροπίας Αφού απορρίψουμε όποια πληροφορία θεωρούμε περιττή για το τελικό video, ξεκινάει η διαδικασία της κωδικοποίησης εντροπίας (entropy coding). Η διαδικασία αυτή είναι μη απωλεστική και έχει στόχο την καλύτερη αναπαράσταση της υπάρχουσας πληροφορίας. Κάθε σήμα έχει ένα θεωρητικό ελάχιστο όριο στο οποίο μπορεί να συμπιεστεί χωρίς απώλεια, την εντροπία. Στόχος είναι ο μέσος ρυθμός δεδομένων να πλησιάζει κατά το δυνατότερο αυτό το όριο. Για να γίνει αυτό αναθέτουμε κωδικές λέξεις μικρότερου μήκους σε τιμές οι οποίες εμφανίζονται συχνά και μεγαλύτερες σε τιμές που εμφανίζονται σπάνια. Με αυτόν τον τρόπο μειώνεται το μέσο μήκος των κωδικών λέξεων που καταγράφονται συνολικά και το αρχικό σήμα μπορεί να ανακατασκευαστεί αυτούσιο. Η αποδοτικότητα των διαφόρων μεθόδων κωδικοποίησης εντροπίας ποικίλλει. Στο HEVC χρησιμοποιείται η δυαδική 8

21 2. Εισαγωγή στην κωδικοποίηση video Κωδικοποίηση εντροπίας αριθμητική κωδικοποίηση με προσαρμογή στο περιεχόμενο (context adaptive binary arithmetic coding CABAC), που μέχρι στιγμής πρόκειται για τον αλγόριθμο με την καλύτερη απόδοση, με ένα μικρός κόστος αυξημένης πολυπλοκότητας. 9

22 Το πρότυπο κωδικοποίησης video HEVC Το πρότυπο κωδικοποίησης video High Efficiency Video Coding (HEVC) είναι το τελευταίο που έχει προτυποποιηθεί διεθνώς, υπό την αιγίδα των οργανισμών ITU-T Video Coding Experts Group (VCEG) και ISO/IEC Moving Picture Experts Group (MPEG), με στόχο να αντικαταστήσει τον προκάτοχό του, H.264/AVC [6]. Δημιουργήθηκε με κύριο ενδιαφέρον την αποδοτική συμπίεση video υψηλής και υπερ υψηλής ανάλυσης, και την αυξημένη χρήση παράλληλων αρχιτεκτονικών κατά την κωδικοποίηση και αποκωδικοποίηση. Συγκριτικά με το H.264/AVC, εμφανίζει μείωση περίπου 50% στον ρυθμό δεδομένων για την ίδια ποιότητα εικόνας [15]. Η εργασία πάνω στο πρότυπο ξεκίνησε τον Ιανουάριο του 2010 μετά από μια Πρόσκληση για Προτάσεις που ανακοινώθηκε απ τους παραπάνω οργανισμούς, οι οποίοι είχαν ήδη διενεργήσει μελέτη σκοπιμότητας για ένα πρότυπο που θα μπορούσε να δώσει μεγάλο κέρδος συμπίεσης σε σχέση με τα ήδη υπάρχοντα. Ως συνήθως, προτυποποιείται μόνο η δομή του δυφιορρεύματος (bitstream) και το συντακτικό. Με αυτόν τον τρόπο είμαστε σίγουροι ότι οποιοιδήποτε αποκωδικοποιητές που συμμορφώνονται στο πρότυπο θα παράξουν το ίδιο video εξόδου, αφήνοντας την ελευθερία στους κατασκευαστές να διαλέξουν τις μεθόδους που θεωρούν αποδοτικότερες για την κωδικοποίηση της πηγής εισόδου. Το συντακτικό έχει βασιστεί στο Network Abstraction Layer (NAL) του H.264/AVC και είναι σχεδιασμένο ώστε να επιτρέπει την γρήγορη και εύρωστη μεταφορά μέσα από πρωτόκολλα μεταφοράς όπως τα RTP/IP, ISO MP4, και H.222.0/MPEG-2 Systems. Η προτυποποίηση ολοκληρώθηκε τον Ιανουάριο του 2013 στην πρώτη του έκδοση, και συνεχίζεται ακόμη στα πρότυπα της αυξημένης ακρίβειας υποστήριξης τύπου χρώματος, της κωδικοποίησης video προσαρμοσμένου μεγέθους, και της 3-D/stereo/πολυ οπτικής κωδικοποίησης video. Πρόκειται για ένα υβριδικό πρότυπο κωδικοποίησης, δηλαδή χρησιμοποιεί με- 10

23 3. Το πρότυπο κωδικοποίησης video HEVC Συντακτικό υψηλού επιπέδου θόδους που εκμεταλλεύονται τόσο την χωρική όσο και την χρονική συσχέτιση του σήματος ώστε να μειώσει το μέγεθος του bitstream. Οι μέθοδοι αυτές ονομάζονται αντίστοιχα ενδο εικονικές (intra picture) και δια εικονικές (inter picture). Οι μηχανισμοί πρόβλεψης της εικόνας ήταν δύο απ τα σημεία που δώθηκε ιδιαίτερη προσοχή κατά την ανάπτυξη του προτύπου σε σχέση με το H.264/AVC. Συγκριτικά, το HEVC προσφέρει για ενδο εικονική πρόβλεψη 33 μηχανισμούς πρόβλεψης κατά γωνία και δύο ακόμα (dc και επιπέδη) για περιοχές εικόνας που θεωρούνται αρκετά ομοιόμορφες. Επίσης, η δια εικονική πρόβλεψη γίνεται με μεγαλύτερη ακρίβεια και για περισσότερα block εικονοστοιχείων. Η αυξημένη ποιότητα κωδικοποίησης όμως επιφέρει μεγαλύτερη πολυπλοκότητα στους αλγορίθμους και στο υλικό, κι αυτό κάνει αναγκαία την εύρεση τεχνικών και αρχιτεκτονικών που ανταποκρίνονται γρήγορα και αποδοτικά στις αυξημένες πλέον απαιτήσεις. Συντακτικό υψηλού επιπέδου Ένα κωδικοποιήμενο video κατά HEVC είναι στην πραγματικότητα ένα bitstream που ακολουθεί τη συντακτική δομή και σημασιολογία που θέτει το πρότυπο. Το bitstream αποτελείται από ένα ρεύμα bytes που ονομάζονται Network Abstraction Layer (NAL) units. Τα NAL units χωρίζονται σε δύο κατηγορίες, αυτά τα οποία μεταφέρουν την πληροφορία των εικονοστοιχείων και ονομάζονται Video Coding Layer (VCL) NAL units, και τα NAL units με πληροφορίες σχετικά με το κωδικοποιημένο video, όπως πληροφορίες μεγέθους, metadata κτλ., και ονομάζονται non VCL NAL units. Κάθε NAL unit αποτελείται από μία κεφαλίδα και την χρήσιμη πληροφορία που μεταφέρει. Στην κεφαλίδα του δηλώνεται με 6 bits ο τύπος του: οι 32 συνδυασμοί αναφέρονται σε VCL NAL units και οι υπόλοιποι 32 σε non VCL NAL units. Κάθε ρεύμα video αποτελείται από μια ακουλουθία από εικόνες που ονομάζονται μονάδες πρόσβασης (access units). Όλα τα NAL units που αναφέρονται στην ίδια μονάδα πρόσβασης θα πρέπει να έχουν τον ίδιο τύπο. VCL NAL units Στο HEVC υπάρχουν τρεις βασικοί τύποι μονάδων πρόσβασης: intra random access point (IRAP) εικόνες, εικόνες οδήγησης (leading), και εικόνες ουράς (trailing). Κάθε VCL NAL unit έχει τον τύπο της εικόνας στην οποία ανήκει. Οι IRAP εικόνες παρέχουν σημεία στο bitstream απ όπου μπορεί να αρχίσει η αποκωδικοποίηση 11

24 Συντακτικό υψηλού επιπέδου 3. Το πρότυπο κωδικοποίησης video HEVC του video και γι αυτο κωδικοποιούνται με βάση μόνο την πληροφορία που οι ίδιες έχουν, όπως για παράδειγμα στην αλλαγή ενός τηλεοπτικού καναλιού ή την τυχαία προσπέλαση σε κάποιο σημείο του video. Οι εικόνες οδήγησης και ουράς ανακατασκευάζονται με μηχανισμούς πρόβλεψης κίνησης από εικόνες που έχουν ήδη προηγουμένως κωδικοποιηθεί. Μπορούν να εξαρτώνται μόνο από εικόνες που έπονται της τελευταίας IRAP εικόνας ώστε να είναι σίγουρο ότι μπορούν να αποκωδικοποιηθούν σωστά. Ακόμη, οι εικόνες ουράς πρέπει να έπονται των εικόνων οδήγησης. Υπάρχουν δύο τύποι αυτών των εικόνων: οι P (predictive) που χρησιμοποιούν ένα διάνυσμα κίνησης για την πρόβλεψη των εικονοστοιχείων τους, και οι B (bipredictive) που έχουν δύο εικόνες ως εικόνες αναφοράς. Οι εικόνες που έχουν αποκωδικοποιηθεί αποθηκεύονται στην ενδιάμεση μνήμη αποκωδικοποιημένων εικόνων (decoded picture buffer DPB) και στη συνέχεια μια άλλη εικόνα θα μπορούσε να την χρησιμοποιήσει για αναφορά για λόγους αντιστάθμισης κίνησης. Non-VCL NAL Units Τα NAL units αυτής της κατηγορίας μεταφέρουν πληροφορίες σχετικά με το bitstream και όχι πληροφορία εικόνας. Για παράδειγμα, θα μπορούσαμε προαιρετικά να σηματοδοτήσουμε το τέλος μιας μονάδας πρόσβασης με ένα non-vcl NAL unit, ή να γεμίσουμε με δεδομένα το bitstream αν πρέπει να υπακούει σε περιορισμούς στοίχισης byte λόγω του πρωτοκόλλου μεταφοράς. Αντίστοιχα με το πρότυπο H.264/AVC, κάθε video περιέχει ένα σύνολο παραμέτρων (parameter set) που μπορεί να αναφέρεται σε επίπεδο video, μιας ακολουθίας εικόνων ή μιας συγκεκριμένης εικόνας και ονομάζονται αντίστοιχα video parameter set (VPS), sequence parameter set (SPS) και picture parameter set (PPS). Κάθε ένα απ τα προηγούμενα σύνολα παραμέτρων αναφέρεται με την σειρά του στο υψηλότερό του επίπεδο έτσι ένα PPS περιέχει μια αναφορά σε ένα SPS, και ένα SPS περιέχει μια αναφορά σε ένα VPS. Αυτά μεταφέρουν πληροφορίες όπως το μέγιστο μέγεθος χρονικών υποεπιπέδων που υπάρχουν στο video (στο VPS), το μέγεθος της εικόνας σε ύψος και πλάτος δειγματικών στοιχείων (στο SPS) ή τη χρήση εργαλείων, που αναφέρονται επόμενα, όπως το Sample Adaptive Offset (στο SPS) και παραμέτρους κβάντισης (στο PPS). Κύριος στόχος των συνόλων παραμέτρων είναι η αποδοτικότητα ρυθμού μετάδοσης, η ανθεκτικότητα σε σφάλματα και η παροχή επιπέδων διεπαφής συστήματος [16]. Κάθε εικόνα σε ένα video διαιρείται σε μικρότερες δομικές μονάδες, τις φέτες, στο επίπεδο των οποίων ορίζεται ποιο απ τα σύνολα παραμέτρων είναι ενεργά. Πολλές εικόνες από ένα video μπορούν να έχουν αναφορά στα ίδια σύνολα παραμέτρων και έτσι αρκετή πληροφορία επαναχρησιμοποιείται. Η επαναχρησιμοποιήση των συνόλων παραμέτρων μας δίνει την δυνατότητα να μειώσουμε τον ρυθμό δεδομένων, καθώς πολλές εικόνες μοιράζονται κοινές πληροφορίες, αλλά επίσης παρέχουν 12

25 3. Το πρότυπο κωδικοποίησης video HEVC Δομή εικόνων μεγαλύτερη ανθεκτικότητα σε σφάλματα, καθώς μπορούμε να επαναμεταδίδουμε τα σύνολα παραμέτρων ή να τα μεταδίδουμε από ένα πιο αξιόπιστο κανάλι. Φέτες Κάθε εικόνα χωρίζεται σε δισδιάστατα block από εικονοστοιχεία, τις μονάδες δέντρου κωδικοποίησης (coding tree units), το μέγεθος των οποίων κυμαίνεται από έως Τα block αυτά κωδικοποιούνται κατά raster σειρά. Μια ακολουθία από δισδιάστατα block που δεν έχουν εξαρτήσεις αποκωδικοποίησης από άλλα CTU εκτός αυτής ονομάζεται φέτα (slice). Οι εξαρτήσεις κωδικοποίησης μπορεί να αναφέρονται στη μηχανή εντροπίας ή εξαρτήσεις του μηχανισμού πρόβλεψης εικονοστοιχείων. Κάθε φέτα ορίζει στην κεφαλίδα της το PPS στο οποίο ανήκει και παραμέτρους για συγκεκριμένα εργαλεία που μπορεί να χρησιμοποιεί, αν αυτά τα εργαλεία έχουν ενεργοποιηθεί στο PPS. Οι φέτες μπορούν να περιέχουν ανεξάρτητα ή εξαρτημένα τμήματα. Μια φέτα αρχίζει με ένα ανεξάρτητο τμήμα φέτας (independent slice segment) και προαιρετικά μπορούν να ακολουθούν εξαρτημένα τμήματα, που για να μειώσουν το μέγεθος του bitstream, χρησιμοποιούν τις πληροφορίες κεφαλίδας του ανεξάρτητου τμήματος. Το γεγονός ότι διαφορετικές φέτες δεν έχουν μεταξύ τους εξαρτήσεις δεδομένων βελτιώνει την ανθεκτικότητα σε σφάλματα και ταυτόχρονα επιτρέπει την αξιοποίηση παράλληλων αρχιτεκτονικών και αλγορίθμων τόσο για την κωδικοποίηση, όσο και για την αποκωδικοποίηση. Επιπλέον ο μηχανισμός των εξαρτημένων τμημάτων μειώνει την πληροφορία που πρέπει να καταγραφεί, μειώνοντας το τελικό μέγεθος του video. Δομή εικόνων Μονάδες δέντρου κωδικοποίησης και block δέντρου κωδικοποίησης Το πρότυπο HEVC είναι, όπως και οι προκάτοχοί του, βασισμένο στην κωδικοποίηση των εικόνων κατά block, που στην ορολογία του HEVC ονομάζεται CTU. Κάθε εικόνα χωρίζεται σε CTU με το ίδιο μέγεθος. Ένα CTU αποτελεί την ρίζα ενός τετραδικού δέντρου (quadtree), δηλαδή μπορεί να περιέχει τέσσερις κλάδους, ο καθένας απ τους οποίους μπορεί με την σειρά του να χωριστεί σε άλλους τέσσερις. Η προηγούμενη διαδικασία διακλάδωσης μπορεί να συνεχιστεί για κάθε κλάδο, μέχρι τα φύλλα να έχουν το ελάχιστο επιτρεπόμενο μέγεθος που έχει δηλωθεί στο 13

26 Δομή εικόνων 3. Το πρότυπο κωδικοποίησης video HEVC SPS, το οποίο μπορεί να είναι μέχρι 8 8. Τα φύλλα του δέντρου ονομάζονται μονάδες κωδικοποίησης (coding units CU). Με χρωματική υποδειγματοληψία 4:2:0, ένα CTU αποτελείται από ένα block luma πλήρους διάστασης 2N 2N και δύο αντίστοιχα block chroma μεγέθους N N. Οι συνιστώσες chroma ακολουθούν την ίδια διαμέριση όπως το block του luma. Τα block αυτά ονομάζονται block δέντρου κωδικοποίησης (coding tree blocks CTB) και με την σειρά τους ορίζουν μια νέα quadtree δομή, τα φύλλα των οποίων ονομάζονται block κωδικοποίησης (coding blocks CB). Block μεγαλύτερου μεγέθους συνήθως κωδικοποιούνται πιο αποτελεσματικά, αυξάνοντας όμως τις απαιτήσεις μνήμης και την πολυπλοκότητα της κωδικοποίησης. Επίσης, σε περιοχές με μεγάλη κίνηση το CTU τυπικά πρέπει να κατατμηθεί αρκετές φορές ώστε να επιτευχθεί ο επιθυμητός βαθμός ρυθμού παραμόρφωσης, γεγονός που αυξάνει τον αριθμό των συγκρίσεων για αντιστάθμιση κίνησης και το τελικό μέγεθος του κωδικοποιημένου video. Στο επίπεδο του CU αποφασίζεται απ τον κωδικοποιητή αν η καλύτερη επιλογή πρόβλεψης είναι ενδο ή δια εικονική. Με αυτόν τον τρόπο μπορούμε να αποφασίζουμε τον μηχανισμό πρόβλεψης σε μεγέθη μικρότερα του 16 16, που έχει δειχθεί ότι κάνει την κωδικοποίηση πιο αποτελεσματική [14]. Αν ένα CU έχει το ελάχιστο επιτρεπόμενο μέγεθος, μπορεί για λόγους δια εικονικής πρόβλεψης να χωριστεί σε μονάδες πρόβλεψης (prediction units PU). Τα PU αποτελούν τις μονάδες στις οποίες αντιστοιχίζουμε τις δικές τους πληροφορίες αντιστάθμισης κίνησης, όπως τα διανύσματα κίνησης του block και τις εικόνες αναφοράς. Ενώ για ενδο εικονική πρόβλεψη το πρότυπο υποστηρίζει μόνο τετράγωνες διαμερίσεις, για ένα δια εικονικά προβλεπόμενο μπορούμε να έχουμε και ασύμμετρες διαμερίσεις, οι οποίες φαίνονται στο σχήμα 3.1 και δηλώνονται με τις εκφράσεις M M, M (M/2), (M/2) M, (M/2) (M/2), M (M/4), M (3M/4), (M/4) M και (3M/4) M, με την προϋπόθεση ότι οι διαστάσεις 4 8 και 8 4 είναι οι μικρότερες. Τα υπόλοιπα πρόβλεψης κωδικοποιούνται κατά τετράγωνα block που ονομάζονται block μετασχηματισμού (transform blocks TB). Στο επίπεδο του CB ορίζεται μια quadtree δομή, το τετραδικό δέντρο υπολοίπων (residual quadtree RQT), τα φύλλα του οποίου αποτελούν τα TB. Ένα TB μπορεί να έχει μέγεθος από έως 4 4. Το μέγεθος του μετασχηματισμού είναι σημαντικός παράγοντας στην αποδοτικότητα της κωδικοποίησης, καθώς μεγαλύτερα μεγέθη παρέχουν καλύτερη συχνοτική ανάλυση, ενώ μικρότερα μεγέθη παρέχουν καλύτερη χωρική ανάλυση. Το RQT μας δίνει την δυνατότητα να αποσυνδέσουμε την διαδικασία του μετασχηματισμού από το μέγεθος των block πρόβλεψης, κωδικοποιώντας τα υπόλοιπα με μεγαλύτερη ελευθερία και συνήθως αποτελεσματικότερα. Στο σχήμα 3.2 φαίνεται μια υποτιθέμενη διαμέριση ενός CU. Με μωβ χρώμα δηλώνονται τα CB που πρόκειται να διαιρεθούν σε περισσότερα του ενός TB. Οι μπορντό γραμμές δείχνουν τα RQT σε κάθε περίπτωση. Αριθμείται επίσης η σειρά κωδικοποιήσης των TB, η 14

27 3. Το πρότυπο κωδικοποίησης video HEVC Δομή εικόνων Σχήμα 3.1: Οι διαθέσιμες διαμερίσεις για ένα PU Σχήμα 3.2: Η quadtree δομή ενός CTU και το αντίστοιχο RQT. Αριθμείται η σειρά κωδικοποίησης. οποία είναι κατά βάθος του δέντρου. Δυνατότητες παραλληλισμού Λαμβάνοντας υπόψιν την κατεύθυνση της βιομηχανίας πυριτίου για αύξηση των πυρήνων σε μια υπολογιστική μονάδα, στο πρότυπο HEVC δώθηκε ιδιαίτερη έμφαση στην αξιοποίηση των παράλληλων τεχνικών. Κύριο μέλημα κατά τη σχεδίαση και ανάπτυξη του προτύπου ήταν να επιτευχθεί ένα συμβιβασμός μεταξύ των εξαρτήσεων δεδομένων, οι οποίες είναι απαραίτητες έτσι ώστε να μειωθεί το μέγεθος του κωδικοποιημένου video, αλλά ταυτόχρονα είναι το κύριο πρόβλημα για την παραλληλοποίηση της διαδικασίας. Κληρονομώντας την εμπειρία απ το πρό- 15

28 Ενδο εικονική κωδικοποίηση 3. Το πρότυπο κωδικοποίησης video HEVC τυπο H.264/AVC, διακρίνουμε δυνατότητες παραλληλίας σε πολλά επίπεδα, όπως εικόνων, φετών, και block. Για παράδειγμα, μία απ τις πιο συχνά χρησιμοποιούμενες τεχνικές είναι να υπάρχει σωληναγωγός (pipeline) δεδομένων σε επίπεδο macroblock (το αντίστοιχο δομικό block με το CTU στο HEVC) [16]. Έτσι διαφορετικοί πυρήνες ανατίθενται σε ξεχωριστά σημεία της (απο)κωδικοποίησης του macroblock, όπως πρόβλεψη κίνησης, κωδικοποίηση εντροπίας κτλ. Σε υπολογιστικές μονάδες χαμηλής ισχύος και κόστους, όπως είναι οι επεξεργαστές ARM, εκμεταλλευόμαστε την παρουσία διαφορετικών πυρήνων και έτσι μπορούμε να προγραμματίσουμε διαφορετικά νήματα σε κάθε πυρήνα, όπως την επεξεργασία διαφορετικών εικόνων από άλλους πυρήνες. Εισάγονται, επίσης, δύο νέα εργαλεία κωδικοποίησης που επιταχύνουν την παράλληλη επεξεργασία, η παράλληλη επεξεργασία μετώπου κύματος (wavefront parallel processing) και τα πλακίδια (tiles). Στην παράλληλη επεξεργασία μετώπου κύματος, κάθε εικόνα (απο)κωδικοποιείται γραμμή κατά γραμμή σειριακά, με την προϋπόθεση ότι το πρώτο block της προηγούμενης γραμμής έχει ήδη (απο)κωδικοποιηθεί. Ο λόγος γι αυτό είναι ότι, βάσει του προτύπου, ένα block μπορεί να έχει εξαρτήσεις από το πάνω δεξιά του block και γι αυτό πρέπει να έχει ολοκληρωθεί ήδη η επεξεργασία του. Στην μέθοδο των πλακιδίων, η εικόνα διαμερίζεται σε ορθογώνιες περιοχές οι οποίες δεν έχουν μεταξύ τους εξαρτήσεις κωδικοποίησης. Με αυτόν τον τρόπο κάθε πλακίδιο μπορεί να επεξεργασθεί ανεξάρτητα απ τα άλλα πλακίδια. Φυσικά, κάθε μία απ τις μεθόδους αυτές παρουσιάζει διαφορετικά πλεονεκτήματα ως προς την ταχύτητα επεξεργασίας και το μέγεθος του παραγόμενου τελικού bitstream. Ενδο εικονική κωδικοποίηση Η ενδο εικονική κωδικοποίηση είναι μια απ τις μεγαλύτερες αλλαγές σε σχέση με το πρότυπο H.264- /AVC. Το HEVC παρέχει Σχήμα 3.3: Υποστηριζόμενες κατευθύνσεις ενδο 35 συνολικά τρόπους ενδο εικονικής κωδικοποίησης με ακρίβεια 1/32 του δείγματος, ενώ το H.264/AVC παρέχει εικονικής πρόβλεψης (πηγή [15]) 9. Για την κωδικοποί- ηση ενός block κατά intra χρησιμοποιούμε τα δείγματα των γειτόνων του ως δείγματα αναφοράς και όπου αυτά δεν είναι διαθέσιμα τα αντικαθιστούμε σύμφωνα με έναν προκαθορισμένο 16

29 3. Το πρότυπο κωδικοποίησης video HEVC Δια εικονική κωδικοποίηση τρόπο. Αναλόγως το μέγεθος του block τα δείγματα αναφοράς μπορεί να φιλτραριστούν ώστε να αποφύγουμε ανεπιθύμητες ακμές στο ανακατασκευασμένο block. Στη συνέχεια, ανάλογα με το περιεχόμενο του block, αποφασίζεται ποιος τρόπος το προβλέπει καλύτερα με βάση τα δείγματα αναφοράς των γειτόνων του. Για block με αρκετά ομοιόμορφο περιεχόμενο παρέχονται δύο τρόποι, η επίπεδη πρόβλεψη που σταθμίζει τα δείγματα κατά την οριζόντια και κάθετη κατεύθυνση, και η DC που προβλέπει μια σταθερή τιμή για όλα τα δείγματα. Σε περιπτώσεις έντονων ακμών κατά γωνία, υπάρχουν 33 τρόποι πρόβλεψης που σταθμίζουν κατά γωνία τα δείγματα αναφοράς. Οι κατευθυντικότητες αυτών των γωνιών δεν είναι διαμοιρασμένες γραμμικά, καθώς έχουν παρατηρηθεί μικρότερες διαφορές σε σχεδόν οριζόντιες ή κάθετες κατευθύνσεις [9] και σε αυτές τις περιοχές οι τρόποι είναι πιο πυκνοί. Σε πολλές περιπτώσεις στους dc, οριζόντιο και κάθετο τρόπο, παρατηρούνται ασυνέχειες στα όρια του block μετά την ανακατασκευή και γι αυτό μπορεί να ακολουθεί ένα ελαφρύ φιλτράρισμα των δειγμάτων για τους προηγούμενους τρόπους. Λόγω του αυξημένου πλήθους των τρόπων ενδο εικονικής πρόβλεψης στον HEVC, ορίζονται τρεις πιο πιθανοί τρόποι, λαμβάνοντας υπόψιν και τον τρόπο που έχουν κωδικοποιηθεί τα γειτονικά block, ώστε να μειώσουμε το μέγεθος των συντακτικών στοιχείων που χρησιμοποιούμε. Αυτοί σηματοδοτούνται με λιγότερα bit, ενώ σε περίπτωση που έχει επιλεχθεί ένας διαφορετικός τρόπος αποστέλλουμε με πλήρες μέγεθος τον τρόπο κωδικοποίησης. Δια εικονική κωδικοποίηση Η quadtree δομή των CTU αυξάνει το πλήθος των προς πρόβλεψη block στο πρότυπο HEVC σε σχέση με τα παλαιότερα του. Η αυξημένη πολυπλοκότητα της δια εικονικής πρόβλεψης και ταυτόχρονα η απαίτηση για υψηλής πιστότητας περιεχόμενο αποτέλεσαν την κινητοποιό δύναμη για εισαγωγή νέων τεχνικών και βελτίωση των παλαιοτέρων του H.264/AVC. Απ τις σημαντικότερες αλλαγές αποτελούν η εισαγωγή της προηγμένης πρόβλεψης διανύσματος κίνησης (advanced motion vector prediction AMVP), στην οποία σηματοδοτούμε το διάνυσμα κίνησης σε σχέση με ένα προβλεπόμενο διάνυσμα κίνησης, και η συγχώνευση block (block merging) που μειώνει το πλήθος των συντακτικών στοιχείων που χρησιμοποιούνται για block με κοινά χαρακτηριστικά κίνησης, και ουσιαστικά αντικαθιστά τους αντίστοιχους τρόπους (direct και skip) που χρησιμοποιούσε το H.264/AVC. Κάθε διάνυσμα κίνησης καταγράφεται στο bitstream ως μια διαφορά από ένα 17

30 Δια εικονική κωδικοποίηση 3. Το πρότυπο κωδικοποίησης video HEVC a b b Σχήμα 3.5: Τα χρονικά (αριστερά) και χωρικά (δεξιά) συσχετισμένα block διάνυσμα πρόβλεψης κίνησης (motion vector predictor). Η διαφορά αυτή υπολογίζεται ως MVD x = Δx MVP x MVD y = Δy MVP y Στην περίπτωση των B εικόνων χρησιμοποιούμε δύο σύνολα δεδομένων κίνησης, (Δx 1, Δy 1, Δt 1 ) και (Δx 2, Δy 2, Δt 2 ), τα οποία παράγουν δύο προβλέψεις είτε από διαφορετικές εικόνες, είτε από την ίδια και ο μέσος όρος αυτών χρησιμοποιείται ως τελική πρόβλεψη. Δίνεται όμως και η δυνατότητα να χρησιμοποιηθούν διαφορετικά βάρη για το στάθμισμα των προβλέψεων, που χρησιμοποιείται συχνά σε σκηνές με εφέ σταδιακού σβησίματος. Προηγμένη πρόβλεψη διανύσματος κίνησης Η κίνηση των block σε ένα video είναι σε πολύ μεγάλο βαθμό συσχετισμένη με την κίνηση των γειτονικών του, καθώς η φυσική κίνηση των σκηνών συνήθως γίνεται από αντικείμενα που υπερκαλύπτουν το μέγεθος ενός block. Το γεγονός αυτό οδήγησε τους σχεδιαστές του προτύπου H.264/AVC να επιλέγουν ως πιο πιθανό υποψήφιο πρόβλεψης την διάμεσο τριών χωρικών γειτόνων του block προς κωδικοποίηση. Η τεχνική αυτή βελτιώνεται σε μεγάλο βαθμό στο πρότυπο HEVC και πλέον παρέχονται δύο πιθανοί υποψήφιοι που επιλέγονται από πέντε χωρικά γειτονικά block, δύο χρονικά συσχετισμένα block, και το μηδενικό διάνυσμα στην περίπτωση που τα προηγούμενα δεν είναι διαθέσιμα. Τα γειτονικά block φαίνονται στο σχήμα 3.5. Η επιλογή των συγκεκριμένων χωρικά γειτονικών block γίνεται λόγω της σειράς κωδικοποίησης των PU. Η αναζήτηση για τον καλύτερο υποψήφιο γίνεται με κλασματική δειγματική 18

31 3. Το πρότυπο κωδικοποίησης video HEVC Δια εικονική κωδικοποίηση Σχήμα 3.6: (a) Αρχική εικόνα, (b) Διαμέριση σε CB, (c) Συγχώνευση block (πηγή [4]) παρεμβολή, ακρίβειας 1/4 για τη συνιστώσα luma και 1/8 για τις συνιστώσες chroma. Η παρεμβολή των κλασματικών στοιχείων γίνεται με δύο FIR φίλτρα, ένα συμμετρικό 8-λήψεων για τα δείγματα ακρίβειας μισού δείγματος, και ένα ασύμμετρο 7-λήψεων για τα δείγματα ακρίβειας τετάρτου. Για τις συνιστώσες chroma χρησιμοποιείται ένα φίλτρο 4-λήψεων. Συγχώνευση block Η μεγάλη ευελιξία που παρέχει η quadtree δομή έχει ως μειονέκτημα τον υπερ κερματισμό της εικόνας σε πολλές περιπτώσεις. Για την δια εικονική πρόβλεψη αυτό θα σήμαινε την πρόβλεψη πολλών ίδιων διανυσμάτων κίνησης και συνεπώς μειωμένη αποτελεσματικότητα στην καταγραφή του bitstream. Με την τεχνική της συγχώνευσης block, ο κωδικοποιητής ανιχνεύει ποια block με κοινά όρια έχουν τις ίδιες πληροφορίες κίνησης και τα σηματοδοτεί με συντακτικά Σχήμα 3.4: Κλασματική δειγματική παρεμβολή (πηγή [16]) στοιχεία μειωμένου μήκους. Όπως και στην AMVP, δημιουργείται μια λίστα πιθανών υποψηφίων από χωρικά και χρονικά συσχετισμένων block και καταγράφεται στο bitstream μόνο ένας δείκτης προς την λίστα υποψηφίων. Όλα τα δεδομένα κίνησης του προβλέπτη επαναχρησιμοποιούνται και έτσι επιτυγχάνεται καλύτερος ρυθμός δεδομένων. Στην εικόνα 3.6 φαίνεται η αρχική κατάτμηση της εικόνας και ύστερα η παράλειψη των ορίων για 19

32 Μετασχηματισμός και κβάντιση 3. Το πρότυπο κωδικοποίησης video HEVC PU με κοινά στοιχεία κίνησης. Μετασχηματισμός και κβάντιση Πρόβλεψη block Block εισόδου υπόλοιπα συντελεστές επίπεδο bitstream Σχήμα 3.7: Οι διαδικασίες του μετασχηματισμού και κβάντισης Εφόσον έχει αποφασιστεί η μέθοδος πρόβλεψης, παράγεται το block υπολοίπων, το οποίο στη συνέχεια πρόκειται να μετασχηματιστεί. Στο πρότυπο ορίζονται οι μήτρες αντίστροφου μετασχηματισμού διάστασης από 4 4 έως εικονοστοιχεία. Οι μήτρες του ευθύ μετασχηματισμού δεν ορίζονται ώστε να δωθεί η ελευθερία στον κωδικοποιητή να επιλέξει μεταξύ του ευθέος μετασχηματισμού, που θα μείωνε το σφάλμα ανακατασκευής, ή του ανάστροφου του αντιστρόφου, που θα μείωνε την πολυπλοκότητα σχεδίασης του (απο)κωδικοποιητή. Ως κύριος μετασχηματισμός έχει επιλεχθεί ο DCT, με εξαίρεση τα block διάστασης 4 4 που κωδικοποιούνται με τον διακριτό μετασχηματισμό ημιτόνου (discrete sine transform DST). Έχει αναφερθεί ότι η επιλογή του DST για block 4 4 παρέχει μείωση 1% στο bitrate για ενδο εικονική κωδικοποίηση [13]. Στο σχήμα 3.7 φαίνεται η σειρών των διαδικασιών ώστε να παραχθεί το τελικό bitstream. Τα υπόλοιπα μετασχηματίζονται με την μήτρα της αντίστοιχης διάστασης και παράγονται οι συντελεστές (coefficients). Στη συνέχεια ακολουθεί η κβάντιση των συντελεστών, που μειώνει την ενέργεια του σήματος στις υψηλές συχνότητες και παράγεται το επίπεδο (level). Το επίπεδο αποτελεί την είσοδο στον κωδικοποιητή εντροπίας (entropy coder), που αναλαμβάνει την μείωση της πλεονάζουσας πληροφορίας (υπό την έννοια του ρυθμού παραμόρφωσης) και προσθέτει τα απαραίτητα συντακτικά στοιχεία. Αποτέλεσμα αυτής της αλληλουχίας διαδικασιών είναι η παραγωγή του τελικού HEVC bitstream. Η αποκωδικοποίηση του bitstream θα ακολουθούσε την αντίστροφη διαδικασία. 20

33 3. Το πρότυπο κωδικοποίησης video HEVC Μετασχηματισμός και κβάντιση Μετασχηματισμός Η χρήση του DCT έχει αρκετά πλεονεκτήματα, καθώς είναι ένας μετασχηματισμός που χρησιμοποιείται ήδη σε πολλά πρότυπα κωδικοποίησης εικόνας και video, έχουν αναπτυχθεί αρκετοί γρήγοροι αλγόριθμοι και αρχιτεκτονικές για την υλοποίησή του, και παρέχει μεγάλη συγκέντρωση ενέργειας στο μετασχηματισμένο σήμα [12]. Η υψηλή ακρίβεια υπολογισμού του μετασχηματισμού θα είχε ως αποτέλεσμα την αύξηση της πολυπλοκότητας και του κόστους των (απο)κωδικοποιητών, ειδικά σε περιπτώσεις υλοποιήσεων σε υλικό, και γι αυτό δώθηκε προσοχή στην ικανοποίηση και των δύο περιορισμών και την εύρεση μιας μέσης λύσης. Οι κύριοι στόχοι σχεδίασης ήταν [2]: Εγγύτητα στον IDCT Σχεδόν ορθογώνια διανύσματα βάσης Σχεδόν ίση νόρμα για όλα τα διανύσματα βάσης Ίδιες ιδιότητες συμμετρίας όπως τα διανύσματα βάσης του IDCT Οι μικρότερες μήτρες μετασχηματισμού είναι ενσωματωμένες στις μεγαλύτερες μήτρες μετασχηματισμού Αναπαράσταση των στοιχείων της μήτρας μετασχηματισμού με 8 bit Οι μήτρες μετασχηματισμού, για λόγους ακρίβειας, έχουν ακέραια αναπαράσταση, γι αυτό είναι απαραίτητη η βάθμωση των αποτελεσμάτων με έναν συντελεστή για την ανακατασκευή των δειγμάτων. Κβάντιση Παρόμοια με το πρότυπο H.264/AVC, η κβάντιση γίνεται με την διαίρεση των συντελεστών με το μέγεθος βήματος κβάντισης (quantization step size) και την στρογγυλοποίηση του αποτελέσματος. Ο υπολογισμός του γίνεται από την παράμετρο κβάντισης (quantization parameter) σύμφωνα με τον τύπο Qstep = (2 1/6 ) QP 4 Τα μεγέθη βήματος κβάντισης δεν αυξάνουν γραμμικά σε σχέση με την παράμετρο κβάντισης. Αυτό συμβαίνει γιατί στοχεύουμε σε αρκετά μεγαλύτερη απόρριψη 21

34 Εν βρόχω φίλτρα 3. Το πρότυπο κωδικοποίησης video HEVC πληροφορίας στις υψηλές συχνότητες και με αυτόν τον τρόπο μπορούμε να καταγράφουμε πιο αποδοτικά μόνο την διαφορά των παραμέτρων κβάντισης, αφήνοντας τον υπολογισμό του βήματος στον αποκωδικοποιητή. Το πρότυπο ορίζει προκαθορισμένες μήτρες κβάντισης οι οποίες είναι προσαρμοσμένες στην ευαισθησία του ανθρώπινου οπτικού συστήματος, αλλά δίνει επίσης την δυνατότητα της αποστολής επιθυμητών μητρών κβάντισης στο SPS. Εν βρόχω φίλτρα Δύο ακόμη σημαντικά στοιχεία του HEVC είναι τα δύο εν βρόχω φίλτρα που χρησιμοποιεί, το φίλτρο αποτμημάτωσης (deblocking filter) και την προσαρμοστική μετατόπιση δειγμάτων (sample adaptive offset SAO). Ονομάζονται εν βρόχω γιατί λαμβάνουν χώρα μέσα στην διαδικασία της κωδικοποίησης και αποκωδικοποίησης, πριν την αποθήκευση των εικόνων στο DPB κατά την κωδικοποίηση και πριν την αντίστροφη κβάντιση στην αποκωδικοποίηση. Πολλές φορές η κωδικοποίηση κατά block δημιουργεί τεχνουργήματα στα όρια των block. Τα δύο αυτά φίλτρα έχουν ως στόχο την μείωση των ασυνεχειών στα όρια τους. Αποτέλεσμα είναι η αύξηση της υποκειμενικής ποιότητας του video από τον θεατή. Φίλτρο αποτμημάτωσης Το φίλτρο αποτμημάτωσης στο H.264/AVC αποτελούσε σημαντικό μέρος της πολυπλοκότητας του κωδικοποιητή [8], ενώ στο HEVC το φίλτρο έχει μειωμένη πολυπλοκότητα και μπορεί εύκολα να παραλληλοποιηθεί. Στόχος του είναι η μείωση των τεχνουργημάτων ορίων σε περιοχές που θεωρούνται αρκετά ομοιόμορφες, καθώς εκεί το φαινόμενο γίνεται πιο έντονα αντιληπτό. Για την απόφαση της χρήσης του φιλτραρίσματος ή όχι, ελέγχονται τέσσερα εικονοστοιχεία εκατέρωθεν ενός ορίου για δύο γραμμές ή στήλες της εικόνας, και αν ικανοποιούν έναν περιορισμό κατωφλίου αποφασίζεται η χρήση του φίλτρου. Υπάρχουν δύο βαθμοί φιλτραρίσματος, κανονικό και ισχυρό φιλτράρισμα. Αν μία απ τις προηγούμενες αποφάσεις ληφθεί, τα δείγματα μεταβάλλονται ώστε να δημιουργηθεί πιο ομαλή μετάβαση κατά μήκος του ορίου. 22

35 3. Το πρότυπο κωδικοποίησης video HEVC Εν βρόχω φίλτρα Προσαρμοστική μετατόπιση δειγμάτων Η προσαρμοστική μετάτοπιση δειγμάτων αντιμετωπίζει το πρόβλημα των δακτυλιώσεων λόγω της απόρριψης των υψηλών συχνοτήτων. Τα δείγματα μιας περιοχής κατηγοριοποιούνται ανάλογα με την τιμή τους και ανάλογα με την κατηγορία του καθενός του προστίθεται μια μετατόπιση που εξομαλύνει το σήμα. Οι παράμετροι αυτές δεν έχουν προτυποποιηθεί και μάλιστα μπορεί διαφορετικά τμήματα της ίδιας εικόνας να χρησιμοποιούν διαφορετικές παραμέτρους. Υπάρχουν δύο τύποι SAO: η μετατόπιση ακμών και η μετατόπιση μπάντας. Στη μετατόπιση ακμών ένα δείγμα συγκρίνεται με τους γείτονές του σε όλες τις κατευθύνσεις και, ανάλογα με το πώς συγκρίνεται με αυτά, του προστίθεται ή αφαιρείται μια μετατόπιση. Στη μετατόπιση μπάντας οι τιμές χωρίζονται σε 32 κατηγορίες και προστίθεται σε κάθε δείγμα μια μετατόπιση ανάλογα με την κατηγορία που ανήκει. 23

36 Τεχνικές δια εικονικής αναζήτησης Η αντιστάθμιση κίνησης είναι ένα απ τα πιο υπολογιστικά πολύπλοκα κομμάτια της κωδικοποίησης video. Για την αντιστάθμιση κίνησης δημιουργούμε ένα σύνολο από πιθανούς προβλέπτες A. Για κάθε ένα απ τα στοιχεία του συνόλου υπολογίζουμε τον ρυθμό R, δηλαδή τα bits που χρειάζονται για να κωδικοποιηθεί ο προβλέπτης, και την παραμόρφωση D που εκφράζει τα bit που χρειαζόμαστε για την αποθήκευση του αντίστοιχου block υπολοίπων. Ο στόχος της αντιστάθμισης κίνησης μπορεί να εκφραστεί με μαθηματική γλώσσα ως η επιλογή του προβλέπτη p που ελαχιστοποιεί την Λαγκρανζιανή έκφραση: p = arg min D(p) + λr(p) p A όπου η σταθερά λ ονομάζεται πολλαπλασιαστής Λαγκράνζ και ελέγχει την ποιότητα της τελικής ανακατασκευής, δηλαδή το bitrate. Για την αντιστάθμιση ενός N N block εικονοστοιχείων διενεργούνται 8+56/N πράξεις πολλαπλασιασμού συσσώρευσης ανά δείγμα ακρίβειας 8 bit και 8 πράξεις πολλαπλασιασμού συσσώρευσης ανά δείγμα ακρίβειας 16 bit. Η χρήση φίλτρου 8 λήψεων για τη συνιστώσα φωτεινότητας και 4 λήψεων για τις συνιστώσες χρωματικότητας αυξάνει τις απαιτήσεις εύρους μνήμης σε σχέση με τον προκάτοχό του H.264/AVC, καθώς και τις εκτελέσιμες πράξεις ανά δείγμα. Άλλα σημεία που αυξάνουν την πολυπλοκότητα του προτύπου είναι οι απαιτήσεις στους ενδιάμεσους καταχωρητές δεδομένων, η χρήση δύο εικόνων αναφοράς για εξαγωγή διανυσμάτων κίνησης σε περισσότερα μεγέθη block απ ότι επέτρεπε το H.264/AVC, και η εισαγωγή της quadtree δομής που διαμερίζει ένα block με υψηλότερη ανάλυση και συνεπώς αυξάνει το πλήθος των δοκιμών κατά την βελτιστοποίηση ρυθμού παραμόρφωσης. Επιπλέον, κάθε δοκιμή υποψήφιου block εμπεριέχει τον μετασχηματισμό και την κβάντιση των δειγμάτων, που στο πρότυπο H.264/AVC γινόταν με ακρίβεια 4 και 8 δειγμάτων, ενώ στο HEVC έχει μικρότερο μέγεθος 4 δειγμάτων 24

37 4. Τεχνικές δια εικονικής αναζήτησης Εικόνες αναφοράς και μέγιστο 32 δειγμάτων. Έχει αναφέρθει [1] ότι στον κωδικοποιητή αναφοράς του HEVC ο υπολογισμός των αθροισμάτων απόλυτων διαφορών καταλαμβάνει το 40% του χρόνου κωδικοποίησης, ενώ η αναζήτηση και το φιλτράρισμα των δειγμάτων αποτελεί το 20%. Σε υλοποιήσεις χωρίς χαμηλού επιπέδου βελτιστοποιήσεις διενεργούνται εννέα μετατοπίσεις για το πλέγμα ακρίβειας μισού δείγματος και άλλες εννέα για το πλέγμα ακρίβειας τετάρτου. Σε αυτόν τον χρόνο προστίθεται και ο λανθάνων χρόνος κατά την εγγραφή και ανάγνωση της κύριας μνήμης, και οι χρόνοι συστήματος που αποτελούν το 3.6% του συνολικού χρόνου κωδικοποίησης. Ως εκ τούτου, γίνεται προφανής η ανάγκη για εύρεση γρήγορων τεχνικών και αλγορίθμων που επιταχύνουν την διαδικασία κωδικοποίησης, διατηρώντας το μέγεθος του video εξόδου σε αντίστοιχα επίπεδα. Εικόνες αναφοράς Για κάθε block το οποίο αντισταθμίζουμε ορίζουμε ένα παράθυρο αναζήτησης (search window), που αποτελεί την μέγιστη απόσταση στην οριζόντια και κάθετη διεύθυνση μέχρι την οποία μπορούμε να ψάξουμε για block αναφοράς. Μεγαλύτερα παράθυρα αναφοράς θα μπορούσαν να δώσουν καλύτερους υποψήφιους, όμως αυξάνουν τον αριθμό των αναζητήσεων και πολλές φορές τα κέρδη είναι μικρού βαθμού, καθώς η κίνηση περιορίζεται σε λίγα εικονοστοιχεία μακριά απ το κωδικοποιούμενα. Οι μονάδες πρόσβασης χωρίζονται σε ομάδες που καλούνται ομάδες εικόνων (group of pictures GOP) και για κάθε μονάδα πρόσβασης μπορούμε να ελέγχουμε υποψήφια block σε μονάδες πρόσβασης που ανήκουν στο ίδιο GOP. Οι υποψήφιες εικόνες στις οποίες διενεργούμε αναζήτηση είναι αποθηκευμένες στην ενδιάμεση μνήμη αποκωδικοποιημένων εικόνων. Αν ένα block από μία μονάδα πρόσβασης επιλεχθεί ως βέλτιστος προβλέπτης, τότε η μονάδα πρόσβασης δηλώνεται στο bitstream ως εικόνα αναφοράς (reference picture). Για την αποδοτικότερη αποθήκευση των μονάδων πρόσβασης στην ενδιάμεση μνήμη αποκωδικοποιημένων εικόνων, αυτές χωρίζονται σε δύο κατηγορίες ανάλογα με το πόσο απέχουν σε σειρά κωδικοποιήσης απ την αναφερόμενη εικόνα, στις εικόνες αναφοράς βραχείας περιόδου (short term reference picture) και τις εικόνες αναφοράς μακράς περιόδου (long term reference picture). Στις επόμενες ενότητες παρουσιάζονται κάποια κύρια μοτίβα αναζήτησης, όπως το μοτίβο πλέγματος (raster pattern), το μοτίβο διαμαντιού (diamond pattern) (που χρησιμοποιείται στον αλγόριθμο Test Zone Search (TZSearch)) και το μοτίβο εξαγώ- 25

38 Μοτίβο πλέγματος 4. Τεχνικές δια εικονικής αναζήτησης νου (hexagon pattern) που χρησιμοποιήθηκε στην τρέχουσα διπλωματική εργασία. Τέλος, αναπτύσσεται ο αλγόριθμος Test Zone Search, που είναι η κύρια μέθοδος αναζήτησης του κωδικοποιητή αναφοράς HEVC. Μοτίβο πλέγματος Σχήμα 4.1: Μοτίβο πλέγματος Το μοτίβο πλέγματος πρόκειται για τον πιο απλό τρόπο αναζήτησης και αποτελεί τμήμα πολλών κλασικών αλγορίθμων αναζήτησης. Ορίζοντας ένα αρχικό σημείο αναζήτησης, ελέγχουμε κάθε block που απέχει μια σταθερή απόσταση βήματος κατά την οριζόντια και κάθετη διεύθυνση σε όλο το παράθυρο αναζήτησης. Η διαδικασία φαίνεται εποπτικά στο σχήμα 4.1, όπου με γκρι χρώμα σημειώνεται το πρώτο δείγμα του προς εξέταση block. Μοτίβο διαμαντιού Το μοτίβο διαμαντιού, που φαίνεται στο σχήμα 4.2, αποτελείται από ένα τετράγωνο περιστραμμένο κατά 45, όπου οι κορυφές και τα μέσα των πλευρών του αποτελούν σημεία αναζήτησης. Η αναζήτηση ξεκινά απ την απόσταση 0, δηλαδή το αρχικό σημείο αναζήτησης, τον σταυρό για την απόσταση 1, και το βήμα αυξάνεται ως δύναμη του δύο μέχρι να εξαντλήσουμε το παράθυρο αναζήτησης. Αν υποθέσουμε ότι το εύρος αναζήτησης είναι R, μπορούμε να υπολογίσουμε εύκολα 26

39 4. Τεχνικές δια εικονικής αναζήτησης Μοτίβο εξαγώνου Σχήμα 4.2: Μοτίβο διαμαντιού ότι ο συνολικός αριθμός των αναζητήσεων είναι N D = log R Λόγω της τοποθέτησης των σημείων αναζήτησης, το μοτίβο διαμαντιού αποδίδει καλά σε περιπτώσεις κίνησης κατά την οριζόντια, κάθετη και τις διαγώνιες κατευθύνσεις. Μοτίβο εξαγώνου Σχήμα 4.3: Μοτίβο οριζόντιου εξαγώνου 27

40 Test Zone Search (TZSearch) 4. Τεχνικές δια εικονικής αναζήτησης Κάποιες από τις τελευταίες προτάσεις για την αντιστάθμιση κίνησης έχουν δείξει ότι η χρήση εξαγωνικού μοτίβου αναζήτησης αποδίδει αρκετά καλά, λόγω μειωμένων υπολογισμών χωρίς μεγάλη απώλεια στο PSNR [11] [10]. Στο σχήμα 4.3 φαίνεται το μοτίβο οριζόντιου εξαγώνου, που λειτουργεί με αντίστοιχο τρόπο με το μοτίβο διαμαντιού, με το αντίστοιχο κάθετο να είναι περιστραμμένο κατά 90. Ειδοποιός διαφορά από υπολογιστικής άποψης αποτελεί η αναζήτηση σε έξι σημεία (αντί των οκτώ του μοτίβου διαμαντιού), που μειώνει τον αριθμό των σημείων αναζήτησης σε N D = log R Η χρήση ενός τύπου εξαγωνικού μοτίβου, οριζόντιου ή κάθετου, αποδίδει καλά για την ανίχνευση κίνησης στην αντίστοιχή του κατεύθυνση, αλλά έχει μειωμένη απόδοση για την κάθετή του. Γι αυτό τον λόγο οι συγγραφείς του [10] πρότειναν την χρήση εναλλασσόμενου μοτίβου που ισορροπεί την εκτίμηση και στις δύο κατευθύνσεις. Το ένα εκ των δύο πιθανών μοτίβων φαίνεται στο σχήμα 4.4. Σχήμα 4.4: Μοτίβο εναλλασσόμενου εξαγώνου Test Zone Search (TZSearch) Ο Test Zone Search χρησιμοποιήθηκε πρώτη φορά στον κωδικοποιητή αναφοράς του H.264/AVC και είναι ο κύριος αλγόριθμος που υλοποιήθηκε στον κωδικοποιητή αναφοράς του HEVC. Στο σχήμα 4.5 δίνεται το διάγραμμα ροής της διαδικασίας αναζήτησης. Βήμα 1: Για την επιλογή του αρχικού σημείου αναζήτησης ελέγχονται όλοι οι 28

41 4. Τεχνικές δια εικονικής αναζήτησης Test Zone Search (TZSearch) Εύρεση αρχικού σημείου αναζήτησης από λίστα πιθανών προβλεπτών Αναζήτηση διαμαντιού όχι ναι Αναζήτηση πλέγματος Περαιτέρω βελτίωση διαμαντιού Σχήμα 4.5: Διάγραμμα ροής αλγορίθμου TZSearch προβλέπτες απ τη λίστα προηγμένης πρόβλεψης διανύσματος κίνησης, που περιέχει τα διανύσματα κίνησης από τρία χωρικά συσχετισμένα block, την διάμεσο αυτών, και το χρονικά συσχετισμένο block στην υποψήφια εικόνα αναφοράς. Ο καλύτερος υποψήφιος επιλέγεται ως αρχικό σημείο αναζήτησης και αποθηκεύεται προσωρινά ως ο βέλτιστος σε μια δομή που περιέχει τις συντεταγμένες του διανύσματος κίνησης (x p, y p ) και την αντίστοιχή του παραμόρφωση. Βήμα 2: Στη συνέχεια πραγματοποιείται αναζήτηση διαμαντιού με κέντρο το αρχικό σημείο που επιλέχθηκε προηγουμένως. Το μέγεθος του παραθύρου αναζήτησης είναι προκαθορισμένο σε ένα αρχείο ρύθμισης και η προεπιλεγμένη τιμή του εύρους του είναι 64 εικονοστοιχεία. Κάθε block το οποίο μπορεί να κωδικοποιηθεί καλύτερα υπό την έννοια του ρυθμού παραμόρφωσης αντικαθιστά τον προσωρινό βέλτιστο προβλέπτη. Βήμα 3: Αν στο τέλος της αναζήτησης τουλάχιστον μία εκ των συνιστωσών x p ή y p είναι μεγαλύτερη από μία παράμετρο που ονομάζουμε iraster, που έχει προ- 29

42 Test Zone Search (TZSearch) 4. Τεχνικές δια εικονικής αναζήτησης επιλεγμένη τιμή 5 εικονοστοιχεία, τότε συνεχίζουμε την αναζήτηση σε ένα μοτίβο πλέγματος με βήμα iraster. Η διαδικασία αυτή θα μας δώσει πιθανότατα έναν καλύτερο προβλέπτη, που θα είναι το κέντρο μιας νέας αναζήτησης διαμαντιού. Βήμα 4: Ακόμη κι αν δεν διενεργήσουμε αναζήτηση πλέγματος, η πρόβλεψή μας μπορεί να βελτιωθεί περαιτέρω αν εκτελέσουμε μία νέα αναζήτηση διαμαντιού. Στο τέλος αυτής ο αλγόριθμος Test Zone Search έχει ολοκληρωθεί και ο βέλτιστος προβλέπτης εγγράφεται στο bitstream. 30

43 Προτεινόμενος αλγόριθμος Τα μοτίβα αναζήτησης που αναφέρθηκαν στο προηγούμενο κεφάλαιο είναι απαραίτητα για την ανίχνευση κίνησης σε ένα video, φέρουν όμως, το καθένα σε διαφορετικό βαθμό, μεγάλο υπολογιστικό κόστος για την αντιστάθμιση κίνησης λόγω των πολλών υπολογισμών που χρειάζονται για τον έλεγχο κάθε πιθανού προβλέπτη. Για την αποφυγή αυτού του κόστους χρησιμοποιούνται συχνά τεχνικές πρόωρου τερματισμού (early termination) που στόχο έχουν την παράκαμψη αυτών των αναζητήσεων, αν θεωρηθεί σε κάποιο σημείο της διαδικασίας αντιστάθμισης ότι έχει βρεθεί ένας κατάλληλος προβλέπτης. Στην παρούσα διπλωματική εργασία ερευνήθηκε ένας συνδυασμός μεθόδων πρόωρου τερματισμού και αλλαγής του μοτίβου αναζήτησης, που αφενός θα παρέκαμπτε την αναζήτηση σε περιπτώσεις μειωμένης κίνησης, αφετέρου θα μείωνε το πλήθος (και συνεπώς και τον χρόνο) υπολογισμού των διανυσμάτων σε περιπτώσεις έντονης κίνησης. Κατανομή διανυσμάτων κίνησης Στατιστικά αποτελέσματα από πειραμάτα που διενεργήθηκαν απ τους συγγραφείς της εργασίας [7] έδειξαν ότι η κατανομή πιθανότητας του βέλτιστου διανύσματος πρόβλεψης είναι πυκνότερη σε σημεία κοντά στο αρχικό σημείο και ελαττώνεται απότομα καθώς απομακρυνόμαστε από αυτό. Με αναφορά το παρακάτω σχήμα, η εργασία αναφέρει τις ακόλουθες πιθανότητες για τα διανύσματα κίνησης: 31

44 Ανάπτυξη αλγορίθμου 5. Προτεινόμενος αλγόριθμος Σημείο A: 58.05% Σημεία B: 18.52% E E E D C B E E D E Σημεία C: 6.58% C B A B C Σημεία D: 2.42% Σημεία E: 1.88% E E D E B C D E E E Συνολικά, η πιθανότητα το διάνυσμα κίνησης να βρίσκεται στο κέντρο ή στον σταυρό (οριζόντια και κάθετα γειτονικά σημεία), σύμφωνα με τα αναφερόμενα στατιστικά αποτελέσματα, ανέρχεται στο 76.57%. Η πιθανότητα αυτή θεωρήθηκε ότι μπορεί να αξιοποιηθεί ώστε ο αλγόριθμος να τερματίσει πρόωρα σε περιπτώσεις χαμηλής κίνησης. Ανάπτυξη αλγορίθμου Ορμώμενοι από την προαναφερθείσα κατανομή πιθανότητας των διανυσμάτων κίνησης, καθώς και από τις παρατήρησεις των προηγούμενων κεφαλαίων, παρουσιάζουμε τον προτεινόμενο αλγόριθμο, το διάγραμμα ροής του οποίου φαίνεται στο σχήμα 5.1: Βήμα 1: Ελέγχουμε την λίστα προηγμένης πρόβλεψης διανύσματος κίνησης, το μηδενικό διάνυσμα, και τα οριζόντια και κάθετα γειτονικά σημεία (σημεία σταυρού). Αν στο τέλος αυτών των ελέγχων το μηδενικό διάνυσμα ήταν ο καλύτερος προβλέπτης, τότε ο αλγόριθμος τερματίζει πρόωρα και εγγράφουμε ως βέλτιστο προβλέπτη το μηδενικό διάνυσμα. Έστωσαν A και B τα ενδεχόμενα το βέλτιστο διάνυσμα να βρίσκεται στη μηδενική θέση και στη θέση σταυρού αντίστοιχα. Τότε, με τα στατιστικά αποτέλεσματα που αναφέρθηκαν προηγούμενως, μπορούμε να υπολογίσουμε την δεσμευμένη πιθανότητα να έχουμε κάνει σωστή πρόβλεψη δεδομένου ότι τα σημεία σταυρού αποτέλεσαν υποβέλτιστα σημεία ως P (A B c ) = P (ABc ) P (B c ) = P (A) 1 P (B) = = 71.24% Η παραπάνω πιθανότητα αποτελεί ένα κάτω φράγμα στην πιθανότητα να έχουμε κάνει σωστή πρόβλεψη, γιατί ο έλεγχος των υπόλοιπων διανυσμάτων της λίστας προηγμένης πρόβλεψης αυξάνει την πληροφορία κι έτσι και την τελική πιθανότητα. Βήμα 2: Αν ο αλγόριθμος δεν έχει τερματίσει, τότε προχωρούμε σε αναζήτηση εξαγώνου με κέντρο τον προσωρινά καλύτερο προβλέπτη του προηγούμενου 32

45 5. Προτεινόμενος αλγόριθμος Ανάπτυξη αλγορίθμου Έλεγχος λίστας πιθανών προβλεπτών, μηδενικού διανύσματος και σημείων σταυρού μηδενικό διάνυσμα καλύτερος προβλέπτης ναι όχι Αναζήτηση εξαγώνου σημείο σταυρού καλύτερος προβλέπτης όχι καλύτερη απόσταση > iraster όχι ναι Αναζήτηση πλέγματος Περαιτέρω διόρθωση εξαγώνου Σχήμα 5.1: Προτεινόμενος αλγόριθμος αναζήτησης 33

46 Ανάπτυξη αλγορίθμου 5. Προτεινόμενος αλγόριθμος βήματος. Βήμα 3: Η εξαγωνική αναζήτηση θα έχει ελέγξει πολλά block σε διάφορες αποστάσεις. Αν η κίνηση ήταν μεγάλη, τότε πιθανότατα ο προσωρινά καλύτερος προβλέπτης θα βρίσκεται σε μια απόσταση μεγαλύτερη από 1. Στην περίπτωση που η καλύτερη απόσταση που έχει βρεθεί είναι 1, τότε θεωρούμε ότι υπάρχει μικρή κίνηση για το συγκεκριμένο block, και ελέγχουμε τα διαγώνια γειτονικά σημεία. Η καλύτερη πρόβλεψη εγγράφεται ως βέλτιστη και ο αλγόριθμος τερματίζει πρόωρα. Βήμα 4: Όπως και στον αλγόριθμο TZSearch, αν η απόσταση του προσωρινά καλύτερου προβλέπτη είναι μεγαλύτερη από την παράμετρο iraster, τότε υπάρχει πολύ υψηλή κίνηση και δοκιμάζουμε να βρούμε ένα καλύτερο σημείο αρχικής αναζήτησης διενεργώντας αναζήτηση πλέγματος. Βήμα 5: Με κέντρο το καλύτερο σημείο που έχει βρεθεί, είτε προηγούμενως είχαμε περάσει στην αναζήτηση πλέγματος, είτε όχι, εκτελούμε μια νέα αναζήτηση εξαγώνου, και έτσι ολοκληρώνουμε την διαδικασία αναζήτησης με το βέλτιστο σημείο που έχουμε βρει. 34

47 Πειραματικά αποτελέσματα Για την σχεδίαση και ανάπτυξη του προτύπου, καθώς και για την σύγκριση των αποτελεσμάτων διαφορετικών προτάσεων που κατατέθηκαν στα Καλέσματα για Προτάσεις των ιθυνόντων οργανισμών, δημιουργήθηκε ο (απο)κωδικοποιητής HM (HEVC Test Model reference software)¹. Ο HM είναι γραμμένος σε γλώσσα C++ και υπεύθυνοι για την διατήρησή του είναι οι οργανισμοί HHI (Heinrich Hertz Institute) και ο BBC (British Broadcasting Corporation) που φιλοξενούν το κύριο και εναλλακτικό αποθετήριο αντίστοιχα. Η απόδοση της αναζήτησης εξαρτάται σε μεγάλο βαθμό απ την ανάλυση του video εισόδου και την φυσική κίνηση που έχει ως περιεχόμενο. Για την σύγκριση της απόδοσης σε διαφορετικές εφαρμογές επιλέξαμε μεγέθη CIF (μέγεθος ), HD (μέγεθος ) και Full HD (μέγεθος ) με διάφορα επίπεδα κίνησης. Οι ακολουθίες δοκιμών είναι ελεύθερα προσβάσιμες στο διαδίκτυο². Τα πειράματα διενεργήθηκαν σε υπολογιστικό σύστημα Linux με τετραπύρηνο επεξεργαστή Intel Core i CPU συχνότητας 3.40GHz και συνολική μνήμη 8GB DDR3. Ο κωδικοποιητής που χρησιμοποιήθηκε ήταν ο HM έκδοση 16.9 και τα αποτελέσματα συγκρίθηκαν με τον ήδη υλοποιημένο αλγόριθμο TZSearch. Για την αναζήτηση χρησιμοποιήθηκε μέγεθος CTU 64 εικονοστοιχείων, παράθυρο αναζήτησης 64 εικονοστοιχείων, και παράμετρος iraster ίση με 5. Τέλος, μεταβάλλαμε την τιμής της παραμέτρου QP που συντελεί επίσης στην ταχύτητα των αναζητήσεων. Τα αποτελέσματα των προσομοιώσεων φαίνονται στον επόμενο πίνακα. ¹ ² 35

48 6. Πειραματικά αποτελέσματα Ακολουθία QP Χρόνος εκτέλεσης (sec) Μέγεθος (B) TZSearch Προτειν. % TZSearch Προτειν. % , , Akiyo ,751 84, Χαμηλή κίνηση ,486 53, CIF ,963 35, , , FourPeople , , Μέτρια κίνηση , , HD , , ,453,552 1,454, Johny , , Χαμηλή κίνηση , , Full HD , , ,334,574 1,338, RushHour , , Υψηλή κίνηση , , Full HD , , Απ τα παραπάνω αποτελέσματα εμφανίζεται σε σχεδόν όλες τις πειραματικές μετρήσεις επιτάχυνση της ταχύτητας κωδικοποίησης σε σχέση με τον αλγόριθμο TZSearch, κατά μέσο όρο κατά -4.82%, χωρίς σημαντική αύξηση του μεγέθους του τελικού video εξόδου. Ως μελλοντική έρευνα θα μπορούσαμε να συγκρίνουμε την συμπεριφορά των δύο αλγορίθμων για διαφορετικούς ρυθμούς δεδομένων, και στατιστική μελέτη των περιπτώσεων πρόωρου τερματισμού και των διανυσμάτων κίνησης, που θα μπορούσαν να μας δώσουν στοιχεία για καλύτερη κατανόηση εσωτερικών χαρακτηριστικών του αλγορίθμου που έχουν περιθώρια περαιτέρω βελτίωσης, ειδικά στις περιπτώσεις που ο TZSearch υπερτερεί του προτεινόμενου. u 36

49 Βιβλιογραφία [1] Frank Bossen, Benjamin Bross, Karsten Suhring, and David Flynn. HEVC complexity and implementation analysis. Circuits and Systems for Video Technology, IEEE Transactions on, 22(12): , [2] Madhukar Budagavi, Arild Fuldseth, Gisle Bjøntegaard, Vivienne Sze, and Mangesh Sadafale. Core transform design in the high efficiency video coding (HEVC) standard. IEEE Journal of Selected Topics in Signal Processing, 7(6): , [3] Rafael C Gonzalez and Richard E Woods. Digital image processing, [4] Philipp Helle, Simon Oudin, Benjamin Bross, Detlev Marpe, M Oguz Bici, Kemal Ugur, Joel Jung, Gordon Clare, and Thomas Wiegand. Block merging for quadtree-based partitioning in HEVC. IEEE Transactions on Circuits and Systems for Video Technology, 22(12): , [5] Cisco Visual Networking Index. Cisco visual networking index: Forecast and methodology, Cisco white paper, [6] ITU-T Rec. H.264 and ISO/IEC (AVC), ITU-T and ISO/IEC JTC 1. Advanced Video Coding for Generic Audio-Visual Services, May 2003 (και επόμενες εκδόσεις). [7] Hongjun Jia and Li Zhang. Directional diamond search pattern for fast block motion estimation. Electronics Letters, 39(22):1, [8] Peter List, Anthony Joch, Jani Lainema, Gisle Bjontegaard, and Marta Karczewicz. Adaptive deblocking filter. IEEE transactions on circuits and systems for video technology, 13(7): , [9] Jung-Hye Min, Sunil Lee, Il-Koo Kim, Woo-Jin Han, Jani Lainema, and Kemal Ugur. Unification of the directional intra prediction methods in TMuC. JCTVC- B100, Geneva, Switzerland,

50 [10] N Purnachand, Luis Nero Alves, and Antonio Navarro. Fast motion estimation algorithm for HEVC. In Consumer Electronics-Berlin (ICCE-Berlin), 2012 IEEE International Conference on, pages IEEE, [11] N Purnachand, Luis Nero Alves, and Antonio Navarro. Improvements to TZ search motion estimation algorithm for multiview video coding. In th International Conference on Systems, Signals and Image Processing (IWSSIP), pages IEEE, [12] K.R. Rao and P. Yip. Discrete Cosine Transform: Algorithms, Advantages, Applications. Academic Press, [13] Ankur Saxena and Felix C Fernandes. Mode dependent DCT/DST for intra prediction in block-based image/video coding. In th IEEE International Conference on Image Processing, pages IEEE, [14] H. Schwarz and T Wiegand. Tree-structured macroblock partition. Technical report, ITU-T/SG 16/Q.6, November VCEG O17. [15] G. J. Sullivan, J. R. Ohm, W. J. Han, and T. Wiegand. Overview of the High Efficiency Video Coding (HEVC) Standard. IEEE Transactions on Circuits and Systems for Video Technology, 22(12): , Dec [16] Gary J. Sullivan Vivienne Sze, Madhukar Budagavi, editor. High Efficiency Video Coding (HEVC). Springer International Publishing, 2014.

51 Ευρετήριο block δέντρου κωδικοποίησης (coding tree block CTB), 14 block κωδικοποίησης (coding block CB), 14 block μετασχηματισμού (transform block TB), 14 HM (HEVC Test Model reference software), 35 intra random access point (IRAP), 11 Network Abstraction Layer (NAL) unit, 11 Test Zone Search (TZSearch), 28 απωλεστική συμπίεση (lossy compression), 6 βάθος χρώματος (bit depth), 5 δυαδική αριθμητική κωδικοποίηση με προσαρμογή στο περιεχόμενο (context adaptive binary arithmetic coding CABAC), 9 εικονοστοιχείο (pixel), 5 εικόνα αναφοράς (reference picture), 25 εικόνα οδήγησης (leading picture), 11 εικόνα ουράς (trailing picture), 11 εικόνες αναφοράς βραχείας περιόδου (short term reference picture), 25 εικόνες αναφοράς μακράς περιόδου (long term reference picture), 25 ενδιάμεση μνήμη αποκωδικοποιημένων εικόνων (decoded picture buffer DPB), 12 επίπεδο (level), 20 κβάντιση (quantization), 8 κωδικοποίηση εντροπίας (entropy coding), 8 μέγεθος βήματος κβάντισης (quantization step size), 21 μετασχηματισμός διακριτού συνημιτόνου (discrete cosine transform DCT), 7 μη απωλεστική συμπίεση (lossless compression), 6 μονάδα δέντρου κωδικοποίησης (coding tree units CTU), 13 μονάδα κωδικοποίησης (coding unit CU), 14 μονάδα πρόβλεψης (prediction unit PU), 14 μονάδα πρόσβασης (access unit), 11 μοτίβο διαμαντιού (diamond pattern), 26 μοτίβο εναλλασσόμενου εξαγώνου (rotating hexagon pattern), 28 μοτίβο εξαγώνου (hexagon pattern), 39

52 27 μοτίβο πλέγματος (raster pattern), 26 παράθυρο αναζήτησης (search window), 25 παράλληλη επεξεργασία μετώπου κύματος (wavefront parallel processing), 16 παράμετρος κβάντισης (quantization parameter), 21 πλακίδιο (tile), 16 προηγμένη πρόβλεψη διανύσματος κίνησης (advanced motion vector prediction AMVP), 17 προσαρμοστική μετατόπιση δειγμάτων (sample adaptive offset SAO), 22 πρόωρου τερματισμού (early termination), 31 συγχώνευση block (block merging), 17 σύνολο παραμέτρων (parameter set), 12 τετραδικό δέντρο (quadtree), 13 τετραδικό δέντρο υπολοίπων (residual quadtree RQT), 14 υποδειγματοληψία χρωματικότητας (chroma subsampling), 5 φέτα (slice), 13 φωτεινότητα (luma), 5 χρωματικό μοντέλο (chromatic model), 5 χρωματικότητα (chroma), 5

53