Δημιουργία Περιλήψεων από Ακολουθίες Βίντεο στο Συμπιεσμένο Πεδίο

Transcript

1 Εργαστήριο Ηλεκτρονικής Τομέας Ηλεκτρονικής και Υπολογιστών Τμήμα Φυσικής Πανεπιστήμιο Πατρών Ειδική Επιστημονική Εργασία Δημιουργία Περιλήψεων από Ακολουθίες Βίντεο στο Συμπιεσμένο Πεδίο Ρήγας Ιωάννης Α.Μ. 269 Επιβλέπων Καθηγητής : Γ. Οικονόμου ΠΑΤΡΑ 2008

2 Περιεχόμενα Πρόλογος 4 1. Εισαγωγή 1.1 Αντικείμενο της Εργασίας Σκοπός της Εργασίας Εργασία στο Ασυμπίεστο Vs Εργασία στο Συμπιεσμένο Πεδίο Οργάνωση της Εργασίας Το Πρότυπο Συμπίεσης MPEG 2.1 Εισαγωγή Ιεραρχική Δομή του Video Stream Τύποι Εικόνων στο Πρότυπο MPEG Μέθοδοι Κωδικοποίησης Εικόνων Εξαγωγή Χαρακτηριστικών (Feature Extraction) 3.1 Εισαγωγή Το Ιστόγραμμα DC συνιστωσών Η Διακύμανση της Έντασης Κίνησης Ανίχνευση Πλάνων (Shot Detection) 4.1 Εισαγωγή Μέθοδοι Ανίχνευσης Πλάνων Ανίχνευση Πλάνων με Χρήση του Ιστογράμματος DC συνιστωσών Πειραματικά Αποτελέσματα στην Ανίχνευση Πλάνων Εξαγωγή Χαρακτηριστικών Καρέ (Keyframe Extraction) 5.1 Εισαγωγή Μέθοδοι Εξαγωγής Χαρακτηριστικών Καρέ 57 2

3 5.3 Η Μέθοδος που Υλοποιήθηκε στην Παρούσα Εργασία Πειραματικά Αποτελέσματα στην Εξαγωγή Χαρακτηριστικών Καρέ Υλοποίηση του Συστήματος Δημιουργίας Περιλήψεων από Ακολουθίες Βίντεο στο Συμπιεσμένο Πεδίο 6.1 Πρακτική Υλοποίηση του Συστήματος Ταχύτητα του Συστήματος Δημιουργίας Περίληψης 83 Επίλογος 85 Βιβλιογραφία 86 3

4 Πρόλογος Οι εξελίξεις τα τελευταία χρόνια στις τεχνολογίες των πολυμέσων και η εξάπλωση του Διαδικτύου έχουν οδηγήσει σε μια ραγδαία αύξηση της χρήσης του ψηφιακού βίντεο. Έτσι έχει γεννηθεί η ανάγκη ανάπτυξης ικανών εργαλείων για την δημιουργία περιλήψεων από ακολουθίες βίντεο. Ο χρήστης μιας τέτοιας εφαρμογής έχει την δυνατότητα να πάρει μια ιδέα του περιεχομένου ενός βίντεο έτσι ώστε να αποφασίσει εάν τον ενδιαφέρει να το παρακολουθήσει ή όχι. Η δημιουργία περίληψης από μια ακολουθία βίντεο μπορεί επίσης να αποτελέσει την βάση για ένα σύνολο χρήσιμων εφαρμογών όπως η δεικτοδότηση ακολουθιών βίντεο (video indexing) και η αναζήτηση σε βίντεο (video retrieval). Στην παρούσα εργασία λοιπόν υλοποιούμε τις διαδικασίες που θα πρέπει να ακολουθηθούν ώστε να καταλήξουμε σε ένα σύνολο καρέ τα οποία θα συνοψίζουν το περιεχόμενο μιας ακολουθίας βίντεο. Η επεξεργασία του βίντεο γίνεται απευθείας στο συμπιεσμένο πεδίο και συγκεκριμένα σε συμπιεσμένα αρχεία MPEG-1-2. Με αυτό τον τρόπο υλοποιείται ένα σύστημα δημιουργίας περιλήψεων από ακολουθίες βίντεο το οποίο εξάγει ικανοποιητικά αποτελέσματα σε σχετικά μικρό χρόνο. Θα ήθελα σε αυτό το σημείο να ευχαριστήσω τον επιβλέποντα καθηγητή κ. Γεώργιο Οικονόμου για την καθοδήγηση και την εμπιστοσύνη που μου έδειξε καθ όλη την διάρκεια της εκπόνησης της παρούσας εργασίας. Θα ήθελα τέλος να εκφράσω τις θερμές μου ευχαριστίες στους καθηγητές του Εργαστηρίου Ηλεκτρονικής του τμήματος Φυσικής, για την διδασκαλία, την καθοδήγηση και την εμπιστοσύνη που μου έδειξαν όλα αυτά τα χρόνια. 4

5 5

6 ΚΕΦΑΛΑΙΟ 1 Εισαγωγή 1.1 Αντικείμενο της Εργασίας Με τις ραγδαίες εξελίξεις οι οποίες έχουν συντελεστεί τα τελευταία χρόνια στον τομέα των πολυμέσων αλλά και με την αύξηση της ισχύος και της αποθηκευτικής ικανότητας των υπολογιστικών συστημάτων, το ψηφιακό βίντεο ολοένα και εδραιώνεται ως μια από τις σημαντικότερες πηγές ενημέρωσης και ψυχαγωγίας. Η μεγάλη αυτή χρήση του ψηφιακού βίντεο οδήγησε γρήγορα στην ανάγκη ανάπτυξης εφαρμογών με τις οποίες να είναι δυνατή η αυτόματη εξαγωγή περιλήψεων από 6

7 ψηφιακά βίντεο, οι οποίες να δίνουν την δυνατότητα στον χρήστη της εφαρμογής να πάρει μια γρήγορη ιδέα του περιεχομένου ενός συγκεκριμένου βίντεο πριν το παρακολουθήσει. Τέτοιες εφαρμογές είναι αναγκαίες σε διάφορους τομείς όπως: Διαδίκτυο (Internet) Η ανάπτυξη των ευρυζωνικών (broadband) τεχνολογιών έχει οδηγήσει σε μεγάλη άνθηση της χρήσης του ψηφιακού βίντεο στο Διαδίκτυο. Σημαντικό παράδειγμα είναι οι ιστότοποι οι οποίοι φιλοξενούν βίντεο τα οποία ανεβάζουν χρήστες του Διαδικτύου. Υπάρχουν ακόμη ιστότοποι οι οποίοι φιλοξενούν συλλογές από βίντεο αθλητικού περιεχομένου, αποσπάσματα ή ολόκληρα επεισόδια τηλεοπτικών σειρών και εκπομπών (Video On Demand, TV On Demand). Οι ιστότοποι αυτοί παρέχουν στον χρήστη του Διαδικτύου έναν τεράστιο όγκο δεδομένων ψηφιακού βίντεο καθιστώντας αναγκαία την ύπαρξη εφαρμογών εξαγωγής περίληψης από ακολουθίες βίντεο. Μια τέτοια εφαρμογή δίνει την δυνατότητα στον χρήστη να πάρει μια ιδέα του περιεχομένου του βίντεο και να αποφασίσει αν τον ενδιαφέρει ή όχι. Επιπροσθέτως, αν και οι ταχύτητες των δικτύων έχουν αυξηθεί και χρησιμοποιείται συμπίεση για τα αρχεία βίντεο, ο όγκος τους είναι αρκετά μεγάλος και χρειάζεται υπολογίσιμος χρόνος για την μεταφορά τους. Συνεπώς μια εφαρμογή εξαγωγής περίληψης μπορεί να βοηθήσει έναν χρήστη να αποφασίσει εάν αξίζει να διαθέσει τον χρόνο και τους δικτυακούς του πόρους προκειμένου να κατεβάσει κάποιο αρχείο βίντεο. Η ανάγκη για εφαρμογές εξαγωγής περίληψης από ψηφιακά βίντεο θα γίνει πιο επιτακτική στα επόμενα χρόνια με την ακόμη μεγαλύτερη ανάπτυξη της Τηλεόρασης μέσω Διαδικτύου (Internet TV), καθώς ο όγκος του διαθέσιμου ψηφιακού βίντεο θα πολλαπλασιαστεί. 7

8 Σχ. 1.1 : Μια εφαρμογή δημιουργίας περιλήψεων από ακολουθίες βίντεο, στο Διαδίκτυο. Κινητή Τηλεφωνία Με τις εξελίξεις των τελευταίων ετών στην τεχνολογία κατασκευής κινητών τηλεφώνων, τα σημερινά κινητά τηλέφωνα έχουν ένα σύνολο χαρακτηριστικών (κάμερα, οθόνη υψηλής ανάλυσης) τα οποία δίνουν στην συσκευή ένα σύνολο πολυμεσικών δυνατοτήτων. Ο χρήστης ενός κινητού τηλεφώνου μπορεί να χρησιμοποιήσει την συσκευή του όχι μόνο για να επικοινωνήσει αλλά επίσης για να την ψυχαγωγία και την ενημέρωσή του. Υπάρχει λοιπόν μια μεγάλη εξάπλωση της χρήσης ψηφιακού βίντεο και στην κινητή τηλεφωνία. Η αναπτυσσόμενη τεχνολογία της Τηλεόρασης από το Κινητό Τηλέφωνο (Mobile TV) θα οδηγήσει σε ακόμη μεγαλύτερη χρήση του ψηφιακού βίντεο στην κινητή τηλεφωνία. Γίνεται λοιπόν κατανοητό ότι και σε αυτήν την περίπτωση απαιτούνται εργαλεία με τα οποία θα είναι δυνατή η εξαγωγή περιλήψεων από αρχεία ψηφιακού βίντεο, απο τις οποίες θα είναι δυνατή η πληροφόρηση του χρήστη ενός κινητού τηλεφώνου για το περιεχόμενο ενός βίντεο. Ένα παράδειγμα είναι στον τομέα της ενημέρωσης μέσω κινητού τηλεφώνου. Ένα σύστημα εξαγωγής περίληψης θα μπορούσε να εφοδιάσει τον χρήστη με μια ή περισσότερες εικόνες από την κάθε είδηση ενός δελτίου ειδήσεων. Εάν ο χρήστης δει στις εικόνες αυτές κάτι που τον ενδιαφέρει μπορεί να ζητήσει να μεταφερθεί ολόκληρο το αντίστοιχο απόσπασμα στο κινητό του ώστε να ενημερωθεί για το συγκεκριμένο θέμα. 8

9 Σχ. 1.2 : Μια εφαρμογή δημιουργίας περιλήψεων από ακολουθίες βίντεο, στην κινητή τηλεφωνία. Προσωπικές Βάσεις Δεδομένων Βίντεο Η αποθηκευτική ικανότητα των προσωπικών υπολογιστικών συστημάτων έχει αυξηθεί πολύ χάρις τους σκληρούς δίσκους χωρητικότητας εκατοντάδων GB και την ανερχόμενη τεχνολογία BlueRay Disk. Έτσι ο μέσος χρήστης καταλήγει να διαθέτει έναν τεράστιο όγκο ψηφιακού υλικού βίντεο στο υπολογιστικό του σύστημα. Μια εφαρμογή περίληψης από βίντεο θα μπορούσε να βοηθήσει στην καλύτερη οργάνωση του ψηφιακού υλικού του, ούτως ώστε ο χρήστης να μπορεί να βρει με ευκολία στο αρχείο του κάποιο βίντεο που τον ενδιαφέρει. Αναζήτηση σε Βίντεο (Video Retrieval) Εκτός από τις άμεσες χρήσεις μιας εφαρμογής δημιουργίας περιλήψεων από ακολουθίες βίντεο, η δημιουργία περίληψης είναι το απαιτούμενο βήμα προεργασίας για μια εφαρμογή αναζήτησης σε βίντεο (video retrieval). Με την διαδικασία της δημιουργίας περίληψης από ένα βίντεο παράγεται ένα σύνολο εικόνων οι οποίες συνοψίζουν το περιεχόμενο του βίντεο. Από την στιγμή που τα βασικά στοιχεία που περιέχονται σε ένα βίντεο συνοψίζονται από ένα μικρό σύνολο εικόνων, η διαδικασία 9

10 της αναζήτησης σε βίντεο (video retrieval) μετατρέπεται σε αναζήτηση σε εικόνα (image retrieval). Ένα σύστημα αναζήτησης σε βίντεο λοιπόν διαθέτει στην βάση δεδομένων του τις εικόνες που αντιστοιχούν στην περίληψη για το κάθε βίντεο. Όταν ο χρήστης της εφαρμογής εκτελέσει μια αναζήτηση (query), το σύστημα ψάχνει στην βάση δεδομένων με τις εικόνες που έχουν εξαχθεί κατά την διαδικασία της δημιουργίας περίληψης για εικόνες παρόμοιες με την προς αναζήτηση εικόνα (query image). Στην συνέχεια προτείνει στον χρήστη τα αντίστοιχα βίντεο από τα οποία προέρχονται οι εικόνες αυτές. 1.2 Σκοπός της Εργασίας Στόχος της παρούσας εργασίας είναι η μελέτη και η υλοποίηση των απαραίτητων διαδικασιών που θα πρέπει να ακολουθηθούν για την ανάπτυξη ενός συστήματος δημιουργίας περιλήψεων από ακολουθίες βίντεο απευθείας στο συμπιεσμένο πεδίο, και συγκεκριμένα απο ακολουθίες βίντεο συμπιεσμένες με το πρότυπο συμπίεσης MPEG-1 και MPEG-2. Η ανάπτυξη μιας εφαρμογής για την δημιουργία περιλήψεων από ακολουθίες βίντεο είναι στην πραγματικότητα μια διαδικασία τριών βημάτων. Αρχικά θα πρέπει να εξάγουμε κάποιες ιδιότητες (χαρακτηριστικά - features) από την συμπιεσμένη ακολουθία βίντεο, τις οποίες να μπορούμε να τις επεξεργαστούμε για να εξάγουμε τα στοιχεία που θα μας οδηγήσουν στην δημιουργία μιας περίληψης του περιεχομένου του βίντεο. Στην συνέχεια θα πρέπει να χωρίσουμε την ακολουθία βίντεο σε μικρότερα τμήματα τα οποία ονομάζονται πλάνα (shots), έτσι ώστε να μπορούμε να την χειριστούμε καλύτερα. Τέλος θα πρέπει να εξάγουμε ένα σύνολο εικόνων (καρέ) του βίντεο με τις οποίες θα μπορούμε να πάρουμε μια συνοπτική άποψη του περιεχομένου του βίντεο. Τα καρέ αυτά ονομάζονται χαρακτηριστικά ή αντιπροσωπευτικά καρέ (keyframes or representative frames). Στα πλαίσια της παρούσας εργασίας μελετάται το κάθε ένα από τα απαραίτητα βήματα προκειμένου να υλοποιηθεί ένα σύστημα δημιουργίας περιλήψεων από ακολουθίες βίντεο στο συμπιεσμένο πεδίο. Αφού εξηγηθεί η διαδικασία εξαγωγής των 10

11 χαρακτηριστικών (feature extraction), η οποία πραγματοποιείται απευθείας στο συμπιεσμένο πεδίο, στην συνέχεια αναλύονται τα άλλα δύο βήματα που θα πρέπει να υλοποιηθούν, δηλαδή η ανίχνευση πλάνων (shot detection) και η εξαγωγή χαρακτηριστικών καρέ (keyframe extraction). Κατά την ανάπτυξη του κάθε ενός από αυτά τα βήματα αναφέρονται και σχολιάζονται αρχικά οι κυριότερες μέθοδοι που έχουν προταθεί για να το φέρουν εις πέρας. Στην συνέχεια παρατίθεται αναλυτικά η μέθοδος που ακολουθήθηκε στην παρούσα εργασία προκειμένου να υλοποιηθεί το κάθε ένα από αυτά. Ακολουθούν τα αποτελέσματα των πειραμάτων που διεξήχθησαν με σκοπό την αξιολόγηση των υλοποιημένων μεθόδων, και παρατίθενται εκτενής σχολιασμός των αποτελεσμάτων αυτών. 1.3 Εργασία στο Ασυμπίεστο Vs. Εργασία στο Συμπιεσμένο πεδίο Η επεξεργασία μιας ακολουθίας βίντεο προκειμένου να εξαχθεί από αυτήν μια περίληψη μπορεί να υλοποιηθεί τόσο σε ασυμπίεστο βίντεο όσο και σε βίντεο συμπιεσμένης μορφής. Η κάθε μια από αυτές τις μορφές επεξεργασίας έχει τα πλεονεκτήματα και τα μειονεκτήματά της τα οποία την καθιστούν κατάλληλη για μια συγκεκριμένη εφαρμογή. Τα κυριότερα πλεονεκτήματα της επεξεργασίας στο ασυμπίεστο πεδίο είναι: Καλύτερα αποτελέσματα. Οι μέθοδοι επεξεργασίας στο ασυμπίεστο πεδίο δίνουν γενικά καλύτερα αποτελέσματα αφού η επεξεργασία γίνεται χωρίς να έχει χαθεί μέρος της πληροφορίας του βίντεο ως αποτέλεσμα της συμπίεσης. Ευκολότερη εξαγωγή των χαρακτηριστικών (feature extraction). Σε ένα βίντεο ασυμπίεστης μορφής η εξαγωγή των χαρακτηριστικών (features) τα οποία θα χρησιμοποιήσουμε κατά την επεξεργασία του βίντεο γίνεται ευκολότερα από ότι η εξαγωγή των χαρακτηριστικών απευθείας από την συμπιεσμένη μορφή. Αυτό συμβαίνει διότι η εξαγωγή χαρακτηριστικών 11

12 απευθείας από το συμπιεσμένο βίντεο προϋποθέτει την πλήρη γνώση του προτύπου που έχει χρησιμοποιηθεί για την συμπίεση ( π.χ. MPEG-1-2, MPEG-4 κτλ.) και την χρήση κατάλληλων συναρτήσεων που θα εντοπίζουν και θα εξάγουν τα χαρακτηριστικά από το συμπιεσμένο αρχείο. Τα πλεονεκτήματα της επεξεργασίας απευθείας στο συμπιεσμένο πεδίο είναι: Ευρεία χρήση του συμπιεσμένου βίντεο. Το ψηφιακό βίντεο συμπιεσμένης μορφής χρησιμοποιείται κατά κόρον αφού το μικρό του μέγεθος διευκολύνει σε μεγάλο βαθμό την μεταφορά και αποθήκευσή του. Για παράδειγμα ένα βίντεο ασυμπίεστης μορφής το οποίο καταλαμβάνει 1 GB αποθηκευτικού χώρου, όταν συμπιεστεί με το πρότυπο MPEG-1 καταλαμβάνει μόλις 70 ΜΒ περίπου. Ταχύτερη επεξεργασία των δεδομένων βίντεο. Ένα βίντεο συμπιεσμένης μορφής μπορούμε να το επεξεργαστούμε με μεθόδους οι οποίες έχουν αναπτυχθεί για επεξεργασία στο ασυμπίεστο πεδίο εάν προηγουμένως το αποσυμπιέσουμε. Η διαδικασία αυτή βέβαια επιφέρει σημαντική χρονική καθυστέρηση αν λάβουμε υπ όψιν ότι η βάση δεδομένων μιας εφαρμογής δημιουργίας περίληψης περιέχει ένα μεγάλο πλήθος ψηφιακού υλικού προς επεξεργασία. Δουλεύοντας λοιπόν απευθείας στο συμπιεσμένο πεδίο δεν απαιτείται αποσυμπίεση της κάθε ακολουθίας βίντεο, καθιστώντας με αυτόν τον τρόπο την επεξεργασία του συμπιεσμένου βίντεο ταχύτερη. Μικρότερη υπολογιστική ισχύς και αποθηκευτικός χώρος. Τα χαρακτηριστικά που εξάγουμε απευθείας από το συμπιεσμένο βίντεο έχουν μικρότερο μέγεθος απο αυτά που εξάγουμε στο ασυμπίεστο αφού προέρχονται από μια ακολουθία βίντεο στην οποία περιέχεται συμπιεσμένη πληροφορία. Κατά συνέπεια οι αλγόριθμοι οι οποίοι χρησιμοποιούνται για την επεξεργασία αυτών των χαρακτηριστικών επεξεργάζονται μικρότερο όγκο δεδομένων με αποτέλεσμα οι ανάγκες σε υπολογιστική ισχύ αλλά και αποθηκευτικό χώρο να είναι μικρότερες. 12

13 Είναι φανερό ότι για πρακτικές εφαρμογές στις οποίες έχουμε να επεξεργαστούμε μεγάλο όγκο ψηφιακού υλικού βίντεο (το οποίο συνήθως είναι σε συμπιεσμένη μορφή), όπως αυτές που αναφέρθησαν στην Παράγραφο 1.1, τα πλεονεκτήματα που προσφέρει η επεξεργασία απευθείας στο συμπιεσμένο πεδίο είναι πολύ σημαντικά. Η ταχύτητα επεξεργασίας και οι χαμηλές απαιτήσεις σε υπολογιστική ισχύ και αποθηκευτικό χώρο σε σχέση με την επεξεργασία ασυμπίεστου βίντεο είναι χαρακτηριστικά τα οποία μπορούν να καταστήσουν λειτουργική και εύχρηστη μια εφαρμογή αυτόματης εξαγωγής περιλήψεων από ακολουθίες βίντεο στο συμπιεσμένο πεδίο. Λαμβάνοντας υπ όψιν τα πλεονεκτήματα που αναπτύχθηκαν παραπάνω, στην παρούσα εργασία επιλέξαμε να εργαστούμε απευθείας στο συμπιεσμένο πεδίο και συγκεκριμένα το πρότυπο συμπίεσης με το όποιο έχουν συμπιεστεί οι ακολουθίες βίντεο που θα χρησιμοποιήσουμε είναι το MPEG Οργάνωση της Εργασίας Για να δημιουργηθεί αυτόματα μια περίληψη από μια ακολουθία βίντεο, θα πρέπει να υλοποιηθεί ένα σύνολο βημάτων προκειμένου να εξάγουμε κάποια στοιχεία από το βίντεο και να τα επεξεργαστούμε κατάλληλα ώστε να καταλήξουμε σε ένα σύνολο στοιχείων που θα συνοψίζουν νοηματικά το περιεχόμενο της κάθε ακολουθίας. Το κάθε ένα από τα κεφάλαια της εργασίας (εκτός το από το Κεφάλαιο 2, στο οποίο εξηγείται το πρότυπο συμπίεσης MPEG και το Κεφάλαιο 6 που περιγράφει πως υλοποιήθηκε πρακτικά το σύστημα) είναι αφιερωμένο σε ένα από τα βήματα τα οποία θα πρέπει να ακολουθηθούν προκειμένου να υλοποιηθεί ένα σύστημα δημιουργίας περιλήψεων από ακολουθίες βίντεο. Η οργάνωση του υπόλοιπου της εργασίας έχει ως εξής: Κεφάλαιο 2. Το Πρότυπο Συμπίεσης MPEG Σε αυτό το κεφάλαιο εξηγείται ο τρόπος με τον οποίο κωδικοποιείται μια ακολουθία βίντεο σύμφωνα με το πρότυπο συμπίεσης MPEG. Η γνώση της δομής του προτύπου συμπίεσης στο οποίο θα εργαστούμε, είναι απαραίτητη όταν θέλουμε να εργαστούμε απευθείας στο συμπιεσμένο πεδίο. Και αυτό διότι εφόσον θέλουμε να 13

14 εξάγουμε τα χαρακτηριστικά τα οποία θα επεξεργαστούμε απευθείας από την δομή του συμπιεσμένου αρχείου, θα πρέπει να γνωρίζουμε τον τρόπο με τον οποίο αναπαριστάται μια ακολουθία βίντεο όταν συμπιεστεί με κάποιο συγκεκριμένο πρότυπο. Κεφάλαιο 3. Εξαγωγή Χαρακτηριστικών (Feature Extraction) Στο κεφάλαιο αυτό περιγράφεται η διαδικασία εξαγωγής των χαρακτηριστικών. Το πρώτο βήμα το οποίο πρέπει να υλοποιηθεί κατά την διαδικασία δημιουργίας περίληψης είναι η εξαγωγή από την ακολουθία βίντεο ενός συνόλου στοιχείων τα οποία θα χρησιμοποιηθούν ως χαρακτηριστικά (features) και τα οποία θα επεξεργαστούμε προκειμένου να εξαχθεί η περίληψη από το βίντεο. Από τα χαρακτηριστικά αυτά θα πρέπει να μπορούμε μετά από κατάλληλη επεξεργασία να βγάλουμε συμπεράσματα για το περιεχόμενο του κάθε καρέ αλλά και για την ομοιότητα μεταξύ των καρέ από τα οποία αποτελείται μια ακολουθία βίντεο ώστε να είναι δυνατόν να συνοψίσουμε το περιεχόμενο του βίντεο με ένα σύνολο αντιπροσωπευτικών καρέ. Τα χαρακτηριστικά που μπορούμε να χρησιμοποιήσουμε μπορεί να είναι χαμηλού επιπέδου (low level features) όπως για παράδειγμα το χρώμα (color), το σχήμα (shape), η υφή (texture) κ.α. ή υψηλού επιπέδου (high level features) τα οποία χειρίζονται το κάθε καρέ με χρήση σημασιολογικών (semantics) περιγραφέων. Στην παρούσα εργασία χρησιμοποιούμε δύο χαρακτηριστικά. Το βασικό μας χαρακτηριστικό είναι ένα χαρακτηριστικό έντασης στο συμπιεσμένο πεδίο, το ιστόγραμμα DC συνιστωσών (DC histogram). Επιπροσθέτως θέλοντας να εκμεταλλευτούμε την πληροφορία κίνησης που μας δίνει η συμπίεση με το πρότυπο MPEG χρησιμοποιούμε ένα χαρακτηριστικό κίνησης, την διακύμανση της έντασης κίνησης (motion intensity variance). Η χρήση του χαρακτηριστικού αυτού γίνεται προκειμένου να βελτιστοποιηθεί η διαδικασία εξαγωγής χαρακτηριστικών καρέ. Κεφάλαιο 4. Ανίχνευση Πλάνων (Shot Detection) Σε αυτό το κεφάλαιο παρουσιάζεται αναλυτικά η διαδικασία ανίχνευσης πλάνων. Με την διαδικασία της ανίχνευσης πλάνων χωρίζουμε την ακολουθία βίντεο σε μικρότερες μονάδες (units) οι οποίες ονομάζονται πλάνα (shots). Με τον τρόπο αυτό μπορούμε να εκμεταλλευτούμε την χρονική συσχέτιση που υπάρχει μεταξύ των καρέ από τα οποία αποτελείται ένα πλάνο αλλά και την νοηματική συσχέτιση που υπάρχει μεταξύ γειτονικών πλάνων. Ένα ακόμη πλεονέκτημα που προσφέρει ο κερματισμός της 14

15 ακολουθίας βίντεο σε πλάνα είναι ότι προκύπτουν μικρότερες μονάδες βίντεο τις οποίες μπορούμε να χειριστούμε ευκολότερα και χωρίς να υπερφορτώσουμε το υπολογιστικό μας σύστημα. Κεφάλαιο 5. Εξαγωγή Χαρακτηριστικών Καρέ (Keyframe Extraction) Το τελευταίο βήμα στην διαδικασία της εξαγωγής περίληψης από ακολουθίες βίντεο είναι η εξαγωγή του συνόλου των χαρακτηριστικών καρέ τα οποία θα δίνουν μια περιεκτική εικόνα του νοήματος του βίντεο. Κατά καιρούς έχουν αναπτυχθεί διάφορες μέθοδοι με τις οποίες μπορούμε να εκμεταλλευτούμε τις ομοιότητες (ή διαφορές) που υπάρχουν στα καρέ μιας ακολουθίας βίντεο έτσι ώστε να οδηγηθούμε σε ένα μικρό σύνολο καρέ τα οποία θα αποτελούν μια περίληψη του βίντεο. Στο Κεφάλαιο 5 αναφέρουμε τα βασικά χαρακτηριστικά για τις κυριότερες από αυτές τις μεθόδους. Στην συνέχεια του κεφαλαίου περιγράφεται η μέθοδος που υλοποιήθηκε στην παρούσα εργασία προκειμένου να εξάγουμε τα χαρακτηριστικά καρέ τα οποία θα συνοψίζουν το περιεχόμενο της κάθε ακολουθίας βίντεο. Η μέθοδος που υλοποιήσαμε χωρίζει το τμήμα της ακολουθίας βίντεο που επεξεργαζόμαστε σε μικρές μονάδες και μέσω μιας επαναληπτικής διαδικασίας απορρίπτει καρέ που παρουσιάζουν ομοιότητα με άλλα, έτσι ώστε να καταλήξουμε σε ένα μικρό σύνολο χαρακτηριστικών καρέ που θα συνοψίζουν το περιεχόμενο του συγκεκριμένου τμήματος της ακολουθίας βίντεο. Επιπλέον εκμεταλλευόμαστε την πληροφορία που μας δίνει το χαρακτηριστικό κίνησης (motion feature) το οποίο έχουμε υπολογίσει κατά την διαδικασία εξαγωγής χαρακτηριστικών, με σκοπό να βελτιώσουμε ακόμη περισσότερο την αποδοτικότητα της εφαρμογής μας. Κεφάλαιο 6. Υλοποίηση του Συστήματος Δημιουργίας Περιλήψεων από Ακολουθίες Βίντεο στο Συμπιεσμένο Πεδίο Στο τελευταίο κεφάλαιο περιγράφεται το πώς έγινε η υλοποίηση των μεθόδων που αναφέρθηκαν στα προηγούμενα κεφάλαια σε πρακτικό επίπεδο. Σχολιάζεται ακόμη η ταχύτητα εξαγωγής αποτελεσμάτων του συστήματός μας. 15

16 16

17 ΚΕΦΑΛΑΙΟ 2 Tο Πρότυπο Συμπίεσης MPEG 2.1 Εισαγωγή Στο κεφάλαιο αυτό θα αναλυθεί διεξοδικά η δομή του προτύπου συμπίεσης MPEG-1-2. Η πλήρης κατανόηση της δομής του προτύπου με το οποίο είναι συμπιεσμένα τα βίντεο τα οποία θέλουμε να επεξεργαστούμε είναι απαραίτητη όταν θέλουμε να εργαστούμε απευθείας στο συμπιεσμένο πεδίο. Και αυτό διότι τα χαρακτηριστικά (features) τα οποία χρειαζόμαστε για την επεξεργασία που ακολουθεί 17

18 στην συνέχεια, τα εξάγουμε απευθείας από την δομή της συμπιεσμένης ακολουθίας βίντεο. Το πρότυπο συμπίεσης MPEG πήρε το όνομά του από τα αρχικά του Moving Picture Experts Group, μιας επιτροπής η οποία συγκροτήθηκε το 1988 από τον ISO (International Organization for Standardization) με σκοπό την ανάπτυξη ενός διεθνούς προτύπου για την κωδικοποίηση ακολουθιών βίντεο. Το πρώτο πρότυπο MPEG που αναπτύχθηκε για την συμπίεση ακολουθιών βίντεο ήταν το ΜPEG-1 στο οποίο και βασίστηκαν τα επόμενα (MPEG-2-3-4). Τα δύο πρώτα πρότυπα MPEG-1 και MPEG-2 είναι από τα πλέον διαδεδομένα πρότυπα που χρησιμοποιούνται για την συμπίεση ακολουθιών βίντεο. Κάθε ένα από αυτά καλύπτει διαφορετικές προδιαγραφές. Η κωδικοποίηση με το πρότυπο MPEG-1 παρέχει τυπικούς ρυθμούς μετάδοσης έως 1.5 Mbps (1.25 Mbps video 352 x 240 x 30 Hz, 250 Mbps audio - 2 κανάλια), δεν υποστηρίζει interlanced video και είναι βελτιστοποιημένο για αποθήκευση σε κοινούς οπτικούς δίσκους CD-ROMs και για αναπαραγωγή σε συνήθη υπολογιστικά συστήματα. Το πρότυπο MPEG-2 παρέχει υψηλότερο ρυθμό μετάδοσης (έως 40 Μbps), υποστήριξη για έως 5 κανάλια ήχου (surround sound), μεγαλύτερα μεγέθη καρέ (π.χ. για HDTV) και μπορεί να χειριστεί interlanced video. Τα πρότυπα MPEG-1-2 υλοποιούνται σε 4 μέρη-επίπεδα: Μέρος 1 - Σύστημα (Systems) Στο επίπεδο αυτό ορίζεται μια δομή πολυπλεξίας με σκοπό την συγχρονισμένη αναπαραγωγή των δεδομένων εικόνας και ήχου. Μέρος 2 - Βίντεο (Video) Στο επίπεδο αυτό καθορίζεται ο τρόπος κωδικοποιημένης αναπαράστασης των δεδομένων εικόνας-βίντεο καθώς και η διαδικασία αποσυμπίεσης και επαναδόμησης των εικόνων της ακολουθίας βίντεο. Μέρος 3 - Ήχος (Αudio) Στο επίπεδο αυτό καθορίζεται ο τρόπος κωδικοποιημένης αναπαράστασης των δεδομένων ήχου. 18

19 Μέρος 4 - Έλεγχος Συμβατότητας (Compliance Test) Στο επίπεδο αυτό καθορίζεται ο τρόπος με τον οποίο μπορούν να σχεδιαστούν tests με τα οποία να μπορεί να ελεγχθεί εάν ένα bitstream ή ένας αποκωδικοποιητής πλήρει τις προδιαγραφές που καθορίζονται στα Μέρη Στην παρούσα εργασία υλοποιείται ένα σύστημα εξαγωγής περιλήψεων από ακολουθίες βίντεο το οποίο στηρίζεται στην εξαγωγή χαρακτηριστικών μόνο από τα δεδομένα εικόνας (όχι ήχος) μιας ακολουθίας βίντεο. Στην συνέχεια λοιπόν παρουσιάζεται η βασική δομή αναπαράστασης των δεδομένων εικόνας που υλοποιείται στα πρότυπα MPEG Ιεραρχική Δομή του Video Stream Όπως μπορούμε να δούμε και στο Σχ. 2.1 η δομή με την οποία αναπαριστάται μια ακολουθία εικόνων-βίντεο (video data stream) η οποία είναι συμπιεσμένη με το πρότυπο MPEG-1-2 αποτελείται από 4 επίπεδα: Ομάδες Εικόνων (Group Of Pictures - GOPs), Τμήματα (Slices), Macroblocks και Blocks. Σχ. 2.1 : Ιεραρχική δομή του video stream στο πρότυπο συμπίεσης MPEG

20 Ακολουθία Βίντεο (Video Sequence) Η ακολουθία βίντεο ξεκινάει με μια επικεφαλίδα ακολουθίας (sequence header), η οποία μπορεί να περιέχει μία ή περισσότερες επικεφαλίδες με επιπλέον πληροφορίες. Το κυρίως σώμα μιας ακολουθίας βίντεο περιέχει μία ή περισσότερες Ομάδες από Εικόνες (GOPs). Μια ακολουθία βίντεο τελειώνει με έναν συγκεκριμένο κώδικα τέλους-ακολουθίας. Oμάδες από Εικόνες (Groups Of Pictures) Αποτελούνται από μια επικεφαλίδα (GOP header) και από ένα σύνολο εικόνων. Με την δομή αυτή διασφαλίζεται η τυχαία προσπέλαση στην ακολουθία βίντεο. Εικόνα (Picture) Η αρχική μονάδα κωδικοποίησης μιας ακολουθίας βίντεο. Μια Εικόνα συγκροτείται από τρείς πίνακες. Ο ένας αναπαριστά την φωτεινότητα (luminance) Υ και οι άλλοι δύο τις συνιστώσες χρωματικότητας Cb και Cr. Ο πίνακας Υ αποτελείται από άρτιο αριθμό γραμμών και στηλών. Οι πίνακες που αναπαριστούν τις Cb και Cr έχουν τις μισές διαστάσεις οριζοντίως και καθέτως, από τον πίνακα Υ. Τμήμα (Slice) Αποτελείται από ένα ή περισσότερα συνεχόμενα Macroblock. Η διάταξη των Macroblock σε ένα Τμήμα γίνεται από τα αριστερά προς τα δεξιά και από πάνω προς τα κάτω. Τα Τμήματα παίζουν σημαντικό ρόλο στον χειρισμό σφαλμάτων. Εάν σε κάποιο σημείο μιας ακολουθίας bit αναγνωριστεί κάποιο σφάλμα ο αποκωδικοποιητής προχωράει στο επόμενο Τμήμα. Γίνεται λοιπόν κατανοητό ότι όσο περισσότερα είναι τα Τμήματα τόσο καλύτερα αντιμετωπίζονται τα σφάλματα σε μια ακολουθία βίντεο. Βέβαια με την χρήση πολλών Τμημάτων χρησιμοποιούνται περισσότερα bit τα οποία θα μπορούσαν να χρησιμοποιηθούν για την βελτίωση της ποιότητας της εικόνας. Macroblock. Είναι η βασική μονάδα κωδικοποίησης του αλγορίθμου MPEG. Πρόκειται για ένα τμήμα ενός καρέ, με μέγεθος 16x16 εικονοστοιχεία. Κάθε Macroblock 20

21 αποτελείται από τέσσερα Βlock φωτεινότητας Y, και δύο χρωματικότητας, ένα για την συνιστώσα Cb και ένα για την συνιστώσα Cr. Βlock Είναι η μικρότερη μονάδα κωδικοποίησης του αλγορίθμου MPEG. Αποτελείται από 8x8 εικονοστοιχεία και μπορεί να είναι ενός από τους τρεις τύπους: φωτεινότητας (Υ), χρωματικότητας κόκκινου (Cr), χρωματικότητας μπλε (Cb). Το Βlock είναι η βασική μονάδα στην κωδικοποίηση των Intra Frames όπως θα δούμε στην συνέχεια. 2.3 Τύποι Εικόνων στο Πρότυπο MPEG Στο πρότυπο ΜPEG ορίζονται τρία είδη εικόνων: 1. Intra Frames ( I - Frames ) 2. Predicted Frames ( P - Frames ) 3. Bidirectional Frames ( B - Frames ) Αυτά τα τρία είδη εικόνων συνδυάζονται και σχηματίζουν ομάδες εικόνων (GOPs). I - Frames Τα I - Frames κωδικοποιούνται με χρήση της πληροφορίας που υπάρχει στην εικόνα καθαυτή, και παρέχουν εν δυνάμει σημεία τυχαίας προσπέλασης στα κωδικοποιημένα δεδομένα βίντεο. Γίνεται χρήση μόνο κωδικοποίησης μετασχηματισμού και παρέχεται μεταβλητός βαθμός συμπίεσης. Συνήθης βαθμός συμπίεσης είναι περίπου 2 bits ανά κωδικοποιημένο εικονοστοιχείο. P - Frames Στα P - Frames επιτυγχάνεται μεγαλύτερη συμπίεση χρησιμοποιώντας την τεχνική της προς τα εμπρός πρόβλεψης (forward prediction) η οποία φαίνεται στο 21

22 Σχ Τα P - frames κωδικοποιούνται με βάση το αμέσως προηγούμενο Ι - ή Ρ - Frame. Με χρήση της εκτίμησης και αντιστάθμισης κίνησης (motion estimation and compensation) με βάση το προηγούμενο I - Frame ή P - Frame, επιτυγχάνεται μεγαλύτερη συμπίεση από ότι στα Ι- Frames. Όπως τα Ι - Frames έτσι και τα P - Frames χρησιμοποιούνται ως καρέ αναφοράς για τα μελλοντικά P - Frames καθώς και για τα B - Frames. Β - Frames Τα B - Frames (Bidirectional Frames) είναι καρέ τα οποία βασίζονται τόσο σε προηγούμενα όσο και σε μελλοντικά καρέ αναφοράς προκειμένου να πραγματοποιηθεί η κωδικοποίησή τους με μια τεχνική η οποία είναι γνωστή ως πρόβλεψη και προς τις δύο κατευθύνσεις. Με την τεχνική αυτή επιτυγχάνεται ο μεγαλύτερος βαθμός συμπίεσης αφού η διαδικασία της εκτίμησης και αντιστάθμισης κίνησης πραγματοποιείται τόσο με προηγούμενα όσο και μελλοντικά καρέ. To μειονέκτημα της τεχνικής αυτής βέβαια είναι ότι ο υπολογιστικός χρόνος που απαιτείται για την κωδικοποίηση ενός Β - Frame είναι μεγαλύτερος. Σχ. 2.2 : Η τεχνικές της προς τα εμπρός πρόβλεψης (forward prediction) και της πρόβλεψης διπλής κατεύθυνσης (bidirectional prediction). 22

23 2.4 Mέθοδοι Κωδικοποίησης Εικόνων. Intra - Frames Σχ. 2.3 : Τα βήματα που ακολουθεί το πρότυπο MPEG κατά την συμπίεση των Intra - Frames. Τα βήματα που ακολουθεί ο αλγόριθμος κωδικοποίησης MPEG για τα I - Frames είναι: 1. Διακριτός Μετασχηματισμός Συνημιτονου ( DCT ) 2. Kβάντιση 3. Run-length κωδικοποίηση Τόσο στα Block εικόνας όσο και στα Block πρόβλεψης-σφάλματος υπάρχει μεγάλος πλεονασμός στο χωρικό πεδίο. Προκειμένου να περιοριστεί αυτός ο πλεονασμός πραγματοποιείται μετασχηματισμός σε Block των 8 x 8 εικονοστοιχείων ή των 8 x 8 όρων σφάλματος, από το χωρικό πεδίο στο πεδίο της συχνότητας, με χρήση του διακριτού μετασχηματισμού συνημιτόνου (DCT). Η εφαρμογή του DCT σε συνδυασμό με την κβάντιση έχει ως αποτέλεσμα να προκύψουν πολλές συνιστώσες συχνότητας ίσες με το μηδέν, και ειδικότερα οι συνιστώσες υψηλών συχνοτήτων. Προκειμένου να εκμεταλλευτούμε την ύπαρξη πολλών μηδενικών όρων οργανώνουμε τις συνιστώσες σε zig-zag διάταξη, έτσι ώστε να προκύψουν μεγάλες σειρές 23

24 συνεχόμενων μηδενικών. Στην συνέχεια σχηματίζουμε με τις συνιστώσες ζεύγη, με το κάθε ζεύγος να επισημαίνει έναν αριθμό συνιστωσών μηδενικής τιμής και την τιμή μιας μη-μηδενικής συνιστώσας. Αυτά τα ζεύγη κωδικοποιούνται με χρήση κωδικοποίησης μεταβλητού-μήκους (κωδικοποίηση Huffman), με την οποία γίνεται χρήση κωδικών μικρότερου μεγέθους για ζεύγη που εμφανίζονται συχνότερα και κωδικών μεγαλύτερου μεγέθους για ζεύγη που εμφανίζονται σπανιότερα. Για κάποια Βlock εικονοστοιχείων υπάρχει ανάγκη κωδικοποίησης με μεγαλύτερη ακρίβεια από κάποια άλλα. Για παράδειγμα τα Βlock τα οποία έχουν πολύ ομαλές παραγώγους έντασης χρειάζονται κωδικοποίηση με μεγαλύτερη ακρίβεια προκειμένου να αποφευχθεί το να φαίνονται τα όρια του Βlock κατά την αναπαραγωγή του βίντεο. Για τον λόγο αυτό ο αλγόριθμος MPEG προσφέρει μεταβλητό βαθμό κβάντισης για το κάθε Μacroblock. Με αυτόν τον τρόπο καθίσταται επίσης δυνατή η ομαλή προσαρμογή σε συγκεκριμένο bit-rate. Predicted Frames Σχ. 2.4 : Η διαδικασία κωδικοποίησης ενός P - Frame. 24

25 Eνα P - Frame κωδικοποιείται χρησιμοποιώντας ως καρέ αναφοράς ένα προηγούμενο καρέ (Ι - ή P - Frame). Όπως μπορούμε να δούμε και στo Σχ. 2.4, το επισημασμένο Block στην προς κωδικοποίηση εικόνα είναι παρόμοιο με αυτό της εικόνας αναφοράς (η οποία χρησιμοποιείται για την πρόβλεψη) με την διαφορά ότι είναι μετατοπισμένο πάνω και δεξιά. Οι περισσότερες διαφορές μεταξύ της προς κωδικοποίησης εικόνας και της εικόνας αναφοράς μπορούν να προσεγγιστούν ως μετατοπίσεις μικρών περιοχών της εικόνας. Προκειμένου λοιπόν να εκμεταλλευτούμε τον χρονικό πλεονασμό που υπάρχει μεταξύ γειτονικών εικόνων γίνεται χρήση μια τεχνικής γνωστής ως αντιστάθμιση κίνησης. Λόγω του ότι σε δυο γειτονικές εικόνες υπάρχει ισχυρή χρονική συσχέτιση είναι δυνατόν να αναπαραστήσουμε (ή όπως αναφέρεται συχνά προβλέψουμε ) με ακρίβεια τα δεδομένα μιας εικόνας με βάση μια εικόνα αναφοράς, υπολογίζοντας την μετατόπιση των περιοχών που έχει λάβει μέρος από την μια εικόνα στην άλλη. Στα P - Frames κάθε 16 x 16 Macroblock προκύπτει μέσω της διαδικασίας της πρόβλεψης από ένα Macroblock ενός προηγούμενου Ι -Frame. Αφού τα καρέ είναι στιγμιαίες απεικονίσεις στο χρόνο κάποιον κινούμενων αντικειμένων, τα Μacroblocks στα δύο αυτά καρέ δεν θα συμπίπτουν στην ίδια χωρική θέση. Έτσι πραγματοποιείται μια έρευνα στο Ι - Frame ώστε να βρεθεί το Macroblock το οποίο ταιριάζει καλύτερα με το Macroblock στο P - Frame. Η διαφορά μεταξύ των δύο Macroblock ονομάζεται σφάλμα πρόβλεψης. Αυτό το σφάλμα μπορεί να κωδικοποιηθεί εάν το μετασχηματίσουμε στο πεδίο της συχνότητας με την χρήση του διακριτού μετασχηματισμού συνημιτόνου (DCT). Με την εφαρμογή του μετασχηματισμού προκύπτει ένας μικρός αριθμός συχνοτικών συνιστωσών, οι οποίες μετά και την διαδικασία της κβάντισης απαιτούν έναν μικρό αριθμό από bits για την αναπαράστασή τους. Οι πίνακες κβάντισης που χρησιμοποιούνται για το σφάλμα πρόβλεψης είναι διαφορετικοί από αυτούς που χρησιμοποιούνται κατά την κωδικοποίηση των Block στα Intra-Frames λόγω της διακριτή φύσης του συχνοτικού τους φάσματος. Οι μεταβολές στην οριζόντια και την κάθετη διεύθυνση του Μacroblock που ταιριάζει καλύτερα με το υπό θεώρηση Μacroblock διαμορφώνουν αυτά που ονομάζονται διανύσματα κίνησης (motion vectors). Κατόπιν γίνεται χρήση διαφορικής κωδικοποίησης, γιατί με την κωδικοποίηση της διαφοράς μεταξύ των διανυσμάτων κίνησης διαδοχικών καρέ μειώνεται το πλήθος των bits που χρειάζονται για την μετάδοση. Στην συνέχεια 25

26 χρησιμοποιούμε run-length και Huffman κωδικοποίηση για να ολοκληρωθεί η κωδικοποίηση των δεδομένων. Biderectional Pictures Σε ορισμένες περιπτώσεις υπάρχει περίπτωση στην εικόνα που θέλουμε να κωδικοποιήσουμε να υπάρχει πληροφορία η οποία δεν υπάρχει στην εικόνα αναφοράς που χρησιμοποιείται για την πρόβλεψη. Τα B - Frames λοιπόν είναι εικόνες κωδικοποιημένες όπως και τα Ρ - Frames, μόνο που σε αυτή την περίπτωση τα διανύσματα κίνησης μπορούν να χρησιμοποιούν ως αναφορά είτε την προηγούμενη εικόνα είτε την επόμενη εικόνα είτε και τις δύο. Ο μηχανισμός κωδικοποίησης ενός Β - Frame φαίνεται στo Σχ. 2.5 Σχ. 2.5 : Η διαδικασία κωδικοποίησης ενός Β - Frame. 26

27 Ένα σημαντικό σημείο το οποίο αφορά την δομή κατά το πρότυπο συμπίεσης MPEG-1-2 είναι ότι υπάρχει διαφορά στην διάταξη των καρέ κατά την αναπαραγωγή ενός συμπιεσμένου αρχείου MPEG, από την διάταξη των καρέ κατά την μετάδοση ή αποθήκευση των καρέ. Συγκεκριμένα όπως αναφέραμε προηγουμένως, κατά την κωδικοποίηση ενός Β - Frame γίνεται χρήση πληροφορίας τόσο από το προηγούμενο όσο και από το επόμενο καρέ. Για τον λόγο αυτό για να είναι δυνατή η αποκωδικοποίηση ενός B - Frame θα πρέπει να έχει προηγηθεί η αποκωδικοποίηση του προηγούμενου αλλά και του επόμενο από αυτό καρέ. Συνεπώς η διάταξη κατά την μετάδοση ή αποθήκευση για το κάθε Β - Frame είναι μετά το προηγούμενο αλλά και μετά από το επόμενο καρέ από αυτό. Για παράδειγμα αν η σειρά αναπαραγωγής μιας ακολουθίας πλαισίων είναι: Ι Ρ Β Β Ρ Ρ Ρ Ι Ρ Β Ρ Ι τότε η σειρά μετάδοσης ή αποθήκευσης πρέπει να είναι: Ι Ρ Ρ Β Β Ρ Ρ Ι Β Ρ Ρ Ι 27

28 28

29 ΚΕΦΑΛΑΙΟ 3 Εξαγωγή Χαρακτηριστικών (Feature Extraction) 3.1 Εισαγωγή Το πρώτο βήμα που θα πρέπει να ακολουθηθεί σε μια διαδικασία δημιουργίας περίληψης από ακολουθία βίντεο είναι να εξάγουμε ένα σύνολο χαρακτηριστικών (features). Τα χαρακτηριστικά αυτά θα πρέπει να περιέχουν την απαραίτητη πληροφορία ώστε μετά από κατάλληλη επεξεργασία να είναι δυνατόν να εξαχθούν τα 29

30 στοιχεία που θα χρησιμοποιήσουμε για την δημιουργία της περίληψης του περιεχομένου του βίντεο. Τα χαρακτηριστικά που μπορούμε να εξάγουμε από μια ακολουθία βίντεο μπορεί να είναι είτε χαμηλού επιπέδου (low level features) π.χ. χαρακτηριστικά έντασης-χρώματος (intensity-color features), σχήματος (shape features), υφής (texture) κ.α. είτε υψηλού επιπέδου (high level features) π.χ. περιγραφείς δράσης καρέ (frame action descriptors), περιγραφείς αντικειμένων (object descriptors) κ.α. Οι εφαρμογές δημιουργίας περιλήψεων από ακολουθίες βίντεο οι οποίες στηρίζονται σε χαρακτηριστικά χαμηλού επιπέδου είναι συνήθως απλές υπολογιστικά, με αποτέλεσμα να δίνουν ταχύτερα αποτελέσματα και να είναι κατάλληλες για γενικής χρήσης εφαρμογές και επίσης για real-time και online υλοποιήσεις. Από την άλλη οι εφαρμογές οι οποίες στηρίζονται σε υψηλού επιπέδου χαρακτηριστικά απαιτούν μεγαλύτερο χρόνο επεξεργασίας και πολλές φορές χρησιμοποιούν σχετικά πολύπλοκα υπολογιστικά μοντέλα προκειμένου να εξάγουν την σημασιολογικού περιεχομένου πληροφορία από τα καρέ του βίντεο. Αυτές οι ιδιαίτερες απαιτήσεις καθιστούν τα χαρακτηριστικά υψηλού επιπέδου κατάλληλα για χρήση σε εφαρμογές ειδικού περιεχομένου όπως για παράδειγμα σε εφαρμογές που ενδιαφερόμαστε ιδιαίτερα για συγκεκριμένα αντικείμενα π.χ. πρόσωπα, οχήματα κτλ. Στην παρούσα εργασία θα εξάγουμε δύο χαμηλού επιπέδου χαρακτηριστικά απευθείας από την συμπιεσμένη μορφή της ακολουθίας βίντεο. Το πρώτο χαρακτηριστικό είναι ένα χαρακτηριστικό έντασης (intensity feature) στο συμπιεσμένο πεδίο γνωστό ως ιστόγραμμα DC συνιστωσών [1]. Το δεύτερο είναι ένα χαρακτηριστικό κίνησης (motion feature) γνωστό ως διακύμανση της έντασης κίνησης (motion intensity variance) [1], με την βοήθεια του οποίου εκμεταλλευόμαστε την πληροφορίας κίνησης που υπάρχει στις κατά MPEG συμπιεσμένες ακολουθίες. 3.2 Το Ιστόγραμμα DC Συνιστωσών (DC Histogram) Κατά την συμπίεση με το πρότυπο MPEG-1-2, η κωδικοποίηση των intra-coded καρέ γίνεται διαιρώντας το κάθε καρέ σε Βlock των 8 x 8 εικονοστοιχείων και 30

31 εφαρμόζοντας τον Διακριτό Μετασχηματισμό Συνημιτόνου (DCT) σε κάθε ένα από αυτά τα Βlock. Με αυτόν τον τρόπο προκύπτουν για το κάθε Βlock 64 DCT συνιστώσες που αναπαριστούν το περιεχόμενό του στο πεδίο της συχνότητας. Η πρώτη συνιστώσα ονομάζεται DC συνιστώσα και αντιπροσωπεύει την μέση τιμή της έντασης στο Βlock. Οι 63 AC συνιστώσες που ακολουθούν αντιπροσωπεύουν τις απότομες αλλαγές οι οποίες συμβαίνουν κατά ύψος και κατά πλάτος στο κάθε Βlock. Εάν κρατήσουμε μόνο την DC συνιστώσα για το κάθε Βlock μπορούμε να σχηματίσουμε μια νέα εικόνα η οποία θα έχει διαστάσεις το 1/64 της αρχικής. Η εικόνα αυτή είναι γνωστή ως εικόνα DC συνιστωσών (DC image) και εισήχθη από τους B.L. Yeo και B. Liu [1]. Σχ. 3.1 : Σχηματισμός της εικόνας DC συνιστωσών Προκειμένου να μειώσουμε ακόμη περισσότερο το μέγεθος του χαρακτηριστικού που θα χρησιμοποιήσουμε, αντί για την DC εικόνα καθαυτή, κατασκευάζουμε το ιστόγραμμά της. Το ιστόγραμμα αυτό ονομάζεται ιστόγραμμα DC συνιστωσών (DC Histogram). 31

32 Στην παρούσα εργασία έχουμε επιλέξει να κατασκευάσουμε ένα ιστόγραμμα 64 bins καθώς με την χρήση σχετικά μικρού αριθμού bins η εφαρμογή μας θα είναι περισσότερο ανεκτική στον θόρυβο και την κίνηση της κάμερας που ενδεχομένως υπάρχει στην ακολουθία βίντεο που επεξεργαζόμαστε [6]. Θα πρέπει να επισημανθεί σε αυτό το σημείο ότι το DC ιστόγραμμα υπολογίζεται μόνο για τα I-Frames της ακολουθίας βίντεο αφού αυτό το είδος καρέ είναι intra-coded. Ακόμη λαμβάνοντας υπ όψιν ότι το ανθρώπινο μάτι είναι πιο ευαίσθητο στην ένταση του φωτός παρά στην χρωματικότητα, και στην προσπάθειά μας να μειώσουμε περισσότερο το μέγεθος του χαρακτηριστικού μας ώστε να κάνουμε ταχύτερη την εφαρμογή, χρησιμοποιούμε μόνο Βlock φωτεινότητας Y (luminance) κατά τον σχηματισμό του ιστογράμματος DC συνιστωσών. Τα βήματα που θα πρέπει να υλοποιηθούν για τον υπολογισμό του ιστογράμματος DC συνιστωσών παρατίθενται συγκεντρωτικά στην συνέχεια. Για το κάθε Ι-Frame της συμπιεσμένης ακολουθίας βίντεο: Βήμα 1 Εξαγωγή DC συνιστωσών (μια από κάθε Βlock) απευθείας από την συμπιεσμένη μορφή της ακολουθίας βίντεο. Βήμα 2 Σχηματισμός της εικόνας DC συνιστωσών. Βήμα 3 Υπολογισμός του ιστογράμματος (64-bin) για την κάθε εικόνα DC συνιστωσών. Στο Σχ. 3.2 βλέπουμε τα ιστογράμματα DC συνιστωσών για δύο καρέ μιας από τις ακολουθίες βίντεο της συλλογής μας. Όπως μπορούμε να δούμε τα ιστογράμματα DC συνιστωσών διαφέρουν αρκετά αφού αντιστοιχούν σε δύο καρέ τα οποία προέρχονται από εντελώς διαφορετικά σημεία του βίντεο. 32

33 Σχ. 3.2 : Τα ιστογράμματα DC συνιστωσών για δύο καρέ μια ακολουθίας βίντεο. 2.3 Διακύμανση της Έντασης Κίνησης (Motion Intensity Variance) Όπως είδαμε στο Κεφάλαιο 2, προκειμένου να εκμεταλλευτούμε τον πλεονασμό στην πληροφορία που υπάρχει στο πεδίο του χρόνου σε μια ακολουθία βίντεο, κατά την κωδικοποίηση MPEG υπολογίζονται τα διανύσματα κίνησης (motion vectors), τα οποία και χρησιμοποιούνται ώστε να επιτευχθεί μεγαλύτερη συμπίεση. Στην παρούσα εργασία θα εκμεταλλευτούμε την πληροφορία των κίνησης που υπάρχει σε μια ακολουθία βίντεο η οποία είναι κωδικοποιημένη με το πρότυπο MPEG με σκοπό να επιτύχουμε καλύτερα αποτελέσματα κατά την διαδικασία εξαγωγής χαρακτηριστικών καρέ από κάθε τμήμα μιας ακολουθίας βίντεο. Συγκεκριμένα θα εξάγουμε τα διανύσματα κίνησης για το κάθε Ρ - Frame και B - Frame απευθείας από την συμπιεσμένη μορφή του βίντεο και στην συνέχεια θα υπολογίσουμε ένα 33

34 χαρακτηριστικό γνωστό ως διακύμανση της έντασης κίνησης (motion intensity variance) [1]. Για το κάθε P - ή B - Frame η διακύμανση της έντασης κίνησης υπολογίζεται από τους τύπους που ακολουθούν. 1 N avg N i 1 V 1 N var Vi N i 1 i 2 avg 2 όπου avg : H μέση τιμή της έντασης κίνησης var : H διακύμανση της έντασης κίνησης V i : το i-το άνυσμα κίνησης Ν : το πλήθος των ανυσμάτων κίνησης στο καρέ Με τον υπολογισμό της διακύμανσης της έντασης κίνησης για όλα τα καρέ μιας ακολουθίας βίντεο αποκτούμε ένα μέτρο της δράσης που υπάρχει στα διάφορα τμήματα του βίντεο. Συνεπώς μπορούμε να χρησιμοποιήσουμε αυτό το χαρακτηριστικό προκειμένου να βελτιώσουμε την διαδικασία εξαγωγής χαρακτηριστικών καρέ τα οποία θα συνοψίζουν το περιεχόμενο του βίντεο. Όπου υπάρχει περισσότερη δράση στο βίντεο, θα πρέπει να εξάγονται περισσότερα χαρακτηριστικά καρέ, ενώ τα κομμάτια του βίντεο στα οποία δεν συμβαίνουν δραματικές αλλαγές μπορούν να αντιπροσωπευτούν από σχετικά λιγότερα χαρακτηριστικά καρέ. Στο Σχ. 2.4 φαίνεται τo διάγραμμα της διακύμανση της έντασης κίνησης για ένα απόσπασμα ενός από τα βίντεο της συλλογής μας. Όπως παρατηρούμε, στην αρχή του αποσπάσματος υπάρχει σχετική στατικότητα, αφού το χαρακτηριστικό μας παίρνει σχετικά μικρές τιμές. Από το καρέ 317 και μετά βλέπουμε ότι η διακύμανση της έντασης κίνησης παίρνει σχετικά μεγάλες τιμές. Αυτό σημαίνει ότι στο συγκεκριμένο τμήμα του αποσπάσματος υπάρχει κινητικότητα και συμβαίνουν γρήγορες αλλαγές στην εικόνα που παρακολουθούμε. Στην συνέχεια το χαρακτηριστικό παίρνει και πάλι σχετικά μικρές τιμές, η σκηνή που διαδραματίζεται δηλαδή αποκτάει και πάλι μια στατικότητα, ενώ μετά το καρέ 585 έχουμε και πάλι μεγάλη δράση. Στο τμήμα αυτό 34

35 του βίντεο υπάρχει πολύ μεγάλη κινητικότητα αφού όπως μπορούμε να δούμε το χαρακτηριστικό κίνησης παίρνει αρκετά μεγαλύτερες τιμές από ότι προηγουμένως. Το απόσπασμα κλείνει με χαμηλή δράση αφού η διακύμανση της έντασης κίνησης παίρνει μικρές τιμές για αρκετό χρόνο έως το τέλος της ακολουθίας. Σχ. 2.4 : Το διάγραμμα της διακύμανσης της έντασης κίνησης για ένα απόσπασμα βίντεο του δείγματός μας. 35

36 36

37 ΚΕΦΑΛΑΙΟ 4 Ανίχνευση Πλάνων (Shot Detection) 4.1 Εισαγωγή Ένα βήμα που προηγείται συνήθως της εξαγωγής χαρακτηριστικών καρέ (keyframe) από μια ακολουθία video, είναι η κατάτμηση της ακολουθίας video σε μικρότερες μονάδες η οποίες ονομάζονται πλάνα (Shots). Ως πλάνο ορίζεται ως η δομική μονάδα του βίντεο που αποτελείται από διαδοχικές κινούμενες εικόνες που 37

38 παρουσιάζουν χρονική συνέχεια [4]. Ένας άλλος ορισμός για το πλάνο [3],[5] είναι: Πλάνο είναι η καταγεγραμμένη ακολουθία από συνεχόμενα καρέ που προκύπτουν από μία συγκεκριμένη κάμερα με εγγραφή χωρίς διακοπή. Μια ομάδα πλάνων τα οποία συσχετίζονται σημασιολογικά αποτελούν μια μεγαλύτερη δομική μονάδα της ακολουθίας video η οποία ονομάζεται σκηνή (Scene) [3]. Σε μια ακολουθία video η μετάβαση από το ένα πλάνο στο επόμενο μπορεί να γίνει με διαφόρους τρόπους οι οποίοι είναι γνωστοί ως τρόποι μετάβασης από το ένα πλάνο στο επόμενο (shot transitions) [3]. Οι βασικοί τρόποι μετάβασης από το ένα πλάνο στο επόμενο είναι: Cut : Πρόκειται για την πιο απότομη μετάβαση (τομή), η οποία πραγματοποιείται σε ένα μόνο καρέ, αφού το τελευταίο καρέ του προηγούμενου πλάνου ακολουθείται από το πρώτο καρέ του επόμενου πλάνου και η μετάβαση γίνεται αμέσως. Fade : Είναι η αργή μεταβολή στη φωτεινότητα (αύξηση ή μείωση) σε κάθε εικόνα, με αποτέλεσμα τη σταδιακή εμφάνιση (fade in) ή εξαφάνιση (fade out) του πλάνου, από ή προς μία μαύρη εικόνα αντίστοιχα. Dissolve : Η διάλυση, που μπορεί να θεωρηθεί ότι είναι ένα ταυτόχρονο fade-out και fade-in, όπως και το fade, πραγματοποιείται σε ένα σύνολο από συνεχόμενα καρέ. Συμβαίνει όταν η εικόνα του προηγούμενου πλάνου γίνεται σταδιακά πιο σκοτεινή, ενώ η εικόνα του επόμενου πλάνου σταδιακά αυξάνει σε φωτεινότητα. Wipe : Συμβαίνει όταν η εικόνα του πρώτου πλάνου κινείται με συγκεκριμένο τρόπο και σχήμα, βγαίνοντας από το καρέ και δίνοντας σταδιακά τη θέση της στην εικόνα του επόμενου πλάνου. Οι λόγοι για τους οποίους πρέπει να πραγματοποιηθεί η κατάτμηση μιας ακολουθίας video σε πλάνα είναι βασικά δυο. Ο πρώτος είναι ότι χωρίζοντας την ακολουθία video σε μικρότερες μονάδες μπορούμε να χειριστούμε και να επεξεργαστούμε ευκολότερα το video χωρίς να υπερφορτώσουμε το υπολογιστικό μας σύστημα. Μην ξεχνάμε ότι ένα απόσπασμα video μπορεί να περιλαμβάνει χιλιάδες καρέ όπου καθένα από αυτά είναι μια έγχρωμη ή ασπρόμαυρη εικόνα την οποία θα πρέπει να επεξεργαστούμε. Ο δεύτερος λόγος είναι ότι η κατάτμηση σε πλάνα μπορεί να θεωρηθεί ως ένα πρώτο βήμα στην διαδικασία της δημιουργίας περίληψης αφού από 38

39 το συνολικό video καταλήγουμε σε μικρές μονάδες που είναι τα πλάνα. Στις μονάδες αυτές υπάρχει ισχυρή χρονική συσχέτιση μεταξύ των διαδοχικών καρέ από τα οποία αποτελούνται αλλά υπάρχει και σημασιολογική συσχέτιση μεταξύ γειτονικών μονάδων. 4.2 Μέθοδοι κατάτμησης μιας ακολουθίας βίντεο σε πλάνα Υπάρχει ένα μεγάλο σύνολο μεθόδων οι οποίες έχουν αναπτυχθεί για να φέρουν εις πέρας την διαδικασία της ανίχνευσης πλάνων. Αν και οι περισσότερες από αυτές αρχικά αναπτύχθηκαν για εφαρμογή σε ασυμπίεστο βίντεο μπορούν να χρησιμοποιηθούν με κατάλληλες διαφοροποιήσεις και στο συμπιεσμένο πεδίο Διαφορές των Pixels Η πιο εύκολα υλοποιήσιμη μέθοδος για να εξετάσουμε εάν δυο καρέ διαφέρουν αρκετά ώστε να μπορούμε να πούμε ότι μεταξύ αυτών των καρέ συμβαίνει αλλαγή πλάνου είναι να μετρήσουμε το αριθμό των pixels για τα οποία η διαφορά των τιμών τους είναι πάνω από ένα ορισμένο κατώφλι. Στην συνέχεια συγκρίνουμε το πλήθος αυτών των pixel με ένα δεύτερο κατώφλι ώστε να αποφασίσουμε εάν υπάρχει αλλαγή πλάνου ή όχι. Για το κάθε pixel p(x,y) Dp i 1, ά pi ( x, y) p ( x, y) pthr 0, ώ i 1 1 To μέτρο της μεταβολής στην μέθοδο των διαφορών pixel Dp M N Dpi ( x, y) x 1 y 1 M * N pthr Προκειμένου να μειωθούν τα ανεπιθύμητα αποτελέσματα λόγω της κίνησης της κάμερας και του θορύβου μπορεί να εφαρμοστεί ένα 3x3 φίλτρο μέσης τιμής (averaging) σε κάθε καρέ της ακολουθίας video πριν ξεκινήσουμε την διαδικασία της ανίχνευσης πλάνων [6]. 2 39

40 Η μέθοδος αυτή αν και είναι εύκολη στην υλοποίησή της έχει το μειονέκτημα των δύο κατωφλίων τα οποία πρέπει να επιλεγούν με μη αυτόματο τρόπο αφού συνήθως διαφέρουν από video σε video. Συνεπώς πρέπει να εφαρμοστεί η μέθοδος σε ένα μεγάλο σύνολο video ώστε να είναι δυνατή η επιλογή βέλτιστων κατωφλίων τα οποία θα ανιχνεύουν επαρκώς τα πλάνα στα περισσότερα βίντεο Ιστογράμματα Σε αυτή την μέθοδο γίνεται χρήση ιστογραμμάτων που μπορεί να είναι είτε ιστογράμματα αποχρώσεων του γκρι, είτε ιστογράμματα στις έγχρωμες συνιστώσες. Συγκρίνοντας τις bin-wise διαφορά ανάμεσα στα ιστογράμματα 2 καρέ με ένα κατώφλι μπορούμε να δούμε αν πρόκειται για σημείο αλλαγής πλάνου ή εάν πρόκειται για καρέ του ίδιου πλάνου. Για την περίπτωση που εργαζόμαστε με τα έγχρωμα r, g, b ιστογράμματα για δύο καρέ i και i-1 η bin-wise διαφορά υπολογίζεται από τον παρακάτω τύπο: Το μέτρο μεταβολής στην μέθοδο των ιστογραμμάτων Dh B 1 B 1 B 1 r 0 g 0 b 0 H ( r, g, b) H ( r, g, b) i M * N i 1 Εάν εργαζόμαστε μόνο σε αποχρώσεις του γκρι στην θέση των έγχρωμων ιστογραμμάτων βάζουμε τα ιστογράμματα αποχρώσεων του γκρι. Η μέθοδος των ιστογραμμάτων έχει το πλεονέκτημα ότι επιλέγοντας σχετικά μικρό αριθμό bins (π.χ. 64 bins) επιτυγχάνεται τη μείωση της επίδρασης του θορύβου που υπεισέρχεται σε ένα ή σε περισσότερα διαδοχικά καρέ, των απότομων αυξομειώσεων της φωτεινότητας (π.χ. φλας φωτογραφικής μηχανής), της κίνησης αντικειμένων ή της μεταβολής τους σε σχήμα ή χρώμα, αλλά κυρίως της κίνησης της κάμερας. Μια παραλλαγή αυτής της μεθόδου είναι να χωρίσουμε το κάθε καρέ σε τμήματα και να υπολογίσουμε τα ιστογράμματα για το κάθε τμήμα [7]. Στην συνέχεια αντί να συγκρίνουμε τα ιστογράμματα για ολόκληρα τα δυο καρέ, συγκρίνουμε τα ιστογράμματα μεταξύ των αντίστοιχων περιοχών για τα δύο προς εξέταση καρέ. Και εδώ χρησιμοποιούμε δυο κατώφλια. Με το πρώτο κατώφλι καθορίζουμε εάν ένα τμήμα του πρώτου καρέ διαφέρει σημαντικά από το αντίστοιχο τμήμα του δεύτερου καρέ. Με 40

41 το δεύτερο κατώφλι καθορίζουμε εάν υπάρχει αλλαγή πλάνου μετρώντας το πλήθος των τμημάτων τα οποία διαφέρουν σημαντικά μεταξύ των δύο καρέ και συγκρίνοντας τα με το κατώφλι. Η παραλλαγή αυτή βελτιώνει την επίδοση της μεθόδου μας αφού μειώνει ακόμη πιο πολύ τα αποτελέσματα του θορύβου και της κίνησης της κάμερας Στατιστικές Διαφορές Σε αυτή την μέθοδο χωρίζουμε το κάθε καρέ σε περιοχές και υπολογίζουμε στατιστικές μετρικές για τα pixel της κάθε περιοχής. Οι στατιστικές μετρικές που χρησιμοποιούνται είναι η μέση τιμή, η διασπορά και η τυπική απόκλιση. Οι στατιστικές μετρικές N Fi i 1 ( F) N V F F F F F ( ) {( ( )) } ( ) ( ) ( F) V ( F) N ( F ( F)) i 1 i N 2 Συγκρίνοντας τις διαφορές στις στατιστικές μετρικές για τις αντίστοιχες περιοχές των προς σύγκριση καρέ και χρησιμοποιώντας και στην περίπτωση αυτή κατάλληλα κατώφλια, μπορούμε να ανιχνεύσουμε τα πλάνα στην ακολουθία video. Οι R. Kasturi και R. Jain [8], υλοποιούν μια μέθοδο που βασίζεται σε στατιστικές διαφορές χρησιμοποιώντας ως μετρική την μέση τιμή και στην διασπορά των αποχρώσεων του γκρι στις διάφορες περιοχές του καρέ. Το βασικό πλεονέκτημα αυτή της μεθόδου είναι ότι είναι αρκετά ανεκτική στην παρουσία θορύβου στα καρέ του βίντεο. Η ανάγκη υπολογισμού των στατιστικών μετρικών για κάθε περιοχή του καρέ απαιτεί υπολογιστική ισχύ και περισσότερο χρόνο. Ακόμη η μέθοδος αυτή οδηγεί σε αρκετές εσφαλμένες ανιχνεύσεις αλλαγής πλάνου (false positives) Ανύσματα Κίνησης (Motion Vectors). Έχουν γίνει αρκετές προσπάθειες να χρησιμοποιηθούν τα ανύσματα κίνησης τα οποία υπολογίζονται κατά την συμπίεση κατά MPEG σε συνδυασμό με κάποια από τις 41

42 παραπάνω μεθόδους προκειμένου να βελτιωθεί η ικανότητα του αλγόριθμου ανίχνευσης πλάνων. Τα ανύσματα κίνησης μπορούν να χρησιμοποιηθούν για να ανιχνευθεί εάν σε ένα πλάνο υπάρχει zoom της κάμερας. Είναι σημαντικό να αναγνωριστούν τα zoom της κάμερας κατά την διάρκεια ενός πλάνου γιατί συχνά ανιχνεύονται λανθασμένα ως σταδιακές (gradual) μεταβάσεις από πλάνο σε πλάνο. Τα ανύσματα κίνησης μπορούν ακόμη να χρησιμοποιηθούν για να υπολογιστεί το μέγεθος της κίνησης της κάμερας που υπάρχει σε ένα πλάνο. Οι τρεις πρώτες μέθοδοι αν και αρχικά αναπτύχθηκαν για επεξεργασία ασυμπίεστου video μπορούν να χρησιμοποιηθούν και για την ανίχνευση πλάνων απευθείας στο συμπιεσμένο πεδίο. Στην περίπτωση αυτή αντί για χαρακτηριστικά στο πεδίο του χώρου όπως οι τιμές των pixel και ιστογράμματα στο έγχρωμο (RGB) ή σε αποχρώσεις του γκρι (gray level) μπορούμε να χρησιμοποιήσουμε χαρακτηριστικά στο πεδίο της συχνότητας όπως οι DCT συνιστώσες, οι οποίες μπορούν να εξαχθούν απευθείας από το MPEG bitstream ή τα ιστογράμματα DC συνιστωσών τα οποία είδαμε στο προηγούμενο κεφάλαιο. 4.3 Κατάτμηση σε πλάνα με χρήση του ιστογράμματος DC συνιστωσών Στην παρούσα εργασία πραγματοποιούμε την ανίχνευση πλάνων υλοποιώντας την μέθοδο των ιστογραμμάτων, χρησιμοποιώντας το ιστόγραμμα DC συνιστωσών. Το ιστόγραμμα αυτό μπορούμε να το υπολογίσουμε εύκολα από τις DCT συνιστώσες που εξάγουμε απευθείας από την συμπιεσμένη ακολουθία βίντεο όπως εξηγήθηκε στο Κεφάλαιο 3. Ο αλγόριθμός μας έχει ως είσοδο τα ιστογράμματα DC συνιστωσών για τα καρέ της ακολουθίας βίντεο και ως έξοδο μας δίνει τα καρέ τα οποία αντιστοιχούν σε αλλαγή πλάνου. Στην συνέχεια ακολουθεί ο αλγόριθμος ο οποίος υλοποιήθηκε για την ανίχνευση πλάνων σε μια συμπιεσμένη ακολουθία βίντεο. 42

43 Είσοδος dchist[numframes,64] : πίνακας που περιέχει τα ιστογράμματα DC συνιστωσών. Όπου numframes είναι το πλήθος το καρέ του προς επεξεργασία βίντεο. Έξοδος shot_change[] : πίνακας που περιέχει τα καρέ στα σημεία που ανιχνεύθηκε αλλαγή πλάνου. 1. Για κάθε δυο καρέ i, i+1 υπολόγισε την bin-wise διαφορά και καταχώρησέ την στον πίνακα histdiff []. 64 histdiff [] = j 1 dchist( i 1, j) dchist( i, j) 2. Επιλογή των καρέ που αντιστοιχούν σε σημείο αλλαγής πλάνου είτε με εφαρμογή απλού κατωφλίου είτε με adaptive φιλτράρισμα και κατώφλι. 3. Αποθήκευση των αριθμών που αντιστοιχούν στα καρέ που ανιχνεύτηκαν στα σημεία αλλαγής πλάνου στον πίνακα shot_change[]. Με την εκτέλεση του αλγορίθμου ανίχνευσης πλάνων υπολογίζεται ένας πίνακας ο οποίος περιέχει τις bin-wise διαφορές. Παρακάτω παραθέτουμε ενδεικτικά την οπτική απεικόνιση του πίνακα με τις διαφορές ιστογραμμάτων ένα από τα βίντεο της συλλογής μας. Στον οριζόντιο άξονα αναγράφονται και τα πραγματικά σημεία αλλαγής πλάνου στο βίντεο. Όπως μπορούμε να δούμε στο διάγραμμα υπάρχουν κάποιες κορυφές (peaks) οι οποίες είναι αυτές που αντιστοιχούν σε σημεία αλλαγής πλάνου. Προκειμένου να εξάγουμε λοιπόν τις κορυφές που αντιστοιχούν σε αλλαγή πλάνου μπορούμε να χρησιμοποιήσουμε απευθείας ένα κατώφλι (threshold) όπως φαίνεται στην εικόνα. 43