ΑΝΙΧΝΕΥΣΗ ΑΠΟΤΟΜΩΝ ΚΑΙ ΒΑΘΜΙΑΙΩΝ ΑΛΛΑΓΩΝ ΠΛΑΝΟΥ ΣΕ ΕΝΑ ΒΙΝΤΕΟ SHOT CUT DETECTION. Δραμαλίδου Αποστολία

Transcript

1 Τ.Ε.Ι. ΚΑΒΑΛΑΣ ΣΧΟΛΗ ΔΙΟΙΚΗΣΗΣ ΚΑΙ ΟΙΚΟΝΟΜΙΑΣ ΤΜΗΜΑ ΔΙΑΧΕΙΡΙΣΗΣ ΠΛΗΡΟΦΟΡΙΩΝ ΑΝΙΧΝΕΥΣΗ ΑΠΟΤΟΜΩΝ ΚΑΙ ΒΑΘΜΙΑΙΩΝ ΑΛΛΑΓΩΝ ΠΛΑΝΟΥ ΣΕ ΕΝΑ ΒΙΝΤΕΟ SHOT CUT DETECTION Δραμαλίδου Αποστολία ΜΑΙΟΣ 2009 ΕΠΟΠΤΗΣ ΚΑΘΗΓΗΤΗΣ Αναστάσιος Μαρκουλίδης Εκπονηθείσα πτυχιακή εργασία απαραίτητη για την κτήση του βασικού πτυχίου

2 ΠΡΟΛΟΓΟΣ Η παρούσα εργασία πραγματοποιήθηκε στα πλαίσια της εκπόνησης της πτυχιακής μου εργασίας, κατά τη διάρκεια των σπουδών μου στο Τμήμα Διαχείρισης Πληροφοριών του ΤΕΙ Καβάλας με θέμα «Εύρεση των απότομων αλλαγών πλάνου, ενός βίντεο (shot cut detection)». Με το πέρασμα των χρόνων τα ψηφιακά βίντεο ολοένα και αυξάνουν, είτε στο διαδίκτυο, είτε στην τηλεόραση. Η συνεχής αυτή αύξηση, έχει οδηγήσει τα τελευταία χρόνια στη δημιουργία εργαλείων που οδηγούν στην επεξεργασία τέτοιων βίντεο που έχει να κάνει είτε με τη βελτίωση, είτε με τη συμπίεση, είτε με την ανάλυση του περιεχομένου τους. Στην παρούσα εργασία δημιουργήθηκε ένα ακόμα πρόγραμμα επεξεργασίας του βίντεο που οδηγεί στην εύρεση των απότομων αλλαγών, προσπάθεια που έγινε όπως είδαμε και σε πολλές βιβλιογραφικές αναφορές και θα δώσει ένα ακόμα λιθαράκι, σε όλη αυτή την έρευνα που έχει γίνει πάνω σε αυτό το κομμάτι της επεξεργασίας του βίντεο. Σκοπός αυτής της πτυχιακής εργασίας ήταν η ανάπτυξη μιας ολοκληρωμένης εφαρμογής για την ανίχνευση των απότομων αλλαγών πλάνου, ενός τηλεοπτικού βίντεο. Η εργασία αυτή, χωρίζεται σε πέντε κεφάλαια. Στο πρώτο κεφάλαιο, αναφέρονται οι βασικοί ορισμοί που απαιτούνται για την υλοποίηση της εργασίας. Στο δεύτερο κεφάλαιο, γίνεται λόγος για τα χαρακτηριστικά γνωρίσματα που μπορούν να εξαχθούν από ένα πλαίσιο και ορισμένες από τις πλέον χρησιμοποιούμενες μετρικές αξιολόγησης των αλγορίθμων αυτόματης εύρεσης αλλαγών πλάνου, στη συνέχεια στο τρίτο κεφάλαιο, αναφέρονται οι αλγόριθμοι που έχουν χρησιμοποιηθεί κατά καιρούς για την εύρεση απότομων και βαθμιαίων αλλαγών πλάνου σε ένα βίντεο. Στο τέταρτο κεφάλαιο, γίνεται περιγραφή της δικής μας δουλειάς πάνω στο συγκεκριμένο αντικείμενο και τέλος, στο πέμπτο και τελευταίο κεφάλαιο, παρουσιάζεται η εφαρμογή που υλοποιήθηκε για την εύρεση απότομων αλλαγών πλάνου και τα πειραματικά αποτελέσματα της δική μας δουλειάς. Στο σημείο αυτό, θα ήθελα να εκφράσω τις θερμές ευχαριστίες μου στον κ. Αναστάσιο Μαρκουλίδη, ωρομίσθιο καθηγητή του τμήματος Διαχείρισης Πληροφοριών, ο οποίος συνέβαλε ενεργά στην διεξαγωγή της εργασίας αυτής, με τις χρήσιμες συμβουλές και την πολύτιμη βοήθειά του. Σελ. 2 από 48

3 Πίνακας περιεχομένων ΠΡΟΛΟΓΟΣ...2 ΕΙΣΑΓΩΓΗ...6 Κεφάλαιο 1: Βασικοί ορισμοί...7 Κεφάλαιο 2: Χαρακτηριστικά γνωρίσματα βίντεο και αξιολόγησή τους Εισαγωγή Χρησιμοποιούμενα χαρακτηριστικά γνωρίσματα Περιοχές εύρεσης χαρακτηριστικών γνωρισμάτων Μετρικές ομοιότητας χαρακτηριστικών γνωρισμάτων Χρονικό παράθυρο Αξιολόγηση απόδοσης Επίλογος...19 Κεφάλαιο 3: Αλγόριθμοι αυτόματης εύρεσης απότομων αλλαγών πλάνου Εισαγωγή Κατηγορίες μεθόδων ανίχνευσης αλλαγής πλάνου Μέθοδοι που χρησιμοποιούν σταθερό κατώτατο όριο Singular Value Decomposition (SVD) [15] Μοντελοποίηση χρονικών στατιστικών Συσχετισμός συχνοτήτων Διαχωρισμός γράφων Εντροπία Μέθοδοι που χρησιμοποιούν προσαρμοζόμενο κατώτατο όριο Μέθοδος οπτικού ρυθμού [20] Υβριδική μέθοδος [21] Μέθοδοι που χρησιμοποιούν την πιθανολογική ανίχνευση Στατιστικός ανιχνευτής του Hanjalic Στατιστική σειριακή ανάλυση των Lelescu και Schonfeld Μέθοδοι που χρησιμοποιούν τον εκπαιδευμένο ταξινομητή Ταξινομητής του Lienhart για διαλύσεις...34 Κεφάλαιο 4: Η δική μου δουλειά Εισαγωγή Βάσεις δεδομένων Βίντεο κλιπ Ταινία Μικρά δείγματα βίντεο Πειραματικά αποτελέσματα Διαφορά ιστογραμμάτων Οπτικός ρυθμός...39 Κεφάλαιο 5: Σχεδίαση και ανάπτυξη του προγράμματος Εργαλεία που χρειάστηκαν Μικρή εισαγωγή στη C# Μικρή εισαγωγή στο Microsoft Windows SDK Σχεδίαση Εφαρμογής Περιβάλλον της εφαρμογής Λειτουργίες της εφαρμογής...43 ΣΥΜΠΕΡΑΣΜΑ...46 Βιβλιογραφία...47 Σελ. 3 από 48

4 Κατάλογος εικόνων Εικόνα 1: Σχηματικό σκίτσο των σκηνών και των πλάνων όπως καθορίζεται από την τηλεοπτική διαδικασία παραγωγής...7 Εικόνα 2: Παραδείγματα μεταβάσεων των πλάνων...8 Εικόνα 3: Είδη ιστογραμμάτων Εικόνα 4: Ακμές μιας εικόνας Εικόνα 5: Μέτρο ευρωστίας (μ) Εικόνα 6: Εικόνες από τη μέθοδο Οπτικού Ρυθμού Εικόνα 7: Μονοδιάστατο σήμα που παράγεται από την οπτική εικόνα ρυθμού στην εικόνα 6 (β) Εικόνα 8 : Κεντρικό παράθυρο εφαρμογής...43 Εικόνα 9: Το κεντρικό παράθυρο μετά την επιλογή του αρχείου Εικόνα 10: Παράθυρα παραμέτρων επιλογής ορίου, των διαφορών πλαισίων και ιστογραμμάτων Εικόνα 11: Παράθυρο επιλογής παραμέτρων w και Ι<, του οπτικού ρυθμού..44 Εικόνα 12 : Το κεντρικό παράθυρο της εφαρμογής μετά την ολοκλήρωση της επεξεργασίας Εικόνα 13 : Ενημερωτικό παράθυρο, μη επιλογής αλγορίθμου...45 Εικόνα 14 : Ενημερωτικό παράθυρο, μη συμπλήρωσης ορίου...45 Σελ. 4 από 48

5 Κατάλογος πινάκων Πίνακας 1: Κατάλογος βίντεο κλιπ...36 Πίνακας 2: Χαρακτηριστικά υηάθΐ^ογίά...37 Πίνακας 3: Μικρά δείγματα βίντεο...38 Πίνακας 4: Αποτελέσματα ελέγχου της διαφοράς ιστογραμμάτων...39 Πίνακας 5: Βέλτιστοι συνδυασμοί των μ και Ι< Πίνακας 6: Ποσοστά ορθότητας για το σύνολο ελέγχου Σελ. 5 από 48

6 Εισαγωγή ΕΙΣΑΓΩΓΗ Οι πρόοδοι στην ψηφιακή τηλεοπτική τεχνολογία και η συνεχώς αυξανόμενη διαθεσιμότητα του υπολογισμού των πόρων, έχουν οδηγήσει τα τελευταία έτη σε μια έκρηξη των ψηφιακών τηλεοπτικών στοιχείων, ειδικά στο διαδίκτυο. Παρ όλα αυτά, η αυξανόμενη διαθεσιμότητα του ψηφιακού βίντεο δεν συνοδεύθηκε από περαιτέρω βελτίωση στην δυνατότητα πρόσβασης της. Αυτό γίνεται λόγω της φύσης του τηλεοπτικού στοιχείου, το οποίο είναι ακατάλληλο για τις παραδοσιακές μορφές ενεργειών όπως πρόσβαση, ευρετηρίαση, αναζήτηση και ανάκτηση, οι οποίες βασίζονται είτε σε κείμενο, είτε σε εικόνα, είτε σε ήχο [7]. Σαν παράδειγμα μπορούμε να δώσουμε τα τηλεοπτικά κανάλια, στα οποία το πιο σημαντικό (τόσο από ιστορική, όσο και από οικονομική πλευρά) στοιχείο είναι το αρχείο τους, το οποίο είναι ένας λειτουργικός τρόπος οργάνωσης της μνήμης, που διασώζει αντικείμενα και ιδέες στο χρόνο και επιτρέπει την μελλοντική τους ανάκληση, για μελέτη ή για ευχαρίστηση. Παλαιότερα στα τηλεοπτικά κανάλια, όπως π.χ. η κρατική τηλεόραση (ΕΡΤ), για την εύρεση ενός βίντεο που περιελάμβανε ένα συγκεκριμένο πρόσωπο, χρειαζόταν συνεχής αναζήτηση σε όλο αυτό το αρχείο από πολλά ανθρώπινα χέρια, πράγμα πολύ δύσκολο και χρονοβόρο. Αυτή η δύσκολη αναζήτηση οδήγησε με το πέρασμα των χρόνων στη δημιουργία σημαντικών εργαλείων με σκοπό την εύκολη αναζήτηση και επεξεργασία των ψηφιακών βίντεο. Τώρα πια η αναζήτηση και η επεξεργασία του βίντεο, γίνεται με τη βοήθεια εργαλείων του ηλεκτρονικού υπολογιστή, με τη χρησιμοποίηση ελάχιστων ανθρώπινων χεριών και σε πολύ μικρότερο χρόνο. Ένα σημαντικό κομμάτι στην επεξεργασία του βίντεο αποτελεί η ανίχνευση των μεταβάσεων των πλάνων του, η οποία διαδραματίζει ένα σημαντικό ρόλο στην αυτόματη ανάλυση του ψηφιακού τηλεοπτικού περιεχομένου και είναι ένα θέμα κλειδί για την τηλεοπτική ευρετηρίαση και την περιληπτική παρουσίαση της πληροφορίας. Είναι επίσης ένα θεμελιώδες μέρος της αυτοματοποιημένης ευρετηρίασης των τεράστιων τηλεοπτικών αρχείων, όπου μια αντιπροσωπευτική εικόνα επιλέγεται από κάθε σκηνή για να δημιουργήσει μια οπτική επισκόπηση ολόκληρης της ταινίας. Με την επεξεργασία τέτοιων δεικτών μια μηχανή αναζήτησης μπορεί να επεξεργαστεί τα στοιχεία αναζήτησης όπως: «δείξε μου όλες τις ταινίες όπου πρωταγωνιστεί ο Αλ Πατσίνο». Η έννοια της χρονικής κατάτμησης της εικόνας του βίντεο, δεν είναι νέα, χρονολογείται από τις πρώτες ημέρες των κινηματογραφικών ταινιών, πολύ πριν από την εισαγωγή των υπολογιστών. Οι ειδικοί των ταινιών βασίζουν τις εργασίες τους σε μια ιεραρχία αυτών των χωρισμάτων. Σελ. 6 από 48

7 Πτυχιακή εργασία της Αποστολίας Δραμαλίδου Κεφάλαιο 1: Βασικοί ορισμοί Για να διευκολύνουμε την επεξεργασία του ψηφιακού βίντεο, είναι κοινή πρακτική στη βιβλιογραφία η ιεραρχική κατάτμηση του βίντεο. Η κατάτμηση που απαντάται στις περισσότερες βιβλιογραφικές αναφορές είναι η παρακάτω (Εικόνα 1): Ένα βίντεο αποτελείται από μια ακολουθία πλάνων (shots). Το πλάνο θεωρείται η δομική μονάδα του βίντεο, και ορίζεται ως μια ενιαία ακολουθία από διαδοχικά πλαίσια (ή, αλλιώς, από διαδοχικές κινούμενες εικόνες που παρουσιάζουν χρονική συνέχεια [3]).1 Συνεπώς, μια ταινία στην οποίαν έχουμε εναλλαγή μεταξύ όψεων δύο ανθρώπων θα αποτελείται από πολλαπλά πλαίσια. Μια ομάδα πλάνων, τα οποία συσχετίζονται σημασιολογικά και εστιάζουν σε ένα ή περισσότερα αντικείμενα που μας ενδιαφέρουν, αποτελεί μια μεγαλύτερη δομική μονάδα της ακολουθίας video η οποία ονομάζεται σκηνή (scene) [2]. Εικόνα 1: Σχηματικό σκίτσο των σκηνών και των πλάνων όπως καθορίζεται από την τηλεοπτική διαδικασία παραγωγής: α) τα πραγματικά αντικείμενα (ή άνθρωποι) που είναι σχεδιασμένα, τα οποία είναι χρονικά συνεπή και περιλαμβάνουν έτσι μια σκηνή, β) συνεχή φανταστικά τμήματα από διαφορετικές κάμερες, γ) η διαδικασία έκδοσης της δημιουργίας των πλάνων που λήφθηκαν Παραδοσιακά, μια σκηνή είναι μια συνεχής ακολουθία, η οποία είναι χρονικά και χωρικά συνεκτική όσον αφορά τον πραγματικό κόσμο, αλλά δεν είναι (απαραίτητα) συνεκτική στον "κόσμο που προβάλλεται μέσα στην ταινία. Από την άλλη, τα πλάνα (τα οποία σχετίζονται άμεσα με την εφεύρεση της κάμερας) ορίζονται ως οι μεγαλύτερες συνεχείς ακολουθίες πλαισίων (εικόνων) που προκύπτουν από μια και μόνο λήψη της κάμερας, χωρίς καμία διακοπή. 1 Ένας άλλος ορισμός για το πλάνο [2],[4] είναι ο εξής: Πλάνο είναι η καταγεγραμμένη ακολουθία από συνεχόμενα καρέ που προκύπτουν από μια συγκεκριμένη κάμερα με εγγραφή χωρίς διακοπή Σελ. 7 από 48

8 1. Βασικοί ορισμοί Η μετάβαση από το ένα πλάνο στο επόμενο μπορεί να γίνει με διάφορους τρόπους οι οποίοι είναι γνωστοί ως τρόποι μετάβασης από το ένα πλάνο στο επόμενο (shot transitions). Οι βασικοί τρόποι μετάβασης από το ένα πλάνο στο επόμενο είναι οι εξής (οι οποίοι απεικονίζονται και στην Εικόνα 2): 1. Cut (Απότομη αλλαγή): Πρόκειται για την πιο απότομη μετάβαση (τομή), η οποία πραγματοποιείται σε ένα μόνο καρέ, αφού το τελευταίο καρέ του προηγούμενου πλάνου ακολουθείται από το πρώτο καρέ του επόμενου πλάνου και η μετάβαση γίνεται αμέσως. 2. Dissolve (Διάλυση): Η διάλυση μπορεί να θεωρηθεί ότι είναι ένα ταυτόχρονο fade-out και fade-in, όπως και το fade, πραγματοποιείται σε ένα σύνολο από συνεχόμενα καρέ. Συμβαίνει όταν η εικόνα του προηγούμενου πλάνου γίνεται σταδιακά πιο σκοτεινή, ενώ η εικόνα του επόμενου πλάνου σταδιακά αυξάνει σε φωτεινότητα. 3. Fade (Ξεθώριασμα): Είναι η αργή μεταβολή στη φωτεινότητα (αύξηση ή μείωση) σε κάθε εικόνα, με αποτέλεσμα τη σταδιακή εμφάνιση (fade-in) ή εξαφάνιση (fade-out) του πλάνου, από ή προς μια μαύρη εικόνα αντίστοιχα. 4. Wipe (Σβήσιμο): Το "σβήσιμο παρατηρείται όταν η εικόνα του πρώτου πλάνου κινείται με συγκεκριμένο τρόπο και σχήμα, βγαίνοντας από το καρέ και δίνοντας σταδιακά τη θέση της στην εικόνα του επόμενου πλάνου. 5. Άλλοι τύποι μετάβασης: Υπάρχει ένα πλήθος εφευρετικών τεχνικών ειδικών εφέ που χρησιμοποιούνται στις κινηματογραφικές ταινίες. Αυτοί είναι γενικά πολύ σπάνιοι και δύσκολο να ανιχνευθούν. Εικόνα 2: Παραδείγματα μεταβάσεων των πλάνων. Από πάνω προς τα κάτω: Διάλυση μεταξύ των πλάνων με παρόμοιο περιεχόμενο χρώματος, Διάλυση μεταξύ των πλάνων με ανόμοιο περιεχόμενο χρώματος, Ξεθώριασμα, Σβήσιμο της ποικιλίας «πορτών», Σβήσιμο της ποικιλίας «σχάρας», Μετάβαση με ειδικό εφέ μεταξύ των πλάνων Γενικά η ανίχνευση των αλλαγών ενός πλάνου μεταξύ δύο παρακείμενων πλαισίων απαιτεί των υπολογισμό μιας κατάλληλης συνοχής ή μετρικής ομοιότητας. Αυτή η έννοια έχει, όμως, τρία βασικά προβλήματα [7] Σελ. 8 από 48

9 Πτυχιακή εργασία της Αποστολίας Δραμαλίδου Το πρώτο πρόβλημα (το οποίο είναι και το πλέον φανερό) είναι ο καθορισμός μιας κατάλληλης μετρικής για το βίντεο κατά τέτοιο τρόπο ώστε: α) να μην επηρεάζεται από τις βαθμιαίες αλλαγές στην κάμερα (π.χ. αργή κίνηση), τον φωτισμό και το φυσικό περιεχόμενο της σκηνής, β) να είναι εύκολο στον υπολογισμό της, και γ) να έχει επαρκή διακριτότητα. Ο απλούστερος τρόπος για να γίνει αυτό, είναι να γίνει εξαγωγή ενός ή περισσότερων βαθμωτών ή διανυσματικών χαρακτηριστικών γνωρισμάτων από κάθε πλαίσιο, για να καθοριστούν οι λειτουργίες απόστασης στην περιοχή χαρακτηριστικών γνωρισμάτων. Εναλλακτικά τα χαρακτηριστικά γνωρίσματα των ίδιων, μπορεί να είναι χρησιμοποιημένα είτε για τη συγκέντρωση των πλαισίων των πλάνων, είτε για την ανίχνευση των σχεδίων μετάβασης των πλάνων. Το δεύτερο πρόβλημα έχει να κάνει με το ποιες τιμές της μετρικής συνοχής αντιστοιχούν σε μια αλλαγή πλάνου και ποιες όχι. Το συγκεκριμένο πρόβλημα δεν είναι επουσιώδες. αυτό διότι, σε περίπτωση που δεν επιλεχτεί μια κατάλληλη τιμή, το ενδεχόμενο λανθασμένης ανίχνευσης απότομης αλλαγής είναι ορατό. Οι μέθοδοι απόφασης για την ανίχνευση ορίου του πλάνου περιλαμβάνουν, μεταξύ άλλων, κατώφλια (thresholds) - είτε αυτά είναι σταθερά είτε προσαρμοστικά- και στατιστικές μεθόδους ανίχνευσης. Το τρίτο πρόβλημα (και το δυσκολότερο στο χειρισμό), είναι ότι δεν είναι όλες οι αλλαγές πλάνου απότομες. Οι αλλαγές μεταξύ των πλάνων μπορεί να ανήκουν στις κατηγορίες που αναφέραμε στην προηγούμενη σελίδα. Σελ. 9 από 48

10 2. Χαρακτηριστικά γνωρίσματα βίντεο και αξιολόγησή τους Κεφάλαιο 2: Χαρακτηριστικά γνωρίσματα βίντεο και αξιολόγησή τους 2.1 Εισαγωγή Όπως αναφέρθηκε και στο προηγούμενο κεφάλαιο, οι αλγόριθμοι ανίχνευσης ορίου του πλάνου λειτουργούν, αρχικά, με την εξαγωγή ενός ή περισσότερων χαρακτηριστικών γνωρισμάτων [7] από ένα τηλεοπτικό πλαίσιο ή ένα υποσύνολό του [το οποίο αποκαλείται περιοχή ενδιαφέροντος (Region Of Interest, ROI)]. Τα γνωρίσματα αυτά μπορούν, κατόπιν, να χρησιμοποιηθούν με διαφορετικούς τρόπους από έναν αλγόριθμο για την ανίχνευση της αλλαγής πλάνου. Στη συνέχεια παρουσιάζουμε τις διαφορετικές επιλογές που μπορούν να γίνουν για κάθε στοιχείο, μαζί με τα πλεονεκτήματα και τα μειονεκτήματά τους. Τα γνωρίσματα αυτά μπορούν να χρησιμοποιηθούν αυτόνομα, ή σε ποικίλους συνδυασμούς μεταξύ τους. 2.2 Χρησιμοποιούμενα χαρακτηριστικά γνωρίσματα Σχεδόν όλοι οι αλγόριθμοι ανίχνευσης αλλαγής πλάνου μειώνουν τη μεγάλη διάσταση του χώρου του βίντεο με την εξαγωγή ενός μικρού αριθμού χαρακτηριστικών γνωρισμάτων, τα οποία απεικονίζουν τις διάφορες πτυχές του οπτικού περιεχόμενου ενός βίντεο, από μια ή περισσότερες περιοχές ενδιαφέροντος για κάθε τηλεοπτικό πλαίσιο. Τα σημαντικότερα χαρακτηριστικά γνωρίσματα που χρησιμοποιούνται σε αλγορίθμους εύρεσης απότομων ή βαθμιαίων αλλαγών πλάνου είναι τα εξής: 1. Φωτεινότητα/χρώμα: Το απλούστερο χαρακτηριστικό γνώρισμα που μπορεί να χρησιμοποιηθεί για να χαρακτηρίσει μια ROI είναι η μέση φωτεινότητα των διαβαθμίσεων του γκρι για όλα τα pixels ενός πλαισίου. Συγκεκριμένα, αν το χρώμα ενός pixel με συντεταγμένες (x,y) ορίζεται, στην χρωματική παλέτα RGB, από τις τιμές (r, g, b), η φωτεινότητα αυτού του pixel ορίζεται ως I( x, y ) = 0.299* r * g * b Συνεπώς, για ένα πλαίσιο πλάτους width και ύψους height, η μέση φωτεινότητά του ορίζεται ως εξής: I mean width-1 height-1 Σ Σ I(χ. y) χ=0 y =0 width * height Σελ. 10 από 48

11 Πτυχιακή εργασία της Αποστολίας Δραμαλίδου Το βασικότερο μειονέκτημα αυτού του χαρακτηριστικού, όμως, είναι η ευαισθησία του στις αλλαγές φωτισμού. Μια πιο σταθερή επιλογή είναι να χρησιμοποιηθούν μια ή περισσότερες στατιστικές (π.χ. μέσοι όροι) των τιμών σε ένα κατάλληλο χρωματικό μοντέλο, όπως π.χ. το HSV. 2. Ιστόγραμμα: Ένα σημαντικότερο χαρακτηριστικό γνώρισμα για μια ROI είναι το ιστόγραμμα, το οποίο είναι ένα στατιστικό μέτρο για την εμφάνιση των διαφορετικών χρωματικών τόνων μιας εικόνας. Το ιστόγραμμα μιας ψηφιακής εικόνας υπολογίζεται ως εξής: Έστω ότι η ψηφιακή εικόνα f έχει L διακριτά επίπεδα του γκρι (συνήθως από 0 ως και 255), και ότι nk, k = 0,1,...,L -1 είναι ο αριθμός των pixels που έχουν φωτεινότητα k. Το ιστόγραμμα p (f ) δίνεται από την εξής σχέση: p(fk ) = γ, k = 0,...,L -1 όπου n είναι ο συνολικός αριθμός pixels της εικόνας. Με παρόμοιο τρόπο μπορούν να υπολογιστούν και τα ιστογράμματα για το καθένα από τα 3 χρωματικά κανάλια του μοντέλου RGB, καθώς επίσης και ο μέσος όρος των 3 αυτών ιστογραμμάτων (το συνολικό ιστόγραμμα) Το ιστόγραμμα μιας ψηφιακής εικόνας περιέχει σημαντικές πληροφορίες για το περιεχόμενο της, τη φωτεινότητά της και τα χαρακτηριστικά αντίθεσής της. Επιπλέον, δε, μπορεί να αναπαρασταθεί και γραφικά. Όπως μπορούμε να δούμε και στην Εικόνα 3. Αν οι τιμές των pixels είναι συγκεντρωμένες στις χαμηλές τιμές φωτεινότητας, τότε η εικόνα είναι "σκοτεινή (Εικόνα 3α). Αντίθετα, μια "φωτεινή εικόνα έχει ιστόγραμμα που είναι συγκεντρωμένο στις υψηλές τιμές φωτεινότητας (Εικόνα 3β). Τέλος, το ιστόγραμμα της Εικόνας 3γ αποκαλύπτει ότι η εικόνα περιέχει δύο αντικείμενα με διαφορετικές τιμές φωτεινότητας (ή ένα αντικείμενο εύκολα διαχωρίσιμο από το φόντο του). Εικόνα 3: Είδη ιστογραμμάτων: α) Ιστόγραμμα σκοτεινής εικόνας. β) Ιστόγραμμα φωτεινής εικόνας. γ) Ιστόγραμμα εικόνας με δύο περιοχές διαφορετικών κατανομών Το ιστόγραμμα μιας εικόνας υπολογίζεται αρκετά εύκολα, ενώ παράλληλα εμφανίζει σημαντικό βαθμό διακριτότητας (δύο τελείως διαφορετικές εικόνες έχουν ιστογράμματα που διαφέρουν σημαντικά μεταξύ τους). Επίσης, στις περισσότερες των περιπτώσεων, τα ιστογράμματα δύο πλαισίων δεν επηρεάζονται από τα διάφορα είδη κίνησης της κάμερας Σελ. 11 από 48

12 2. Χαρακτηριστικά γνωρίσματα βίντεο και αξιολόγηση τους (μετατόπιση, περιστροφή, μεγέθυνση) ή τις διάφορες κινήσεις των αντικειμένων που βρίσκονται μέσα σε αυτά. 3. Ακμές της εικόνας: Ένα ακόμα σημαντικό κριτήριο, το οποίο χαρακτηρίζει μια ROI, είναι οι πληροφορίες ακμών της εικόνας. Οι ακμές είναι βασικά χαρακτηριστικά της εικόνας, φέρουν χρήσιμες πληροφορίες για τα όρια των αντικειμένων, οι οποίες μπορούν να χρησιμοποιηθούν για ανάλυση εικόνας, προσδιορισμό αντικειμένων, καθώς επίσης και για εφαρμογές φιλτραρίσματος εικόνας. Παρά τη θεμελιώδη σημασία τους στην ψηφιακή επεξεργασία και ανάλυση μιας εικόνας, δεν υπάρχει ακόμα ένας ακριβής και ευρέως αποδεκτός μαθηματικός ορισμός της ακμής. αυτό εξηγείται από την πολυπλοκότητα του περιεχομένου της εικόνας, αλλά και από το γεγονός ότι, προκειμένου ένα άνθρωπος να αντιληφθεί τα όρια ενός αντικειμένου, παρεμβάλλονται μηχανισμοί όρασης υψηλού επιπέδου, μηχανισμοί τους οποίους δεν έχουμε κατανοήσει μέχρι σήμερα. Σύμφωνα με την πλέον επικρατούσα άποψη [14], ως ακμή (ή περίγραμμα) θεωρείται το σύνορο μεταξύ δύο ομογενών περιοχών μιας εικόνας, οι οποίες έχουν διαφορετικές εντάσεις φωτεινότητας. Οι ακμές οριοθετούν τα αντικείμενα σε μια εικόνα, δίνουν πληροφορίες κίνησης και βοηθούν στην εξαγωγή χαρακτηριστικών. Με άλλα λόγια γίνεται εντοπισμός σημαντικών τοπικών μεταβολών σε μια grayscale εικόνα. Το πλεονέκτημα τους είναι ότι δεν παρουσιάζουν μεγάλες αλλαγές σε φαινόμενα όπως η αλλαγή του φωτισμού της εικόνας και οι διάφοροι τύποι κινήσεων. Επιπλέον, δε, συσχετίζονται άμεσα με την ανθρώπινη οπτική αντίληψη για μια σκηνή. Τα κυριότερα μειονεκτήματά τους είναι: a) το σημαντικό υπολογιστικό κόστος που απαιτείται για την εύρεσή τους, b) το ότι είναι ευαίσθητες σε διάφορα είδη θορύβων c) το ότι τα δεδομένα μιας ακμής θα πρέπει, στις περισσότερες των περιπτώσεων, να υποστούν κάποια προεπεξεργασία, προκειμένου να οδηγηθούμε σε έναν χώρο με μικρότερες διαστάσεις από τον αρχικό χώρο Στην Εικόνα 4 παρουσιάζεται ένα παράδειγμα ακμών μιας εικόνας. Εικόνα 4: Ακμές μιας εικόνας. Διαισθητικά τα αντικείμενα ορίζονται από τις ακμές τους Σελ. 12 από 48

13 Πτυχιακή εργασία της Αποστολίας Δραμαλίδου 4. Συντελεστές μετατροπής: Οι συντελεστές μετατροπής είναι ένας ακόμα κλασικός τρόπος για την περιγραφή των πληροφοριών εικόνας σε μια ROI. Οι πλέον γνωστοί συντελεστές μετατροπής, οι οποίοι έχουν χρησιμοποιηθεί και σε αλγορίθμους ανίχνευσης απότομων αλλαγών πλάνου, είναι οι εξής: a) Ο δισδιάστατος διακριτός μετασχηματισμός Fourier (DFT), ο οποίος ορίζεται ως εξής: Έστω ότι έχουμε μια ψηφιακή εικόνα x(n,n2). Ο δισδιάστατος DFT ορίζεται από την εξής σχέση: N -1W2-1 X ( k 1, k 2 ) = Σ Σ χ(η1, n > ) e x p n =0n2=0 (. 2^n1k. - I----- l N.2^n?k2Λ n2 J όπου τα Ν και Ν2 είναι θετικοί ακέραιοι αριθμοί, που ονομάζονται οριζόντια και κατακόρυφη περίοδος, αντίστοιχα. ^ Ο δισδιάστατος διακριτός μετασχηματισμός συνημίτονου ^ ^ ), ο οποίος για μια ψηφιακή εικόνα x(n1, η2) ορίζεται ως εξής: r'iw w \ \ ( 2 n1 + i)k ^ ( 2 n2 + 1)k2π C(K1,K 2 ) = Σ Σ 4 x (n1 -n2 ) c Q ^ c Q ^ 2 N n1=0n2 =0 2 N Οι συντελεστές μετατροπής συνημίτονου (DCT) έχουν το πλεονέκτημα ότι είναι ήδη παρόντες, στα κωδικοποιημένα MPEG τηλεοπτικά βίντεο2. Ένα σημαντικό μειονέκτημά τους είναι, ωστόσο, ότι μεταβάλλονται σημαντικά σε στιγμές κατά τις οποίες η κάμερα ζουμάρει σε ένα αντικείμενο. c) Ο δισδιάστατος διακριτός μετασχηματισμός wavelet (DWT), ο οποίος προκύπτει από δειγματοληψία του συνεχούς μετασχηματισμού wavelet. Ο συνεχής μετασχηματισμός wavelet ενός σήματος x(t) προκύπτει από τον εξής τύπο: X WT (τ,s) t-τ s t όπου η ψ(ί) είναι μια ειδική συνάρτηση (που αποκαλείται βασική συνάρτηση) που χρησιμοποιείται για την παραγωγή του τελικού σήματος. 5. Κίνηση: Η κίνηση μπορεί, ορισμένες φορές, να χρησιμοποιηθεί ως χαρακτηριστικό γνώρισμα για την ανίχνευση των μεταβάσεων των πλάνων. Τις περισσότερες φορές, πάντως, συνδέεται με άλλα χαρακτηριστικά γνωρίσματα, δεδομένου ότι μπορεί να παρουσιάζει 2 Όπως, φυσικά, και στις κωδικοποιημενες ψηφιακές εικόνες τυπου JPEG Σελ. 13 από 48

14 2. Χαρακτηριστικά γνωρίσματα βίντεο και αξιολόγηση τους σημαντικές ασυνέχειες μέσα στο ίδιο πλάνο (π.χ. όταν αλλάζει η κίνηση απότομα), ενώ είναι προφανώς άχρηστη όταν δεν υπάρχει καμία κίνηση στο βίντεο. 2.3 Περιοχές εύρεσης χαρακτηριστικών γνωρισμάτων Το μέγεθος της περιοχής από την οποία εξάγονται τα μεμονωμένα χαρακτηριστικά γνωρίσματα είναι ένας παράγοντας ο οποίος δεν πρέπει σε καμία περίπτωση να παραβλεφθεί, διότι διαδραματίζει έναν σημαντικό ρόλο κατά τη γενική εκτέλεση της ανίχνευσης αλλαγής πλάνου. Μια μικρή περιοχή τείνει να μειώσει τη σταθερότητα ανίχνευσης όσον αφορά την κίνηση, ενώ μια μεγάλη περιοχή οδηγεί στις ψεύτικες μεταβάσεις μεταξύ των παρόμοιων πλάνων. Στη συνέχεια θα περιγράψουμε τις διάφορες πιθανές επιλογές: 1. Ένα χαρακτηριστικό ανά pixel: Μερικοί αλγόριθμοι παράγουν ένα χαρακτηριστικό γνώρισμα για κάθε pixel. Αυτό το χαρακτηριστικό γνώρισμα μπορεί να είναι η φωτεινότητα, η δύναμη των ακμών (δηλ. το πόσο "ξεκάθαρα είναι τα όρια μεταξύ δύο ομογενών περιοχών με διαφορετικές τιμές φωτεινότητας) και άλλα. Εντούτοις, μια τέτοια προσέγγιση αποτελεσμάτων σε ένα πολύ μεγάλο διάνυσμα χαρακτηριστικών γνωρισμάτων είναι πολύ ευαίσθητα στην κίνηση, εκτός αν η αποζημίωση κινήσεων εκτελείται στη συνέχεια. 2. Ορθογώνιο τμήμα εικόνας: Μια άλλη προσέγγιση είναι ο διαχωρισμός ενός πλαισίου σε τμήματα ίσου μεγέθους, και η εξαγωγή ενός συνόλου χαρακτηριστικών γνωρισμάτων (π.χ. μέσο χρώμα, ιστόγραμμα χρώματος) ανά τμήμα. Στις περισσότερες των περιπτώσεων, το πλαίσιο διαχωρίζεται σε 16 τμήματα (4x4), χωρίς αυτό, βέβαια, να αποτελεί κανόνα. Τα πλεονεκτήματα αυτής της προσέγγισης είναι το ότι δεν επηρεάζεται από μικρές κινήσεις της κάμερας και των αντικειμένων, καθώς επίσης και το ότι παρουσιάζει επαρκή διακριτότητα για την ανίχνευση ορίου του πλάνου. 3. Αυθαίρετα επιλεγμένη περιοχή: Η εξαγωγή χαρακτηριστικών γνωρισμάτων μπορεί επίσης να εφαρμοστεί σε περιοχές της εικόνας οι οποίες έχουν επιλεγεί αυθαίρετα (τόσο όσον αφορά το σχήμα τους, όσο και το μέγεθός τους), και οι οποίες έχουν παραχθεί από αλγορίθμους χωρικής κατάτμησης. Αυτό επιτρέπει την εξαγωγή χαρακτηριστικών γνωρισμάτων με βάση τις πιο ομοιογενείς περιοχές (το κριτήριο ομοιογένειας μπορεί να είναι π.χ. το χρώμα, η φωτεινότητα, η υφή κλπ.), διευκολύνοντας κατά συνέπεια μια καλύτερη ανίχνευση των χρονικών ασυνεχειών (από πλαίσιο σε πλαίσιο). Τα κυριότερα μειονεκτήματα της είναι η (συνήθως) υψηλή υπολογιστική πολυπλοκότητα που απαιτείται για τον καθορισμό της περιοχής, καθώς και το ότι πολλές φορές τα αποτελέσματα της κατάτμησης των περιοχών δεν παρουσιάζουν κάποια σταθερότητα. 4. Ολόκληρο το πλαίσιο: Οι αλγόριθμοι που εξάγουν τα χαρακτηριστικά γνωρίσματα (π.χ. ιστόγραμμα) από ολόκληρο το πλαίσιο έχουν το πλεονέκτημα ότι δεν επηρεάζονται από την κίνηση που παρατηρείται μέσα σε ένα πλαίσιο Ωστόσο, τείνουν να έχουν φτωχή επίδοση στην ανίχνευση Σελ. 14 από 48

15 Πτυχιακή εργασία της Αποστολίας Δραμαλίδου της αλλαγής μεταξύ δύο πλαισίων που έχουν παρόμοιο περιεχόμενο (π.χ. όταν στο πρώτο πλαίσιο απεικονίζεται ένα ανθρώπινο πρόσωπο, και στο δεύτερο πλαίσιο απεικονίζεται το ίδιο πρόσωπο αλλά από μια ελαφρώς διαφορετική οπτική γωνία). 2.4 Μετρικές ομοιότητας χαρακτηριστικών γνωρισμάτων Για να μπορέσουμε να εντοπίσουμε πιθανές ασυνέχειες μεταξύ πλαισίων με βάση κάποιο ή κάποια από τα χαρακτηριστικά γνωρίσματα που περιγράψαμε στην 2.2, θα πρέπει να επιλέξουμε μια κατάλληλη μετρική ομοιότητας/ανομοιότητας, δηλ. μια συνάρτηση που θα δέχεται τις τιμές ενός χαρακτηριστικού γνωρίσματος για δύο πλαίσια και θα εξάγει μια τιμή-κριτήριο του κατά πόσο αυτά διαφέρουν μεταξύ τους. Αν υποθέσουμε, λοιπόν, ότι έχουμε εξάγει Κ χαρακτηριστικά γνωρίσματα (της μορφής Ρ^), k = 1,2,...Κ) από δύο πλαίσια I και /, η πλέον συνηθισμένη επιλογή είναι η ^ νόρμα: Τα πιο γνωστά παραδείγματα είναι: 1. Η διαφορά του ιστογράμματος, στην οποίαν το F(k) είναι τα τμήματα του ιστογράμματος, και στην οποία το n ισούται με Η διαφορά δύο εικόνων, στην οποίαν το F(k) αντιστοιχεί στα pixels της εικόνας (συνήθως δεν επιλέγονται όλα τα pixels, αλλά γίνεται κατάλληλη υποδειγματοληψία), και στην οποία το n ισούται με 2 3 Μια άλλη μετρική που χρησιμοποιείται αρκετά συχνά, ιδίως στην περίπτωση των ιστογραμμάτων, είναι η απόσταση χ-τετράγωνο ( χ 2): 2.5 Χρονικό παράθυρο Μια άλλη σημαντική πτυχή των αλγορίθμων ανίχνευσης ορίου πλάνου είναι το χρονικό παράθυρο που χρησιμοποιείται για την εκτέλεση της διαδικασίας ανίχνευσης των αλλαγών πλάνου [7]. Με τον όρο "χρονικό παράθυρο εννοούμε το πλήθος των πλαισίων που χρησιμοποιούνται κάθε φορά για την ανίχνευση πιθανών αλλαγών πλάνου σε κάποιο πλαίσιο. Γενικά, ο στόχος είναι να επιλεχτεί ένα χρονικό παράθυρο που περιέχει ένα αντιπροσωπευτικό ποσό τηλεοπτικής δραστηριότητας. 3 Η Ευκλειδεια απόσταση των δυο εικόνων Σελ. 15 από 48

16 2. Χαρακτηριστικά γνωρίσματα βίντεο και αξιολόγηση τους Οι πλέον συνηθισμένες επιλογές είναι οι εξής: 1. Δύο πλαίσια: Ο απλούστερος τρόπος για την ανίχνευση ασυνεχειών μεταξύ των πλαισίων είναι η εξαγωγή (και ο έλεγχος) της τιμής του εκάστοτε επιλεγμένου κριτηρίου ασυνέχειας μεταξύ δύο διαδοχικών πλαισίων. Εντούτοις, μια τέτοια προσέγγιση μπορεί να αποτύχει να διαχωρίσει τις μεταβάσεις μεταξύ δύο διαφορετικών πλάνων και τις πιθανές αλλαγές μέσα στο ίδιο πλάνο όταν υπάρχει σημαντική διαφοροποίηση στη δραστηριότητα μεταξύ των διαφορετικών μερών του βίντεο ή όταν ένα πλάνο περιέχει ορισμένα πλαίσια με πολύ μικρές ασυνέχειες (π.χ. φωτογραφικές λάμψεις, αστραπές ή πυροβολισμοί). Η προσέγγιση αυτή, επίσης, παρουσιάζει δυσκολία στην ανίχνευση των βαθμιαίων μεταβάσεων. 2. Παράθυρο η-πλαισίων: Η πιο συνηθισμένη τακτική για την επίλυση των προαναφερθέντων προβλημάτων είναι η αναζήτηση ασυνεχειών με τη εξαγωγή των χαρακτηριστικών γνωρισμάτων όλων των πλαισίων που βρίσκονται σε ένα κατάλληλα ρυθμισμένο χρονικό παράθυρο η πλαισίων, με το κεντρικό πλαίσιο να αποτελεί το σημείο στο οποίο προσπαθούμε να εντοπίσουμε μια πιθανή ασυνέχεια. Το μέγεθος του παραθύρου, σε αυτές τις περιπτώσεις, αποτελεί παράμετρο του εκάστοτε αλγορίθμου ανίχνευσης αλλαγών, ενώ η συνηθέστερη επιλογή για το η είναι αυτή ενός περιττού αριθμού, καθώς με αυτό τον τρόπο δημιουργούνται δύο περιοχές με ίσο αριθμό πλαισίων γύρω από το κεντρικό πλαίσιο (αν και κάτι τέτοιο δεν είναι απαραίτητο). 3. Διάστημα από την τελευταία αλλαγή πλάνου: Μια άλλη πιθανή επιλογή (ίσως η προφανέστερη) είναι ο υπολογισμός μίας ή περισσότερων στατιστικών από την τελευταία ανιχνευμένη αλλαγή πλάνου μέχρι το τρέχον πλαίσιο, και ο έλεγχος του αν το αμέσως επόμενο πλαίσιο είναι σύμφωνο με αυτές τις στατιστικές. Το πρόβλημα με αυτού του είδους τις προσεγγίσεις είναι ότι, σε περίπτωση που υπάρχει μεγάλη μεταβλητότητα μέσα στο ίδιο το πλάνο, οι στατιστικές που υπολογίζονται για αυτό το πλάνο μπορεί να μην εντοπίσουν το τέλος του. 4. Ολόκληρο το βίντεο: Η πιο ενδελεχής μέθοδος είναι η εξαγωγή των χαρακτηριστικών γνωρισμάτων σε ολόκληρο το βίντεο. Και αυτή η μέθοδος, όμως, παρουσιάζει τα ίδια ακριβώς προβλήματα με την προαναφερθείσα προσέγγιση όταν υπάρχει μεγάλη μεταβλητότητα εντός του ιδίου πλάνου, αλλά και μεταξύ διαφορετικών πλάνων. 2.6 Αξιολόγηση απόδοσης Οι βασικότερες μετρικές που χρησιμοποιούνται στα προβλήματα ανίχνευσης και ανάκτησης είναι οι εξής [7]: 12* 1. Η ανάκληση (recall), δηλ. το ποσοστό των ορθών απότομων αλλαγών πλάνων που έχουν ανιχνευθεί από έναν αλγόριθμο. 2. Η ακρίβεια (precision), δηλ. το ποσοστό των ανιχνευμένων απότομων αλλαγών που είναι ορθές. Σελ. 16 από 48

17 Πτυχιακή εργασία της Αποστολίας Δραμαλίδου 3. Η χρονική ακρίβεια (accuracy), που αντιστοιχεί στην απόσταση (σε πλήθος πλαισίων) μεταξύ της θέσης της απότομης αλλαγής που έχει ανιχνευθεί από τον αλγόριθμό μας και της πραγματικής θέσης στην οποία έπρεπε να έχει εντοπιστεί. Ας υποθέσουμε, για παράδειγμα, ότι έχουμε ένα βίντεο που περιέχει 20 απότομες αλλαγές. Μετά την εκτέλεση ενός αλγορίθμου ανίχνευσης απότομων αλλαγών, έστω ότι εντοπίστηκαν 25 αλλαγές, εκ των οποίων οι 17 αντιστοιχούν σε πραγματικές. Στην περίπτωσή μας, συνεπώς, ισχύει: 17 recall = 17 = 0,85 20 precision = = 0,68 Γενικότερα, αν δηλώσουμε με D τις απότομες αλλαγές που ανιχνεύτηκαν ορθά από τον εκάστοτε αλγόριθμο, με DM τις απωλεσθείσες αλλαγές (missed detections), δηλ. τις αλλαγές που έπρεπε να εντοπιστούν αλλά δεν εντοπίστηκαν, και με DF τις λανθασμένες ανιχνεύσεις (false detections), δηλ. τις αλλαγές που εντοπίστηκαν, ενώ δεν έπρεπε να εντοπιστούν, προκύπτει ότι: recall = D D + d m.. D precision= D + D Εκτός, όμως, από τις παραπάνω μετρικές, μπορούν να χρησιμοποιηθούν και ορισμένες άλλες μετρικές, οι οποίες έχουν προταθεί από τον S. J. F. Guimaraes [7]. Έστω4 ότι το α είναι το ποσοστό των σωστών ανιχνεύσεων αλλαγών (το recall, με άλλα λόγια) και ότι το β είναι ο λόγος των λανθασμένων ανιχνεύσεων αλλαγών προς το σύνολο των πραγματικών αλλαγών. Έστω, επίσης, ότι το τ είναι το κατώφλι που χρησιμοποιείται για την ανίχνευση γεγονότος (κανονικοποιημένο στο [0,1]). Είναι φανερό ότι, για διαφορετικές τιμές του τ θα λάβουμε και διαφορετικές τιμές του α και του β, έστω τις α(τ) και β(τ). Με αυτό τον τρόπο, μπορούμε να καθορίσουμε κατάλληλα την τιμή του τα έτσι ώστε τα ποσοστά σφάλματος που θα προκύψουν να είναι (ή να πλησιάζουν σε) κάποιες επιθυμητές από εμάς τιμές. Με βάση, λοιπόν, τα προαναφερθέντα, μπορούμε να προχωρήσουμε στην περιγραφή των σημαντικότερων μετρικών που έθεσαν ο Guimaraes και οι συνεργάτες του. 4 Σύμφωνα, φυσικά, με τους συγγραφείς της [7] Σελ. 17 από 48

18 2. Χαρακτηριστικά γνωρίσματα βίντεο και αξιολόγηση τους 1. Ευρωστία (robustness). Έστω ότι το Pm είναι το ποσοστό των χαμένων ανιχνεύσεων (δηλ. των αλλαγών που, ενώ θα έπρεπε να εντοπιστούν, δεν εντοπίστηκαν) που έχουμε "επιτρέψει (ανάλογα με την επιλεχθείσα τιμή του κατωφλίου) και ότι το Pf είναι το αντίστοιχο ποσοστό των λανθασμένων ανιχνεύσεων. Η ευρωστία μ μετρά το πλάτος του διαστήματος στο οποίο τα ποσοστά α και β έχουν τιμές μικρότερες από (1 - Pm) και Pf, αντίστοιχα. Η τιμή της ευρωστίας κυμαίνεται μεταξύ του 0 και του 1 και δίνεται από τον εξής τύπο: μ{ρ,ρ, )= «- (1 - P )-β -' (Pf ) όπου a 1 και β -1 είναι τα οι αντίστροφες τιμές των α(τ) και β(τ), αντίστοιχα. Είναι φανερό ότι, όσο μεγαλύτερη είναι η τιμή της ευρωστίας, τόσο μικρότερα θα είναι τα ποσοστά σφαλμάτων. Εικόνα 5: Μέτρο ευρωστίας (μ) Στην Εικόνα 5, μπορούμε να δούμε καθαρά τον τρόπο με τον οποίο υπολογίζεται η ευρωστία σε σχέση με τα α(τ) και β(τ). 2. Λάθος χωρίς χαμένες ανιχνεύσεις (Missless error). Η μετρική αυτή συνδέεται με το ποσοστό των λανθασμένων ανιχνεύσεων όταν έχουμε αποτελέσματα χωρίς καμία χαμένη ανίχνευση (στην πράξη, επιτρέπεται ένα πολύ μικρό ποσοστό χαμένων ανιχνεύσεων, της τάξης του 3%), και υπολογίζεται από τον εξής τύπο: Εm(Pm) = β(ΐώ3χ{ τ = α ι (q) 1- q < pm}) 3. Ανάκληση χωρίς λανθασμένες ανιχνεύσεις (Falseless recall). Αυτή η μετρική συνδέεται με το ποσοστό των σωστών ανιχνεύσεων που λαμβάνουμε όταν έχουμε αποτελέσματα χωρίς καμία λανθασμένη ανίχνευση (στην πράξη επιτρέπεται ένα πολύ μικρό ποσοστό λαθών, της τάξης του 1%), και δίνεται από τον εξής τύπο Σελ. 18 από 48

19 Πτυχιακή εργασία της Αποστολίας Δραμαλίδου Κί (ρ/ ) = α( η{γ = β 1(ρ) ρ < Ρ/ }) 2.7 Επίλογος Στο κεφάλαιο αυτό κάναμε μια εκτενή αναφορά στα σημαντικότερα χαρακτηριστικά γνωρίσματα που μπορούν να εξαχθούν από ένα πλαίσιο (ή και περισσότερα) του βίντεο μας και τον τρόπο με τον οποίον αυτά μπορούν (είτε μεμονωμένα είτε σε συνδυασμό μεταξύ τους) για την ανίχνευση απότομων ή βαθμιαίων αλλαγών πλάνου. Επίσης, εξετάσαμε ορισμένες από τις πλέον χρησιμοποιούμενες μετρικές αξιολόγησης των αλγορίθμων αυτόματης εύρεσης αλλαγών πλάνου. Όπως αναφέραμε και πριν, πολλά από τα γνωρίσματα που μπορούν να εξαχθούν από ένα βίντεο μπορούν να συνδυαστούν με πολλούς και διάφορους τρόπους μεταξύ τους. Το πώς μπορεί να γίνει κάτι τέτοιο, θα το δούμε στο επόμενο κεφάλαιο... Σελ. 19 από 48

20 3. Αλγόριθμοι αυτόματης εύρεσης απότομων αλλαγών πλάνου Κεφάλαιο 3: Αλγόριθμοι αυτόματης εύρεσης απότομων αλλαγών πλάνου 3.1 Εισαγωγή Στο προηγούμενο κεφάλαιο έγινε μια ανάλυση των βασικών χαρακτηριστικών γνωρισμάτων που μπορούν να εξαχθούν από ένα βίντεο και τα οποία, κατόπιν, μπορούν να χρησιμοποιηθούν για την αυτόματη εύρεση των απότομων αλλαγών του πλάνου. Επίσης, έγινε μια αναφορά στα βασικότερα κριτήρια που χρησιμοποιούνται για την αξιολόγηση ενός αλγορίθμου βήοί-οϋί άθΐβοίΐοπ. Όπως αναφέρθηκε και προηγουμένως, τα χαρακτηριστικά γνωρίσματα ενός βίντεο (π.χ. ιστόγραμμα, ακμές κλπ.) μπορούν να χρησιμοποιηθούν αυτόνομα, ή σε ποικίλους συνδυασμούς μεταξύ τους. Το γεγονός αυτό είχε σαν συνέπεια την ενασχόληση πολλών ερευνητικών ιδρυμάτων ανά την υφήλιο και την αντίστοιχη πρόταση ενός αρκετά σημαντικού αριθμού αλγορίθμων εύρεσης απότομων (ή και βαθμιαίων) αλλαγών πλάνου σε ένα βίντεο. Ορισμένοι από αυτούς θα αναλυθούν στα επόμενα υποκεφάλαια. 3.2 Κατηγορίες μεθόδων ανίχνευσης αλλαγής πλάνου Για να οργανώσουμε και να παρουσιάσουμε καλύτερα τους αλγορίθμους που θα αναφερθούν σε αυτό το κεφάλαιο, καλό θα είναι αρχικά να τους κατατάξουμε σε κατηγορίες, με βάση κάποιο κατάλληλο κριτήριο. Θα μπορούσαμε, ενδεχομένως, να τους κατηγοριοποιήσουμε με βάση το αν ανιχνεύουν απότομες ή βαθμιαίες αλλαγές πλάνου' αυτό, όμως, από μόνο του δεν είναι αρκετό, καθώς υπάρχει η δυνατότητα περαιτέρω κατηγοριοποίησής τους. Ένα αρκετά ποιοτικό κριτήριο, το οποίο και θα χρησιμοποιήσουμε στην παρούσα εργασία, είναι ο τρόπος με τον οποίον ο εκάστοτε αλγόριθμος εντοπίζει τα σημεία στα οποία τα χαρακτηριστικά γνωρίσματα των πλαισίων παρουσιάζουν κάποιου είδους ασυνέχειες. Αυτό μπορεί να γίνει με τους εξής τρόπους [7]: 1. Σταθερό κατώτατο όριο (σταθερό κατώφλι): Αυτή είναι η πλέον βασική και συχνότερα χρησιμοποιούμενη μέθοδος απόφασης. Με τον τρόπο αυτό, υπολογίζεται αρχικά η τιμή του εκάστοτε επιλεγμένου κριτηρίου ανομοιότητας5, και στη συνέχεια συγκρινεται με ένα προεπιλεγμένο, σταθερό κατώφλι (threshold). Αν το κατώφλι ξεπεραστεί, τότε ο αλγόριθμος έχει εντοπίσει μια αλλαγή πλάνου. Η μέθοδος του σταθερού κατώτατου ορίου αποδίδει καλά αν τα χαρακτηριστικά γνωρίσματα του περιεχομένου του βίντεο δεν παρουσιάζουν σημαντικές μεταβολές με την πάροδο του χρόνου, και μόνο εάν το κατώτατο όριο έχει, αρχικά, ρυθμιστεί με το χέρι για κάθε βίντεο. 5 Για τα κριτήρια ανομοιοτητας, βλ. 2.4 Σελ. 20 από 48

21 Πτυχιακή εργασία της Αποστολίας Δραμαλίδου 2. Προσαρμοζόμενο κατώτατο όριο: Η μέθοδος του σταθερού κατώτατου ορίου μπορεί να δώσει επαρκή αποτελέσματα για μια συγκεκριμένη τιμή και για ένα συγκεκριμένο βίντεο, αλλά κανείς δεν μπορεί να εγγυηθεί ότι η ίδια τιμή μπορεί να οδηγήσει σε εξίσου επαρκή αποτελέσματα και σε οποιοδήποτε άλλο βίντεο. Μια προφανής, και σχετικά συχνά χρησιμοποιούμενη, λύση για το συγκεκριμένο (όπως και στα άλλα) πρόβλημα είναι η μεταβολή του κατώτατου ορίου με βάση ένα συγκεκριμένο στατιστικό κριτήριο (π.χ. μέση τιμή ή τυπική απόκλιση) των μετρικών διαφοράς χαρακτηριστικών γνωρισμάτων, η τιμή του οποίου υπολογίζεται μέσα σε ένα χρονικό παράθυρο. 3. Πιθανολογική ανίχνευση (probabilistic detection): Ένας από τους πλέον ενδελεχείς τρόπους για την ανίχνευση πιθανών αλλαγών σε πλάνα είναι η πιθανολογική ανίχνευση. Αυτή εκμεταλλεύεται το γεγονός ότι οι διάφοροι τύποι αλλαγών πλάνου παρουσιάζουν ένα συγκεκριμένο πρότυπο, το οποίο διαφέρει από αλλαγή σε αλλαγή. Συνεπώς, μπορούμε να μορφοποιήσουμε, σε πρώτη βάση, τα πρότυπα αυτά (βασιζόμενοι σε συγκεκριμένα βίντεο, τα οποία μπορούν να αποτελέσουν ένα σύνολο εκπαίδευσης), και στη συνέχεια να επιχειρήσουμε να εκτιμήσουμε τον τύπο μιας αλλαγής που εντοπίστηκε σε ένα νέο βίντεο, κάνοντας χρήση κατάλληλα επιλεγμένων συναρτήσεων εκτίμησης πιθανότητας. 4. Εκπαιδευμένος ταξινομητής. Μια εντελώς διαφορετική στρατηγική για την ανίχνευση των αλλαγών πλάνου είναι η διατύπωση του προβλήματός μας ως ένα πρόβλημα κατηγοριοποίησης, στο οποίο τα πλαίσια κατατάσσονται (ανάλογα με τα αντίστοιχα χαρακτηριστικά γνωρίσματά τους) σε δύο κατηγορίες, την "αλλαγή πλάνου και την "μη αλλαγή πλάνου. Στη συνέχεια, με βάση τις κατηγορίες αυτές, πραγματοποιείται η εκπαίδευση ενός ταξινομητή (π.χ. ένα νευρωνικό δίκτυο ή ένα Support Vector Machine), ο οποίος θα χρησιμοποιηθεί για την κατάταξη των πλαισίων ενός βίντεο σε μία από τις δύο προαναφερθείσες κατηγορίες. 3.3 Μέθοδοι που χρησιμοποιούν σταθερό κατώτατο όριο Singular Value Decomposition (SVD) [15] Η Singular Value Decomposition (SVD) είναι μια ιδιαίτερα ισχυρή τεχνική της γραμμικής άλγεβρας, η οποία χρησιμεύει για την εξαγωγή της γεωμετρικής δομής ενός πίνακα (μια σημαντική πληροφορία για πολλούς μαθηματικούς υπολογισμούς στους οποίους εμπλέκονται πίνακες). Η SVD ενός πίνακα Α με Μ γραμμές και Ν στήλες, στον οποίον ο αριθμός των γραμμών Μ είναι μεγαλύτερος ή ίσος από τον αριθμό των στηλών Ν, είναι οποιαδήποτε παραγοντοποίηση της μορφής A = U Z V T Σελ. 21 από 48

22 3. Αλγόριθμοι αυτόματης εύρεσης απότομων αλλαγών πλάνου όπου τα ϋ και V είναι δύο ορθογώνιοι6 πίνακες (διαστάσεων Μ * Ν και Ν * Ν, αντίστοιχα)7, και ο Σ = diag(σ1,...,σκ ) είναι ένας διαγώνιος πίνακας με μη αρνητικά στοιχεία, για τον οποίον ισχύουν τα εξής: και σ1>... >σ Η> 0 R = μιϊπ(μ, Ν ) Οι τιμές σί αποκαλούνται μοναδικές τιμές, ενώ οι πρώτες Η στήλες των πινάκων V και ϋ αποκαλούνται αριστερά και δεξιά μοναδικά διανύσματα, αντίστοιχα. Η ΟθΓΠθΚον8 και τους επιβλέποντές της επιχείρησαν στην [10] να χρησιμοποιήσουν την βνϋ για την ανίχνευση απότομων αλλαγών σε βίντεο8. Συγκεκριμένα: 1. Αρχικά, δημιουργήθηκε ένα Μ-διάστατο χαρακτηριστικό διάνυσμα για κάθε πλαίσιο / ενός βίντεο. Για την δημιουργία του υπολογίστηκαν τα ιστογράμματα των 3 καναλιών του μοντέλου ΚΘΒ, τα οποία κανονικοποιήθηκαν σε μια 16-βάθμια κλίμακα (με αυτόν τον τρόπο, το κάθε διάνυσμα αποτελείτο από Μ = 163 = 4096 στοιχεία). Στη συνέχεια, όλα τα ^ τοποθετήθηκαν κατά τέτοιο τρόπο ώστε να δημιουργηθεί ένας νέος πίνακας, ο Α =? ι 3 ν ], διαστάσεων Μ * Ν. 2. Στη συνέχεια, εφάρμοσαν στον πίνακα Α την βνϋ, ούτως ώστε να μειώσουν τη διάσταση του χώρου των χαρακτηριστικών γνωρισμάτων από Μ σε Κ (Κ <<^, με το Κ ορίζεται από τον χρήστη -στα πειράματά της, η ΟθΓΠθΚον8 όρισε για τιμή του Κ το 10-), διατηρώντας μονάχα τις Κ μεγαλύτερες μοναδικές τιμές του πίνακα Σ που προέκυπτε από την βνϋ (δημιουργία, δηλ., του υποπίνακα Σ k). Με αυτό τον τρόπο, κάθε διάνυσμα-στήλη του πίνακα Α (δηλ. κάθε ) αντιστοιχιζόταν σε ένα διάνυσμα-γραμμή ν ;, με το τελευταίο να προκύπτει από την σχέση: 6 Ένας τετραγωνικός πίνακας Α λέγεται ορθογώνιος όταν ισχύει ΛΑΤ = Α Τ Α = I. 7 Στην περίπτωσή μας, μόνο ο V είναι κανονικός ορθογώνιος. Για τον ϋ ισχύει ότι οι στήλες του είναι ορθοκανονικές, δηλ. ισχύει υ Τυ = I 8 Το πραγματικό θέμα της δημοσίευσης ήταν η κατάτμηση του βίντεο, η οποία έχει σαν πρώτο της βήμα την ανίχνευση των απότομων αλλαγών. Σελ. 22 από 48

23 Πτυχιακή εργασία της Αποστολίας Δραμαλίδου ~ = ν Σ, I! ί< όπου το νί είναι η γραμμή I του πίνακα V (ο οποίος προέκυπτε από την SVD). 3. Το επόμενο βήμα ήταν ο καθορισμός μιας μετρικής συγκρίσεως. Για τον σκοπό αυτό χρησιμοποιήθηκε η γωνία μεταξύ των διανυσμάτων ν ; και Φ(ίι,fj) = cos(~, ~ ) = (~ ~ ) Όσο πιο πολύ διαφέρουν δύο πλαίσια I και /, τόσο πιο κοντά στο 0 θα βρίσκεται το Φ(f ι, / ). Για τον σκοπό αυτό υιοθετήθηκε ένα κατώφλι δ (δ ε [0,1]), με το οποίο γίνεται η σύγκριση δύο πλαισίων με βάση το προαναφερθείσα μετρική. αν το αποτέλεσμα της μετρικής βρεθεί κάτω από το κατώφλι δ, θεωρείται ότι έχει εντοπιστεί μια αλλαγή πλάνου, αλλιώς θεωρείται ότι τα δύο πλαίσια βρίσκονται στο ίδιο πλάνο. Με βάση αυτό το χαρακτηριστικό, στη συνέχεια, γινόταν και η κατάτμηση του βίντεο [Για την ακρίβεια, η σύγκριση δεν γίνεται μεταξύ δύο πλαισίων, αλλά μεταξύ ενός πλαισίου και του μέσου όρου των πλαισίων που έχει ήδη εντοπιστεί ότι ανήκουν στο τρέχον πλάνο] Μοντελοποίηση χρονικών στατιστικών Η μεθοδολογία που αναφέρθηκε στο προηγούμενο υποκεφάλαιο έκανε χρήση χαρακτηριστικών γνωρισμάτων από μια σειρά πλαισίων, η οποία ξεκινούσε από την τελευταία αλλαγή πλάνου (βλ. 2.5). Το ίδιο ακριβώς στοιχείο προσπάθησαν να εκμεταλλευτούν, επίσης, οι Liu και Chen, οι οποίοι πρότειναν στην [21] την παρακάτω μέθοδο: 1. Σε πρώτη φάση, λαμβάνονται τα ιστογράμματα από μια σειρά πλαισίων910 τα οποία ανήκουν στο ίδιο πλάνο. Το επόμενο βήμα είναι η κατασκευή ενός ιδιοχώρου, δηλ. ενός συνόλου από χαρακτηριστικά διανύσματα (τα λεγόμενα και ιδιοδιανύσματα), με βάση αυτά τα ιστογράμματα. Για την κατασκευή του ιδιοχώρου οι Liu και Chen χρησιμοποίησαν μια από τις πλέον δημοφιλείς και αποτελεσματικές μεθόδους της Αναγνώρισης Προτύπων, την p Ca (Principal Component Analysis). 2. Στη συνέχεια, υπολογίζεται το ιστόγραμμα Χ η ενός νέου πλαισίου η, το οποίο και προβάλλεται στον υπάρχοντα ιδιοχώρο, σύμφωνα με τον τύπο: 9 Εννοείται ότι στη συγκεκριμένη μέθοδο, όταν αναφερόμαστε σε σύγκριση πλάνων εννοούμε την σύγκριση των αντίστοιχων διανυσμάτων-γραμμή ν 10 Εννοείται ότι η όλη διαδικασία ξεκινάει από το 1ο πλαίσιο του βίντεο. Σελ. 23 από 48

24 3. Αλγόριθμοι αυτόματης εύρεσης απότομων αλλαγών πλάνου = φ(^ ( κ η - Μ η_ι) I 1,2,..., Ν όπου το ^ - ι είναι το I ιδιοδιάνυσμα του τρέχοντος ιδιοχώρου, το Ν είναι το μέγεθος του ιδιοχώρου (συνήθως αυτό ταυτίζεται με τον αριθμό των πλαισίων του τρέχοντος πλάνου, αλλά μπορεί να είναι και μικρότερο), το /V Μ η-ι είναι η μέση τιμή των ιστογραμμάτων στη χρονική στιγμή η-1, και το είναι ο I ο συντελεστής του Χ η στον ιδιοχώρο μας. 3. Με βάση τους παραπάνω υπολογισθέντες συντελεστές, κατασκευάζουμε το παρακάτω ιστόγραμμα: Ν Χ η = Σ ^ -1 + Μ η-1 ι =1 το οποίο αποτελεί προσέγγιση του αρχικού ιστογράμματος Χ. Η διαφορά μεταξύ των δύο αυτών ιστογραμμάτων: ε n 2 μπορεί να χρησιμοποιηθεί ως κριτήριο για το πόσο καλά "ταιριάζει το ιστόγραμμα Χ η στον παρόντα ιδιοχώρο (και, κατά συνέπεια, αν ανήκει στο ίδιο πλάνο). Αν η απόσταση εη είναι αρκετά μικρή, το πλαίσιο η θεωρείται ότι ανήκει στο ίδιο πλάνο. σε αντίθετη περίπτωση (αν, δηλ., ξεπερνάει ένα προκαθορισμένο, σταθερό κατώφλι), το πλαίσιο η αποτελεί σημείο απότομης αλλαγής Συσχετισμός συχνοτήτων Η Porter και οι συνεργάτες της [19], στα πλαίσια της ανάπτυξης ενός συστήματος για την αρχειοθέτηση και διαχείριση τηλεοπτικών εκπομπών του BBC για την άγρια ζωή, υιοθέτησαν μια νέα μέθοδο ανίχνευσης απότομων αλλαγών. Σύμφωνα με αυτούς, από την στιγμή που στις συγκεκριμένες εκπομπές αφενός μεν περιέχονται σημαντικές ποσότητες κίνησης, αφετέρου δε πολλά νέα πλάνα ξεχωρίζουν από τα προηγούμενα απλά και μόνο στο ότι έχουν ληφθεί από διαφορετική οπτική γωνία, θεώρησαν ότι τα ιστογράμματα δεν θα μπορούσαν να τους βοηθήσουν σημαντικά στην εργασία τους. Για τον σκοπό αυτό πρότειναν τη χρήση της παρακάτω μεθόδου: Αρχικά, γίνεται ο διαχωρισμός του πλαισίου n σε τμήματα, μεγέθους 32x32 pixels. Στη συνέχεια, για ένα συγκεκριμένο τμήμα του τρέχοντος πλαισίου αναζητείται ένα άλλο τμήμα, στο αμέσως επόμενο πλαίσιο (σε μια "γειτονιά του αντίστοιχου τμήματος στο νέο πλαίσιο), το οποίο "ταιριάζει καλύτερα με το αρχικό τμήμα. Για τον σκοπό αυτό, αρχικά υπολογίζεται η Σελ. 24 από 48

25 Πτυχιακή εργασία της Αποστολίας Δραμαλίδου κανονικοποιημένη συσχέτιση των τμημάτων, και στη συνέχεια εντοπίζεται ο συντελεστής συσχέτισης με το μεγαλύτερο πλάτος. Ο υπολογισμός της κανονικοποιημένης συσχέτισης γίνεται στον χώρο των συχνοτήτων (σε αντίθετη περίπτωση, το υπολογιστικό κόστος είναι ιδιαίτερα μεγάλο, εκτός και αν τα τμήματα είναι πάρα πολύ μικρά) σύμφωνα με τον παρακάτω τύπο: ρ(ξ) F '{x, {ω)χ2(ω)} y j X! (ω)2όω J Χ2(ω ) όω όπου τα ξ και ω είναι, αντίστοιχα, τα διανύσματα των χωρικών και των συχνοτικών συντεταγμένων,το X,. (ω) είναι ο μετασχηματισμός Fourier του πλαισίου χ (ξ), το F 1 είναι ο αντίστροφος μετασχηματισμός Fourier, και το x*(ω) είναι ο μιγαδικός συζυγής του χ2(ω). Το επόμενο βήμα είναι ο ορισμός μιας μετρικής για κάθε ζεύγος πλαισίων. Η Porter και οι συνεργάτες της χρησιμοποίησαν τα πλάτη των μέγιστων συσχετίσεων από όλα τα τμήματα των δύο πλαισίων, και υπολόγισαν την μέση τιμή τους (την Μ α) και την τυπική τους απόκλιση (την σα). Αμέσως μετά, υπολόγισαν μια νέα μέση τιμή, την M b, αφαιρώντας από την Μ α όλες τις μέγιστες συσχετίσεις που απείχαν από την Μ α περισσότερο από σα. Το τελευταίο βήμα είναι η σύγκριση των Mb για το τρέχον ζεύγος πλαισίων και για το αμέσως επόμενο. Σε περίπτωση που ο αλγόριθμος εντοπίσει σημαντική μείωση στα αντίστοιχα Mb (μεγαλύτερη από μια προκαθορισμένη τιμή), θεωρείται ότι σε εκείνο το σημείο υπάρχει απότομη αλλαγή πλάνου. Αξίζει, σε αυτό το σημείο, να σημειωθεί ότι η μέθοδος αυτή, όπως απεδείχθη από την ίδια ερευνητική ομάδα [14], μπορεί να επεκταθεί κατάλληλα έτσι ώστε να εντοπίζει και βαθμιαίες αλλαγές σε ένα βίντεο Διαχωρισμός γράφων Μια αρκετά ενδιαφέρουσα θεώρηση του προβλήματος της ανίχνευσης αλλαγών πλάνου είναι η αναπαράσταση ενός βίντεο με τη βοήθεια ενός γράφου με βάρη. Με αυτή την αναπαράσταση, τα πλαίσια του βίντεο απεικονίζονται ως κόμβοι ενός γράφου, το βάρος των οποίων αντιστοιχεί στην διαφορά μεταξύ δύο πλαισίων. Στην περίπτωση αυτή, η αναζήτηση των διαφορετικών πλάνων καταλήγει στην αναζήτηση των αδύναμων κρίκων μεταξύ των κόμβων και στη δημιουργία υπογράφων, ο καθένας από τους οποίους θα αντιστοιχεί σε ένα ξεχωριστό πλάνο. Η προσέγγιση αυτή χρησιμοποιήθηκε από την Cemekova και τους επιβλέποντές της [15] για την ανίχνευση βαθμιαίων αλλαγών πλάνου όπως διάλυση, ξεθώριασμα και σβήσιμο. Στη δημοσίευση αυτή, ως μετρική της ομοιότητας μεταξύ δύο πλαισίων (και ως βάρος για τους κόμβους του Σελ. 25 από 48

26 3. Αλγόριθμοι αυτόματης εύρεσης απότομων αλλαγών πλάνου γράφου) χρησιμοποιήθηκε η αμοιβαία πληροφορία (Mutual Information, MI), η οποία αρχικά υπολογίστηκε ξεχωριστά για κάθε συντελεστή του χρωματικού μοντέλου RGB. Πιο συγκεκριμένα, στην περίπτωση του χρωματικού καναλιού R, η αμοιβαία πληροφορία μεταξύ δύο πλαισίων k και l υπολογίζεται ως εξής: όπου το (i, j ) ισούται με τον αριθμό των pixels των οποίων η τιμή του καναλιού R αλλάζει από i (στο πλαίσιο t) σε j (στο πλαίσιο t+1) προς τον συνολικό αριθμό των pixels που διαθέτει το πλαίσιο, και αντιστοιχεί στην πιθανότητα ένα pixel με τιμή i στο πλαίσιο t (στο κανάλι R) να αποκτήσει την τιμή j στο πλαίσιο t+1. Η συνολική αμοιβαία πληροφορία για δύο πλαίσια fk και f δίνεται από τον τύπο: i (fk, f )= C +k + 1, B k,l Αν και ο γράφος μπορεί να δημιουργηθεί για όλα τα πλαίσια του βίντεο, κάτι τέτοιο δεν θεωρήθηκε απαραίτητο, καθώς οι πληροφορίες που αφορούν π.χ. το 1ο πλάνο δεν συσχετίζονται με τις αντίστοιχες πληροφορίες του τελευταίου πλάνου ενός βίντεο. Για τον σκοπό αυτό, συνδέθηκαν μεταξύ τους μονάχα οι κόμβοι που βρίσκονται εντός ενός κυλιόμενου χρονικού παραθύρου Μ (το οποίο μετακινείται σε όλα τα σημεία του βίντεο). Στη συνέχεια, για κάθε πλαίσιο / του βίντεο υπολογίζεται η παρακάτω ποσότητα, η οποία συνδυάζει στοιχεία από όλα τα πλαίσια που ανήκουν εντός του παραθύρου: i i +δ L m m ()= Σ Σ I ( f k, f ) k = i- δ l= i+1 όπου το δ είναι το μισό του παραθύρου ΙΜ Το επόμενο βήμα είναι η εξέταση όλων των Ιουηηι(/) η τιμή των οποίων δεν ξεπερνάει ένα πειραματικά καθορισμένο κατώτατο όριο. Σε πρώτο στάδιο, εντοπίζονται όλα τα πλαίσια στα οποία η πρώτη παράγωγος της Ιουηηι (/) αλλάζει πρόσημο και ελέγχεται αν τα αντίστοιχα σημεία διαθέτουν θετική δεύτερη παράγωγο. Με αυτό τον τρόπο επιχειρείται ο εντοπισμός των τοπικών ελαχίστων της Ιουηη (/), τα οποία θεωρούνται και τα πιθανότερα σημεία για την εμφάνιση μιας αλλαγής πλάνου. Το τελευταίο βήμα για τον εντοπισμό του είδους της αλλαγής πλάνου είναι η ανεύρεση των χρονικών σημείων και στα οποία ξεκινάει και τερματίζει η αλλαγή πλάνου. Για την ανεύρεση των σημείων αυτών ελέγχθηκε η δεύτερη παράγωγος της Ιουηηι (/) και τα σημεία γύρω από το πλαίσιο / στα οποία αυτή αλλάζει πρόσημο. Στην περίπτωση που η διαφορά μεταξύ των και είναι μεγαλύτερη από 3 (ή ίση με 3), η μέθοδος θεωρεί ότι έχει εντοπίσει μια Σελ. 26 από 48

27 Πτυχιακή εργασία της Αποστολίας Δραμαλίδου βαθμιαία αλλαγή' σε αντίθετη περίπτωση, η αλλαγή που έχει εντοπιστεί ταυτοποιείται ως απότομη Εντροπία Η ίδια ερευνητική ομάδα που ασχολήθηκε με τον διαχωρισμό γράφων (βλ ) είχε χρησιμοποιήσει, μερικά χρόνια νωρίτερα, την αμοιβαία πληροφορία σε συνδυασμό με την κοινή εντροπία (Joint Entropy, [17]) για την ανίχνευση απότομων (αλλά και βαθμιαίων - συγκεκριμένα, των fades) αλλαγών. Πιο συγκεκριμένα: 1. Για την ανίχνευση των απότομων αλλαγών χρησιμοποιείται η αμοιβαία πληροφορία, καθώς μια μικρή τιμή της Itt+1 μπορεί να οδηγήσει στον εντοπισμό μιας απότομης αλλαγής μεταξύ των πλαισίων f και f +1. Σε πρώτη φάση υπολογίζεται η αμοιβαία πληροφορία για όλα τα πλαίσια του βίντεο εκτός των δύο τελευταίων' στη συνέχεια, για κάθε πλαίσιο f υπολογίζεται η μέση τιμή όλων των αμοιβαίων πληροφοριών για τα πλαίσια που ανήκουν σε ένα χρονικό παράθυρο W γύρω από το f, εξαιρώντας την αμοιβαία πληροφορία του τρέχοντος (trimmed mean value, [18]): Τέλος, ελέγχεται αν η ποσότητα I. = e [i,.,+11 t c w, t * tc / tc / tc,tc +1 είναι μεγαλύτερη από ένα προκαθορισμένο κατώτατο όριο. Στην περίπτωση αυτή, η μέθοδος ανιχνεύει μια απότομη αλλαγή. 2. Στην περίπτωση των fades, αντίθετα, χρησιμοποιείται η κοινή εντροπία, ούτως ώστε να υπολογιστούν με ακρίβεια τα σημεία έναρξης και λήξης του fade και να μπορέσει ο αλγόριθμος να τα ξεχωρίσει από τις απότομες αλλαγές. Σε πρώτη φάση, συνεπώς, υπολογίζεται η συνολική κοινή εντροπία για όλα τα πλαίσια του βίντεο (εκτός από τα δύο τελευταία) [Στο σημείο αυτό θα πρέπει να ξεκαθαριστεί ότι η κοινή εντροπία HRM της μετάβασης από το πλαίσιο f στο πλαίσιο f +1, για το χρωματικό κανάλι R, δίνεται από τον τύπο: N-1 N-1 HRt+1 = - Σ Σ 5 +1(a J ) o9c5+1(a J), i=0 j=0 ενώ η συνολική κοινή εντροπία υπολογίζεται ως εξής: Η H R 4- H G 4- Η Β 1 H t,t+1 = H t,t+1 + H t,t+1 + H t,t+1] Σελ. 27 από 48