ΑΡΧΙΜΗ ΗΣ - ΕΝΙΣΧΥΣΗ ΕΡΕΥΝΗΤΙΚΩΝ ΟΜΑ ΩΝ ΣΤΑ ΤΕΙ

Transcript

1 ΑΡΧΙΜΗ ΗΣ - ΕΝΙΣΧΥΣΗ ΕΡΕΥΝΗΤΙΚΩΝ ΟΜΑ ΩΝ ΣΤΑ ΤΕΙ Υποέργο: «Ανάκτηση και προστασία πνευµατικών δικαιωµάτων σε δεδοµένα πολυδιάστατου ψηφιακού σήµατος (Εικόνες Εικονοσειρές)» Πακέτο Εργασίας 3: Ανάκτηση Εικονοσειρών ΠΑΡΑ ΟΤΕΟ Π10 Έκθεση εφαρµογής των µεθόδων σε πραγµατική βάση δεδοµένων. Επιστηµονικός υπεύθυνος: ρ Βασίλειος Χατζής Οµάδα εργασίας: Κωνσταντίνος ιαµαντάρας Θεόφιλος Παπαδηµητρίου Παναγιώτης Αδαµίδης Μιχαήλ Βασιλακόπουλος Ιωάννης Μαρασλίδης Τ.Ε.Ι. Θεσσαλονίκης.Π.Θ Τ.Ε.Ι. Θεσσαλονίκης Τ.Ε.Ι. Θεσσαλονίκης Τ.Ε.Ι. Θεσσαλονίκης

2 Η ΧΡΗΣΗ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΚΙΝΗΣΗΣ ΓΙΑ ΤΗΝ ΤΑΞΙΝΟΜΗΣΗ ΚΑΙ ΑΝΑΚΤΗΣΗ ΕΙΚΟΝΟΣΕΙΡΩΝ ΒΑΣΕΙ ΤΟΥ ΠΕΡΙΕΧΟΜΕΝΟΥ ΤΟΥΣ Περίληψη Η πληροφορία κίνησης αποτελεί µια θεµελιώδη συνιστώσα της συνολικής πληροφορίας που µεταφέρει µια εικονοσειρά, και µπορεί να παίξει καθοριστικό ρόλο στο χαρακτηρισµό των περιεχοµένων της. Με την έννοια αυτή, η µέθοδος για την κατάλληλη αξιοποίηση της πληροφορίας κίνησης είναι ένα κρίσιµο ερώτηµα που πρέπει να απαντηθεί, αν θέλουµε να επιτύχουµε αποτελεσµατική ταξινόµηση και ανάκτηση εικονοσειρών βάσει του περιεχοµένου τους. Στην εργασία αυτή, παρουσιάζουµε και κατηγοριοποιούµε µια σειρά από πρόσφατες δηµοσιεύσεις πάνω στο ζήτηµα αυτό, και πέρα από την περιγραφή της κατάστασης του κλάδου αυτή τη στιγµή, καθιστούµε ορατή την απουσία µιας ξεκάθαρης απάντησης στο ερώτηµα αυτό, ή έστω µιας κατεύθυνσης που να υπερτερεί συντριπτικά των υπολοίπων. 1. ΕΙΣΑΓΩΓΗ Η ταξινόµηση και ανάκτηση πολυµέσων βάση του περιεχοµένου τους γνωρίζει ολοένα αυξανόµενο ενδιαφέρον ως κλάδος. Σ ένα κόσµο όπου όλο και περισσότερα αρχεία πολυµέσων διατίθενται στο ευρύ κοινό, η αυτόµατη αναγνώριση και περίληψη του περιεχοµένου των πολυµέσων, σε αντίθεση µε το χαρακτηρισµό από το χρήστη, φαίνεται η µόνη εφαρµόσιµη λύση για την πρόσβαση στο υλικό που βρίσκεται αποθηκευµένο στις τεράστιες συλλογές πολυµέσων που εµφανίζονται στις µέρες µας. Όσον αφορά την ανάκτηση εικόνων βάσει του περιεχοµένου τους, τα τελευταία χρόνια έχει σηµειωθεί σηµαντική πρόοδος (επισκοπήσεις της βιβλιογραφίας, βλ. [1], [2], [3], [4]). Για τις ψηφιακές εικονοσειρές (βίντεο), από την άλλη, η προσέγγιση που θα µας επέτρεπε να εκµεταλλευτούµε πλήρως την πληροφορία που περιέχεται σ αυτά αποτελεί ακόµα αντικείµενο συζήτησης. Η ταξινόµηση βίντεο βάσει του περιεχοµένου τους βασίζεται στην επεξεργασία κάποιων χαρακτηριστικών που έχουν εξαχθεί από µια λήψη βίντεο. Η εξαγωγή αυτή των χαρακτηριστικών αποτελείται κατά βάση από δύο στάδια (Σχήµα 1). Αρχικά, η λήψη χωρίζεται στις σκηνές που την αποτελούν. Για το διαχωρισµό, απαιτείται ο εντοπισµός όλων των µεταβάσεων από σκηνή σε σκηνή (είτε αυτές είναι σταδιακές, είτε απότοµες). Από την επεξεργασία των σκηνών προκύπτουν µια σειρά χαρακτηριστικών, τα οποία αποσκοπούν να περιγράψουν την πληροφορία κίνησης και ήχου. Η κατάτµηση ενός βίντεο σε σκηνές έχει προσελκύσει ιδιαίτερο ενδιαφέρον από την ερευνητική κοινότητα κατά την τελευταία δεκαετία, µε αποτέλεσµα την επίτευξη σηµαντικής προόδου στον κλάδο. Ο αναγνώστης παραπέµπεται στα [5] και [6] για περαιτέρω εµβάθυνση. Εικονοσειρά Χρονική κατάτµηση Σκηνή Εξαγωγή χαρακτηριστικών εικόνων Χαρακτηριστικές εικόνες Χρονική πληροφορία (Κίνηση, ήχος, σχέσεις µεταξύ των καρέ) Χωρική πληροφορία (Χρώµα, υφή, σχήµατα, κείµενο, αντικείµενα) Σχήµα 1: Η διαδικασία εξαγωγής χαρακτηριστικών από το ψηφιακό βίντεο. Το δεύτερο βήµα για την εξαγωγή των χαρακτηριστικών είναι η επιλογή ενός ή περισσότερων χαρακτηριστικών καρέ (keyframes) από µια σκηνή, από τα οποία µπορούµε να εξάγουµε χωρική πληροφορία (όπως χρώµα ή υφή). Από τη στιγµή που µια σκηνή βίντεο, αν δε λάβουµε υπ όψη τον ήχο, µπορεί να περιγραφεί ως µια ακολουθία εικόνων χρονικά ταξινοµηµένων, µπορούµε να πούµε πως το βίντεο και η εικόνα είναι πολύ στενά συνδεδεµένα. Κατά συνέπεια, η εξαγωγή της χωρικής πληροφορίας βασίζεται σε τεχνικές παρόµοιες µε αυτές που χρησιµοποιούνται στην ταξινόµηση εικόνων. Η θεµελιώδης διαφορά έγκειται στο γεγονός πως, για το χαρακτηρισµό µιας σκηνής µπορούν να χρησιµοποιηθούν περισσότερες από µία εικόνες, και η επιλογή των χαρακτηριστικών εικόνων µιας σκηνής δεν είναι απλό εγχείρηµα.

3 Όσον αφορά τα χαρακτηριστικά για την περιγραφή κειµένου και ήχου, οι µέθοδοι εξαγωγής τους είναι αρκετά διαφορετικές από αυτές της εικόνας, ακριβώς επειδή αποτελούν εντελώς διαφορετικές µορφές πληροφορίας. Η αξιοποίησή τους στην ταξινόµηση εικονοσειρών υπάγεται σε ένα ξεχωριστό, πολλά υποσχόµενο κλάδο ([7], [8]). Αυτή τη στιγµή, η συνηθέστερη προσέγγιση για την ταξινόµηση βίντεο είναι ο συνδυασµός χωρικών και χρονικών χαρακτηριστικών των σκηνών [9]. Αξίζει να αναφερθεί όµως πως έχουν στο παρελθόν παρουσιαστεί αρκετές προσεγγίσεις ([10], [11], [12], [13]) οι οποίες βασίζονται αποκλειστικά στη χωρική πληροφορία. Στην εργασία αυτή, θα εστιάσουµε αποκλειστικά στη χρήση της πληροφορίας κίνησης για την ταξινόµηση βίντεο και, κατ επέκταση, για την ανάκτησή τους. Ο λόγος για την επιλογή µας αυτή είναι πως το ζήτηµα της επιλογής των περιγραφικότερων χαρακτηριστικών της κίνησης δεν έχει επιλυθεί, και µια σειρά ριζικά διαφορετικών προσεγγίσεων εµφανίζεται αυτή τη στιγµή στη βιβλιογραφία. Η υπόλοιπη εργασία είναι οργανωµένη ως εξής: Η ενότητα 2 ασχολείται µε τη µορφή µε την οποία η πληροφορία κίνησης εµφανίζεται και εξάγεται από τις εικονοσειρές. Η ενότητα 3 περιγράφει τεχνικές που επιδιώκουν περιγραφή της κίνησης χρησιµοποιώντας την πρωτογενή πληροφορία που περιέχεται σε µια εικονοσειρά. Η ενότητα 4 αφορά τις προσεγγίσεις που διαχωρίζουν µεταξύ της κυρίαρχης και της τοπικής κίνησης, ενώ στην ενότητα 5 παρουσιάζονται οι τεχνικές που προσπαθούν να εξάγουν πληροφορία υψηλού επιπέδου, όπως οι κινήσεις της κάµερας ή των αντικειµένων που περιέχονται στην εικονοσειρά. 2. ΠΛΗΡΟΦΟΡΙΑ ΚΙΝΗΣΗΣ ΕΙΚΟΝΟΣΕΙΡΩΝ Η πληροφορία κίνησης µιας ψηφιακής εικονοσειράς συνήθως εµφανίζεται µε τη µορφή πεδίων διανυσµάτων. Για την εκτίµηση ενός διανύσµατος κίνησης, επιλέγουµε ένα µπλοκ σε ένα καρέ, και στη συνέχεια αναζητούµε το µπλοκ που του µοιάζει περισσότερο (βάση κάποιου κριτηρίου) σε ένα επόµενο καρέ, το οποίο µπορεί να είναι το αµέσως επόµενο, αλλά µπορεί να είναι και Ν καρέ µακριά. Έτσι, ένα διάνυσµα κίνησης µας δίνει µια περιγραφή της κίνησης του συγκεκριµένου τµήµατος του καρέ, και του αντικειµένου στο οποίο ανήκει το µπλοκ. Το πεδίο διανυσµάτων µπορεί να είναι πυκνό, όπου σε κάθε εικονοστοιχείο αντιστοιχείται ένα µπλοκ, ή αραιό, όπου δεν υπάρχει αλληλοκάλυψη µεταξύ των µπλοκ, µε αποτέλεσµα να έχουµε ένα διάνυσµα ανά µπλοκ. Αυτή, η ακατέργαστη πληροφορία κίνησης είναι συνήθως χαµηλής αξιοπιστίας και δεν προσφέρει πολλά στην κατανόηση του βίντεο ως έχει, αλλά στις περισσότερες περιπτώσεις αποτελεί τη βάση για τα χαρακτηριστικά που θα επιλέξουµε για την περιγραφή της κίνησης σε µια σκηνή. Το πεδίο διανυσµάτων µπορεί να εξαχθεί µε έναν αλγόριθµο αναζήτησης µπλοκ, όπου, για κάθε µπλοκ σ ένα καρέ, αναζητούµε το κοντινότερό του στο µελλοντικό καρέ που έχουµε επιλέξει και ορίζουµε το αντίστοιχο διάνυσµα κίνησης. Μια άλλη, ολοένα δηµοφιλέστερη προσέγγιση είναι να χρησιµοποιήσουµε την πληροφορία κίνησης που βρίσκεται ενσωµατωµένη στην κωδικοποίηση MPEG ([14], [15]) Η κωδικοποίηση MPEG (Moving Picture Expert Group) συνδυάζει την συµπίεση JPEG µε τεχνικές εκτίµησης κίνησης για να ελαττώσει την περιττή πληροφορία σε µια εικονοσειρά. Ένα βίντεο MPEG αποτελείται από τρείς τύπους καρέ, τα οποία ονοµάζονται I, P, και B. Ένα καρέ τύπου Ι είναι µια εικόνα συµπιεσµένη µε τον αλγόριθµο JPEG. Ένα καρέ τύπου P σχηµατίζεται από τη µετακίνηση των µπλοκ του προηγούµενου καρέ τύπου Ι ή P, ενώ ένα καρέ τύπου B σχηµατίζεται από τη µετακίνηση των µπλοκ του προηγούµενου και του επόµενου καρέ τύπου I ή P. Το µοτίβο µε το οποίο εµφανίζονται οι τρεις τύποι καρέ φαίνεται στο σχήµα 2. I B B P B B I Σχήµα 2: Το µοτίβο IPB στην κωδικοποίηση MPEG

4 Είναι λοιπόν προφανές πως η κωδικοποίηση MPEG εκ φύσεως περιέχει πληροφορία κίνησης, η οποία µάλιστα αφορά την κίνηση και προς τις δυο κατευθύνσεις του άξονα του χρόνου. Η εξαγωγή των διανυσµάτων κίνησης χωρίς να χρειαστεί ένας αλγόριθµος αναζήτησης είναι ένα ξεκάθαρο πλεονέκτηµα, δεδοµένου του ότι οι αλγόριθµοι αναζήτησης µπλοκ έχουν ιδιαίτερα υψηλή υπολογιστική πολυπλοκότητα. Από την άλλη, όµως, πρέπει να λάβουµε υπόψη τον µεγάλο αριθµό διαφορετικών τρόπων αποθήκευσης της πληροφορίας που υπάρχουν. Αυτό έχει ως αποτέλεσµα η εξαγωγή της πληροφορίας κίνησης να αποδεικνύεται ιδιαίτερα δύσκολη, από τη στιγµή που δεν είναι δυνατόν να γνωρίζουµε πως ακριβώς είναι αποθηκευµένη η πληροφορία στο αρχείο. Στην εισαγωγή αναφέρθηκε πως µια εικονοσειρά αποτελείται από έναν αριθµό σκηνών, που διαχωρίζονται από µεταβάσεις. Τα διανύσµατα κίνησης που αντιστοιχούν σε µια τέτοια µετάβαση, προφανώς δε θα έχουν κανένα νόηµα. Από εδώ και στο εξής, εκτός κι αν το αναφέρουµε, θα θεωρείται δεδοµένο πως αναφερόµαστε σε σκηνές, που σηµαίνει πως η αρχική εικονοσειρά έχει κατατµηθεί χρονικά. Πριν προχωρήσουµε µε την περιγραφή των χαρακτηριστικών κίνησης, θα πρέπει να αναφέρουµε πως ορισµένες µεθόδους οι οποίες λαµβάνουν υπόψη τη χρονική πληροφορία που περιέχεται στα βίντεο, χωρίς όµως να χρησιµοποιούν την πληροφορία κίνησης. Για παράδειγµα, για να συγκρίνουµε δυο σκηνές, µπορούµε να επιλέξουµε έναν αριθµό καρέ από την καθεµία, χωρίς να παραβλέπουµε τη χρονική τους διάταξη, και να τα συγκρίνουµε ένα-προς-ένα. Έτσι, στο [16], παρουσιάζονται τεχνικές που αφορούν την επιλογή των καταλληλότερων καρέ από κάθε σκηνή για τη σύγκριση, ακόµα κι αν οι δυο σκηνές προς σύγκριση έχουν διαφορετικές διάρκειες. Στο [17], κάθε καρέ µετατρέπεται σε ένα σηµείο σε έναν υπερχώρο µε σχετικά λίγες διαστάσεις, µε την τεχνική PCA, µε αποτέλεσµα η ακολουθία των καρέ µιας σκηνής να σχηµατίζουν ένα «ίχνος» (trace) στον υπερχώρο αυτόν. Η απόσταση και οι διαφορές µεταξύ των ιχνών χρησιµοποιείται για τη σύγκριση των σκηνών µεταξύ τους. 3. ΧΑΡΑΚΤΗΡΙΣΤΙΚΑ ΚΙΝΗΣΗΣ ΧΑΜΗΛΟΥ ΕΠΙΠΕ ΟΥ Υπάρχει ένας αριθµός µεθόδων στη βιβλιογραφία, όπου η ακατέργαστη πληροφορία κίνησης µιας σκηνής (δηλ. το πεδίο διανυσµάτων) χρησιµοποιείται αυτούσιο για την εξαγωγή χαρακτηριστικών. Από τη στιγµή που το πεδίο διανυσµάτων αποτελείται από έναν αριθµό διανυσµάτων, µια προσέγγιση µπορεί να είναι να χρησιµοποιήσουµε την κατανοµή των γωνιών των διανυσµάτων αυτών [18], όπως και των µέτρων τους [19]. Στο [20], εντοπίζονται οι γωνίες των εικονιζόµενων αντικειµένων, και η πληροφορία κίνησής τους χρησιµοποιείται για τον εντοπισµό αντικειµένων και της κίνησής τους. Στο [21] µια σειρά στατιστικών εξάγεται από τα διανύσµατα κίνησης, όπως η διακύµανση των µέτρων και η επικρατούσα κατεύθυνση. Πρόσφατα, αρκετά πιο εκλεπτυσµένοι τρόποι να αξιοποιηθεί το πεδίο διανυσµάτων έχουν εµφανιστεί. Η «υφή κίνησης» (motion texture) είναι µια µέθοδος που παρουσιάζει ιδιαίτερο ενδιαφέρον ([22], [23]). Τα διανύσµατα κάθε πεδίου οµαδοποιούνται βάσει της γωνίας τους σε 8 χονδροειδείς κατευθύνσεις. Όλα τα διανύσµατα αναπαριστώνται ως σηµεία σε ένα κυκλικό γράφηµα, βάσει της γωνίας τους, όπου η απόσταση του σηµείου από το κέντρο καθορίζεται από το µέτρο του αντίστοιχου διανύσµατος. Τοποθετώντας διαδοχικά πεδία µαζί, ο κύκλος µετατρέπεται σε κύλινδρο. Μπορούµε τότε να «κόψουµε» από τον κύλινδρο αυτόν ένα επίπεδο, το οποίο αντιστοιχεί σε µια συγκεκριµένη γωνία. Στο επίπεδο αυτό, για τη συγκεκριµένη γωνία, θα έχουµε ένα γράφηµα στο οποίο ο ένας άξονας θα είναι ο άξονας του χρόνου, και ο άλλος άξονας θα υποδηλώνει το µέτρο των αντίστοιχων διανυσµάτων. Συγκεντρώνοντας όλα τα δυνατά πεδία, µπορούµε να εξάγουµε στατιστικά σηµεία για την κατανοµή όλων των διανυσµάτων, τα οποία στη συνέχεια µπορούµε να χρησιµοποιήσουµε για το χαρακτηρισµό του βίντεο. Στο [24] µια σκηνή αντικαθίσταται από µια εικόνα διαβαθµίσεων του γκρίζου, όπου η τιµή κάθε εικονοστοιχείου αντιστοιχεί στην ένταση της «δραστηριότητας κίνησης» (motion activity). Η δραστηριότητα της κίνησης µετριέται ως το µέσο µέτρο όλων των διανυσµάτων κίνησης που αντιστοιχούν στο συγκεκριµένο εικονοστοιχείο σε βάθος χρόνου, αφού αφαιρεθούν τα διανύσµατα που έχουν σηµαντικά διαφορετική γωνία από τα υπόλοιπα. Στα [14] και [25], τα διανύσµατα κίνησης ταξινοµούνται βάσει της αξιοπιστίας τους. Μόνο οι αξιόπιστες εκτιµήσεις χρησιµοποιούνται, από τις οποίες εξάγονται στατιστικά που αφορούν το µέτρο των διανυσµάτων. 4. ΚΥΡΙΑΡΧΗ ΚΑΙ ΤΟΠΙΚΗ ΚΙΝΗΣΗ Αν θέλουµε να επιτύχουµε µια περιγραφή υψηλότερου επιπέδου για την κίνηση σε µια σκηνή βίντεο, µπορούµε να ξεκινήσουµε από ένα σαφή διαχωρισµό µεταξύ των διανυσµάτων κίνησης. Υποθέτοντας πως η πλειοψηφία των εικονοστοιχείων σε κάθε καρέ ανήκουν στο φόντο, τότε η πλειοψηφία των διανυσµάτων κίνησης θα έχουν προκύψει ως αποτέλεσµα της κίνησης της κάµερας. Η κίνηση αυτή συχνά αναφέρεται ως κυρίαρχη κίνηση. Φυσικά, η κυρίαρχη κίνηση µπορεί να είναι µηδέν, πράγµα που υποδηλώνει πως η κάµερα είναι ακίνητη. Η περίπτωση αυτή εύκολα εντοπίζεται, όταν

5 η πλειοψηφία των µέτρων των διανυσµάτων έχει τιµή 0. Η υπόλοιπη κίνηση στη σκηνή αποκαλείται τοπική κίνηση, και αφορά pixel ή µπλοκ που ανήκουν σε κινούµενα αντικείµενα. Ένα απλό µοντέλο 2 διαστάσεων είναι αρκετό για την εκτίµηση της κυρίαρχης κίνησης [26], [27]. Κατά συνέπεια, η τοπική κίνηση µπορεί να εκτιµηθεί αν αφαιρέσουµε την κυρίαρχη κίνηση από όλα τα διανύσµατα του πεδίου και εστιάσουµε στα διανύσµατα που καταλήγουν µε µη-µηδενικά µέτρα. Στην περίπτωση αυτή, η τοπική κίνηση θα περιγράφει τα µοτίβα κίνησης των αντικειµένων της σκηνής, και στατιστικά χαρακτηριστικά της κίνησης αυτής µπορούν να χρησιµοποιηθούν για την ταξινόµηση των βίντεο, συνδυασµένα µε την αρχική πληροφορία που µας δίνει το διδιάστατο µοντέλο. Μια εναλλακτική προσέγγιση παρουσιάζεται στο [28], όπου οι περιοχές του πεδίου διανυσµάτων που εµφανίζουν µη µηδενική κίνηση οµαδοποιούνται, και δηµιουργείται ένα ιστόγραµµα των περιοχών αυτών, ανάλογα µε το εµβαδόν τους. Μια περιοχή της οποίας το εµβαδόν είναι µεγαλύτερο από το ½ του εµβαδού του καρέ αντιστοιχείται στο φόντο, ενώ οι υπόλοιπες περιοχές θεωρούνται ως ανήκουσες σε αντικείµενα. Οι ιδιότητες των περιοχών αυτών µπορούν στη συνέχεια να χρησιµοποιηθούν για το χαρακτηρισµό της σκηνής. 5. ΚΙΝΗΣΗ ΚΑΜΕΡΑΣ ΚΑΙ ΑΝΤΙΚΕΙΜΕΝΩΝ Στην προηγούµενη ενότητα, αναφέρθηκε πως µπορούµε να διαχωρίσουµε τα διανύσµατα κίνησης που προκύπτουν από την κίνηση της κάµερας από τα διανύσµατα κίνησης που προκύπτουν από κινούµενα αντικείµενα. Το επόµενο βήµα, είναι να κάνουµε µια εκτίµηση για το ποία είναι αυτή η κίνηση της κάµερας που προκάλεσε την κυρίαρχη κίνηση. Η κίνηση της κάµερας είναι µια ιδιαίτερα δηµοφιλής µορφή πληροφορίας για ταξινόµηση, λόγω της ευκολίας στον υπολογισµό της, και την εποπτική εικόνα που µας δίνει για τα συµβάντα µιας σκηνής βίντεο. Όπως αναφέρθηκε και προηγουµένως, το ποια είναι η κυρίαρχη κίνηση µπορούµε να το εκτιµήσουµε βλέποντας την πλειοψηφία των διανυσµάτων κίνησης ενός πεδίου. Από το σηµείο αυτό, αρκεί να βρούµε ένα παραµετρικό µοντέλο το οποίο να περιγράφει την κίνηση της κάµερας από την οποία προέκυψε η κυρίαρχη κίνηση. Σχήµα 3: Οι βασικές κινήσεις της κάµερας. (Σχήµα από το [5]) Οι πιο συνηθισµένες κινήσεις της κάµερας που λαµβάνονται υπόψη είναι η οριζόντια περιστροφή (pan), η οποία συνήθως δε διαχωρίζεται από την οριζόντια µετακίνηση (track) και το ζούµ, το οποίο δε διαχωρίζεται από την κίνηση προς τα µπρος ή προς τα πίσω (dolly) ([29]). Πολλά µοντέλα υποθέτουν και την ύπαρξη κατακόρυφης περιστροφής (tilting) ή κίνησης (boom) ([30], [31], [32]). Στο [33], λαµβάνεται υπόψη και το ενδεχόµενο περιστροφής της κάµερας γύρω από τον άξονά της, ενώ στο [34] εντοπίζονται επίσης οι παραµορφώσεις που προκύπτουν από την αλλαγή της εστίασης της κάµερας (focus). Επειδή αλλαγές εστίασης προκαλούνται και από το ζουµ, αυτές πρέπει να εντοπιστούν και να αφαιρεθούν. Έτσι εντοπίζονται οι σκόπιµες αλλαγές εστίασης, οι οποίες παρέχουν χρήσιµες πληροφορίες για το χαρακτηρισµό µιας σκηνής. Μετά την εκτίµηση ενός µοντέλου για τις βασικές λειτουργίες της κάµερας, µπορούµε να αφαιρέσουµε την κίνηση που προκύπτει από αυτές, και να έχουµε µια εκτίµηση της τοπικής κίνησης, παρόµοια µε αυτήν που προκύπτει από την αφαίρεση της κυρίαρχης κίνησης.

6 Στο [30], η τοπική κίνηση αντιµετωπίζεται ως ακατέργαστη πληροφορία και µοντελοποιείται µέσω ενός mixture model. Όµως, η πληροφορία υψηλού επιπέδου για την κίνηση των αντικειµένων µιας σκηνής µπορεί να παίξει καθοριστικό ρόλο στο χαρακτηρισµό των περιεχοµένων της. Στο [33], µια εκτίµηση της διαδροµής των αντικειµένων στη σκηνή γίνεται βάση της πληροφορίας τοπικής κίνησης. Στο [32], µετά την εξαγωγή του πεδίου κίνησης, ένας αλγόριθµος Expectation-Maximization χρησιµοποιείται για την χωρική κατάτµηση της σκηνής σε αντικείµενα, βάσει της πληροφορίας κίνησης. Επίσης πρέπει να αναφέρουµε τις προσεγγίσεις που στηρίζονται σε κατάτµηση µε επίβλεψη [35], όπως και τεχνικές που στηρίζονται στην υπόθεση πως το αντικείµενο που θέλουµε να παρακολουθήσουµε κυριαρχεί στο πλάνο, και το φόντο είναι ακίνητο [29]. Όσον αφορά την κωδικοποίηση της τοπικής κίνησης, αυτή θεµελιωδώς αποτελείται από ένα σύνολο συντεταγµένων που δείχνουν τη θέση του αντικειµένου σε κάθε χρονική στιγµή. Από τις συντεταγµένες αυτές µπορούµε να εξάγουµε µια πολυωνυµική συνάρτηση η οποία να περιγράφει την τροχιά του αντικειµένου. Στη συνέχεια, µπορούµε να χρησιµοποιήσουµε τις παραµέτρους της συνάρτησης αυτής για να περιγράψουµε την κίνηση του αντικειµένου [36], [32] ή να χρησιµοποιήσουµε τη συνάρτηση για να δηµιουργήσουµε όσα τεχνητά σηµεία θέλουµε πάνω στην τροχιά, τα οποία µπορούµε στη συνέχεια να χρησιµοποιήσουµε για σύγκριση σκηνών ([33], [37]). 5. ΕΠΙΛΟΓΟΣ Μπορούµε να συµπεράνουµε πως, όσον αφορά τη χρήση περιγραφικών χαρακτηριστικών κίνησης, η πληθώρα διαφορετικών προσεγγίσεων που συνεχίζουν τα τελευταία χρόνια να προτείνονται µε αµείωτο ρυθµό αποτελεί την ένδειξη πως καµία τεχνική δεν έχει δώσει αρκετά ικανοποιητικά αποτελέσµατα ώστε να καθιερωθεί και να αποτελέσει σηµείο αναφοράς. Μπορούµε από την άλλη να διαπιστώσουµε πως κάποια συγκεκριµένα µοτίβα αρχίζουν να εµφανίζονται, µε αποτέλεσµα να είναι εφικτές κάποιες αρχικές κατηγοριοποιήσεις των µεθόδων. Οι στατιστική επεξεργασία της πρωτογενούς πληροφορίας, ο διαχωρισµός κυρίαρχης και τοπικής πληροφορίας και ο διαχωρισµός της κίνησης της κάµερας από την κίνηση των αντικειµένων αποτελούν τρεις µεγάλες οικογένειες τεχνικών, ο ανταγωνισµός µεταξύ των οποίων δεν έχει δώσει ως τώρα ξεκάθαρο προβάδισµα σε καµιά από αυτές. [1] R. Datta, J. Li and J.Z. Wang, Content-based image retrieval- approaches and trends of the new age, Proceedings of the 7th International Workshop on Multimedia Information Retrieval, in conjunction with ACM International Conference on Multimedia, pp , [2] Y. Rui, T.S. Huang, and S.F. Chang, Image Retrieval- Current Techniques, Promising Directions And Open Issues, Journal of Visual Communication and Image Representation, pp , April [3] A.W.M. Smeulders, M. Worring, S. Santini, A. Gupta, and R. Jain, Content-based image retrieval at the end of the early years, Pattern Analysis and Machine Intelligence, IEEE Transactions on, pp , Dec [4] S. Z. Xiang, and T.S. Huang, Relevance feedback in image retrieval- A comprehensive review, Multimedia Systems, pp , April [5] I. Koprinska, and S. Carrato, Temporal Video Segmentation: A Survey, Signal Processing: Image Communication, Elsevier, pp , January [6] S. Lefevre, J. Holler, and N. Vincent, A review of real-time segmentation of uncompressed video sequences for content-based search and retrieval, Real-time imaging, Elsevier, pp , February [7] J. Calic, N. Campbell, S. Dasiopoulou, and Y. Kompatsiaris, A Survey on Multimodal Video Representation for Semantic Retrieval, Computer as a tool (Eurocon 2005), the Third International Conference on, IEEE, pp , November 2005 [8] C.G.M. Snoek, M. Worring, Multimodal Video Indexing, a Review of the State-of-the-art, Multimedia Tools and Applications, Springer Netherlands, pp. 5-35, January [9] P. Aigrain, H. Zhang, and D. Petkovic, Content-based representation and retrieval of visual media- A state-of-the-art review, Multimedia Tools And Applications, Kluwer Academic Publishers, pp , November [10] F. Arman, R. Depommier, A. Hsu, and M.Y. Chiu, Content-based Browsing of Video Sequences, Multimedia, Proceedings of the Second ACM International Conference on, pp , 1994.

7 [11] A.J.T. Lee, R.W. Hong M.F. Chang, An approach to content-based video retrieval, Multimedia and Expo, IEEE International Conference on, pp , Vol 1, [12] V. Lavrenko, S.L. Feng, and R. Manmatha, Statistical models for automatic video annotation and retrieval, Acoustics, Speech, and Signal Processing, Proceedings, IEEE International Conference on, pp , vol 3, May [13] T. Barbu, Content-based video recognition technique using a nonlinear metric, ELMAR, IEEE International Symposium, pp.25-28, [14] D.T., Nguyen, and W. Gillespie, A video retrieval system based on compressed data from MPEG files, Convergent Technologies for Asia-Pacific Region, IEEE Conference on, pp , Vol 2, 2003 [15] V. Kobla, and D. Doermann, Indexing and Retrieval of MPEG Compressed Video, Journal of Electronic Imaging, SPIE, pp , April [16] M.K. Shan, and S.Y. Lee, Content-based video retrieval based on similarity of frame sequence, Multi-Media Database Management Systems, IEEE International Workshop on, pp , [17] Z. Li, A.K. Katsaggelos, and B. Gandhi, Fast video shot retrieval by trace geometry matching in principal component space, Image Processing, IEEE International Conference on, pp , vol. 3, October [18] Z.G. Masihi, and N.M. Charkari, Content based Video Retrieval based on Approximate String Matching, Computer as a Tool, The IEEE International Conference on, pp , November 2005 [19] D. Zhong, H.J. Zhang, and S.F. Chang, "Clustering Methods for Video Browsing and Annotation," Proceedings of SPIE, pp , March [20] F. Mokhtarian, and F. Mohanna, Content-based video database retrieval through robust corner tracking, Multimedia Signal Processing, IEEE Workshop on, pp , [21] A. Divakaran, A. Vetro, K. Asai, and H. Nishikawa, Video browsing system based on compressed domain feature extraction, Consumer Electronics, IEEE Transactions on, pp , August [22] Y.F Ma, and H.J Zhang, Motion texture- a new motion based video representation, Pattern Recognition, Proceedings, IEEE 16th International Conference on, pp , vol. 2, [23] Y.F. Ma, and H.J. Zhang, Motion pattern based video classification using support vector machines, Circuits and Systems, IEEE International Symposium on, pp , Vol. 2, [24] Y.F. Ma, and H.J. Zhang, A new perceived motion based shot content representation, Image Processing, International Conference on, pp , vol. 3, [25] W.J. Gillespie, and D.T. Nguyen, Classification of video shots using activity power flow, Consumer Communication and Networking Conference, First IEEE, pp , 2004 [26] R. Fablet, P. Bouthemy, and P. Pérez, Nonparametric motion characterization using causal probabilistic models for video indexing and retrieval, Image Processing, IEEE Transactions on, pp , April [27] R. Fablet, and P. Bouthemy, Statistical motion-based object indexing using optic flow field, Pattern Recognition, IEEE International Conference on, pp , vol. 4, [28] A. Divakaran, K. Peker, and S. Huifang, A region-based descriptor for spatial distribution of motion activity for compressed video, Image Processing, IEEE International Conference on, pp , vol2, [29] H.C. Shih, and C.L. Huang, Image analysis and interpretation for semantics categorization in baseball video, Information Technology: Coding and Computing [Computers and Communications], IEEE International Conference on, pp , [30] G. Piriou, P. Bouthemy, and J.F. Yao, Recognition of dynamic video contents with global probabilistic models of visual motion, Transactions in Image Processing, IEEE, pp , November 2006.

8 [31] Y.P. Tan, D.D. Saur, S.R. Kulkarni, and P.J. Ramadge, Rapid estimation of camera motion from compressed video with application to video annotation, Circuits and Systems for Video Technology, IEEE transactions on, pp , February [32] R.V. Babu, and K.R. Ramakrishnan, Content-based video retrieval using motion descriptors extracted from compressed domain, Circuits and Systems, IEEE International Symposium on, pp , [33] W.N. Lie, and W.C. Hsiao, Content-based video retrieval based on object motion trajectory, Multimedia Signal Processing, IEEE Workshop on, pp , [34] W. Pan, F. Deschenes, Interpreting Camera Operations in the Context of Content-based Video Indexing and Retrieval, Computer and Robot Vision, IEEE Third Canadian Conference on, pp. 7-7, June 2006 [35] A.M. Ferman, A.M. Tekalp, and R. Mehrotra, Effective content representation for video, Image Processing, IEEE International Conference on, pp , vol 3, 1998 [36] W. You, J.G. Kim, J. Kim, K.W. Lee, and O.S. Kwon, Content-based video retrieval by indexing object's motion trajectory, Proceedings ICCE, pp , June [37] S. Jeannin, and A. Divakaran, MPEG-7 visual motion descriptors, Circuits and Systems for Video Technology, IEEE Transactions on, pp , June 2001.