Ιεραρχική Ταξινόμηση εικονοσειρών βάσει του χρώματος

Transcript

1 Ιεραρχική Ταξινόμηση εικονοσειρών βάσει του χρώματος Ζάμπογλου Μάρκος*, Παπαδημητρίου Θεόφιλος**, Παπαδημητρίου Γιάννης* * Πανεπιστήμιο Μακεδονίας ** Δημοκρίτειο Πανεπιστήμιο Θράκης Στην εργασία αυτή, επιχειρούμε να εφαρμόσουμε τη μέθοδο της Ιεραρχικής Ταξινόμησης (Παπαδημητρίου Γ., 2007) σε μία βάση δεδομένων 1074 εικονοσειρών που έχουμε εξάγει από το αρχείο ενός τηλεοπτικού σταθμού. Ο στόχος μας σε αυτήν την εργασία είναι να διαπιστώσουμε αν η αυτόματη ταξινόμηση των εικονοσειρών χρησιμοποιώντας αποκλειστικά την χρωματική πληροφορία μπορεί να οδηγήσει σε σημαντικές ομάδες εικονοσειρών. Η μέθοδος της ιεραρχικής ταξινόμησης, διαπιστώνουμε ότι, είναι σε θέση να ομαδοποιήσει τις εικονοσειρές με επιτυχία σε ομάδες (κλάσεις) με σχετική θεματική ομοιομορφία. Τα αποτελέσματα είναι ενθαρρυντικά και πιστεύουμε ότι η χρήση πρόσθετης πληροφορίας από άλλη πηγή (φωτεινότητα, κίνηση, ακμές, υφή) είναι δυνατό να οδηγήσει στον σχηματισμό ομάδων με σαφέστερα κοινό περιεχόμενο και ταυτόχρονα σε μια πιο ολοκληρωμένη ερμηνεία των ομάδων. 1. Εισαγωγή Το τελευταίο διάστημα η ταξινόμηση ψηφιακών εικονοσειρών (βίντεο) προσελκύει ολοένα και μεγαλύτερο ενδιαφέρον από την επιστημονική κοινότητα (Aigrain et al, 1996 και Xiong et al, 2006). Ο λόγος γι αυτό είναι πως, καθώς ο αριθμός των βίντεο που γίνονται προσβάσιμα από το ευρύ κοινό μεγαλώνει, και ολοένα και μεγαλύτερες βάσεις δεδομένων βίντεο εμφανίζονται στο διαδίκτυο, υπάρχει αυξημένη ανάγκη για την αυτόματη ταξινόμηση και ανάκτηση τους. Επιπλέον οι επαγγελματικές και εξειδικευμένες βάσεις δεδομένων εικονοσειρών

2 ραδιοσταθμών, υπηρεσιών ασφαλείας κτλ είναι τόσο μεγάλες που η θεματική ταξινόμηση κρίνεται επιβεβλημένη. Στην εργασία αυτή, αποπειράται η ταξινόμηση 1074 εικονοσειρών που μας παραχωρήθηκαν από το αρχείο του τηλεοπτικού σταθμού «Ωμέγα TV». Για το χαρακτηρισμό κάθε εικονοσειράς χρησιμοποιήσαμε το χρωματικό ιστόγραμμα. Tο χρωματικό ιστόγραμμα μιας εικόνας δημιουργείται χωρίζοντας το χρωματικό φάσμα σε έναν αριθμό κελιών και μετρώντας τον αριθμό των pixel της εικόνας που εμπίπτουν στο κάθε κελί. Ο κλάδος της ταξινόμησης και ανάκτησης εικόνας είναι σε πολύ πιο προοδευμένο στάδιο από αυτών του βίντεο (Datta et al, 2005 Rui et al, 1999 Smeulders et al, 2000 Xiang et al, 2003), και το χρωματικό ιστόγραμμα αποτελεί μια ιδιαίτερα διαδεδομένη μέθοδο περιγραφής μιας εικόνας για το σκοπό αυτό. Από τη στιγμή όμως που στην εργασία μας έχουμε να κάνουμε με βίντεο και όχι με εικόνες, πρέπει να λάβουμε υπόψη και τη χρονική διάσταση των δεδομένων. Προς την κατεύθυνση αυτή, παίρνουμε τα ιστογράμματα από πέντε διαφορετικά καρέ για κάθε βίντεο, σε ίσες μεταξύ τους χρονικές αποστάσεις και τα αθροίζουμε. Έτσι, αν κατά τη διάρκεια του βίντεο, το περιεχόμενο μεταβληθεί, είτε από την κίνηση της κάμερας είτε από την κίνηση των εικονιζόμενων αντικειμένων, η πληροφορία αυτή δε χάνεται. Επειδή το συνηθισμένο χρωματικό φάσμα κόκκινου-πράσινου-μπλε (RGB) είναι ιδιαίτερα δύσχρηστο, επιλέξαμε το μοντέλο HSV, το οποίο επιτρέπει μεγαλύτερη ευελιξία στο ιστόγραμμα. Στο μοντέλο αυτό το χρωματικό φάσμα, που έχει τη μορφή κώνου, περιγράφεται από τρεις παραμέτρους. Η πρώτη (αξία), που αντιστοιχεί στο ύψος, περιγράφει τη φωτεινότητα. Η δεύτερη (κορεσμός), που αντιστοιχεί στην απόσταση από τον άξονα, περιγράφει την περιεκτικότητα σε χρώμα. Όσο μεγαλύτερη είναι η παράμετρος αυτή, τόσο πιο έντονο το χρώμα. Όσο η απόσταση από τον άξονα μικραίνει, πλησιάζουμε κάποια απόχρωση του γκρίζου, η φωτεινότητα της οποίας καθορίζεται από την πρώτη παράμετρο. Η αξία και ο κορεσμός παίρνουν τιμές στο διάστημα [0, 1]. Τέλος, η τρίτη παράμετρος (χροιά), που αντιστοιχεί στη γωνία και παίρνει τιμές από 0 έως 360, περιγράφει το χρώμα. Για την γωνία 0 μοιρών, το χρώμα είναι κόκκινο. Όσο η γωνία

3 αυξάνεται, περνάμε στο πορτοκαλί, κίτρινο, κιτρινοπράσινο, πράσινο, γαλαζοπράσινο, μπλε, μωβ, για να επιστρέψουμε στο κόκκινο στις 360 μοίρες. Το πλεονέκτημα του μοντέλου αυτού είναι η ιδιαίτερα εύκολη ερμηνεία ενός χρώματος, και η συνάφεια μεταξύ γειτονικών περιοχών. Από την άλλη, λόγω του κωνικού σχήματος του φάσματος, το μοντέλο αυτό έχει και ένα μειονέκτημα: Για χαμηλές τιμές φωτεινότητας, οι δυνατές τιμές του κορεσμού είναι περιορισμένες, και από την άλλη, επειδή βρισκόμαστε πολύ κοντά στο μαύρο, η χροιά χάνει τη σημασία της. Ανάλογα, ακόμα και για υψηλές τιμές φωτεινότητας, όταν ο κορεσμός είναι χαμηλός και κινούμαστε πολύ κοντά στο λευκό, η χροιά παίζει σχετικά μικρό ρόλο. Παρ όλα αυτά, λόγω της ευκολίας ερμηνείας το μοντέλο αυτό είναι το πιο διαδεδομένο για την εξαγωγή του ιστογράμματος χρώματος στην ταξινόμηση εικόνων και βίντεο. Το ιστόγραμμα που χρησιμοποιήσαμε έχει δύο τιμές για την αξία, δυο για τον κορεσμό και οχτώ για την χροιά. Ο διαχωρισμός γίνεται σε ομάδες ίσου εύρους, το οποίο σημαίνει πως για τις πρώτες δύο μεταβλητές η ομάδα 1 περιλαμβάνει τις τιμές [0, 0.5) και η ομάδα 2 τις τιμές [0.5, 1], ενώ η τρίτη μεταβλητή χωρίζεται στα διαστήματα [0, 45 ], (45, 90 ], (90, 135 ], (135, 180 ], (180, 225 ], (225, 270 ], (270, 315 ], (315, 360 ]. Καταλήγουμε έτσι σε 2 2 8=32 κελιά, κάθε ένα από τα οποία περιέχει τον αριθμό των πίξελ που εμπίπτουν σ αυτό για τις πέντε εικόνες που εξάγονται. Ο αριθμός των pixel που εμπίπτουν σε κάθε κελί του ιστογράμματος αποτελεί μια ποσοτική μεταβλητή. Για τη μετατροπή της σε ποιοτική, τη χωρίσαμε σε τρεις κλάσεις. Για κάθε κελί, το 25% των βίντεο με τις μικρότερες τιμές θεωρήθηκε ότι ανήκει στην κλάση 1. Το μεσαίο 50% μπήκε στην κλάση 2 και το τελευταίο, μεγαλύτερο 25% στην κλάση 3. Κάποια κελιά, επειδή αντιστοιχούσαν σε ιδιαίτερα έντονα, ασυνήθιστα χρώματα, εμφάνιζαν πολύ υψηλό ποσοστό μηδενικών τιμών, πράγμα που έκανε αδύνατο το διαχωρισμό σε τρεις κλάσεις. Στις περιπτώσεις αυτές χρησιμοποιήθηκαν δύο κλάσεις, μία για τις τιμές από 0 έως 200 pixel, και μία για τις υπόλοιπες. Τα εν λόγω κελιά ήταν τα 322, 422 και 722.

4 Πίνακας 1: Οι τιμές των μεταβλητών για τα 5 πρώτα βίντεο και τα επτά πρώτα κελιά 1_1_1 1_1_2 1_2_1 1_2_2 2_1_1 2_1_2 2_2_ Το επόμενο βήμα σχετίζεται με τη δημιουργία του μετασχηματισμένου πίνακα της παραμετροποίησης των αρχικών δεδομένων στο λογικό πίνακα (0 1) (Πίνακας 2). Στο λογικό πίνακα (0 1) ισχύουν τα εξής: Συσχετίζονται τα βίντεο με τις ιδιότητες των ποιοτικών μεταβλητών, η κωδικοποίηση 0 1 εκφράζει την απουσία παρουσία, αντίστοιχα, των ιδιοτήτων, κάθε αντικείμενο χαρακτηρίζεται από την παρουσία μίας και μόνο ιδιότητας για κάθε μεταβλητή, το άθροισμα της κάθε γραμμής (πλήθος των μονάδων) είναι το ίδιο και ίσο με τριάντα δύο (32), το δε κάθετο άθροισμα καθορίζεται από τον τρόπο που ορίστηκαν οι κλάσεις ( ή 0 έως και πάνω). Πίνακας 2: Τμήμα του λογικού πίνακα (0-1) 111_1 111_2 111_3 112_1 112_2 112_3 121_1 121_2 121_ Πάνω στο λογικό πίνακα εφαρμόζεται η Ανιούσα Ιεραρχική Ταξινόμηση (CAH). Λόγω του πολύ μεγάλου πλήθους των αρχικών αντικειμένων, μόνο το ανώτερο τμήμα του δενδρογράμματος παρουσιάζεται και μελετάται. Για την ακρίβεια, από τους 2147 κόμβους του δενδρογράμματος, συμπεριλαμβανομένων και των αρχικών βίντεο, παρουσιάζονται οι ανώτεροι 61. Το πλήθος αυτό αρκεί για να μας δώσει μια εποπτική εικόνα των αποτελεσμάτων της ταξινόμησης. Στο δενδρόγραμμα της CAH, στον οριζόντιο άξονα απεικονίζονται 31 ομάδες, όπως έχουν προκύψει από την ομαδοποίηση των 1074 αρχικών βίντεο ενώ στον κάθετο άξονα παρατίθεται η λεγόμενη κλίμακα της ιεραρχικής ταξινόμησης (Σχήμα 1). Η κλίμακα αυτή δείχνει το βαθμό γενίκευσης όχι μόνο του κάθε κόμβου αλλά και του κάθε προτεινόμενου διαμελισμού, με τη χάραξη παράλληλης

5 ευθείας προς τον οριζόντιο άξονα. Όσο υψηλότερα του δενδρογράμματος βρίσκεται ένας κόμβος τόσο ανώτερο βαθμό γενίκευσης έχει. Σχήμα 1: Δενδρόγραμμα της Ανιούσας Ιεραρχικής Ταξινόμησης 2. Κόμβος Ο (1074 βίντεο) Πίνακας 3: Τιμές COD του κόμβου Ο Ιδιότητες DX(Ο) COD(Ο) CTD(Ο) 511_ _ _ _ _ _ _ _ Από τον αρχικό κόμβο Ο, που περιλαμβάνει όλα τα βίντεο, διαχωρίζονται αρχικά δύο ομάδες, η Α (892 βίντεο) και η Β (182 βίντεο). Μπορούμε να παρατηρήσουμε στον πίνακα 3 ότι η ομάδα Β περιέχει βίντεο που χαρακτηρίζονται από την απουσία των χρωμάτων , , , Τα χρώματα αυτά αντιστοιχούν στις ξεθωριασμένες αποχρώσεις του μπλε, τόσο σκούρες όσο και φωτεινές. Για την ακρίβεια, επειδή καλύπτουν 4 από τα 8 χρώματα, μπορούμε να πούμε πως από την ομάδα Β αποκλείεται ολόκληρο το φάσμα του ξεθωριασμένου μπλε, από το γαλαζοπράσινο μέχρι το μωβ/κόκκινο. 3. Ομάδα Β (182 βίντεο)

6 Μελετώντας τη συμβολή των μεταβλητών στο χαρακτηρισμό της ομάδας Β (πίνακας 4) μπορούμε να παρατηρήσουμε πως, εκτός από την απουσία όλων των μπλε που διαπιστώθηκε κατά τη διάσπαση του κόμβου Ο, η ομάδα περιέχει επίσης εικόνες με υψηλή συχνότητα εμφάνισης του χρώματος 222, το οποίο πρόκειται για το φωτεινό καθαρό κιτρινοπράσινο. Λιγότερο καθοριστικό, αλλά παρόν είναι και το χρώμα 221, όπως και το 321. Πρόκειται για το σκούρο καθαρό κιτρινοπράσινο, και το σκούρο καθαρό πράσινο. 4. Κόμβος Α (892 βίντεο) Πίνακας 4: Τιμές COR της ομάδας Β Ιδιότητες X(Β) COR(Β) CTR(Β) 511_ _ _ _ _ _ _ _ _ _ _ Πίνακας 5: Τιμές COD του κόμβου Α Ιδιότητες DX(Α) COD(Α) CTD(Α) 212_ _ _ _ _ _ _ _ Επιδιώκοντας να περιγράψουμε την ομάδα Α, γνωρίζουμε ήδη πως ο κόμβος Β χαρακτηρίζεται από την απουσία των μπλε και από την παρουσία κάποιων πράσινων, ώστε να συμπεράνουμε πως ο κόμβος Α χαρακτηρίζεται από το αντίθετο. Για περαιτέρω πληροφορία, θεωρούμε την ομάδα Α ως κόμβο και προχωράμε στη διάσπαση του στις ομάδες Α1 (713 βίντεο) και Α2 (179 βίντεο). Εδώ, οι πληροφορίες που έχουμε αφορούν κατά βάση την ομάδα Α2. Απουσιάζουν μια σειρά αποχρώσεων των χρωμάτων 2 και 3, δηλαδή τα πράσινα, ενώ έχουν έντονη παρουσία τα χρώματα 622, 712, και 722, που πρόκειται για φωτεινές αποχρώσεις του μπλε και του μωβ/μπλε.

7 5. Ομάδα Α2 (179 βίντεο) Η διάσπαση του Α μας έχει δώσει ήδη κάποιες πληροφορίες για την ομάδα Α2. Μελετώντας τη συμβολή των μεταβλητών στο χαρακτηρισμό της Α2, φτάνουμε στα ίδια συμπεράσματα που μας οδήγησε και η διάσπαση του Α, δηλαδή απουσία των πράσινων και παρουσία των φωτεινών αποχρώσεων μπλε και μωβ/μπλε. Παρατηρούμε επίσης όμως ότι υψηλές συχνότητες εμφάνισης έχει και το 821, δηλαδή το σκούρο έντονο μωβ/κόκκινο. 6. Κόμβος Α1 (713 βίντεο) Πίνακας 6: Τιμές COR της ομάδας Α2 Ιδιότητες X(Α2) COR(Α2) CTR(Α2) 212_ _ _ _ _ _ _ _ _ Πίνακας 7: Τιμές COD του κόμβου Α1 Ιδιότητες DX(Α1) COD(Α1) CTD(Α1) 111_ _ _ _ _ _ _ Θεωρούμε την ομάδα Α1 ως κόμβο, και μελετάμε τη διάσπασή του στις ομάδες Α11 (346 βίντεο) και Α12 (367 βίντεο). Η ομάδα Α11 περιέχει πολλές αποχρώσεις των χρωμάτων 1, 2, 6, 7, και 8. Πρόκειται για κόκκινο, κιτρινοπράσινο, γαλάζιο και μωβ, αλλά στην σκούρη και σκοτεινή εκδοχή τους, που σημαίνει πως είναι συγγενικά μεταξύ τους και φλερτάρουν με το σκούρο γκρι και το μαύρο. Ξεχωρίζει το 122, που είναι το έντονο φωτεινό κόκκινο/πορτοκαλί. Στην ομάδα Α12 κυριαρχεί το 522, το οποίο αντιστοιχεί στο έντονο φωτεινό γαλαζοπράσινο.

8 7. Κόμβος Α11 (346 βίντεο) Από τις τιμές COR του πίνακα Α11 οδηγούμαστε στα ίδια ακριβώς συμπεράσματα που μας οδήγησε η διάσπαση του Α1, με την επιπρόσθετη παρατήρηση υψηλών συχνοτήτων στο κελί 211, το σκούρο ξεθωριασμένο κίτρινο. Η περαιτέρω διάσπαση του Α11 στις ομάδες Α111 (122 βίντεο) και Α112 (224 βίντεο) ξεκαθαρίζει το τοπίο, αφού η Α111 παίρνει σχεδόν όλες τις σκούρες αποχρώσεις, και χαρακτηρίζεται από υψηλές συχνότητες για τη σκούραξεθωριασμένη εκδοχή για τα περισσότερα από τα 8 χρώματα (111, 211, 411, 511, 611, 711, 811), ενώ η Α112 παίρνει το έντονο κόκκινο (122)..Πίνακας 8: Τιμές COR του κόμβου Α11 Ιδιότητες X(Α11) COR(Α11) CTR(Α11) 111_ _ _ _ _ _ Πίνακας 9: Τιμές COD του κόμβου Α11 Ιδιότητες DX(Α11) COD(Α11) CTD(Α11) 111_ _ _ _ _ _ _ Ομάδα Α111 (122 βίντεο) Η μελέτη των τιμών COR για την ομάδα Α111 (πίνακας 10) μας οδηγεί στα ίδια συμπεράσματα με τον πίνακα 9. Σχεδόν όλες οι σκούρες ξεθωριασμένες αποχρώσεις (κοντά στο μαύρο) βρίσκονται εδώ. Απουσιάζει όμως το χρώμα 311, ενώ τα 411 και 511 εμφανίζουν συγκριτικά χαμηλές τιμές COR. 9. Ομάδα Α112 (224 βίντεο) Πίνακας 10: Τιμές COR της ομάδας Α111 Ιδιότητες X(Α111) COR(Α111) CTR(Α111) 111_ _ _ _ _ _ _ Πίνακας 11: Τιμές COR της ομάδας Α112 Ιδιότητες X(Α112) COR(Α112) CTR(Α112) 112_ _ _

9 Από τις τιμές COR για την ομάδα Α111 (πίνακας 11) συμπεραίνουμε ότι κυριαρχεί το φωτεινό έντονο κόκκινο, ενώ εμφανίζονται υψηλές συχνότητες και στο φωτεινό ξεθωριασμένο κόκκινο, αλλά και στο φωτεινό ξεθωριασμένο κόκκινο-μωβ. 10. Κόμβος Α12 (367 βίντεο) Όπως φαίνεται στον πίνακα 12, η ομάδα Α12 εμφανίζει έντονη παρουσία διάφορων αποχρώσεων των χρωμάτων 3, 4 και 5. Στην ομάδα αυτή κινούμαστε από το πράσινο έως το γαλαζοπράσινο. Στην πλειοψηφία τους, πρόκειται για ανοιχτές αποχρώσεις, με εξαίρεση το 421, σκούρο έντονο πράσινο/γαλαζοπράσινο. Μελετώντας τον πίνακα 13, διαπιστώνουμε πως, θεωρώντας την Α2 ως κόμβο και προχωρώντας στη διάσπαση του στις Α121 (231 βίντεο) και Α122 (136 βίντεο) όλες οι σκούρες ξεθωριασμένες αποχρώσεις των χρωμάτων αυτών πηγαίνουν στην πρώτη ομάδα. Πίνακας 12: Τιμές COR του κόμβου Α12 Ιδιότητες X(Α12) COR(Α12) CTR(Α12) 312_ _ _ _ _ Πίνακας 13: Τιμές COD του κόμβου Α12 Ιδιότητες DX(Α12) COD(Α12) CTD(Α12) 311_ _ _ Ομάδα Α121 (231 βίντεο) Πίνακας 13: Τιμές COR της ομάδας Α121 Ιδιότητες X(Α12) COR(Α12) CTR(Α12) 311_ _ _ _ Κατά τη διάσπαση του Α12 παρατηρήσαμε πως αυτή έγινε δίνοντας όλες τις σκούρες ξεθωριασμένες αποχρώσεις των χρωμάτων 3,4 και 5 στην Α121. Στον πίνακα 13, με τις τιμές COR της Α121 βλέπουμε επίσης πως εμφανίζονται και οι σκούρες έντονες αποχρώσεις για τα χρώματα 3 και 4, κάνοντας χαρακτηριστικό του κόμβου αυτού τα σκούρα πράσινα/γαλαζοπράσινα. 12. Ομάδα Α122 (136 βίντεο)

10 Παρότι οι τιμές COR στην ομάδα Α122 είναι γενικά χαμηλές, και ιδιαίτερα στις υψηλές συχνότητες (κλάση 3), μπορούμε να δούμε πως ξεχωρίζουν τρεις τιμές, οι οποίες φαίνονται στον πίνακα 14: Οι έντονες φωτεινές αποχρώσεις των χρωμάτων 3 4 και 5 κυριαρχούν, δίνοντας στον κόμβο αυτόν τα φωτεινά πράσινα/γαλαζοπράσινα. 13. Συμπέρασμα Πίνακας 14: Τιμές COR της ομάδας Α122 Ιδιότητες X(Α12) COR(Α12) CTR(Α12) 322_ _ _ Οι επτά ομάδες που προκύπτουν από την ιεραρχική ταξινόμηση των 1074 βίντεο εκφράζουν ξεκάθαρες χρωματικές ομάδες, πράγμα που αντικατοπτρίζεται σε μεγάλο ποσοστό και στο περιεχόμενό τους. Ο αρχικός διαχωρισμός της ομάδας Β από τις υπόλοιπες γίνεται βάσει της απουσίας των μπλε, και της παρουσίας των καθαρών πράσινων και κιτρινοπράσινων. Έτσι, στην ομάδα αυτή συναντάμε βίντεο ποδοσφαίρου, πλάνα της πόλης καθώς και ομιλίες προσώπων πάνω σε πράσινο φόντο. Τα μπλε και μωβ που δεν παίρνει η ομάδα Β, και ειδικά τα φωτεινά, καταλήγουν στην πλειοψηφία τους στην ομάδα Α2. Συναντάμε εκεί δελτία ειδήσεων, όπου το φόντο είναι μπλε, κάποια πλάνα ανοιχτών χώρων με γαλάζιο ουρανό καθώς και βίντεο από συναυλίες, όπου ο μπλε φωτισμός κυριαρχεί. Η ομάδα Α1 παίρνει όλα τα σκούρα χρώματα που απέμειναν. Η διάσπαση της Α1 σε Α11 και Α12 δίνει στη δεύτερη τα γαλαζοπράσινα, ενώ αφήνει στην πρώτη όλα τα υπόλοιπα, κυρίως στις σκούρες εκδοχές τους. Έτσι, καταλήγουμε με την Α111 να έχει όλα τα χρώματα εκτός από τα πράσινα/γαλαζοπράσινα στις σκούρες ξεθωριασμένες αποχρώσεις τους, ενώ η Α112 παίρνει τα κόκκινα-πορτοκαλί, στις φωτεινές ξεθωριασμένες εκδοχές τους. Έτσι, η Α111 περιέχει σκοτεινά βίντεο από μπάσκετ, κάποια σκοτεινά βίντεο συναυλιών, καθώς και συνεντεύξεις όπου ο ομιλητής φοράει μαύρα ρούχα, ενώ η Α112 περιέχει φωτεινά βίντεο από μπάσκετ,

11 καθώς και πολλά πλάνα συνεντεύξεων ή ομιλιών όπου στο φόντο ή τα ρούχα εμφανίζεται κόκκινο. Τα γαλαζοπράσινα, όπως περνάνε στην Α12, διασπώνται σε σκούρα και φωτεινά στις Α121 και Α122. Αποτέλεσμα αυτού είναι βίντεο κολύμβησης να εμφανίζονται και στις δυο ομάδες, ανάλογα με τη φωτεινότητά τους, με την Α122 να έχει επίσης κάποια πλάνα ποδοσφαίρου ενώ η Α121 να έχει πλάνα βόλεϊ, καθώς και πολλά πλάνα συνεντεύξεων όπου το φόντο ή τα ρούχα εμπίπτουν στην κατηγορία αυτή. Είναι φανερό πως, παρά την ορατή ομαδοποίηση βάσει των χρωμάτων, και την λογική σχέση αυτών με τα περιεχόμενα των βίντεο, η παρούσα ομαδοποίηση δεν αρκεί για την ταξινόμηση εικονοσειρών βάσει του περιεχομένου τους. Κάτι τέτοιο, ούτως ή άλλως, είναι ιδιαίτερα δύσκολο χρησιμοποιώντας αποκλειστικά το ιστόγραμμα χρώματος, αφού υπάρχουν κι άλλες πληροφορίες οι οποίες είναι πολύ σημαντικές στην περιγραφή ενός βίντεο, όπως η κίνηση ή η υφή. Στην εργασία αυτή όμως, έγινε ένα πρώτο βήμα προς την κατεύθυνση της χρήσης της μεθόδου της ιεραρχικής ταξινόμησης για την ταξινόμηση και ανάκτηση εικονοσειρών βάσει του περιεχομένου τους. Έγινε ορατή η ικανότητα ομαδοποίησης των βίντεο με βάση την παρεχόμενη πληροφορία, καθώς και η ευκολία ερμηνείας των αποτελεσμάτων που μας προσφέρει η μέθοδος αυτή. Έτσι, η μελλοντική έρευνα θα στραφεί στη χρήση περαιτέρω πληροφορίας, επιδιώκοντας μια πιο ξεκάθαρη ομαδοποίηση των βίντεο βάσει του περιεχομένου τους καθώς και τη διάταξη των ομάδων με κριτήρια που δε γνωρίζουμε και θα προσπαθήσουμε να αναδείξουμε χρησιμοποιώντας την μέθοδο AFC. Hierarchical color-based video classification Zampoglou Markos*, Papadimitriou Theophilos**, Papadimitriou Yannis* * University of Macedonia, Thessaloniki, Greece ** Democritus University of Thrace

12 In this paper, we apply the method of Hierarchical Classification to a database of 1074 videos extracted from the archives of a TV station. Our aim is to examine whether exclusive use of color information on hierarchical classification can lead to meaningful groups of videos. Results demonstrate that the Hierarchical Classification approach is able to successfully group the videos into classes of uniform content. They are particularly encouraging and we believe that using more information from the videos (motion, edges, texture), could lead to the formation of more intuitive groups and a more meaningful interpretation of the groups formed. Βιβλιογραφία Παπαδημητρίου Γ., (2007). Η Ανάλυση Δεδομένων, Τυπωθήτω Gutenberg, Αθήνα. Aigrain P., Zhang H. and Petkovic D., (1996). Content-Based Representation and Retrieval of Visual Media: A State-of-the Art Review, Springer Multimedia Tools and Applications, Vol 3, No. 3, pp Datta R., Li J. and Wang J. Z., (2005). Content-based image retrieval: approaches and trends of the new age, Proceedings of the 7 th International Workshop on Multimedia Information Retrieval, pp Rui Y., Huang T. S. and Chang S.F., (1999). Image retrieval: current techniques, promising directions and open issues, Journal of Visual Communication and Image Representation, Vol 10, No. 4, pp Smeulders A. W. M., Worring M., Santini S., Gupta A. and Jain R., (2000). Content-based image retrieval at the end of the early years, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 22, No. 12, pp Xiang S. Z., and Huang T. S., (2003). Relevance feedback in image retrieval: a comprehensive review, Multimedia Systems, Vol 8, No. 6, pp , April Xiong Z., Zhou X. S., Rui Y. and Huang T. S., (2006). Semantic Retrieval of Video - review of research on video retrieval in meetings, movies and broadcast news, and sports, IEEE Signal Processing Magazine, Vol 23, No. 2, pp