Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστήμιου Πατρών

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΕΡΓΑΣΤΗΡΙΟ ΕΝΣΥΡΜΑΤΗΣ ΤΗΛΕΠΟΙΝΩΝΙΑΣ Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστήμιου Πατρών Τσάμη Νικολάου Α.Μ. 5790 ΕΝΤΟΠΙΣΜΟΣ ΠΟΔΟΣΦΑΙΡΙΣΤΗ ΣΕ ΑΓΩΝΙΣΤΙΚΟ ΧΩΡΟ ΜΕΣΩ ΒΙΝΤΕΟΣΚΟΠΗΣΗΣ Επιβλέπων Ευάγγελος Δερματάς ΠΑΤΡΑ 2012

2 ΠΙΣΤΟΠΟΙΗΣΗ Πιστοποιείται ότι η διπλωματική εργασία με θέμα: «Εντοπισμός ποδοσφαιριστή στον αγωνιστικό χώρο μέσω βιντεοσκόπησης» του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών: Τσάμη Νικολάου Α.Μ. 5790 παρουσιάστηκε δημόσια και εξετάστηκε στο Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών στις Ο Επιβλέπων Ευάγγελος Δερματάς Ο Διευθυντής του Τομέα Νικόλαος Φακωτάκης

3 ΑΡΙΘΜΟΣ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ: Τίτλος: Εντοπισμός ποδοσφαιριστή σε αγωνιστικό χώρο μέσω βιντεοσκόπησης Φοιτητής: Επιβλέπων: Τσάμης Νικόλαος Δερματάς Ευάγγελος Περίληψη Η ανάλυση αθλητικού υλικού χρησιμοποιείται εκτεταμένα από αθλητικούς συντάκτες και ειδικούς αναλυτές. Η παρούσα εργασία αναπτύσσει ένα σύστημα εντοπισμού και παρακολούθησης παικτών κατά τη διάρκεια ενός ποδοσφαιρικού αγώνα. Οι προκλήσεις που προκύπτουν και καλούμαστε να αντιμετωπίσουμε αφορούν μη γραμμικές κινήσεις, πλάνα συνωστισμού και συνεχείς επικαλύψεις. Η μεθοδολογία που αναπτύχτηκε περιλαμβάνει τρία κυρίως στάδια, την αφαίρεση του στατικού φόντου, την ανίχνευση των κινούμενων παικτών και τον εντοπισμό τους σε όλη τη διαδρομή τους. Τέλος θα αναλυσουμε αρκετές τεχνικές ταυτοποίησης και εντοπισμού, ενώ τέλος θα επιλέξουμε τις συγκριτικά καλύτερες.

4 ΕΥΧΑΡΙΣΤΙΕΣ Η Διπλωματική Εργασία αυτή εκπονήθηκε κατά την διάρκεια της φοίτησής μου στο Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών του Πανεπιστημίου Πατρών. Θα ήθελα να ευχαριστήσω όλους όσοι συνέβαλαν στην ολοκλήρωσή της. Τον Αναπληρωτή Καθηγητή του τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών κ. Ευάγγελο Δερματά για τον χρόνο που αφιέρωσε και την άμεση βοήθεια που μου παρείχε σε όλη την διάρκεια της εκπόνησης της. Την οικογένειά μου που με στήριξε όχι μόνο κατά την εκπόνηση της Διπλωματικής μου εργασίας αλλά και σε όλη τη διάρκεια των σπουδών μου.

5 Πίνακας περιεχομένων 1. ΕΙΣΑΓΩΓΗ... 7 1.1ΚΙΝΗΤΡΑ ΓΙΑ ΤΗΝ ΣΥΓΚΕΚΡΙΜΈΝΗ ΑΝΑΛΥΣΗ... 7 1.2 ΔΗΛΩΣΗ ΠΡΟΒΛΗΜΑΤΩΝ... 9 1.2.1 ΔΙΑΤΥΠΩΣΗ ΤΟΥ ΠΡΟΒΛΗΜΑΤΟΣ ΤΗΣ ΕΠΙΚΑΛΥΨΗΣ... 9 1.3 ΣΤΟΧΟΣ... 12 1.3.1 ΔΕΥΤΕΡΕΥΟΝΤΕΣ ΣΤΟΧΟΙ... 12 1.4 ΜΕΤΡΗΣΗ ΕΠΙΤΥΧΙΑΣ... 14 2. ΕΠΙΣΚΟΠΗΣΗ ΒΙΒΛΙΟΓΡΑΦΙΑΣ... 15 2.1ΑΦΑΙΡΕΣΗ ΦΟΝΤΟΥ... 15 2.1.1 ΟΡΙΣΜΟΣ ΤΗΣ ΑΝΤΙΘΕΣΗΣ ΤΗΣ ΦΩΤΕΙΝΟΤΗΤΑΣ... 15 2.1.2 ΜΟΝΤΕΛΟ ΙΔΙΟΤΙΜΩΝ... 18 2.1.3. ΜΟΝΤΕΛΟ ΓΚΑΟΥΣΙΑΝΗΣ ΚΑΤΑΝΟΜΗΣ... 19 2.2 ΤΑΥΤΟΠΟΗΣΗ ΑΓΩΝΙΣΤΙΚΟΥ ΧΩΡΟΥ... 20 2.3 ΤΑΥΤΟΠΟΙΗΣΗ ΠΑΙΚΤΗ... 22 2.3.1 ΜΕΘΟΔΟΣ UTSUMI... 22 2.3.2 ΜΕΘΟΔΟΣ ΙΔΙΟΤΗΤΩΝ ΣΧΗΜΑΤΟΣ... 22 2.3.3 ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ... 24 2.4 ΕΝΤΟΠΙΣΜΟΣ... 25 2.4.1 ΕΝΤΟΠΙΣΜΟΣ ΜΕ ΧΡΗΣΗ BLOBS... 25 2.4.1.1 ΠΙΝΑΚΕΣ... 25 2.4.2 ΦΙΛΤΡO KALMAN... 29 ΑΝΑΛΥΣΗ ΜΕΘΟΔΟΥ... 34 2.4.3. ΕΝΤΟΠΙΣΜΟΣ ΠΟΥ ΒΑΣΙΖΕΤΑΙ ΣΕ PARTICLE FILTERS... 35 2.4.3.1 Η ΚΑΤΑΣΤΑΣΗ ΤΟΥ ΠΑΙΚΤΗ... 38 2.4.3.2. ΠΥΚΝΟΤΗΤΑ... 38 ΑΝΑΛΥΣΗ ΜΕΘΟΔΟΥ... 42 2.4.4 ΕΝΤΟΠΙΣΜΟΣ ΠΟΥ ΒΑΣΙΖΕΤΑΙ ΣΤΟ NEAREST NEIGHBOUR ΜΗΧΑΝΙΣΜΟ... 43 ΑΝΑΛΥΣΗ ΜΕΘΟΔΟΥ... 43 ΣΥΚΡΙΣΗ ΜΕΘΟΔΩΝ... 47

2.5 ΑΝΑΦΟΡΑ ΣΕ ΑΛΛΑ ΠΛΗΡΗ ΣΥΣΤΗΜΑΤΑ... 48 3. ΑΚΡΙΒΗΣ ΠΡΟΣΔΙΟΡΙΣΜΟΣ ΣΥΣΤΗΜΑΤΟΣ... 53 3.1 ΣΧΕΔΙΟ ΣΤΡΑΤΗΓΙΚΗΣ ΑΝΑΠΤΥΞΗΣ... 53 3.2 ΠΛΑΝΟ... 53 4.ΠΡΟΤΕΙΝΟΜΕΝΗ ΜΕΘΟΔΟΣ ΕΝΤΟΠΙΣΜΟΥ ΚΑΙ ΑΝΑΛΥΣΗΣ... 54 4.1 ΠΡΟΤΕΙΝΟΜΕΝΗ ΜΕΘΟΔΟΣ... 55 4.2 ΕΚΤΙΜΗΣΗ ΤΗΣ ΠΕΡΙΟΧΗΣ ΤΟΥ ΓΗΠΕΔΟΥ... 56 4.3 ΜΕΘΟΔΟΣ ΦΙΛΤΡΩΝ ΣΩΜΑΤΙΔΙΩΝ (PARTICLE FILTERS)... 57 4.3.1 ΕΝΤΟΠΙΣΜΟΣ ΚΙΝΗΣΗΣ ΠΟΔΟΣΦΑΙΡΙΣΤΗ... 58 4.3.2 ΚΑΤΑΤΜΗΣΗ ΤΩΝ ΠΕΡΙΟΧΩΝ ΠΟΥ ΠΙΘΑΝΟΝ ΝΑ ΒΡΙΣΚΟΝΤΑΙ ΟΙ ΠΑΙΚΤΕΣ... 59 4.3.3 ΕΝΤΟΠΙΣΜΟΣ ΠΑΙΚΤΗ... 61 ΑΡΧΙΚΟΠΟΙΗΣΗ ΚΑΙ ΤΕΡΜΑΤΙΣΜΟΣ TRACKER... 63 4.3.4 ΠΡΟΒΟΛΙΚΟΣ ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΣ... 64 4.4 ΠΕΙΡΑΜΑ ΕΝΤΟΠΙΣΜΟΥ ΠΑΙΚΤΗ... 65 4.5 ΕΝΤΟΠΙΣΜΟΣ ΜΕ ΧΡΗΣΗ ΧΑΡΑΚΤΗΡΙΣΤΙΚΩΝ ΧΡΩΜΑΤΟΣ ΚΑΙ ΣΧΗΜΑΤΟΣ (COLOUR AND EDGE)... 66 5.ΑΠΟΤΕΛΕΣΜΑΤΑ... 67 5.1 ΑΠΟΤΕΛΕΣΜΑΤΑ ΔΟΚΙΜΗΣ... 67 5.2 ΑΝΕΞΑΡΤΗΤΕΣ ΜΕΤΑΒΛΗΤΕΣ... 69 5.2.1 ΣΥΜΦΟΡΗΣΗ... 70 5.2.2. ΚΙΝΗΣΗ ΚΑΜΕΡΑΣ... 72 5.2.3. ΓΩΝΙΑ ΚΑΜΕΡΑΣ... 73 5.2.4 ΦΩΤΙΣΜΟΣ ΚΑΙΡΙΚΕΣ ΣΥΝΘΗΚΕΣ... 75 ΠΑΡΑΡΤΗΜΑ... 77 ΚΩΔΙΚΑΣ MATLAB... 77 Βιβλιογραφία... 84 6

7 ΕΙΣΑΓΩΓΗ Τα τελευταία χρόνια υπάρχει εκτεταμένη ερευνητική δραστηριότητα στον τομέα του εντοπισμού αντικειμένων μέσω ακολουθιών βίντεο με αποτέλεσμα η εξέλιξη της τεχνολογίας να έχει επιφέρει σημαντικότατες αλλαγές στον τομέα των οπτικοακουστικών μέσων. Στην παρούσα εργασία διερευνάται η διαδικασία εντοπισμού ποδοσφαιριστών μέσω μιας μόνο πηγής βίντεο. Το ποδόσφαιρο είναι ένας σημαντικός τομέας για τον εντοπισμό και την παρακολούθηση πολλών αντικειμένων με μεγάλη συχνότητα επικαλύψεων. Η κατανόηση των κινήσεων των παικτών και της μπάλας είναι απολύτως απαραίτητη για την ανάλυση των αγώνων ώστε να συλλεχθούν στατιστικά στοιχεία και να ερμηνευθούν οι τακτικές των ομάδων. Η δυσκολία της παρακολούθησης της κίνησης των ποδοσφαιριστών και της μπάλας σε έναν ποδοσφαιρικό αγώνα δεν έγκειται μόνο στο γεγονός ότι τα αντικείμενα επικαλύπτονται μεταξύ τους. Μια ακόμη δυσκολία συναντάται καθώς τα αντικείμενα υπό παρακολούθηση εισέρχονται και εξέρχονται από το οπτικό πεδίο της κάμερας κάτι που καθιστά ιδιαίτερα δύσκολη την παρακολούθησή τους.

8 1.1ΚΙΝΗΤΡΑ ΓΙΑ ΤΗΝ ΣΥΓΚΕΚΡΙΜΈΝΗ ΑΝΑΛΥΣΗ Ένα από τα σημαντικότερα προϊόντα της τηλεόρασης είναι τα αθλητικά προγράμματα και ειδικότερα το ποδόσφαιρο που την καθιστούν ιδιαίτερα δημοφιλή. Η εμπορικότητα του αθλήματος έχει ως αποτέλεσμα να υπάρχει μεγάλος αριθμός ατόμων που απασχολούνται στον ευρύτερο χώρο του ποδοσφαίρου. Η συνεχώς αναπτυσσόμενη βιομηχανία που έχει δημιουργηθεί γύρω από τον κόσμο του ποδοσφαίρου λοιπόν δικαιολογεί την σημαντικότητα της παρατήρησης των ποδοσφαιρικών μέσων μέσω βιντεοκάμερας. Η διαδικασία αυτή έχει πολυάριθμες χρήσεις τόσο για τους αθλητές και τους προπονητές, όσο και για τους αθλητικογράφους και τους ραδιοτηλεοπτικούς φορείς. Σε ατομικό επίπεδο οι ποδοσφαιριστές μπορούν να αποκτήσουν εικόνα για τις επιδόσεις τους, ενώ σε ομαδικό επίπεδο οι προπονητές μπορούν να πληροφορηθούν για την ποιότητα των παικτών τους αλλά και της τακτικής της ομάδας, τόσο στο σύνολο του παιχνιδιού όσο και σε συγκεκριμένες φάσεις. Επίσης, σε ό,τι αφορά στους δημοσιογράφους που καλύπτουν τον εκάστοτε αγώνα, με την παρακολούθηση των ποδοσφαιριστών μέσω βιντεοκάμερας έχουν τη δυνατότητα να χρησιμοποιήσουν πληροφορίες με ενισχυμένη στατιστική ανάλυση, ώστε να την μεταφέρουν στον τηλεθεατή. Αξίζει να σημειώσουμε πως το ποδόσφαιρο δεν απολαμβάνεται μόνο από τους συμμετέχοντες στον αγώνα, αλλά και από αυτούς που παρακολουθούν κάθε παιχνίδι από την τηλεόραση ή το γήπεδο. Η μεγάλη θεαματικότητα λοιπόν, έχει οδηγήσει πολλούς ραδιοτηλεοπτικούς φορείς -ανάμεσά τους και το BBC- στην αύξηση του υλικού και των πλάνων του αγώνα, που αφορούν στη γνώση της κίνησης και της θέσης του κάθε ποδοσφαιριστή. Επιπλέον, η δυνατότητα παροχής στατιστικών στοιχείων σχετικά με των αγώνα ενισχύει την εμπειρία των θεατών μέσω της διάθεσης περισσότερων πληροφοριών σε σχέση με αυτές που θα διέθετε ένα απλό βίντεοσκοπημένο παιχνίδι χωρίς ανάλυση.

9 1.2 ΔΗΛΩΣΗ ΠΡΟΒΛΗΜΑΤΩΝ Ο εντοπισμός αντικειμένων σε πολυπληθείς σκηνές όπως για παράδειγμα κατά την περίπτωση της βιντεοσκόπησης ενός ποδοσφαιρικού αγώνα, συνεπάγεται αναγκαστικά και κάποια προβλήματα. Το σύστημα ανάλυσης θα πρέπει να έχει την ικανότητα του εντοπισμού των αντικειμένων μέσα σε ένα μεγάλης συμφόρησης και ταχέως μεταβαλλόμενο σκηνικό, όπου οι κινήσεις πιθανόν να είναι μη γραμμικές και όπου αναμένεται να υπάρχουν πολλές περιπτώσεις επικάλυψης (μεταξύ των ποδοσφαιριστών, μεταξύ των ποδοσφαιριστών και του διαιτητή, μεταξύ των ποδοσφαιριστών και της μπάλας). 1.2.1 ΔΙΑΤΥΠΩΣΗ ΤΟΥ ΠΡΟΒΛΗΜΑΤΟΣ ΤΗΣ ΕΠΙΚΑΛΥΨΗΣ Η συζήτηση του προβλήματος της επικάλυψης και η σύγκριση των δυνατοτήτων των διαφόρων υπαρχόντων συστημάτων εντοπισμού θα ήταν πιο εύκολες αν περικλείαμε το πρόβλημα της επικάλυψης σε ένα επίσημο πλαίσιο. Απ' όσο γνωρίζουμε όμως, δεν υπάρχει κάποιο τέτοιο λεκτικό πλαίσιο στη φιλολογία. Έτσι λοιπόν προτείνουμε ένα απλό πλαίσιο το οποίο θα μας επιτρέψει πρώτα να περιγράψουμε το πρόβλημα της επικάλυψης και έπειτα να κατηγοριοποιήσουμε και να συγκρίνουμε τα υπάρχοντα συστήματα εντοπισμού που ασχολούνται με επικαλύψεις. Η θεμελιώδης οντότητα είναι το "blob" (ή αλλιώς στόχος), το οποίο ορίζεται σαν μια ομάδα από αντικείμενα. Η ακριβής φύση των αντικείμενων είναι άσχετη, μπορούν να είναι άνθρωποι, αυτοκίνητα, πλαίσια κτλ. Η εικόνα 1, δείχνει τη γραφική αναπαράσταση blobs και αντικειμένων. Είναι απαραίτητο να σημειώσουμε ότι ένα blob λειτουργεί σαν δοχείο που περιέχει ένα ή περισσότερα αντικείμενα. Είναι επίσης σημαντικό να γίνει αντιληπτό ότι τα πράγματα που εντοπίζονται μέσω επεξεργασίας εικόνας και παρακολουθούνται είτε με έλλειψη είτε με απουσία επικαλύψεων, είναι blobs και όχι αντικείμενα. Ένα blob μπορεί να οριστεί και ως μια ομάδα από blobs αντί για αντικείμενα ωστόσο ο ορισμός αυτός δεν είναι απαραίτητος αυτή τη στιγμή.

10 Εικ. 1.1: Γραφική αναπαράσταση blobs και αντικειμένων Αντικείμενα και blobs περιγράφονται από κάποια χαρακτηριστικά όπως θέση, ταχύτητα και εμφάνιση. Τα blobs χαρακτηρίζονται επίσης από λειτουργίες όπως δημιουργία, διαγραφή, συνένωση και διαχωρισμός. Η λειτουργία της δημιουργίας χρησιμοποιείται για να δημιουργηθεί ένα νέο blob και να ξεκινήσει μια νέα παρακολούθηση. Η διαγραφή χρησιμοποιείται για να απομακρυνθεί ένα blob από μελλοντική μελέτη ενώ τα ενεργά blob παρακολουθούνται όλες τις στιγμές. Υποθέτουμε ότι υπάρχει ένας δείκτης Po που ανιχνεύει το γεγονός ότι ένα ή περισσότερα blobs επικαλύπτονται μεταξύ τους. Οι εσωτερικές διαδικασίες του Ρο δε μας απασχολούν. Όταν ανιχνευτεί μια επικάλυψη υπάρχουν δύο χρήσιμες μέθοδοι για να ασχοληθούν με αυτήν. Ονομάζουμε την πρώτη μέθοδο (εικόνα 2), ως προσέγγιση συνένωσηςδιαχωρισμού (MS). Μόλις ο Ρο αναφέρει ότι κάποια blobs επικαλύπτονται, το σύστημα τα συνενώνει σε ένα νέο blob. Από αυτό το σημείο και μετά τα αρχικά αντικείμενα συνοψίζονται στο καινούριο blob. Το καινούριο blob έχει καινούρια χαρακτηριστικά και παρακολουθείται σαν και τα υπόλοιπα ενεργά blob του συστήματος. Υποθέτουμε ότι υπάρχει ένας δείκτης Ps ο οποίος είναι ικανός να αποφασίζει εάν ένα blob που περιέχει τουλάχιστον δύο αντικείμενα πρέπει να διαχωριστεί ή εάν ένα νέο blob που εμφανίστηκε δίπλα σε ένα σύνθετο blob (με τουλάχιστον δύο αντικείμενα) συμπίπτει με ένα ή

περισσότερα αντικείμενα του σύνθετου blob. Και στις δύο περιπτώσεις, πρέπει να διαχωρίσουμε κατάλληλα το σύνθετο blob σε δύο ξεχωριστά blobs. 11 Εικ. 1.2: Προσέγγιση συνένωσης διαχωρισμού Ονομάζουμε τη δεύτερη μέθοδο (εικόνα 3), ως άμεση ή απευθείας προσέγγιση (ST). Εδώ συνεχίζουμε απλά να παρακολουθούμε τα ξεχωριστά blobs (που περιέχουν μόνο ένα αντικείμενο) κατά την επικάλυψη χωρίς να προσπαθούμε να τα συνενώσουμε. Το σύστημα βασίζεται στον ίδιο δείκτη επικάλυψης Po που χρησιμοποιήθηκε στην προσέγγιση MS. Έτσι πρέπει γενικά να βελτιστοποιείται η τεχνική παρακολούθησης όταν ανιχνεύεται επικάλυψη και για όσο διάστημα αυτή διαρκεί.

12 Εικ. 1.3 : Άμεση προσέγγιση 1.3 ΣΤΟΧΟΣ Πρωταρχικός μας στόχος μέσω της παρούσας εργασίας είναι να παρουσιάσουμε ένα σύστημα ικανό για αξιόπιστη και ακριβή παρακολούθηση των παικτών ενός ποδοσφαιρικού αγώνα, μέσω πλάνων από μία μόνο κάμερα. Το σύστημα θα πρέπει να λάβει σαν εισροή μια τυπική ακολουθία βίντεο του ποδοσφαίρου, και σαν εκροή τη θέση του παίκτη σε κάθε καρέ μέσα από την ακολουθία. 1.3.1 ΔΕΥΤΕΡΕΥΟΝΤΕΣ ΣΤΟΧΟΙ Αριθμητικές μετρήσεις. Για την επίτευξη αξιόπιστης και ακριβούς παρακολούθησης πρέπει να χρησιμοποιούνται ακριβείς ποσοτικές μετρήσεις.

13 Αξιολόγηση διαφορετικών προσεγγίσεων. Ένας ακόμη στόχος είναι η εύρεση της κατάλληλης μεθόδου μέσω της διερεύνησης και αξιολόγησης διάφορων μεθόδων με σκοπό την επιλογή της καλύτερης. Μία εισροή. Ο στόχος προβλέπει μόνο μία ακολουθία βίντεο ως απαιτούμενη εισροή. Κατηγοριοποίηση των παικτών υπό παρακολούθηση σε ομάδες. Για να ικανοποιηθεί ο στόχος αυτός, το σύστημα πρέπει να ενεργοποιήσει μια ομαδική κατάταξη για κάθε παίκτη. Μοντέλο κάμερας για την αντιστάθμιση της κίνησης της κάμερας μέσω μιας ακολουθίας εικόνων. Αυτό χρησιμοποιείται για την βελτίωση της απόδοσης του εντοπισμού. Γενίκευση του συστήματος ώστε να μπορεί να χρησιμοποιηθεί και σε άλλα αθλήματα και διαδικασίες εντοπισμού. Ταξινόμηση σκηνών και αυτόματη ανίχνευση των αλλαγών. Η ανίχνευση σκηνής θα μπορούσε να χρησιμοποιηθεί για την αρχικοποίηση της παρακολούθησης έπειτα από μια κομμένη σκηνή. Ανάλυση συμπεριφοράς για τον καθορισμό κάποιων βασικών πληροφοριών σχετικά με την κίνηση των παικτών και των τακτικών τους μέσω ανεπεξέργαστων δεδομένων της τροχιάς τους. Προσδιορισμός κάθε παίκτη ξεχωριστά. Το προφίλ του παίκτη μπορεί να προσδιοριστεί με βάση τις πληροφορίες εντοπισμού κατά τη διάρκεια του αγώνα.

14 Σε πολλές περιπτώσεις χρησιμοποιούνται πολλές κάμερες για την καλύτερη εκτίμηση της θέσης του εκάστοτε παίκτη αλλά και την αντιμετώπιση των επικαλύψεων. Το σύστημα που εξετάζουμε εμείς, βασίζεται στη χρήση μιας μόνο κάμερας. Αν και οι πολλές κάμερες μπορεί να έχουν μεγαλύτερη ακρίβεια, διάφοροι αλγόριθμοι εντοπισμού και τεχνικές αντιμετώπισης της επικάλυψης διερευνώνται ώστε να παράγουν συγκρίσιμα αποτελέσματα χρησιμοποιώντας πληροφορίες από μία μόνο οπτική γωνία. Οποιαδήποτε βελτίωση στο σύστημα που βασίζεται σε μία μόνο κάμερα, μπορεί να εφαρμοστεί άμεσα σε συστήματα πολλών καμερών. Ένα απλό σύστημα θα μπορούσε να εφαρμοστεί σε ένα ερασιτεχνικό παιχνίδι, επιτρέποντας σε περισσότερες ομάδες να επωφεληθούν από μετρήσεις επιδόσεων που προσφέρονται στους μεγάλους συλλόγους. 1.4 ΜΕΤΡΗΣΗ ΕΠΙΤΥΧΙΑΣ Είναι γνωστό ότι διαφορετικοί αλγόριθμοι εντοπισμού έχουν συγκεκριμένα πλεονεκτήματα αλλά και αδυναμίες. Κάποιοι αλγόριθμοι αποδίδουν καλά σε περιπτώσεις που τα αντικείμενα κινούνται με προβλέψιμη πρώτη κίνηση, ενώ άλλοι αποδίδουν καλύτερα σε περιπτώσεις επικάλυψης. Για να διαπιστωθεί ποιος είναι ο αλγόριθμος εντοπισμού με την καλύτερη επίδοση στον τομέα του ποδοσφαίρου είναι απαραίτητο να εξαχθούν άμεσες συγκρίσεις μεταξύ των μεθόδων. Για να επιτευθεί αυτό, ορίζονται ποσοτικές μετρήσεις για την ακρίβεια και την αξιοπιστία του συστήματος. Μια τέτοια μέθοδος για την αξιολόγηση αλγορίθμων παρατήρησης, μετρά το αποτέλεσμα των εκροών ενός αλγόριθμου. Το σύστημα που επιτυγχάνει τις μικρότερες αποκλίσεις θα είναι το καλύτερο στην ακρίβεια εντοπισμού των παικτών. Αυτό μπορεί να διαρκέσει για αρκετές ακολουθίες εικόνων με διαφορετικές ανεξάρτητες μεταβλητές, όπως τα επίπεδα φωτισμού και το επίπεδο επικάλυψης. Ένας αλγόριθμος που μπορεί να διατηρήσει την ακριβή παρακολούθηση σε διαφορετικές συνθήκες θα είναι αξιόπιστος.

15 2. ΕΠΙΣΚΟΠΗΣΗ ΒΙΒΛΙΟΓΡΑΦΙΑΣ 2.1 ΑΦΑΙΡΕΣΗ ΦΟΝΤΟΥ Πολλές πλευρές της ανάλυσης ποδοσφαιρικού αγώνα σχετίζονται με την αφαίρεση φόντου. Το ποδόσφαιρο χαρακτηρίζεται από συνεχείς, μη γραμμικές κινήσεις υπό συχνές επικαλύψεις, κατά τη διάρκεια αλλαγών στις καιρικές συνθήκες ή το φωτισμό. Το πράσινο χρώμα του γρασιδιού είναι το επικρατών στο πλάνο και δεν εντοπίζεται σε περιοχές του πλάνου πέρα από τον αγωνιστικό χώρο. Η αφαίρεση φόντου είναι μια απλή τεχνική κατάτμηση εικόνας. Ουσιαστικά συγκρίνει κάθε καρέ με τα προηγούμενά του, ώστε να δημιουργήσει ένα πλαίσιο φόντου. Τα κινούμενα μέρη τονίζονται καθώς αφαιρούνται από το φόντο. Μια ασυνέχεια στα υπάρχοντα συστήματα είναι αν θεωρού τα σημεία του αγωνιστικού χώρου, όπως οι γραμμές, ως μέρος του φόντου ώστε να αφαιρεθούν ή παραμένουν στη φιλτραριμένη εικόνα.ακολουθεί ανάλυση των 3 επικρατέστερων μεθόδων που μελετήθηκαν στη βιβλιογραφία: Μέθοδος αντίθεσης φωτεινότητας Μοντέλο ιδιοτιμών Μοντέλο Γκαουσιανής κατανομής 2.1.1 ΟΡΙΣΜΟΣ ΤΗΣ ΑΝΤΙΘΕΣΗΣ ΤΗΣ ΦΩΤΕΙΝΟΤΗΤΑΣ Η τηλεοπτική παρατήρηση της ανθρώπινης δραστηριότητας συνήθως απαιτεί των εντοπισμό των ατόμων. Πληροφορίες σχετικά με την συμπεριφορά τους μπορεί να αποκτηθεί από χαρακτηριστικά των πορειών τους και την αλληλεπίδραση μεταξύ τους. Η ανάλυση μιας μόνο θέσης ή τροχιάς blob μπορεί να προσδιορίσει αν το άτομο στέκεται σε απαγορευμένη περιοχή, τρέχει, πηδάει ή κρύβεται. Συνδυάζοντας τέτοιες πληροφορίες από δυο ή περισσότερα άτομα μπορούμε να αντλήσουμε πληροφορίες για την μεταξύ τους αλληλεπίδραση. Στη

16 διαδικασία που παρεμβάλλεται ανάμεσα στην απόκτηση της εικόνας και στις πληροφορίες σχετικά με τα αντικείμενα μέσα σε αυτή, δύο βήματα είναι σημαντικά: η κατάτμηση και ο εντοπισμός σε πρώτο πλάνο. Εδώ παρουσιάζεται μια απλοποιημένη μέθοδος εντοπισμού σε πρώτο πλάνο που βασίζεται στην αντίθεση της φωτεινότητας και σε έναν απλό αλγόριθμο εντοπισμού που βασίζεται μόνο στο ταίριασμα των πληροφοριών των Blobs χωρίς να χρησιμοποιούνται στατιστικές περιγραφές για να διαμορφώσουμε ή να προβλέψουμε χαρακτηριστικά της κίνησης. Η ανίχνευση των εικονοστοιχεία του πρώτου πλάνου γίνεται χρησιμοποιώντας την αντίθεση της φωτεινότητας. Αυτή η μέθοδος απλοποιεί το μοντέλου του φόντου, ελαττώνοντας το σε μια απλή εικόνα και επίσης μειώνει το χρόνο υπολογισμού χρησιμοποιώντας μια μόνο συντεταγμένη σε έγχρωμες εικόνες. Τα κεντρικά σημεία της μεθόδου περιγράφονται παρακάτω. Η αντίθεση της φωτεινότητας είναι το κεντρικό σημείο στον ορισμό της ορατότητας ενός συγκεκριμένου αντικειμένου. Χαρακτηριστικά η αντίθεση της φωτεινότητας ορίζεται ως η σχετική διάφορα μεταξύ της φωτεινότητας του αντικειμένου LO, και της φωτεινότητας του φόντου LB: Όπως μπορούμε να δούμε θετικές αλλά και αρνητικές τιμές είναι δυνατές κάτι που σημαίνει ότι ένα αντικείμενο είναι ποιο σκούρο από το φόντο. Για να εφαρμόσουμε αυτή την ιδέα στην ανίχνευση του πρώτου πλάνου προτείνουμε ένα εναλλακτικό ορισμό της αντίθεσης συγκρίνοντας τη συντεταγμένη y της φωτεινότητα στο YUV σύστημα χρώματος ενός pixel P(i,j) στην τωρινή εικόνα αλλά και στην εικόνα του φόντου: (i, j) y (i,j) y (i,j) y (i,j) Οι τιμές της φωτεινότητας έχουν εύρος από 0 ως 225 για εικόνες ψηφιοποιημένες με YUV format ή από 16 ως 255 για εικόνες που έχουν μετατραπεί από RGB συντεταγμένη. Μηδενικές τιμές για την y συντεταγμένη του φόντου αλλάζουν σε μονάδα γιατί η άπειρη τιμή που παράγουν δεν έχει φυσική σημασία. Με αυτές τις πιθανές τιμές, η αντίθεση θα ανήκει στο μη συμμετρικό εύρος -1 ως 254. Τιμές γύρω από το μηδέν είναι αναμενόμενες για

τα εικονοστοιχεία του φόντου, αρνητικές τιμές για τα εικονοστοιχεία του πρώτου πλάνου τα όποια είναι πιο σκούρα από τα αντίστοιχα του φόντου και θετικές τιμές για τα πιο φωτεινά. Ωστόσο, ποιο υψηλές τιμές λαμβάνονται κάτω από ασυνήθιστες συνθήκες, φωτεινών αντικειμένων έναντι πολύ σκούρου φόντου και τιμές μεγαλύτερες του 10 δεν είναι πιθανό να ληφθούν. Συμφώνα με τη μη συμμετρική κατανομή της αντίθεσης γύρω από το μηδέν, ο αλγόριθμος ανίχνευσης του πρώτου πλάνου θα έπρεπε να χρησιμοποιεί δυο διαφορετικά κατώφλια για θετικές C P και για αρνητικές 17 C N τιμές της αντίθεσης, αναλόγως τη φύσης του φόντου και των αντικειμένων που θα κατατμηθούν, ωστόσο ένα μόνο κατώφλι αντίθεσης C= C -C, μπορεί να χρησιμοποιηθεί για χάρη απλότητας. Συμφώνα με την εμπειρία μας ένα κατώφλι αντίθεσης μεταξύ 0.15 και 0.20 λειτούργει καλά στις περισσότερες περιπτώσεις, και μπορεί να αντιμετωπίσει ακόμα και τις μικρές αλλαγές στο φωτισμό που μπορούν να προκύψουν σε εσωτερικό περιβάλλον. Έτσι ένα Pixel P(i,j) ανήκει στο πρώτο πλάνο όταν η απολυτή τιμή της αντίθεσης είναι μεγαλύτερη από το επιλεγμένο κατώφλι C ειδάλλως ανήκει στο φόντο. Ένα μεσαίο φίλτρο εφαρμόζεται έπειτα για να μειώσει το θόρυβο και τα εναπομείναντα εικονοστοιχεία του πρώτου πλάνου ομαδοποιούνται σε ένα αρχικό Βlob. Αυτό το Blob διαιρείται οριζοντίως και καθέτως χρησιμοποιώντας Χ-Υ προβαλλόμενο ιστόγραμμα μέγεθος κουτιού και την αναλόγια ύψους-πλάτους. Οι Βlobs που προκύπτουν ταξινομούνται, συμφώνα με το μέγεθος τους και τη διάσταση τους, και χαρακτηρίζονται με τα παρακάτω χαρακτηριστικά: οριοθετημένα κουτιά, πλάτος, ύψος και το κέντρο των εικονοστοιχεία του πρώτου πλάνου στο κουτί. Ειδικότερα, το μέγεθος του κουτιού, η διάσταση και η θέση του κέντρου χρησιμοποιούνται για να αποφύγουμε ανεπιθύμητες διαιρέσεις, όπως σκίσιμο ενός ατόμου σε αρκετά Blobs. P N

18 2.1.2 ΜΟΝΤΕΛΟ ΙΔΙΟΤΙΜΩΝ Μια πιο πρόσφατη προσέγγιση στην αφαίρεση φόντου χρησιμοποιεί πιθανοτικές πληροφορίες στην κατανομή των τιμών των εικονοστοιχεία, ώστε να δημιουργήσει ένα στατιστικό μοντέλο φόντου. Στις περισσότερες εφαρμογές εντοπισμού ένα μοντέλο κατασκευάζεται για κάθε pixel. Αυτό είναι απαραίτητο σε ένα πλαίσιο με ορυβώδες φόντο. Επειδή, όμως, το φόντο του ποδοσφαίρου είναι το γρασίδι, οι κατανομές των pixel φόντου θα είναι σταθερές, μέσα σε κάποια όρια. Ένα απλό μοντέλο προκύπτει εφαρμόζοντας μετασχηματισμό ιδιοτιμών στην κατανομή των pixel του αγωνιστικού χώρου στο επιλεγμένο χρώμα. Έτσι υπολογίζουμε την πιθανότητα ένα pixel να ανήκει στο φόντο μέσω της Malahanobi απόστασης απο το μοντέλο ιδιοτιμών. Μια χαμηλή τιμή απόστασης υποδηλώνει pixel φόντου. Τα μοντέλα ιδιοτιμών υποθέτουν μία Γκαουσιανή κατανομή στο χώρο. Ο στόχος είναι να παραχθεί μια μέτρηση του πόσο καλά ταιριάζει ένα σημείο p' του χώρου στην κατανομή των pixel του αγωνιστικού χώρου {p1,p2,...,pn}. Για να υπολογίσουμε την Malahanobi απόσταση, λοιπόν, αρχικά υπολογίζουμε την μεταβολή C _ ως εξής: 1 n Pi n i 1 _ 1 _ ( )( ) C P P n, όπου _ P είναι ο πίνακας κάθετων διανυσμάτων της κατανομής P. Ο πίνακας _ C ονομάζεται πίνακας συνδιακύμανσης και επειδή είναι τετράγωνος συμμετρικός μπορούμε να εφαρμόσουμε ένα μετασχηματισμό ιδιοτιμών, ώστε να δημιουργήσουμε τον πίνακα ιδιοδιανυσμάτων _ U

19 =[ u 1, u 2,..., u n ] και τον διαγώνιο πίνακα ιδιοτιμών V _ { v1, v2,..., v n }. Άρα ένα σημείο p μπορεί να μετασχηματιστεί στο χώρο μέσω του : _ 1 _ 1 U V ( p ) και η απόσταση d(p ) υπολογίζεται από : 1 2 T ( ') ( ' ) ( ' ) d p p U V U p 2.1.3. ΜΟΝΤΕΛΟ ΓΚΑΟΥΣΙΑΝΗΣ ΚΑΤΑΝΟΜΗΣ Το μοντέλο Γκαουσιανής κατανομής (GMM) χρησιμοποιείται για «πολυτροπικές» κατανομές και δημιουργεί ένα σύνολο μοντέλων ιδιοτιμών (Eigenmodel) για να αναπαραστήσει καλύτερα τις μη γκαουσιανές κατανομές.οι παράμετροι για GM μοντέλο υπολογίζονται εφαρμόζοντας έναν επαναληπτικό αλγόριθμο μεγιστοποίησης προσδοκίας, ο οποίος αποτελείται από δύο βήματα. Αρχικά δίνεται ένα σύνολο τιμών παραμέτρων, υπολογίζονται οι προσδοκόμενες τιμές και πόσο αυτές ταιριάζουν στα δεδομένα του μοντέλου και στη συνέχεια οι παράμετροι ξαναυπολογίζονται ώστε να βελτιστοποιηθούν οι προσδοκόμενες τιμές.αυτή η διαδικασία επαναλαμβάνεται έως ότου οι παράμετροι του μοντέλου συγκλίνουν. Η χρήση τυχαίων τιμών στην αρχική πρόβλεψη και ο προσεγγιστικός τύπος του αλγορίθμου τον καθιστούν αρκετά πιο περίπλοκο από το απλό Eigenmodel.

20 Εικ. 2.1(a)&(e) Malahanobi αποστάσεις για κάθε pixel χρησιμοποιώντας Eigenmodel. (c)&(g) Malahanobi αποστάσεις για κάθε pixel χρησιμοποιώντας GMM. (b)(d)(f)(h) δείχνουν τις Malahanobi αποστάσεις των (a)(c)(e)(g) αντίστοιχα, κατωφλιωμένες για να ταξινομήσουν τα pixel του αγωνιστικού χώρου. 2.2 ΤΑΥΤΟΠΟΗΣΗ ΑΓΩΝΙΣΤΙΚΟΥ ΧΩΡΟΥ Μετά τη διενέργεια της αφαίρεσης φόντου πρέπει να διαχωριστούν οι περιοχές του αγωνιστικού χώρου από τις υπόλοιπες, όπως π.χ. κερκίδες, διαφημιστικές πινακίδες κλπ. Αυτή είναι μία απλή και αποδοτική μέθοδος ώστε να αφαιρεθούν κομμάτια του πλάνου που είναι κινούμενα, «θορυβώδη» και περιέχουν πολλή διακύμανση ενώ,ταυτόχρονα, δεν προσφέρουν καμία πληροφορία στον αντικειμενικό σκοπό του συστήματος. Για να επιτευχθεί αυτό, πρέπει να συγκεντρώσουμε τις περιοχέςε του αγωνιστικού χώρου και να δημιουργήσουμε ένα κυρτό κέλυφος (convex hull). Αυτό είναι επαρκές καθώς το γήπεδο, από την οπτική των καμερών, φαίνεται κυρτό και υπάρχουν αλγόριθμοι που υπολογίζουν convex hulls με περιπλοκότητα O=nlogn. (βιβλ. 8) Πολλές εφαρμογές για ποδοσφαιρικό εντοπισμό χρησιμοποιούν,επίσης, τις πληροφορίες των γραμμών του γηπέδου στο πλάνο, ώστε να δημιουργήσουν μοντέλα κίνησης για την κάμερα. Ένας μετασχηματισμός Hough εφαρμόζεται για να ταυτοποιηθούν και να κατηγοριοποιηθούν οι γραμμές του γηπέδου. Η βασική ιδέα της µεθόδου µπορεί να αναδειχτεί από το απλό πρόβληµα της ανίχνευσης µιας ευθείας γραµµής σε µια εικόνα. Μια ευθεία ορίζεται από δυο

21 σηµεία Α(x1,y1) και Β(x2,y2). H ευθεία ε που διαπερνάει το σηµείο Α δίνεται από την εξίσωση y=kx+q. Ακόµα ισχύουν y1=kx1+q, y2=kx2+q, δηλαδή τα k, q µπορούν να υπολογιστούν εύκολα από το σύστηµα εξισώσεων. Εποµένως η ευθεία ε αντιπροσωπεύεται στο χώρο k, q από ένα σηµείο Γ(k, q). Το ίδιο µπορεί να γίνει και για κάθε pixel ακµή της εικόνας. Όµως παρατηρούµε πως έτσι αρκεί να βρούµε τα τοπικά µέγιστα στο χώρο k, q(ο χώρος k, q είναι κβαντισµένος) και µε αυτό τον τρόπο εξάγουµε τις κυρίαρχες ευθείες στην εικόνα. Για να εντοπιστούν ευθείες γραμμές χρησιμοποιείται η πολική τους αναπαράσταση: Εικόνα 2.2, Μια δυαδική εικόνα και μετασχηματισμός στον χώρο Hough (πηγη http://en.wikipedia.org/wiki/hough_transform) r = xcos(θ) + ysin(θ) Η παραπάνω εξίσωση περιέχει 2 παραμέτρους r,θ, οι οποίες καθορίζουν τον χώρο Hough. Κάθε σημείο στον χώρο Hough αντιστοιχεί σε μία ευθεία γραμμή στο χώρο της εικόνας. Μια σηµαντική ιδιότητα του µετασχηµατισµού Hough είναι η αναισθησία του σε θόρυβο αλλά και στην έλλειψη κοµµατιών της ευθείας. Αυτό γίνεται λόγω της ανθεκτικότητας του µετασχηµατισµού από το χώρο ακµών της εικόνας στο χώρο συσσώρευσης(accumulator space), ένα κοµµάτι της ευθείας που χάθηκε απλά θα προκαλέσει ένα µικρότερο τοπικό µέγιστο λόγο της µικρότερης συσσώρευσης των σηµείων της ευθείας στο αντίστοιχο σηµείο του χώρου k, q.

22 2.3 ΤΑΥΤΟΠΟΙΗΣΗ ΠΑΙΚΤΗ Θα αναλύσουμε 3 διαφορετικούς τρόπους ταυτοποίησης παίχτη και θα διαλέξουμε την αποδοτικότερη Μέθοδος Utsumi Μέθοδος ιδιοτήτων σχήματος. Νευρωνικά δίκτυα 2.3.1 ΜΕΘΟΔΟΣ UTSUMI Μία απλή μέθοδος που χρησιμοποιείται συχνά για την ταυτοποίηση παίκτηαντικειμένου σε διασυνδεδεμένες περιοχές προτάθηκε από τον Utsumi κ.α. [βιβλ.] Σύμφωνα μ αυτήν, ένας παίκτης βρίσκεται σε μία μελετούμενη περιοχή αν : 15 h 50 6 w 45 w h, όπου w,h είναι το πλάτος και το ύψος της περιοχής. Η βασική αδυναμία αυτής της μεθοδου είναι σε περιπτώσεις επικαλύψεων, όπου δύο ή περισσότερες περιοχές παικτών συνδέονται. Η επίλυση του προβλήματος γίνεται με τη χρήση πολλαπλών καμερών και την ελπίδα ότι κάποια άλλη κάμερα θα καταγράψει το γεγονός χωρίς επικάλυψη. Σε μερικές επικαλύψεις χρησιμοποιούνται μορφολογικοί τελεστές ώστε να διαβρωθούν οι «κλειστές» περιοχές. Είναι σημαντικό οι επικαλυπτόμενες περιοχές να ταξινομούνται ως περιοχές παικτών, ώστε να συνεχίζεται η παρακολούθηση με μέγιστη πληροφορία για την ακρίβεια της επικάλυψης. 2.3.2 ΜΕΘΟΔΟΣ ΙΔΙΟΤΗΤΩΝ ΣΧΗΜΑΤΟΣ

23 Ένα πιο εξελιγμένο μοντέλο σχήματος θα επέτρεπε την άμεση ταυτοποίηση ενός αντικειμένου ως παίκτη αντί να βασίζεται σε σύγκριση τιμών περιοχών. Μια διαδεδομένη μέθοδος είναι η χρήση παγκόσμιων ιδιοτήτων σχήματος. Ένας συνδυασμός τέτοιων σχηματικών εικόνων μπορεί να εφαρμοστεί, μέσω ενός δοσμένου σύνολο, ώστε να συγκριθούν οι ιδιότητες σχήματος της περιοχής με αυτές του μοντέλου.στην Εικόνα φαίνεται το εύρος των σχημάτων που μπορεί να αντιστοιχεί σε μία περιοχή παίκτη και σε μία περιοχή μη παίκτη κατά τη διάρκεια ενός αγώνα. Για να υπολογιστεί η επιτυχία στην ταυτοποίηση παίκτη, καθορίζονται 2 μετρήσιμοι παράγοντες, η ακρίβεια και η ανάκληση Εικόνα 2.3, Ένα δείγμα περιοχής παίκτη (κορυφή) και περιοχής μη-παίκτη (κάτω) από το εκπαιδευτικό dataset. Θετικό Αρνητικό Ταξινομημένο Θετικό TP FP Ταξινομημένο Αρνητικό FN TN Πιν. 2-1 TP ά TP FN TP ί TP FP Αν αναγάγουμε τον παραπάνω πίνακα (2-1) στην εργασία ταυτοποίησης παίκτη, τότε TP (true positive) είναι οι περιοχές παικτών που ταξινομούνται σωστά σαν παίκτες, FN (false negative) είναι οι περιοχές παικτών που ταξινομούνται λανθασμένα σαν μη-παίκτες και FP (false positive) είναι οι περιοχές χωρίς παίκτες που ταξινομούνται λανθασμένα ως παίκτες. Ένα σύστημα το οποίο ταξινομεί όλες τις περιοχές σαν παίκτες έχει υψηλή ανάκληση αλλά χαμηλή ακρίβεια. Αντίθετα, ένας ταξινομητής που δεν

24 επιστρέφει καμία περιοχή ως παίκτη έχει υψηλή ακρίβεια αλλά χαμηλή ανάκληση. Ένας ιδανικός ταξινομητής θα επιτύγχανε υψηλά ποσοστά και στους δύο δείκτες. Στην πράξη, όμως, υπάρχει ένα «πάρε-δώσε» μεταξύ της ακρίβειας και της ανάκλησης στους διάφορους ταξινομητές. 2.3.3 ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ Μία άλλη προσέγγιση είναι η χρήση νευρωνικών δικτύων. Ένα νευρωνικό δίκτυο αποτελείται από έναν αριθμό στοιχείων (νευρώνες) συνδεδεμένων μεταξύ τους, ώστε να διεξάγουν πολύπλοκες εργασίες όπως η ταξινόμηση. Οι μέθοδοι που αναλύθηκαν παραπάνω χρησιμοποιούν μια προσέγγιση από κάτω προς τα πάνω, δημιουργώντας υψηλού επιπέδου παίχτες-αντικείμενα από σχήματα χαμηλού επιπέδου, τα οποία με τη σειρά τους δημιουργήθηκαν από χαμηλότερου επιπέδου ταξινομήσεις pixel. Αντίθετα, τα νευρωνικά δίκτυα χρησιμοποιούν μία προσέγγιση από πάνω προς τα κάτω. Το δίκτυο, αρχικά, δημιουργεί ένα μοντέλο πάικτη μέσω ενός δείγματος δεδομένων παίκτη. Στη συνέχεια, χρησιμοποιεί αυτό το μοντέλο για να αναζητήσει στα καρέ στοιχεία ύπαρξης περιοχής παίκτη. Η έξοδος θα είναι 1 γι απεριοχές παικτών και 0 για περιοχές μη-παικτών. Μέσα στο δίκτυο, οι νευρώνες χωρίζονται σε βαθμίδες. Κάθε βαθμίδα νευρώνων δέχεται ως είσοδο το σταθμισμένο άθροισμα των εξόδων της προηγούμενης βαθμίδας και του εφαρμόζει μια συνάρτηση μεταφοράς. Η πρώτη βαθμίδα δέχεται ως είσοδο ένα σταθμισμένο πίνακα εισόδου. Στην ταξινόμηση παικτών χρησιμοποιούνται 2 βαθμίδες νευρώνων και παράγουν ικανοποιητικά αποτελέσματα. Βέλτιστο αποτέλεσμα παράγεται με τη χρηση 10 βαθμίδων. Αυτή η μέθοδος, παρά το πειραματικό στάδιο χρήσης της στον ποδοσφαιρικό τομέα, επιτυγχάνει υψηλά επίπεδα ανάκλησης, ταξινομώντας σωστά όλες τις περιοχές παικτών. Το μόνο της μειονέκτημα, σημείο που χρήζει μελλοντικής ανάλυσης, είναι ότι δεν ξεχωρίζει τις γραμμές του γηπέδου ως περιοχές μηπαικτών, γεγονός που οδηγεί σε επιπρόσθετες επικαλύψεις μεταξύ παικτών και γραμμών.

25 2.4 ΕΝΤΟΠΙΣΜΟΣ Εικ.2.4 Διάγραμμα μεθόδων εντοπισμού 2.4.1 ΕΝΤΟΠΙΣΜΟΣ ΜΕ ΧΡΗΣΗ BLOBS Ο αλγόριθμος που περιγράφεται εδώ χρησιμοποιεί ένα δυο-τρόπων αλγόριθμο για το ταίριασμα πινάκων (ταίριασμα των blob από το τρέχων πλαίσιο με αυτά των προηγούμενων και αντιστρόφως) με την επικάλυψη των οριοθετημένων κουτιών ως κριτήριο ταιριάσματος -δυο blobs σε δυο διαδοχικά πλαίσια ταιριάζουν όταν τα οριοθετημένα κουτιά επικαλύπτονται-. Αυτό το κριτήριο είναι αποτελεσματικό σε άλλες προσεγγίσεις και δεν απαιτεί την πρόβλεψη της θέσης του Blob από τη στιγμή που οι οπτικές κινήσεις των Βlobs είναι συνήθως λίγο σχετικές με τις χωρικές εκτάσεις τους. Λόγο της τελευταίας εφαρμογής του, ο αλγόριθμος δουλεύει με τη σχετική θέση των Blobs και την αλληλεπίδραση τους, σχηματίζοντας ή διαλύοντας ομάδες και δεν κρατά πληροφορίες για την θέση των Blobs όταν σχηματίζουν μια ομάδα. Όμως το προτεινόμενο σύστημα ίσως εύκολα μπορεί να ενισχυθεί. Πληροφορίες για το χρώμα μπορεί να χρησιμοποιηθούν στη διαδικασία ταιριάσματος και η προβλεφθείσα θέση μπορεί να χρησιμοποιηθεί για να ανιχνεύσει μεμονωμένα blobs. 2.4.1.1 ΠΙΝΑΚΕΣ Ας πάρουμε δυο διαδοχικά πλαίσια, F(t-1) και F(t). Η ανίχνευση του πρώτου πλάνου και οι αλγόριθμοι ταυτοποίησης των Blobs έχουν ως αποτέλεσμα Ν

26 Blobs στο πρώτο πλαίσιο και Μ στο δεύτερο. Για να βρούμε αντιστοιχία μεταξύ των 2 συνόλων των Blobs, δυο ταιριαγμένοι πίνακες αξιολογούνται: ο πινάκας που ταιριάζει τις νέες Blobs Bi(t), με τις παλιές Bj(t-1), ονομάζεται και ο πίνακας που ταιριάζει τις παλιές με τις νέες ονομάζεται (3). Για να διευκρινίσουμε το ταίριασμα, παρουσιάζεται η ιδέα των «ταιριαγμένων σειρών». Η σημασία του είναι η εξής: οι αριθμοί στη στήλη Κ δείχνουν τα Blobs τα όποια ταιριάζουν με το Βlob K. (i,j)= Ταίριασμα{Bi(t-1),Bj(t)} (i,j)= Ταίριασμα{ Bj(t),Bi(t-1)}, (3) (i)= (i,j) = 1, (4) Είναι δυνατόν για ένα Βlob να έχει δυο θετικά ταιριάσματα με δυο blobs και μερικές φορές, με τρία. Σε αυτή την περίπτωση το αντίστοιχο στοιχειό της σειράς πρέπει να αποθηκεύσει δύο ή τρεις τιμές. Όταν δυο Blobs συγχωνεύονται σχηματίζοντας ένα γκρουπ, η πληροφορία τους κρατιέται αλλά είναι η ομάδα των blobs που ανιχνεύεται μέσα από τα επόμενα πλαίσια. Αυτό σημαίνει ότι πληροφορίες για το κέντρο από μεμονωμένα Blobs δεν είναι διαθέσιμες όταν είναι μέρος μιας ομάδας. Για μια πιο γενική εφαρμογή, η προβλεπόμενη θέση, χρησιμοποιώντας τις αποθηκευμένες τιμές της θέσης και της ταχύτητας, ίσως χρησιμοποιηθεί για να ολοκληρώσει την τροχιά του ανιχνευμένου blob όταν ομαδοποιείται με αλλά. Με αυτόν τον τρόπο, μια χρονικά συνεπής λίστα με Blob κρατιέται μαζί με τις τροχιές της και τις θέσεις της. Κατά τη διάρκεια επικαλύψεων, τα μεμονωμένα Blob που συγχωνεύονται σε μια ομάδα υποτίθεται πάντα ότι φτιάχνουν αυτή την ομάδα. Έτσι μια υπόθεση πρέπει να γίνει: αντικείμενα δεν μπορούν να εξαφανιστούν από τη σκηνή εκτός και αν βγουν από τα προκαθορισμένα όρια. Αυτά τα όρια ορίζονται ως φανταστικές ζώνες μέσα από τις οποίες τα αντικείμενα μπορούν να μπουν ή να βγουν από τη σκηνή. Με αυτό τον τρόπο, άνθρωποι που κρύβονται ή εμφανίζονται και αντικείμενα που έχουν παρατηρηθεί και μαζεύονται μπορούν να εντοπιστούν.

27 Παρόλα αυτά αυτή η υπόθεση έχει μεγάλη εξάρτηση πάνω στη μέθοδο της ανίχνευσης του πρώτου πλάνου, η οποία πρέπει αν είναι ισχυρή ώστε να μη χάσει κάποιο blob λόγω της μικρής του αντίθεσης. Συνήθως αυτό σημαίνει μικρό κατώφλι αντίθεσης, το οποίο έχει την επίπτωση να προσθέτει τη σκιά του αντικειμένου στα Εικονοστοιχεία του πρώτου πλάνου οδηγώντας σε ένα λιγότερο ακριβή προσδιορισμό της θέσης του κέντρου του Blob. Α. Προσέγγιση συνένωσης-διαχωρισμού (MS) Κατά την MS προσέγγιση, τα χαρακτηριστικά των ατομικών blobs (που περιέχουν ένα μόνο αντικείμενο) ανανεώνονται συνεχώς ώσπου να φτάσουν σε μία κατάσταση επικάλυψης. Σε εκείνο το σημείο, τα χαρακτηριστικά αυτών των αντικειμένων "παγώνουν" και ένα σύνθετο blob, το οποίο περιέχει αυτά τα αντικείμενα και τις τιμές των χαρακτηριστικών τους, δημιουργείται. Το σύνθετο blob παρακολουθείται όπως και τα υπόλοιπα και τα δικά του χαρακτηριστικά ανανεώνονται επίσης συνεχώς. Όταν συμβαίνει ένας διαχωρισμός, το πρόβλημα είναι να ταυτοποιήσουμε το αντικείμενο που διαχωρίζεται από την υπόλοιπη ομάδα. Αυτό είναι απαραίτητο αν θέλουμε να έχουμε διαρκή ανίχνευση κάθε αντικειμένου. Για χάριν απλότητας, θεωρήστε ότι κάθε αντικείμενο π.χ. το Α, ανήκει σε ένα ατομικό blob, το οποίο παρακολουθείται μέχρι να συμβεί μια επικάλυψη. Αν και όταν το αντικείμενο Α "αναδυθεί" από αυτό ή κάποιο άλλο σύνθετο blob, πρέπει να ανιχνεύσουμε την πιθανότητα το διαχωριζόμενο αντικείμενο να είναι το Α. Αν μπορέσουμε να ταυτοποιήσουμε επιτυχώς τα αντικείμενα σε κάθε διαχωρισμό, μπορούμε πλέον να παρακολουθούμε κάθε αντικείμενο, όπως το Α, κατά τη διάρκεια της ύπαρξης του στην ακολουθία του βίντεο. Υπάρχουν συστήματα που χρησιμοποιούν μόνο χαρακτηριστικά εμφάνισης όπως χρώμα, σχήμα και ιδιοσυστασία για να ταυτοποιήσουν. Άλλα χρησιμοποιούν και χαρακτηριστικά εμφάνισης αλλά και δυναμικά χαρακτηριστικά. Αυτά τα δύο τελευταία συστήματα χρησιμοποιούν φίλτρα Kalman με πρώτης και δεύτερης τάξης μοντέλα κίνησης blob. Αυτά τα φίλτρα παρέχουν υπολογισμούς για τη θέση των blob σε συνεχόμενα καρέ. Κατά τη διάρκεια της ταυτοποίησης, μπορούμε να ορίσουμε στο διαχωριζόμενο

28 αντικείμενο είτε την αρχική του ταχύτητα είτε την ταχύτητα του blob από το οποίο προέρχεται. Το σύστημα Bremond είναι το μόνο που μπορεί να ανιχνεύσει σύνθετα blobs. Το σύστημα MacKenna ανιχνεύει ένα άτομο που μεταφέρει ένα αντικείμενο, το οποίο πήρε από τη σκηνή. Το σύστημα W4 (Haritaoglu et.al) χρησιμοποιεί περίγραμμα σκάλας του γκρι, πληροφορίες σχήματος σιλουέτας καθώς επίσης και δυναμικό ίχνος. Το σύστημα των Piater et.al ανιχνεύει επικαλύψεις την αλληλεπίδραση των προσαρμοσμένων γκαουσιανών περιοχών ενδιαφέροντος. Η τεχνική τους επιτρέπει να αποφεύγουν συνενωμένα blobs τα οποία ίσα που επικαλύπτονται μεταξύ τους. Παρόλα αυτά, δεν επιλύουν το ζήτημα του διαχωρισμού και της επανάκτησης ταυτότητας. Το σύστημα MacKenna et.al επανακτά την ταυτότητα χρησιμοποιώντας ιστογράμματα χρώματος. Β. Άμεση ή απευθείας προσέγγιση (ST) Στην ST προσέγγιση, δε συνενώνουμε τα επικαλυπτόμενα blobs έτσι ώστε τα blob περιέχουν μάξιμουμ ένα αντικείμενο. Στην πραγματικότητα, αν θέλουμε να εστιάσουμε σε αυτή την προσέγγιση θα μπορούμε απλά να αναφερόμαστε μόνο στα αντικείμενα. Σε αυτή την προσέγγιση, πρέπει να συνεχίζουμε να παρακολουθούμε ξεχωριστά τα αντικείμενα διαμέσου κάθε επικάλυψης. Με άλλα λόγια, πρέπει να είμαστε κάθε στιγμή σε θέση να κατηγοριοποιήσουμε κάθε pixel πέριξ της περιοχής της επικάλυψης σαν ανήκον σε ένα από τα επικαλυπτόμενα αντικείμενα. Τα περισσότερα συστήματα βασίζονται στα χαρακτηριστικά εμφάνισης των αντικειμένων για να κατηγοριοποιήσουν τα pixel. Ένα ιδιαιτέρως χρήσιμο χαρακτηριστικό είναι το σχετικό βάθος ανάμεσα στα επικαλυπτόμενα αντικείμενα. Το σχετικό βάθος (ή βάθος για συντομία) μπορεί να προσδιοριστεί με αρκετούς τρόπους. Το σύστημα των Elgammal και Davis προσδιορίζει το βάθος των ανθρώπων διενεργώντας και εκτιμώντας διάφορες υποθέσεις που αφορούν τις χωρικές τους διευθετήσεις. Όπως θα εξηγηθεί αργότερα, το σύστημα Senior et.al ταξινομεί τα αντικείμενα έτσι ώστε σε αυτά στα οποία έχουν εκχωρηθεί λιγότερα "αμφισβητούμενα" pixel, να προσδίδεται μεγαλύτερο βάθος. Φυσικά καταγραφή stereo από πολλαπλές κάμερες παρέχει πιο άμεσες πληροφορίες για το βάθος. Παρακάτω, περιγράφουμε τα σημαντικά

29 χαρακτηριστικά διαφόρων συστημάτων. 2.4.2 ΦΙΛΤΡO KALMAN Το φίλτρο Kalman είναι ένα ιδιαίτερα διαδεδομένο και εύχρηστο φίλτρο που χρησιμοποιείται για απαλλαγή από τις θορυβώδεις μετρήσεις. Ο αλγόριθμος αυτός, πραγματοποιεί πρόβλεψη της θέσης του στόχου και χρησιμοποιεί τις μετρήσεις για να διορθώσει την πρόβλεψη αυτή. Επομένως έχει την δυνατότητα να παρέχει εκτιμήσεις με σφάλμα μικρότερο του σφάλματος μέτρησης. Αποτελεί μια επέκταση της μεθόδου ελαχίστων τετραγώνων και πρόκειται ουσιαστικά για ένα σύνολο μαθηματικών εξισώσεων, οι οποίες εισάγουν έναν εκτιμητή πρόβλεψης διόρθωσης, ο οποίος είναι βέλτιστος από την άποψη, ότι ελαχιστοποιεί την συμμεταβλητότητα σφάλματος εκτίμησης, όταν η δυναμική κατάσταση του στόχου και ο θόρυβος μέτρησης έχουν μοντελοποιηθεί με ακρίβεια. Σε γραμμικά περιβάλλοντα ο αλγόριθμος του Kalman αποτελεί τη βέλτιστη λύση. Η εκτεταμένη χρήση του φίλτρου Kalman οφείλεται στο ότι συγκεντρώνει πολλά πλεονεκτήματα, τα οποία βοηθούν στην καλύτερη εκτίμηση της δυναμικής κατάστασης του συστήματος. Κατά πρώτο λόγο, το κέρδος του φίλτρου ανανεώνεται με κάθε νέα μέτρηση. Το γεγονός αυτό διευκολύνει την ανίχνευση σε συστήματα με χρονομεταβλητές δυναμικές καταστάσεις ή μετρήσεις, οι διαδικασίες των οποίων μεταβάλλονται με τον χρόνο. Επιπλέον, η συμμεταβλητότητα του θορύβου μέτρησης μπορεί να αυξομειωθεί, έτσι ώστε η κάθε μέτρηση να αποκτήσει διαφορετικό βάρος ανάλογα με την απόσταση από τον στόχο, την ισχύ του σήματος ή οποιαδήποτε άλλη ενδεχόμενη ένδειξη της ποιότητας της μέτρησης. Αυτό είναι ιδιαίτερα σημαντικό για περιπτώσεις όπου το διάνυσμα μετρήσεων περιέχει μετρήσεις από διαφορετικού τύπου αισθητήρες γιατί δίνεται η δυνατότητα στον χρήστη να κάνει μία αρχικοποίηση ανάλογα με την κατά περίπτωση αναμενόμενη αξιοπιστία του εκάστοτε αισθητήρα. Άλλο πλεονέκτημα του φίλτρου είναι η αποδοτικότητά του σε υπολογιστικά συστήματα περιορισμένης μνήμης. Όλη η πληροφορία για τις

30 αρχικές καταστάσεις, τις μετρήσεις και την κίνηση περιέχεται στον πίνακα συμμεταβλητότητας σφάλματος Pk. Σημαντικό είναι επίσης το ότι δεν απαιτεί περιοδικές ενημερώσεις χρόνου ή μετρήσεων. Έστω Xk Rn το διάνυσμα κατάστασης ενός στόχου, του οποίου η δυναμική διαδικασία περιγράφεται από την γραμμική εξίσωση διαφορών 3.25, z R η m μέτρηση και P k ο πίνακας συμμεταβλητότητας του σφάλαματος εκτίμησης: X AX Du w (Εξ.1) k k 1 k k 1 zk HX k yk (Εξ.2) T Pk APk 1A Q (Εξ. 3) Όπου, Ο (nxn) πίνακας Α αποτελεί τον πίνακα μετάβασης της κατάστασης από την k-1σάρωση στην k, όπου το χρονικό διάστημα σάρωσης είναι Τ. Ο (nxl) πίνακας D συσχετίζει την κατάσταση με το διάνυσμα εισόδου u Rl. Η τυχαία μεταβλητή w μοντελοποιεί τον λευκό, γκαουσιανό θόρυβο διαδικασίας μηδενικής μέσης τιμής και με συμμεταβλητότητα που δίνεται από τον πίνακα (nxn) Q. Ο θόρυβος διαδικασίας αναπαριστά τις τυχαίες επιδράσεις, τις οποίες υφίσταται το σύστημα και την ατελή μοντελοποίηση της δυναμικής κατάστασης του στόχου. Αντίστοιχα με το w η τυχαία μεταβλητή y παριστάνει τον θόρυβο μέτρησης μηδενικής μέσης τιμής και συνδιακύμανσης R (mxn). Από την (1) είναι σαφές ότι η στατιστική αναπαράσταση της διαδικασίας την παρούσα στιγμή (k-οστή σάρωση) καθορίζεται αποκλειστικά από την προηγούμενη (σάρωση k-1). Η δυναμική κατάσταση του στόχου οδηγείται από την ντετερμινιστική είσοδο και τον τυχαίο θόρυβο διαδικασίας. Η ντετερμινιστική είσοδος του συστήματος είναι δυνατόν να περιέχει κάποιες

γνωστές μεταβλητές εισόδου, οι οποίες δεν περιλαμβάνονται στις καταστάσεις του συστήματος. 31 Έστω τώρα X R το a priori εκτιμώμενο διάνυσμα κατάστασης της k σάρωσης k, γνωρίζοντας την διαδικασία μέχρι την σάρωση k και Xk Rn το a posteriori διάνυσμα εκτίμησης στο βήμα k, γνωρίζοντας την μέτρηση Προκειμένου να παραχθούν οι εξισώσεις του φίλτρου χρειάζεται μια σχέση, η οποία να υπολογίζει την a posteriori εκτίμηση της κατάστασης ως γραμμικό συνδυασμό της a priori εκτίμησης και μιας διαφοράς της πραγματικής μέτρησης και της πρόβλεψης μέτρησης HX k : z k. X X K( z HX ) (Εξ 4) k k k k Στην Εξ. 2 ο όρος Κ είναι το κέρδος Kalman του φίλτρου, η τιμή Kk του οποίου ελαχιστοποιεί τον a posteriori πίνακα συμμεταβλητότητας σφάλματος εκτίμησης P k. Έτσι, ο τύπος υπολογισμού του προκύπτει από : T K HP ( HP H R), όπου R είναι το λάθος μέτρησης. k k Εικ.2.6 Μια πλήρης εικόνα της λειτουργίας του φίλτρου Kalman

32 Σε ανάλυση ποδοσφαιρικού συστήματος παρακολούθησης η μεταβλητή κατάστασης X είναι πίνακας 6 μεταβλητών X [ x y u u a a ], όπου u,α είναι t t t t z y z y μεταβλητές ταχύτητας και επιτάχυνσης. Η κίνηση των παικτών στο χώρο προσεγγίζει την ευθύγραμμη μεταβαλλόμενη. Η κατάσταση ενός παίκτη τη χρονική στιγμή t μπορεί να προβλεφθεί από την κατάσταση τη στιγμή t t εφαρμόζοντας την εξίσωση κίνησης ξεχωριστά για τις κατευθύνσεις x,y. 1 X t t X t ut t a t 2 2 ut t Ut t Οι παραπάνω εξισώσεις μπορούν να ενσωματωθούν στον πίνακα Α: 2 t 1 t 2 0 1 t 0 0 1 T Πολλαπλασιάζοντας μία μονοδιάστατη κατάσταση d u a με τον Α προβλέπουμε την κατάσταση τη στιγμή t t. Επεκτείνοντας τον πολλαπλασιασμό σε δύο διαστάσεις και μελετώντας το σύστημά μας παίρνουμε την προβλεφθείσα θέση X t μέσω της απλοποιημένης εξίσωσης 1. Επιπλέον, ο πίνακας Η πρέπει να προβάλει τις μεταβλητές του πίνακα κατάστασης που είναι μετρήσιμες. Άρα θα έχει τη μορφή: H 1 0 0 0 0 0 0 1 0 0 0 0 Για τον υπολογισμό των εξισώσεων του φίλτρου Kalman Εξ. (1-4) χρησιμοποιούνται δύο παράμετροι πίνακες Q και R. Ο πίνακας Q είναι μία μέτρηση σφάλματος κατά το μοντέλο μετασχηματισμού. Η κίνηση των παιχτών, αρχικά, θεωρήθηκε ευθύγραμμη ομαλά μεταβαλλόμενη. Η πραγματική κίνηση, όμως, δε γίνεται υπό σταθερή επιτάχυνση. Ο πίνακας Q t t

33 ποσοτικοποιεί αυτή τη διαφορά, σταθμίζοντάς τη. Η Εικόνα 2.7 απεικονίζει την εξάρτηση του tracker από την τιμή του Q. Επιλέξαμε ως καλύτερη την τιμή Q 10* I. Εικ. 2.7 Ο πίνακας R αποτελεί το σφάλμα μέτρησης. Πιθανά σφάλματα κατά τη μέτρηση, στην ποδοσφαιρική ανάλυση, είναι οι επικαλύψεις και οι εσφαλμένες ταυτοποιήσεις περιοχών παικτών.στις περιπτώσεις αυτές, μεταβάλλεται το μέγεθος της περιοχής του παίκτη, καθιστώντας το αυτόματα ιδανικό δείκτη για τη μέτρηση σφάλματος. Έτσι, R bx 0 0 by, όπου b, b είναι οι διαφορές μεταξύ του μετρηθέντος πλαισίου οριοθέτησης x y παίκτη (boundation box) και του χρονικά υπολογισμένου πλαισίου. Τα μηδενικά υποδηλώνουν την εκτίμησή μας ότι το σφάλμα μέτρησης σε μία διάσταση δεν επηρεάζει το στάθμισμα της άλλης διάστασης.

34 ΑΝΑΛΥΣΗ ΜΕΘΟΔΟΥ Εικ. 2.8 Η εικόνα 2.8 παρουσιάζει την ακρίβεια της μεθόδου με χρήση φίλτρων Kalman υπό διαφορετικές συνθήκες. Το σφάλμα είναι γενικά χαμηλό, ειδικά σε βασικές περιπτώσεις χωρίς επικαλύψεις. Η πρόβλεψη επιτρέπει στο φίλτρο να επιτυγχάνει υψηλή ακρίβεια κατά τη διάρκεια θορυβώδους ακολουθίας. Το αποτέλεσμα επικάλυψης μετρήθηκε σε μία ακολουθία βίντεο διάρκειας 40 καρέ. Η επικάλυψη ξεκινά στο 7 ο καρέ. Κατά τη διάρκεια των 15 πρώτων καρέ της επικάλυψης, η προβλεφθείσα κατάσταση βοηθά να αντιμετωπιστούν οι ανακρίβεις στη μέτρηση. Όσο η επικάλυψη εξακολουθεί, ο tracker τείνει προς τη θορυβώδη μέτρηση κατάστασης της επικάλυψης.μετα το 27 ο καρέ, η πρόβλεψη αντανακλά πλήρως τη θορυβώδη μέτρηση και το σφάλμα γίνεται υψηλό. Οι ανακρίβειες στα καρέ 13 και 15 οφείλονται σε περιπτώσεις που ο παίκτης σταματάει απότομα ή κάνει μία δραστική αλλαγή κατεύθυνσης, καθώς πλέον το

35 μοντέλο ευθύγραμμης ομαλά μεταβαλλόμενης κίνησης δεν ανταποκρίνεται.έτσι, προκαλείται ανακρίβεια στην κατάσταση του πίνακα Α αλλά και ένα σταθερό σφάλμα μετασχηματισμού στον πίνακα Q. Για να επιλυθεί αυτή η ανωμαλία, ο Q πρέπει να καθοριστεί δυναμικά, αντίστοιχα με τον πίνακα θορύβου μέτρησης R. Τα φίλτρα Kalman επεκτείνονται, ώστε να παρακολουθούν πολλούς παίκτες, εφαρμόζοντας αντίστοιχες φορές τον αλγόριθμο. Έτσι, το σύστημα αποτελείται από πολλαπλούς trackers και όχι έναν tracker εντοπισμού πολλαπλών αντικειμένων, προκαλώντας σε αρκετές περιπτώσεις την αντιστοίχηση πολλών tracker στον ίδιο παίκτη μετά από επικαλύψεις. Καμία επικοινωνία μεταξύ των tracker δεν έχει προβλεφθεί για να αποφευχθεί αυτό το φαινόμενο. 2.4.3. ΕΝΤΟΠΙΣΜΟΣ ΠΟΥ ΒΑΣΙΖΕΤΑΙ ΣΕ PARTICLE FILTERS Όπως έχουμε ήδη αναφέρει, υπάρχουν πολλές διαδικασίες που βρίσκουν εφαρμογή σε ποδοσφαιρικούς αγώνες την παρακολούθηση των οποίων καθιστούν ευκολότερη. Τόσο η πολύπλοκη κίνηση των ποδοσφαιριστών μέσα στο γήπεδο, όσο και η πρόκληση του προβλήματος της επικάλυψης καθιστούν την ανάλυση των ποδοσφαιρικών αγώνων ιδιαίτερα ενδιαφέρουσα. Παλαιότερα η ανάλυση γινόταν χειροκίνητα με απαραίτητη προυπόθεση ωστόσο την κατοχή πληροφοριών για τη θέση των ποδοσφαιριστών και της μπάλας. Τώρα πια, η παρατήρηση γίνεται αυτόματα. Σε παλαιότερες μεθόδους λοιπόν, η διαδικασία εντοπισμού βασιζόταν συνήθως στην αφαίρεση του φόντου κάτι που προκαλούσε αρκετά προβλήματα στο σωστό εντοπισμό. Οι συγκεκριμένες τεχνικές ήταν ανεπαρκείς σε πολύπλοκες σκηνές και περιπτώσεις επικαλύψεων. Ένας λίγο διαφορετικός τρόπος εντοπισμού της θέσης και της ταχύτητας του ποδοσφαιριστή στο γήπεδο, σε σχέση με αυτόν που αναλύσαμε στο προηγούμενο κεφάλαιο είναι αυτός που απαιτεί την χρήση συνδυασμού Particle filter και Classifier. Πρόκειται για μία ισχυρή μέθοδο εντοπισμού για πολλούς παίκτες με το συνδυασμό φίλτρων σωματιδίων και ταξινομητή. Ωστόσο αξίζει να σημειώσουμε πως για να βρει εφαρμογή η συγκεκριμένη τεχνική, είναι

36 απαραίτητη η κατοχή σημαντικών πληροφοριών από το βίντεο του παιχνιδιού. Κάτι γνωστό σε εμάς είναι το γεγονός ότι στην περίπτωση της παρακολούθησης του παιχνιδιού από μία μόνο πηγή βίντεο υπάρχουν πολλές περιπτώσεις επικάλυψης των παικτών. Η χρήση της συγκεκριμένης μεθόδου ξεπερνά τέτοιου είδους προβλήματα. Το φιλτράρισμα σωματιδίων (γνωστό και ως συμπύκνωση), είναι ακόμη ένας αλγόριθμος παρακολούθησης, που έχει αποδειχθεί ισχυρό εργαλείο για την παρακολούθηση της εικόνας. Η συμπύκνωση έχει προσαρμοστεί για πολλές εφαρμογές λόγω της απλότητας, γενικότητας και των συνεχών επιτυχιών που είχε σε ένα ευρύ φάσμα απαιτητικών εφαρμογών. Σε αντίθεση με τα φίλτρα Kalman, η χρήση φίλτρων σωματιδίων καταργεί την ανάγκη της ύπαρξης γραμμικού μοντέλου ή Gaussian πιθανοτήτων και βοηθά στην αντιμετώπιση του προβλήματος εντοπισμού των παικτών σε περιπτώσεις επικάλυψης. Τα φίλτρα σωματιδίων προσεγγίζουν την κατανομή πιθανοτήτων μέσω ανός, σταθμισμένου συνόλου δειγμάτων. Η συμπύκνωση είναι ένας επαναληπτικός αλγόριθμος στον οποίο εφαρμόζονται τέσσερα βήματα (δειγματοληψία, πρόβλεψη, αξιολόγηση, αναβάθμιση) για την απόκτηση νέας πυκνότητας και εκτιμώμενης κατάστασης από την προηγούμενη κατάσταση και παρατήρηση. Σε κάθε επανάληψη, μια σταθισμένη δειγματοληψία του προηγούμενου δείγματος, δημουργεί ένα νέο σύνολο δειγμάτων. Μια παρέκκλιση εφαρμόζεται σε κάθε κατάσταση δειγματοληψίας, μετακινώντας και διαχωρίζοντας τα σωματίδια στο χώρο. Αυτό μοντελοποιεί το μετασχηματισμό της κατάστασης. Η παρέκκλιση μπορεί να βασίζεται σε ένα μοντέλο μετασχηματισμού, ή/και σε μια τυχαία κίνηση. Σε μια βασισμένη στην κατάσταση συμπύκνωση, ορίζονται τα πολλαπλά μοντέλα μετασχηματισμού και επιλέγεται ένα με βάση την πιθανολογική στάθμιση. Τα νέα δείγματα αξιολογούνται βάσει της εφαρμογής μιας συνάρτησης καταλληλότητας. Αυτό υπολογίζει το πόσο καλά εξηγούνται τα στοιχεία από το δείγμα. Μια εκτίμηση για την κατάσταση των αντικειμένων μπορεί να υπολογιστεί από το ανώτερο σταθμισμένο δείγμα, ή από ένα σταθμισμένο μέσο όρο. Τα φίλτρα σωματιδίων αποτελούν μια αποδοτική διαδικασία παρατήρησης αντικειμένων υπό επικάλυψη. Εμφανίσεις πολλαπλών καταστάσεων συμπύκνωσης μπορεί να δημιουργήσουν ανακρίβειες.

Ο στόχος κάθε συστήματος εντοπισμού είναι να εντοπίσει την κατάσταση σε χρόνο t, Xt δεδομένου ενός συνόλου παρατηρήσεων μεχρι το σημείο z1:t. Σκοπός λοιπόν είναι να εκτιμηθεί το p (xt z1:t). Αν θεωρήσουμε πως αυτή είναι μια πρώτης τάξεως Markov process και θέλουμε να εκτιμήσουμε την κατάσταση online, τότε η διαδικασία εκτίμησης μπορεί να χωριστεί σε δύο στάδια: πρόβλεψη μπροστά από την προηγούμενη εκτίμηση που ακολουθείται από ενημέρωση με τα νέα δεδομένα παρατήρησης p(x I z ) = p(x I x ) p(x I z )dx, p(x I z ) = p(z I x ) p(x I z ), p(z I z ) Βέλτιστες λύσεις για τις εξισώσεις αυτές υπάρχουν εάν το σύστημα υποτίθεται ότι είναι γραμμικό με τη μορφή ενός φίλτρου Kalman, με κάθε προϋπόθεση κατανομής πιθανοτήτων να μοντελοποιείται ως Gaussian. Ωστόσο, το παρατηρούμενο μοντέλο στην περίπτωσή μας δεν είναι Gaussian. Η χρήση ενός φίλτρου σωματιδίων για τον εντοπισμό των ποδοσφαιριστών, καταργεί την ανάγκη μιας γραμμικής διαδικασίας, αλλά και την ανάγκη οι πιθανότητες να είναι μοντελοποιημένες ως γκαουσιανές, βοηθώντας επίσης να ξεπεραστεί το πρόβλημα της επικάλυψης. Ένα φίλτρο σωματιδίων προσεγγίζει μια κατανομή πιθανοτήτων με ένα σταθμισμένο σύνολο Ν δειγμάτων: N p(x) i= w i δ(x x i ), υπό την προϋπόθεση ότι Σ N i=1w i = 1. Όσο υψηλότερος είναι ο αριθμός των σωματιδίων, τόσο καλύτερη είναι η προσέγγισή μας, ωστόσο τόσο μεγαλύτερο είναι και το υπολογιστικό φορτίο. Ένα πλεονέκτημα ενός φίλτρου σωματιδίων είναι ότι αποτελεί έναν αλγόριθμο ανά πάσας στιγμής. Ο αριθμός των σωματιδίων και ως εκ τούτου η ακρίβεια μπορεί να διαβαθμίζονται ανάλογα με τα διαθέσιμα μέσα. Ο τύπος φίλτρου σωματιδίων που μπορεί να χρησιμοποιηθεί εδώ είναι ένα SIR (δείγμα σημασίας δειγματοληψίας) particle filter. Το στάδιο της αναδειγματοληψίας είναι απαραίτητο λόγω του εκφυλισμού των σωματιδίων. Χωρίς αυτό το βήμα, μετά από μερικές επαναλήψεις του αλγόριθμου τα σταθμά όλων των σωματιδίων τείνουν στο μηδέν κάνοντας τα να συμβάλλουν λίγο στην εκτιμώμενη κατάσταση. 37