Διπλωματικό Εργαςύα του φοιτητό του Τμόματοσ Ηλεκτρολόγων Μηχανικών και Τεχνολογύασ Υπολογιςτών τησ Πολυτεχνικόσ Σχολόσ του Πανεπιςτημύου Πατρών

Transcript

1 ΠΑΝΕΠΙΣΗΜΙΟ ΠΑΣΡΩΝ ΣΜΗΜΑ ΗΛΕΚΣΡΟΛΟΓΩΝ ΜΗΦΑΝΙΚΩΝ ΚΑΙ ΣΕΦΝΟΛΟΓΙΑ ΤΠΟΛΟΓΙΣΩΝ ΣΟΜΕΑ: ΣΗΛΕΠΙΚΟΙΝΩΝΙΝΩΝ ΚΑΙ ΣΕΦΝΟΛΟΓΙΑ ΠΗΛΡΟΥΟΡΙΑ ΕΡΓΑΣΗΡΙΟ ΕΝΤΡΜΑΣΗ ΣΗΛΕΠΙΚΟΙΝΩΝΙΑ Διπλωματικό Εργαςύα του φοιτητό του Τμόματοσ Ηλεκτρολόγων Μηχανικών και Τεχνολογύασ Υπολογιςτών τησ Πολυτεχνικόσ Σχολόσ του Πανεπιςτημύου Πατρών Κουζούπη Δημότριου του Κωνςταντύνου Αριθμόσ Μητρώου: 5998 Θϋμα «Αναγνώριςη αριθμού κινούμενων αντικειμϋνων και παρακολούθηςη τησ τροχιϊσ των με μεθόδουσ μηχανικόσ όραςησ» Επιβλϋπων Ευϊγγελοσ Δερματϊσ Αριθμόσ Διπλωματικόσ Εργαςύασ: Πϊτρα, Ιούλιοσ 2010

2

3 ΠΙΣΟΠΟΙΗΗ Πιςτοποιεύται ότι η Διπλωματικό Εργαςύα με θϋμα «Αναγνώριςη αριθμού κινούμενων αντικειμϋνων και παρακολούθηςη τησ τροχιϊσ των με μεθόδουσ μηχανικόσ όραςησ» Του φοιτητό του Τμόματοσ Ηλεκτρολόγων Μηχανικών και Τεχνολογύασ Υπολογιςτών Κουζούπη Δημότριου του Κωνςταντύνου Αριθμόσ Μητρώου: 5998 Παρουςιϊςτηκε δημόςια και εξετϊςτηκε ςτο Τμόμα Ηλεκτρολόγων Μηχανικών και Τεχνολογύασ Υπολογιςτών ςτισ.../../ Ο Επιβλϋπων Ευϊγγελοσ Δερματϊσ Αναπληρωτόσ Καθηγητόσ Ο Διευθυντόσ του Τομϋα Φακωτϊκησ Νικόλαοσ Καθηγητόσ

4

5 Αριθμόσ Διπλωματικόσ Εργαςύασ: Θϋμα: «Αναγνώριςη αριθμού κινούμενων αντικειμϋνων και παρακολούθηςη τησ τροχιϊσ των με μεθόδουσ μηχανικόσ όραςησ» Φοιτητόσ: Κουζούπησ Δημότριοσ Επιβλϋπων: Δερματϊσ Ευϊγγελοσ Περύληψη Η παρούςα διπλωματικό εργαςύα αφορϊ την ανύχνευςη και παρακολούθηςη ανθρώπινων μορφών ςε ακολουθύεσ βύντεο με μεθόδουσ μηχανικόσ όραςησ. Οι ακολουθύεσ αυτϋσ θεωρούμε πωσ ϋχουν ληφθεύ από ςτατικό κϊμερα ςε εςωτερικό ό εξωτερικό χώρο. Πιο ςυγκεκριμϋνα, το εν λόγω πρόβλημα υποδιαιρεύται ςε τρύα κυρύωσ μϋρη τα οπούα μελετώνται, αναλύονται και υλοποιούνται ςε ξεχωριςτϊ κεφϊλαια. Ξεκινϊμε με το κομμϊτι κατϊτμηςησ κύνηςησ, ςυνεχύζουμε με την ταξινόμηςη αντικειμϋνων ώςτε να αναγνωριςτούν οι ϊνθρωποι ανϊμεςα ςτισ κινούμενεσ οντότητεσ και τελειώνουμε με την παρακολούθηςη των ανθρώπινων ςιλουετών για καταγραφό τησ πορεύασ τουσ όςη ώρα βρύςκονται ςτο πλϊνο. Οι αλγόριθμοι που αναπτύχθηκαν λειτούργηςαν ικανοποιητικϊ κϊτω από διϊφορεσ ςυνθόκεσ και τα αποτελϋςματϊ τουσ μπορούν να περϊςουν ωσ εύςοδοι ςε μια πληθώρα εφαρμογών υψηλότερου επιπϋδου με ςκοπό την αναγνώριςη ανθρώπινησ δραςτηριότητασ και την κατανόηςη ςυμπεριφορϊσ. Στο ςημεύο αυτό θα όθελα να ευχαριςτόςω τον κ. Ε. Δερματϊ για τη βοόθεια και την καθοδόγηςό του κατϊ τη διϊρκεια τησ εκπόνηςησ τησ Διπλωματικόσ μου εργαςύασ.

6

7 [ΠΕΡΙΕΦΟΜΕΝΑ]

8 Περιεχόμενα ΠΙΝΑΚΑ ΠΕΡΙΕΦΟΜΕΝΩΝ ΚΕΥΑΛΑΙΟ 1. ΕΙΑΓΩΓΗ Γενικϊ περύ ανϊλυςησ ανθρώπινησ κύνηςησ Στϊδια ανϊλυςησ ανθρώπινησ δραςτηριότητασ Επεξεργαςύα εικόνων και Matlab ΚΕΥΑΛΑΙΟ 2. ΚΑΣΑΣΜΗΗ ΚΙΝΗΗ Κατϊτμηςη κύνηςησ με τεχνικϋσ αφαύρεςησ φόντου Αφαύρεςη φόντου με το μοντϋλο τησ Διϊμεςησ Τιμόσ Αφαύρεςη φόντου με το μοντϋλο τησ κατϊ προςϋγγιςη Δ.Τ Αφαύρεςη φόντου με χρόςη επιλεκτικϊ μεταβαλλόμενου μοντϋλου Κατϊτμηςη κύνηςησ με χρόςη ςτατιςτικών μεθόδων Κατϊτμηςη κύνηςησ μϋςω χρονικόσ διαφορϊσ Κατϊτμηςη κύνηςησ με χρόςη οπτικόσ ροόσ Μορφολογικού μεταςχηματιςμού Τελικόσ αλγόριθμοσ ΚΕΥΑΛΑΙΟ 3. ΣΑΞΙΝΟΜΗΗ ΑΝΣΙΚΕΙΜΕΝΩΝ Ταξινόμηςη βαςιςμϋνη ςτη μορφό των αντικειμϋνων Ταξινόμηςη αντικειμϋνων με χρόςη νευρωνικού δικτύου Ταξινόμηςη βαςιςμϋνη ςτη κύνηςη των αντικειμϋνων Ταξινόμηςη αντικειμϋνων μϋςω οπτικόσ ροόσ Ταξινόμηςη μϋςω Εικόνων Επαναλαμβανόμενησ Κύνηςησ Οριςμόσ Εικόνων Επαναλαμβανόμενησ Κύνηςησ Ταξινόμηςη Εικόνων Επαναλαμβανόμενησ Κύνηςησ Υλοπούηςη ςε Matlab ΚΕΥΑΛΑΙΟ 4. ΠΑΡΑΚΟΛΟΤΘΗΗ ΣΡΟΦΙΑ Μϋθοδοι παρακολούθηςησ Παρακολούθηςη βαςιςμϋνη ςε μοντϋλα Παρακολούθηςη βαςιςμϋνη ςε γνωρύςματα Παρακολούθηςη βαςιςμϋνη ςε αντιςτούχηςη περιοχών Παρακολούθηςη βαςιςμϋνη ςτο ενεργό περύγραμμα Κουζούπησ Δημότρησ - 2-

9 Περιεχόμενα 4.2 Ο αλγόριθμοσ ολύςθηςησ μϋςου όρου για παρακολούθηςη Ανϊλυςη ολύςθηςησ μϋςου όρου Μετρικό βαςιςμϋνο ςτο ςυντελεςτό Bhattacharyya για εντοπιςμό ςτόχου Ο αλγόριθμοσ παρακολούθηςησ Υλοπούηςη του αλγορύθμου ολύςθηςησ μϋςου όρου ςε Matlab ΚΕΥΑΛΑΙΟ 5. ΟΠΣΙΚΗ ΡΟΗ Οπτικό ροό και το πρόβλημα του ανούγματοσ Κατηγορύεσ μεθόδων οπτικόσ ροόσ Τεχνικϋσ διαφόριςησ Η μϋθοδοσ των Horn Schunk Υλοπούηςη ςε Matlab Η μϋθοδοσ των Lucas Kanade Στοιχεύα μεθόδου Επαναληπτικό βελτύωςη L-K αλγόριθμοσ πολλαπλών επιπϋδων Οπτικό ροό και Simulink Αντιμετώπιςη του προβλόματοσ ανύχνευςησ και παρακολούθηςησ ανθρώπινησ κύνηςησ αποκλειςτικϊ με μεθόδουσ οπτικόσ ροόσ Ανύχνευςη κύνηςησ Ταξινόμηςη αντικειμϋνων Υπολογιςμόσ οπτικόσ ροόσ με τη μϋθοδο δυναμικού ςυνδυαςμού περιοχών Ανϊλυςη δυςκαμψύασ μϋςω τησ υπολοιπόμενησ ροόσ Παρακολούθηςη τροχιϊσ Ο ανιχνευτόσ KLT ( Kanade Lucas Tomasi ) Θεωρητικό υπόβαθρο Υλοπούηςη ςε Matlab ΠΑΡΑΡΣΗΜΑ ΒΙΒΛΙΟΓΡΑΥΙΑ Κουζούπησ Δημότρησ - 3-

10

11 ΚΕΥΑΛΑΙΟ 1: ΕΙΑΓΩΓΗ

12 Κεφϊλαιο 1: Ειςαγωγό 1.1. Γενικϊ περύ ανϊλυςησ ανθρώπινησ κύνηςησ Πολλϋσ φορϋσ ο κόςμοσ ενθουςιϊζεται από μηχανϋσ με ιδιότητεσ όμοιεσ με αυτϋσ του ανθρώπου, όπωσ για παρϊδειγμα ρομπότ που περπατϊνε ςτα δύο πόδια ό που αναπαρϊγουν ανθρώπινουσ όχουσ. Οι πραγματικϊ πρωτοποριακϋσ μηχανϋσ όμωσ, δεν εύναι αναγκαύο να ϋχουν ανθρωπόμορφο ςχόμα ούτε να μιμούνται ανθρώπινεσ δραςτηριότητεσ όπωσ οι παραπϊνω. Αντιθϋτωσ, προςπαθούν να υιοθετόςουν την ανθρώπινη λειτουργύα αντύληψησ. Ϋτςι για παρϊδειγμα, υπϊρχουν ςόμερα ςυςτόματα που αντιλαμβϊνονται την ύπαρξη εμποδύων, όπωσ λακκούβεσ, και κϊνουν τισ απαραύτητεσ ενϋργειεσ για να τα αποφύγουν ό ακόμη πιο εξελιγμϋνα που μπορούν και αναγνωρύζουν τισ δραςτηριότητεσ και τη ψυχικό διϊθεςη ανθρώπων που ϋχουν ωσ ςτόχουσ. Εύναι προφανϋσ πωσ όςο καλύτερη αντύληψη του περιβϊλλοντοσ μπορεύ να ϋχει μια υπολογιςτικό μηχανό, τόςο πιο πολύπλοκεσ και αξιοςημεύωτεσ θα εύναι και οι λειτουργύεσ που μπορούμε να τη προγραμματύςουμε να εκτελϋςει. Η αντύληψό μασ όπωσ εύναι γνωςτό οφεύλεται κυρύωσ ςτα ερεθύςματα που παύρνουμε μϋςω των αιςθόςεων. Μια από τισ αιςθόςεισ αυτϋσ εύναι και η όραςη η οπούα ςτη περύπτωςη ενόσ υπολογιςτικού ςυςτόματοσ εξομοιώνεται καταγρϊφοντασ ακολουθύεσ εικόνων μϋςω μιασ η περιςςοτϋρων καμερών. Στα πλαύςια αυτϊ λοιπόν, μια μηχανό ςυνδεδεμϋνη με μια απλό κϊμερα εύναι ςε θϋςη να «βλϋπει». Η μεγϊλη διαφορϊ όμωσ ϋγκειται ςτο γεγονόσ οτι ενώ ο ανθρώπινοσ οργανιςμόσ εύναι ςε θϋςη να αντιλαμβϊνεται ϊμεςα αυτϊ που βλϋπει, ϋνα υπολογιςτικό ςύςτημα θα πρϋπει να εκτελϋςει μια ςειρϊ από ςύνθετεσ λειτουργύεσ για να φθϊςει ςτα ύδια ςυμπερϊςματα. Δηλαδό, για να πϊρει μια απόφαςη θα πρϋπει να εξϊγει κϊποια χαρακτηριςτικϊ από τισ εικόνεσ που δϋχεται, βϊςει των οπούων θα μπορϋςει να διακρύνει, να αναγνωρύςει και να χαρακτηρύςει αυτϊ τα οπούα βλϋπει. Με τϋτοιου εύδουσ προβλόματα αςχολεύται η ανϊλυςη ανθρώπινησ κύνηςησ (Human Motion Analysis) καθώσ και οι ςυναφεύσ τομεύσ τησ υπολογιςτικόσ όραςησ (Computer Vision) και κατανόηςησ περιεχομϋνου εικόνων και βύντεο (Image and Video Understanding). Ϊλλεσ ςχετικϋσ επιςτημονικϋσ περιοχϋσ με δυςδιϊκριτα ςύνορα μεταξύ τουσ εύναι και η Ψηφιακό Επεξεργαςύα Εικόνασ, η Τεχνητό Νοημοςύνη και τα Συςτόματα Βϊςεων Δεδομϋνων. Στη προςπϊθεια λοιπόν ϋνα ςύςτημα να κατανοόςει αυτϊ που βλϋπει μϋςω τησ μηχανικόσ όραςησ, δϋχεται ςε πρώτη φϊςη τα δεδομϋνα ειςόδου, τα οπούα πριν από το ςτϊδιο τησ επεξεργαςύασ τουσ δεν ϋχουν καμύα πρακτικό χρηςιμότητα ςτην αντύληψη τησ μηχανόσ. Δεν εύναι παρϊ οι ςυντεταγμϋνεσ των πύξελ των εικόνων ςτο χώρο των χρωμϊτων. Με βϊςη μόνο τη πληροφορύα αυτό, το ςύςτημα καλεύται να εκτελϋςει μια ςειρϊ από διεργαςύεσ χαμηλού, μεςαύου και υψηλού επιπϋδου οι οπούεσ κατϊ κϊποιο τρόπο υποδηλώνουν την ικανότητα αντύληψόσ του. Η μεθοδολογύα που ακολουθεύται για τη λύςη τϋτοιου εύδουσ Κουζούπησ Δημότρησ -6-

13 Κεφϊλαιο 1: Ειςαγωγό προβλημϊτων εξαρτϊται ςε γενικϋσ γραμμϋσ από ϋνα ςύνολο παραμϋτρων και περιοριςμών που ϋχουν να κϊνουν με τα επιθυμητϊ αποτελϋςματα ςτην ϋξοδο ωσ προσ τη φύςη, τη πολυπλοκότητα και την ακρύβειϊ τουσ καθώσ και το διαθϋςιμο κεφϊλαιο και εξοπλιςμό. Εντελώσ διαφορετικό προςϋγγιςη θα υιοθετόςουμε για παρϊδειγμα όταν θϋλουμε να μετρόςουμε το ποςοςτό ενόσ χρώματοσ ςε μύα εικόνα, όταν θϋλουμε να ανιχνεύςουμε κινούμενεσ οντότητεσ ςε μια ακολουθύα εικόνων ό όταν θϋλουμε να υπολογύςουμε την ςχετικό απόςταςη μεταξύ δύο ςτόχων. Στη πρϊξη, ϋνα ςύςτημα λϋμε ότι αντιλαμβϊνεται τα περιεχόμενα μιασ τϋτοιασ πληροφορύασ όταν εύναι ςε θϋςη να μεταςχηματύςει τη χρωματικό πληροφορύα των ψηφιακών εικόνων ςε κϊποια ϊλλη μορφό πληροφορύασ με περιςςότερο ςημαςιολογικό περιεχόμενο. Για παρϊδειγμα, ο χωριςμόσ μιασ εικόνασ ςε χρωματικϋσ περιοχϋσ, η εξαγωγό των ακμών τησ και η εκτύμηςη τησ κύνηςησ των εικονοςτοιχεύων από καρϋ ςε καρϋ, αποτελούν κϊποια αρχικϊ ςτοιχεύα που μπορεύ κϊποιοσ να εξϊγει και που περιϋχουν πληροφορύα χρόςιμη για τα επόμενα ςτϊδια επεξεργαςύασ. Τα ςτοιχεύα αυτϊ ονομϊζονται γνωρύςματα (features). Γενικϊ, οι μϋθοδοι εξαγωγόσ γνωριςμϊτων χρηςιμοποιούν παρεμφερεύσ μεθόδουσ. Αρχικϊ, ϋνα ό περιςςότερα γνωρύςματα χαμηλού επιπϋδου εξϊγονται από τισ εικόνεσ, όπωσ το χρώμα, η υφό, το ςχόμα, η κύνηςη κλπ. με χρόςη κϊποιασ εκ των προτϋρων γνώςησ, γενικόσ ό ειδικότερησ ανϊλογα με την εφαρμογό και ςτη ςυνϋχεια εξϊγεται πληροφορύα υψηλότερου επιπϋδου υπολογύζοντασ νϋα χαρακτηριςτικϊ με μεγαλύτερη ςημαςιολογικό πληροφορύα. Τα χαρακτηριςτικϊ αυτϊ μπορούν με τη ςειρϊ τουσ να χρηςιμοποιηθούν για να χαρακτηρύςουν μια εικόνα, μια ακολουθύα βύντεο ό ακόμη και αντικεύμενα των εικόνων, όπωσ την απόςταςη ενόσ ςτόχου από τη κϊμερα, το τριςδιϊςτατο μοντϋλο ενόσ αντικειμϋνου ό ο προςδιοριςμόσ τησ φύςησ μιασ κινούμενησ οντότητασ. Κϊποια από τα πιο βαςικϊ γνωρύςματα χαμηλού επιπϋδου που επεξεργϊζονται κατϊ κόρον ςε εφαρμογϋσ του ενδιαφϋροντόσ μασ εύναι τα εξόσ: Χρώμα: Αποτελεύ ύςωσ την πιο ϊμεςα εξαγόμενη πληροφορύα μιασ εικόνασ. Όπωσ τα υπόλοιπα γνωρύςματα, ϋτςι και το χρώμα μπορεύ να μοντελοποιηθεύ με διϊφορουσ τρόπουσ μερικούσ από τουσ οπούουσ θα μελετόςουμε και ςε επόμενο εδϊφιο. Στη γενικότερη περύπτωςη, προςπαθούμε η μοντελοπούηςη που θα κϊνουμε να περιϋχει όςο το δυνατόν περιςςότερη πληροφορύα, ανϊλογα με την εφαρμογό. Ϋτςι το χρώμα μοντελοποιεύται ςυνόθωσ από ϋναν μικρό αριθμό βαςικών χρωμϊτων (RGB) ό μϋςω του χρωματικού ιςτογρϊμματοσ. Κουζούπησ Δημότρησ -7-

14 Κεφϊλαιο 1: Ειςαγωγό Υφό: Όμοια με το χρώμα αντιμετωπύζεται και η υφό μιασ εικόνασ. Διϊφορα μοντϋλα ϋχουν προταθεύ για τη μοντελοπούηςό τησ καθώσ εύναι ϋνα μϋγεθοσ που ςυνδϋεται ϊμεςα με την εγκυρότητα των υπολογιςμών μασ, ειδικϊ ςε περιπτώςεισ εκτύμηςησ κύνηςησ που θα αναλύςουμε και ςε επόμενα κεφϊλαια. Σχόμα: Ενώ μπορεύ γενικϊ να θεωρηθεύ ωσ γνώριςμα υψηλότερου επιπϋδου, μοντελοποιεύται και αυτό ςε χαμηλό επύπεδο με βϊςη τισ ιδιότητεσ τησ εικόνασ όπωσ για παρϊδειγμα τισ ακμϋσ, το εμβαδό, τη θϋςη κλπ. Το περύγραμμα αντικειμϋνων ενδιαφϋροντοσ μιασ εικόνασ εξϊγεται και μοντελοποιεύται ςε υψηλότερο επύπεδο. Κύνηςη: Αποτελεύ πολύ ςημαντικό γνώριςμα για τισ περιςςότερεσ εφαρμογϋσ του κλϊδου και εξϊγεται από δύο ό περιςςότερα καρϋ μιασ ακολουθύασ βύντεο. Μϋχρι και ςόμερα, ϋχει αναπτυχθεύ ϋνασ μεγϊλοσ αριθμόσ μεθόδων για τον υπολογιςμό τησ κύνηςησ καθώσ η εκτύμηςό τησ αποτελεύ βϊςη πολλών εφαρμογών, όπωσ για παρϊδειγμα ο υπολογιςμόσ τησ τριςδιϊςτατησ κύνηςησ ενόσ αντικειμϋνου και η παρακολούθηςη τροχιϊσ. Πρότυπα: Μια ςυνηθιςμϋνη τακτικό ςε κϊποιεσ από τισ κατηγορύεσ εφαρμογών εύναι η εξαγωγό προτύπων αντύ χαρακτηριςτικών από ακολουθύεσ εικόνων τα οπούα ςτη ςυνϋχεια χρηςιμοποιούνται αυτούςια, μεταςχηματιςμϋνα ό και παραμορφωμϋνα ςε διαδικαςύεσ εντοπιςμού και αναγνώριςησ. Ωσ παρϊδειγμα αναφϋρουμε την εξαγωγό προτύπων από εικόνεσ με ανθρώπινα πρόςωπα. Μεταςχηματιςμού: Ενδιαφϋροντα γνωρύςματα για εφαρμογϋσ μηχανικόσ όραςησ προκύπτουν και από το μεταςχηματιςμό των εικόνων ό ςυγκεκριμϋνων περιοχών τουσ. Για παρϊδειγμα ο μεταςχηματιςμόσ Fourier δύνει πληροφορύεσ για το ςυχνοτικό περιεχόμενο των εικόνων. Σε πϊρα πολλϋσ εφαρμογϋσ, όπωσ για παρϊδειγμα τον εντοπιςμό ειςβολϋων ό τη παρακολούθηςη τησ τροχιϊσ κινούμενων αντικειμϋνων χρηςιμοποιεύται ωσ πρώτο ςτϊδιο ο εντοπιςμόσ κύριων κινούμενων αντικειμϋνων. Σε τϋτοιεσ περιπτώςεισ χρηςιμοποιούνται ςυνόθωσ γνωρύςματα κύνηςησ, ςχόματοσ ό και ςυνδυαςμόσ των δυο (π.χ. κύνηςη περιοχών ό ακμών). Όταν εύναι επιθυμητό η λεπτομερόσ εξαγωγό τησ μορφόσ κινούμενων αντικειμϋνων, χαρακτηριςτικϊ κύνηςησ ςυνδυϊζονται ςυνόθωσ με γνωρύςματα χρώματοσ για πιο ϋγκυρα αποτελϋςματα. Σε εφαρμογϋσ που ςτόχο ϋχουν την αναγνώριςη και ταξινόμηςη αντικειμϋνων τα γνωρύςματα ςχόματοσ εύναι περιςςότερο κατϊλληλα και ειδικότερα τα υψηλού επιπϋδου χαρακτηριςτικϊ όπωσ το περύγραμμα. Στη περύπτωςη που μελετϊται ο διαχωριςμόσ δύςκαμπτων και εύκαμπτων αντικειμϋνων, τα χαρακτηριςτικϊ κύνηςησ εύναι επύςησ πολύ χρόςιμα και καταλόγουν ςε ςαφεύσ διαχωριςμούσ με μικρϊ επύπεδα ςφϊλματοσ. Βεβαύωσ, όταν τα υπό αναγνώριςη αντικεύμενα ϋχουν ιδιότητεσ που τα διαφοροποιούν ςτο πεδύο του χρώματοσ, Κουζούπησ Δημότρησ -8-

15 Κεφϊλαιο 1: Ειςαγωγό τησ ςυχνότητασ ό τησ υφόσ δεν αποκλεύεται και η χρόςη των γνωριςμϊτων αυτών, αν και η περιοχό εφαρμογών που καλύπτουν εύναι ςτη πραγματικότητα αμελητϋα. Ο εντοπιςμόσ και εξαγωγό κινούμενων ανθρώπινων μορφών από ακολουθύεσ βύντεο εύναι μια από τισ πιο ενεργϋσ περιοχϋσ ϋρευνασ ςτο τομϋα τησ μηχανικόσ όραςησ. Σκοπόσ τησ εύναι να ανιχνεύει, να αναγνωρύζει και να παρακολουθεύ την ανθρώπινη δραςτηριότητα ςε ακολουθύεσ εικόνων που περιλαμβϊνουν ανθρώπουσ ανϊμεςα ςε ϊλλα κινούμενα αντικεύμενα. Λόγω των πολλϊ υποςχόμενων εφαρμογών τησ ςε τομεύσ όπωσ η οπτικό επιτόρηςη για λόγουσ αςφαλεύασ, η αλληλεπύδραςη ανϊμεςα ςε χρόςτη και υπολογιςτό και η ρύθμιςη τησ κυκλοφορύασ πεζών και οχημϊτων, ϋχει τραβόξει το ενδιαφϋρον πολλών ερευνητών παγκοςμύωσ με αποτϋλεςμα να ϋχει αναπτυχθεύ ςε μεγϊλο βαθμό τα τελευταύα χρόνια. Μια από τισ ςημαντικότερεσ δυςκολύεσ ςε προβλόματα κατϊτμηςησ κινούμενων αντικειμϋνων, τα οπούα αποτελούν το πρώτο ςτϊδιο ςτην ανϊλυςη τησ ανθρώπινησ δραςτηριότητασ, εύναι η απόρριψη θορύβου που προϋρχεται από αποςπαςματικϋσ κινόςεισ του φόντου, ϊνευ ενδιαφϋροντοσ, όπωσ η κύνηςη φυλλωμϊτων ςτον ϊνεμο ό οι κατοπτριςμού ςε υγρϊ. Τϋτοιεσ κινόςεισ μπορούν να οδηγόςουν ςε λανθαςμϋνεσ ειδοποιόςεισ τα ςυςτόματα παρακολούθηςησ χώρων και για να αντιμετωπιςτούν πρϋπει να γύνουν κϊποιεσ επιπλϋον διεργαςύεσ ανώτερου επιπϋδου. Οι ςυνόθεισ προςεγγύςεισ ςε τϋτοιου εύδουσ προβλόματα περιλαμβϊνουν χωροχρονικϊ φύλτρα ό επιβολό περιοριςμών ςτη τροχιϊ των αντικειμϋνων ςτο χρόνο. Παρόλα αυτϊ, μπορούμε εύκολα να ςυμπεραύνουμε ότι και οι δύο προςεγγύςεισ προςθϋτουν ανεπιθύμητεσ υποθϋςεισ για τη ςυμπεριφορϊ των κινούμενων οντοτότων και αυξϊνουν την υπολογιςτικό πολυπλοκότητα. Μια ενδιαφϋρουςα περύπτωςη εμφανύζεται ςτισ εφαρμογϋσ ςτατικόσ κϊμερασ. Η ςκηνό ςε τϋτοιου εύδουσ εφαρμογϋσ καταγρϊφεται με βολικό τρόπο από ϋνα ςταθερό ςημεύο παρατόρηςησ με αποτϋλεςμα όλη η δρϊςη ςτισ εικόνεσ που καταγρϊφονται να οφεύλεται ςτη κύνηςη αντικειμϋνων. Στα πλαύςια αυτϊ, ςχεδόν οποιαδόποτε αλλαγό ςτο ςκηνικό θα πρϋπει να υποδεικνύει την ύπαρξη ενόσ κινούμενου αντικειμϋνου που θα μπορούςε να εντοπιςτεύ και ςτη ςυνϋχεια να παρακολουθηθεύ ςε ολόκληρη την ακολουθύα εικόνων. Δυςτυχώσ όμωσ, υπϊρχουν περιπτώςεισ όπου οι αλλαγϋσ ςτο ςκηνικό δεν οφεύλονται ςε αντικεύμενα ενδιαφϋροντοσ αλλϊ ςε ανεπιθύμητο θόρυβο. Για παρϊδειγμα αυτό ςυμβαύνει όταν παρουςιϊζονται ςταδιακϋσ ό απότομεσ αλλαγϋσ ςτη φωτεινότητα, όταν ςυμβαύνουν μικρϋσ τυχαύεσ αλλαγϋσ ςτο φόντο ό όταν η κϊμερα υπόκεινται ςε μικρϋσ δονόςεισ. Με βϊςη λοιπόν τα παραπϊνω, το αρχικό πρόβλημα εντοπιςμού των κινούμενων αντικειμϋνων μετατρϋπεται ςε πρόβλημα εντοπιςμού των κινούμενων αντικειμϋνων ενδιαφϋροντοσ, όπου ϊλλεσ αλλαγϋσ ςαν αυτϋσ που προαναφϋρθηκαν θεωρούνται αςόμαντεσ. Στη Κουζούπησ Δημότρησ -9-

16 Κεφϊλαιο 1: Ειςαγωγό περύπτωςό μασ, τα αντικεύμενα ενδιαφϋροντοσ θα εύναι ςε μια πρώτη προςϋγγιςη τα κινούμενα οχόματα και οι ανθρώπινεσ ςιλουϋτεσ. Με ϊλλα λόγια, ο κύριοσ ςτόχοσ ενόσ ςθεναρού αλγορύθμου κατϊτμηςησ κύνηςησ για τισ εφαρμογϋσ που μασ ενδιαφϋρουν και ςτη περύπτωςη τησ ςτατικόσ κϊμερασ εύναι να διατηρεύ υψηλό ευαιςθηςύα ςτη παρουςύα ενόσ ςημαντικού αντικειμϋνου ςε ϋνα ςκηνικό ενώ παρϊλληλα να μειώνει την ευαιςθηςύα του ςτισ αλλαγϋσ φωτεινότητασ και τισ αςόμαντεσ αλλαγϋσ. Όςον αφορϊ τισ αλλαγϋσ φωτεινότητασ, θα δούμε πωσ ενώ οι ςταδιακϋσ αλλαγϋσ εύναι εύκολο να απορριφθούν με χρόςη κατϊλληλων μοντϋλων, οι απότομεσ αλλαγϋσ θα οδηγόςουν ςτην εμφϊνιςη ενόσ μεγϊλου κομματιού του φόντου ςτο προςκόνιο. Τϋτοιου εύδουσ περιπτώςεισ εύναι ιδιαύτερα ςημαντικϋσ ςτη περύπτωςη καταγραφόσ ςκηνών ςε εξωτερικό χώρο. Στη περύπτωςη τησ κινούμενησ κϊμερασ, πϋρα από τισ προαναφερθεύςεσ δυςκολύεσ, θα πρϋπει αντιμετωπιςτεύ και η ςυνεχόσ κύνηςη του φόντου λόγω κύνηςησ του φακού. Στισ εφαρμογϋσ αυτϋσ εύναι προφανϋσ πωσ η πολυπλοκότητα του προβλόματοσ εύναι ανϊλογη τησ πολυπλοκότητασ κύνηςησ τησ κϊμερασ, καθώσ απότομη ό ιςχυρϊ περιςτροφικό κύνηςη αλλϊζει ςε μεγϊλο βαθμό το ςκηνικό. Στη περύπτωςη που παραπϊνω του ενόσ κινούμενα αντικεύμενα υπϊρχουν ςτη ςκηνό, το ςύςτημα θα πρϋπει να υπολογύςει τη ςχετικό ταχύτητα του κϊθε αντικειμϋνου με το φόντο ώςτε να εύναι ςε θϋςη να τα διακρύνει μεταξύ τουσ. Μια τϋτοια διαδικαςύα γύνεται ςαφώσ πιο δύςκολη ςτη περύπτωςη όπου τα αντικεύμενα ενδιαφϋροντοσ κινούνται ςε μικρϋσ αποςτϊςεισ μεταξύ τουσ, ϋχουν όμοιεσ ταχύτητεσ και δεν παρουςιϊζουν μεγϊλεσ διαφορϋσ ςτα χρωματικϊ τουσ γνωρύςματα. Μια από τισ πιο δημοφιλεύσ μεθόδουσ για κατϊτμηςη κύνηςησ με κινούμενη κϊμερα, όταν η τελευταύα κινεύται με ομαλό τρόπο και η δειγματοληψύα των εικόνων εύναι αρκετϊ μεγϊλη, εύναι ο υπολογιςμόσ τησ οπτικόσ ροόσ που θα μελετόςουμε ςτο τελευταύο κεφϊλαιο αυτόσ τησ εργαςύασ τϊδια ανϊλυςησ ανθρώπινησ δραςτηριότητασ Το αντικεύμενο τησ παρούςασ διπλωματικόσ αφορϊ τον εντοπιςμό και την παρακολούθηςη τροχιϊσ ανθρώπινων μορφών από ςτατικό κϊμερα ςε ακολουθύεσ βύντεο εςωτερικού και εξωτερικού χώρου. Τα ςτϊδια επεξεργαςύασ που θα μελετόςουμε φθϊνουν ουςιαςτικϊ μϋχρι μεςαύου επιπϋδου διεργαςύεσ και τα αποτελϋςματα που παρϊγονται βρύςκουν ϊμεςη εφαρμογό ςε υψηλότερου επιπϋδου εφαρμογϋσ όπωσ η αναγνώριςη δραςτηριοτότων και η κατανόηςη ςυμπεριφορϊσ. Λόγω των αμϋτρητων εφαρμογών που εκμεταλλεύονται τα ςυμπερϊςματα των τεχνικών που θα αναπτύξουμε, ϋχουν προταθεύ πϊρα πολλϋσ τεχνικϋσ για την αντιμετώπιςη του κϊθε ςταδύου του προβλόματοσ. Σκοπόσ μασ εύναι να μελετόςουμε τισ τεχνικϋσ αυτϋσ, να τισ ςυγκρύνουμε με γνώμονα την αποτελεςματικότητϊ τουσ καθώσ και την υπολογιςτικό τουσ πολυπλοκότητα και τϋλοσ να υλοποιόςουμε τισ πιο Κουζούπησ Δημότρησ -10-

17 Κεφϊλαιο 1: Ειςαγωγό ςημαντικϋσ ώςτε να δούμε ςτη πρϊξη το πώσ δουλεύουν και πόςο καλϊ αποτελϋςματα δύνουν κϊτω από διϊφορεσ ςυνθόκεσ. Το γενικό πρόβλημα τησ ανϊλυςησ ανθρώπινησ δραςτηριότητασ μπορεύ να χωριςτεύ ςε επιμϋρουσ διεργαςύεσ όπωσ φαύνεται και ςτην παρακϊτω εικόνα. Οι διεργαςύεσ αυτϋσ μπορεύ ςε πολλϊ ςημεύα να επικαλύπτονται αλλϊ ςε γενικϋσ γραμμϋσ καταλόξαμε πωσ ο διαχωριςμόσ αυτόσ εύναι αρκετϊ ςαφόσ και ςυνεπώσ θα τον ακολουθόςουμε πιςτϊ ςε πλαύςια τησ εργαςύασ αυτόσ. Πιο ςυγκεκριμϋνα θα επικεντρωθούμε ςτα τρύα πρώτα κομμϊτια από τα πϋντε που απεικονύζονται και θα τα μελετόςουμε από πολλϋσ διαφορετικϋσ ςκοπιϋσ, εκμεταλλευόμενοι τισ πιο πρόςφατεσ εξελύξεισ ςτο τομϋα τησ υπολογιςτικόσ όραςησ. Κουζούπησ Δημότρησ -11-

18 Κεφϊλαιο 1: Ειςαγωγό 1.3. Επεξεργαςύα εικόνων και Matlab Στο εδϊφιο αυτό, θα αςχοληθούμε με τουσ τρόπουσ αναπαρϊςταςησ των ψηφιακών εικόνων και βύντεο ςτο πακϋτο λογιςμικού που θα χρηςιμοποιηθεύ. Η αναφορϊ αυτό κρύνεται απαραύτητη καθώσ ςτα πλαύςια τησ μελϋτησ μασ θα υλοποιόςουμε μια ςειρϊ αλγορύθμων επεξεργαςύασ βύντεο με ςκοπό να καταλόξουμε ςε μια ικανοποιητικό προςϋγγιςη του προβλόματοσ παρακολούθηςησ ανθρώπινησ κύνηςησ που να ςυνοδεύεται από χαμηλό υπολογιςτικό πολυπλοκότητα. Οι εικόνεσ ςτο λογιςμικό Matlab αποτελούνται από ϋναν η περιςςότερουσ διςδιϊςτατουσ πύνακεσ, όπου εύναι οι ςυντεταγμϋνεσ των εικονοςτοιχεύων. Για τισ ςυντεταγμϋνεσ αυτϋσ ιςχύει η εξόσ ςύμβαςη: εύναι οι γραμμϋσ και αυξϊνονται από επϊνω προσ τα κϊτω εύναι οι ςτόλεσ και αυξϊνονται από τα αριςτερϊ προσ τα δεξιϊ Αντύςτοιχα υπϊρχουν και οι χωρικϋσ ςυντεταγμϋνεσ ςτοιχεύα του πύνακα οι οπούεσ ϋχουν τα εξόσ χαρακτηριςτικϊ: για αναφορϊ ςε Επιτρϋπουν τη χρόςη μη-ακϋραιων δεικτών Το κϋντρο το πρώτου πύξελ βρύςκεται πϊνω δεξιϊ με ςυντεταγμϋνεσ Η αρχό του παραπϊνω πύξελ εύναι ςτη θϋςη εύναι ο αριθμόσ τησ ςτόλησ και τησ ςειρϊσ, αντύθετα με τη προηγούμενη ςόμανςη. Κουζούπησ Δημότρησ -12-

19 Κεφϊλαιο 1: Ειςαγωγό Εύδη εικόνων Υπϊρχουν διϊφοροι τύποι ψηφιακών εικόνων οι οπούοι διαφϋρουν μεταξύ τουσ ςτην ακρύβεια καθώσ και ςτο τρόπο αναπαρϊςταςησ. Οι πιο ςημαντικϋσ από αυτϋσ παρουςιϊζονται ςτισ ςελύδεσ που ακολουθούν. Δυαδικϋσ εικόνεσ Αποτελούνται από ϋναν διςδιϊςτατο πύνακα τα ςτοιχεύα του οπούου μπορούν να πϊρουν μόνο δύο τιμϋσ, μηδϋν και ϋνα. Οι εικόνεσ αυτϋσ εύναι προφανώσ αςπρόμαυρεσ και χρηςιμοποιούνται ςυνόθωσ ςαν μϊςκεσ για επιλογό περιοχών ενδιαφϋροντοσ πϊνω ςε ϊλλεσ εικόνεσ. Εικόνεσ ϋνταςησ Και αυτό η κατηγορύα χρηςιμοποιεύ ϋναν διςδιϊςτατο πύνακα για την αναπαρϊςταςη τησ ψηφιακόσ εικόνασ αλλϊ τώρα οι τιμϋσ τον εικονοςτοιχεύων εύναι εύτε πραγματικϋσ και περνούν τιμϋσ ςτο διϊςτημα [0:1], εύτε ακϋραιεσ και κυμαύνονται μεταξύ 0 και 255 (uint8 αναπαρϊςταςη). Το αποτϋλεςμα εύναι προφανώσ μια απεικόνιςη ςε κλύμακα του γκρι. Εικόνεσ δεικτών (Index Images) Οι εικόνεσ αυτϋσ εύναι ϋγχρωμεσ και αποτελούνται από δυο διςδιϊςτατουσ πύνακεσ. Ο πρώτοσ εύναι διαςτϊςεων,όπου εύναι όλοι οι ςυνδυαςμού των Κουζούπησ Δημότρησ -13-

20 Κεφϊλαιο 1: Ειςαγωγό τριών βαςικών χρωμϊτων που περιϋχονται ςε μια εικόνα. ςε κϊθε γραμμό του πύνακα αυτού, που ονομϊζεται και χϊρτησ χρωμϊτων, αποθηκεύονται ςε μια κλύμακα τα τρύα ποςοςτϊ των χρωματικών καναλιών που ςυνθϋτουν το κϊθε χρώμα τησ εικόνασ. Ϋτςι ο δεύτεροσ πύνακασ, που καλεύται πύνακασ δεδομϋνων, ϋχει τισ διαςτϊςεισ τησ εικόνασ και κϊθε του τιμό δεύχνει ςε ϋνα ςυγκεκριμϋνο διϊνυςμα χρώματοσ (δηλαδό γραμμό) του χϊρτη χρωμϊτων. RGB Εικόνεσ Η τελευταύα κατηγορύα εικόνων αποτελεύται από τρεισ διςδιϊςτατουσ πύνακεσ ο καθϋνασ εκ των οπούων αντιπροςωπεύει ϋνα βαςικό χρώμα. Οι τιμϋσ των πινϊκων ανϊλογα με την αναπαρϊςταςη μπορεύ να εύναι πραγματικϋσ και να βρύςκονται ςτο διϊςτημα ό ακϋραιεσ και να ανόκουν ςτο. Ακολουθύεσ εικόνων Τϋλοσ, για την αναπαρϊςταςη ϋγχρωμων ακολουθιών βύντεο χρηςιμοποιούνται πολλϋσ φορϋσ οι εικόνεσ πολλαπλών καρϋ, οι οπούεσ εύναι τεςςϊρων διαςτϊςεων. Οι πρώτεσ τρεισ διαςτϊςεισ αποτελούν την αναπαρϊςταςη τησ κϊθε εικόνασ ενώ η τϋταρτη αναφϋρεται ςτον αριθμό που ϋχει η κϊθε εικόνα ςτην ακολουθύα. Κουζούπησ Δημότρησ -14-

21 ΚΕΥΑΛΑΙΟ 2 : ΚΑΣΑΣΜΗΗ ΚΙΝΗΗ

22 Κεφϊλαιο 2 : Κατϊτμηςη κύνηςησ 2. Κατϊτμηςη κύνηςησ Σχεδόν κϊθε ςύςτημα με ςτόχο την ανϊλυςη τησ ανθρώπινησ κύνηςησ ξεκινϊ με την ανύχνευςη ό αλλιώσ κατϊτμηςη τησ κύνηςησ ςε μια ακολουθύα βύντεο. Αυτό η ανύχνευςη αποςκοπεύ ςτον διαχωριςμό των περιοχών που περιϋχουν κινούμενεσ οντότητεσ από την υπόλοιπη εικόνα. Εύναι ϋνα πολύ ςημαντικό βόμα για να προχωρόςει κϊποιοσ ςε περαιτϋρω ανϊλυςη τησ ανθρώπινησ δραςτηριότητασ καθώσ οι διαδικαςύεσ που ακολουθούν εξαρτώνται ςε μεγϊλο βαθμό από τα αποτελϋςματϊ του. Πρόκειται λοιπόν για ϋνα πολύ ςημαντικό και απαιτητικό πρόβλημα, με ςτόχο την ανύχνευςη των περιοχών εκεύνων που αντιςτοιχούν ςε κινούμενα αντικεύμενα, όπωσ οχόματα και ϊνθρωποι. Ο εντοπιςμόσ κινούμενων οντοτότων επικεντρώνει ουςιαςτικϊ τη προςοχό μασ ςτισ περιοχϋσ που μασ ενδιαφϋρουν για τα επόμενα ςτϊδια επεξεργαςύασ, όπωσ η παρακολούθηςη τησ πορεύασ των αντικειμϋνων και η ανϊλυςη των δραςτηριοτότων τουσ. Παρόλα αυτϊ, αλλαγϋσ λόγω καιρού, φωτιςμού, ςκιών και επαναλαμβανόμενων κινόςεων από ανεπιθύμητα αντικεύμενα δυςκολεύουν την γρόγορη και αξιόπιςτη επεξεργαςύα των δεδομϋνων. Μϋχρι ςόμερα, οι δημοφιλϋςτερεσ μϋθοδοι κατϊτμηςησ χρηςιμοποιούν εύτε χρονικό εύτε χωρικό πληροφορύα που εξϊγουν από τα διαδοχικϊ καρϋ. Παρακϊτω θα αναλύςουμε και αξιολογόςουμε μερικϋσ από αυτϋσ τισ μεθόδουσ Κατϊτμηςη κύνηςησ με τεχνικϋσ αφαύρεςησ φόντου Εύναι μύα πολύ δημοφιλόσ μϋθοδοσ για τον εντοπιςμό των κινούμενων περιοχών, ειδικϊ κϊτω από ςυνθόκεσ ςχετικϊ ςταθερού φόντου. Λειτουργεύ υπολογύζοντασ τισ διαφορϋσ ανϊμεςα ςτη τρϋχουςα εικόνα και το φόντο αναφορϊσ για κϊθε πύξελ ξεχωριςτϊ. Το πρόβλημϊ τησ εύναι ότι παρουςιϊζει πολύ μεγϊλη ευαιςθηςύα ςε δυναμικϋσ αλλαγϋσ του ςκηνικού λόγω φωτιςμού και ϊλλων εξωγενών παραγόντων. Υπϊρχουν πολλϋσ διαφορετικϋσ προςεγγύςεισ αυτού του προβλόματοσ οι οπούεσ διαφοροποιούνται ςτο τύπο του μοντϋλου που χρηςιμοποιούν για το φόντο καθώσ και ςτον τρόπο με τον οπούο το ανανεώνουν. Η πιο απλό περύπτωςη εύναι να εξϊγουμε το μοντϋλο του φόντου από το μϋςο όρο των αρχικών εικόνων του βύντεο, όπου ϋχουμε υποθϋςει ότι δεν υπϊρχουν κινούμενα αντικεύμενα που μασ ενδιαφϋρουν. Ϋχουμε την επιλογό να δουλϋψουμε με εικόνεσ ϋνταςησ, όπου θα ςτηριχθούμε μόνο ςτην ϋνταςη των πύξελ, ό με ϋγχρωμεσ, ϋτςι ώςτε να επεξεργαςτούμε παραπϊνω πληροφορύα για πιο ϋγκυρα μεν αποτελϋςματα, αλλϊ με μεγαλύτερο υπολογιςτικό κόςτοσ. Για να προςδιορύςουμε τισ κινούμενεσ περιοχϋσ, αφαιρούμε την κϊθε νϋα εικόνα από το φόντο που ϋχουμε προςδιορύςει και όπου βλϋπουμε ότι η απόλυτη τιμό του αποτελϋςματοσ ξεπερνϊ κϊποιο προκαθοριςμϋνο κατώφλι, θα θεωρούμε το Κουζούπησ Δημότρησ -16-

23 Κεφϊλαιο 2 : Κατϊτμηςη κύνηςησ αντύςτοιχο πύξελ ωσ πύξελ πρώτου πλϊνου. Προφανώσ η διαδικαςύα αυτό θα εύναι πολύ ευαύςθητη ςε οποιαδόποτε αλλαγό του ςκηνικού, όπωσ για παρϊδειγμα ςτισ ςυνθόκεσ φωτιςμού. Προκειμϋνου του αρχικό μασ μοντϋλο να προςαρμόζεται ςε ςταδιακϋσ αλλαγϋσ μπορούμε να ενςωματώνουμε ςε αυτό νεότερη πληροφορύα με χρόςη ενόσ απλού IIR φύλτρου τησ μορφόσ: όπου α ο ρυθμόσ εκμϊθηςησ (learning rate) τυπικϊ γύρω ςτο Για να αποφύγουμε την ειςαγωγό θορύβου ςτο μοντϋλο από πύξελ που δεν ανόκουν ςτο φόντο εύναι καλύτερα να χρηςιμοποιόςουμε και ανατροφοδότηςη. Δηλαδό, όταν ϋνα πύξελ εκτιμϊται πωσ εύναι μϋροσ του φόντου, τότε ςτο ςημεύο εκεύνο αναβαθμύζουμε το μοντϋλο την επόμενη χρονικό ςτιγμό ςύμφωνα με τον παραπϊνω τύπο. Αλλιώσ, αν το πύξελ που εξετϊζουμε εύναι πρώτου πλϊνου, αφόνουμε το φόντο αμετϊβλητο. Μια εντελώσ διαφορετικό προςϋγγιςη χρηςιμοποιεύ ϋναν buffer όπου αποθηκεύει τα τελευταύα καρϋ και από αυτϊ εξϊγει το μοντϋλο του φόντου παύρνοντασ τη μϋςη ό τη διϊμεςη τιμό (median) των εικόνων για κϊθε πύξελ ξεχωριςτϊ. Η μϋθοδοσ που χρηςιμοποιεύ τη διϊμεςη τιμό, ϋχει αποδειχθεύ αρκετϊ ςθεναρό αλλϊ για να εύναι αξιόπιςτη χρειϊζεται δεύγματα εικόνων που να ξεκινούν αρκετϊ πριν από τη τρϋχουςα χρονικό ςτιγμό, αφού πολλϋσ φορϋσ μπορεύ να χρειαςτεύ να εντοπύςουμε αντικεύμενα που κινούνται αργϊ. Για να μειώςουμε τον υπολογιςτικό φόρτο τησ μεθόδου μπορούμε να αποθηκεύουμε ςτον buffer εικόνεσ με μικρότερο ρυθμό από το frame rate (υποδειγματοληψύα). Ϋνασ ϊλλοσ τρόποσ μεύωςησ των υπολογιςμών τησ μεθόδου αυτόσ ανακαλύφθηκε το 1995 από τουσ N.J.B. McFarlane and C.P. Schofield [5], ονομϊςτηκε μϋθοδοσ τησ κατϊ προςϋγγιςη διϊμεςησ τιμόσ και ϋχει την εξόσ φιλοςοφύα: Εϊν ϋνα πύξελ ςτο τρϋχον καρϋ ϋχει τιμό μεγαλύτερη από αυτό του αντύςτοιχου πύξελ ςτο φόντο, το πύξελ του φόντου αυξϊνεται κατϊ ϋνα, αλλιώσ αν η τιμό εύναι μικρότερη, μειώνεται κατϊ ϋνα. Με τον τρόπο αυτό το μοντϋλο του φόντου αποδεικνύεται ότι ςυγκλύνει ςε μύα προςϋγγιςη τησ διϊμεςησ τιμόσ με τον χρόνο ςύγκλιςησ να εξαρτϊται από το frame rate και το πλόθοσ των κινόςεων μϋςα ςτο ςκηνικό. Στισ ςελύδεσ που ακολουθούν υλοποιούμε ςτο λογιςμικό Matlab μερικούσ από τουσ πιο ςημαντικούσ αλγόριθμουσ τησ κατηγορύασ που περιγρϊψαμε και μελετϊμε τη ςυμπεριφορϊ τουσ κϊτω από διϊφορεσ ςυνθόκεσ. Κουζούπησ Δημότρησ -17-

24 Κεφϊλαιο 2 : Κατϊτμηςη κύνηςησ Αφαίρεση φόντου με το μοντέλο της διάμεσης τιμής Η πρώτη υλοπούηςη χρηςιμοποιεύ ϋναν buffer για την αποθόκευςη των τελευταύων καρϋ τησ ακολουθύασ και εξϊγει το μοντϋλο του φόντου παύρνοντασ τη διϊμεςη τιμό για κϊθε πύξελ ξεχωριςτϊ. Θα δούμε πωσ η μϋθοδοσ αυτό εύναι αρκετϊ πιο αργό από τισ επόμενεσ καθώσ χρειϊζεται να γύνουν μια ςειρϊ από ταξινομόςεισ οι οπούεσ επειδό γύνονται ςε επύπεδο πύξελ εύναι υπϋρμετρα μεγϊλεσ ςτον αριθμό. Επύςησ μια παρϊμετροσ που επηρεϊζει ςημαντικϊ τα αποτελϋςματα τησ τεχνικόσ εύναι ο αριθμόσ των καρϋ από τα οπούα θα εξϊγεται το μοντϋλο. Ακατϊλληλη επιλογό του αριθμού αυτού δημιουργεύ ύχνη πύςω από το κινούμενο αντικεύμενο τα οπούα εξαρτώνται ϊμεςα από τη ταχύτητϊ του. Ο κώδικασ με τον οπούο παρόγαμε τα αποτελϋςματα που θα ακολουθόςουν εύναι ο εξόσ: % Background subtraction algorithm using the median value % to define the background model clear all clc obj = mmreader('video_samples\car.avi'); % Define variables width = obj.width; height = obj.height; lngth = obj.numberofframes; fg = zeros(height,width); threshold = 25; % Create and sort the initial Buffer bufsize = 11; % Odd number bufstart = 260; buf = bufstart + (bufsize-1); Buffer = read(obj,[bufstart buf]'); Buffer_bw = zeros(height,width,bufsize); for k = 1:bufsize Buffer_bw(:,:,k) = rgb2gray(buffer(:,:,:,k)); for i = 1:height for j=1:width Buffer_bw(i,j,:) = sort(buffer_bw(i,j,:)); bg_bw = Buffer_bw(:,:,(1+(bufsize-1)/2)); % Video processing process_start = buf+1; T = ones(height,width)*threshold; for m = process_start:lngth Κουζούπησ Δημότρησ -18-

25 Κεφϊλαιο 2 : Κατϊτμηςη κύνηςησ fr = read(obj,m); fr_bw = rgb2gray(fr) ; fr_diff = abs(double(fr_bw) - bg_bw); fg(fr_diff>t) = 1; fg(fr_diff<=t) = 0; % Form and sort new buffer bufstart = bufstart+1; buf = bufstart + (bufsize-1); Buffer = read(obj,[bufstart buf]'); Buffer_bw = zeros(height,width,bufsize); for k = 1:bufsize Buffer_bw(:,:,k) = rgb2gray(buffer(:,:,:,k)); for i = 1:height for j=1:width Buffer_bw(i,j,:) = sort(buffer_bw(i,j,:)); bg_bw = Buffer_bw(:,:,1+(bufsize-1)/2); % Form the desired output and plot results R = double(fr(:,:,1)).*fg; G = double(fr(:,:,2)).*fg; B = double(fr(:,:,3)).*fg; RGB(:,:,1) = R ; RGB(:,:,2) = G ; RGB(:,:,3) = B; RGB = uint8(rgb); subplot(3,1,1),imshow(fr_bw) subplot(3,1,2),imshow(fg) subplot(3,1,3),imshow(rgb) % Construct a movie Movie(m-(process_start-1)) = im2frame(rgb,gray); movie2avi(movie,'median','compression','cinepak'); Παρατηρόςεισ: Από τα αποτελϋςματα που πόραμε και παραθϋτουμε ςτη ςυνϋχεια ςυμπεραύνουμε ότι η μϋθοδοσ που χρηςιμοποιόςαμε εύναι πολύ ευαύςθητη ςτην επιλογό του αριθμού των καρϋ από τα οπούα εξϊγεται το μοντϋλο του φόντου. Τα κινούμενα αντικεύμενα αφόνουν πύςω τουσ ύχνη τα οπούα ποικύλουν ανϊλογα με τη ταχύτητϊ τουσ, γεγονόσ το οπούο εύναι μεγϊλο μειονϋκτημα καθώσ παρϊμετροι του ςυςτόματοσ όπωσ το μϋγεθοσ του buffer επιδιώκουμε να εύναι ςταθερϋσ. Η επιλογό ενόσ υπϋρμετρα μεγϊλου αριθμού που θα ϋδινε λύςη ςτισ περιςςότερεσ περιπτώςεισ εύναι επύςησ μη αποτελεςματικό καθώσ ο όγκοσ των υπολογιςμών θα γινόταν απαγορευτικόσ. Τϋλοσ, βλϋπουμε ότι πϋρα από τα ύχνη, η τεχνικό δεν καταφϋρνει να περϊςει ςτο προςκόνιο ολόκληρη τη κινούμενη οντότητα. Κουζούπησ Δημότρησ -19-

26 Κεφϊλαιο 2 : Κατϊτμηςη κύνηςησ Οι δύο ακολουθύεσ βύντεο που θα χρηςιμοποιηθούν ςε όλεσ τισ υλοποιόςεισ εύναι οι εξόσ: Κατϊτμηςη κύνηςησ κινούμενου οχόματοσ: Κατϊτμηςη κύνηςησ ανθρώπινησ ςιλουϋτασ: Κουζούπησ Δημότρησ -20-

27 Κεφϊλαιο 2 : Κατϊτμηςη κύνηςησ Αφαύρεςη φόντου με το μοντϋλο τησ κατϊ προςϋγγιςη διϊμεςησ τιμόσ Η μϋθοδοσ τησ κατϊ προςϋγγιςη διϊμεςησ τιμόσ εύναι ςαφώσ πιο γρόγορη υπολογιςτικϊ και τα αποτελϋςματϊ τησ εύναι όπωσ θα δούμε πολύ πιο αξιόπιςτα. Για να μπορούμε να ςυγκρύνουμε τισ τεχνικϋσ μεταξύ τουσ θα χρηςιμοποιόςουμε το ύδιο κατώφλι ςε όλουσ τουσ αλγορύθμουσ, το οπούο εύναι 25 για το πρώτο βύντεο και 15 για το δεύτερο. Σημειώνουμε επύςησ ότι ςτουσ κώδικεσ που ακολουθούν, με [ ] ςυμβολύζουμε τα κομμϊτια τα οπούα εύναι ακριβώσ ύδια με τα αντύςτοιχα ςτο προηγούμενο αλγόριθμο και εύναι γραμμϋνα με μπλε ςκούρο χρώμα. % Approximate median algorithm for motion segmentation clear all clc obj = mmreader('video_samples\car.avi'); % Define variables [ ] process_start = 260; bg = read(obj,process_start-1); bg_bw = rgb2gray(bg); % Video processing for i = process_start:lngth fr = read(obj,i); fr_bw = rgb2gray(fr); fr_diff = abs(double(fr_bw) - double(bg_bw)); for j=1:height for k=1:width if fr_diff(j,k) > threshold fg(j,k) = 1; else fg(j,k) = 0; if (fr_bw(j,k) > bg_bw(j,k)) bg_bw(j,k) = bg_bw(j,k) + 1; elseif (fr_bw(j,k) < bg_bw(j,k)) bg_bw(j,k) = bg_bw(j,k) - 1; % Form the desired output [ ] % Construct a movie Movie(i-(process_start-1)) = im2frame(rgb,gray); movie2avi(movie,'aprox_median','compression','cinepak'); Κουζούπησ Δημότρησ -21-

28 Κεφϊλαιο 2 : Κατϊτμηςη κύνηςησ Παρατηρόςεισ: Όπωσ παρατηρούμε, τα αποτελϋςματα τησ μεθόδου εύναι εντυπωςιακϊ καλύτερα και μϊλιςτα η πολυπλοκότητα των υπολογιςμών ϋχει μειωθεύ ςε πολύ μεγϊλο βαθμό. Το μόνο ςημεύο ςτο οπούο η μϋθοδοσ αυτό υςτερεύ ςε ςχϋςη με τη προηγούμενη εύναι ςτην απαλοιφό του θορύβου που δημιουργεύται ςτο προςκόνιο από το θρόιςμα των φύλλων τησ πρώτησ ακολουθύασ βύντεο. Τϋλοσ, ςτο δεύτερο βύντεο βλϋπουμε ότι η ςιλουϋτα αφόνει κϊποια ύχνη λόγω των απότομων αλλαγών ςτη μορφό τησ, αλλϊ το θετικό εύναι ότι τα ύχνη αυτϊ εύναι μικρϊ ςε μϋγεθοσ και αποκολλημϋνα από την κύρια οντότητα και ϋτςι μπορούν με περεταύρω επεξεργαςύα να αντιμετωπιςτούν ωσ θόρυβοσ και να εξαφανιςτούν. Κατϊτμηςη κύνηςησ κινούμενου οχόματοσ: Κατϊτμηςη κύνηςησ ανθρώπινησ ςιλουϋτασ: Κουζούπησ Δημότρησ -22-

29 Κεφϊλαιο 2 : Κατϊτμηςη κύνηςησ Αφαύρεςη φόντου με χρόςη επιλεκτικϊ μεταβαλλόμενου μοντϋλου Όπωσ αναφϋραμε και ςτη θεωρεύα, το μοντϋλο τησ μεθόδου αυτόσ αναβαθμύζεται επιλεκτικϊ ςύμφωνα με τον τύπο: και μόνο για τα ςημεύα εκεύνα που δεν περιλαμβϊνουν κϊποια κύνηςη. Ο αλγόριθμοσ εύναι αρκετϊ απλόσ και δεν απαιτεύ μεγϊλο αριθμό πρϊξεων. Σε επύπεδα πολυπλοκότητασ κυμαύνεται κϊπου ανϊμεςα ςτισ δυο προηγούμενεσ τεχνικϋσ. % Running average algorithm with selectivity for motion segmentation clear all clc obj = mmreader('video_samples\car.avi'); % Define variables [ ] a = 0.05; % Learning Rate process_start = 260; bg = read(obj, process_start-1); bg_bw = rgb2gray(bg); % Video processing for i = process_start:lngth fr = read(obj,i); fr_bw = rgb2gray(fr); diff = abs(double(fr_bw) - double(bg_bw)); for j=1:height for k=1:width if (diff(j,k) > threshold) fg(j,k) = 1; else fg(j,k) = 0; bg_bw(j,k) = a*fr_bw(j,k)+(1-a)*bg_bw(j,k); % Form the desired output [ ] % Construct a movie Movie(i-(process_start-1)) = im2frame(rgb,gray); movie2avi(movie,'running_average','cinepak'); Κουζούπησ Δημότρησ -23-

30 Κεφϊλαιο 2 : Κατϊτμηςη κύνηςησ Παρατηρόςεισ: Το μεγϊλο πλεονϋκτημα τησ μεθόδου αυτόσ ςε ςύγκριςη με τισ προηγούμενεσ εύναι ότι χρηςιμοποιεύ ϋνα εύδοσ ανατροφοδότηςησ ςτο ςχηματιςμό του μοντϋλου του φόντου καθώσ λαμβϊνει υπόψη ποια πύξελ ϋχουν θεωρηθεύ ότι ανόκουν ςτο προςκόνιο ώςτε να μην επηρεϊςουν τισ αλλαγϋσ ςτο φόντο. Όπωσ φαύνεται από τα ςτιγμιότυπα, η τεχνικό αυτό καταφϋρνει να φϋρει να φϋρει ολόκληρη την κινούμενη οντότητα ςτο προςκόνιο και το μόνο πρόβλημα εύναι η μεγαλύτερη ευαιςθηςύα τησ ςε επαναλαμβανόμενεσ κινόςεισ του φόντου. Τϋλοσ, ςημειώνουμε ότι ρυθμύζοντασ κατϊλληλα τον ρυθμό εκμϊθηςησ πετυχαύνουμε αξιόπιςτα αποτελϋςματα ακόμη και ςε ςκηνϋσ με πιο αιςθητϋσ μεταβολϋσ του φωτιςμού. Κατϊτμηςη κύνηςησ κινούμενου οχόματοσ: Κατϊτμηςη κύνηςησ ανθρώπινησ ςιλουϋτασ: Κουζούπησ Δημότρησ -24-

31 Κεφϊλαιο 2 : Κατϊτμηςη κύνηςησ 2.2. Κατϊτμηςη κύνηςησ με χρόςη ςτατιςτικών μεθόδων Σχετικϊ πρόςφατα, κϊποιεσ ςτατιςτικϋσ μϋθοδοι για να εξαχθούν οι περιοχϋσ αλλαγών από το φόντο ϋχουν εμπνευςτεύ από τισ βαςικϋσ μεθόδουσ αφαύρεςησ φόντου που όδη περιγρϊψαμε. Οι ςτατιςτικϋσ αυτϋσ προςεγγύςεισ χρηςιμοποιούν χαρακτηριςτικϊ από ατομικϊ πύξελ ό από ομϊδεσ τουσ για να καταςκευϊςουν πιο ςύνθετα μοντϋλα για το φόντο. Οι ςτατιςτικϋσ αυτών των μοντϋλων μϊλιςτα, αλλϊζουν δυναμικϊ κατϊ τη διϊρκεια τησ επεξεργαςύασ. Κϊθε πύξελ ςτην τρϋχουςα εικόνα χαρακτηρύζεται ωσ πύξελ πρώτου πλϊνου ό φόντου αφού ςυγκριθεύ με τισ ςτατιςτικϋσ του ενύοτε μοντϋλου φόντου. Αυτό η προςϋγγιςη γύνεται όλο και πιο δημοφιλόσ λόγω τησ ςθεναρότητασ που παρουςιϊζει ςτο θόρυβο, ςτισ ςκιϋσ, ςτισ αλλαγϋσ των ςυνθηκών φωτόσ κλπ. Το πιο αντιπροςωπευτικό παρϊδειγμα τησ κατηγορύασ ονομϊζεται μύγμα γκαουςςιανών (mixture of Gaussians MOG). Στη μϋθοδο αυτό, το φόντο δεν εύναι ϋνα καρϋ με τιμϋσ, όπωσ εύδαμε ςτη προηγούμενη κατηγορύα, αλλϊ παραμετρικό. Η κϊθε θϋςη πύξελ αντιπροςωπεύεται από ϋναν αριθμό γκαουςςιανών ςυναρτόςεων που αθρούζονται όλεσ μαζύ δημιουργώντασ μύα ςυςςωρευτικό κατανομό πιθανότητασ: Ο μϋςοσ όροσ τησ κϊθε γκαουςςιανόσ ςυνϊρτηςησ μπορεύ να γύνει αντιληπτόσ ωσ μια βϊςιμη υπόθεςη (educated guess) τησ τιμόσ του πύξελ ςτην επόμενη εικόνα, θεωρώντασ ςτο ςημεύο αυτό ότι τα πύξελ ανόκουν γενικϊ ςτο φόντο. Το βϊροσ και η τυπικό απόκλιςη τησ κϊθε ςυνϊρτηςησ αποτελούν μϋτρα τησ εμπιςτοςύνησ μασ ςε αυτό την υπόθεςη όπου μεγαλύτερο βϊροσ και μικρότερο ςημαύνουν μεγαλύτερη εμπιςτοςύνη. Τυπικϊ χρηςιμοποιούνται από τρεύσ ϋωσ πϋντε γκαουςςιανϋσ κατανομϋσ για κϊθε πύξελ, ανϊλογα τουσ περιοριςμούσ μασ ςτο μϋγεθοσ τησ μνόμησ του ςυςτόματοσ. Για να καθορύςουμε αν ϋνα πύξελ εύναι μϋροσ του ςκηνικού το ςυγκρύνουμε με τισ αντύςτοιχεσ γκαουςςιανϋσ ςυναρτόςεισ. Εϊν η τιμό του βρύςκεται ςτα κοντϊ ςτη τυπικό απόκλιςη ενόσ ςτοιχεύου του φόντου, ςε επύπεδο μιασ τϊξησ μεγϋθουσ, θεωρεύται ωσ μϋροσ του. Σε αντύθετη περύπτωςη, καταχωρεύται ωσ πύξελ πρώτου πλϊνου. Ο αλγόριθμοσ που υλοποιεύ τη τεχνικό αυτό βρϋθηκε ςτην ιςτοςελύδα που αναφϋρεται ςτη βιβλιογραφύα [5], ςε αντύθεςη με τισ υπόλοιπεσ υλοποιόςεισ του κεφαλαύου που γρϊφτηκαν ςτα πλαύςια τησ παρούςασ εργαςύασ. Παρακϊτω βλϋπουμε τα αποτελϋςματα επϊνω ςτα δύο βύντεο που διαθϋτουμε. Κουζούπησ Δημότρησ -25-

32 Κεφϊλαιο 2 : Κατϊτμηςη κύνηςησ Κατϊτμηςη κύνηςησ κινούμενου οχόματοσ: Κατϊτμηςη κύνηςησ ανθρώπινησ ςιλουϋτασ: Παρατηρόςεισ: Τα αποτελϋςματα τησ τεχνικόσ αυτόσ μασ δεύχνουν ότι πρϋπει να περϊςει κϊποιοσ χρόνοσ ώςτε ολόκληρο το αντικεύμενο να περϊςει ςτο προςκόνιο. Λόγω των πολλών παραμϋτρων τησ μεθόδου, ϋχουμε πολλϋσ εναλλακτικϋσ για να προςαρμόςουμε τον αλγόριθμο ςε μια ςκηνό και να πϊρουμε πιο καλϋσ εικόνεσ από τισ παραπϊνω. Παρόλα αυτϊ, ο χαρακτηριςτικϊ μεγϊλοσ βαθμόσ πολυπλοκότητασ και η ανϊγκη επαναπροςδιοριςμού των παραμϋτρων ςε κϊθε αλλαγό του ςκηνικού ενδιαφϋροντοσ, καθιςτούν τη τεχνικό αυτό ακατϊλληλη για την εφαρμογό που θϋλουμε να ςχεδιϊςουμε και γι αυτό και δεν θα εμβαθύνουμε περεταύρω. Κουζούπησ Δημότρησ -26-

33 Κεφϊλαιο 2 : Κατϊτμηςη κύνηςησ 2.3. Κατϊτμηςη κύνηςησ μϋςω χρονικόσ διαφορϊσ Η τεχνικό αυτό λαμβϊνει υπόψη τισ διαφορϋσ μεταξύ δύο ό τριών διαδοχικών εικόνων ςε ϋνα βύντεο για να εξϊγει τισ κινούμενεσ περιοχϋσ. Εύναι μια πολύ απλό και ελαφριϊ μϋθοδοσ ενώ ταυτόχρονα παρουςιϊζει μεγϊλη προςαρμοςτικότητα μϋςα ςε δυναμικϊ περιβϊλλοντα και απορρύπτει αποτελεςματικϊ τον θόρυβο που προϋρχεται από το φόντο. Το μεγαλύτερό τησ ελϊττωμα εύναι ότι ςτη πιο απλό τησ μορφό δεν μπορεύ να εξϊγει όλα τα κινούμενα πύξελ τησ οντότητασ καθώσ τα κομμϊτια με ομοιόμορφα κατανεμημϋνεσ τιμϋσ ϋνταςησ, όπωσ η πλευρϊ ενόσ αυτοκινότου, αναγνωρύζονται λανθαςμϋνα ωσ μϋρη του φόντου. Ϋτςι παρατηρούνται ςυχνϊ τρύπεσ ςτο εςωτερικό τησ ζητούμενησ περιοχόσ. Επύςησ ϋνα ςημαντικό ζότημα εύναι ο καθοριςμόσ του κατωφλύου πϋρα από το οπούο κϊθε πύξελ θα θεωρεύται κομμϊτι ενόσ κινούμενου αντικειμϋνου, καθώσ η ςυγκεκριμϋνη μϋθοδοσ εύναι πολύ ευαύςθητη ςτο μϋγεθοσ αυτό. Ο αλγόριθμοσ που ακολουθεύ, υλοποιεύ τη διαδικαςύα που μόλισ περιγρϊψαμε ςυγκρύνοντασ τη τρϋχουςα εικόνα με τισ δύο προηγούμενεσ, ϋτςι ώςτε να μειωθούν τα επύπεδα θορύβου ςτα αποτελϋςματα. % Frame difference algorithm for motion segmentation clear all clc obj = mmreader('video_samples\car.avi'); % Define variables [ ] threshold = 25; T = threshold*ones(size(fr_1)); process_start = 260; fr_1 = rgb2gray(read(obj,process_start-2)); fr_2 = rgb2gray(read(obj,process_start-1)); % Video processing for i = process_start:lngth fr = read(obj,i); fr_bw = rgb2gray(fr); fr_diff1 = abs(double(fr_bw) - double(fr_1)); fr_diff2 = abs(double(fr_bw) - double(fr_2)); fg1 = zeros(height,width); fg2 = zeros(height,width); fg1(fr_diff1 > T) = 1; fg2(fr_diff2 > T) = 1; fg = double(and(fg1,fg2)); fr_1 = fr_2; fr_2 = fr_bw; Κουζούπησ Δημότρησ -27-

34 Κεφϊλαιο 2 : Κατϊτμηςη κύνηςησ % Form the desired output [ ] % Construct a movie Movie(i-(process_start-1)) = im2frame(rgb,gray); movie2avi(movie,'frame_difference','compression','cinepak'); Παρατηρόςεισ: Η τεχνικό αυτό περιϋχει ςαφώσ τισ λιγότερεσ πρϊξεισ αλλϊ όπωσ εύδαμε και ςτη θεωρεύα, κομμϊτια που ϋχουν ομοιόμορφη υφό δεν καταφϋρνουν να βγουν ςτο προςκόνιο με αποτϋλεςμα το αντικεύμενο να παρουςιϊζει τρύπεσ. Από την εκϊςτοτε εφαρμογό εξαρτϊται το πόςο αποτρεπτικόσ ό όχι εύναι ο παρϊγοντασ αυτόσ. Παρόλα αυτϊ, με τη προςθόκη μερικόσ επιπλϋον επεξεργαςύασ που περιλαμβϊνει μια ςειρϊ μορφολογικών μεταςχηματιςμών, μπορούμε να βελτιώςουμε ςημαντικϊ τα αποτελϋςματα. Σημειώνουμε επύςησ ότι ο αλγόριθμοσ ςυμπεριφϋρεται καλύτερα από τουσ προηγούμενουσ ςτη περιοχό όπου η ανθρώπινη ςιλουϋτα περνϊ μπροςτϊ από το λευκό αυτοκύνητο, ςτο ςημεύο εκεύνο οι υπόλοιπεσ τεχνικϋσ δεν μπορούςαν να καθορύςουν με ακρύβεια τα όρια τησ κινούμενησ οντότητασ. Κατϊτμηςη κύνηςησ κινούμενου οχόματοσ: Κατϊτμηςη κύνηςησ ανθρώπινησ ςιλουϋτασ: Κουζούπησ Δημότρησ -28-

35 Κεφϊλαιο 2 : Κατϊτμηςη κύνηςησ 2.4. Κατϊτμηςη κύνηςησ με χρόςη οπτικόσ ροόσ Η οπτικό ροό χρηςιμοποιεύται γενικότερα για να περιγρϊψει τη ςυνεκτικό κύνηςη κϊποιων ςημεύων ό γνωριςμϊτων μεταξύ των καρϋ. Για τον εντοπιςμό κύνηςησ μϋςω οπτικόσ ροόσ παρατηρούμε τα χαρακτηριςτικϊ των διανυςμϊτων ροόσ των κινούμενων αντικειμϋνων ςτο χρόνο ώςτε να εντοπιςτούν οι περιοχϋσ αλλαγών. Οι μϋθοδοι αυτϋσ ϋχουν το πλεονϋκτημα ότι μπορούν να χρηςιμοποιηθούν για να εντοπύςουν κινούμενα αντικεύμενα ακόμη και όταν παρουςιϊζεται κύνηςη τησ κϊμερασ. Παρόλα αυτϊ, οι περιςςότεροι τρόποι υπολογιςμού τησ ροόσ εύναι υπολογιςτικϊ πολύπλοκοι και πολύ ευαύςθητοι ςτο θόρυβο με αποτϋλεςμα οι εν λόγω μϋθοδοι να μην μπορούν να χρηςιμοποιηθούν ςε εφαρμογϋσ πραγματικού χρόνου χωρύσ εξειδικευμϋνο εξοπλιςμό. Πιο αναλυτικϊ για τη χρόςη τησ οπτικόσ ροόσ ςτη μηχανικό όραςη θα μιλόςουμε ςτο κεφϊλαιο Μορφολογικού μεταςχηματιςμού Ϋνα πολύ ςημαντικό κομμϊτι ςτη κατϊτμηςη κύνηςησ που βελτιώνει θεαματικϊ τα αρχικϊ αποτελϋςματα όλων των παραπϊνω τεχνικών εύναι οι μορφολογικού μεταςχηματιςμού. Πιο ςυγκεκριμϋνα, ςε κϊθε καρϋ, αφού υπολογύςουμε την δυαδικό εικόνα πρώτου πλϊνου, που ϋχει τιμό μονϊδα για όλα τα κινούμενα πύξελ ςύμφωνα με την εκϊςτοτε μϋθοδο, επιδρούμε πϊνω τησ με μια ςειρϊ μεταςχηματιςμών ώςτε αυτό να γύνει πιο ομοιόμορφη. Οι μεταςχηματιςμού αυτού ϋχουν ςτόχο να ςβόςουν από την εικόνα όςεσ ομϊδεσ πύξελ εύναι πολύ μικρϋσ για να παριςτϊνουν κϊποιο αντικεύμενο ενδιαφϋροντοσ και παρϊλληλα γεμύζουν τυχόν τρύπεσ ςτισ κινούμενεσ οντότητεσ που προϋρχονται από κομμϊτια ομοιόμορφησ τιμόσ τησ ϋνταςησ. Ϋνα ακόμη χρόςιμο ςτϊδιο επεξεργαςύασ, εύναι η εξομϊλυνςη με γκαουςςιανϊ φύλτρα όλων των εικόνων που προϋρχονται από αφαύρεςη δύο καρϋ. Για να υλοποιόςουμε τουσ μεταςχηματιςμούσ αυτούσ ςυντϊςςουμε τισ εξόσ δύο ςυναρτόςεισ τισ οπούεσ μπορούμε να ενςωματώςουμε ςε όποια τεχνικό θϋλουμε: function [frame2] = blur(frame1) % blur: Gaussian filter,to blur differentiated images PSF = fspecial('gaussian',10,10); frame2 = imfilter(frame1,psf,'symmetric','conv'); Κουζούπησ Δημότρησ -29-

36 Κεφϊλαιο 2 : Κατϊτμηςη κύνηςησ function [fg2] = MorphOperations(fg) % MorphOperations: A series of morphological operations over the % binary image 'fg' so as to form a better shape % for the moving blobs. fg = bwareaopen(fg,10); se1 = strel('square',5); fg = imclose(fg,se1); fg2 = imfill(fg,'holes'); Για να δούμε την επύδραςη των μεταςχηματιςμών αυτών, τουσ χρηςιμοποιούμε για τη κατϊτμηςη κύνηςησ ανθρώπινησ ςιλουϋτασ με τη μϋθοδο τησ χρονικόσ διαφορϊσ. Όπωσ εύδαμε παραπϊνω, η τεχνικό αυτό δεν μπορούςε να δώςει μια καθαρό εικόνα του αντικειμϋνου διότι δημιουργούςε τρύπεσ ςε όλεσ τισ ομοιόμορφεσ επιφϊνειϋσ του. Από ηα παπαπάνω, βλϋπουμε πόςο πιο ακριβό εύναι τα αποτελϋςματϊ μασ ακόμη και όταν χρηςιμοποιούμε ϋναν αλγόριθμο που αρχικϊ φαινόταν εντελώσ ακατϊλληλοσ. Παρόλα αυτϊ η μϋθοδοσ τησ χρονικόσ διαφορϊσ ςυνεχύζει να ϋχει δύο ςημαντικϊ μειονεκτόματα που εύναι πολύ περιοριςτικϊ. Πρώτον, δεν μπορεύ να δώςει τόςο καλϊ αποτελϋςματα για κινούμενα οχόματα όπου οι ομοιόμορφεσ επιφϊνειεσ εύναι μεγαλύτερεσ και δεύτερον, ςε περύπτωςη που η οντότητα ςταματόςει για λύγο να κινεύται, ςυγχωνεύεται πολύ γρόγορα ςτο φόντο και χϊνεται από την εικόνα. Κουζούπησ Δημότρησ -30-

37 Κεφϊλαιο 2 : Κατϊτμηςη κύνηςησ 2.6. Σελικόσ αλγόριθμοσ Εφόςον εύδαμε τα θετικϊ και τα αρνητικϊ των δημοφιλϋςτερων τεχνικών κατϊτμηςησ κύνηςησ θα καταλόξουμε ςε ϋναν αλγόριθμο που εύναι κατϊλληλοσ για τισ ανϊγκεσ μασ. Αποκλεύουμε αρχικϊ τισ ςτατιςτικϋσ μεθόδουσ και τη μϋθοδο τησ διϊμεςησ τιμόσ λόγω μεγϊλησ υπολογιςτικόσ πολυπλοκότητασ. Η μϋθοδοσ τησ χρονικόσ διαφορϊσ, παρόλο που αποδεύχθηκε η πιο ελαφριϊ από πλευρϊσ υπολογιςμών, δεν θα χρηςιμοποιηθεύ λόγω τησ μικρόσ τησ μνόμησ και τησ αδυναμύασ εμφϊνιςησ ολόκληρου του αντικειμϋνου ςτο προςκόνιο. Μια ςθεναρό μϋθοδοσ που ςυνδυϊζει μικρό αριθμό πρϊξεων και πολύ ικανοποιητικό μοντελοπούηςη του φόντου εύναι η αφαύρεςη φόντου με επιλεκτικϊ μεταβαλλόμενο μοντϋλο. Από πειρϊματα εύδαμε πωσ ακόμη και αν το αντικεύμενο ςταματόςει να κινεύται για κϊποιο χρονικό διϊςτημα, δεν ςυγχωνεύεται με το φόντο με κατϊλληλη επιλογό του ρυθμού εκμϊθηςησ. Ο τελικόσ αλγόριθμοσ που θα παρουςιϊςουμε εκμεταλλεύεται τα πλεονεκτόματα τησ τεχνικόσ αυτόσ ενώ παρϊλληλα χρηςιμοποιώντασ μια ςειρϊ από μορφολογικούσ μεταςχηματιςμούσ όπωσ του περιγρϊψαμε ςτο προηγούμενο εδϊφιο, βελτιώνει ακόμη περιςςότερο τα αποτελϋςματα. Τϋλοσ, επιλϋξαμε ςτη τεχνικό αυτό να δουλϋψουμε και ςτα τρύα χρωματικϊ κανϊλια με μια λογικό OR αφού με μικρό αύξηςη ςτον αριθμό πρϊξεων επεξεργαζόμαςτε πολύ περιςςότερη χρόςιμη πληροφορύα. clear all clc obj = mmreader('video_samples\car.avi'); vid = read(obj); width = obj.width; height = obj.height; lngth = obj.numberofframes; thres = 25; % Threshold T = thres*ones(height,width); Alpha = 0.9; tb = 260 Mr = double(vid(:,:,1,tb)); Mg = double(vid(:,:,2,tb)); Mb = double(vid(:,:,3,tb)); % Motion segmentation process foreground = zeros(size(mr)); for t = (tb+1):lngth fr = read(obj,t); fr = double(fr); % Detect foreground difr = blur(abs(fr(:,:,1)-mr)); difg = blur(abs(fr(:,:,2)-mg)); difb = blur(abs(fr(:,:,3)-mb)); Κουζούπησ Δημότρησ -31-

38 Κεφϊλαιο 2 : Κατϊτμηςη κύνηςησ foreground = zeros(size(mr)); foreground(difr>t) = 1; foreground(difg>t) = 1; foreground(difb>t) = 1; foreground = morphoperations(foreground); % Update Background parameters Mr2 = alpha*mr+(1-alpha)*fr(:,:,1); Mg2 = alpha*mg+(1-alpha)*fr(:,:,2); Mb2 = alpha*mb+(1-alpha)*fr(:,:,3); % only for the pixels in the background Mr(foreground==0) = Mr2(foreground==0); Mg(foreground==0) = Mg2(foreground==0); Mb(foreground==0) = Mb2(foreground==0); % Create video R = fr(:,:,1).*foreground; G = fr(:,:,2).*foreground; B = fr(:,:,3).*foreground; RGB(:,:,1) = R ; RGB(:,:,2) = G ; RGB(:,:,3) = B; RGB = uint8(rgb); Movie(t-tb) = im2frame(rgb,gray); movie2avi(movie,'rgbfen','compression','cinepak'); Παρατηρόςεισ Όπωσ εύκολα φαύνεται από τισ εικόνεσ που ακολουθούν, πετύχαμε να φϋρουμε ςτο προςκόνιο ολόκληρα τα κινούμενα αντικεύμενα που μασ ενδιαφϋρουν απαλεύφοντασ ταυτόχρονα το θόρυβο και μικρϋσ κινόςεισ του ςκηνικού. Κατϊτμηςη κύνηςησ κινούμενου οχόματοσ: Κουζούπησ Δημότρησ -32-

39 Κεφϊλαιο 2 : Κατϊτμηςη κύνηςησ Κατϊτμηςη κύνηςησ ανθρώπινησ ςιλουϋτασ: Κουζούπησ Δημότρησ -33-

40

41 ΚΕΥΑΛΑΙΟ 3 : ΣΑΞΙΝΟΜΗΗ ΑΝΣΙΚΕΙΜΕΝΩΝ

42 Κεφϊλαιο 3 : Ταξινόμηςη αντικειμϋνων 3. Σαξινόμηςη αντικειμϋνων Διαφορετικϋσ κινούμενεσ περιοχϋσ ςε μια ακολουθύα βύντεο μπορεύ να αντιςτοιχούν ςε διαφορετικού εύδουσ κινούμενουσ ςτόχουσ. Για παρϊδειγμα, οι εικόνεσ που λαμβϊνονται από μια κϊμερα κυκλοφορύασ πιθανότητα περιλαμβϊνουν οχόματα, πεζούσ και ϊλλα κινούμενα αντικεύμενα όπωσ πουλιϊ ςύννεφα κλπ. Για να μπορϋςουν οι εφαρμογϋσ που ςτόχο ϋχουν την ανϊλυςη τησ ανθρώπινησ δραςτηριότητασ να λειτουργόςουν ςωςτϊ, εύναι ςαφώσ αναγκαύο να διακρύνουν τισ ανθρώπινεσ μορφϋσ και να τισ ξεχωρύζουν από τα υπόλοιπα κινούμενα αντικεύμενα. Ο ςτόχοσ τησ ταξινόμηςησ αντικειμϋνων εύναι ακριβώσ αυτόσ, να εξϊγει δηλαδό με ακρύβεια τισ περιοχϋσ εκεύνεσ που περιλαμβϊνουν ανθρώπουσ και να τισ ξεχωρύςει από τισ υπόλοιπεσ οντότητεσ που παρϊχθηκαν κατϊ τη διαδικαςύα κατϊτμηςησ κύνηςησ. Προφανώσ, ϋνα τϋτοιο ςτϊδιο επεξεργαςύασ δεν θα εύναι αναγκαύο ςε περιπτώςεισ όπου εύναι εκ των προτϋρων γνωςτό ότι τα μόνα πιθανϊ κινούμενα αντικεύμενα εύναι κατϊ αποκλειςτικότητα ϊνθρωποι. Οι κυριότερεσ μϋθοδοι ταξινόμηςησ χωρύζονται ςε δυο μεγϊλεσ κατηγορύεσ Σαξινόμηςη βαςιςμϋνη ςτη μορφό των αντικειμϋνων Διϊφορεσ περιγραφϋσ τησ πληροφορύασ που αφορϊ τη μορφό των κινούμενων περιοχών ϋχουν χρηςιμοποιηθεύ μϋχρι ςόμερα. Ϋνα χαρακτηριςτικό παρϊδειγμα τησ κατηγορύασ αυτόσ περιλαμβϊνει τη ταξινόμηςη των κινούμενων αντικειμϋνων ςε τϋςςερισ κατηγορύεσ με χρόςη νευρωνικών δικτύων ςυγκεκριμϋνησ ςκοπιϊσ (viewpointspecific) Σαξινόμηςη αντικειμϋνων με χρόςη νευρωνικού δικτύου Ο εν λόγω αλγόριθμοσ [1] χρηςιμοποιεύ για την ταξινόμηςη των κινούμενων αντικειμϋνων ςε διαδοχικϊ καρϋ, οπτικϋσ χαρακτηριςτικϋσ ιδιότητεσ με ςτόχο να εκπαιδεύςει ϋνα νευρωνικό δύκτυο (διαφορετικό για κϊθε κϊμερα εϊν υπϊρχουν περιςςότερεσ από μια). Με την εκπαύδευςη αυτό ςκοπόσ εύναι να διαχωρύζονται τϋςςερισ διαφορετικϋσ κλϊςεισ: ϊνθρωποσ, γκρουπ ανθρώπων, όχημα και θόρυβοσ. Κϊθε νευρωνικό δύκτυο αποτελεύται από τρύα επύπεδα ενώ η εκπαύδευςη πραγματοποιεύται με χρόςη του αλγόριθμου ανϊςτροφησ μετϊδοςησ. Οι εύςοδοι του δικτύου εύναι ϋνα μύγμα παραμϋτρων που βαςύζονται εύτε ςτα αντικεύμενα εύτε ςτη ςκηνό: Διαςπορϊ τησ εικονικόσ οντότητασ (perimeter 2 /area (pixels)) Περιοχό οντότητασ (pixels) Φαινόμενοσ λόγοσ διαςτϊςεων του κουτιού που περιβϊλλει την οντότητα Ζουμ κϊμερασ Τα αντύςτοιχα αποτελϋςματα τησ ταξινόμηςησ εύναι τρύα: Ϊνθρωποσ Γκρουπ ανθρώπων Όχημα Κουζούπησ Δημότρησ -36-

43 Κεφϊλαιο 3 : Ταξινόμηςη αντικειμϋνων Όταν μαθαύνουμε ςτο νευρωνικό δύκτυο ότι μια οντότητα ςτην εύςοδο εύναι ϊνθρωποσ, όλεσ οι ϋξοδοι ρυθμύζονται ςτο μηδϋν εκτόσ από την πρώτη που τύθεται ύςη με τη μονϊδα. Ομούωσ εκπαιδεύουμε την κϊθε κλϊςη. Αν η εύςοδοσ δεν ταιριϊζει με καμύα από τισ κλϊςεισ όλεσ οι ϋξοδοι πρϋπει να ρυθμιςτούν ςτο μηδϋν. Κατϊ την ταξινόμηςη ορύζουμε ϋνα κατώφλι και το αντικεύμενο χαρακτηρύζεται ςύμφωνα με την ϋξοδο η οπούα ξεπερνϊ το κατώφλι αυτό και ςυγχρόνωσ ϋχει και τη μεγαλύτερη τιμό από τισ υπόλοιπεσ. Εϊν καμύα από τισ εξόδουσ δεν εύναι μεγαλύτερη από την τιμό που ϋχουμε ορύςει, η εύςοδοσ δεν ταξινομεύται και απορρύπτεται. Τα αποτελϋςματα ερμηνεύονται ςύμφωνα με τον απλό αλγόριθμο που ακολουθεύ: IF (output > THRESHOLD) ELSE Classification = maximum NN output Classification = REJECT Η προςϋγγιςη αυτό, εύναι αρκετϊ αποτελεςματικό ςε απομονωμϋνεσ εικόνεσ. Για να εκμεταλλευτούμε λοιπόν το ότι η εύςοδοσ μασ εύναι μια ςειρϊ από διαδοχικϋσ ςτο χρόνο εικόνεσ, η ταξινόμηςη εκτελεύται ςε κϊθε καρϋ και για κϊθε οντότητα ενώ τα αποτελϋςματϊ μασ ςυγκεντρώνονται ςε ϋνα ιςτόγραμμα. Στη περύπτωςη αναγνώριςησ γκρουπ ανθρώπων, μπορούμε να τουσ απαριθμόςουμε εφαρμόζοντασ ςτο αντικεύμενο ϋναν αλγόριθμο για εντοπιςμό προςώπων. Μπορούμε επύςησ να πειραματιςτούμε αυξϊνοντασ τον αριθμό των ειςόδων του δικτύου με επιπλϋον γνωρύςματα που διαφοροποιούν ϋναν ϊνθρωπο από ϋνα όχημα. Ϋτςι βελτιώνουμε τα αποτελϋςματα μασ αυξϊνοντασ όμωσ το υπολογιςτικό βϊροσ του αλγόριθμου. Για παρϊδειγμα δεδομϋνησ τησ γεωμετρικόσ θϋςησ ενόσ αντικειμϋνου, που εκτιμϊται από τη θϋςη του ςτην εικόνα και ϋνα χϊρτη πεδύου (terrain map), μπορούμε Κουζούπησ Δημότρησ -37-

44 Κεφϊλαιο 3 : Ταξινόμηςη αντικειμϋνων να υπολογύςουμε το πραγματικό του πλϊτοσ και ύψοσ ςε μϋτρα από την προβολό τησ εικόνασ του. Συνδυϊζοντασ αυτϊ τα δεδομϋνα με λογικό τρόπο μπορούμε να καταλόξουμε ςτη φύςη τησ οντότητασ που μελετϊμε Σαξινόμηςη βαςιςμϋνη ςτη κύνηςη των αντικειμϋνων Στη γενικό περύπτωςη, η εύκαμπτη, αρθρωτό, ανθρώπινη κύνηςη περιϋχει ϋνα περιοδικό ςτοιχεύο. Το χαρακτηριςτικό αυτό ϋχει χρηςιμοποιηθεύ ςυςτηματικϊ ςε μεθόδουσ ταξινόμηςησ αντικειμϋνων και τα αποτελϋςματα παρουςιϊζουν μεγϊλη αξιοπιςτύα. Η οπτικό ροό εύναι ϋνα μϋγεθοσ πολύ χρόςιμο για την ανϊλυςη του εύδουσ τισ κύνηςησ των αντικειμϋνων. Σε μϋθοδο που θα αναλύςουμε ςε επόμενο κεφϊλαιο, υπολογύζεται και παρατηρεύται η υπολειπόμενη ροό των αντικειμϋνων ςε διαδοχικϊ καρϋ. Ϊκαμπτα αντικεύμενα, όπωσ οχόματα, αναμϋνεται να παρουςιϊςουν μικρϋσ τιμϋσ υπολειπόμενησ ροό ενώ αντύθετα αντικεύμενα όπωσ οι ϊνθρωποι ϋχουν μεγαλύτερη μϋςη υπολειπόμενη ροό και μϊλιςτα αυτό περιλαμβϊνει και κϊποια ςτοιχεύα περιοδικότητασ. Ϋνασ εναλλακτικόσ τρόποσ ταξινόμηςησ με βϊςη την κύνηςη κϊνει χρόςη Εικόνων Επαναλαμβανόμενησ Κύνηςησ Σαξινόμηςη αντικειμϋνων μϋςω οπτικόσ ροόσ Μια αξιόπιςτη μϋθοδοσ για την ταξινόμηςη αντικεύμενων βαςύζεται ςτον τοπικό υπολογιςμό τησ οπτικόσ ροόσ μϋςα ςτο όρια τησ περιοχόσ ενόσ κινούμενου αντικειμϋνου [1,2]. Δεδομϋνησ τησ χοντρικόσ μετατόπιςησ μιασ κινουμϋνησ οντότητασ, που θα ϋχει όδη υπολογιςτεύ ςτο ςτϊδιο τησ παρακολούθηςησ του αντικειμϋνου, και του πεδύου ροόσ υπολογιςμϋνο για όλα τα πύξελ τησ οντότητασ, εύναι δυνατόν να καθοριςτεύ η ςχετικό ταχύτητα των πύξελ ωσ προσ τη κύνηςη του ςώματοσ με απλό αφαύρεςη:. Ϋτςι βρύςκουμε την υπολειπόμενη ροό ανϊ πύξελ. Αναμϋνεται ότι δύςκαμπτα αντικεύμενα θα ϋχουν μικρό υπολειπόμενη ροό ενώ αντιθϋτωσ πιο εύκαμπτα αντικεύμενα όπωσ οι ϊνθρωποι θα παρουςιϊςουν περιςςότερο ανεξϊρτητη κύνηςη. Υπολογύζοντασ τη μϋςη απόλυτη υπολειπόμενη ροό ανϊ πύξελ μπορούμε, παρατηρώντασ το πλϊτοσ τησ τιμόσ αυτόσ, να βγϊλουμε ςυμπερϊςματα για το επύπεδο δυςκαμψύασ του κινούμενου αντικειμϋνου και ςυνεπώσ και για τη φύςη του. Πιο ςυγκεκριμϋνα, ϊκαμπτα αντικεύμενα όπωσ για παρϊδειγμα ϋνα αυτοκύνητο οδηγούν ςε ιδιαύτερα χαμηλϋσ τιμϋσ του ενώ κινούμενα αντικεύμενα όπωσ ϋνασ ϊνθρωποσ παρουςιϊζουν ςημαντικϊ μεγαλύτερη υπολειπόμενη ροό η οπούα μϊλιςτα περιϋχει και κϊποια περιοδικότητα. Τη μϋθοδο αυτό θα εξετϊςουμε αναλυτικότερα ςτο εδϊφιο τησ οπτικόσ ροόσ. Κουζούπησ Δημότρησ -38-

45 Κεφϊλαιο 3 : Ταξινόμηςη αντικειμϋνων Σαξινόμηςη μϋςω Εικόνων Επαναλαμβανόμενησ Κύνηςησ (RMI s) Στόχοσ μασ εύναι να κατηγοριοποιόςουμε κϊθε κινούμενη οντότητα μιασ ακολουθύασ βύντεο ωσ ϊνθρωπο, όχημα ό γκρουπ ανθρώπων [3]. Ωσ πρώτο βόμα θα πρϋπει να ανιχνεύςουμε και να παρακολουθόςουμε τα κινούμενα αντικεύμενα με κατϊλληλουσ αλγορύθμουσ. Ϋπειτα θα προςπαθόςουμε να ταξινομόςουμε τα αντικεύμενα αυτϊ εντοπύζοντασ επαναλαμβανόμενεσ αλλαγϋσ ςτο ςχόμα τουσ. Στισ περιςςότερεσ περιπτώςεισ, ολόκληρο το αντικεύμενο μετατοπύζεται, ςε ςυνδυαςμό με επιπρόςθετεσ τοπικϋσ κινόςεισ που αλλϊζουν τη μορφό του, όπωσ για παρϊδειγμα ϋνασ ϊνθρωποσ που περπατϊ. Επομϋνωσ θα πρϋπει πρώτα να αντιςταθμύςουμε τη μετϊθεςη και την πιθανό αλλαγό κλύμακασ ςτο χρόνο για να μπορϋςουμε να δούμε τισ ενδεχόμενεσ τοπικϋσ αλλαγϋσ. Η μετϊθεςη αντιςταθμύζεται κρατώντασ το κϋντρο του αντικειμϋνου ςταθερό ςε ςυνεχόμενα καρϋ, χρηςιμοποιώντασ τα αποτελϋςματα τησ παρακολούθηςησ, ενώ για την διατόρηςη τησ κλύμακασ το αντικεύμενο διαβαθμύζεται ωσ προσ την οριζόντια και την κϊθετη κατεύθυνςη ϋτςι ώςτε να παραμϋνει ςυνεπϋσ με τισ διαςτϊςεισ που παρατηρόθηκε για πρώτη φορϊ. Στο ςημεύο αυτό κϊνουμε τη παραδοχό ότι η μόνη πιθανό αιτύα αλλαγόσ του προβαλλόμενου ύψουσ ενόσ αντικειμϋνου εύναι η μεταβολό τησ απόςταςόσ του από τη κϊμερα. Όταν τα αντικεύμενα ενδιαφϋροντοσ ευθυγραμμιςτούν κατϊλληλα. Η εικόνα επαναλαμβανόμενησ κύνηςησ (Recurrent Motion Image) χρηςιμοποιεύται για το προςδιοριςμό των περιοχών όπου οι ςιλουϋτεσ υπόκεινται ςε επαναλαμβανόμενεσ αλλαγϋσ. Κουζούπησ Δημότρησ -39-

46 Κεφϊλαιο 3 : Ταξινόμηςη αντικειμϋνων Οριςμόσ Εικόνων Επαναλαμβανόμενησ Κύνηςησ Υποθϋτουμε ότι εύναι μια ακολουθύα δυαδικών εικόνων ενόσ αντικειμϋνου, η οπούα ϋχει προκύψει από αφαύρεςη φόντου και ϋχει αντιςταθμιςτεύ ωσ προσ τη κλύμακα και τη μετατόπιςη. Δημιουργούμε ϋπειτα μια νϋα ςειρϊ από δυαδικϋσ εικόνεσ που υποδεικνύουν περιοχϋσ κύνηςησ λόγω αλλαγόσ μορφόσ του αντικειμϋνου ανϊμεςα ςτα καρϋ και. Για να παρϊγουμε τισ εικόνεσ αυτϋσ χρηςιμοποιούμε τον τελεςτό αποκλειςτικού-ό (XOR), δηλαδό: Ορύζουμε την Εικόνα Επαναλαμβανόμενησ Κύνηςησ (RMI) με ςτόχο τη ταξινόμηςη ωσ:. Στη παραπϊνω εξύςωςη, η διϊρκεια θα πρϋπει να εύναι αρκετϊ μεγϊλη ώςτε να περιλαμβϊνει την χρονικό επϋκταςη τησ κύνηςησ. Οι εικόνεσ αυτϋσ θα παύρνουν μεγϊλεσ τιμϋσ ςτα πύξελ εκεύνα ςτα οπούα η κύνηςη ςυνϋβη επαναλαμβανόμενα και μικρϋσ όπου υπϊρχει λύγη η καθόλου κύνηςη. Σημειώνουμε ότι αφού η ακολουθύα ϋχει προκύψει από ςθεναρό αφαύρεςη φόντου, οι Εικόνεσ Επαναλαμβανόμενησ Κύνηςησ δεν επηρεϊζονται από μικρϋσ αλλαγϋσ ςτο φωτιςμό ό από επαναλαμβανόμενεσ κινόςεισ αντικειμϋνων του φόντου. Ο οριςμόσ που δώςαμε, υπονοεύ ότι δεν χρειϊζεται να αποθηκευτεύ πληροφορύα από προηγούμενεσ εικόνεσ με αποτϋλεςμα οι υπολογιςμού να γύνονται γρηγορότερα και ταυτόχρονα να εξοικονομεύται χώροσ. Πιο ςυγκεκριμϋνα, χρειϊζονται πρϊξεισ για να υπολογιςτεύ το από ϋνα που περιϋχει εικονοςτοιχεύα. Κουζούπησ Δημότρησ -40-

47 Κεφϊλαιο 3 : Ταξινόμηςη αντικειμϋνων Σαξινόμηςη Εικόνων Επαναλαμβανόμενησ Κύνηςησ Μόλισ ςχηματιςτεύ μια Εικόνα Επαναλαμβανόμενησ Κύνηςησ, χρειϊζεται να την ταξινομόςουμε. Ϋνα διϊνυςμα χαρακτηριςτικών υπολογύζεται χωρύζοντασ την εικόνα ςε κομμϊτια ύςου μεγϋθουσ και προςδιορύζοντασ τη μϋςη επανϊληψη για κϊθε μπλοκ. Κϊθε μπλοκ ανόκει ςτην ϊνω, μεςαύα ό κϊτω ζώνη τησ ςιλουϋτασ όπωσ φαύνεται και ςτην εικόνα τησ προηγούμενησ ςελύδασ. Η υποδιαύρεςη μειώνει περεταύρω την υπολογιςτικό πολυπλοκότητα ενώ η χρόςη του μϋςου όρου απαλεύφει φαινόμενα θορύβου. Εϊν υπϊρχουν κομμϊτια ςτη μεςαύα και ςτη κϊτω ζώνη με μϋςη επανϊληψη μεγαλύτερη από κϊποιο κατώφλι, τότε το αντικεύμενο υφύςταται μια επαναλαμβανόμενη αλλαγό κι επομϋνωσ καταχωρεύται ςτη κατηγορύα ανθρώπου, ό γκρουπ ανθρώπων. Εϊν δεν υπϊρχουν τιμϋσ τησ επαναλαμβανόμενησ κύνηςησ μεγαλύτερεσ από το κατώφλι, το αντικεύμενο χαρακτηρύζεται ωσ όχημα. Η τιμό του κατωφλύου εξαρτϊται από τη διϊρκεια τησ ακολουθύασ που λαμβϊνεται υπόψη. Το επόμενο βόμα εύναι να αποφανθούμε για το αν ϋνα αντικεύμενο με μεγϊλη επαναλαμβανόμενη κύνηςη αποτελεύται από ϋναν η περιςςότερουσ ανθρώπουσ που ςυγκροτούν ϋνα γκρουπ. Δύο διαφορετικϋσ ςτρατηγικϋσ υπϊρχουν για να πετύχουμε κϊτι τϋτοιο: I. Γύνεται χρόςη αλγορύθμων που ανιχνεύουν πόςα κεφϊλια εύναι πιθανόν να υπϊρχουν ςτα όρια τησ οντότητασ. Αυτό η μϋθοδοσ δουλεύει ικανοποιητικϊ εϊν υπϊρχει κϊποιοσ διαχωριςμόσ μεταξύ των κεφαλιών των ανθρώπων μϋςα ςτο γκρουπ. II. Εϊν οι ϊνθρωποι εύναι πολύ κοντϊ μεταξύ τουσ, τότε η κανονικοποιημϋνη περιοχό τησ απόκριςησ επανεμφανύςεων (region of recurrence response) ςτην ϊνω ζώνη ενόσ ομϊδασ ανθρώπων εύναι πϊντα μεγαλύτερη από την αντύςτοιχη του ενόσ ανθρώπου λόγω τησ ύπαρξησ πολλαπλών κεφαλιών. Η περιοχό απόκριςησ επανεμφανύςεων ςε μύα ζώνη ορύζεται ωσ ο αριθμόσ των μπλοκ με μϋςη επανϊληψη μεγαλύτερη του ϋνα ςτη ζώνη αυτό. Αυτό η απόκριςη περνϊ από ϋνα κατώφλι για να καθοριςτεύ η ύπαρξη πολλαπλών ανθρώπων. Ταξινομούμε μια ςιλουϋτα ωσ γκρουπ ανθρώπων εϊν ϋνα από τα παραπϊνω κριτόρια ικανοποιεύται. Τϋλοσ, ςημειώνουμε ότι με βϊςη τισ Εικόνεσ Επαναλαμβανόμενησ Κύνηςησ και κϊποιουσ επιπλϋον περιοριςμούσ ςυμμετρύασ του ανθρώπινου ςώματοσ, εύναι δυνατό να εντοπιςτούν ακόμη και αντικεύμενα τα οπούα διακινούνται από κϊποιον ϊνθρωπο, όπωσ φαύνεται και από τη παρακϊτω εικόνα: Κουζούπησ Δημότρησ -41-

48 Κεφϊλαιο 3 : Ταξινόμηςη αντικειμϋνων Τλοπούηςη ςε Matlab Για να δούμε τα αποτελϋςματα τησ μεθόδου που μόλισ περιγρϊψαμε, θα ςχεδιϊςουμε ενδεικτικϊ κϊποιεσ Εικόνεσ Επαναλαμβανόμενησ Κύνηςησ για ϋνα κινούμενο όχημα και ϋναν ϊνθρωπο με τη βοόθεια του λογιςμικού Matlab. Αρχικϊ επιλϋγουμε τα δύο βύντεο που θα επεξεργαςτούμε και εκτελούμε ϋναν από τουσ αλγορύθμουσ αφαύρεςησ φόντου που αναπτύξαμε ςτο δεύτερο κεφϊλαιο για να απομονώςουμε τα αντικεύμενα που μασ ενδιαφϋρουν. Αφού απομονώςουμε τισ οντότητεσ, χρηςιμοποιούμε τον αλγόριθμο παρακολούθηςησ που θα αναπτυχθεύ ςτο επόμενο κεφϊλαιο με ςκοπό να δημιουργόςουμε δύο νϋα βύντεο ςτα οπούα ο ςτόχοσ μασ παρόλο που κινεύται, θα παραμϋνει ςτο κϋντρο όλων των καρϋ ώςτε να μπορϋςουμε να υπολογύςουμε τισ Εικόνεσ Επαναλαμβανόμενησ Κύνηςησ. Τϋλοσ με ϋνα ςύντομο και γρόγορο πρόγραμμα απεικονύζουμε τα RMI s και βλϋπουμε ότι η ταξινόμηςη δουλεύει επιτυχώσ. Εικόνεσ από τη διαδικαςύα ταξινόμηςησ παρουςιϊζονται ςτισ ςελύδεσ που ακολουθούν. 1 ο Βύντεο : Κινούμενο όχημα Αρχικό βύντεο Αφαύρεςη φόντου Κουζούπησ Δημότρησ -42-

49 Κεφϊλαιο 3 : Ταξινόμηςη αντικειμϋνων Παρακολούθηςη Εικόνεσ Επαναλαμβανόμενησ Κύνηςησ ςε τρύα διαφορετικϊ καρϋ με μνόμη Μπλοκ με μϋςο αριθμό επαναλόψεων και κατώφλι Όπωσ βλϋπουμε, και για τισ τρεισ παραπϊνω χρονικϋσ ςτιγμϋσ η ταξινόμηςη λειτουργεύ ςωςτϊ και κανϋνα μπλοκ δεν υποδεικνύει την ύπαρξη κϊποιασ επαναλαμβανόμενησ κύνηςησ. Στη ςυνϋχεια θα δούμε τη ςυμπεριφορϊ του αλγορύθμου όταν το αντικεύμενο που παρακολουθεύται εύναι ϊνθρωποσ. Κουζούπησ Δημότρησ -43-

50 Κεφϊλαιο 3 : Ταξινόμηςη αντικειμϋνων 2 ο Βύντεο : Ανθρώπινη ςιλουϋτα Αρχικό βύντεο Αφαύρεςη φόντου Παρακολούθηςη Εικόνεσ Επαναλαμβανόμενησ Κύνηςησ ςε τρύα διαφορετικϊ καρϋ με μνόμη Κουζούπησ Δημότρησ -44-

51 Κεφϊλαιο 3 : Ταξινόμηςη αντικειμϋνων Μπλοκ με μϋςο αριθμό επαναλόψεων και κατώφλι Όπωσ εύναι φανερό, ο αλγόριθμοσ εύναι ςε θϋςη να αποφανθεύ με βεβαιότητα για τη ταυτότητα του αντικειμϋνου ςε κϊθε χρονικό ςτιγμό και μϊλιςτα με πολύ μικρό υπολογιςτικό κόςτοσ ςυγκριτικϊ με τισ ϊλλεσ μεθόδουσ τησ κατηγορύασ. Ο κώδικασ για τον ςχεδιαςμό των RMI s και τον υπολογιςμό του μϋςου όρου επαναλόψεων ςε κϊθε μπλοκ φαύνεται παρακϊτω: clear all; clc; obj = mmreader('video_samples/car.avi'); vid = read(obj); Sz = size(vid); nof = Sz(4); I = zeros(sz(1),sz(2),sz(4)); for i=1:nof temp = rgb2gray(vid(:,:,:,i)); temp(temp>0) = 1; temp = bwareaopen(temp,4); I(:,:,i) = temp; D = zeros(sz(1),sz(2),sz(4)); for i = 2:nof D(:,:,i) = xor(i(:,:,i),i(:,:,i-1)); t = 20; RMI = zeros(sz(1),sz(2)); taf = 10; for k = 0:taf RMI = RMI+D(:,:,t-k); imshow(rmi); figure; step1 = floor(sz(1)/20); step2 = floor(sz(2)/20); x=1;y=1; for i = 1:step1:Sz(1)-step1 for j =1:step2:Sz(2)-step2 temp = RMI(i:i+step1-1,j:j+step2-1); temp = sum(sum(temp)); AV(x,y) = temp/(step1*step2); y=y+1; y=1; Κουζούπησ Δημότρησ -45-

52 Κεφϊλαιο 3 : Ταξινόμηςη αντικειμϋνων x=x+1; T = 1; AV(AV<T) = 0; AV(AV>=T)= 1; imshow(av); Κουζούπησ Δημότρησ -46-

53 ΚΕΥΑΛΑΙΟ 4: ΠΑΡΑΚΟΛΟΤΘΗΗ ΣΡΟΦΙΑ

54 Κεφϊλαιο 4: Παρακολούθηςη τροχιϊσ 4. Παρακολούθηςη τροχιϊσ Αφού ϋνα αντικεύμενο κατατμηθεύ κατϊ το ςτϊδιο τησ ανύχνευςησ, θα πρϋπει ςτη ςυνϋχεια να παρακολουθηθεύ για κϊποιο χρονικό διϊςτημα, ιδιαύτερα ςε εφαρμογϋσ όπου απαιτεύται για κϊποιο λόγο η διατόρηςη του ιςτορικού τησ κύνηςησ. Η παρακολούθηςη ςτο χρόνο, ςε αντύθεςη με τον εντοπιςμό, ανόκει ςτο ενδιϊμεςο επύπεδο διεργαςιών μηχανικόσ όραςησ αλλϊ παρόλα αυτϊ, οι αλγόριθμοι παρακολούθηςησ ϋχουν ςυνόθωσ μεγϊλη αλληλεπύδραςη με την κατϊτμηςη κύνηςησ κατϊ την επεξεργαςύα. Τυπικϊ, η παρακολούθηςη περιλαμβϊνει ταύριαςμα αντικειμϋνων ςε διαδοχικϊ καρϋ χρηςιμοποιώντασ γνωρύςματα όπωσ ςημεύα, γραμμϋσ, ό οντότητεσ. Πιο ςυγκεκριμϋνα, ϋχει να κϊνει με την εύρεςη ςυναφών ςχϋςεων μεταξύ χαρακτηριςτικών τησ εικόνασ ςε διαδοχικϊ καρϋ, όπωσ για παρϊδειγμα το χρώμα, η υφό, η ταχύτητα και η θϋςη. Η παρακολούθηςη τροχιϊσ των αντικειμϋνων εύναι ςαφώσ ϋνα ιδιαύτερα ςημαντικό και βαςικό κομμϊτι ςτην ανϊλυςη ανθρώπινησ κύνηςησ. Οι κύριεσ μϋθοδοι που χρηςιμοποιούνται για την παρακολούθηςη κινούμενων αντικειμϋνων περιγρϊφονται περιληπτικϊ ςτη ςυνϋχεια. [4] 4.1. Μϋθοδοι παρακολούθηςησ Παρακολούθηςη βαςιςμϋνη ςε μοντϋλα (Model based tracking) Η παρακολούθηςη αυτό χρηςιμοποιεύ ςτη γενικό περύπτωςη ϋνα προκαθοριςμϋνο μοντϋλο του αντικειμϋνου που μασ ενδιαφϋρει. Χαρακτηριςτικϊ εξϊγονται από την εικόνα και αντιςτοιχούνται ςτη δομό και ςτη κύνηςη του μοντϋλου αυτού. Στην περύπτωςη τησ παρακολούθηςησ ανθρώπων, διϊφορεσ τεχνικϋσ προςϋγγιςησ ϋχουν εμφανιςτεύ η οπούεσ προςεγγύζουν το ανθρώπινο ςώμα εύτε με μια φιγούρα που αποτελεύται από ρϊβδουσ, εύτε με διςδιϊςτατα ό τριςδιϊςτατα μοντϋλα. Ωςτόςο, η αντιςτούχηςη αυτό περιλαμβϊνει ςυχνϊ μεγϊλη υπολογιςτικό πολυπλοκότητα και Κουζούπησ Δημότρησ - 48-

55 Κεφϊλαιο 4: Παρακολούθηςη τροχιϊσ απαιτεύ αποτελεςματικό προεπεξεργαςύα ςτο ςτϊδιο τησ κατϊτμηςησ, καθιςτώντασ τη μϋθοδο αυτό μη εφαρμόςιμη για μια μεγϊλη κατηγορύα εφαρμογών Παρακολούθηςη βαςιςμϋνη ςε γνωρύςματα Εγκαταλεύποντασ την ιδϋα τησ παρακολούθηςησ ολόκληρων των αντικειμϋνων, η μϋθοδοσ αυτό χρηςιμοποιεύ χαρακτηριςτικϊ όπωσ ςημεύα ό γραμμϋσ για να εκτελϋςει το ϋργο τησ παρακολούθηςησ. Τα πλεονεκτόματϊ τησ εύναι ότι μειώνει ςημαντικϊ την υπολογιςτικό πολυπλοκότητα, ενώ παρϊλληλα εύναι ςθεναρό ςε μερικό επικϊλυψη των αντικειμϋνων με τη προώπόθεςη ότι κϊποια από τα γνωρύςματα παραμϋνουν ορατϊ. Η μϋθοδοσ αυτό χωρύζεται ςε δύο μϋρη, ςτην εξαγωγό των γνωριςμϊτων και ςτην αντιςτούχιςό τουσ. Χαμηλότερου επιπϋδου χαρακτηριςτικϊ, όπωσ ςημεύα, εύναι ευκολότερο να εξαχθούν αλλϊ πολύ πιο δύςκολο να παρακολουθηθούν αφού εύναι πιο δύςκολο να προςδιοριςτεύ μια ϋνα-προσ-ϋνα αντιςτοιχύα μεταξύ τουσ. Αντύςτροφα, υψηλότερου επιπϋδου χαρακτηριςτικϊ, όπωσ γραμμϋσ ό οντότητεσ, εύναι ευκολότερο να εντοπιςτούν αλλϊ πιο δύςκολο να εξαχθούν. Φαύνεται λοιπόν πωσ υπϊρχει μια αλληλεξϊρτηςη ανϊμεςα ςτη πολυπλοκότητα των χαρακτηριςτικών και την αποδοτικότητα τησ παρακολούθηςησ. Ϋνασ από τουσ πιο γνωςτούσ αλγόριθμουσ τησ κατηγορύασ αυτόσ εύναι ο KLT τον οπούο θα αναλύςουμε ςτο εδϊφιο τησ οπτικόσ ροόσ. Κουζούπησ Δημότρησ - 49-

56 Κεφϊλαιο 4: Παρακολούθηςη τροχιϊσ Παρακολούθηςη βαςιςμϋνη ςε αντιςτούχηςη περιοχών Η ιδϋα ςτισ τεχνικϋσ αυτϋσ εύναι να προςδιοριςτεύ μια ενωμϋνη περιοχό για κϊθε κινούμενο αντικεύμενο ςε μια εικόνα, και ςτη ςυνϋχεια αυτό να παρακολουθεύται ςτο χρόνο χρηςιμοποιώντασ κϊποιο μϋτρο ετεροςυςχϋτιςησ. Η προςϋγγιςη αυτό χρηςιμοποιεύται ευρϋωσ ςόμερα αφού πολλού από τουσ αλγόριθμουσ που βαςύζονται ςε αυτό προςφϋρουν ϋγκυρα και ςθεναρϊ αποτελϋςματα με ικανοποιητικϊ χαμηλό υπολογιςτικό πολυπλοκότητα. Ϋνασ από τουσ πιο γνωςτούσ αλγόριθμουσ τησ κατηγορύασ ονομϊζεται αλγόριθμοσ ολύςθηςησ μϋςου όρου και βαςύζεται ςτη χρόςη ιςτογραμμϊτων με προςαρμοςμϋνα βϊρη για την αναπαρϊςταςη των αντικειμϋνων που χρειϊζεται να παρακολουθηθούν. Τον αλγόριθμο αυτό θα αναλύςουμε περεταύρω και θα τον υλοποιόςουμε ςε επόμενο εδϊφιο Παρακολούθηςη βαςιςμϋνη ςτο ενεργό περύγραμμα Η τελευταύα αυτό μεθοδολογύα ςτοχεύει ςτην απευθεύασ εξαγωγό του ςχόματοσ των αντικειμϋνων. Η ιδϋα εύναι να υπολογύζεται μια αναπαρϊςταςη του οριακού περιγρϊμματοσ του υπό παρακολούθηςη αντικειμϋνου, η οπούα να ανανεώνεται δυναμικϊ με το χρόνο. Τεχνικϋσ τησ φιλοςοφύασ αυτόσ ϋχουν μελετηθεύ εντατικϊ τα τελευταύα χρόνια και πολλϊ ενδιαφϋροντα αποτελϋςματα ϋχουν παρουςιαςτεύ. Σε ςύγκριςη με τισ τεχνικϋσ αντιςτούχιςησ περιοχών, ϋχουν το πλεονϋκτημα ότι μειώνουν ακόμη περιςςότερο την υπολογιςτικό πολυπλοκότητα με τον να χρηςιμοποιούν μια αναπαρϊςταςη του περιγρϊμματοσ των αντικειμϋνων. Από την ϊλλη όμωσ, η αρχικοπούηςη τησ αναπαρϊςταςησ αυτόσ εύναι αρκετϊ δύςκολη, ιδιαύτερα ςε περιπτώςεισ πολύπλοκων αρθρωτών αντικειμϋνων. Κουζούπησ Δημότρησ - 50-

57 Κεφϊλαιο 4: Παρακολούθηςη τροχιϊσ 4.2. Ο αλγόριθμοσ ολύςθηςησ μϋςου όρου για παρακολούθηςη Η υπολογιςτικό πολυπλοκότητα ενόσ παρακολουθητό εύναι ϋνα πολύ ςημαντικό μϋγεθοσ για τισ περιςςότερεσ εφαρμογϋσ μηχανικόσ όραςησ καθώσ μόνο ϋνα μικρό ποςοςτό των πόρων του ςυςτόματοσ αφιερώνεται ςτην παρακολούθηςη. Το υπόλοιπο, προορύζεται ςυνόθωσ για τα ςτϊδια προεπεξεργαςύασ και για εργαςύεσ υψηλότερου επιπϋδου, όπωσ αναγνώριςη και ερμηνεύα τροχιϊσ. Στη ςυνϋχεια θα παρουςιϊςουμε μια προςϋγγιςη για παρακολούθηςη αντικειμϋνων ςε πραγματικό χρόνο που βαςύζεται ςε οπτικϊ χαρακτηριςτικϊ, όπωσ το χρώμα και η υφό, των οπούων η ςτατιςτικό κατανομό χαρακτηρύζει το αντικεύμενο ενδιαφϋροντοσ. Η προτεινόμενη παρακολούθηςη εύναι κατϊλληλη για πολλϋσ κατηγορύεσ αντικειμϋνων με διαφορετικϊ μοτύβα χρώματοσ ό/και υφόσ ενώ παρϊλληλα εύναι ςθεναρό ςε μερικϋσ επικαλύψεισ και κινόςεισ τησ κϊμερασ. Οι επαναλόψεισ ολύςθηςησ μϋςου όρου χρηςιμοποιούνται ώςτε να βρεθεύ η υποψόφια περιοχό που μοιϊζει περιςςότερο με το δοςμϋνο μοντϋλο. Η ομοιότητα αυτό εκφρϊζεται από ϋνα μετρικό που βαςύζεται ςτο ςυντελεςτό Bhattacharyya Ανϊλυςη ολύςθηςησ μϋςου όρου (Mean Shift Analysis) Στη ςυνϋχεια θα καθορύςουμε το δεύγμα ολύςθηςησ μϋςου όρου και θα ειςϊγουμε την ϋννοια τησ επαναληπτικόσ διαδικαςύασ ολύςθηςησ μϋςου όρου. Δοςμϋνου ενόσ ςυνόλου ςημεύων ςτον χώρο διαςτϊςεων, ο πολυμεταβλητόσ πυρόνασ εκτύμηςησ τησ πυκνότητασ (multivariate kernel density estimate) με πυρόνα και ακτύνα παραθύρου υπολογιςμϋνοσ γύρω από το ςημεύο δύνεται από τον τύπο: ( ) Η ελαχιςτοπούηςη του μϋςου γενικού ςφϊλματοσ ανϊμεςα ςτην εκτύμηςη και την πραγματικό πυκνότητα πιθανότητασ παρϊγεται από τον πολυμεταβλητό Epanechnikov πυρόνα:,, όπου ο όγκοσ του μοναδιαύου d-διϊςτατου κύκλου. Ορύζουμε ςτη ςυνϋχεια το προφύλ ενόσ πυρόνα ωσ μια ςυνϊρτηςη : τϋτοια ώςτε. Επομϋνωσ για τον πυρόνα που μόλισ περιγρϊψαμε θα ιςχύει: { Κουζούπησ Δημότρησ - 51-

58 Κεφϊλαιο 4: Παρακολούθηςη τροχιϊσ Χρηςιμοποιώντασ τον ςυμβολιςμό του προφύλ ενόσ πυρόνα ςτην αρχικό μασ ςχϋςη για τον υπολογιςμό τησ εκτύμηςησ πυκνότητασ προκύπτει: ( ) Ορύζουμε, θεωρώντασ ότι η παρϊγωγοσ του υπϊρχει για όλα τα, εκτόσ από ϋνα πεπεραςμϋνο αριθμό ςημεύων. Ϋνασ νϋοσ πυρόνασ μπορεύ να προςδιοριςτεύ ωσ:, όπου το εύναι μια ςταθερϊ κανονικοπούηςησ. Τότε, παύρνοντασ την εκτύμηςη τησ πυκνότητασ τησ κλύςησ (estimate of the density gradient) ύςη με την κλύςη τησ πυκνότητασ τησ εκτύμηςησ (gradient of the density estimate) ϋχουμε: ( ) ( ) ( ) [ ( )] [ ( ) ] και θεωρούμε ότι ο όροσ του παρονομαςτό εύναι διϊφοροσ του μηδενόσ. Στο ςημεύο αυτό ςημειώνουμε ότι η παρϊγωγοσ του προφύλ Epanechnikov εύναι το γνωςτό, ομοιόμορφο προφύλ. Η τελευταύα αγκύλη τησ παραπϊνω ςχϋςησ αποτελεύ το δεύγμα ολύςθηςησ μϋςου όρου: ( ) ( ) ενώ η προηγούμενη περιϋχει την εκτύμηςη τησ πυκνότητασ ςτο ςημεύο, υπολογιςμϋνη με τον πυρόνα : [ ( )] Κουζούπησ Δημότρησ - 52-

59 Κεφϊλαιο 4: Παρακολούθηςη τροχιϊσ Σύμφωνα με τισ τελευταύεσ δύο παρατηρόςεισ, ςυμπεραύνουμε ότι η εκτύμηςη τησ πυκνότητασ τησ κλύςησ γρϊφεται: και επομϋνωσ ιςχύει: Η ςχϋςη αυτό μασ δεύχνει ότι το δεύγμα ολύςθηςησ μϋςου όρου που υπολογύζεται με τον πυρόνα εύναι μια εκτύμηςη τησ κανονικοποιημϋνησ πυκνότητασ κλύςησ (normalized density gradient) που υπολογύζεται με τον πυρόνα. Ικανό ςυνθόκη ςύγκλιςησ Η διαδικαςύα ολύςθηςησ μϋςου όρου εκτελεύται επαναληπτικϊ υπολογύζοντασ το διϊνυςμα ολύςθηςησ και μετακινώντασ το κϋντρο του πυρόνα κατϊ την ποςότητα αυτό. Αν ορύςουμε την ακολουθύα που αποτελεύται από τα διαδοχικϊ κϋντρα του πυρόνα, ο ςταθμητόσ μϋςοσ όροσ θα υπολογύζεται από τη παρακϊτω ςχϋςη, όπου με ςυμβολύζουμε το αρχικό κϋντρο του πυρόνα: ( ) ( ) Αντύςτοιχα, οι εκτιμόςεισ πυκνότητασ υπολογιςμϋνεσ με τον πυρόνα θα εύναι : ( ) ςτα ςημεύα Αυτϋσ οι πυκνότητεσ προςδιορύζονται ουςιαςτικϊ για τον ϋμμεςο υπολογιςμό του μεγϋθουσ. Για τισ δύο παραπϊνω ακολουθύεσ υπϊρχει θεώρημα που εγγυϊται ςύγκλιςη αν ο πυρόνασ ϋχει ϋνα κυρτό, μονοτονικϊ μειούμενο προφύλ, και ο πυρόνασ ορύζεται όπωσ ϋχουμε όδη αναφϋρει [11]. Σημειώνουμε ότι το θεώρημα ιςχύει ακόμη και αν αντιςτοιχύςουμε θετικϊ βϊρη ςε κϊθε ςημεύο. Κουζούπησ Δημότρησ - 53-

60 Κεφϊλαιο 4: Παρακολούθηςη τροχιϊσ Μετρικό βαςιςμϋνο ςτον ςυντελεςτό Bhattacharyya για εντοπιςμό ςτόχου Το ϋργο του εντοπιςμού του ςτόχου ςτο τρϋχον καρϋ αποτελεύται από τα βόματα που θα παρουςιαςτούν ςτη ςυνϋχεια. Το γνώριςμα z αναπαριςτϊ το χρώμα ό/και την υφό του μοντϋλου υποθϋτουμε πωσ ϋχει μύα ςυνϊρτηςη πυκνότητασ πιθανότητασ, ενώ η υποψόφια περιοχό κεντραριςμϋνη ςτη θϋςη ϋχει το ύδιο χαρακτηριςτικό κατανεμημϋνο ςύμφωνα με την Σ.Π.Π. Το πρόβλημα ανϊγεται λοιπόν ςτην εύρεςη τησ διακριτόσ θϋςησ, τησ οπούασ η ςυςχετιςμϋνη Σ.Π.Π μοιϊζει περιςςότερο με την. Για να ορύςουμε το μϋτρο ομοιότητασ λαμβϊνουμε υπόψη το γεγονόσ ότι η πιθανότητα του λϊθουσ ταξινόμηςησ ςυνδϋεται ϊμεςα με την ομοιότητα των δύο κατανομών. Όςο μεγαλύτερη η πιθανότητα λϊθουσ τόςο πιο όμοιεσ εύναι οι κατανομϋσ. Συνεπώσ, εκτιμούμε τη θϋςη του ςτόχου μϋςω τησ μεγιςτοπούηςησ του Μπαεςιανού λϊθουσ που ςυνδϋεται με τισ δύο κατανομϋσ και. Επιπλϋον θα υποθϋςουμε ότι οι πιθανότητεσ ο ςτόχοσ να βρύςκεται ςε μια από τισ θϋςεισ τησ που βρύςκονται ςτη περιοχό γύρω από τη προηγούμενη, εύναι ιςοπύθανεσ. Μια ποςότητα που ςυνδϋεται ςτενϊ με το Μπαεςιανό λϊθοσ εύναι ο ςυντελεςτόσ Bhattacharyya του οπούου η γενικό μορφό εύναι η εξόσ: Ο προςδιοριςμόσ του ςυντελεςτό Bhattacharyya από δεύγματα δεδομϋνων εμπεριϋχει τισ εκτιμόςεισ των Σ.Π.Π και για τισ οπούεσ χρηςιμοποιούμε ιςτογρϊμματα. Εϊν και η λύςη αυτό δεν εύναι η καλύτερη μη-παραμετρικό εκτύμηςη τησ πυκνότητασ πιθανότητασ, ϋχει χαμηλό υπολογιςτικό κόςτοσ που εύναι απαραύτητο ςτην επεξεργαςύα πραγματικού χρόνου. Υπολογύζουμε λοιπόν την διακριτό ςυνϊρτηςη πυκνότητασ πιθανότητασ (με ) μϋςω ενόσ ιςτογρϊμματοσ κλϊςεων του μοντϋλου που θϋλουμε να παρακολουθόςουμε, ενώ με (με ) ςυμβολύζουμε τισ αντύςτοιχεσ ποςότητεσ για τον υποψόφιο ςτόχο ςτη θϋςη. Συνεπώσ, το δεύγμα εκτύμηςησ του ςυντελεςτό Bhattacharyya εύναι το ακόλουθο: Η γεωμετρικό ερμηνεύα τησ ςχϋςησ αυτόσ εύναι το ςυνημύτονο τησ γωνύασ μεταξύ των m-διϊςτατων μοναδιαύων διανυςμϊτων και. Χρηςιμοποιώντασ τώρα τη ςχϋςη αυτό, η απόςταςη μεταξύ των δύο κατανομών μπορεύ να οριςτεύ ωσ: Κουζούπησ Δημότρησ - 54-

61 Κεφϊλαιο 4: Παρακολούθηςη τροχιϊσ Το ςτατιςτικό αυτό μϋγεθοσ εύναι κατϊλληλο για το ϋργο του εντοπιςμού του ςτόχου καθώσ: 1. Εύναι ςχεδόν βϋλτιςτο, λόγω τησ ςύνδεςόσ του με το Μπαεςιανό λϊθοσ. 2. Επιβϊλλει μετρικό δομό (metric structure) αφού δεν παραβιϊζει κανϋνα αξύωμα απόςταςησ. 3. Χρηςιμοποιώντασ διακριτϋσ Σ.Π.Π. εύναι ανεξϊρτητο τησ κλύμακασ του ςτόχου (λόγω κβϊντιςησ) Παρόμοια μεγϋθη ϋχουν όδη χρηςιμοποιηθεύ ςτο τομϋα τησ μηχανικόσ όραςησ. Στο επόμενο εδϊφιο θα δούμε πώσ θα ελαχιςτοποιόςουμε την απόςταςη αυτό ςυναρτόςει του ςτη γειτονιϊ μιασ δεδομϋνησ περιοχόσ, εκμεταλλευόμενοι τισ επαναλόψεισ ολύςθηςησ μϋςου όρου. Μόνο κατανομϋσ που αφορούν το χρώμα των αντικειμϋνων θα αναλυθούν, καθώσ η αναγωγό τησ μεθόδου ςε διανομϋσ που ςχετύζονται με την υφό δεν παρουςιϊζει κϊποια ιδιαύτερη δυςκολύα Ο αλγόριθμοσ παρακολούθηςησ Για την παρακϊτω ανϊλυςη θεωρούμε δεδομϋνο τον εντοπιςμό και την εύρεςη τησ θϋςησ των αντικειμϋνων προσ παρακολούθηςη ςτο αρχικό καρϋ καθώσ και την περιοδικό ανϊλυςό τουσ για να αντιμετωπιςτούν πιθανϋσ αλλαγϋσ των μοντϋλων λόγω αιςθητών διαφοροποιόςεων ςτα χρώματα κατϊ τη διϊρκεια τησ βιντεοςκόπηςησ. Αναπαρϊςταςη χρώματοσ Μοντϋλο: Θεωρούμε τισ θϋςεισ των πύξελ του μοντϋλου με κϋντρο το 0. Ορύζουμε μια ςυνϊρτηςη η οπούα αντιςτοιχεύ ςτο πύξελ τησ θϋςησ τον δεύκτη τησ κλϊςησ του ιςτογρϊμματοσ που αντιςτοιχεύ ςτο χρώμα του. Η πιθανότητα εμφϊνιςησ του χρώματοσ ςτη περιοχό του μοντϋλου υπολογύζεται εφαρμόζοντασ ϋνα κυρτό, μονοτονικϊ μειούμενο προφύλ πυρόνα το οπούο καταχωρεύ μικρότερα βϊρη ςτισ περιοχϋσ που βρύςκονται μακρύτερα από το κϋντρο του ςτόχου. Η ςτϊθμιςη αυτό αυξϊνει τη ςθεναρότητα τησ εκτύμηςησ, αφού τα πύξελ που βρύςκονται ςτη περιφϋρεια εύναι τα λιγότερο αξιόπιςτα και επηρεϊζονται ςυχνϊ από επικαλύψεισ ό το φόντο. Η ακτύνα του προφύλ πυρόνα θεωρεύται εδώ ύςη με 1 υποθϋτοντασ ότι οι ςυντεταγμϋνεσ και εύναι κανονικοποιημϋνεσ με και αντύςτοιχα. Επομϋνωσ μπορούμε να γρϊψουμε: Κουζούπησ Δημότρησ - 55-

62 Κεφϊλαιο 4: Παρακολούθηςη τροχιϊσ όπου με δ ςυμβολύζουμε τη κρουςτικό ςυνϊρτηςη Kronecker. Η ςταθερϊ κανονικοπούηςησ βρύςκεται επιβϊλλοντασ τη ςυνθόκη : Τποψόφιοι ςτόχοι: Θεωρούμε τισ θϋςεισ των πύξελ του υποψόφιου ςτόχου με κϋντρο το ςτο τρϋχον καρϋ. Χρηςιμοποιώντασ το ύδιο προφύλ πυρόνα, αλλϊ με ακτύνα αυτό τη φορϊ, η Σ.Π.Π. θα υπολογύζεται από τον τύπο: Όπου η νϋα ςταθερϊ κανονικοπούηςησ. Η ακτύνα του προφύλ του πυρόνα καθορύζει τον αριθμό των πύξελ του υποψόφιου ςτόχου. Επιβϊλλοντασ με όμοιο τρόπο τη ςχϋςη, προκύπτει: Εδώ αξύζει να ςημειώςουμε ότι η ςταθερϊ δεν εξαρτϊται από το αφού όλα τα πύξελ εύναι τοποθετημϋνα ςε κανονικό ςτούχιςη γύρω του και ςυνεπώσ μπορεύ να υπολογιςτεύ εκ των προτϋρων για δεδομϋνο πυρόνα και διαφορετικϋσ τιμϋσ του. Κουζούπησ Δημότρησ - 56-

63 Κεφϊλαιο 4: Παρακολούθηςη τροχιϊσ Ελαχιςτοπούηςη τησ απόςταςησ Σύμφωνα με την ενότητα 4.2.2, η πιο πιθανό θϋςη y του ςτόχου ςτο τρϋχων καρϋ βρύςκεται από την ελαχιςτοπούηςη τησ απόςταςησ το οπούο εύναι ιςοδύναμο με τη μεγιςτοπούηςη του ςυντελεςτό Bhattacharyya. Η αναζότηςη τησ νϋασ θϋςησ του ςτόχου ξεκινϊ από τη εκτιμηθεύςα θϋςη ςτο προηγούμενο καρϋ. Ϊρα το ιςτόγραμμα θα πρϋπει να υπολογιςτεύ πρώτο για τη τρϋχουςα εικόνα. Χρηςιμοποιώντασ επϋκταςη κατϊ Taylor γύρω από τισ τιμϋσ του, ο ςυντελεςτόσ Bhattacharyya προςεγγύζεται ωσ: Όπου ϋχουμε θεωρόςει το ιςτόγραμμα δεν αλλϊζει ςημαντικϊ από το αρχικό και ότι. Με χρόςη τησ προηγούμενησ ϋκφραςησ για το βρύςκουμε: Όπου: Ϊρα, για να ελαχιςτοποιόςουμε τη ζητούμενη απόςταςη, ο δεύτεροσ όροσ τησ εξύςωςησ πρϋπει να μεγιςτοποιηθεύ, αφού ο πρώτοσ εύναι ανεξϊρτητοσ του. Ο όροσ αυτόσ αναπαριςτϊ την εκτύμηςη τησ πυκνότητασ υπολογιςμϋνη με προφύλ πυρόνα ςτη θϋςη Κουζούπησ Δημότρησ - 57-

64 Κεφϊλαιο 4: Παρακολούθηςη τροχιϊσ, με μια επιπλϋον ςτϊθμιςη από τουσ όρουσ. Η μεγιςτοπούηςη αυτό μπορεύ να πραγματοποιηθεύ αποτελεςματικϊ με χρόςη του αλγορύθμου που ακολουθεύ. Αλγόριθμος Δεδομϋνησ τησ κατανομόσ του μοντϋλου του αντικειμϋνου που θϋλουμε να παρακολουθόςουμε και τη θϋςη του ςτόχου που ϋχουμε εκτιμόςει ςτο προηγούμενο καρϋ: I. Αρχικοπούηςε τη θϋςη του ςτόχου ςτο τρϋχον καρϋ με τη τιμό, υπολόγιςε τη κατανομό και βρεσ το ςυντελεςτό: II. III. Υπολόγιςε τα βϊρη Με βϊςη το διϊνυςμα ολύςθηςησ μϋςου όρου, βρεσ τη νϋα θϋςη του ςτόχου: ( ) ( ) Ανανϋωςε τη κατανομό και υπολόγιςε εκ νϋου τον ςυντελεςτό: IV. Όςο V. Αν : Σταμϊτα Αλλιώσ : και πόγαινε πύςω ςτο πρώτο βόμα. Από μια ςειρϊ πειραμϊτων επύ του αλγορύθμου, ϋχει εξαχθεύ το ςυμπϋραςμα ότι η πιθανότητα να ιςχύει ανιςότητα του βόματοσ τϋςςερα εύναι τησ τϊξεωσ του 0.1% και επομϋνωσ το βόμα αυτό μπορεύ να παραληφθεύ. Επύςησ, το κατώφλι του τελευταύου βόματοσ προκύπτει υποχρεώνοντασ τα δύο διανύςματα που αναπαριςτούν τα και να εύναι μϋςα ςτο ύδιο πύξελ ςε ςυντεταγμϋνεσ εικόνασ. Η παρακολούθηςη Κουζούπησ Δημότρησ - 58-

65 Κεφϊλαιο 4: Παρακολούθηςη τροχιϊσ ςυνύςταται ςτην εκτϋλεςη ςε κϊθε καρϋ του παραπϊνω αλγορύθμου βελτιςτοπούηςησ. Μια ςχηματικό αναπαρϊςταςη του αλγορύθμου παρουςιϊζεται ςτη παρακϊτω εικόνα Τλοπούηςη του αλγορύθμου ολύςθηςησ μϋςου όρου ςε Matlab Πρώτη Προςϋγγιςη Το πρώτο βόμα για την υλοπούηςη του αλγόριθμου εύναι να αποφαςύςουμε τύ γνωρύςματα θα χρηςιμοποιόςουμε για την καταςκευό των ιςτογραμμϊτων. Για να κρατόςουμε ςε χαμηλϊ επύπεδα την υπολογιςτικό πολυπλοκότητα χωρύσ να χϊςουμε ςημαντικό πληροφορύα από την εικόνα θα αναπαραςτόςουμε μοντϋλο και υποψόφιουσ ςτόχουσ με διςδιϊςτατα ιςτογρϊμματα κλϊςεων. Τα δύο κανϊλια που θα χρηςιμοποιόςουμε για την παρακολούθηςη εύναι τα R και G [12]. Ακόμη, πολύ ςημαντικό εύναι η κανονικοπούηςη των δύο αυτών χρωματικών καναλιών ςύμφωνα με τον τύπο: ϋτςι ώςτε να διαμοιρϊζεται η φωτεινότητα των πύξελ και να τονύζεται περιςςότερο η πληροφορύα τησ χρωματικότητασ. Το αποτϋλεςμα εύναι μικρότερη ευαιςθηςύα ςε διακυμϊνςεισ λόγω φωτιςμού ό ςκύαςησ. Ϋνα παρϊδειγμα του εν λόγω μεταςχηματιςμού φαύνεται ςτισ παρακϊτω εικόνεσ: Κουζούπησ Δημότρησ - 59-

66 Κεφϊλαιο 4: Παρακολούθηςη τροχιϊσ Για λόγουσ μεύωςησ πολυπλοκότητασ το παρϊθυρο αναζότηςησ ςτην εφαρμογό μασ θα εύναι τετραγωνικό με πλευρϊ πύξελ. Η αναγωγό ςε περιπτώςεισ με ορθογώνια παρϊθυρα εύναι αρκετϊ απλό. Χρηςιμοποιώντασ το προφύλ του πυρόνα Epanechnikov ςτο πρόβλημα τησ παρακολούθηςησ αντικειμϋνων ςε μια ακολουθύα βύντεο, ςυνεπϊγεται ότι η μεταβλητό που αναπαριςτϊ τον αριθμό των διαςτϊςεων θα εύναι ύςη με 2 ενώ αντύςτοιχα η θα ιςούται με. { { Προφανώσ για το ομοιόμορφο προφύλ πυρόνα που εύναι η παρϊγωγοσ του ιςχύει: θα, Κουζούπησ Δημότρησ - 60-

67 Κεφϊλαιο 4: Παρακολούθηςη τροχιϊσ Ανϊλυςη ςυναρτόςεων Για την υλοπούηςη τησ παρακολούθηςησ, το κυρύωσ πρόγραμμα που εκτελεύ τα βόματα του αλγορύθμου τησ ενότητασ χρηςιμοποιεύ μια ςειρϊ από ςυναρτόςεισ με ςκοπό η διαδικαςύα να εύναι πιο δομημϋνη και ευανϊγνωςτη. Τισ λειτουργύεσ των ςυναρτόςεων αυτών, που βρύςκονται ςτο παρϊρτημα, θα αναλύςουμε ςτη ςυνϋχεια με τη ςειρϊ που χρηςιμοποιούνται ςτο πρόγραμμα. CropRegion.m Απομονώνει μια περιοχό μεγϋθουσ πύξελ με κϋντρο από ϋνα καρϋ. Η ςυνϊρτηςη αυτό καλεύται κυρύωσ μϋςα από τισ υπόλοιπεσ ςυναρτόςεισ. DefineModel.m Δϋχεται ςτην εύςοδο ϋνα καρϋ και δύνει τη δυνατότητα ςτον χρόςτη να επιλϋξει το κϋντρο του μοντϋλου καθώσ και το μϋγεθοσ του παραθύρου επεξεργαςύασ. EpanKernel.m Δημιουργεύ ϋνα προφύλ πυρόνα Epanechnikov μεγϋθουσ και ακτύνασ παραθύρου. FindHist.m Υπολογύζει το ςταθμιςμϋνο, διςδιϊςτατο ιςτόγραμμα ενόσ υποψόφιου ςτόχου ό του μοντϋλου ςύμφωνα με το προφύλ πυρόνα που δύνεται. Μϋςα ςτη ςυνϊρτηςη χρηςιμοποιεύται πρώτα η υπορουτύνα histcn.m που υπολογύζει διςδιϊςτατα ιςτογρϊμματα χωρύσ βϊρη (εύναι η μόνη ςυνϊρτηςη που χρηςιμοποιόθηκε ϋτοιμη και παρϋχεται δωρεϊν ςτον ιςτότοπο ανταλλαγόσ αρχεύων τησ Mathworks [13]) και ςτη ςυνϋχεια υπολογύζουμε το τελικό ιςτόγραμμα ενςωματώνοντασ την επύδραςη του πυρόνα, ςύμφωνα με τη θεωρεύα. Στην ϋξοδο δύνει ακόμη το αποτϋλεςμα τησ ςυνϊρτηςησ που όπωσ ϋχουμε αναφϋρει καταχωρεύ ςε κϊθε πύξελ τη τιμό τησ κλϊςησ ςτην οπούα ανόκει. UniformKernel.m Δημιουργεύ ϋνα προφύλ ομοιόμορφου πυρόνα μεγϋθουσ και ακτύνασ παραθύρου. BhatCoef.m Υπολογύζει τον ςυντελεςτό Bhattacharyya ανϊμεςα ςε δύο διακριτϋσ Σ.Π.Π. και. DeriveWeights.m Καθορύζει τα βϊρη ςύμφωνα με τη θεωρεύα από τα προηγούμενα εδϊφια. DesignBox.m Παρϊγει ϋνα νϋο καρϋ ςτο οπούο το αντικεύμενο που παρακολουθεύται εμπεριϋχεται μϋςα ςε ϋνα ϊςπρο κουτύ, ϋτςι ώςτε να ϋχουμε μια απεικόνιςη των αποτελεςμϊτων τησ παρακολούθηςησ. Κουζούπησ Δημότρησ - 61-

68 Κεφϊλαιο 4: Παρακολούθηςη τροχιϊσ NormalizedColor.m Κανονικοποιεύ τα 3 χρωματικϊ κανϊλια ςύμφωνα με τον τύπο που αναφϋρθηκε ςτη θεωρεύα. Κυρύωσ Πρόγραμμα Παρακϊτω παραθϋτουμε το κυρύωσ πρόγραμμα τησ παρακολούθηςησ ςε κώδικα Matlab, χωριςμϋνο ςτα βόματα που περιγρϊψαμε νωρύτερα. %% STEP 0 % Read in Video and Define Model clear all; clc; obj = mmreader('video_samples/vid 003.avi'); nof = obj.numberofframes; % Name of the video file t0 = 1; % Start of tracking in frame t0+1 t = t0; fr1 = read(obj,t); [model,y,w] = DefineModel(fr1); ep = EpanKernel(w/2-0.5,w); bins = 16; q = FindHist(model,bins,ep); % (bins x bins) histograms will be used %% STEP 01 y1 = y; h = w/2-0.5; eph = EpanKernel(h,w); uph = UniformKernel(w/2-0.5,w); iter= []; check = read(obj,t+1); % variable to illustrate results while t<nof-1 % normally -1 t = t+1; ok = 0; it = 1; fprintf('processing frame... %d\n',t); fr = read(obj,t); y0 = round(y1); while ok ==0 target = CropRegion(fr,y0,w); [p,b2] = FindHist(target,bins,eph); bhat1 = BhatCoef(p,q); %% STEP 02 wt = DeriveWeights(p,q,B2,bins); Κουζούπησ Δημότρησ - 62-

69 Κεφϊλαιο 4: Παρακολούθηςη τροχιϊσ %% STEP 03 % Construct matrices Xx, Xy that include the coordinates xx = y0(1)-floor(w/2):y0(1)+floor(w/2); Xx = zeros(w,w); for r=1:w Xx(r,:) = xx; xy = (y0(2)-floor(w/2):y0(2)+floor(w/2))'; Xy = zeros(w,w); for r=1:w Xy(:,r) = xy; % Find y1 temp1 = wt.*uph; temp11 = temp1.*xx; temp12 = temp1.*xy; Yx = sum(sum(temp11))/(sum(sum(temp1))); Yy = sum(sum(temp12))/(sum(sum(temp1))); y1 = [Yx,Yy]; if max(max(abs(wt)))==0 % if the target stopped y1 = y0; % wait until it moves again break; % Update p target = CropRegion(fr,round(y1),w); p2 = FindHist(target,bins,eph); bhat2 = BhatCoef(p2,q); %% STEP 04 while bhat2 < bhat1 y1 = 1/2*(y0+y1); target = CropRegion(fr,round(y1),w); p2 = FindHist(target,bins,eph); bhat2 = BhatCoef(p2,q); %% STEP 05 if norm(y0-y1)<=1 ok = 1; else y0 = round(y1); it = it+1; if mod(t,10)==0 imshow(check); % Demonstrate results every 10 frames Κουζούπησ Δημότρησ - 63-

70 Κεφϊλαιο 4: Παρακολούθηςη τροχιϊσ % demonstrate result [check] = DesignBox(check,round(y1),w); if y1(1)+w/2 >= 600 fprintf('\n\n---target lost---\n'); break; fprintf('number of iterations:\t%d\n',it); iter = [iter;it]; Movie(t-t0) = im2frame(designbox(fr,round(y1),w)); movie2avi(movie,'yes5','compression','cinepak'); imshow(check); Αποτελϋςματα Θα ξεκινόςουμε τα πειρϊματϊ μασ πρώτα με μια απλό ακολουθύα εικόνων πριν περϊςουμε ςτη παρακολούθηςη πορεύασ εύκαμπτων αντικειμϋνων. Κυλώντασ λοιπόν ϋνα μανταρύνι ςε ϋνα λευκό τραπϋζι λαμβϊνουμε τα ακόλουθα αποτελϋςματα: Ο αριθμόσ των επαναλόψεων του αλγορύθμου για κϊθε εικόνα τησ ακολουθύασ φαύνεται παρακϊτω. Όπωσ εύναι προφανϋσ, το αντικεύμενο αρχύζει να κινεύται μετϊ το 25 ο καρϋ. Κουζούπησ Δημότρησ - 64-

71 Κεφϊλαιο 4: Παρακολούθηςη τροχιϊσ Επιλεκτικϊ, κϊποια καρϋ του βύντεο που πόραμε ςτην ϋξοδο και φανερώνουν την αποτελεςματικότητα τησ παρακολούθηςησ : Στην ςυνϋχεια, δοκιμϊζουμε τον αλγόριθμό μασ ςε ϋνα πιο απαιτητικό πρόβλημα. Θϋλουμε να παρακολουθόςουμε την πορεύα ενόσ ανθρώπου ςε εξωτερικό περιβϊλλον και μϊλιςτα να ςυμπεριλϊβουμε μια περύπτωςη μερικόσ κϊλυψησ του ςτόχου για να Κουζούπησ Δημότρησ - 65-

72 Κεφϊλαιο 4: Παρακολούθηςη τροχιϊσ αποδεύξουμε τη ςθεναρότητα τησ μεθόδου. Στο παρϊδειγμϊ μασ, ο ςτόχοσ περνϊ πύςω από ϋναν ςτύλο χωρύσ να χαθεύ το ςτύγμα του: Ο αριθμόσ των επαναλόψεων για το νϋο βύντεο διακυμαύνεται ωσ εξόσ: Παρατηρούμε πωσ υπϊρχει μια απότομη αύξηςη των επαναλόψεων όταν ο αλγόριθμοσ προςπαθεύ να προςδιορύςει τη θϋςη του ςτόχου τη ςτιγμό που περνϊ πύςω από τον ςτύλο. Κϊποια καρϋ από το βύντεο εξόδου παρουςιϊζονται ςτη ςυνϋχεια: Κουζούπησ Δημότρησ - 66-

73 Κεφϊλαιο 4: Παρακολούθηςη τροχιϊσ Σημειώνουμε ότι τα αποτελϋςματα δεν θα όταν τόςο αποτελεςματικϊ αν δεν κϊναμε κανονικοπούηςη των δύο χρωματικών καναλιών. Στην περύπτωςη αυτό ο ςτόχοσ παρατηρόθηκε να χϊνεται όταν περνϊ πύςω από τον ςτύλο και μϊλιςτα ςε πολλϋσ προςομοιώςεισ μεταφϋρεται πϊνω ςτο κόκκινο αυτοκύνητο. Επύςησ, παρόλο που για τα πειρϊματϊ μασ χρηςιμοποιόςαμε το αρχικό βύντεο τησ κϊμερασ για να δοκιμϊςουμε το πρόγραμμα, εύναι προφανϋσ ότι αν προηγηθεύ το κομμϊτι τησ κατϊτμηςησ κύνηςησ και απομονωθεύ η ανθρώπινη ςιλουϋτα, τα αποτελϋςματα θα εύναι ακόμη πιο ςθεναρϊ και ο αριθμόσ των επαναλόψεων θα μειωθεύ ςημαντικϊ. Κουζούπησ Δημότρησ - 67-

74

75 ΚΕΥΑΛΑΙΟ 5 : ΟΠΣΙΚΗ ΡΟΗ

76 Κεφϊλαιο 5 : Οπτικό ροό 5. Οπτικό ροό Ϋνα βαςικό πρόβλημα ςτην επεξεργαςύα βύντεο εύναι ο υπολογιςμόσ τησ οπτικόσ ροόσ, μια προςϋγγιςη τησ κύνηςησ τησ εικόνασ η οπούα ορύζεται ωσ η προβολό των ταχυτότων τησ τριςδιϊςτατησ επιφϊνειασ ςημεύων επϊνω ςτο πεδύο ενόσ οπτικού αιςθητόρα. Η οπτικό ροό αποτελεύ ςυχνϊ μια βολικό και ταυτόχρονα χρόςιμη αναπαρϊςταςη τησ κύνηςησ ςε μύα ςειρϊ από εικόνεσ και ςτα πλαύςια αυτόσ τησ εργαςύασ θα αναλύςουμε πώσ μπορούμε να εκμεταλλευτούμε την ιδιότητα αυτό για να εντοπύζουμε τισ κινούμενεσ οντότητεσ μϋςα ςε ϋνα βύντεο αλλϊ και για να ξεχωρύζουμε τα εύκαμπτα από τα δύςκαμπτα αντικεύμενα Οπτικό ροό και το πρόβλημα του ανούγματοσ Για να μπορϋςουμε να υπολογύςουμε την οπτικό ροό και να λϊβουμε αξιόπιςτα αποτελϋςματα θα πρϋπει να τηρούνται κϊποιεσ πολύ βαςικϋσ προώποθϋςεισ: Οι μετρόςεισ που παύρνουμε από τισ εικόνεσ -όπωσ για παρϊδειγμα η φωτεινότηταςε μια μικρό περιοχό, παραμϋνουν ςταθερϋσ αλλϊ μπορεύ ενδεχομϋνωσ να αλλϊξουν θϋςη. Επομϋνωσ θα ιςχύει. Γειτονικϊ ςημεύα ανόκουν τυπικϊ ςτην ύδια επιφϊνεια και ςυνεπώσ εκτελούν παρόμοιεσ κινόςεισ. Εφόςον οι προβολϋσ των ςημεύων αυτών θα βρύςκονται και Κουζούπησ Δημότρησ - 70-

77 Κεφϊλαιο 5 : Οπτικό ροό αυτϋσ κοντϊ μεταξύ τουσ, αναμϋνεται μια χωρικό ςυνεκτικότητα ςτην ροό τησ εικόνασ. Η κύνηςη τησ επιφϊνειασ μιασ περιοχόσ αλλϊζει ςταδιακϊ με τον χρόνο Θα ξεκινόςουμε με την εκτύμηςη τησ οπτικόσ ροόσ ςτον χώρο μύασ διϊςταςησ και ϋπειτα θα περϊςουμε και ςτον διςδιϊςτατο χώρο που εύναι το ζητούμενο. Σύμφωνα με την πρώτη υπόθεςη, θα ιςχύει για τη φωτεινότητα: αφού δεν ϋχουμε αλλαγό με τον χρόνο. Συνεπώσ: ( ) Κουζούπησ Δημότρησ - 71-

78 Κεφϊλαιο 5 : Οπτικό ροό Θεωρώντασ αμετϊβλητη φωτεινότητα και μικρό κύνηςη: Οι επαναλόψεισ βοηθούν ςτον επαναπροςδιοριςμό του διανύςματοσ ταχύτητασ: Ο αλγόριθμοσ για μονοδιϊςτατη παρακολούθηςη ςυνοψύζεται ωσ εξόσ: Υπολόγιςε την τοπικό παρϊγωγο τησ εικόνασ ςτο p : Αρχικοπούηςε το διϊνυςμα ταχύτητασ : Επανϊλαβε μϋχρι ςύγκλιςη: o Αντιςτϊθμιςε για το τρϋχον διϊνυςμα ταχύτητασ : o Υπολόγιςε τη χρονικό παρϊγωγο : o Αναβϊθμιςε το διϊνυςμα ταχύτητασ : Κουζούπησ Δημότρησ - 72-

79 Κεφϊλαιο 5 : Οπτικό ροό Η μετϊβαςη ςτον διςδιϊςτατο χώρο γύνεται με τον ακόλουθο τρόπο: ( ) ( ) ( ) Όπωσ εύναι φανερό, ςτο ςημεύο αυτό παρουςιϊζεται ϋνα ςημαντικό πρόβλημα καθώσ ϋχουμε μόνο μύα εξύςωςη ενώ θϋλουμε να υπολογύςουμε δύο ταχύτητεσ, μια ωσ προσ κϊθε ϊξονα. Υπϊρχουν πολλού διαφορετικού τρόποι αντιμετώπιςησ του προβλόματοσ αυτού από τουσ οπούουσ πηγϊζουν και οι διϊφορεσ μϋθοδοι υπολογιςμού τησ οπτικόσ ροόσ που θα εξετϊςουμε ςτη ςυνϋχεια. Σε γενικϋσ γραμμϋσ όμωσ, αντιλαμβανόμαςτε ότι θα πρϋπει να προςτεθούν επιπλϋον περιοριςμού ώςτε να προςδιοριςτούν οι δύο ϊγνωςτοι. Την παραπϊνω ςχϋςη μπορούμε και να την γρϊψουμε ωσ εξόσ: όπου [ ] * + Η ςχϋςη αυτό εύναι γνωςτό με την ονομαςύα «εξύςωςη περιοριςμού τησ οπτικόσ ροόσ» (optical flow constraint equation) και καθορύζει ϋναν μόνο τοπικό περιοριςμό για την κύνηςη τησ εικόνασ. Στην παραπϊνω γραφικό παρϊςταςη απεικονύζεται το διϊνυςμα τησ κανονικόσ ταχύτητασ που ορύζεται ωσ το διϊνυςμα εκεύνο που εύναι κϊθετο ςτην γραμμό περιοριςμού. Αυτό ςυνεπϊγεται ότι μπορούμε μόνο να υπολογύςουμε τη ςυνιςτώςα τησ ταχύτητασ ςτη διεύθυνςη τησ τοπικόσ κλόςησ τησ ςυνϊρτηςησ ϋνταςησ τησ εικόνασ. Αυτό το φαινόμενο εύναι γνωςτό και ωσ το πρόβλημα του ανούγματοσ ό «the aperture problem» και μόνο ςε περιοχϋσ τησ εικόνασ όπου υπϊρχει αρκετό δομό ϋνταςησ (intensity structure) ό γκαουςςιανό καμπυλότητα (Gaussian curvature) μπορεύ Κουζούπησ Δημότρησ - 73-

80 Κεφϊλαιο 5 : Οπτικό ροό να εκτιμηθεύ πλόρωσ η κύνηςη με χρόςη τησ εξύςωςησ περιοριςμού τησ οπτικόσ ροόσ. Για παρϊδειγμα, η ταχύτητα μιασ επιφϊνειασ που εύναι ομογενόσ ό περιϋχει υφό με ϋναν και μοναδικό προςανατολιςμό δεν μπορεύ να ανακτηθεύ πλόρωσ. Στην εικόνα που ακολουθεύ βλϋπουμε μια χαρακτηριςτικό περύπτωςη όπου λόγω τησ φύςεωσ τησ κύνηςησ, δεν μπορούμε να εξϊγουμε ϋγκυρα αποτελϋςματα. Από όλα τα παραπϊνω γύνεται ςαφϋσ ότι για να ταυτύζεται η οπτικό ροό με τη κύνηςη τησ εικόνασ θα πρϋπει να ικανοποιούνται μια ςειρϊ από ςυνθόκεσ οι οπούεσ εύναι: Ομοιόμορφοσ φωτιςμόσ. Λαμπερτιανό επιφϊνεια ανϊκλαςησ. Καθαρό μετϊθεςη παρϊλληλη ςτο επύπεδο εικόνασ. Στην πραγματικότητα, αυτϋσ οι ςυνθόκεσ δεν μπορούν να ικανοποιούνται πλόρωσ ςε ϋνα τοπύο. Ϋτςι, θεωρούμε ότι ικανοποιούνται τοπικϊ ςε μια ςκηνό και ϊρα τοπικϊ ςτο πεδύο εικόνασ. Ο βαθμόσ ςτον οπούο οι ςυνθόκεσ αυτϋσ εύναι ιςχυρϋσ καθορύζει ωσ ϋνα ςημεύο την εγκυρότητα με την οπούα η οπτικό ροό προςεγγύζει την κύνηςη τησ εικόνασ, για το λόγο αυτό ϋχει αναπτυχθεύ μια ςειρϊ από τεχνικϋσ που ςκοπό ϋχουν να υπολογύζουν μϋτρα εμπιςτοςύνησ ϋτςι ώςτε να αφαιρούνται από το πεδύο τησ οπτικόσ ροόσ διανύςματα που δεν εύναι αξιόπιςτα. Οι τεχνικϋσ αυτϋσ εύναι πολύ ςημαντικϋσ για την ςωςτό περαιτϋρω επεξεργαςύα των αποτελεςμϊτων και ςυνεπώσ δεν θα πρϋπει να αμελούνται. Κουζούπησ Δημότρησ - 74-

81 Κεφϊλαιο 5 : Οπτικό ροό 5.2. Κατηγορύεσ μεθόδων οπτικόσ ροόσ Στο κομμϊτι αυτό θα αναφϋρουμε τισ διϊφορεσ τεχνικϋσ υπολογιςμού τησ οπτικόσ ροόσ αν και θα πρϋπει να ςημειώςουμε ότι λόγω του πλόθουσ των διαφορετικών προςεγγύςεων, τα όρια μεταξύ των κατηγοριών δεν εύναι πϊντοτε ςαφό. Οι κύριεσ λοιπόν μϋθοδοι μπορούν να ταξινομηθούν ωσ εξόσ: Τεχνικϋσ διαφόριςησ (Differential Methods) Οι τεχνικϋσ αυτϋσ υπολογύζουν την ταχύτητα τησ εικόνασ χρηςιμοποιώντασ τισ χωρικϋσ και χρονικϋσ παραγώγουσ τησ ϋνταςησ των εικονοςτοιχεύων. Θεωρούμε λοιπόν ότι υπϊρχει ςυνϋχεια (ό δυνατότητα διαφόριςησ) ςτα πεδύα του χρόνου και του χώρου. Γενικϋσ και τοπικϋσ μϋθοδοι πρώτου ό δευτϋρου βαθμού που βαςύζονται ςτην βαςικό εξύςωςη περιοριςμού τησ οπτικόσ ροόσ μπορούν να χρηςιμοποιηθούν για τον υπολογιςμό τησ. Οι γενικϋσ τεχνικϋσ θεωρούν ϋναν επιπλϋον γενικό περιοριςμό, ςυνόθωσ ϋναν όρο εξομϊλυνςησ, για να υπολογύςουν πυκνϊ πεδύα ροόσ πϊνω ςε μεγϊλεσ περιοχϋσ τησ εικόνασ. Αντύθετα οι τοπικϋσ τεχνικϋσ χρηςιμοποιούν πληροφορύα που παρϋχεται από την κανονικό ταχύτητα ςε γειτονικϋσ περιοχϋσ ϋτςι ώςτε μϋςω μιασ ελαχιςτοπούηςησ ελαχύςτων τετραγώνων να βρει τη καταλληλότερη επιλογό για την ταχύτητα. Γενικότερα, το μϋγεθοσ τησ περιοχόσ που χρηςιμοποιεύται για να εκτιμηθεύ η ταχύτητα καθορύζει εϊν μια μϋθοδοσ εύναι γενικό ό τοπικό. Στα εδϊφια που ακολουθούν θα αναλύςουμε περαιτϋρω και θα υλοποιόςουμε δύο από τισ πιο δημοφιλεύσ διαφορικϋσ τεχνικϋσ για τον υπολογιςμό τησ οπτικόσ ροόσ, μια από κϊθε κατηγορύα που μόλισ αναφϋραμε. Μϋθοδοι που βαςύζονται ςτο ταύριαςμα περιοχών (Region-matching techniques) Η ακριβόσ αριθμητικό παραγώγιςη μπορεύ πολλϋσ φορϋσ να μην εύναι πρακτικό λόγω του θορύβου, του μικρού αριθμού καρϋ ό λόγω αλλοιώςεων κατϊ τη διαδικαςύα απόκτηςησ των εικόνων. Σε τϋτοιεσ περιπτώςεισ εύναι χρόςιμο να ςτραφούμε ςε τεχνικϋσ βαςιςμϋνεσ ςτο ταύριαςμα περιοχών. Οι προςεγγύςεισ αυτϋσ ορύζουν την ταχύτητα ωσ την ολύςθηςη που καταλόγει ςτην εγκυρότερη αντιςτούχηςη μεταξύ περιοχών των εικόνων ςε διαφορετικϋσ χρονικϋσ ςτιγμϋσ. Η διαδικαςύα εύρεςησ τησ καλύτερησ αντιςτούχιςησ βαςύζεται ςτη μεγιςτοπούηςη ενόσ μϋτρου ομοιότητασ (για το ), όπωσ για παρϊδειγμα η κανονικοποιημϋνη ετεροςυςχϋτιςη, ό ςτην ελαχιςτοπούηςη ενόσ μϋτρου απόςταςησ. Μια τϋτοια τεχνικό θα μελετόςουμε αναλυτικότερα ςτο τελευταύο κεφϊλαιο τησ εργαςύασ αυτόσ. Ενεργειακϋσ τεχνικϋσ (Energy-based methods) Οι μϋθοδοι αυτϋσ εύναι βαςιςμϋνεσ ςτην ενϋργεια εξόδου ειδικών φύλτρων (velocitytuned filters). Πιο αναλυτικϊ, χρηςιμοποιούν φύλτρα ευαύςθητα ςτον προςανατολιςμό ςτο πεδύο Fourier χρονικϊ μεταβαλλόμενων εικόνων και για αυτό καλούνται ςυχνϊ και ςυχνοτικϋσ τεχνικϋσ. Κουζούπησ Δημότρησ - 75-

82 Κεφϊλαιο 5 : Οπτικό ροό Φαςικϋσ τεχνικϋσ (Phase-based filtering) Βαςύζονται ςτη φαςικό ςυμπεριφορϊ των εξόδων ζωνοδιαβατών φύλτρων 5.3. Σεχνικϋσ διαφόριςησ [7] Οι τεχνικϋσ αυτϋσ για να υπολογύςουν τη ταχύτητα, χρηςιμοποιούν τισ χωροχρονικϋσ παραγώγουσ τησ ϋνταςησ των εικόνων ό κϊποιεσ φιλτραριςμϋνεσ εκδοχϋσ τουσ που ϋχουν περϊςει από χαμηλοπερατϊ ό ζωνοπερατϊ φύλτρα. Οι πρώτεσ μϋθοδοι που εμφανύςτηκαν ϋκαναν χρόςη των παραγώγων πρώτου βαθμού και όταν βαςιςμϋνεσ ςτη μετατόπιςη τησ εικόνασ, δηλαδό: Όπου. Μετϊ από ανϊπτυξη κατϊ Taylor ό γενικότερα μϋςω τησ υπόθεςησ ότι η ϋνταςη διατηρεύται κι επομϋνωσ η παρϊγωγόσ τησ εύναι ύςη με μηδϋν, προκύπτει η γνωςτό εξύςωςη περιοριςμού τησ οπτικόσ ροόσ: Από αυτό μπορούμε να βρούμε μόνο το διϊνυςμα τησ κανονικόσ ταχύτητασ, με s το μϋτρο τησ και n την κατεύθυνςό τησ ςύμφωνα με τισ παρακϊτω ςχϋςεισ: Για να βρεθούν και τα δύο ϊγνωςτα ςτοιχεύα τησ ταχύτητασ, χρειϊζονται, όπωσ ϋχουμε επιςημϊνει, επιπλϋον περιοριςμού. Οι τεχνικϋσ διαφόριςησ δεύτερησ τϊξησ χρηςιμοποιούν παραγώγουσ 2 ησ τϊξησ (την Hessian τησ ϋνταςησ ) για να περιορύςουν την διςδιϊςτατη ταχύτητα ςύμφωνα με το ςύςτημα: * + ( ) [ ] ( ) Το οπούο προκύπτει από την αρχικό μασ εξύςωςη. Η διατόρηςη του όρου ςημαύνει πρακτικϊ ότι παραμορφώςεισ πρώτησ τϊξησ τησ ϋνταςησ, όπωσ η περιςτροφό και η διαςτολό, δεν θα πρϋπει να υπϊρχουν. Αυτό η απαύτηςη εύναι προφανώσ ιςχυρότερη από την αρχικό μασ και επηρεϊζει ςημαντικϊ τα επιτρεπόμενα πεδύα κύνηςησ. Ακόμη, εϊν το πρόβλημα του ανούγματοσ εμφανύζεται τοπικϊ ςε μύα περιοχό τότε, λόγω τησ ευαιςθηςύασ τησ αριθμητικόσ διαφόριςησ, οι παρϊγωγοι δεύτερησ τϊξησ Κουζούπησ Δημότρησ - 76-

83 Κεφϊλαιο 5 : Οπτικό ροό δεν μπορούν ςυνόθωσ να μετρηθούν με ακρύβεια τϋτοια ώςτε να καθοριςτεύ η εφαπτόμενη ςυνιςτώςα τησ ταχύτητασ. Συνεπώσ, οι εκτιμόςεισ τησ ταχύτητασ με μεθόδουσ δεύτερησ τϊξησ καταλόγουν ςυνόθωσ ςε πιο ελλιπό και λιγότερο ϋγκυρα αποτελϋςματα ςυγκριτικϊ με τισ τεχνικϋσ πρώτησ τϊξησ Η μϋθοδοσ των Horn Schunk (Γενικό τεχνικό διαφόριςησ) Οι Horn και Schunk ςυνδύαςαν την εξύςωςη περιοριςμού τησ οπτικόσ ροόσ με ϋναν γενικό όρο εξομϊλυνςησ ώςτε να περιορύςουν το εκτιμώμενο πεδύο ταχυτότων ελαχιςτοποιώντασ τη ςυνϊρτηςη: που ορύζεται ςε μύα περιοχό και όπου το πλϊτοσ του εκφρϊζει την επύδραςη του όρου εξομϊλυνςησ. Για την ελαχιςτοπούηςη τησ παραπϊνω ςχϋςησ και την εκτύμηςη τησ ταχύτητασ τησ εικόνασ, χρηςιμοποιούνται οι επαναληπτικϋσ εξιςώςεισ που ακολουθούν: όπου η μεταβλητό δηλώνει τον αριθμό τησ επανϊληψησ, τα, εύναι οι αρχικϋσ εκτιμόςεισ τησ ταχύτητασ (ύςεσ με μηδϋν) και τα εκφρϊζουν το μϋςο όρο των ταχυτότων,. Στα περιςςότερα πειρϊματα ο αριθμόσ των επαναλόψεων για να ϋχουμε την επιθυμητό ςύγκλιςη ανϋρχεται ςτισ εκατό. Η αρχικό μϋθοδοσ όπωσ παρουςιϊςτηκε από τουσ Horn και Schunk χρηςιμοποιούςε διαφορϋσ πρώτησ τϊξησ για τον υπολογιςμό των παραγώγων τησ ϋνταςησ. Επειδό όμωσ τϋτοιου εύδουσ υπολογιςμού μπορεύ να ειςϊγουν αρκετϊ ςημαντικό ςφϊλμα ςτα αποτελϋςματα, θα χρηςιμοποιόςουμε ςτην υλοπούηςό μασ κατϊλληλα διςδιϊςτατα φύλτρα για να βρούμε τισ αντύςτοιχεσ παραγώγουσ με μεγαλύτερη ακρύβεια. Κουζούπησ Δημότρησ - 77-

84 Κεφϊλαιο 5 : Οπτικό ροό Τλοπούηςη ςε Matlab Η υλοπούηςη του αλγορύθμου που αναπτύχθηκε ςτα πλαύςια τησ εργαςύασ αυτόσ περιλαμβϊνει την εκτύμηςη τησ οπτικόσ ροόσ με την μϋθοδο των Horn-Schunk ανϊμεςα ςε δύο διαδοχικϊ καρϋ μύασ ακολουθύασ βύντεο. Χωρύζεται ςτα ακόλουθα επιμϋρουσ κομμϊτια ώςτε να εύναι πιο ςαφόσ και εύκολα κατανοητό: Συνϊρτηςη FormFrames.m, εξαςφαλύζει ότι οι δύο εικόνεσ εύναι ςε μορφό κατϊλληλη προσ επεξεργαςύα. Συνϊρτηςη Derivatives.m, υπολογύζει τισ χωρικϋσ και χρονικϋσ παραγώγουσ τησ ϋνταςησ ςε κϊθε βόμα με χρόςη κατϊλληλων φύλτρων. Συνϊρτηςη OpticalFlow.m, εκτιμϊ την οπτικό ροό ανϊμεςα ςτισ δύο εικόνεσ με τη τεχνικό που μόλισ περιγρϊψαμε. Κυρύωσ πρόγραμμα Testing.m, εκτελεύ όλεσ τισ απαραύτητεσ ενϋργειεσ για την φόρτωςη του βύντεο ςτο πρόγραμμα, την κλόςη των ςυναρτόςεων και τη παρουςύαςη των αποτελεςμϊτων. Ξεκινϊμε την ανϊλυςη τησ υλοπούηςησ με την ςυνϊρτηςη FormFrames. Το ϋργο τησ αναλυτικότερα εύναι να δϋχεται τα δύο εκϊςτοτε καρϋ και να τα μεταποιεύ ώςτε να εύναι και τα δύο ςε μορφό εικόνων ϋνταςησ. Παρϊλληλα ειδοποιεύ για ςφϊλμα εϊν οι δύο εικόνεσ δεν εύναι του ύδιου μεγϋθουσ. function [fr1, fr2] = FormFrames(fr_1, fr_2) %FormFrames: Converts the input frames fr_1 and fr_2 % to frames suitable for optical flow computation. RGBorGray1 = size(size(fr_1)); RGBorGray2 = size(size(fr_2)); if (RGBorGray1(2) == 3) fr1 = rgb2gray(fr_1); elseif (RGBorGray1(2) == 2) fr1 = fr_1; else clc error('input frame 1 is not an RGB nor a Grayscale image') if (RGBorGray2(2) == 3) fr2 = rgb2gray(fr_2); elseif (RGBorGray2(2) == 2) fr2 = fr_2; else clc error('input frame 2 is not an RGB nor a Grayscale image') if (size(fr1) ~= size(fr2)) clc error('input frames not of the same size') Κουζούπησ Δημότρησ - 78-

85 Κεφϊλαιο 5 : Οπτικό ροό Η ςυνϊρτηςη Derivatives υπολογύζει όπωσ προαναφϋραμε τισ παραγώγουσ τησ ϋνταςησ ςτο διςδιϊςτατο χώρο και ςτο χρόνο. Ειδικότερα, δϋχεται ωσ ειςόδουσ τισ δύο εικόνεσ και μια μεταβλητό FILT που καθορύζει το επιθυμητό φύλτρο για την εκτύμηςη των παραγώγων ενώ επιςτρϋφει ςτην ϋξοδό τουσ τρεύσ πύνακεσ με τισ παραγώγουσ που υπολογύςτηκαν. Τα διαθϋςιμα φύλτρα εύναι τα εξόσ τρύα: basic, sobel και prewitt. function [Ix,Iy,It] = Derivatives(fr1,fr2,FILT) %DERIVATIVES First derivatives computation of 2 consecutive frames % fr1 : first grayscale frame % fr2 : second grayscale frame % FILT: filter to be used for first derivative approximations % choose between 'basic', 'prewitt' and 'sobel' if (size(fr1,1) ~= size(fr2,1)) (size(fr1,2) ~= size(fr2,2)) error('input frames not of the same size'); ; if (size(fr1,3)~=1) (size(fr2,3)~=1) error('method only works for grayscale frames'); ; TF1 = strcmp(filt,'basic'); TF2 = strcmp(filt,'prewitt'); TF3 = strcmp(filt,'sobel'); if (TF1 == 1) % H = [1-1]; H = [1 0-1]; elseif (TF2 == 1) H = (1/3)*[1 0-1; 1 0-1; 1 0-1]; elseif (TF3 == 1) H = (1/4)*[1 0-1; 2 0-2; 1 0-1]; else error('input filter unknown'); Dx1 = filter2(h,fr1); Dy1 = filter2(h',fr1); Dx2 = filter2(h,fr2); Dy2 = filter2(h',fr2); Ix = (Dx1 + Dx2)/2; Iy = (Dy1 + Dy2)/2; It = (fr2 - fr1); Μϋςω τησ ςυνϊρτηςησ OpticalFlow εφαρμόζουμε ουςιαςτικϊ τουσ επαναληπτικούσ τύπουσ που αναφϋρθηκαν ςτο εδϊφιο για να βρούμε τα επιθυμητϊ διανύςματα τησ οπτικόσ ροόσ. Στισ ειςόδουσ τησ ςυνϊρτηςησ πρϋπει εκτόσ από τισ δύο εικόνεσ προσ επεξεργαςύα να προςδιορύςουμε τι τιμό τησ μεταβλητόσ καθώσ και τον αριθμό των επαναλόψεων. Στα πειρϊματα που θα παρατεθούν αργότερα οι δύο αυτϋσ τιμϋσ ϋχουν επιλεχθεύ κατϊλληλα ανϊλογα με το βύντεο ϋτςι ώςτε να ϋχουμε τα καλύτερα δυνατϊ αποτελϋςματα. Κουζούπησ Δημότρησ - 79-

86 Κεφϊλαιο 5 : Οπτικό ροό function [Vx,Vy] = OpticalFlow(fr_1,fr_2,alpha,iterations) % Horn & Schunk Method % Optical flow calculation between two given frames % fr_1, fr_2 : Input frames RGB or Grayscale % alpha : Used for the calculation of variable 'temp' % iterations : Number of iterations [fr1, fr2] = FormFrames(fr_1, fr_2); [height,width]=size(fr1); fr1 = im2double(fr1); fr2 = im2double(fr2); % Initialization of u and v Vx = zeros(height,width); Vy = zeros(height,width); VxSum = zeros(height,width); VySum = zeros(height,width); alpha = alpha.*ones(height,width); [Ix, Iy, It] = Derivatives(fr1, fr2,'sobel'); for k = 1:iterations VxSum = VxSum+Vx; VySum = VySum+Vy; Vxbar = VxSum./k; Vybar = VySum./k; TEMP = double((ix.*vxbar + Iy.*Vybar+double(It))./(alpha.^2+Ix.^2+Iy.^2)); Vx = double(vxbar - Ix.*TEMP); Vy = double(vybar - Iy.*TEMP); Vx = flipud(vx); Vy = flipud(vy); Για να κϊνουμε χρόςη όλων των παραπϊνω υπορουτινών πρϋπει να τρϋξουμε το κυρύωσ πρόγραμμα που ςκοπό ϋχει να εκτελϋςει τουσ αλγορύθμουσ και να μασ παρουςιϊςει τα αποτελϋςματα μεταξύ δύο επιλεγμϋνων καρϋ του βύντεο που θϋλουμε να επεξεργαςτούμε. Προφανώσ όταν θα θϋλουμε να εκμεταλλευτούμε τον αλγόριθμο που αναπτύξαμε για να βρύςκουμε την οπτικό ροό ςε μια εφαρμογό μηχανικόσ όραςησ, το πρόγραμμα αυτό θα πρϋπει να αντικαταςταθεύ από ϋνα αντύςτοιχο, το οπούο θα καλεύ τισ μεθόδουσ για όλα τα διαδοχικϊ καρϋ και θα υπολογύζει την οπτικό ροό ςε κϊθε χρονικό ςτιγμό. Κουζούπησ Δημότρησ - 80-

87 Κεφϊλαιο 5 : Οπτικό ροό %% READ IN VIDEO clear; clc; obj = mmreader('video_samples\vidsample.avi'); vid = read(obj); width = obj.width; height = obj.height; length = obj.numberofframes; %% COMPUTE m = 40; fr1 = read(obj,m); fr2 = read(obj,m+1); fr1 =rgb2gray(fr1); fr2=rgb2gray(fr2); %% FUNCTION [u,v] = MyOpticalFlow2(fr1,fr2,1,300); imshow(fr1);hold on;quiver(u,v,2); Παρουςύαςη και ανϊλυςη των αποτελεςμϊτων Στο βύντεο που θα χρηςιμοποιηθεύ για τη παρουςύαςη των αποτελεςμϊτων καταγρϊφεται η κύνηςη μιασ ανθρώπινησ ςιλουϋτασ κατϊ μόκοσ ενόσ δρόμου. Η κϊμερα εύναι ςτατικό και ο ρυθμόσ εγγραφόσ ϋχει οριςτεύ ςτα 60 καρϋ ανϊ δευτερόλεπτο. Ο λόγοσ εύναι ότι όςο πιο μικρϋσ εύναι οι μετακινόςεισ των πύξελ από τη μια εικόνα ςτην επόμενη, τόςο μεγαλύτερη ιςχύ θα ϋχουν οι περιοριςμού που ϋχουμε ειςϊγει ςτισ εκτιμόςεισ μασ για τον υπολογιςμό τησ οπτικόσ ροόσ. Για ϋνα τυχαύο καρϋ τησ ακολουθύασ, τα αποτελϋςματα φαύνονται ςτη ςυνϋχεια: Κουζούπησ Δημότρησ - 81-

88 Κεφϊλαιο 5 : Οπτικό ροό Όπωσ εύκολα φαύνεται και από τισ εικόνεσ, τα διανύςματα ροόσ περιγρϊφουν αρκετϊ πιςτϊ τη κατεύθυνςη και το μϋτρο τησ ταχύτητασ των εικονοςτοιχεύων του περιγρϊμματοσ τησ ςιλουϋτασ. Στο εςωτερικό τησ αντύθετα, όπου υπϊρχει ϋλλειψη υφόσ, η κύνηςη εύναι δυςκολότερο να εκτιμηθεύ Η μϋθοδοσ των Lucas-Kanade τοιχεύα μεθόδου Ο αλγόριθμοσ των Lukas-Kanade αποτελεύ ϋναν από τουσ πιο δημοφιλεύσ τρόπουσ υπολογιςμού τησ οπτικόσ ροόσ μϋχρι και ςόμερα. Βαςύζεται ςτην υπόθεςη ότι τα διανύςματα ροόσ παραμϋνουν ςταθερϊ ςε ϋνα μικρό παρϊθυρο διαςτϊςεων το οπούο εύναι κεντραριςμϋνο ςτο πύξελ με αποτϋλεςμα από την εξύςωςη περιοριςμού τησ οπτικόσ ροόσ να καταλόγουμε ςε ϋνα ςύςτημα τησ παρακϊτω μορφόσ, για ύςο με 5: [ ] * + [ ] Βλϋπουμε ότι χρηςιμοποιώντασ ϋνα παρϊθυρο διαςτϊςεων λαμβϊνουμε 25 εξιςώςεισ για κϊθε πύξελ και αφού οι ϊγνωςτοι εύναι προφανώσ λιγότεροι, θα πρϋπει να Κουζούπησ Δημότρησ - 82-

89 Κεφϊλαιο 5 : Οπτικό ροό τουσ προςδιορύςουμε ελαχιςτοποιώντασ το ςφϊλμα. Αυτό μπορούμε να το επιτύχουμε χρηςιμοποιώντασ τη μϋθοδο των ελαχύςτων τετραγώνων για να λύςουμε το πρόβλημα: [ ] * + [ ] όπου τα αθρούςματα αναφϋρονται ςτη περιοχό που καλύπτει το παρϊθυρο. Εϊν θϋλουμε να ϋχουμε καλύτερα αποτελϋςματα θα πρϋπει να προςθϋςουμε μια ςυνϊρτηςη βϊρουσ, με η οπούα θα δύνει περιςςότερη ϋμφαςη ςτα πύξελ που βρύςκονται ςτο κϋντρο του παραθύρου. Για να λυθεύ το παραπϊνω ςύςτημα θα πρϋπει να ικανοποιούνται κϊποιεσ ςυνθόκεσ. Η μότρα Α Τ Α θα πρϋπει: Να εύναι αντιςτρϋψιμη Να μην ϋχει πολύ μικρϋσ ιδιοτιμϋσ Να εύναι καλώσ οριςμϋνη, δηλαδό ο λόγοσ λ1/λ2 να μην εύναι πολύ μεγϊλοσ. Προφανώσ, ο βαθμόσ ςτον οπούον ικανοποιούνται οι ςυνθόκεσ αυτϋσ καθορύζουν το πόςο αξιόπιςτα εύναι τα αποτελϋςματα. Για τον λόγο αυτό, κϊποιεσ μϋθοδοι κατϊ την αρχικοπούηςη τουσ κϊνουν πρώτα μια αναζότηςη ϋτςι ώςτε να βρουν ποια πύξελ ϋχουν αρκετό υφό ώςτε ο εντοπιςμόσ τουσ να ειςϊγει το μικρότερο δυνατό ςφϊλμα. Αυτόσ ο τρόποσ εύναι πολύ πιο αποηελεζμαηικόρ καθώρ όηαν θέλοςμε να ανισνεύζοςμε ένα κινούμενο ανηικείμενο δεν σπειάζεηαι να παπακολοςθούμε όλα ηα πίξελ από ηα οποία αποηελείηαι Επαναληπτικό βελτύωςη Για να λϊβουμε πιο ϋγκυρα αποτελϋςματα θα πρϋπει να επαναλϊβουμε τη διαδικαςύα χρηςιμοποιώντασ ϋναν επαναληπτικό αλγόριθμο. Αυτό γύνεται ωσ εξόσ: Υπολογύζουμε τη ταχύτητα για κϊθε πύξελ λύνοντασ τισ Lukas-Kanade εξιςώςεισ. Παραμορφώνουμε (warp) την εικόνα προσ την χρηςιμοποιώντασ το εκτιμώμενο πεδύο ροόσ και τεχνικϋσ παρμόρφωςησ εύκόνων. Επαναλαμβϊνουμε τη διαδικαςύα μϋχρι να ϋχουμε ςύγκλιςη L-K αλγόριθμοσ πολλαπλών αναλύςεων. Επειδό ο περιοριςμόσ που εύχαμε θϋςει για την ταχύτητα, θεωρώντασ ότι η μετακύνηςη εύναι μικρότερη του ενόσ πύξελ, εύναι πολύ περιοριςτικόσ και ςτισ περιςςότερεσ περιπτώςεισ μη ρεαλιςτικόσ, για να εντοπύςουμε μεγαλύτερεσ Κουζούπησ Δημότρησ - 83-

90 Κεφϊλαιο 5 : Οπτικό ροό μετατοπύςεισ θα πρϋπει να μειώςουμε την ανϊλυςη τησ εικόνασ και να την επεξεργαςτούμε ςε πολλϋσ διαφορετικϋσ αναλύςεισ. Για να το κϊνουμε αυτό, χρηςιμοποιούμε γκαουςςιανϋσ πυραμύδεσ όπωσ φαύνεται ςτο ςχόμα και τροποποιούμε τον αλγόριθμο ώςτε να εκμεταλλεύεται αυτό την επιπλϋον πληροφορύα: Ο αλγόριθμοσ των Lukas-Kanade πολλαπλών αναλύςεων: Υπολογύζουμε την οπτικό ροό με τη μϋθοδο L-K ςτο υψηλότερο επύπεδο Στο επύπεδο : o Παύρνουμε τη ροό από το επύπεδο -1 o Τησ εφαρμόζουμε διγραμμικό παρεμβολό για να βρούμε τισ μότρεσ τησ διπλϊςιασ ανϊλυςησ για το επύπεδο. o Πολλαπλαςιϊζουμε τα με 2. o Υπολογύςουμε την ενόσ μπλοκ μετατοπιςμϋνου κατϊ. o Εφαρμόζουμε τον αλγόριθμο L-K για να βρούμε τα που εύναι οι διορθώςεισ ςτη ροό. o Προςθϋτουμε τισ διορθώςεισ, δηλαδό. Ακολουθώντασ την διαδικαςύα αυτό εξαςφαλύζουμε εγκυρότερα αποτελϋςματα ςε περιοχϋσ μεγϊλησ κύνηςησ όπωσ φαύνεται και από τισ εικόνεσ που ακολουθούν. Αρχικό εικόνα Κουζούπησ Δημότρησ - 84-

91 Κεφϊλαιο 5 : Οπτικό ροό Αλγόριθμοσ υπολογιςμού οπτικόσ ροόσ ενόσ επιπϋδου Αλγόριθμοσ υπολογιςμού οπτικόσ ροόσ πολλαπλών επιπϋδων Κουζούπησ Δημότρησ - 85-

92 Κεφϊλαιο 5 : Οπτικό ροό Οπτικό ροό και Simulink Σχεδιαςμόσ μοντϋλου Μϋςω του λογιςμικού Simulink μπορούμε με γραφικό τρόπο να ςχεδιϊςουμε ϋνα μοντϋλο που ςτην εύςοδό του δϋχεται ϋνα βύντεο και ςτην ϋξοδο επιςτρϋφει την οπτικό ροό μεταξύ των καρϋ ςε κϊθε χρονικό ςτιγμό. Όπωσ βλϋπουμε, το μοντϋλο λειτουργεύ μετατρϋποντασ το βύντεο ςε ςειρϊ εικόνων ϋνταςησ και αφού υπολογύζει τη διανύςματα ροόσ, ςχεδιϊζει γραμμϋσ για να τα αναπαραςτόςει παρουςιϊζοντασ ταυτόχρονα το βύντεο τησ ειςόδου και τα αποτελϋςματα. Για περεταύρω επεξεργαςύα, η τιμϋσ τησ οπτικόσ ροόσ αποςτϋλλονται και ςτο workspace. Επύςησ, το μπλοκ υπολογιςμού οπτικόσ ροόσ, όπωσ βλϋπουμε από τισ ρυθμύςεισ του, μασ δύνει την ελευθερύα να επιλϋξουμε αν το εν λόγω μϋγεθοσ θα υπολογιςτεύ με τη μϋθοδο των Lucas-Kanade ό των Horn-Schunk. Κουζούπησ Δημότρησ - 86-

93 Κεφϊλαιο 5 : Οπτικό ροό Παρουςύαςη και ανϊλυςη των αποτελεςμϊτων Μϋθοδοσ Horn-Schunk Online αποτελϋςματα Offline επεξεργαςύα Κουζούπησ Δημότρησ - 87-

94 Κεφϊλαιο 5 : Οπτικό ροό Τα αποτελϋςματα τησ μεθόδου εύναι παρόμοια με αυτϊ που πετύχαμε ςτην υλοπούηςη ςε κώδικα και αποτυπώνουν ςε πολύ ικανοποιητικϊ επύπεδα την κύνηςη του αντικειμϋνου ενδιαφϋροντοσ. Οι όποιεσ διαφορϋσ οφεύλονται κυρύωσ ςτουσ διαφορετικούσ τρόπουσ προςϋγγιςησ των χωρικών και χρονικών παραγώγων ςτα καρϋ που επεξεργαζόμαςτε. Μϋθοδοσ Lucas-Kanade Online αποτελϋςματα Κουζούπησ Δημότρησ - 88-

95 Κεφϊλαιο 5 : Οπτικό ροό Offline επεξεργαςύα Και με τη δεύτερη μϋθοδο, τα αποτελϋςματϊ μασ εύναι αξιόπιςτα. Μϊλιςτα, επειδό η μϋθοδοσ των Lucas-Kanade θεωρεύται πωσ ϋχει μικρότερη υπολογιςτικό πολυπλοκότητα, χρηςιμοποιεύται κατϊ κόρον ςε εφαρμογϋσ υπολογιςμού τησ οπτικόσ ροόσ. Κουζούπησ Δημότρησ - 89-

96 Κεφϊλαιο 5 : Οπτικό ροό 5.4. Αντιμετώπιςη του προβλόματοσ ανύχνευςησ και παρακολούθηςησ ανθρώπινησ κύνηςησ αποκλειςτικϊ με μεθόδουσ οπτικόσ ροόσ Τα ςυςτόματα αυτόνομησ παρακολούθηςησ βύντεο αποτελούνται όπωσ ϋχουμε δει από διϊφορα λειτουργικϊ κομμϊτια που δουλεύουν ςε ςυνεργαςύα. Τα κομμϊτια αυτϊ εκτελούν ειδικευμϋνεσ εργαςύεσ που περιλαμβϊνουν ανύχνευςη κύνηςησ, διαχωριςμό φόντου, παρακολούθηςη τροχιϊσ και εκτύμηςη γνωριςμϊτων. Σχεδιϊζοντασ κϊθε μϋλοσ του ςυςτόματοσ ξεχωριςτϊ εύναι πιθανόν να οδηγηθούμε ςε υψηλό υπολογιςτικό πολυπλοκότητα αφού διαφορετικϋσ τεχνικϋσ και αλγόριθμοι θα πρϋπει να δουλεύουν ςε ςυνεργαςύα. Αντύθετα, χτύζοντασ ϋνα ςύςτημα παρακολούθηςησ που βαςύζεται αποκλειςτικϊ ςτον αλγόριθμο υπολογιςμού τησ οπτικόσ ροόσ εξαςφαλύζουμε καλύτερεσ ταχύτητεσ επεξεργαςύασ αφού όπωσ θα δούμε εύναι εφικτό η ανταλλαγό πληροφοριών ανϊμεςα ςτα μπλοκ επεξεργαςύασ. Μόλισ υπολογιςτεύ η οπτικό ροό, η μϋτρηςη τησ ταχύτητασ τησ εικόνασ μπορεύ να χρηςιμοποιηθεύ για μύα ευρεύα γκϊμα εργαςιών που εκτεύνεται από παθητικό ερμηνεύα ςκηνόσ μϋχρι αυτόνομη, ενεργό εξερεύνηςη. Περιορύζοντασ το ςύςτημϊ μασ μόνο ςε πληροφορύεσ οπτικόσ ροόσ καταλόγουμε ςε νϋεσ εναλλακτικϋσ τεχνικϋσ για το χειριςμό τησ κατϊτμηςησ, τησ εκτύμηςησ του βϊθουσ, τησ παρακολούθηςησ τροχιϊσ και τησ ταξινόμηςησ αντικειμϋνων. Η προτεινόμενη υλοπούηςη κϊνει χρόςη μόνο μιασ κϊμερασ και δομεύται ςύμφωνα με την αρχιτεκτονικό τησ παρακϊτω εικόνασ [15] : Κουζούπησ Δημότρησ - 90-

97 Κεφϊλαιο 5 : Οπτικό ροό Όπωσ βλϋπουμε, το μπλοκ υπολογιςμού τησ οπτικόσ ροόσ εύναι το πιο βαςικό κομμϊτι του ςυςτόματοσ καθώσ τα αποτελϋςματϊ του οδηγούν όλα τα υπόλοιπα. Επύςησ, πληροφορύα διακινεύται και ανϊμεςα ςτα διϊφορα κομμϊτια του δεύτερου ςταδύου επεξεργαςύασ. Στόχοσ ςχεδιϊζοντασ κϊτι τϋτοιο εύναι να μειώςουμε τον υπολογιςτικό όγκο των επιμϋρουσ αλγορύθμων αυξϊνοντασ το μϋγεθοσ τησ διακινούμενησ πληροφορύασ. Οι δύο πιο γνωςτϋσ μϋθοδοι για την εκτύμηςη τησ οπτικόσ ροόσ ςε μύα εικόνα εύναι όπωσ ϋχουμε αναφϋρει οι αλγόριθμοι των Lucas-Kanade και των Horn-Schunk. Και οι δύο εύναι κατϊλληλοι για την εφαρμογό που περιγρϊφουμε με την εξαύρεςη ότι ο πρώτοσ προςφϋρει μικρότερη υπολογιςτικό πολυπλοκότητα διατηρώντασ ταυτόχρονα αποδεκτϊ αποτελϋςματα Ανύχνευςη κύνηςησ (Segmentation block) Το μπλοκ κατϊτμηςησ κύνηςησ δϋχεται τα αποτελϋςματα υπολογιςμού τησ οπτικόσ ροόσ με ςκοπό να καθορύςει πια πύξελ από το καρϋ αποτελούν το φόντο και πια βρύςκονται ςτο προςκόνιο. Το κατώφλι απόφαςησ εύναι μια δυναμικό παρϊμετροσ και η τιμό τησ μπορεύ να αλλϊζει από το ϋνα καρϋ ςτο επόμενο λόγω πολλών παραγόντων, όπωσ για παρϊδειγμα μεταβολϋσ ςτισ καιρικϋσ ςυνθόκεσ ό ςτο φωτιςμό. Η εικόνα που ακολουθεύ δεύχνει το μϋςο όρο του μϋτρου του διανύςματοσ οπτικόσ ροόσ για κϊθε καρϋ. Όπωσ φαύνεται, μϋχρι και το 30 ο καρϋ οι τιμϋσ του μϋτρου εύναι πολύ χαμηλϋσ, τησ τϊξεωσ του 0.04, καθώσ κανϋνα κινούμενο αντικεύμενο δεν ϋχει ακόμη εμφανιςτεύ. Μετϊ τη ςτιγμό αυτό το μϋτρο αυξϊνεται απότομα υποδηλώνοντασ την ύπαρξη κϊποιασ κύνηςησ ςτο προςκόνιο. Η παρατόρηςη αυτό χρηςιμοποιεύται για να διαχωρύςουμε τα διανύςματα του φόντου από εκεύνα των αντικειμϋνων ενδιαφϋροντοσ με τον οριςμό κϊποιου κατωφλύου. Η μόνη πρόκληςη ςτη μϋθοδο αυτό εύναι ο χειριςμόσ των διανυςμϊτων με μικρϋσ τιμϋσ μϋτρου. Τα διανύςματα αυτϊ θα πρϋπει να εξετϊζονται με προςοχό καθώσ μπορεύ δημιουργούνται εύτε από θόρυβο ςτο φόντο εύτε από αντικεύμενα ενδιαφϋροντοσ τα οπούα κινούνται πολύ αργϊ. Κουζούπησ Δημότρησ - 91-

98 Κεφϊλαιο 5 : Οπτικό ροό Σαξινόμηςη αντικειμϋνων (Object analysis block) Στο εδϊφιο αυτό θα περιγρϊψουμε μια προςϋγγιςη που βαςύζεται ςτον τοπικό υπολογιςμό τησ οπτικόσ ροόσ μϋςα ςτο όρια τησ περιοχόσ ενόσ κινούμενου αντικειμϋνου [1,2]. Δεδομϋνησ τησ χοντρικόσ μετατόπιςησ μιασ κινουμϋνησ οντότητασ, που θα ϋχει όδη υπολογιςτεύ ςτο ςτϊδιο τησ παρακολούθηςησ του αντικειμϋνου, και του πεδύου ροόσ υπολογιςμϋνο για όλα τα πύξελ τησ οντότητασ, εύναι δυνατόν να καθοριςτεύ η ςχετικό ταχύτητα των πύξελ ωσ προσ τη κύνηςη του ςώματοσ με απλό αφαύρεςη:. Ϋτςι βρύςκουμε την υπολειπόμενη ροό ανϊ πύξελ. Αναμϋνεται όπωσ αναφϋραμε ςε προηγούμενα κεφϊλαια, ότι δύςκαμπτα αντικεύμενα θα ϋχουν μικρό υπολειπόμενη ροό ενώ αντιθϋτωσ πιο εύκαμπτα αντικεύμενα όπωσ οι ϊνθρωποι θα παρουςιϊςουν περιςςότερο ανεξϊρτητη κύνηςη. Υπολογύζοντασ τη μϋςη απόλυτη υπολειπόμενη ροό ανϊ πύξελ μπορούμε, παρατηρώντασ το πλϊτοσ τησ τιμόσ αυτόσ, να βγϊλουμε ςυμπερϊςματα για το επύπεδο δυςκαμψύασ του κινούμενου αντικειμϋνου και ςυνεπώσ και για τη φύςη του. Παρόλο που η ταξινόμηςη μπορεύ να γύνει χρηςιμοποιώντασ τα διανύςματα ροόσ που προκύπτουν από τον αλγόριθμο των Lucas-Kanade, θα μελετόςουμε επιπλϋον ςτο ςημεύο αυτό μια τεχνικό που ονομϊζεται δυναμικόσ ςυνδυαςμόσ περιοχών (dynamic region matching) για τον υπολογιςμό των διανυςμϊτων. Ο λόγοσ εύναι ότι η μϋθοδοσ αυτό μασ παρϋχει όπωσ θα δούμε πιο αξιόπιςτα αποτελϋςματα αυξϊνοντασ δυναμικϊ το παρϊθυρο για τον υπολογιςμό τησ οπτικόσ ροόσ μϋχρι αυτό να περιϋχει αρκετό πληροφορύα. Επύςησ, φροντύζουμε να την εφαρμόςουμε τοπικϊ ςε οντότητεσ που ϋχουμε εξϊγει νωρύτερα από το μπλοκ κατϊτμηςησ κύνηςησ ώςτε να μειώςουμε ακόμα περιςςότερο την υπολογιςτικό πολυπλοκότητα. Τα υπολογιςμϋνα τοπικϊ πεδύα ροόσ μπορούν να χρηςιμοποιηθούν για να αναλυθούν οι κινόςεισ των κινούμενων οντοτότων και ςυνεπώσ να χαρακτηριςτούν ωσ εύκαμπτα ό δύςκαμπτα τα αντικεύμενα. Γενικϊ, οι εφαρμογϋσ που βαςύζονται ςτην οπτικό ροό χρηςιμοποιούνται ςυνόθωσ για να καθορύςουν την κύνηςη τησ κϊμερασ ό να ανακαταςκευϊςουν κϊποια δομό τριςδιϊςτατησ ςκηνόσ. Στισ περιπτώςεισ αυτϋσ, μόνο η χοντρικό οπτικό ροό μεγϊλων ςυςτατικών ςτοιχεύων τησ ςκηνόσ εύναι χρόςιμη και η υλοπούηςη ςε πραγματικό χρόνο δεν εύναι απαραύτητη. Επομϋνωσ, οι περιςςότερεσ μϋθοδοι ροόσ οδηγούν ςε ανεπαρκό αποτελϋςματα ςτο ςύνολο τησ εικόνασ ό εύναι πολύ βαριϋσ υπολογιςτικϊ. Επιπλϋον, οι περιςςότεροι αλγόριθμοι αποτυγχϊνουν ςε περιοχϋσ που εύναι κατϊ κύριο λόγο ομογενεύσ, όπωσ για παρϊδειγμα ςε περιοχϋσ που ςτερούνται κϊποιασ υφόσ. Παρόλο που υπϊρχουν τρόποι να μετρηθεύ πόςο ϋγκυρο εύναι ϋνα διϊνυςμα ροόσ οι περιςςότεροι αλγόριθμοι δεν κϊνουν καμύα προςπϊθεια να βελτιώςουν αυτϊ τα διανύςματα ςε ομογενεύσ περιοχϋσ. Με αξιόπιςτα διανύςματα ροόσ για κϊθε πύξελ μϋςα ςε μια κινούμενη οντότητα, εύναι δυνατόν να ανιχνευτούν πύξελ ςε ςυνεχόμενα καρϋ. Αυτό η δυνατότητα μπορεύ να Κουζούπησ Δημότρησ - 92-

99 Κεφϊλαιο 5 : Οπτικό ροό χρηςιμοποιηθεύ για να ςυμπτυχθούν πύξελ ςε 'μϋρη ςώματοσ' για μύα ανϊλυςη κύνηςησ βαςιςμϋνη ςε μοντϋλα (όπωσ ςτο pfinder και το W 4 που εύναι γνωςτϊ προγρϊμματα για ανύχνευςη ανθρώπων). Σημαύνει επύςησ ότι η δυςκαμψύα ενόσ αντικειμϋνου μπορεύ να υπολογιςτεύ βρύςκοντασ την υπολειπόμενη ροό, δηλαδό την κύνηςη των 'μερών του ςώματοσ' ςχετικϊ με την χοντρικό κύνηςη τησ οντότητασ. Εύναι προφανϋσ ότι ϋνασ ϊνθρωποσ ό ϋνα ζώο θα ϋχει ϊκρα κινούμενα ςχετικϊ το ϋνα ωσ προσ το ϊλλο και ωσ προσ το γενικό ςύνολο τησ οντότητασ ενώ ϋνα όχημα όχι. Ομαδοποιώντασ τα διανύςματα υπολειπόμενησ ροόσ μπορούμε ακόμη και να εξϊγουμε αυτϊ τα μϋρη του ςώματοσ Τπολογιςμόσ οπτικόσ ροόσ με τη μϋθοδο δυναμικού ςυνδυαςμού περιοχών Για να αναλυθεύ η κύνηςη ενόσ αντικειμϋνου που εμφανύζεται ςε ϋνα βύντεο, εύναι απαραύτητο να ϋχουμε ςτα χϋρια μασ ϋνα πυκνό και ακριβϋσ πεδύο ροόσ του, ύςωσ ακόμη και ϋνα διϊνυςμα ροόσ για κϊθε πύξελ. Για να το πετύχουμε αυτό, η αντιςτούχηςη που βαςύζεται ςε περιοχϋσ εύναι η προφανόσ επιλογό. Αλλϊ για να εύμαςτε ςύγουροι ότι τα διανύςματα ροόσ εύναι ρεαλιςτικϊ, εύναι αναγκαύο να ϋχουμε αρκετό υφό ςε μύα περιοχό ώςτε να εξαςφαλύςουμε μια καλό αντιςτοιχύα. Η ιδϋα για να επιτευχθεύ ο παραπϊνω ςτόχοσ εύναι να χρηςιμοποιόςουμε αρκετό πληροφορύα από τη κλύςη των ακμών για να δικαιολογόςουμε την αντιςτοιχύα. Ακόμα, η ροό πρϋπει να υπολογιςτεύ μόνο για τα πύξελ που εμπεριϋχονται ςτο κινούμενο αντικεύμενο. Γι' αυτό και η ανϊλυςη που θα ακολουθόςει εύναι ιςχυρό μόνο για βύντεο που ϋχουν εγγραφεύ από ςταθερό κϊμερα ό για ακολουθύεσ εικόνων που ϋχουν ςταθεροποιηθεύ. A. Ο αλγόριθμοσ ςυνδυαςμού περιοχών Θεωρούμε μια ςκηνό βιντεοςκοπημϋνη με ςταθερό κϊμερα και ςυμβολύζουμε με την τιμό τησ ϋνταςησ ενόσ πύξελ ςτη θϋςη ςτο n-οςτό καρϋ. Εϊν οι εικόνεσ που μελετϊμε απϋχουν μεταξύ τουσ χρονικό διϊςτημα ύςο με, τότε ϋνα ςυγκεκριμϋνο πύξελ του καρϋ θα μετακινηθεύ κατϊ όπου ( ) εύναι η ταχύτητα του πύξελ τησ διςδιϊςτατησ εικόνασ. Η εν λόγω ταχύτητα μπορεύ να βρεθεύ αντιςτοιχύζοντασ μια περιοχό του με την ιςοδύναμό τησ ςτο, ελαχιςτοποιώντασ μύα ςυνϊρτηςη απόςταςησ, όπου το αντιπροςωπεύει μια γραμμικό μετατόπιςη. Πρώτα, καθορύζεται μια περιοχό πολλαπλαςιϊζοντασ το με μια διςδιϊςτατη ςυνϊρτηςη παραθύρου μεγϋθουσ κεντραριςμϋνη ςτο πύξελ. Αυτό η περιοχό ςυνελλύςεται με την επόμενη εικόνα, ώςτε να παραχθεύ μια επιφϊνεια ςυςχϋτιςησ. Το μϋγεθοσ των τιμών μϋχρι τισ οπούεσ η ςυνϋλιξη εκτεύνεται πρϋπει να καθοριςτεύ. Κουζούπησ Δημότρησ - 93-

100 Κεφϊλαιο 5 : Οπτικό ροό Όπου εύναι μια ςταθερϊ κανονικοπούηςησ που δύνεται από το τύπο: Ϋπειτα υπολογύζεται το ελϊχιςτο τησ με ακρύβεια υπό-πύξελ προςεγγύζοντασ την επιφϊνεια με μύα τετραγωνικό ςυνϊρτηςη. Η πραγματικό μετατόπιςη του πύξελ εύναι το ελϊχιςτο τησ προςεγγιςτικόσ επιφϊνειασ: B. Τπολογιςμόσ τησ τοπικόσ ροόσ (local flow) Ϋχοντασ καθορύςει ϋνα ύχνοσ ανϊμεςα ςε μια οντότητα ςτο καρϋ, την αντύςτοιχη του καρϋ που ακολουθεύ καθώσ και την χοντρικό ταχύτητα (από το ςτϊδιο τησ παρακολούθηςησ) μεταξύ τουσ, εύναι δυνατόν να καθορύςουμε τη ροό του κϊθε κινούμενου πύξελ. Η ιδϋα εύναι να πϊρουμε μια μικρό περιοχό γύρω από κϊθε πύξελ τησ και να την ταιριϊξουμε με την ιςοδύναμό τησ περιοχό ςτην. Οι περιοχϋσ αυτϋσ θα εύναι δυναμικϋσ και θα μεγαλώνουν μϋχρι να αποκτηθεύ η απαραύτητη πληροφορύα που θα μασ εξαςφαλύςει μια αξιόπιςτη αντιςτούχιςη. Θετικό εύναι το γεγονόσ ότι η ροό δεν θα υπολογιςτεύ για μεγϊλο αριθμό πύξελ ςε αντύθεςη με προγενϋςτερεσ μεθόδουσ. Ο υπολογιςμόσ τησ ροόσ του κϊθε πύξελ εύναι μια διαδικαςύα δύο ςταδύων. Πρώτα, προςδιορύζεται μια κατϊλληλη περιοχό ςτόριξησ που να μασ εξαςφαλύζει ότι Κουζούπησ Δημότρησ - 94-

101 Κεφϊλαιο 5 : Οπτικό ροό διαθϋτουμε αρκετό πληροφορύα για τον ςχηματιςμό ενόσ ϋγκυρου διανύςματοσ ροόσ και ϋπειτα, εκτελεύται μια αντιςτούχιςη περιοχών για να υπολογιςτεύ το ςυγκεκριμϋνο διϊνυςμα. Υπολογιςμόσ τησ περιοχό ςτόριξησ Για ν εξαςφαλιςτεύ ϋνασ καλόσ ςυνδυαςμόσ μεταξύ των περιοχών, εύναι ςημαντικό να υπϊρχει αρκετό πληροφορύα και προσ την οριζόντια αλλϊ και προσ την κϊθετη διεύθυνςη γύρω από το κεντρικό πύξελ. Ϋτςι, η περιοχό ςτόριξησ γύρω από το μεγαλώνει επαναληπτικϊ και το περιεχόμενο τησ πληροφορύασ που εμπεριϋχεται ςε αυτόν μετρϊται μϋχρι να φθϊςει ϋνα προκαθοριςμϋνο κατώφλι. Για να μετρηθεύ η κϊθετη και η οριζόντια πληροφορύα χρηςιμοποιεύται ϋνα Sobel φύλτρο. Πριν από την διαδικαςύα αντιςτούχιςησ δύο εικόνεσ και υπολογύζονται από το φιλτρϊροντασ με ςτϊνταρ τελεςτϋσ Sobel: [ ] [ ] Ξεκινώντασ με ϋνα παρϊθυρο ςτόριξησ κεντραριςμϋνο ςτο δύο μϋτρα πληροφορύασ υπολογύζονται: Πληροφορύα κϊθετησ εικόνασ Πληροφορύα οριζόντιασ εικόνασ Ο αλγόριθμοσ που καθορύζει ποιο θα εύναι το τελικό μϋγεθοσ του παραθύρου εύναι ο εξόσ: DO Calculate E H Calculate E V IF E H <T I Increase W i by 2 pixels IF E V <T I Increase W j by 2 pixels UNTIL both E H and E V are > T I Κουζούπησ Δημότρησ - 95-

102 Κεφϊλαιο 5 : Οπτικό ροό Υπολογιςμόσ του διανύςματοσ ροόσ Η κύνηςη του κϊθε πύξελ μπορεύ να μοντελοποιηθεύ ωσ η χοντρικό κύνηςη τησ οντότητασ ςυν κϊποια υπολειπόμενη κύνηςη του πύξελ. Ϊρα. Εϊν θεωρόςουμε ότι η υπολειπόμενη κύνηςη των πύξελ μϋςα ςτην δεν εύναι πολύ μεγϊλη, τότε η επιφϊνεια ςυςχϋτιςησ για να εκτιμηθεύ το διϊνυςμα ροόσ ενόσ δεδομϋνου πύξελ χρειϊζεται μόνο να υπολογιςτεύ για ϋνα μικρό εύροσ γύρω από το. Χρηςιμοποιώντασ την διςδιϊςτατη ςυνϊρτηςη παραθύρου όπωσ υπολογύςτηκε από τον αλγόριθμο που μόλισ περιγρϊψαμε, η ροό για το πύξελ μπορεύ να βρεθεύ με χρόςη τησ μεθόδου που αναλύςαμε προηγουμϋνωσ. Ϋνασ περιοριςμόσ αυτόσ τησ μεθόδου εύναι ότι η υφό του φόντου μπορεύ να διαςτρεβλώςει τον υπολογιςμό του διανύςματοσ ροόσ. Για να βελτιώςουμε τη διαδικαςύα, μπορούμε να δώςουμε διαφορετικϊ βϊρη ςτα ςτοιχεύα του ώςτε να δώςουμε προτεραιότητα ςτα 'κινούμενα' πύξελ (εκφραςμϋνα ωσ μια δυαδικό εικόνα ),με τον εξόσ τρόπο για παρϊδειγμα: Για να ϋχουμε μύα εικόνα τησ αξιοπιςτύασ τησ μεθόδου, εξετϊζουμε την τιμό του ελϊχιςτου τησ επιφϊνειασ ςυςχϋτιςησ. Περιοχϋσ που ςυνδυϊζονται ικανοποιητικϊ θα παρουςιϊζουν χαμηλϋσ τιμϋσ του ενώ εκεύνεσ που δεν ταιριϊζουν ιδιαύτερα θα ϋχουν υψηλότερεσ τιμϋσ. Κουζούπησ Δημότρησ - 96-

103 Κεφϊλαιο 5 : Οπτικό ροό Ανϊλυςη δυςκαμψύασ μϋςω τησ υπολοιπόμενησ ροόσ Δεδομϋνησ τησ χοντρικόσ κύνηςησ του κινούμενου ςώματοσ, όπωσ ϋχει υπολογιςτεύ από το ςτϊδιο τησ παρακολούθηςησ και του πεδύου ροόσ όλων των πύξελ αυτού του ςώματοσ, μπορούμε να καθορύςουμε τη ςχετικό ταχύτητα των πύξελ ωσ προσ τη κύνηςη του ςώματοσ απλώσ αφαιρώντασ την ώςτε να βρούμε την υπολειπόμενη ροό: Αναμϋνεται όπωσ ϋχουμε προαναφϋρει, ότι δύςκαμπτα αντικεύμενα θα παρουςιϊςουν μικρό υπολειπόμενη ροό ςε αντύθεςη με τα εύκαμπτα αντικεύμενα, όπωσ για παρϊδειγμα ϋναν ϊνθρωπο. Υπολογύζοντασ το μϋςο όρο του απολύτου τησ υπολειπόμενησ ροόσ ανϊ πύξελ: παύρνουμε πληροφορύα όχι μόνο για το πόςο δύςκαμπτη εύναι μύα κύνηςη, αλλϊ και για τη περιοδικότητϊ τησ. Αντικεύμενα όπωσ οχόματα αντιπροςωπεύονται από πολύ χαμηλϋσ τιμϋσ τησ ενώ ϋνασ ϊνθρωποσ παρουςιϊζει ςημαντικϊ μεγαλύτερη υπολειπόμενη ροό που περιϋχει και κϊποιο ςτοιχεύο περιοδικότητασ. Τϋλοσ, βαςιζόμενοι ςτα ιςτογρϊμματα των διανυςμϊτων τησ υπολειπόμενησ ροόσ, μπορούμε ακόμη και να 'εξϊγουμε' μϋλη του ςώματοσ όπωσ χϋρια ό πόδια αφού κϊθε μϋλοσ θα από αντιπροςωπεύεται ϋνα τοπικό γκρουπ των διανυςμϊτων αυτών με κοινό προςανατολιςμό. Κουζούπησ Δημότρησ - 97-