Ειδικό Επιςτημονικό Εργαςύα «ΑΝΙΦΝΕΤΗ ΚΑΙ ΠΑΡΑΚΟΛΟΤΘΗΗ ΚΙΝΗΗ Ε ΔΙΚΣΤΑ ΚΑΜΕΡΨΝ» Ευςταθύου Ωρησ AM: 133. Επιβλϋπων: Οικονόμου Γεώργιοσ Καθηγητόσ

Transcript

1 Ειδικό Επιςτημονικό Εργαςύα «ΑΝΙΦΝΕΤΗ ΚΑΙ ΠΑΡΑΚΟΛΟΤΘΗΗ ΚΙΝΗΗ Ε ΔΙΚΣΤΑ ΚΑΜΕΡΨΝ» Ευςταθύου Ωρησ AM: 133 Επιβλϋπων: Οικονόμου Γεώργιοσ Καθηγητόσ

2 ii

3 Ειδικό Επιςτημονικό Εργαςύα «ΑΝΙΦΝΕΤΗ ΚΑΙ ΠΑΡΑΚΟΛΟΤΘΗΗ ΚΙΝΗΗ Ε ΔΙΚΣΤΑ ΚΑΜΕΡΨΝ» Ευςταθύου Άρησ ΑΜ:133 Εγκρύθηκε από την τριμελό εξεταςτικό επιτροπό την 13 η Ιουνύου 2013 ςτα πλαύςια του ΔΠΜ Ηλεκτρονικόσ και Επεξεργαςύασ τησ Πληροφορύασ Η Σριμελόσ επιτροπό Υωτόπουλοσ πυρύδων Οικονόμου Γεώργιοσ Ζυγούρησ Ευϊγγελοσ Καθηγητόσ Καθηγητόσ Αναπληρωτόσ Καθηγητόσ Πϊτρα, Ιούνιοσ 2013 iii

4 iii

5 ΠΡΟΛΟΓΟ Η παρούςα διπλωματικό εργαςύα εκπονόθηκε ςτο Εργαςτόριο Ηλεκτρονικόσ του Σομϋα Ηλεκτρονικόσ και Τπολογιςτών του Σμόματοσ Υυςικόσ του Πανεπιςτημύου Πϊτρασ ςτα πλαύςια ολοκλόρωςησ των ςπουδών ςτο Διατμηματικό Πρόγραμμα Μεταπτυχιακών πουδών των Σμημϊτων Υυςικόσ, Μηχανικών Η/Τ και Πληροφορικόσ, Βιολογύασ και Ιατρικόσ του Πανεπιςτημύου Πατρών με τύτλο «Ηλεκτρονικό και Επεξεργαςύα τησ Πληροφορύασ». Αρχικϊ θα όθελα να ευχαριςτόςω τον επιβλϋπων καθηγητό μου Κ. Γεώργιο Οικονόμου που μου ϋδωςε την ευκαιρύα να αςχοληθώ με εξαιρετικϊ ενδιαφϋροντα ερευνητικϊ θϋματα τισ πολύτιμεσ ςυμβουλϋσ, εμπιςτοςύνη και ςτόριξό του. Επύςησ να ευχαριςτόςω όλουσ του καθηγητϋσ μου κατϊ την διϊρκεια των ςπουδών μου, που όταν πϊντα ϊμεςα διαθϋςιμοι, δοτικού και προςϋφεραν τα μϋγιςτα. Ιδιαύτερεσ ευχαριςτύεσ ςτουσ υποψόφιουσ διδϊκτορεσ ςτο εργαςτόριο Ηλεκτρονικόσ Ηλύα Θεοδωρακόπουλο και Δημότρη Καςτανιώτη για την καθοδόγηςη, ςυνεργαςύα και ανεκτύμητη βοόθεια που μου παρεύχαν ςε ερευνητικϊ θϋματα. ε προςωπικό επύπεδο θερμϋσ ευχαριςτύεσ οφεύλω ςτην μητϋρα μου και τον αδερφό μου για την αμϋριςτη ςυμπαρϊςταςη τουσ όλο αυτόν τον καιρό. Η παρούςα διπλωματικό εύναι αφιερωμϋνη ςτην μνόμη του πατϋρα μου Διονύςιου Ευςταθύου. iv

6 v

7 Copyright Άρησ Δ. Ευςταθύου 2013 Με επιφύλαξη παντόσ δικαιώματοσ. All Rights Reserved. Απαγορεύεται η αντιγραφό, αποθόκευςη και διανομό τησ παρούςασ εργαςύασ, εξ ολοκλόρου ό τμόματοσ αυτόσ, για εμπορικό ςκοπό. Επιτρϋπεται η ανατύπωςη, αποθόκευςη και διανομό για ςκοπό μη κερδοςκοπικό, εκπαιδευτικόσ ό ερευνητικόσ φύςησ, υπό την προώπόθεςη να αναφϋρεται η πηγό προϋλευςησ και να διατηρεύται το παρόν μόνυμα. Ερωτόματα που αφορούν τη χρόςη τησ εργαςύασ για κερδοςκοπικό ςκοπό πρϋπει να απευθύνονται προσ τον ςυγγραφϋα. vi

8 vii

9 ΠΕΡΙΛΗΧΗ Η παρούςα διπλωματικό εργαςύα μελετϊ την ανύχνευςη και παρακολούθηςη τησ κύνηςησ των ανθρώπων μϋςα από δύκτυα καμερών. κοπόσ τησ παρούςασ εργαςύασ εύναι η υλοπούηςη ενόσ ςυςτόματοσ ανύχνευςησ, παρακολούθηςησ εκ νϋου ταυτοπούηςησ των ανθρώπων που διϋρχονται μϋςα από ϋνα δύκτυο καμερών καθώσ και να προτεύνει ϋνα μοντϋλο για την κατανόηςη τησ τοπολογύασ του δικτύου των καμερών. Σο κύριο πρόβλημα υποδιαιρεύται ςε τρύα επιμϋρουσ υπό προβλόματα. Σο πρώτο αφορϊ την ανύχνευςη κύνηςησ. Σο δεύτερο την παρακολούθηςη των ανθρώπων και τϋλοσ το τρύτο αφορϊ την αντιςτούχηςη τουσ μεταξύ των καμερών. αν αποτϋλεςμα ςτο τϋλοσ ϋχουμε για κϊθε ϊνθρωπο το μονοπϊτι που διϋγραψε μϋςα ςτο δύκτυο. Η Ανύχνευςη κύνηςησ υλοποιεύται με αφαύρεςη φόντου. Η παρακολούθηςη υλοποιεύται με δύο χαρακτηριςτικϊ, αυτϊ του κϋντρου μϊζασ και του χρωματικού ιςτογρϊμματοσ. Η τοπολογύα του δικτύου ανακαλύπτεται με ϋνα μοντϋλο που καταγρϊφει ςημεύα ειςόδου και εξόδου ςυςχετιςμϋνα με την αντύςτοιχη κϊμερα από την οπούα ειςόλθαν ό ςτην οπούα εξόλθαν αντύςτοιχα οι ϊνθρωποι. Κατόπιν γύνεται αντιςτούχηςη των ςημεύων αυτών ςτισ κρύςιμεσ περιοχϋσ τησ κϊθε κϊμερασ και η πλειοψηφύα των ςυςχετύςεων τουσ ορύζει την επικοινωνούςα, για αυτϋσ τισ περιοχϋσ, κϊμερα. Σϋλοσ γύνεται η αντιςτούχηςη των διαδρομών μεταξύ καμερών με ϋλεγχο χώρο-χρονικών χαρακτηριςτικών και χαρακτηριςτικών εμφϊνιςησ. Σο ςύςτημα υλοποιόθηκε ςε Matlab και ϋτρεξε ςε Intel i7 με ςυχνότητα 2.93 Ghz και 8GB μνόμησ ram. Οι αλγόριθμοι λειτούργηςαν ικανοποιητικϊ με πολύ καλϊ αποτελϋςματα, και μπορούν να περϊςουν ωσ εύςοδοι ςε πληθώρα εφαρμογών υψηλοτϋρου επιπϋδου που ϋχουν ωσ ςκοπό την αναγνώριςη τησ ανθρώπινησ δραςτηριότητασ και την κατανόηςη ςυμπεριφορϊσ. viii

10 ix

11 Abstract This thesis deals with the detection and motion tracking through camera networks. Its purpose is to implement a system for monitoring human movement and perform re-identification in camera networks. It also proposes a model for discovering the topology of cameras network. The main problem is divided into three sub problems. The first one deals with motion detection, the second one tracks every human located in the plane, and finally the third one has to do with the re-identification between the cameras. As a result we find and identify all human s paths traced in the network. At first we start with detection that involves also background subtraction. The background is recovered in a dynamic way at every frame and involves median selection. Tracking is accomplished using two features, the centroid and the color histogram. Network topology is discovered from a model which reports entry and exit points associated with the corresponding camera. The system is implemented in Matlab and runs on Intel i7 with frequency 2.93 Ghz and 8GB of ram. The algorithms perform well producing very good results, and can be fed as inputs to a variety of applications that deal with problems related to higher level recognition of human activity and behavior understanding. x

12 xi

13 ΠΕΡΙΕΦΟΜΕΝΑ 1 Ειςαγωγό 1.1 Ειςαγωγό ςτην Τπολογιςτικό Όραςη Εφαρμογϋσ τησ ανύχνευςησ, παρακολούθηςησ και κατανόηςησ τησ ανθρώπινησ κύνηςησ Φαρακτηριςτικϊ τϊδια ανϊλυςησ προβλόματοσ Ανύχνευςη Κατηγοριοπούηςη Παρακολούθηςη Εύδοσ προβλόματοσ τατικό και κινούμενη κϊμερα Εςωτερικού και εξωτερικού χώροι Δύκτυο καμερών με επικϊλυψη περιοχών ό μη.14 2 Βαςικϋσ διαδικαςύεσ 2.1 Ανύχνευςη Ειςαγωγό Ανύχνευςη με αφαύρεςη φόντου Ανύχνευςη με χρόςη ςτατιςτικών μεθόδων Μορφολογικού μεταςχηματιςμού Παρακολούθηςη - Ειςαγωγό Παρακολούθηςη ςημεύου Παρακολούθηςη Πυρόνα (Kernel Tracking) Παρακολούθηςη ςιλουϋτασ (Silhouette tracking) Εκ νϋου ταυτοπούηςη - Αντιςτούχηςη μεταξύ των καμερών - Ειςαγωγό Εκ νϋου ταυτοπούηςη - Αντιςτούχηςη μεταξύ των καμερών χετικϋσ εργαςύεσ 25 3 ύςτημα Ανύχνευςησ και Παρακολούθηςησ ςε δύκτυα καμερών 3.1 Ειςαγωγό Δεδομϋνα Βύντεο Μελϋτη και χεδύαςη ςυςτόματοσ Εκμϊθηςη παραμϋτρων καμερών του δικτύου Ανύχνευςη κινούμενων αντικειμϋνων ςτην εκμϊθηςη παραμϋτρων των καμερών του Δικτύου Σαξινόμηςη χαρακτηριςτικών ςτην εκμϊθηςη παραμϋτρων των καμερών του δικτύου Παρακολούθηςη κινούμενων αντικειμϋνων ςτην εκμϊθηςη παραμϋτρων των καμερών του δικτύου xii

14 3.5 Ανύχνευςη κινούμενων αντικειμϋνων ςτην κύρια διαδικαςύα Κύρια διαδικαςύα ανύχνευςησ Τπολογιςμόσ μϋςησ ταχύτητασ Κύρια διαδικαςύα ταξινόμηςησ χαρακτηριςτικών Ανύχνευςη Αποτελϋςματα Παρακολούθηςη κινούμενων αντικειμϋνων ςτην κύρια διαδικαςύα Εξαγωγό ακολουθιών Απαλοιφό Θορύβου Επαναπροςδιοριςμόσ των Bounding Boxes Αντικατϊςταςη Bounding Boxes Εξύςωςη φωτεινότητασ Νϋα Ιςτογρϊμματα Φαρακτηριςτικϊ εμφϊνιςησ Σοπολογύα δικτύου καμερών 4.1 Ειςαγωγό Φαρακτηριςτικό Πληροφορύα Φαρακτηριςτικϊ γνωρύςματα εμφϊνιςησ Φώρο-χρονικϊ γνωρύςματα Φϊρτησ δικτύου καμερών Σοπολογύα Δικτύου Καμερών Εκ νϋου ταυτοπούηςη - Αντιςτούχηςη μεταξύ των καμερών 5.1 Ειςαγωγό Σεχνικϋσ εκ νϋου ταυτοπούηςησ / αντιςτούχηςησ Εκ Νϋου ταυτοπούηςη / Αντιςτούχηςη Αποτελϋςματα - υμπερϊςματα 6.1 Αποτελϋςματα-Παρατηρόςεισ υμπερϊςματα - Μελλοντικό ϋρευνα 78 Βιβλιογραφύα xiii

15 Κατάλογοσ ςχημάτων, πινάκων και προγραμμάτων Κατϊλογοσ ςχημϊτων χόμα 1.1 Αναπαρϊςταςη κινούμενων αντικειμϋνων 10 χόμα 1.2 Σεχνικϋσ παρακολούθηςησ 11 χόμα 2.1 Αφαύρεςη φόντου,εξαγωγό χαρακτηριςτικών από ςιλουϋτα 15 χόμα 2.2 Παραδοχϋσ ςε μύα μϋθοδο παρακολούθηςησ ςημεύου χρόςησ εξιςώςεων κόςτουσ.20 χόμα 2.3 Εύδοσ παρακολούθηςησ 22 χόμα 2.4 Εξαγωγό χαρακτηριςτικών περιοχών για χρόςη ςε αλγόριθμο meanshift 22 χόμα 2.5 ύγκριςη αποτελεςμϊτων, όταν χρηςιμοποιούνται μόνο χαρακτηριςτικϊ εμφϊνιςησ, μόνο χώρο-χρονικϊ χαρακτηριςτικϊ και ςυνδυαςμόσ αυτών 25 χόμα 3.1 Σα δεδομϋνα Σα πρώτα καρϋ των βύντεο 28 χόμα 3.2 τιγμιότυπο - Καρϋ χόμα 3.3 τιγμιότυπο Καρϋ χόμα 3.4 Διϊγραμμα καταςτϊςεων ςυςτόματοσ.. 30 χόμα 3.5 Διϊγραμμα καταςτϊςεων διαδικαςύασ εκμϊθηςησ παραμϋτρων των καμερών του δικτύου 31 χόμα 3.6 Παρακολούθηςη οντοτότων ςτην εκμϊθηςη παραμϋτρων των καμερών του δικτύου 34 χόμα 3.7 Διϊγραμμα καταςτϊςεων διαδικαςύα ανύχνευςησ.38 χόμα 3.8 Καταγεγραμμϋνα μονοπϊτια από τισ κϊμερεσ 1 και 3 επιτηρώντασ την ύδια οντότητα.39 χόμα 3.9 Εξαγωγό ταχύτητασ ςε διαφορϊ ενόσ καρϋ για την κϊμερα 1 από την 7 η τροχιϊ : Ευκλεύδεια Απόςταςη = χόμα 3.10 Εξαγωγό ταχύτητασ ςε διαφορϊ ενόσ καρϋ για την κϊμερα 3 από την 3 η τροχιϊ :Ευκλεύδεια Απόςταςη = χόμα 3.11 Αποτϋλεςμα ανύχνευςησ για τυχαύο ςτιγμιότυπο τησ κϊμερασ 1 42 χόμα 3.12 Αποτϋλεςμα ανύχνευςησ για τυχαύο ςτιγμιότυπο τησ κϊμερασ 2 42 χόμα 3.13 Αποτϋλεςμα ανύχνευςησ για τυχαύο ςτιγμιότυπο τησ κϊμερασ 2 43 χόμα 3.14 Αποτϋλεςμα ανύχνευςησ για τυχαύο ςτιγμιότυπο τησ κϊμερασ 3 43 χόμα 3.15 Αποτϋλεςμα ανύχνευςησ για τυχαύο ςτιγμιότυπο τησ κϊμερασ 3 43 χόμα 3.16 Αποτϋλεςμα ανύχνευςησ για τυχαύο ςτιγμιότυπο τησ κϊμερασ 4 44 χόμα 3.17 Διϊγραμμα καταςτϊςεων διαδικαςύασ παρακολούθηςησ.45 χόμα 3.18 Διαχωριςμόσ τησ περιοχόσ επιτόρηςησ ςε υπό-περιοχϋσ 49 χόμα 3.19 Ιδιομορφύα λογιςμικού περιβϊλλοντοσ 50 χόμα 3.20, 3.21, 3.22 Βόματα αλγορύθμου εύρεςησ κρύςιμων περιοχών 51 χόμα 3.23 Κρύςιμεσ περιοχϋσ καμερών 52 χόμα 3.24 Κρύςιμεσ περιοχϋσ και βύντεο. 52 χόμα 3.25 Πύνακασ με βϊρη 54 χόμα 3.26 Πύνακασ με βϊρη μαζύ με τισ κρύςιμεσ ζώνεσ 55 xiv

16 Κατάλογοσ ςχημάτων, πινάκων και προγραμμάτων χόμα 3.27 Ίδιο ςτιγμιότυπο πριν και μετϊ την διαδικαςύα επαναπροςδιοριςμού των bounding boxes...57 χόμα 3.28 Ίδιο ςτιγμιότυπο πριν και μετϊ την διαδικαςύα αντικατϊςταςησ των bounding boxes. 58 χόμα 3.29 Μεταςχηματιςμόσ του bounding box κατϊ μόκοσ του ϊξονα x και y για την κϊμερα 1 59 χόμα 3.30 Μεταςχηματιςμόσ του bounding box κατϊ μόκοσ του ϊξονα x και y για την κϊμερα 2 59 χόμα 3.31 Μεταςχηματιςμόσ του bounding box κατϊ μόκοσ του ϊξονα x και y για την κϊμερα 3 59 χόμα 3.32 Μεταςχηματιςμόσ του bounding box κατϊ μόκοσ του ϊξονα x και y για την κϊμερα 4 60 χόμα 3.33 Αρχικϊ καρϋ και Σροποποιημϋνα καρϋ μετϊ την εφαρμογό του ςυντελεςτό φωτεινότητασ 61 χόμα 4.1 Διαδικαςύα εύρεςησ τοπολογύασ ςτην κϊμερα 2 67 χόμα 4.2 Σοπολογύα δικτύου 68 χόμα 4.3 Δομό τοπολογύασ δικτύου 68 χόμα 5.1 Περιπτώςεισ λόψησ απόφαςησ ςτην εκ νϋου ταυτοπούηςη 69 χόμα 6.2 τα 7 sec ϋχουν ανιχνευθεύ όλοι οι ϊνθρωποι και ο καθϋνασ ϋχει πϊρει από ϋνα ID.76 χόμα 6.3 τα 15 sec παρατηρούμε επιτυχώσ το ςύςτημα να αντιςτοιχεύ τα ύδια ID ςτουσ ςωςτούσ ανθρώπουσ 76 χόμα 6.4 τα 19 sec το ID 4 ϋχει χαθεύ και ο πρώην ID 4 ϋχει τώρα ID 6. Αυτό ϋγινε γιατύ το ID 5 εύχε δοθεύ πριν αλλϊ επειδό όταν λϊθοσ το ςύςτημα δεν ςυνϋχιςε να το αντιςτοιχεύ κϊπου. Και ο ID 4 επειδό χϊθηκε ςτην κϊμερα 3 λόγω τησ subtract_noise και μόλισ μπόκε ςτην κϊμερα 2 πόρε νϋο ID 76 χόμα 6.5 τα 33 sec παρατηρούμε επιτυχώσ το ςύςτημα να ςυνεχύζει από πριν να αντιςτοιχεύ τα ύδια ID ςτουσ ςωςτούσ ανθρώπουσ, με τον αρχικό ID 4 να ϋχει το ID 6 που το πόρε μετϊ τα 19 sec 77 χόμα 6.6 Λύγο πριν το τϋλοσ του βύντεο παρατηρούμε ότι από την αρχό του βύντεο το ςύςτημα μασ ϋχει κρατόςει την ςωςτό αντιςτούχηςη για τουσ τρεύσ από τουσ τϋςςερισ ςυνολικϊ ανθρώπουσ 77 Κατϊλογοσ πινϊκων Πύνακασ 1.1 Σεχνικϋσ παρακολούθηςησ και αντιπροςωπευτικϋσ εργαςύεσ 11 Πύνακασ 3.1 Παρϊδειγμα τρόπου ταξινόμηςησ των χαρακτηριςτικών.33 Πύνακασ 3.2 Αναπαρϊςταςη αποτελεςμϊτων τησ κύριασ διαδικαςύασ παρακολούθηςησ.46 Πύνακεσ 4.1, 4.2 Αναπαρϊςταςη First και last points. 64 Πύνακεσ 4.3, 4.4, 4.5 Κϊθε οντότητα τησ κϊμερασ 2 ϋχει ειςϋλθει ςτην κϊμερα 2 από την κϊμερα που ο αριθμόσ τησ εύναι ςτην πρώτη ςτόλη του πρώτου πύνακα xv

17 Κατάλογοσ ςχημάτων, πινάκων και προγραμμάτων από αριςτερϊ. Σο ύδιο ιςχύει και για το δύπλα πύνακα με την μόνη διαφορϊ εύναι ότι φαύνεται ςε ποια κϊμερα κατευθύνονται οι οντότητεσ από την 2. Ο τρύτοσ πύνακασ εύναι η ςυγχώνευςη των δύο.65 Πύνακασ 5.1 Παρϊδειγμα εξαγωγόσ τροχιϊσ / μονοπατιού για το ID Πύνακασ 6.1 Αποτελϋςματα ςυςτόματοσ με απλό διαδικαςύα παρακολούθηςησ και ϊντληςη ιςτογραμμϊτων από τον YCbCr χρωματικό χώρο.74 Πύνακασ 6.2 Αποτελϋςματα ςυςτόματοσ με εκτεταμϋνη διαδικαςύα παρακολούθηςησ και ϊντληςη ιςτογραμμϊτων από τον YCbCr χρωματικό χώρο.74 Πύνακασ 6.3 Αποτελϋςματα ςυςτόματοσ με απλό διαδικαςύα παρακολούθηςησ και ϊντληςη ιςτογραμμϊτων από τον RGB χρωματικό χώρο..75 Πύνακασ 6.4 Αποτελϋςματα ςυςτόματοσ με εκτεταμϋνη διαδικαςύα παρακολούθηςησ και ϊντληςη ιςτογραμμϊτων από τον RGB χρωματικό χώρο.75 Κατϊλογοσ προγραμμϊτων Πρόγραμμα 3.1 Αλγόριθμοσ παρακολούθηςησ ςτην εκμϊθηςη παραμϋτρων των καμερών.34 Πρόγραμμα 3.2 Αλγόριθμοσ παρακολούθηςησ ςτην κύρια διαδικαςύα.48 Πρόγραμμα 3.3 Αλγόριθμοσ Εύρεςησ κρύςιμων περιοχών.49 Πρόγραμμα 3.4 Αλγόριθμοσ αξιολόγηςησ και εύρεςησ χαρακτηριςτικού προσ παρακολούθηςη 53 Πρόγραμμα 3.5 Αλγόριθμοσ εύρεςησ ειςόδου εξόδου οντότητασ. 56 Πρόγραμμα 3.6 Αλγόριθμοσ εύρεςησ μεταςχηματιςμών Bounding Boxes 58 Πρόγραμμα 4.1 Αλγόριθμοσ εύρεςησ χϊρτη επικοινωνύασ μεταξύ δύο καμερών για τισ οντότητεσ που ειςϋρχονται ςτην κϊμερα αναφορϊσ.64 Πρόγραμμα 4.2 Αλγόριθμοσ ανακϊλυψησ τοπολογύασ δικτύου καμερών...66 Πρόγραμμα 5.1 Αλγόριθμοσ εξαγωγόσ ςυνολικών διαδρομών για κϊθε ανιχνευμϋνη οντότητα..71 xvi

18 xvii

19 Λϋξεισ κλειδιϊ Επεξόγηςη όρων που αναφϋρονται ςτo κεύμενο τησ εργαςύασ. Ακολουθύα / Διαδρομό / Σροχιϊ / Μονοπϊτι-ια: Διαδρομό τουσ κινούμενου αντικειμϋνου μϋςα ςε μια κϊμερα ό ςτο δύκτυο. Δύκτυο ό Δύκτυο καμερών: ύνολο καμερών ό υνολικόσ χώροσ επιτόρηςησ. Οντότητα, Κινούμενο αντικεύμενο: τη ςυγκεκριμϋνη εργαςύα εύναι ϊνθρωποσ. Κρύςιμεσ περιοχϋσ: Οι περιοχϋσ όπου μπορεύ ϋνα αντικεύμενο να ειςϋλθει ςτον χώρο επιτόρηςησ μιασ κϊμερασ ό να εξϋλθει από αυτόν. Κρύςιμεσ Ζώνεσ : Εύναι όρια ςτα ϊκρα τησ εικόνασ τα οπούα εύναι ζώνεσ ελϋγχου φυγόσ από την κϊμερα. ID: υγκεκριμϋνοσ ϊνθρωποσ και η τροχιϊ του μϋςα ςτο δύκτυο που ϋχει καταγραφεύ. Bounding Box ό BBox: εύναι το ελϊχιςτο ςε διαςτϊςεισ ορθογώνιο που περικλεύει την περιοχό που ανιχνεύτηκε. Δεδομϋνα εκμϊθηςησ: Σα δεδομϋνα που ϋχουν εξαχθεύ από την διαδικαςύα τησ εκμϊθηςησ παραμϋτρων των καμερών δικτύου. xviii

20 xix

21 Ειςαγωγή 1.1 Ειςαγωγό ςτην Τπολογιςτικό Όραςη Η ανύχνευςη και παρακολούθηςη κινούμενων αντικειμϋνων, ανθρώπων ό ϊλλων οντοτότων αποτελεύ ϋνα ςημαντικό κομμϊτι του τομϋα υπολογιςτικόσ όραςησ. Η ραγδαύα εξϋλιξη τησ τεχνολογύασ, και πιο ςυγκεκριμϋνα η αυξημϋνη διαθϋςιμη υπολογιςτικό ιςχύ ςε ςυνδυαςμό με το μειωμϋνο κόςτοσ των ςυςτημϊτων λόψησ, καταγραφόσ και αποθόκευςησ δεδομϋνων ϋχουν οδηγόςει το ενδιαφϋρον τησ επιςτημονικόσ κοινότητασ ςτην ανϊπτυξη ςυςτημϊτων που προςπαθούν να προςομοιώςουν την ανθρώπινη αντύληψη και νοημοςύνη ςε θϋματα ανύχνευςησ, αναγνώριςησ και ταυτοπούηςησ κινούμενων αντικειμϋνων. Όμωσ από την ςτιγμό που ακόμα και τώρα η λειτουργύα του ανθρώπινου εγκεφϊλου δεν ϋχει κατανοηθεύ πλόρωσ, η προςομούωςη αυτό λογικό εύναι να μην πληςιϊζει την αντύληψη ενόσ ανθρώπινου εγκεφϊλου, και ακόμα περιςςότερο να μην επιτυγχϊνεται ςτον χρόνο που χρειϊζεται. Ωςτόςο γύνεται ςημαντικό προςπϊθεια προςεγγύζοντασ το πρόβλημα με διϊφορεσ ευφυεύσ τεχνικϋσ επεξεργαςύασ ςόματοσ και, κϊνοντασ χρόςη νϋων υπολογιςτικών ςυςτημϊτων. Σα ςύγχρονα υπολογιςτικϊ ςυςτόματα χρόζουν ςημαντικών πλεονεκτημϊτων όπωσ ςτην ταχύτητα επεξεργαςύασ, αποθόκευςησ και ανϊκτηςησ πολύπλοκων δεδομϋνων ωςτόςο δεν πληςιϊζουν την πολυπλοκότητα λειτουργύασ του ανθρώπινου εγκεφϊλου που λειτουργεύ με διαφορετικϊ κριτόρια, με ελϊχιςτη πιθανότητα λϊθουσ ακόμα και ςε περιπτώςεισ όπου μια μηχανό θα όταν ακατόρθωτο να ανιχνεύςει και να παρακολουθόςει κϊποιο κινούμενο αντικεύμενο. Η ανθρώπινη αντύληψη ενεργοποιεύται υποςυνεύδητα και η πιθανότητα λϊθουσ εύναι ςυνόθωσ πολύ μικρό. Η αντύληψη αυτό δημιουργεύται μϋςω διαφόρων ερεθιςμϊτων που λαμβϊνουμε από τισ αιςθόςεισ μασ και ςτην ςυγκεκριμϋνη περύπτωςη μϋςω του αιςθητόριου οργϊνου τησ όραςησ ό ακόμα και ςε ςυνδυαςμό με κϊποιον όχο. Όταν αναφερόμαςτε ςτην υπολογιςτικό όραςη αυτό ορύζεται ςαν η ςυλλογό, επεξεργαςύα, ανϊλυςη και κατανόηςη δεδομϋνων από εικόνεσ μϋςω μύασ ό πολλαπλών καμερών. Όπωσ όμωσ αναφϋραμε και παραπϊνω η μεγϊλη διαφορϊ ϋγκειται ςτο γεγονόσ ότι ο ανθρώπινοσ εγκϋφαλοσ εύναι ςε θϋςη να αντιλαμβϊνεται ϊμεςα αυτϊ που βλϋπουν τα μϊτια, ενώ το υπολογιςτικό ςύςτημα θα πρϋπει να εκτελϋςει μια ςειρϊ από ςύνθετεσ λειτουργύεσ προκειμϋνου να φϋρει εισ πϋρασ μια διεργαςύα, και να δώςει κϊποια - 1 -

22 Ειςαγωγή αποτελϋςματα. Για να πϊρει, δηλαδό, μια απόφαςη θα πρϋπει να εξϊγει κϊποια χαρακτηριςτικϊ από τισ εικόνεσ που δϋχεται, βϊςει των οπούων θα μπορϋςει να διαχωρύςει, αναγνωρύςει και χαρακτηρύςει αυτϊ τα οπούα βλϋπει. τη προςπϊθεια λοιπόν ϋνα ςύςτημα να κατανοόςει αυτϊ που βλϋπει μϋςω τησ μηχανικόσ όραςησ, δϋχεται αρχικϊ τα δεδομϋνα ειςόδου, τα οπούα πριν από το ςτϊδιο τησ επεξεργαςύασ τουσ δεν ϋχουν κϊποια χρηςιμότητα για την μηχανό. Για μια οποιαδόποτε μηχανό οι εικόνεσ εύναι απλϊ νούμερα ςε πύνακεσ όπου κϊθε ςημεύο του πύνακα αναπαριςτϊ και ϋνα εικονοςτοιχεύο. Με βϊςη μόνο αυτό την πληροφορύα, ϋνα υπολογιςτικό ςύςτημα καλεύται να επιτελϋςει υψηλού επιπϋδου λειτουργύεσ για να κατανοόςει το περιβϊλλον του, και τα αντικεύμενα που βρύςκονται μϋςα ςε αυτό. Ανϊλογα τώρα και με το πρόβλημα που καλεύται να επιλύςει ϋνα τϋτοιο ςύςτημα η μεθοδολογύα και οι τεχνικϋσ που χρηςιμοποιούνται ποικύλουν. τη φϊςη αυτό ο ςχεδιαςτόσ του ςυςτόματοσ εύναι αυτόσ που αποφαςύζει τι θα χρηςιμοποιηθεύ. την ουςύα ϋνα ςύςτημα λϋμε ότι μπορεύ να αντιληφθεύ όταν μπορεύ να αποδώςει κϊποια ςημαςιολογικό ερμηνεύα ςε αυτό που βλϋπει. υνοψύζοντασ την ειςαγωγό, ςόμερα πολλϋσ διεργαςύεσ τεύνουν να αυτοματοποιηθούν πλόρωσ χωρύσ να χρειϊζονται επύβλεψη από τον ϊνθρωπο, ϋτςι μπαύνουμε ςτην εποχό του αυτοματιςμού, και προςπϊθειασ αύξηςησ τησ νοημοςύνησ των υπολογιςτικών ςυςτημϊτων ςτην υπηρεςύα του ανθρώπου. 1.2 Εφαρμογϋσ τησ ανύχνευςησ, παρακολούθηςησ και κατανόηςησ τησ ανθρώπινησ κύνηςησ Ολοϋνα και περιςςότερο οι εφαρμογϋσ ανύχνευςησ και παρακολούθηςησ ανθρώπινησ κύνηςησ αυξϊνονται. Μερικϋσ από αυτϋσ τισ εφαρμογϋσ εύναι ϊμεςα ςυνδεδεμϋνεσ με τον ϊνθρωπο ενώ ϊλλεσ ϋμμεςα. Όταν λϋμε ϊμεςα εννοούμε π.χ. μια ςυςκευό που δϋχεται χειρονομύεσ ςαν ειςόδουσ ενώ ϋμμεςα λϋμε για κϊποιο βύντεο που παρατηρεύται εκ των υςτϋρων πχ. μετϊ από μια ληςτεύα ςε τρϊπεζα. κα. Μερικϋσ από τισ εφαρμογϋσ αυτϋσ αναφϋρουμε παρακϊτω. Αςφϊλεια και Παρακολούθηςη χώρων υνόθωσ τα ςυςτόματα αςφαλεύασ τοποθετούνται ςαν μϋςω αποτροπόσ κϊποιου επύδοξου κακόβουλου ανθρώπου να κινηθεύ παρϊνομα. Ωςτόςο υπϊρχουν ςυςτόματα από εταιρύεσ που επιβλϋπονται 24 ώρεσ το 24ωρο και ϊλλα που απλϊ καταγρϊφουν. ε γενικϋσ γραμμϋσ ςτα ςυςτόματα παρακολούθηςησ εςωτερικών ό εξωτερικών χώρων μασ ενδιαφϋρει ο ϋλεγχοσ τησ κύνηςησ και η λόψη δρϊςεων ανϊλογα με τισ ςυνθόκεσ κύνηςησ, όπωσ το εύδοσ τησ κύνηςησ, η ταυτότητα του ανθρώπου που κινεύται, ο χώροσ ςτον οπούο γύνεται η κύνηςη κ.α. υχνϊ χρηςιμοποιούνται ςε χώρουσ που θεωρούνται ιδιαύτερα υψηλόσ ςημαςύασ ωσ προσ το θϋμα τησ αςφϊλειασ, όπωσ ςτρατιωτικϊ - 2 -

23 Ειςαγωγή κϋντρα, αεροδρόμια, τρϊπεζεσ κ.α. κοπόσ τησ ϋρευνασ γύρω από τον τομϋα αυτόν εύναι το ςύςτημα που δημιουργεύται να προλαμβϊνει κινδύνουσ και ςυμπεριφορϋσ που θα ϋχουν καταγραφεύ ςαν παρϊνομεσ ό μη ςύνηθεσ και ςημαύνοντασ ϋναν ςυναγερμό να χρύζουν προςοχόσ. Επύςησ χρηςιμοποιούνται ςε εφαρμογϋσ γύρω από καταγραφό και αποθόκευςη ςτατιςτικών, όπωσ καταγραφό πελατών που ειςόλθαν ςε ϋνα κατϊςτημα, ό καταγραφό αυτοκινότων (με ό χωρύσ αναγνώριςη πινακύδασ) που διϋρχονται κϊποιο ςημεύο. Επικοινωνύα ανθρώπου-μηχανόσ Πριν την ανϊπτυξη ςύγχρονων μεθόδων υπολογιςτικόσ όραςησ, η επικοινωνύα ανθρώπου - μηχανόσ γινόταν με τισ κλαςικϋσ ςυςκευϋσ ειςόδου-εξόδου (π.χ. πληκτρολόγιο / ποντύκι οθόνη / εκτυπωτόσ). Η υπολογιςτικό όραςη οδόγηςε ςε τρόπουσ επικοινωνύασ διαφορετικούσ από τουσ ςυνηθιςμϋνουσ, όπωσ π.χ. η επικοινωνύα μϋςω μιασ κϊμερασ με χειρονομύεσ ό διϊφορεσ κινόςεισ του ςώματοσ. (Microsoft kinect, Samsung galaxy s4). Τποςτόριξη ατόμων με ειδικϋσ ανϊγκεσ Η υπολογιςτικό όραςη μπορεύ να φανεύ ιδιαύτερα χρόςιμη ςτην υποςτόριξη ατόμων με ειδικϋσ ανϊγκεσ. το πεδύο τησ επικοινωνύασ ανθρώπου-μηχανόσ ϋχουν όδη αναπτυχθεύ ςυςτόματα για την υποςτόριξη κατϊλληλων τρόπων επικοινωνύασ, όπωσ η κατανόηςη τησ νοηματικόσ γλώςςασ κ.α. Πρόςφατα μϋςω γυαλιών που περιελϊμβαναν μηχανιςμό αναγνώριςησ κύνηςησ τησ ύριδασ του ματιού κατϊφερε παραπληγικόσ χωρύσ χϋρια να παύξει το γνωςτό παιχνύδι Angry birds. Ρομποτικϋσ εφαρμογϋσ Ο τομϋασ τησ ρομποτικόσ ςυμβαδύζει με τον τομϋα τησ υπολογιςτικόσ όραςησ και αμϋτρητεσ εφαρμογϋσ ϋχουν υλοποιηθεύ ςτην προςπϊθεια του ανθρώπου να καταςκευϊςει ρομπότ που θα προςομοιώνουν την ανθρώπινη ςυμπεριφορϊ και αντύληψη. Ϊλεγχοσ του κυκλοφοριακού Ο ϋλεγχοσ του κυκλοφοριακού μπορεύ να γύνεται αυτόματα μϋςω ςυςτημϊτων παρακολούθηςησ δρόμων και να αλλϊζουν οι ςηματοδότεσ ανϊλογα με την ςυμφόρηςη από τα οχόματα. Επύςησ όδη χρηςιμοποιούνται εφαρμογϋσ για την καταγραφό παραβιϊςεων του κώδικα οδικόσ κυκλοφορύασ μϋςω αναγνώριςησ κα καταγραφόσ πινακύδων οχημϊτων

24 Ειςαγωγή Διαιτηςύα αθλημϊτων Με τον κατϊλληλα τοποθετημϋνο εξοπλιςμό η χρόςη υπολογιςτικόσ όραςησ μπορεύ να αποδειχθεύ ιδιαύτερα χρόςιμη κατϊ την λόψη κρύςιμων αποφϊςεων ςε περιπτώςεισ που το ανθρώπινο μϊτι δεν προλαβαύνει να ςυλλϊβει ολόκληρη την κύνηςη, εύτε ςε αθλόματα όπωσ το ποδόςφαιρο, εύτε ςε ςτύβο κ.α. Αυτό που μασ ενδιαφϋρει ςτισ περιςςότερεσ των περιπτώςεων εύναι το ςύςτημα να εξυπηρετεύ τον ϊνθρωπο, και όχι να ςυμβαύνει το αντύθετο. 1.3 Φαρακτηριςτικϊ (features) Η αλόθεια όμωσ εύναι ότι για να φτϊςει μια μηχανό ςε τϋτοιου επύπεδου εφαρμογϋσ όπωσ τισ παραπϊνω που αναφϋραμε ξεκινϊει από την εξαγωγό κϊποιων χαρακτηριςτικών χαμηλού επιπϋδου (low-level-features) όπωσ το χρώμα, υφό, ςχόμα κ.α. και ακολούθωσ ανεβαύνει επύπεδο και δύνει ςημαςιολογικό ερμηνεύα ςτο αποτελϋςματα του πρώτου επιπϋδου κοκ. Κϊποια από τα πιο βαςικϊ χαρακτηριςτικϊ χαμηλού επιπϋδου που αντλούν εφαρμογϋσ τησ υπολογιςτικόσ όραςησ εύναι τα εξόσ : Φρώμα : Σο Φρώμα μιασ εικόνασ ό περιοχόσ ενδιαφϋροντοσ αποτελεύ ύςωσ την πιο ϊμεςα εξαγόμενη πληροφορύα. Σο χρώμα μοντελοποιεύται ςυνόθωσ από το χρωματικό ιςτόγραμμα. Η εικόνα και κατϊ ςυνϋπεια και το βύντεο που αποτελεύται από ςυνεχό ροη εικόνων (καρϋ) μετατρϋπεται ςτον αντύςτοιχο χρωματικό μοντϋλο που μασ δύνει καλύτερα αποτελϋςματα κϊθε φορϊ εξαρτώμενο από την εφαρμογό και ςτην ςυνϋχεια εξϊγεται η χρωματικό πληροφορύα. Μερικϊ από τα χρωματικϊ μοντϋλα εύναι τα RGB, YCbCr, CIE, CIE L*a*b*, CMYK, HSV, HIS, N-rgb, CIE L*u*v* κ.α. Τφό : Η Τφό μιασ εικόνασ ό περιοχόσ ενδιαφϋροντοσ εύναι ϋνα μϋγεθοσ που ςυνδϋεται ϊμεςα με τισ εφαρμογϋσ υπολογιςτικόσ όραςησ καθώσ εύναι ϊμεςα ςυνδεδεμϋνη με την αντύληψη των αντικειμϋνων ακόμα και ςτον ϊνθρωπο. Για μια μηχανό που εξϊγει πληροφορύα υφόσ και μπορεύ να την ςυγκρύνει με δεύγματα από μια βϊςη δεδομϋνων μπορεύ να αντλόςει τερϊςτια πληροφορύα για το χώρο, αντικεύμενο ό οντότητα που βλϋπει. Σερϊςτιεσ βϊςεισ δεδομϋνων υπϊρχουν ςτο διαδύκτυο με δεύγματα υφόσ από διϊφορα περιβϊλλοντα. Ένασ από τουσ πιο γνωςτούσ τρόπουσ ϊντληςησ πληροφορύασ υφόσ εύναι τα φύλτρα Gabor filters. χόμα : Σο ςχόμα ενόσ αντικειμϋνου μπορεύ να μοντελοποιηθεύ με πολλούσ τρόπουσ ανϊλογα με την εφαρμογό και τα ζητούμενα όπωσ πχ με τισ ακμϋσ, το εμβαδό, τη θϋςη κλπ. Σο περύγραμμα επύςησ μπορεύ να θεωρηθεύ ςαν χαρακτηριςτικό του ςχόματοσ. Επύςησ από το περύγραμμα μπορούν να εξαχθούν - 4 -

25 Ειςαγωγή και περιςςότερα χαρακτηριςτικϊ υψηλότερου επιπϋδου π.χ. Μόκοσ περιγρϊμματοσ κεφαλιού ςτην αναγνώριςη ανθρώπων μϋςω ανθρώπινησ ςιλουϋτασ. Κύνηςη : Η κύνηςη αποτελεύ πολύ ςημαντικό γνώριςμα για τισ περιςςότερεσ εφαρμογϋσ τησ παρακολούθηςησ, εξϊγεται από δύο ό παραπϊνω καρϋ και ενώ ςτην ουςύα εύναι η θϋςη ςημεύων (κϋντρων μϊζασ τισ περιςςότερεσ φορϋσ) ςε ϋναν πύνακα. Πολλϋσ μϋθοδοι ϋχουν προταθεύ για την εκτύμηςη και πρόβλεψη τησ κύνηςησ των αντικειμϋνων μϋςω γραμμικών και μη-γραμμικών μεθόδων, με ό χωρύσ εκτύμηςη θορύβου ώςτε η παρακολούθηςη να γύνεται αποτελεςματικϊ. Πρότυπα : Η εξαγωγό προτύπων αντύ χαρακτηριςτικών εύναι μια τακτικό που ακολουθεύται ςε κϊποιεσ από τισ κατηγορύεσ εφαρμογών όπωσ η αναγνώριςη χειρονομιών ό αναγνώριςη ανθρώπινησ ςιλουϋτασ, τα οπούα ςτη χρηςιμοποιούνται αυτούςια, μεταςχηματιςμϋνα (μεγϋθυνςη, ςμύκρυνςη, περιςτροφό) ό και παραμορφωμϋνα ςε διαδικαςύεσ εντοπιςμού και αναγνώριςησ. ε κϊθε περύπτωςη τα χαρακτηριςτικϊ εξϊγονται μετϊ από μελϋτη και ανϊλογα την εφαρμογό. Διαφορετικϊ χαρακτηριςτικϊ θα εξϊγουμε όταν θϋλουμε να αναγνωρύςουμε ϋναν πεζό που διαςχύζει μια διϊβαςη, και ϊλλα όταν θϋλουμε να καταμετρόςουμε πόςα αυτοκύνητα εύναι ςταματημϋνα ςε κϊποιο φανϊρι. 1.4 τϊδια ανϊλυςησ προβλόματοσ Σα ςτϊδια που μπορεύ να αναλυθεύ μια τϋτοιου εύδουσ εφαρμογό όπωσ αυτόν που μελετϊμε και πρόκειται να ςχεδιϊςουμε παρουςιϊζονται παρακϊτω. Ωςτόςο για να υλοποιηθεύ το καθϋνα από αυτϊ ϋχουν προταθεύ διϊφορεσ τεχνικϋσ και αλγόριθμοι. Οι οπούοι μπορούν να χρηςιμοποιηθούν αυτούςιοι ό με διϊφορουσ ςυνδυαςμούσ που θα επιφϋρουν και τα επιθυμητϊ αποτελϋςματα. Ο εντοπιςμόσ και εξαγωγό κινούμενων ανθρώπινων μορφών από ακολουθύεσ βύντεο εύναι μια από τισ πιο ενεργϋσ περιοχϋσ ϋρευνασ ςτο τομϋα τησ υπολογιςτικόσ όραςησ. κοπόσ τησ εύναι να ανιχνεύει, να αναγνωρύζει και να παρακολουθεύ την ανθρώπινη δραςτηριότητα ςε ακολουθύεσ εικόνων που περιλαμβϊνουν ανθρώπουσ ανϊμεςα ςε ανθρώπουσ ό ϊλλα κινούμενα αντικεύμενα

26 Ειςαγωγή την ςυγκεκριμϋνη διπλωματικό εργαςύα τα κυριότερα ςτϊδια εύναι τα παρακϊτω Σην ανύχνευςη κϊθε ανθρώπου που κινεύται μϋςα ςτο δύκτυο των καμερών.(detection) Σην παρακολούθηςη κϊθε ανθρώπου που κινεύται μϋςα ςτο δύκτυο των καμερών. (TRACKING) H αντιςτοιχύα των μονοπατιών των ανθρώπων ςτο δύκτυο καμερών ϋτςι ώςτε να ϋχουμε τισ τροχιϋσ τουσ μϋςα ςτο δύκτυο. (RE-IDENTIFICATION / MATCHING) Η ανακϊλυψη τησ τοπολογύασ του δικτύου καμερών (CAMERA NETWORK TOPOLOGY) Ακολουθεύ μια ςυνοπτικό παρουςύαςη των βημϊτων ενώ ςε επόμενα κεφϊλαια θα αςχοληθούμε εκτενώσ με το καθϋνα. 1.5 Ανύχνευςη Για να εύμαςτε πιο ακριβεύσ όταν αναφερόμαςτε ςτο ςτϊδιο τησ ανύχνευςησ πρϋπει να πούμε ότι περιλαμβϊνει την οπτικοπούηςη τησ ςιλουϋτασ του αντικειμϋνου αλλϊ και την ιδιότητϊ του να κινεύται μϋςα ςτο δύκτυο. Η ανύχνευςη ϋχει να κϊνει με τον διαχωριςμό του κινούμενου αντικειμϋνου που βρύςκεται ςτο προςκόνιο από το φόντο (background) και για το οπούο ενδιαφερόμαςτε. Ένασ αλγόριθμοσ πρϋπει να εύναι εύρωςτοσ ςτον θόρυβο και ςτισ αλλαγϋσ του φόντου (όπωσ π.χ. Παρκαριςμϋνα αυτοκύνητα που φεύγουν), του φωτιςμού (εύτε εύναι ςταδιακόσ εύτε ξαφνικόσ) και ςτισ κινόςεισ τησ κϊμερασ αλλϊ και ςτα υψηλόσ ςυχνότητασ κινούμενα αντικεύμενα του φόντου όπωσ κλαδιϊ δϋντρων, κύματα θϊλαςςασ Η αφαύρεςη του φόντου εύναι μια ευρϋωσ χρηςιμοποιούμενη τεχνικό για μια προςϋγγιςη ςτην ανύχνευςη κινούμενων αντικειμϋνων ςε βύντεο από ςτατικϋσ κϊμερεσ. τισ βαςικϋσ μεθόδουσ [17] το μοντϋλο του φόντου εύναι μια εικόνα χωρύσ κανϋνα αντικεύμενο ενδιαφϋροντοσ, ωςτόςο ϋχουν προταθεύ και πιο περύπλοκα μοντϋλα καθώσ τα απλϊ τυγχϊνουν να δουλεύουν ικανοποιητικϊ μόνο κϊτω από περιοριςμϋνεσ ςυνθόκεσ. Μια από τισ πιο απλϋσ μεθόδουσ υλοποιεύται με διαφορϊ διαδοχικών καρϋ. Framei-framei-1 >Threshold - 6 -

27 Ειςαγωγή Οι ςυγκεκριμϋνεσ μϋθοδοι θϋτουν ςαν φόντο το προηγούμενο καρϋ ενώ λειτουργούν ςε ςυγκεκριμϋνεσ περιπτώςεισ όπου πρϋπει να μελετϊτε πρώτα η ταχύτητα του κινούμενου αντικειμϋνου καθώσ και ο ρυθμόσ καταγραφόσ τησ κϊμερασ. Καθώσ αν το κινούμενο αντικεύμενο κινεύται πολύ αργϊ, με αυτόν την τεχνικό ποτϋ δεν θα ανιχνευθεύ, και το ςύςτημα θα το βλϋπει ςαν αντικεύμενο του φόντου. Σο ύδιο ςυμβαύνει και με τον ρυθμό καταγραφόσ τησ κϊμερασ, όςο μεγαλύτεροσ το προηγούμενο καρϋ δεν θα διαφϋρει από το παρόν και ϋτςι το κινούμενο αντικεύμενο πϊλι θα φαύνεται ότι ανόκει ςτο φόντο. Επύςησ πρϋπει να υπϊρχει μεγϊλη ευαιςθηςύα ςτο κατώφλι ώςτε τα εικονοςτοιχεύα του κινούμενου αντικειμϋνου με την παραμικρό διαφορϊ να εκφρϊζονται ςτο προςκόνιο. ε μια ϊλλη μϋθοδο αντύ του προηγουμϋνου καρϋ μπορεύ να τεθεύ ςαν φόντο το μϋςο ό το διϊμεςο καρϋ [19] (μϋςη τιμό ό διϊμεςη) από n προηγούμενα. Ενώ ςτην [20] προτεύνεται ϋνα μοντϋλο λόψησ του διϊμεςου καρϋ αλλϊ τώρα προερχόμενο από μια υπό-δειγματοληψύα των n προηγουμϋνων, ενώ αυτόσ ο ςυνδυαςμόσ φαύνεται να εύναι πιο ςταθερόσ για το μοντϋλο του φόντου. Η ςυγκεκριμϋνη τεχνικό ειδικϊ με την χρόςη του διϊμεςου καρϋ ϋχει αποδειχθεύ ότι μπορεύ να ανταγωνιςτεύ ςτα αποτελϋςματα πολύ πιο πολύπλοκεσ τεχνικϋσ καθώσ εύναι εύρωςτη ςτον θόρυβο και γενικϊ ςτισ αλλαγϋσ του μοντϋλου του φόντου. Σο μόνο που εύναι πρόβλημα ςτην λόψη του διϊμεςου εύναι η κατανϊλωςη μνόμησ καθώσ χρειαζόμαςτε να αποθηκεύουμε τα τελευταύα n καρϋ. την [18] ϋχει προταθεύ η μοντελοπούηςη του υποβϊθρου φόντου (background) να γύνεται ςε κϊθε εικονοςτοιχεύο ξεχωριςτϊ. Η ιδϋα εύναι να ταιριϊξει ςτισ τελευταύεσ καταγεγραμμϋνεσ τιμϋσ ενόσ pixel μια γκαουςιανό ςυνϊρτηςη πυκνότητασ πιθανότητασ, και για να επιτευχθεύ αντιςτοιχεύ ςε κϊθε εικονοςτοιχεύο ϋναν τρϋχον μϋςο (running Gaussian average) και μια τυπικό απόκλιςη για κϊθε κανϊλι χρώματοσ. Σϋλοσ υπολογύζεται η διαφορϊ με το νϋο καρϋ. Οι ςτατιςτικϋσ μϋθοδοι υπολογύζουν ςτατιςτικϊ μεμονωμϋνων εικονοςτοιχεύων ό μιασ ομϊδασ από εικονοςτοιχεύα και χρηςιμοποιούν την πληροφορύα για να ταξινομόςουν περιοχϋσ μιασ εικόνασ ωσ περιοχϋσ που ανόκουν ςτο φόντο ό ςτο προςκόνιο. υχνϊ χρηςιμοποιούνται γκαουςιανϋσ για την μοντελοπούηςη ξεχωριςτϊ κϊθε εικονοςτοιχεύου και ςτη ςυνϋχεια χρηςιμοποιεύται μια δυναμικό διαδικαςύα προςϋγγιςησ για την ενημϋρωςη του μοντϋλου. ε πολλϊ ςυςτόματα κατϊ την διϊρκεια καταγραφόσ πολλϊ αντικεύμενα μπορούν να εμφανιςτούν ςε μια θϋςη ό περιοχό ενόσ εικονοςτοιχεύου μιασ εικόνασ. Όταν αυτό οφεύλεται ςε μια μόνιμη αλλαγό ςτην γεωμετρύα του μοντϋλου του φόντου, όλα τα ςυςτόματα αργϊ η γρόγορα θα υιοθετόςουν την τιμό και θα την θϋςουν ςαν τιμό του μοντϋλου του φόντου. Ωςτόςο όμωσ μερικϋσ φορϋσ οι αλλαγϋσ ςτο μοντϋλο του φόντου δεν εύναι μόνιμεσ και εμφανύζονται ςε ρυθμό γρηγορότερο από αυτόν τησ ανανϋωςησ του - 7 -

28 Ειςαγωγή μοντϋλου του φόντου. Παρϊδειγμα ςε αυτό το πρόβλημα εύναι το εξόσ, μια κϊμερα που επιτηρεύ ϋνα κτόριο και μπροςτϊ από το κτόριο βρύςκεται ϋνα δϋντρο, τότε ςε κϊποια περιοχό τησ εικόνασ κϊποια από τα εικονοςτοιχεύα θα δεύχνουν ςε κλαδιϊ δϋντρου, ςε φύλλα δϋντρου αλλϊ και το κτόριο. Άλλο τϋτοιο παραδεύγματα μπορούν εύκολα να παρουςιαςθούν ςε περιπτώςεισ βροχόσ, χιονόπτωςησ, κυμϊτων θαλϊςςησ κ.α. την [21] οι Grimson και Stauffer προτεύνουν μια μοντελοπούηςη φόντου πολλαπλών τιμών για μεταβαλλόμενα φόντα. Αναπαριςτούν την τιμό του κϊθε εικονοςτοιχεύου με ϋνα μύγμα γκαουςιανών (Mixture of Gaussians). την [22] οι A. Elgammal, D. Hanvood, και L.S. Davis προτεύνουν μια μϋθοδο μοντελοπούηςησ τησ κατανομόσ του μοντϋλου του φόντου που θα προϋρχεται από ϋνα μη παραμετρικό μοντϋλο βαςιςμϋνο ςε εκτύμηςη πυκνότητασ πυρόνα (Kernel Density Estimation) από τα n αποθηκευμϋνα προηγούμενα φόντα. 1.6 Κατηγοριοπούηςη Η κατηγοριοπούηςη του αντικειμϋνου [24,25,26] εύναι ςημαντικό ςτισ περιπτώςεισ όπου υπϊρχουν περιςςότερα από ϋνα κινούμενα αντικεύμενα. Μερικϋσ φορϋσ η κατηγοριοπούηςη ϋχει να κϊνει με τη διαφοροπούηςη μεταξύ αντικειμϋνων και ανθρώπων, όπωσ για παρϊδειγμα η κύνηςη αυτοκινότων και πεζών. Σα αντικεύμενα κατηγοριοποιούνται ςυνόθωσ με βϊςη δύο κριτόρια: το ςχόμα και το εύδοσ τησ κύνηςησ που ανιχνεύθηκε. Η κατηγοριοπούηςη με βϊςη το ςχόμα όγκο, εμβαδό, ςκελετό χρηςιμοποιεύται κυρύωσ για τη διαφοροπούηςη μεταξύ αντικειμϋνων διαφορετικού ςχόματοσ, όγκου ό μορφόσ, όπωσ αυτοκύνητα, ϊνθρωποι, ζώα. Εύναι ςημαντικό να γύνεται κατηγοριοπούηςη ανϊλογα το πρόβλημα πϊντα. Πχ όταν θϋλουμε να καταγρϊψουμε πόςοι ϊνθρωποι ειςόλθαν ςε ϋνα χώρο πρϋπει να μην προςμετρούνται και τα κατοικύδια που ϋχουν μαζύ τουσ. Ή επύςησ όταν θϋλουμε να καταγρϊψουμε πόςα αυτοκύνητα περνούν καθημερινϊ από ϋναν δρόμο, δεν πρϋπει να προςμετρόςουμε ποδηλϊτεσ, μηχανϋσ κ.α. Εκεύ ςυνόθωσ με ϋνα κατώφλι ςτο εμβαδό των κινούμενων αντικειμϋνων γύνεται μια γρόγορη απαλοιφό όςων δεν χρειαζόμαςτε. Επύςησ με ςκελετικϋσ αναπαραςτϊςεισ μπορούμε να απομονώςουμε τισ οντότητεσ που χρειαζόμαςτε. Ένα ςημαντικό πρόβλημα ςτην κατηγοριοπούηςη εύναι ότι διαφορετικό μορφό ϋχει ϋνασ ϊνθρωποσ που περπατϊ και ϊλλη κϊποιοσ που ςϋρνεται. Επύςησ κατηγοριοπούηςη μπορεύ να γύνει με ανϊλυςη του εύδουσ τησ κύνηςησ βϊςη περιοδικότητασ που μπορεύ να χρηςιμοποιηθεύ για διαφοροπούηςη μεταξύ αντικειμϋνων ενδιαφϋροντοσ. Ακόμα καλύτερα ϋνασ ςυνδυαςμόσ αυτών μπορεύ να δώςει καλύτερα αποτελϋςματα. Σα παραπϊνω δύο κριτόρια εύναι για κατηγοριοπούηςη και όχι ταυτοπούηςη. Δηλαδό μπορούμε να διακρύνουμε αν κϊποιο αντικεύμενο εύναι ϊνθρωποσ ό αυτοκύνητο ό κϊποιο ζώο από τα παραπϊνω κριτόρια, αλλϊ δεν εύναι και ικανϊ - 8 -

29 Ειςαγωγή κριτόρια για ταυτοπούηςη μεταξύ δύο ανθρώπων. Για μεγαλύτερη εγκυρότητα ςτα αποτελϋςματα μασ υπϊρχουν πολλϊ χαρακτηριςτικϊ γνωρύςματα, όπωσ αναφϋραμε και ςτο 1.3, που ϋχουν τα αντύςτοιχα βϊρη ςτην εξαγωγό των αποτελεςμϊτων. 1.7 Παρακολούθηςη Αφού το αντικεύμενο ενδιαφϋροντοσ ϋχει ανιχνευθεύ και κατηγοριοποιηθεύ καταλλόλωσ η ακόλουθη διαδικαςύα εύναι η διαδικαςύα τησ παρακολούθηςησ. Η παρακολούθηςη ενόσ αντικειμϋνου [27] εύναι ϋνα ςημαντικό κομμϊτι ςτην υπολογιςτικό όραςη. Εύναι αναγκαύα ςε ςυςτόματα που χρειϊζονται το ιςτορικό τησ κύνηςησ που καταγρϊφεται για περαιτϋρω ανϊλυςη και εξαγωγό ςυμπεραςμϊτων. Η παρακολούθηςη ςτην πιο απλό τησ μορφό ϋχει να κϊνει κυρύωσ με την γνώςη για την διαδρομό που ακολουθεύ το αντικεύμενο ενδιαφϋροντοσ όςο αυτό βρύςκεται ςτην ςκηνό, και ςχετύζεται ϊμεςα με την επεξεργαςύα των χαρακτηριςτικών που εξϊγονται από τισ περιοχϋσ ενδιαφϋροντοσ. Σα προβλόματα ςτην παρακολούθηςη ϋχουν να κϊνουν με αλλαγϋσ ςτον φωτιςμό των αντικειμϋνων ενδιαφϋροντοσ ό του ςκηνικού, απόκρυψη του αντικειμϋνου ενδιαφϋροντοσ από ϊλλα αντικεύμενα η από αντικεύμενα που ανόκουν ςτο ςκηνικό ακόμα και αναταρϊξεισ τησ κϊμερασ. Επύςησ γύνεται επιπλϋον πιο πολύπλοκη διαδικαςύα αν λϊβουμε υπόψη το πόςη πληροφορύα χϊνεται από την απεικόνιςη ενόσ 3D ςκηνικού ςε μια 2D εικόνα. Επύςησ ο θόρυβοσ, η ακανόνιςτη ςυμπεριφορϊ των αντικειμϋνων κ.α. πολλϊ επιβαρύνουν το πρόβλημα μασ. Οι αλγόριθμοι παρακολούθηςησ ποικύλουν ανϊλογα με την εφαρμογό, ϊλλοι χρηςιμοποιούνται για καταγραφό μονοπατιών ςτην αυτοματοποιημϋνη παρακολούθηςη χώρων, ϊλλοι για παρακολούθηςη χειρονομιών και ανϊλυςη ςυμπεριφορών, εκφρϊςεων του προςώπου, αλληλεπύδραςησ με τον ϊνθρωπο, αυτόματουσ πιλότουσ ςε οχόματα κ.α. Επύςησ οι τεχνικϋσ που χρηςιμοποιούνται ποικύλουν καθώσ τα προβλόματα που υπϊρχουν ςτον πραγματικό κόςμο εύναι πολλϊ π.χ. ϊλλη τεχνικό θα χρηςιμοποιηθεύ για παρακολούθηςη ενόσ ατόμου ςε ϋνα δρόμο και ϊλλη όταν θϋλουμε να παρακολουθόςουμε ϋνα ϊτομο ςε ϋνα εμπορικό κϋντρο με μεγϊλη ςυμφόρηςη, όπου θα υπϊρχουν επικαλύψεισ από ϊλλα ϊτομα, και ϊλλα εμπόδια που θα μπαύνουν ανϊμεςα από την κϊμερα και το αντικεύμενο ενδιαφϋροντοσ. την παρακολούθηςη ςαν αντικεύμενο ενδιαφϋροντοσ μπορεύ να εύναι οποιοδόποτε αντικεύμενο ϋχουμε θεωρόςει ότι χρύζει περαιτϋρω ανϊλυςησ. Για παρϊδειγμα οι βϊρκεσ ςτην θϊλαςςα, ό τα ψϊρια μϋςα ςε ϋνα ενυδρεύο. το ςχόμα 1.1 παρουςιϊζονται μερικού τρόποι αναπαρϊςταςησ των κινούμενων αντικειμϋνων ενώ ςτισ παρακϊτω γραμμϋσ αναλύεται το ϋνα ϋνα ξεχωριςτϊ

30 Ειςαγωγή ημεύο : Σο αντικεύμενο ενδιαφϋροντοσ μπορεύ να αναπαραςταθεύ από ϋνα ςημεύο [28] (χόμα 1.1(α)) ό από ϋνα ςύνολο ςημεύων [29].(χόμα 1.1(β)) Γεωμετρικό ςχόμα : Σο αντικεύμενο ενδιαφϋροντοσ μπορεύ να αναπαραςταθεύ από ϋνα ορθογώνιο που το περικλεύει [30]. (χόμα 1.1(γ)) ιλουϋτα ό περύγραμμα : Σο αντικεύμενο ενδιαφϋροντοσ μπορεύ να αναπαραςταθεύ από την ςιλουϋτα του[31]. (χόμα 1.1(ζ),(η),(θ)) Αρθρωτϊ μοντϋλα : Σα αρθρωτϊ μοντϋλα αποτελούνται από μϋρη ςώματοσ ςυνδεδεμϋνα μεταξύ τουσ, και για καλύτερη αναπαρϊςταςη τουσ εμφανύζονται ωσ κυλινδρικϊ ςχόματα. (χόμα 1.1(ε)) κελετικϊ μοντϋλα : Σα ςκελετικϊ μοντϋλα (χόμα1.1(ςτ)) μπορούν να εξαχθούν από την ςιλουϋτα [32], ενώ μπορούν να χρηςιμοποιηθούν και για κατηγοριοπούηςη των αντικειμϋνων. χόμα 1.1 Αναπαρϊςταςη κινούμενων αντικειμϋνων Τπϊρχουν πολλού τρόποι αναπαρϊςταςησ χαρακτηριςτικών εμφϊνιςησ των αντικειμϋνων. Πυκνότητα πιθανότητασ εμφϊνιςησ του αντικειμϋνου. Οι εκτιμόςεισ πυκνότητασ πιθανότητασ εμφϊνιςησ του αντικειμϋνου μπορεύ να εύναι εύτε παραμετρικϋσ, όπωσ γκαουςιανϋσ [33] καθώσ και ϋνα μύγμα από γκαουςιανϋσ [34] ό μη παραμετρικϋσ, όπωσ πϊρζεν παρϊθυρα ( Parzen windows ) [35] και τα ιςτογρϊμματα [36]. Οι πυκνότητεσ πιθανότητασ των χαρακτηριςτικών εμφϊνιςησ αντικειμϋνου ( χρώμα, υφό ) μπορούν να υπολογιςτούν από τισ περιοχϋσ εικόνων που καθορύζονται από τα πρότυπα ςχόματα (εςωτερικό περιοχό μιασ ϋλλειψησ ό περύγραμμα). Επύςησ τα πρότυπα ςχηματύζονται χρηςιμοποιώντασ γεωμετρικϊ ςχόματα και ςιλουϋτεσ [37]

31 Ειςαγωγή Οι τεχνικϋσ τησ παρακολούθηςησ [27] μπορούν να διαχωριςτούν όπωσ παρακϊτω ςτο ςχόμα 1.2: χόμα 1.2 Σεχνικϋσ παρακολούθηςησ τον πύνακα 1.1 παρακϊτω παρουςιϊζονται μερικϋσ αντιπροςωπευτικϋσ εργαςύεσ πϊνω ςτην κϊθε μια μϋθοδο. Κατηγορύα Αντιπροςωπευτικό εργαςύα Point Tracking Deterministic methods MGE tracker [38] GOA tracker [39] Statistical methods Kalman filter [40] JPDAF [41] PMHT [42] Kernel Tracking Template and Density based Mean shift [36] appearance models KLT [43] Layering [44] Multi-view appearance models Eigentracking [45] SVM tracker [46] Silhouette Tracking Contour evolution State space models [47] Variational methods [48] Heuristic methods [49] Matching Shapes Hausdorff [50] Hough Transform [51] Histogramm [52] Πύνακασ 1.1 Σεχνικϋσ παρακολούθηςησ και αντιπροςωπευτικϋσ εργαςύεσ

32 Ειςαγωγή 1.8 Εύδοσ προβλόματοσ Σο πρώτο βόμα ςε τϋτοιου εύδουσ προβλόματα όπωσ το παρόν που μελετϊμε προώποθϋτει την ανύχνευςη του κινούμενου αντικειμϋνου. Κϊτι τϋτοιο όμωσ εύναι πολλϋσ φορϋσ αρκετϊ δύςκολο και οι ςημαντικότεροι λόγοι που δημιουργούν την εν λόγο δυςκολύα εύναι οι εξόσ: Απώλεια των πληροφοριών που προκαλούνται από την προβολό του τριςδιϊςτατου κόςμου ςε μια εικόνα δύο διαςτϊςεων Θόρυβοσ ςτην εικόνα που μπορεύ να οφεύλεται π.χ. ςε θρόιςμα των φύλλων, υλικό κϊμερασ, καπνόσ, ομύχλη κ.α. ύνθετη κύνηςη των αντικειμϋνων Μη ϊκαμπτη ό αρθρωτό φύςη των αντικειμϋνων Μερικό και πλόρεσ απόκρυψη του κινούμενου αντικειμϋνου από ϊλλα αντικεύμενα που παρεμβϊλλονται μεταξύ ςτόχου και κϊμερασ που χρύζουν και αυτϊ ταυτοπούηςησ Πολυπλοκότητα του ςχόματοσ των αντικειμϋνων Αλλαγϋσ φωτιςμού μεταξύ των ςκηνών Τψηλϋσ απαιτόςεισ υπολογιςμών κατϊ την εφαρμογό real time παρατόρηςησ Σα προαναφερθϋντα προβλόματα εύναι υπαρκτϊ ανεξαρτότου εφαρμογόσ. Παρακϊτω ςτα 1.8.1, 1.8.2, παρουςιϊζουμε κϊποιουσ διαχωριςμούσ που μπορούν να γύνουν ςε μια μελϋτη προβλόματοσ ςε δύκτυα καμερών τατικό και κινούμενη κϊμερα Μια ενδιαφϋρουςα περύπτωςη εμφανύζεται ςτισ εφαρμογϋσ ςτατικόσ κϊμερασ. Η ςκηνό ςε τϋτοιου εύδουσ εφαρμογϋσ καταγρϊφεται από ϋνα ςταθερό ςημεύο παρατόρηςησ με αποτϋλεςμα όλη η δρϊςη ςτισ εικόνεσ που καταγρϊφονται να οφεύλεται ςτη κύνηςη αντικειμϋνων. τα πλαύςια αυτϊ, ςχεδόν οποιαδόποτε αλλαγό ςτο ςκηνικό υποδεικνύει την ύπαρξη ενόσ κινούμενου αντικειμϋνου που θα μπορούςε να εντοπιςτεύ και ςτη ςυνϋχεια να παρακολουθηθεύ ςε ολόκληρη την ακολουθύα εικόνων. Δυςτυχώσ όμωσ, υπϊρχουν περιπτώςεισ όπου οι αλλαγϋσ ςτο ςκηνικό δεν οφεύλονται ςε αντικεύμενα ενδιαφϋροντοσ αλλϊ ςε ανεπιθύμητο θόρυβο. Για παρϊδειγμα αυτό ςυμβαύνει όταν παρουςιϊζονται ςταδιακϋσ ό απότομεσ αλλαγόσ ςτη φωτεινότητα, όταν ςυμβαύνουν μικρόσ τυχαύεσ η μη αλλαγόσ ςτο φόντο ό όταν η κϊμερα υπόκεινται ςε μικρϋσ δονόςεισ. Με βϊςη λοιπόν τα παραπϊνω, το αρχικό πρόβλημα εντοπιςμού των κινούμενων αντικειμϋνων μετατρϋπεται ςε πρόβλημα εντοπιςμού των κινούμενων αντικειμϋνων ενδιαφϋροντοσ, όπου ϊλλεσ αλλαγϋσ ςαν αυτϋσ που

33 Ειςαγωγή προαναφϋρθηκαν θεωρούνται αςόμαντεσ. Για τισ εφαρμογϋσ που μασ ενδιαφϋρουν ςτη περύπτωςη τησ ςτατικόσ κϊμερασ εύναι να διατηρεύ υψηλό ευαιςθηςύα ςτη παρουςύα ενόσ ςημαντικού αντικειμϋνου ςε ϋνα ςκηνικό ενώ παρϊλληλα να μειώνει την ευαιςθηςύα του ςτισ αλλαγϋσ φωτεινότητασ και τισ αςόμαντεσ αλλαγϋσ. Όςον αφορϊ τισ αλλαγϋσ φωτεινότητασ, θα δούμε πωσ ενώ οι ςταδιακϋσ αλλαγϋσ εύναι εύκολο να απορριφθούν με χρόςη κατϊλληλων μοντϋλων, οι απότομεσ αλλαγϋσ θα οδηγόςουν ςτην εμφϊνιςη ενόσ μεγϊλου κομματιού του φόντου ςτο προςκόνιο. Σϋτοιου εύδουσ περιπτώςεισ εύναι ιδιαύτερα ςημαντικϋσ ςτη περύπτωςη καταγραφόσ ςκηνών ςε εξωτερικό χώρο. τη περύπτωςη τησ κινούμενησ κϊμερασ, πϋρα από τισ προαναφερθεύςεσ δυςκολύεσ, θα πρϋπει αντιμετωπιςτεύ και η ςυνεχόσ κύνηςη του φόντου λόγω κύνηςησ του φακού. τισ εφαρμογϋσ αυτϋσ εύναι προφανϋσ πωσ η πολυπλοκότητα του προβλόματοσ εύναι ανϊλογη τησ πολυπλοκότητασ κύνηςησ τησ κϊμερασ, καθώσ απότομη ό ιςχυρό περιςτροφικό κύνηςη αλλϊζει ςε μεγϊλο βαθμό το ςκηνικό. τη περύπτωςη που παραπϊνω του ενόσ κινούμενα αντικεύμενα υπϊρχουν ςτη ςκηνό, το ςύςτημα θα πρϋπει να υπολογύςει τη ςχετικό ταχύτητα του κϊθε αντικειμϋνου με το φόντο ώςτε να εύναι ςε θϋςη να τα διακρύνει μεταξύ τουσ. Μια τϋτοια διαδικαςύα γύνεται ςαφώσ πιο δύςκολη ςτη περύπτωςη όπου τα αντικεύμενα ενδιαφϋροντοσ δεν κινούνται ςε μικρϋσ αποςτϊςεισ μεταξύ τουσ, δεν ϋχουν όμοιεσ ταχύτητεσ και παρουςιϊζουν μεγϊλεσ διαφορϋσ ςτα χρωματικϊ τουσ γνωρύςματα. Μια από τισ πιο δημοφιλεύσ μεθόδουσ για ανύχνευςη κύνηςησ με κινούμενη κϊμερα, όταν η τελευταύα κινεύται με ομαλό τρόπο και η δειγματοληψύα των εικόνων εύναι αρκετϊ μεγϊλη, εύναι ο υπολογιςμόσ τησ οπτικόσ ροόσ Εςωτερικού και εξωτερικού χώροι Επύςησ εκτόσ από τισ προηγούμενεσ δύο περιπτώςεισ ςτατικόσ ό κινούμενησ κϊμερασ ϋνα πρόβλημα μπορεύ να διαχωριςτεύ και με βϊςη την περιοχό επιτόρηςησ, εςωτερικόσ ό εξωτερικόσ χώρο. Οι δύο αυτού χώροι ϋχουν πολλϊ κοινϊ αλλϊ και ςημαντικϋσ διαφορϋσ. ε εξωτερικούσ χώρουσ υπϊρχουν παρϊγοντεσ όπωσ ο καιρόσ (ηλιοφϊνεια, ςύννεφα, ομύχλη), διαφορϋσ κατηγορύεσ κινούμενων αντικειμϋνων (αυτοκύνητα, ϊνθρωποι, ζώα) καθώσ και διϊφορα γεγονότα που προϋρχονται από ανθρώπινη δραςτηριότητα (καπνόσ, φωτιϊ, κοςμικό αναταραχό, τεχνητόσ φωτιςμόσ) που προςθϋτουν μεγαλύτερη πολυπλοκότητα ςτο πρόβλημα μασ. ε εςωτερικούσ χώρουσ, υπϊρχουν εξύςου ςημαντικού αλλϊ διαφορετικού παρϊγοντεσ από πριν. Όταν μιλϊμε για εςωτερικούσ χώρουσ κυρύωσ κϊνουμε ανύχνευςη και παρακολούθηςη ανθρώπων, ςημαντικό ρόλο παύζει ο φωτιςμόσ οπού από τετραγωνικό ςε τετραγωνικό μπορεύ να αλλϊξει λόγω πχ κϊποιου ϋντονου φωτιςμού ό ςκιϊσ, επύςησ υπϊρχει αρκετό επικϊλυψη (occlusion) μεταξύ των ανθρώπων καθώσ υπϊρχει ςυνεχόσ κύνηςη. υνόθωσ τα δύκτυα

34 Ειςαγωγή καμερών χωρύζονται ςε χαμηλόσ, μϋτριασ ό υψηλόσ ςυμφόρηςησ (low, medium και high complex networks) ανϊλογα με το πλόθοσ οντοτότων που επιτηρούν Δύκτυο καμερών με επικϊλυψη περιοχών ό μη. Αναφορικϊ επεκτεύνουμε την πολυπλοκότητα και διαφοροποιούμε τα προβλόματα ακόμα με ϋναν επιπλϋον χαρακτηριςτικό του δικτύου των καμερών. Μπορούμε να διαχωρύςουμε τα δύκτυα καμερών ςε δύκτυα με ό χωρύσ επικϊλυψη περιοχών. Αρχικϊ πρϋπει να ορύςουμε ότι δύο κϊμερεσ επικαλύπτονται όταν ϋνα κομμϊτι τουσ επιτηρεύ χώρο κοινό και ςτισ δύο. Αυτόσ ο διαχωριςμόσ πρϋπει να γύνεται καθώσ πρϋπει από πριν να μελετηθούν τα χαρακτηριςτικϊ που θα χρηςιμοποιηθούν για την αντιςτούχηςη μεταξύ των καμερών. ε δύκτυα με επικϊλυψη περιοχών πρϋπει να λαμβϊνεται υπόψη ότι ϋνα κινούμενο αντικεύμενο επιτηρεύται από δύο ό παραπϊνω κϊμερεσ και να αναγνωρύζονται οι μεταξύ τουσ ςυςχετιςμού, καθώσ η κϊθε κϊμερα επιτηρεύ το κϊθε αντικεύμενο από διαφορετικό οπτικό. ε δύκτυα χωρύσ επικϊλυψη περιοχών το κινούμενο αντικεύμενο επιτηρεύται από μια οπτικό ωςτόςο εδώ μπορεύ να βρεθεύ ϋναν ςυςχετιςμόσ τησ ϋνταςησ των χρωματικών ςυνιςτωςών μεταξύ των καμερών ( BTF Brightness Transfer Functions ) για τα χαρακτηριςτικϊ εμφϊνιςησ, ενώ η χώρο-χρονικό ανϊλυςη φαύνεται να αποτελεύ το πιο ςημαντικό κομμϊτι τησ διαδικαςύασ

35 Βαςικζσ διαδικαςίεσ- Ανίχνευςη 2.1 Ανύχνευςη - Ειςαγωγό Όπωσ προαναφϋραμε ςτο 1.5 η ανύχνευςη του αντικειμϋνου ενδιαφϋροντοσ εύναι ϋνα βαςικό ςτϊδιο ςτα προβλόματα που μελετϊμε. Μετϊ το πϋρασ τησ ανύχνευςησ θα ϋχουν εξαχθεύ οι περιοχϋσ ενδιαφϋροντοσ που ανόκουν ςε αντικεύμενα του προςκηνύου, που με τη ςειρϊ τουσ ειςϊγονται ςτο επόμενο επύπεδο ανϊλογα την εφαρμογό που μπορεύ να εύναι η κατηγοριοπούηςη, η παρακολούθηςη, ταξινόμηςη κ.α. Λογικό εύναι οι διαδικαςύεσ που ακολουθούν να εξαρτώνται ςε μεγϊλο βαθμό από τα αποτελϋςματα τησ ανύχνευςησ. Γενικϊ τα δεδομϋνα που εξϊγονται από την ανύχνευςη εύναι μϊςκεσ των αντικειμϋνων ενδιαφϋροντοσ και με βϊςη αυτϋσ τισ μϊςκεσ και την πληροφορύα που τισ ςυνοδεύει ο ςχεδιαςτόσ αντλεύ χαρακτηριςτικϊ των περιοχών αυτών φϋρνοντασ τισ μϊςκεσ ςε αντιπαρϊθεςη με το ύδιο το βύντεο. Ένα παρϊδειγμα παρουςιϊζεται παρακϊτω. ε μια απλό διαδικαςύα αφαύρεςησ του φόντου από το τρϋχον καρϋ ςτο χόμα 2.1(α) φαύνεται κϊποιο ςτιγμιότυπο του βύντεο που περιϋχει μια οντότητα. Σην ύδια χρονικό ςτιγμό ςτο χόμα 2.1(β) εύναι το τρϋχον φόντο που ϋχει μοντελοποιηθεύ από τουσ κατϊλληλουσ αλγορύθμουσ. ςτο χόμα 2.1(γ) φαύνεται η μϊςκα τησ οντότητασ για την ύδια χρονικό ςτιγμό ςε δυαδικό μορφό που προϋρχεται από μια επεξεργαςύα που θα αναλύςουμε αργότερα. Και τϋλοσ ςτο χόμα 2.1(δ) ϋχουμε τοποθετόςει το ςτιγμιότυπο του βύντεο πϊνω ςτην μϊςκα και ϋτςι μπορούμε να αντλόςουμε χαρακτηριςτικϊ μόνο από την περιοχό ενδιαφϋροντοσ και όχι το φόντο. (α) (β) (γ) (δ) χόμα 2.1 Αφαύρεςη φόντου, εξαγωγό χαρακτηριςτικών από ςιλουϋτα

36 Βαςικζσ διαδικαςίεσ- Ανίχνευςη Εύναι πολύ ςημαντικό ο αλγόριθμοσ που ςχεδιϊζεται να εύναι εύρωςτοσ ςε αλλαγϋσ του φόντου και του φωτιςμού, και ϊλλων παραγόντων που προαναφϋρθηκαν ςτο 1.5 και να προϋρχεται από πολύ καλό μελϋτη του περιβϊλλοντοσ που μελετϊτε. Π.χ. αν ο χώροσ που επιτηρεύται εύναι εξωτερικόσ ο αλγόριθμοσ πρϋπει να προςαρμόζεται κατϊλληλα ςε ςυνθόκεσ αλλαγόσ φωτιςμού καθώσ η μϋρα αλλϊζει, ό αλλαγϋσ από τεχνητούσ φωτιςμούσ. ε κϊποιον εςωτερικό χώρο θα μπορούςε να προςαρμοςτεύ κατϊλληλα ςε χώρουσ αλλαγόσ πρόςπτωςησ ςκιών από παρϊθυρα ό αλλαγϋσ φωτιςμού λόγω ϊνοιγμα και κλεύςιμο διακόπτη Ανύχνευςη με αφαύρεςη φόντου Η τεχνικό αυτό εύναι μύα δημοφιλόσ και απλό μϋθοδοσ για τον εντοπιςμό των κινούμενων αντικειμϋνων. Για την ανύχνευςη κινούμενου αντικειμϋνου κϊθε φορϊ αφαιρεύ το τρϋχον καρϋ από το μοντϋλο του φόντου, που μπορεύ να εύναι εύτε ςταθερό εύτε μεταβαλλόμενο ανϊλογα την μοντελοπούηςη που θα ακολουθεύ. Μετϊ από την αφαύρεςη ακολουθούν μια ςειρϊ διεργαςιών για εξομϊλυνςη των αποτελεςμϊτων ώςτε να εξυπηρετούν την εφαρμογό που ςχεδιϊζετε. την ουςύα όπωσ ϋχουμε προαναφϋρει ςτο 1.5 φόντο εύναι το ςκηνικό που επιτηρεύται χωρύσ να περιϋχει αντικεύμενο ενδιαφϋροντοσ, όμωσ αν το φόντο μασ εύναι ςταθερό ςε μια τϋτοια περύπτωςη η εφαρμογό μασ θα αποτυγχϊνει ςε μεγϊλεσ αλλαγϋσ φωτιςμού και δυναμικϊ περιβϊλλοντα που μπορεύ να αλλϊζουν με τον καιρό, ϋτςι ςυνόθωσ όταν χρηςιμοποιούνται τϋτοιου εύδουσ εφαρμογϋσ ςυνηθύζεται το μοντϋλο του φόντου να ανακτϊται ςε τακτϊ χρονικϊ διαςτόματα ϋτςι ώςτε οποιαδόποτε αλλαγό ςυμβεύ μϋςα ςε αυτό να ϋχει ενςωματωθεύ και ςτο ςύςτημα μασ. Αρχικϊ γύνεται ο υπολογιςμόσ τησ απόλυτησ διαφορϊσ του τρϋχον καρϋ από το μοντϋλο του φόντου ό το αντύθετο, ούτωσ η ϊλλωσ παύρνουμε το απόλυτο τησ διαφορϊσ. Δηλαδό ϋςτω ότι ϋχουμε Ν καρϋ για να βρούμε τα ϊτομα που κινούνται μεταξύ των καρϋ Ν-1 και Ν, δεν ϋχουμε παρϊ να υπολογύςουμε την απόλυτη διαφορϊ του N από το φόντο και να προκύψει ςαν ςτατικό (μαύρο) οτιδόποτε εύναι ακύνητο ενώ οτιδόποτε ϊλλο θα εύναι αντικεύμενο ενδιαφϋροντοσ. την ουςύα υπολογύζονται οι απόλυτεσ τιμϋσ τησ διαφορϊσ των τιμών των εντϊςεων των εικονοςτοιχεύων για κϊθε κανϊλι χρώματοσ. ε μύα τϋτοιου εύδουσ εφαρμογό, προβλόματα μπορεύ να προκύψουν όταν αλλϊζει ο καιρόσ (βροχό, χιόνι, χαλϊζι ό ομύχλη) ό ςτο ςκηνικό του φόντου προςτύθεται κϊτι που ανόκει πλϋον ςτο φόντο αλλϊ πριν δεν υπόρχε όπωσ π.χ. να κτιςτεύ ϋνα ςπύτι.. Ένα μειονϋκτημα εύναι ότι η ανϊκτηςη του νϋου φόντου θα πρϋπει να γύνεται γρόγορα ώςτε να μπορεύ να αντιμετωπύςει τισ αλλαγϋσ φωτιςμού και τισ αλλαγϋσ ςτο φόντο, όπωσ αλλαγϋσ του φωτιςμού λόγω αλλαγόσ τησ ώρασ ό λόγω ανούγματοσ του διακόπτη ςε κλειςτό χώρο, αλλαγϋσ

37 Βαςικζσ διαδικαςίεσ- Ανίχνευςη λόγω ανθρώπων που περπατούν ό λόγω αντικειμϋνων που φεύγουν από τη ςκηνό. Από την ϊλλη, η ανϊκτηςη θα πρϋπει να γύνεται αργϊ, ώςτε τα αντικεύμενα που κινούνται αργϊ να μην περιλαμβϊνονται ςτο φόντο, όπωσ ϋνασ ϊνθρωποσ που κοιμϊται. Η ταχύτητα λοιπόν, τησ ενημϋρωςησ εξαρτϊται από την εφαρμογό. Ανύχνευςη με αφαύρεςη προςϋγγιςησ μϋςησ ό διϊμεςησ τιμόσ φόντου Η ςυγκεκριμϋνη μϋθοδοσ χρειϊζεται παραπϊνω μνόμη ςαφώσ από την προηγούμενη καθώσ ςε κϊθε καρϋ που περνϊει αποθηκεύεται το τρϋχον μοντϋλο φόντου ςε μια ςτούβα. Ώςτε από κϊποια ςτιγμό και ύςτερα το φόντο να μοντελοποιεύται από την μϋςη ό διϊμεςη τιμό των αποθηκευμϋνων μοντϋλων που υπϊρχουν ςτην ςτούβα. Για ϋνα ςύςτημα που τρϋχει ςε πραγματικό χρόνο, το πρώτο καρϋ θϋτεται ςαν φόντο και όςο περνϊνε τα καρϋ η διαδικαςύα αρχύζει να λειτουργεύ πιο ομαλϊ καθώσ πχ ςτο 3 ο καρϋ θα ϋχουν αποθηκευτεύ όδη δύο μοντϋλα φόντου ςτην λύςτα οπότε ςτο 4 ο καρϋ το φόντο μπορεύ να υπολογιςτεύ από την μϋςη τιμό των δύο κ.ο.κ. Για ϋνα ςύςτημα που δεν τρϋχει ςε πραγματικό χρόνο μπορούμε να υπολογύςουμε την μϋςη ό διϊμεςη τιμό πχ. από τα αρχικϊ 20 καρϋ. Βϋβαια η καλύτερη προςϋγγιςη από τισ δύο εύναι αυτό τησ διϊμεςησ τιμόσ καθώσ όταν χρηςιμοποιεύται η μϋςη τιμό ςε ςκηνικϊ ϋντονησ ςυμφόρηςησ το φόντο ςιγϊ ςιγϊ μεταβϊλλεται αλλϊ όχι από πραγματικό αλλαγό αλλϊ επειδό για ώρα ςυγκεκριμϋνα εικονοςτοιχεύα δεν θα ϋχουν πϊρει την κανονικό τιμό που προϋρχεται από το φόντο αλλϊ την μϋςη τιμό των κινούμενων αντικειμϋνων που βρύςκονται ενδιϊμεςα τησ κϊμερασ και του φόντου. Ανύχνευςη με αφαύρεςη επιλεκτικϊ μεταβαλλόμενου μοντϋλου φόντου Όπωσ αναφϋραμε και πριν ςτην αρχό του μπορεύ να γύνεται αφαύρεςη του φόντου όμωσ επειδό η μϋθοδοσ ανύχνευςησ με ϋνα ςταθερό φόντο αποτυγχϊνει ςε πολλϋσ περιπτώςεισ χρειϊζεται το φόντο να ανανεώνεται ανϊ τακτϊ χρονικϊ διαςτόματα. Έτςι μπορούμε να ϋχουμε ϋνα μεταβαλλόμενο μοντϋλο του φόντου που θα υπακούει ςτο ακόλουθο τύπο. Βn+1=a*Fn+(1-a)*Bn Όπου Βn το τρϋχον φόντο, Βn+1 το επόμενο φόντο, Fn το τρϋχον καρϋ και α ο ρυθμόσ εκμϊθηςησ (learning rate)

38 Βαςικζσ διαδικαςίεσ- Ανίχνευςη Έτςι κϊθε καρϋ που περνϊ θα αποθηκεύει και λύγη πληροφορύα φόντου ςτο μοντϋλο φόντου, ϋτςι ώςτε αν πχ. ε εξωτερικό χώρο ϋρθει κϊποιοσ και παρκϊρει ϋνα αυτοκύνητο, μετϊ από λύγο το αυτοκύνητο θα ενςωματωθεύ ςτο φόντο. Αυτό που χρύζει ιδιαύτερησ ςημαςύασ εύναι ο ρυθμόσ εκμϊθηςησ α, πρϋπει να ορύζεται η ςτατικϊ ό δυναμικϊ ανϊλογα με το περιβϊλλον και την δυναμικό του Ανύχνευςη με χρόςη ςτατιςτικών μεθόδων Η ανύχνευςη με χρόςη ςτατιςτικών μεθόδων ϋχει ςαν αντιπροςωπευτικό μϋθοδο το μύγμα γκαουςιανών (MOG) [21] [53]. ε αυτϋσ τισ μεθόδουσ κϊθε εικονοςτοιχεύο τησ εικόνασ αναπαριςτϊται με ϋναν αριθμό από γκαουςιαννϋσ ςυναρτόςεισ ςυνόθωσ 3-5 αλλϊ ςυνόθωσ ο ςχεδιαςτό επιλϋγει ανϊλογα και με τουσ υπολογιςτικούσ πόρουσ που διαθϋτει. Η βαςικό ιδϋα εύναι ότι αυτϋσ οι τεχνικϋσ μοντελοποιούν ϋνα μοντϋλο φόντου πολλαπλών τιμών, παραμετρικό, ϋτςι ώςτε να εύναι εύρωςτο ςε καταςτϊςεισ θορύβου, ςκιών και αλλαγών φωτιςμού. Όλεσ μαζύ αθροιςμϋνεσ οι γκαουςιαννϋσ ςυναρτόςεισ δημιουργούν μύα ςυςςωρευτικό κατανομό πιθανότητασ. Για να καθοριςτεύ αν ϋνα εικονοςτοιχεύο εύναι μϋροσ του ςκηνικού το ςυγκρύνουμε με τισ αντύςτοιχεσ γκαουςςιανϋσ ςυναρτόςεισ. Εϊν η τιμό του βρύςκεται κοντϊ ςτη τυπικό απόκλιςη ενόσ ςτοιχεύου του φόντου, ςε επύπεδο μιασ τϊξησ μεγϋθουσ, θεωρεύται ωσ μϋροσ του. ε αντύθετη περύπτωςη, καταχωρεύται ωσ εικονοςτοιχεύο αντικειμϋνου ενδιαφϋροντοσ Μορφολογικού μεταςχηματιςμού Οι μορφολογικού μεταςχηματιςμού ςτην ουςύα εύναι η διαδικαςύα τησ μετϊεπεξεργαςύασ των δεδομϋνων που εξϊγονται από τισ παραπϊνω μεθόδουσ ώςτε να εξομαλυνθούν κατϊλληλα και να δώςουν τα τελικϊ αποτελϋςματα ςαν ειςόδουσ ςτα παραπϊνω επύπεδα μιασ εφαρμογόσ. Μορφολογικϊ αφαιρεύται θόρυβοσ από την κϊμερα ό τον καιρό, μπορούν να αφαιρεθούν περιοχϋσ που μετϊ από κατϊλληλη κατηγοριοπούηςη δεν εύναι αντικεύμενα ενδιαφϋροντοσ, καθώσ επύςησ γύνεται και εξομϊλυνςη των περιοχών ενδιαφϋροντοσ ώςτε να ϋχουμε τα καλύτερα δυνατϊ αποτελϋςματα όταν προχωρόςουμε ςτην εξαγωγό των χαρακτηριςτικών. Οι μορφολογικού μεταςχηματιςμού που μπορούν να εφαρμοςτούν εύναι αριθμητικϊ πολλού όπωσ dilation, erosion, closing, opening, διαςύνδεςη κοντινόσ γειτονύασ, αφαύρεςη περιοχών κ.α

39 Βαςικζσ διαδικαςίεσ - Παρακολοφθηςη 2.2 Παρακολούθηςη - Ειςαγωγό Αφού ϋχει γύνει η ανύχνευςη του αντικειμϋνου ενδιαφϋροντοσ ακολουθεύ η διαδικαςύα τησ παρακολούθηςησ. Ο ςκοπόσ τησ παρακολούθηςησ εύναι να παρϊγει μια τροχιϊ/ακολουθύα/μονοπϊτι του αντικειμϋνου ενδιαφϋροντοσ, καθώσ αυτό αλλϊζει θϋςη ςε κϊθε καρϋ που αυτό βρύςκεται υπό-επιτόρηςη, καταγρϊφοντασ την θϋςη του για κϊθε καρϋ, μϋςα ςτο βύντεο. Επύςησ πρϋπει να παρϋχει και όλη την πληροφορύα από το βύντεο που ςχετύζεται ϊμεςα το αντικεύμενο για κϊθε καρϋ, που μπορεύ να εύναι ϋνα κυτύο οριοθϋτηςησ ό μια ϋλλειψη κ.α. την ουςύα η παρακολούθηςη για κϊθε νϋο καρϋ ςτόχο ϋχει την ςωςτό αντιςτούχηςη των χαρακτηριςτικών ( χρώμα, υφό, ταχύτητα, θϋςη κ.α. ) των νϋων ανιχνευμϋνων κινούμενων αντικειμϋνων ςε αυτϊ που ϋχει όδη καταγρϊψει νωρύτερα, και όπου αντιλαμβϊνεται ότι ϋχει ειςϋλθει νϋο αντικεύμενο να μην το αντιςτοιχεύ ςε όδη προώπϊρχον αλλϊ να δημιουργεύ μια νϋα ακολουθύα από την αρχό. Η παρακολούθηςη των αντικειμϋνων εύναι ιδιαύτερα ςημαντικό κομμϊτι ςτην ανϊλυςη ανθρώπινησ κύνηςησ καθώσ όλα τα επόμενα βόματα εξαρτούνται ϊμεςα από τα αποτελϋςματα τησ. το 1.6 αναφϋραμε τεχνικϋσ και μεθόδουσ που ϋχουν αναφερθεύ ςτην βιβλιογραφύα οι οπούεσ ποικύλουν ανϊλογα με την εφαρμογό και τη χρόςη τουσ Παρακολούθηςη ςημεύου ε αυτό την κατηγορύα το αντικεύμενο που εύναι προσ παρακολούθηςη αντιπροςωπεύεται και αναπαριςτϊτε από ϋνα ςημεύο ό ϋνα πλόθοσ ςημεύων. Η ςύνδεςη των ςημεύων αυτών βαςύζεται ςτην προηγούμενη κατϊςταςη του αντικειμϋνου η οπούα περιϋχει την θϋςη του και την κύνηςό του. υνόθωσ με μια μετρικό απόςταςησ όπωσ π.χ. Ευκλεύδεια απόςταςη και ϋνα κατώφλι, για όποιο νϋο ςημεύο που ανιχνεύεται η ευκλεύδεια απόςταςη του από το προηγουμϋνωσ αποθηκευμϋνο πϋφτει κϊτω από το κατώφλι τότε αυτό το ςημεύο ςυνδϋεται με το προηγούμενο αλλιώσ ανόκει ςε νϋο αντικεύμενο ενδιαφϋροντοσ. Ένα παρϊδειγμα εφαρμογόσ αυτόσ τησ μεθόδου φαύνεται ςτο παρακϊτω χόμα 2.4 (α)

40 Βαςικζσ διαδικαςίεσ - Παρακολοφθηςη Παρακολούθηςη ςημεύου Μϋθοδοσ χρόςησ εξιςώςεων κόςτουσ Η μϋθοδοσ για την παρακολούθηςη αντικειμϋνου κϊνει χρόςη εξιςώςεων κόςτουσ ςτισ οπούεσ γύνεται προςπϊθεια ελαχιςτοπούηςόσ τουσ καθώσ γύνεται ςύγκριςη του αντικειμϋνου που παρατηρεύται ςτο καρϋ Ν-1 με το αντικεύμενο που παρατηρεύται ςτο καρϋ Ν. Η ςυνϊρτηςη του κόςτουσ διαςύνδεςησ ςυνόθωσ ορύζεται κϊνοντασ χρόςη ςυνδυαςμού των παρακϊτω παραδοχών. Εγγύτητα : Ένα αντικεύμενο μπορούμε να δεχτούμε ότι ςε διαφορϊ ενόσ καρϋ δεν μπορεύ να ϋχει παραμορφωθεύ ςε τϋτοιο βαθμό ώςτε η απόςταςη μεταξύ των ςημεύων του να ϋχει μεταβληθεύ αρκετϊ. Αυτό ςημαύνει ότι γειτονικϊ ςημεύα θα πρϋπει να παραμϋνουν γειτονικϊ με την ύδια απόςταςη μεταξύ τουσ ςτο επόμενο καρϋ. Αυτό η παραδοχό φαύνεται ςτο χόμα 2.2 (α) Μϋγιςτη ταχύτητα : Η ταχύτητα ενόσ αντικειμϋνου επειδό ελϊχιςτα αλλϊζει από καρϋ ςε καρϋ, αυτό εξαρτϊται και από το ρυθμό καταγραφόσ τησ κϊμερασ, η θϋςη η οπούα θα βρύςκονται τα ςημεύα του αντικειμϋνου ςε επόμενο καρϋ θα πρϋπει να εύναι περιοριςμϋνη και ςύγουρα εντόσ μιασ ςυγκεκριμϋνησ ακτύνασ ό αλλιώσ να μην ξεπερνούν ϋνα κατώφλι μια μετρικόσ απόςταςησ. Αυτό μπορεύ να φανεύ ςτο χόμα 2.2 (β). Κατεύθυνςη κύνηςησ : Η κατεύθυνςη τησ κύνηςησ του αντικειμϋνου δηλώνει ότι δεν μπορεύ να υπϊρξει δραματικό μεταβολό ςτα χαρακτηριςτικϊ τησ κύνηςησ, τόςο ςτην τιμό τησ ταχύτητϊσ του αντικειμϋνου όςο και ςτην κατεύθυνςη τησ κύνηςησ του. Π.χ. πϊνια ϋνα αντικεύμενο που κατευθύνεται προσ μια κατεύθυνςη απευθεύασ από το ϋνα καρϋ ςτο ϊλλο. Φαρακτηριςτικό αυτόσ τησ παραδοχόσ φαύνεται ςτο χόμα 2.2 (γ). Ομοιότητα κύνηςησ : ύμφωνα με αυτό την παραδοχό δεχόμαςτε ότι όλα τα γειτονικϊ ςημεύα που ϋχουν ανιχνευθεύ πϊνω ςτο αντικεύμενο θα ϋχουν ομοιόμορφη κύνηςη όπωσ φαύνεται ςτο χόμα 2.2(δ). Ακαμψύα : Δεχόμαςτε ότι τα αντικεύμενα ςτον τριςδιϊςτατο κόςμο εύναι ϊκαμπτα επομϋνωσ η απόςταςη ςημεύων του αντικειμϋνου ςε διαφορετικϊ καρϋ θα πρϋπει να παραμϋνει η ύδια, κϊτι το οπούο φαύνεται και από το χόμα 2.2 (ε). χόμα 2.2. Παραδοχϋσ ςε μύα μϋθοδο παρακολούθηςησ ςημεύου χρόςησ εξιςώςεων κόςτουσ

41 Βαςικζσ διαδικαςίεσ - Παρακολοφθηςη Από τα παραπϊνω αντιλαμβανόμαςτε ότι κϊνοντασ χρόςη αυτόσ τησ μεθόδου ουςιαςτικϊ εγκαταλεύπουμε την ιδϋα τησ παρακολούθηςησ ολόκληρου του αντικειμϋνου και επικεντρώνουμε την προςοχό μασ ςε οριςμϋνα ςημεύα αυτού. Σα πλεονεκτόματα τησ εύναι ότι μειώνει ςημαντικϊ την υπολογιςτικό πολυπλοκότητα, ενώ παρϊλληλα εύναι ςθεναρό ςε μερικό επικϊλυψη των αντικειμϋνων με τη προώπόθεςη ότι κϊποια από τα γνωρύςματα παραμϋνουν ορατϊ. Η μϋθοδοσ αυτό χωρύζεται ςε δύο μϋρη, ςτην εξαγωγό των γνωριςμϊτων και ςτην αντιςτούχιςη τουσ. Φαμηλότερου επιπϋδου χαρακτηριςτικϊ, όπωσ ςημεύα, εύναι ευκολότερο να εξαχθούν αλλϊ πολύ πιο δύςκολο να παρακολουθηθούν αφού εύναι πιο δύςκολο να προςδιοριςτεύ μια ϋνα-προσ-ϋνα αντιςτοιχύα μεταξύ τουσ. Αντύςτροφα, υψηλότερου επιπϋδου χαρακτηριςτικϊ, όπωσ γραμμϋσ ό οντότητεσ, εύναι ευκολότερο να εντοπιςτούν αλλϊ πιο δύςκολο να εξαχθούν. Υαύνεται λοιπόν πωσ υπϊρχει μια αλληλεξϊρτηςη ανϊμεςα ςτη πολυπλοκότητα των χαρακτηριςτικών και την αποδοτικότητα τησ παρακολούθηςησ. Παρακολούθηςη ςημεύου τατιςτικό μϋθοδοσ Αντιπροςωπευτικό παρϊδειγμα αυτόσ τησ κατηγορύασ εύναι τα φύλτρα Kalman. Σα φύλτρα Kalman εύναι μια τεχνικό ςτοχαςτικόσ πρόγνωςησ και εκτύμηςησ των ςωςτών παραμϋτρων ενόσ μοντϋλου ςε ϋνα δυναμικό περιβϊλλον. ε αντύθεςη με την μϋθοδο χρόςησ εξιςώςεων κόςτουσ, όπου οι παρϊμετροι του ςυςτόματοσ θεωρούνται ϊγνωςτοι μεν αλλϊ ςταθερού, ςτα φύλτρα Kalman οι παρϊμετροι θεωρεύται πωσ εξαρτώνται κϊθε ςτιγμό από την κατϊςταςη του ςυςτόματοσ και επομϋνωσ αλλϊζουν δυναμικϊ με κϊθε μεταβολό τησ κατϊςταςόσ του. Έτςι, η τεχνικό αυτό επανεκτιμϊ με κϊθε νϋα μϋτρηςη την κατϊςταςη του δυναμικού ςυςτόματοσ, βαςιζόμενη ςε παρατηρόςεισ που ϋχουν γύνει ςτισ προηγούμενεσ χρονικϋσ ςτιγμϋσ και επαναπροςδιορύζει τισ παραμϋτρουσ του ςυςτόματοσ. Σα φύλτρα Kalman χρηςιμοποιούνται ςε εφαρμογϋσ όπου απαιτεύται η χρόςη ενόσ δυναμικού μοντϋλου του οπούου οι βϋλτιςτοι παρϊμετροι πρϋπει να προςδιορύζονται ςε διακριτϊ χρονικϊ διαςτόματα. Η υλοπούηςό τουσ πραγματοποιεύται ςε τρύα ςτϊδια, τησ πρόβλεψησ και τησ διόρθωςησ και τησ ανανϋωςησ Παρακολούθηςη Πυρόνα ( Kernel Tracking) Οι τεχνικϋσ πυρόνα βαςύζονται κυρύωσ ςτην εμφϊνιςη και ςτο ςχόμα του αντικειμϋνου. Σο αντικεύμενο που εντοπύζεται ειςϊγεται εντόσ περιθωρύου το ςχόμα του οπούου εύναι κϊποιο ορθογώνιο ό ϋλλειψη. Σο αντικεύμενο παρακολουθεύται υπολογύζοντασ την κύνηςη του περιθωρύου ςε κϊθε ϋνα από τα ςυνεχόμενα καρϋ. Αυτό η κύνηςη εύναι ςυνόθωσ ςε μορφό κϊποιου παραμετρικού μεταςχηματιςμού όπωσ π.χ. περιςτροφό. Η ιδϋα τησ τεχνικόσ

42 Βαςικζσ διαδικαςίεσ - Παρακολοφθηςη αυτόσ εύναι να προςδιοριςτεύ μια ενωμϋνη περιοχό για κϊθε κινούμενο αντικεύμενο ςε μια εικόνα, και ςτη ςυνϋχεια αυτό να παρακολουθεύται ςτο χρόνο χρηςιμοποιώντασ κϊποιο μϋτρο ετεροςυςχϋτιςησ. Η προςϋγγιςη αυτό χρηςιμοποιεύται ευρϋωσ ςόμερα αφού πολλού από τουσ αλγορύθμουσ που βαςύζονται ςε αυτό προςφϋρουν ϋγκυρα και ςθεναρϊ αποτελϋςματα με ικανοποιητικϊ χαμηλό υπολογιςτικό πολυπλοκότητα. Ένασ από τουσ πιο γνωςτούσ αλγόριθμουσ τησ κατηγορύασ ονομϊζεται αλγόριθμοσ ολύςθηςησ μϋςου όρου (mean shift algorithm) και βαςύζεται ςτην χρόςη ιςτογραμμϊτων με προςαρμοςμϋνα βϊρη για την αναπαρϊςταςη των αντικειμϋνων που χρειϊζεται να παρακολουθηθούν. το παρακϊτω χόμα 2.4(β) φαύνεται ϋνα τϋτοιο παρϊδειγμα ενώ ςτο ςχόμα 2.3 φαύνεται ϋνα παρϊδειγμα εξαγωγόσ περιοχών προσ αναγνώριςη από μια εικόνα. χόμα 2.3 Εξαγωγό χαρακτηριςτικών περιοχών για χρόςη ςε αλγόριθμο mean-shift Παρακολούθηςη ςιλουϋτασ (Silhouette tracking) την κατηγορύα αυτό η παρακολούθηςη γύνεται υπολογύζοντασ την περιοχό που καταλαμβϊνει το αντικεύμενο ςε κϊθε ϋνα καρϋ τησ ακολουθύασ βύντεο. Η πληροφορύα που χρηςιμοποιεύται βρύςκεται εντόσ του αντικειμϋνου και αντιπροςωπεύει την πυκνότητα ό το ςχόμα του αντικειμϋνου και τα οπούα εύναι χαρακτηριςτικϊ που ςυνόθωσ χρειϊζονται προκειμϋνου να εξαχθεύ ο χϊρτησ ακμών. Παραδεύγματα φαύνονται ςτο χόμα 2.4(γ) και 2.4(δ). χόμα 2.4 Εύδοσ παρακολούθηςησ

43 Βαςικζσ διαδικαςίεσ Εκ νζου ταυτοποίηςη Αντιςτοίχηςη μεταξφ των καμερών 2.3 Εκ νϋου ταυτοπούηςη Αντιςτούχηςη μεταξύ των καμερών - Ειςαγωγό Για ανύχνευςη και παρακολούθηςη μϋςω πολλαπλών καμερών με επικαλυπτόμενα πεδύα υπϊρχει πολύ υλικό ςτην βιβλιογραφύα [55][56][57] αλλϊ αυτϋσ οι μϋθοδοι ςυνόθωσ χρειϊζονται ρύθμιςη των καμερών ςε ςυςχετιςμό με μοντϋλα του περιβϊλλοντοσ για να ανιχνεύςουν τουσ ςτόχουσ. Η υπόθεςη ότι υπϊρχουν επικαλυπτόμενα πεδύα δεν εύναι πρακτικό καθώσ χρειαζόμαςτε μεγϊλο αριθμό καμερών, και τα εμπόδια που ςυναντϊμε για την τοποθϋτηςη τουσ ϋτςι ώςτε να εξυπηρετούν το πεύραμα εύναι πολλϊ. την ςυγκεκριμϋνη εργαςύα επικεντρωνόμαςτε ςτην ανύχνευςη και παρακολούθηςη μϋςω πολλαπλών καμερών χωρύσ επικαλυπτόμενα πεδύα και χωρύσ πρότερη γνώςη για τισ κϊμερεσ Εκ νϋου ταυτοπούηςη - Αντιςτούχηςη μεταξύ των καμερών Εκ νϋου ταυτοπούηςη εύναι η ςωςτό ταυτοπούηςη ενόσ ανθρώπου που διϋρχεται μϋςα από το δύκτυο από τισ κϊμερεσ που επιτηρόθηκε, χρηςιμοποιώντασ χαρακτηριςτικϊ εμφϊνιςησ. Λϋγοντασ αντιςτούχηςη μεταξύ των καμερών αναφερόμαςτε ςτην ςωςτό αντιςτοιχύα των αποθηκευμϋνων μονοπατιών, μεταξύ των καμερών, των ανθρώπων που διόρθαν μϋςα από το δύκτυο. Όταν π.χ. ϋνασ ϊνθρωποσ ειςϋρχεται ςτο χώρο επιτόρηςησ του δικτύου οι κϊμερεσ μϋςω τησ ανύχνευςησ και τησ παρακολούθηςησ καταγρϊφουν την διαδρομό του. ε επόμενο ςτϊδιο οι διαδρομϋσ του ύδιου ανθρώπου ςε κϊθε κϊμερα πρϋπει να ςυγχωνευτούν ώςτε να ςχηματιςτεύ το ςυνολικό μονοπϊτι που διϋγραψε ο ύδιοσ μϋςα ςτο δύκτυο, χρηςιμοποιώντασ τώρα χώρο-χρονικϊ χαρακτηριςτικϊ. Για να γύνει αυτό ςυνδυϊζουμε τισ δύο μεθόδουσ για καλύτερα αποτελϋςματα

44 Βαςικζσ διαδικαςίεσ Εκ νζου ταυτοποίηςη Αντιςτοίχηςη μεταξφ των καμερών την εκ νϋου ταυτοπούηςη και αντιςτούχηςη μεταξύ των καμερών μπορούν να χρηςιμοποιηθούν πολλϊ χαρακτηριςτικϊ χαμηλού και υψηλού επιπϋδου, χώρο - χρονικϊ και εμφϊνιςησ. Ενδεικτικϊ αναφϋρουμε: Φώρο χρονικϊ χαρακτηριςτικϊ Σρϋχουςα κϊμερα Επόμενη κϊμερα ημεύο εξόδου από την τρϋχουςα κϊμερα ημεύο ειςόδου ςτην επόμενη κϊμερα Φρονικό παρϊθυρο οντότητασ Φρονικό διαφορϊ από την μια κϊμερα ςτην ϊλλη Κατεύθυνςη μϋςα ςτο δύκτυο καμερών Φαρακτηριςτικϊ εμφϊνιςησ Φρωματικό ιςτόγραμμα Ιςτόγραμμα ςχόματοσ ςιλουϋτασ Βιομετρικϊ χαρακτηριςτικϊ (Ύψοσ, φϊρδοσ, μόκοσ χεριών ό ποδιών, περύγραμμα κεφαλιού κ.α.) Αναγνώριςη προςώπου Περιοδικότητα (Σρόποσ κύνηςησ ςτον χώρο) κ.α. Σα χαρακτηριςτικϊ που πρϋπει να εξαχθούν πρϋπει να αυξϊνουν όςο το δυνατό περιςςότερο το λόγο ποςοςτό ςωςτών αποτελεςμϊτων προσ τουσ υπολογιςτικούσ πόρουσ που χρειαζόμαςτε ό διατυπωμϋνο διαφορετικϊ το ςύςτημα που θα δημιουργηθεύ πρϋπει να εύναι αποτελεςματικό ςε γρόγορουσ χρόνουσ. Πολλϊ από αυτϊ τα χαρακτηριςτικϊ εμφϊνιςησ, πχ αναγνώριςησ προςώπου, για να εξαχθούν και να παρακολουθηθούν χρειϊζεται μεγϊλο υπολογιςτικό κόςτοσ το οπούο θεωρεύται απαγορευτικό για μια τϋτοιου εύδουσ εφαρμογό. Λαμβϊνοντασ υπόψη ότι τα χαρακτηριςτικϊ αυτϊ θα πρϋπει να εξϊγονται για κϊθε καρϋ, για μια απλό κϊμερα με ρυθμό 15 fps, ςε ϋνα δευτερόλεπτο όλεσ οι υπολογιςτικϋσ πρϊξεισ για ανύχνευςό, παρακολούθηςη και αποθόκευςη όλων των χαρακτηριςτικών, πρϋπει να γύνουν επύ

45 Βαςικζσ διαδικαςίεσ Εκ νζου ταυτοποίηςη Αντιςτοίχηςη μεταξφ των καμερών Από την βιβλιογραφύα [23] ϋχουμε δανειςτεύ ϋνα γρϊφημα που δεύχνει ςε τι επύπεδα κυμαύνονται τα αποτελϋςματα ανϊλογα με τα χαρακτηριςτικϊ που επιλϋγονται. την πρώτη ςτόλη με χώρο-χρονικϊ χαρακτηριςτικϊ μόνο ςτην δεύτερη ςτόλη με χαρακτηριςτικϊ εμφϊνιςησ που ϋχουν προϋλθει από BTF και ςτην τρύτη ςτόλη ϋναν ςυνδυαςμό των δύο. Αναφϋρεται χαρακτηριςτικϊ ότι ο ςυνδυαςμόσ των δύο αυξϊνει εντυπωςιακϊ τα αποτελϋςματα. χόμα 2.5. ύγκριςη αποτελεςμϊτων, όταν χρηςιμοποιούνται μόνο χαρακτηριςτικϊ εμφϊνιςησ, μόνο χώρο-χρονικϊ χαρακτηριςτικϊ και ςυνδυαςμόσ αυτών Παρακϊτω παρουςιϊζουμε κϊποιεσ τεχνικϋσ που ϋχουν χρηςιμοποιηθεύ ςε ανύχνευςη μϋςω πολλαπλών καμερών τόςο για την αντιςτούχηςη ακολουθιών όςο και για την ανϊκτηςη πληροφορύασ για την τοπολογύα δικτύου χετικϋσ εργαςύεσ Φώρο-χρονικό πληροφορύα Για να καθοριςτεύ η εκ νϋου ταυτοπούηςη - αντιςτούχηςη των κινούμενων αντικειμϋνων ςε διαφορετικϋσ κϊμερεσ δύο ςημαντικϊ θϋματα πρϋπει να μελετηθούν η χώρο-χρονικό πληροφορύα καθώσ και η πληροφορύα εμφϊνιςησ. Η χώρο-χρονικό πληροφορύα αναφϋρεται ςτισ χρονικϋσ ςχϋςεισ μεταξύ των καμερών αλλϊ και μεταξύ των κινούμενων αντικειμϋνων και των καμερών του δικτύου. Επύςησ αναφϋρεται ςτο χώρο ϋτςι όπωσ αυτόσ επιτηρεύται από τισ κϊμερεσ και την ςχϋςη των κινούμενων αντικειμϋνων με τον χώρο αυτό. Για την χώρο-χρονικό πληροφορύα ο Javed [4] προτεύνει μια μϋθοδο αρχικϊ για κατανόηςη και εκμϊθηςη τησ τοπολογύασ δικτύου των καμερών καθώσ και τισ πιθανότητεσ των πιθανών μονοπατιών που ακολουθούν οι ςτόχοι χρηςιμοποιώντασ Parzen windows. Οι Dick & Brooks [5] χρηςιμοπούηςαν ϋναν ςτοχαςτικό πύνακα μεταβϊςεων για να περιγρϊψουν τα παρατηρηθϋντα πρότυπα διαδρομών των ανθρώπων μϋςα ςτα πεδύα ορϊςεωσ των καμερών καθώσ και ενδιϊμεςα. O Makris [6] ερεύνηςε ϋνα μη επιβλεπόμενο μοντϋλο

46 Βαςικζσ διαδικαςίεσ Εκ νζου ταυτοποίηςη Αντιςτοίχηςη μεταξφ των καμερών μϊθηςησ τησ δραςτηριότητασ από ϋνα μεγϊλο ςετ παρατηρόςεων χωρύσ να ϋχει μπει ετικϋτα (το που ανόκουν) από πριν. Ωςτόςο υπϊρχουν και δουλειϋσ που εςτιϊζουν ςτην βελτύωςη του γενικού πλαιςύου τησ αντιςτοιχύασ των ςτόχων. Οι Song, B. & Roy-Chowdhury, [13] πρότειναν ϋνα μοντϋλο ςυνδυαςμού των μικρόσ διϊρκειασ χαρακτηριςτικών των αντιςτοιχιών μεταξύ των καμερών ςε ςχϋςη με τα μεγϊλησ διϊρκειασ χαρακτηριςτικϊ των εξαρτώμενων μοντϋλων. Ο Ellis et al. [15] καθόριςε την τοπολογύα του δικτύου των καμερών χρηςιμοποιώντασ ϋναν αλγόριθμο δύο ςταδύων. Αρχικϊ καθορύςτηκαν οι εύςοδοι και οι ϋξοδοι κϊθε κϊμερασ και μετϋπειτα οι ςυνδϋςεισ των ζωνών μεταξύ των καμερών βρϋθηκαν από την ςυνύπαρξη των ςυμβϊντων ειςόδου και εξόδου. Η προτεινόμενη μϋθοδοσ υποθϋτει ότι οι ςωςτϋσ ςυςχετύςεισ θα ομαδοποιηθούν ςτον χώρο των χαρακτηριςτικών ενώ οι λϊθοσ θα εύναι διϊςπαρτεσ. Η βαςικό υπόθεςη τησ μεθόδου εύναι ότι αν μια εύςοδοσ και ϋξοδοσ ςυμβαύνουν ςε ϋνα ςυγκεκριμϋνο χρονικό διϊςτημα (θα μπορούςε να εύναι ϋνα κατώφλι χρόνου ) τότε υπϊρχει μεγϊλη πιθανότητα να ςυνδϋονται μεταξύ τουσ. Πρόςφατα ο Stauffer [16] πρότεινε μια βελτιωμϋνη μϋθοδο ςυςχετιςμού ςυνδϋςεων η οπούα βαςιζόταν ςτην υπόθεςη ότι η ςυςχϋτιςη μεταξύ ειςόδων εξόδων που μπορεύ αλλϊ και όχι να περιϋχουν ϋγκυρη μετϊβαςη εύναι παρόμοια με την αναμενόμενη ςυςχϋτιςη όταν δεν υπϊρχει ϋγκυρη μετϊβαςη. Αυτό επιτρϋπει ςτον αλγόριθμο (ςε αντύθεςη με την [15]) να χειριςτεύ τισ περιπτώςεισ όπου δύο ςυμβϊντα μπορεύ να ςυςχετιςτούν αλλϊ να μην οφεύλονται ςε ϋγκυρη μετϊβαςη. Πληροφορύα Εμφϊνιςησ (appearance) Η πληροφορύα εμφϊνιςησ αναφϋρεται κυρύωσ ςτην εμφϊνιςη των κινούμενων αντικειμϋνων. Για την εμφϊνιςη (appearance) ο Porikli [7] πρότεινε μια μϋθοδο για να ταιριϊξει τισ εμφανύςεισ των αντικειμϋνων ςε ϋνα δύκτυο μηεπικαλυπτόμενων καμερών. ε αυτόν την προςϋγγιςη μια ΒΣF (brightness transfer function) υπολογύζεται για κϊθε ζευγϊρι καμερών ϋτςι ώςτε να δημιουργηθεύ ϋνασ χϊρτησ BTF που να αντιπαραθϋτει τα παρατηρηθϋντα χρώματα ςε μια κϊμερα με κϊποια ϊλλη, εφόςον υπϊρχει επικοινωνύα. Όταν πλϋον αυτό ϋχει λυθεύ το πρόβλημα τησ ςυςχϋτιςησ των αντικειμϋνων απλοποιεύται ςτο ταύριαςμα των τροποποιημϋνων ιςτογραμμϊτων. Όμωσ οι BTFs ποικύλουν από καρϋ ςε καρϋ εξαρτώμενεσ από πλόθοσ παραμϋτρων όπωσ φωτιςμόσ, γεωμετρύα χρόνοσ ϋκθεςησ, ϊνοιγμα κϊμερασ κα. Έτςι προκύπτει πρόβλημα όταν χρειϊζεται να ταιριϊξουμε μεγϊλεσ ακολουθύεσ δεδομϋνων. Ο Javed [8] ϋδειξε ότι οι ςυναρτόςεισ μεταφορϊσ τησ φωτεινότητασ (BTFs) από μια δεδομϋνη κϊμερα ςε μια ϊλλη μπορούν να ειςαχθούν ςε ϋνα χαμηλόσ διϊςταςησ χώρο και απϋδειξε ότι αυτόσ ο χώροσ μπορεύ να χρηςιμοποιηθεύ για να υπολογιςθεύ η ομοιότητα των εμφανύςεων (appearance). Οι Gilbert & Bowden [9] μϊθανε τισ BTFs ςταδιακϊ βαςιζόμενοι πϊνω ςτο Consensus-Color Conversion of Munsell color space [10]

47 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών 3.1 Ειςαγωγό ε αυτό το κεφϊλαιο θα κϊνουμε επιςκόπηςη του προβλόματοσ μασ, θα παραθϋςουμε διαγρϊμματα, εικόνεσ και αποτελϋςματα όςο αυτό εύναι δυνατό καθώσ μιλϊμε για μια εφαρμογό ςε video. Αρχικϊ πρϋπει να αναφϋρουμε ότι τα δεδομϋνα με τα βύντεο πϊνω ςτα οπούο ϋγιναν οι δοκιμϋσ τα κατεβϊςαμε από ϋνα διαγωνιςμό του ICPR2012 που βρύςκεται ςτην ιςτοςελύδα Περιλαμβϊνει βύντεο από τϋςςερισ κϊμερεσ εςωτερικού χώρου ελαφρώσ επικαλυπτόμενεσ. Σο πρόβλημα μασ αποτελεύται από δύο μϋρη : Ανύχνευςη και Παρακολούθηςη όλων των ανθρώπων που διϋρχονται μϋςα από το δύκτυο των καμερών. Εύρεςη τησ Σοπολογύασ του δικτύου των καμερών την γενικό περύπτωςη ςε ϋνα δύκτυο καμερών, οι κϊμερεσ βλϋπουν τα αντικεύμενα από εντελώσ διαφορετικό οπτικό γωνύα και εντελώσ διαφορετικϋσ ςυνθόκεσ φωτιςμού. Σο πρόβλημα εύναι μια ςύνθεςη προβλημϊτων, ανύχνευςησ, παρακολούθηςησ, χώρο-χρονικόσ πληροφορύασ και περαιτϋρω ανϊλυςησ. Σα βαςικϊ ςτϊδια του προβλόματοσ όπωσ αναφϋραμε και ςτο 1.4 εύναι η ανύχνευςη, παρακολούθηςη των ανθρώπων ςτην κϊθε κϊμερα ςαν ξεχωριςτϋσ οντότητεσ και ςτην ςυνϋχεια εκ νϋου ταυτοπούηςη-αντιςτούχηςη των ακολουθιών που ϋχουν ανιχνευθεύ προηγουμϋνωσ μεταξύ των καμερών. ημαντικό εύναι να υλοποιόςουμε μια διαδικαςύα εκμϊθηςησ παραμϋτρων των καμερών του δικτύου ώςτε να μϊθουμε κϊποια χαρακτηριςτικϊ του χώρου επιτόρηςησ του δικτύου και των καμερών του δικτύου. Ωςτόςο επειδό δεν κατορθώςαμε να πϊρουμε επιπλϋον δεδομϋνα από το διαγωνιςμό, με το πακϋτο δεδομϋνων που ϋχουμε ςτην κατοχό μασ θα γύνει η εκμϊθηςη των παραμϋτρων αυτών και η ςυνολικό εφαρμογό

48 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών 3.2 Δεδομϋνα Βύντεο Σα βύντεο που περιϋχονται ςτο πακϋτο δεδομϋνων εύναι ανϊλυςησ 480 x 640 pixels και εύναι διϊρκειασ 47,33 δευτερολϋπτων τισ κϊμερεσ να επιτηρούν με τον ύδιο ρυθμό 15 fps. Γύνεται ταυτόχρονη εκκύνηςη επιτόρηςησ από τισ κϊμερεσ και ταυτόχρονη παύςη. Ο αριθμόσ των ατόμων που εύναι υπό επιτόρηςη εύναι 4. Παρακϊτω (χόμα 3.1) παρουςιϊζεται το πρώτο καρϋ των βύντεο. χόμα 3.1 Σα δεδομϋνα Σα πρώτα καρϋ των βύντεο Με μια πρώτη ματιϊ παρατηρούμε ότι οι χώροι που επιτηρούνται ϋχουν διαφορετικούσ και ανομοιόμορφουσ φωτιςμούσ γεγονόσ που αυξϊνει την πολυπλοκότητα του προβλόματοσ μασ. Επύςησ καθώσ το βύντεο ςυνεχύζει να παύζει όπωσ φαύνεται ςτα παρακϊτω ςτιγμιότυπα οι κϊμερεσ εύναι ελαφρώσ επικαλυπτόμενεσ (χόματα 3.2 και 3.3). Να τονύςουμε εδώ ότι ςτιγμιότυπο εννοούμε την ύδια χρονικό ςτιγμό

49 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Εικόνα 3.2 τιγμιότυπο - Καρϋ 86 Εικόνα 3.3 τιγμιότυπο Καρϋ

50 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών 3.3 Μελϋτη και χεδύαςη ςυςτόματοσ τα προηγούμενα κεφϊλαια και αρχύζοντασ από το εδϊφιο 1.4 αναφϋραμε τα βαςικϊ ςτϊδια του προβλόματοσ και ςτην ςυνϋχεια παρουςιϊςαμε ςχετικϋσ εργαςύεσ πϊνω ςτον τομϋα αυτόν. τα κεφϊλαια 2,3,4 αναπτύξαμε τα βαςικϊ ςτϊδια παραθϋτοντασ και τισ πιο αντιπροςωπευτικϋσ μεθόδουσ υλοπούηςησ τουσ. το ςυγκεκριμϋνο εδϊφιο παρουςιϊζουμε την δομό του ςυςτόματοσ ϋτςι όπωσ αυτό υλοποιόθηκε. Οι διαδικαςύεσ του ςυςτόματοσ πραγματοποιούνται με την ςειρϊ που παρουςιϊζονται ςτο ςυνολικό διϊγραμμα καταςτϊςεων (χόμα 3.4). χόμα 3.4. Διϊγραμμα καταςτϊςεων ςυςτόματοσ

51 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Η διαδικαςύα εκμϊθηςησ του δικτύου (Learning) εύναι αυτό που εκτελεύται πρώτη για την εξαγωγό χαρακτηριςτικών του δικτύου. Σα αποτελϋςματα αυτόσ περνούν ςαν εύςοδοι ςτισ κύριεσ διαδικαςύεσ ανύχνευςόσ, παρακολούθηςησ και ςτην ανακϊλυψη τησ τοπολογύασ του δικτύου των καμερών. Η διαδικαςύα τησ εκμϊθηςησ (χόμα 3.5) παρουςιϊζεται αναλυτικϊ παρακϊτω. Οι αλγόριθμοι ανύχνευςησ και παρακολούθηςησ που υλοποιόθηκαν ςτην διαδικαςύα εκμϊθηςησ εύναι απλουςτευμϋνεσ εκδόςεισ των αλγορύθμων που υλοποιούνται ςτην κύρια διαδικαςύα και θα τουσ αναλύςουμε ςτα παρακϊτω εδϊφια του 5 κεφαλαύου. χόμα 3.5 Διϊγραμμα καταςτϊςεων διαδικαςύασ εκμϊθηςησ παραμϋτρων των καμερών του δικτύου 3.4 Εκμϊθηςη παραμϋτρων των καμερών του δικτύου Βαςικϋσ διαδικαςύεσ του ςταδύου εκμϊθηςησ (χόμα 3.5) εύναι η Ανύχνευςη (Detection) και παρακολούθηςη (Tracking) των οντοτότων. το ςτϊδιο αυτό θϋλουμε να εξϊγουμε χαρακτηριςτικϊ του χώρου επιτόρηςησ. Οι οντότητεσ ανιχνεύονται και παρακολουθούνται. ε αυτό το ςημεύο να τονύςουμε ότι μερικϋσ από τισ διαδικαςύεσ που ϋχουν υλοποιηθεύ ςτο ςτϊδιο τησ εκμϊθηςησ εύναι απλουςτευμϋνεσ εκδόςεισ των κύριων ςυναρτόςεων τησ εφαρμογόσ οπότε το μεγαλύτερο κομμϊτι τουσ αναλύεται παρακϊτω ςτα εδϊφια του 5 κεφαλαύου. Ωςτόςο αναλύονται ςτον ανϊλογο βαθμό ώςτε να κατανοόςει ο αναγνώςτησ την χρηςιμότητα τουσ

52 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Ανύχνευςη κινούμενων αντικειμϋνων ςτην εκμϊθηςη παραμϋτρων των καμερών του δικτύου Σα καρϋ των βύντεο από RGB μετατρϋπονται ςε YCbCr. Σο φόντο BG ανανεώνεται ςε κϊθε καρϋ με τον ςυντελεςτό εκμϊθηςησ του ςυςτόματοσ να εύναι ςταθερόσ και παύρνει μια τιμό με βϊςη τα καλύτερα οπτικϊ πειραματικϊ αποτελϋςματα. Πιο ςυγκεκριμϋνα ο τύποσ που ανανεώνει το φόντο εύναι ο παρακϊτω BGn = 0.6*BGn *Current_Frame Κϊθε καρϋ το φόντο αποθηκεύεται ςε μια ςτούβα. την ςυνϋχεια μετϊ από τα πϋντε πρώτα καρϋ κύνηςησ ο παραπϊνω τύποσ τροποποιεύται ςτον ακόλουθο, όπου πλϋον από τα τελευταύα αποθηκευμϋνα φόντα ςτην ςτούβα επιλϋγεται το διϊμεςο για να γύνει η ανανϋωςη του νϋου φόντου. BGn = 0.6*median(BGn-1 BGn-4) + 0.4*Current_Frame την ςυνϋχεια γύνεται η ακόλουθη αφαύρεςη όπου το απόλυτο τησ τιμόσ του αποτελϋςματοσ το θϋτουμε υπό κατωφλιοπούηςη BG - Current_Frame < threshold Η κατωφλιοπούηςη γύνεται με ςταθερό κατώφλι 0.02 για την Y ςυνιςτώςα και για τισ CbCr δύνοντασ ϋτςι μεγαλύτερη ευαιςθηςύα ςτισ χρωματικϋσ ςυνιςτώςεσ θϋλοντασ να αποφύγουμε από την Y τισ αυξομειώςεισ τησ ϋνταςησ ςε περιοχϋσ τησ εικόνασ που μπορεύ να προϋρχονται από φαινόμενα ςκύαςησ. Σα κατώφλια ϋχουν πϊρει τιμό με βϊςη τα καλύτερα οπτικϊ πειραματικϊ αποτελϋςματα. Ακολουθούν μια ςειρϊ μορφολογικών πρϊξεων που βελτιώνουν τα αποτελϋςματα. Σα δομικϊ ςτοιχεύα για τισ μορφολογικϋσ πρϊξεισ δύνονται από τον ςχεδιαςτό με βϊςη τα καλύτερα οπτικϊ πειραματικϊ αποτελϋςματα αφού δεν υπϊρχει πρότερη γνώςη για το χώρο επιτόρηςησ και το δύκτυο των καμερών

53 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Σαξινόμηςη χαρακτηριςτικών ςτην εκμϊθηςη παραμϋτρων των καμερών του δικτύου Η διαδικαςύα ταξινόμηςησ χαρακτηριςτικών ςτην εκμϊθηςη δικτύου υλοποιεύ την διαδικαςύα ταξινόμηςησ των χαρακτηριςτικών των οντοτότων που ϋχουν ανιχνευθεύ προηγουμϋνωσ από την διαδικαςύα ανύχνευςησ. Η διαδικαςύα ταξινόμηςησ χαρακτηριςτικών καταχωρεύ ςε πύνακεσ τα απολύτωσ απαραύτητα για την διαδικαςύα τησ παρακολούθηςησ. Αυτϊ εύναι τα κϋντρα μϊζασ και τα bounding boxes. Για κϊθε bounding box εξϊγεται και το χρωματικό ιςτόγραμμα. υγκεκριμϋνα δημιουργούνται τρεύσ πύνακεσ κελιών των οπούων το μόκοσ εύναι ύςο με τον αριθμό των καρϋ και το πλϊτοσ εύναι ύςο με το μϋγιςτο αριθμό των ανθρώπων που ϋχουν ανιχνευθεύ ταυτόχρονα ςε ϋνα ςτιγμιότυπο. Η καταχώρηςη γύνεται με τϋτοιο τρόπο ώςτε αν πχ για μια κϊμερα οι περιςςότεροι ϊνθρωποι που ανιχνεύτηκαν ταυτόχρονα ςε ϋνα ςτιγμιότυπο εύναι τρεύσ και τα καρϋ N. Σότε για μια οντότητα που ανιχνεύθηκε δεύτερη ςτο 60 ο καρϋ το κϋντρο μϊζασ τησ θα εύναι ςτον πρώτο πύνακα ςτην θϋςη {60,2}, το bounding box που την περικλεύει θα εύναι ςτον δεύτερο πύνακα ςτην θϋςη {60,2} και το χρωματικό ιςτόγραμμα θα εύναι ςτον τρύτο πύνακα ςτην θϋςη {60,2}. (Πύνακασ 2) Πύνακασ 3.1 Παρϊδειγμα τρόπου ταξινόμηςησ των χαρακτηριςτικών

54 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Παρακολούθηςη κινούμενων αντικειμϋνων ςτην εκμϊθηςη παραμϋτρων των καμερών του δικτύου Η διαδικαςύα παρακολούθηςησ κινούμενων αντικειμϋνων ςτην εκμϊθηςη δικτύου ςχηματικϊ παρουςιϊζεται παρακϊτω (χόμα 3.6). χόμα 3.6 Παρακολούθηςη κινούμενων αντικειμϋνων ςτην εκμϊθηςη παραμϋτρων των καμερών του δικτύου Η διαδικαςύα τησ εξαγωγόσ των βαςικών ακολουθιών ςτην εκμϊθηςη δικτύου εύναι μια απλουςτευμϋνη ϋκδοςη τησ κύριασ διαδικαςύασ εξαγωγόσ ακολουθιών που θα παρουςιϊςουμε παρακϊτω ςτο 5.6. Ακολουθεύ ο αλγόριθμοσ : Για κϊθε Καρϋ.. Για κϊθε κινούμενη οντότητα.. Αν εύναι η πρώτη ςτον πινϊκα αποθόκευςε ςτον Βαςικό πύνακα Αλλιώσ για κϊθε αποθηκευμϋνη ακολουθύα οντότητασ.. Αν εύναι ενεργό Κϊνε πρόβλεψη ύγκρινε με τρϋχουςα τιμό που ελϋγχεται Αποθόκευςε ςε πύνακα αποςτϊςεων Αποθόκευςε την ελϊχιςτη τιμό και την οντότητα που τησ αντιςτοιχεύ Από τισ τιμϋσ των ελαχύςτων καθόριςε ποιο θα εύναι το μϋτρο ςύγκριςησ και ποιο το αντύςτοιχο κατώφλι που θα χρηςιμοποιηθεύ. Αν εύναι κϊτω από το κατώφλι αποθόκευςε ςτον βαςικό πύνακα Για κϊθε οντότητα ςτην οπούα το T ϋχει ξεπερϊςει ϋνα κατώφλι μηδϋνιςε το Active Flag Πρόγραμμα 3.1 Αλγόριθμοσ παρακολούθηςησ ςτην εκμϊθηςη παραμϋτρων των καμερών

55 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Μετϊ την εξαγωγό των βαςικών ακολουθιών ακολουθούν δύο διαδικαςύεσ που ουςιαςτικϊ βελτιώνουν τα αποτελϋςματα τησ προηγούμενησ διαδικαςύασ. Η πρώτη διαδικαςύα υλοποιεύ την αφαύρεςησ θορύβου. Η διαδικαςύα αυτό αφαιρεύ μονοπϊτια/ακολουθύεσ οι οπούεσ πϋφτουν κϊτω από ϋνα προκαθοριςμϋνο κατώφλι. Διαγρϊφονται όποιεσ ακολουθύεσ περιϋχουν λιγότερα από τόςα ςτιγμιότυπα όςο αναγρϊφει το κατώφλι. Μόλισ απαλειφτούν οι ακολουθύεσ ακολουθεύ η διαδικαςύα επαναπροςδιοριςμού των bounding boxes που επαναπροςδιορύζει τα bounding boxes για κϊθε ανιχνευμϋνη οντότητα. Δηλαδό για μύα οντότητα που ϋχουν δημιουργηθεύ δύο bounding boxes δημιουργεύ ϋνα. Η διαδικαςύα αυτό μπορεύ να εκτελεςθεύ δυο φορϋσ για καλύτερα αποτελϋςματα, ςε περύπτωςη που ςε κϊποια οντότητα εύχαν ςχηματιςτεύ πϊνω από δύο bounding boxes. Πιο αναλυτικϊ παρουςιϊζεται παρακϊτω ςτην κύρια διαδικαςύα ςτο Από τισ πλϋον αποθηκευμϋνεσ και τροποποιημϋνεσ κατϊλληλα ακολουθύεσ γύνεται η εξαγωγό των χαρακτηριςτικών του δικτύου. Έτςι μετϊ το τϋλοσ τησ εκμϊθηςησ του δικτύου, ςαν ϋξοδο παύρνουμε τισ κρύςιμεσ περιοχϋσ ( ΙΝ&OUT περιοχϋσ ) για κϊθε κϊμερα, από τισ οπούεσ ϋνα αντικεύμενο, ςτην ςυγκεκριμϋνη περύπτωςη ϊνθρωποσ, μπορεύ να ειςϋλθει ό να εξϋλθει από την περιοχό επιτόρηςησ τησ κϊμερασ. Επύςησ αντλούμε δύο πύνακεσ που δεύχνουν πώσ μεταβϊλλεται το bounding box τησ κινούμενησ οντότητασ ςε ςχϋςη με την θϋςη τησ μϋςα ςτο χώρο. Η μεταβολό του Bounding Box ςτο χώρο ςτην ουςύα δεύχνει χαρακτηριςτικϊ τησ περιοχόσ επιτόρηςησ. Δηλαδό αν πχ αν μια οντότητα κινεύται από αριςτερϊ προσ δεξιϊ και το εμβαδόν του Bounding Box αυξϊνεται ςημαύνει ότι η οντότητα πληςιϊζει προσ την κϊμερα, ϋτςι μπορούμε να αντιληφθούμε πότε μια οντότητα πληςιϊζει ό απομακρύνεται από μια κϊμερα. Οι πύνακεσ θα χρηςιμοποιηθούν αργότερα για αντικατϊςταςη λανθαςμϋνου μεγϋθουσ bounding box. Ακόμα εξϊγεται η μϋςη ταχύτητα των οντοτότων ϋτςι όπωσ την αντιλαμβϊνεται η κϊθε κϊμερα και τϋλοσ αντλούμε τα μϋςα και διϊμεςα bounding boxes, των οντοτότων που εξϊγονται καθ όλη την διϊρκεια τησ εκμϊθηςησ. Σα δεδομϋνα που προαναφϋραμε και εξϊγονται από την διαδικαςύα εκμϊθηςησ των παραμϋτρων των καμερών του δικτύου από εδώ και ύςτερα θα τα ονομϊζουμε δεδομϋνα εκμϊθηςησ. 3.5 Ανύχνευςη κινούμενων αντικειμϋνων ςτην κύρια διαδικαςύα (Detection) Όπωσ παρουςιϊςαμε και νωρύτερα (χόμα 3.4) η κύρια διαδικαςύα ανύχνευςησ ακολουθεύ ςτην ςειρϊ διαδικαςιών την διαδικαςύα εκμϊθηςησ δικτύου. Πλϋον ϋχουμε ςτην κατοχό μασ τα χαρακτηριςτικϊ του χώρου επιτόρηςησ που ειςϊγονται ςτην κύρια διαδικαςύα ανύχνευςησ. το ςτϊδιο τησ κύριασ διαδικαςύασ ανύχνευςησ εφαρμόζουμε ϋναν ςυνδυαςμό από τεχνικϋσ αφαύρεςησ φόντου, διϊμεςησ τιμόσ και μεταβαλλόμενου μοντϋλου που μετϊ από μελϋτη

56 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών προςφϋρει ϋνα πολύ ικανοποιητικό αποτϋλεςμα ςε ςχϋςη με τον χρόνο και την επεξεργαςτικό ιςχύ που χρειϊζεται για να εκτελεςθεύ Κύρια διαδικαςύα ανύχνευςησ Η κύρια διαδικαςύα ανύχνευςησ δϋχεται ςαν ορύςματα καρϋ των βύντεο και τα δεδομϋνα από την διαδικαςύα τησ εκμϊθηςησ των παραμϋτρων των καμερών του δικτύου και εξϊγει τισ περιοχϋσ ενδιαφϋροντοσ, που εύναι ανθρώπινεσ ςιλουϋτεσ, μαζύ με τα απαραύτητα για αυτϋσ χαρακτηριςτικϊ τουσ. Σα καρϋ των βύντεο από RGB μετατρϋπονται ςε YCbCr. Για τα πρώτα καρϋ το φόντο εύναι μεταβαλλόμενο και ανανεώνεται ςύμφωνα με τον τύπο BGn=f(mean_velocity)*BGn-1+(1- f(mean_velocity))*current_frame Όπου BGn εύναι το φόντο ςτο n καρϋ Current_Frame το τρϋχον καρϋ f(mean_velocity) = (0.025*mean_velocity+0.35) Όπου mean_velocity εύναι η μϋςη ταχύτητα των κινούμενων αντικειμϋνων για την εκϊςτοτε κϊμερα. Όςο μεγαλύτερη η μϋςη ταχύτητα τόςο μεγαλύτερη πρϋπει να εύναι η εμπιςτοςύνη μασ ςε παλαιότερα φόντα (backgrounds), ενώ όςο πιο μικρό τόςο μεγαλύτερη πρϋπει να εύναι η εμπιςτοςύνη μασ ςε νϋα καρϋ. Ο τύποσ ςυναρτόςει τησ ταχύτητασ f(velocity) εξόχθη εμπειρικϊ από οπτικό μελϋτη των αποτελεςμϊτων και διαφοροποιεύται ανϊλογα το περιβϊλλον επιτόρηςησ. ε ϋνα αυτοματοποιημϋνο ςύςτημα οι τιμϋσ αυτϋσ μπορούν να δύνονται από τον ςχεδιαςτό μετϊ από μελϋτη του περιβϊλλοντοσ επιτόρηςησ και του δικτύου των καμερών. Η μϋςη ταχύτητα (mean_velocity) εξϊγεται από την διαδικαςύα υπολογιςμού μϋςησ ταχύτητασ που περιγρϊφεται ςτο επόμενο εδϊφιο Για κϊθε καρϋ το νϋο φόντο αποθηκεύεται ςε μια ςτούβα. Η ςτούβα αυτό περιϋχει μόνο φόντα και χρηςιμοποιεύται για την ϊντληςη του διϊμεςου φόντου. Έπειτα από ανύχνευςη των πϋντε πρώτων καρϋ κύνηςησ ο παραπϊνω τύποσ αλλϊζει ςε ϋνα μοντϋλο μεταβαλλόμενου φόντου ςύμφωνα με τον παρακϊτω τύπο. BG n= f (mean_velocity)*median(bg n-1 BG n-4) +(1- f (mean_velocity))*current_frame

57 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Δηλαδό τώρα το μεταβαλλόμενο φόντο ςυνεχύζει να εξϊγεται και να αποθηκεύεται ςτην ςτούβα που προαναφϋραμε. Απλϊ τώρα επιλϋγουμε το διϊμεςο (median) από τα προηγούμενα. Όςο ςυνεχύζεται η διαδικαςύα ο τύποσ καταλόγει να εύναι : BG n= f (mean_velocity)*median(bg n-1 BG n-59) +(1- f (mean_velocity))*current_frame Που ςημαύνει ότι επιλϋγεται το διϊμεςο φόντο από τα προηγούμενα ςχεδόν 60, που εκφραςμϋνο ςε χρόνο εύναι 4 δευτερόλεπτα καθώσ οι κϊμερεσ καταγρϊφουν με ρυθμό 15 fps. Εν ςυνεχεύα παύρνουμε την απόλυτη τιμό τησ αφαύρεςησ του τρϋχοντοσ καρϋ από το φόντο και το θϋτουμε υπό κατωφλιοπούηςη όπου η τιμό του κατωφλύου εύναι ανϊλογη και με τον ςυντελεςτό φωτεινότητασ και τησ μϋςησ ταχύτητασ που ϋχουν προϋλθει νωρύτερα από τα δεδομϋνα εκμϊθηςησ. threshold= f (mean_velocity, bright_value) Όπου f (velocity, bright_value)= (0.001*mean_velocity+0.015*bright_value) Όςο μεγαλύτερη εύναι η ταχύτητα τόςο λιγότερη ευαιςθηςύα θϋλουμε ϊρα μεγαλύτερο κατώφλι, πϊντα ςε ςυνδυαςμό με την φωτεινότητα όςο μεγαλύτερη φωτεινότητα τόςο λιγότερη ευαιςθηςύα θϋλουμε ϊρα μεγαλύτερο κατώφλι. Καθώσ θϋλουμε η ςκιϊ που αφόνεται πύςω αχνϊ όταν διϋρχεται μια οντότητα να μην εκφρϊζεται ςτο προςκόνιο. Ο ςυντελεςτόσ φωτεινότητασ bright_value εύναι ο λόγοσ τησ μϋςησ τιμόσ φωτεινότητασ, όλων των εικονοςτοιχεύων, τησ Y ςυνιςτώςασ του πρώτου καρϋ μιασ κϊμερασ, προσ την μϋςη τιμό φωτεινότητασ, όλων των εικονοςτοιχεύων, τησ Τ ςυνιςτώςασ του πρώτου καρϋ τησ κϊμερασ με την μϋγιςτη μϋςη τιμό φωτεινότητασ. Ακολουθούν μια ςειρϊ από μορφολογικϋσ πρϊξεισ οι οπούεσ ςκοπό ϋχουν να βελτιώςουν τα μϋχρι τώρα αποτελϋςματα. Σα δομικϊ ςτοιχεύα που χρηςιμοποιούνται διαφϋρουν από κϊμερα ςε κϊμερα καθώσ εύναι εξαρτώμενα από το διϊμεςο bounding box τησ εκϊςτοτε κϊμερασ, που ϋχει προϋλθει από τα δεδομϋνα εκμϊθηςησ. Αρχικϊ αφαιρούμε πολύ μικρϋσ περιοχϋσ που ϋχουν δημιουργηθεύ από θόρυβο και δεν θϋλουμε να εμφανιςτούν ςτο μορφολογικό φιλτρϊριςμα (closing) που ακολουθεύ. την ςυνϋχεια εφαρμόζουμε μορφολογικό φιλτρϊριςμα (closing) ςτην δυαδικό εικόνα για κλεύςιμο των περιοχών και εξομϊλυνςη. το τϋλοσ των μορφολογικών πρϊξεων αφαιρούμε μεγϊλεσ περιοχϋσ που ϋχουν δημιουργηθεύ από θόρυβο ξανϊ αλλϊ πλϋον το μϋγεθοσ των περιοχών αυτών εξαρτϊται από τα δεδομϋνα εκμϊθηςησ και ςυγκεκριμϋνα εύναι το 1/10 του εμβαδού τησ περιοχόσ του διϊμεςου bounding box τησ εκϊςτοτε κϊμερασ

58 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Tϋλοσ οι περιοχϋσ που θα ϋχουν μεύνει θα εύναι οι ζητούμενεσ, και ςτο ςυγκεκριμϋνο πρόβλημα που εξετϊζουμε, αυτϋσ θα εύναι οι ανθρώπινεσ ςιλουϋτεσ. Από τισ περιοχϋσ αυτϋσ, που μπορούμε να τισ ονομϊςουμε περιοχϋσ ενδιαφϋροντοσ (ROI), εξϊγονται κϊποια αρχικϊ χαρακτηριςτικϊ που εύναι: Κϋντρο μϊζασ (εύναι το κϋντρο μϊζασ τησ περιοχόσ που ανόκει ςτο αντικεύμενο που ανιχνεύθηκε ) Bounding Box ( εύναι το ελϊχιςτο ςε διαςτϊςεισ ορθογώνιο που περικλεύει την περιοχό που ανιχνεύτηκε) Area ( εύναι το εμβαδό του Bounding Box) Σα τρύα παραπϊνω χαρακτηριςτικϊ εύναι η πληροφορύα που χρειαζόμαςτε για να εξϊγουμε τα παραπϊνω επιπϋδου χαρακτηριςτικϊ όπωσ χρώμα, ςχόμα, υφό κα. ώςτε να μπορούμε να κϊνουμε παρακολούθηςη, ταυτοπούηςη ό και αναγνώριςη. Αυτϊ τα χαρακτηριςτικϊ και μαζύ με την ςτούβα που περιϋχει τα φόντα (background) για κϊθε καρϋ εύναι τα δεδομϋνα που εξϊγονται από την κύρια διαδικαςύα ανύχνευςησ κύνηςησ. χηματικϊ η διαδικαςύα απεικονύζεται παρακϊτω (χόμα 3.7). χόμα 3.7 Διϊγραμμα καταςτϊςεων διαδικαςύα ανύχνευςησ

59 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Τπολογιςμόσ μϋςησ ταχύτητασ Η διαδικαςύα για τον υπολογιςμό τησ μϋςησ ταχύτητασ, εξϊγει την μϋςη ταχύτητα των οντοτότων ϋτςι όπωσ την αντιλαμβϊνεται η κϊμερα για τον χώρο που επιτηρεύ. Δηλαδό βρύςκει την μϋςη τιμό τησ Ευκλεύδειασ απόςταςησ ενόσ ςημεύου καταγεγραμμϋνησ διαδρομόσ με το αμϋςωσ προηγούμενο του, από όλεσ τισ αποθηκευμϋνεσ διαδρομϋσ. Αυτό που ςτην ουςύα εκφρϊζει αυτό η τιμό εύναι η μϋςη απόςταςη των εικονοςτοιχεύων που καταγρϊφονται ςαν κϋντρα μϊζασ μϋςα ςε όλεσ τισ διαδρομϋσ. Από την ςτιγμό που όλεσ οι κϊμερεσ καταγρϊφουν με τον ύδιο ρυθμό 15 fps (frames per second) κϊθε διαφορϊ διαδοχικών καρϋ αντιςτοιχεύ και ςτην ύδια μονϊδα χρόνου οπότε αν π.χ. Για δύο κϊμερεσ, η μϋςη απόςταςη δύο κϋντρων μϊζασ ςε διαφορϊ ενόσ καρϋ εύναι 50 pixels ςτην μύα κϊμερα και ςτην ϊλλη 10 pixels φαύνεται ότι οι οντότητεσ ςτην μια κϊμερα κινούνται γρόγορα ενώ ςτην ϊλλη κινούνται πιο αργϊ. την πραγματικότητα μπορεύ να ςυμβεύ, όμωσ ςτην περύπτωςη του δικτύου μασ απλϊ η μύα κϊμερα επιτηρεύ το χώρο πιο κοντϊ ςτισ οντότητεσ από ότι η ϊλλη. Παρακϊτω παρουςιϊζουμε ϋνα χαρακτηριςτικό παρϊδειγμα δύο καμερών που επιτηρούν την ύδια οντότητα από μια εντελώσ διαφορετικό οπτικό γωνύα. Έτςι η οντότητα φαύνεται ότι ςτην κϊμερα 1 κινεύται πιο αργϊ από ότι ςτην κϊμερα 3 (χόμα 3.8). Κϊμερα 1 / τροχιϊ 7 Κϊμερα 3 / τροχιϊ 3 χόμα 3.8 Καταγεγραμμϋνα μονοπϊτια από τισ κϊμερεσ 1 και 3 επιτηρώντασ την ύδια οντότητα Παρακϊτω ςτισ εικόνεσ 12 και 13, παρουςιϊζουμε μεγεθυμϋνα τα μονοπϊτια τησ εικόνασ 11 για να δεύξουμε πωσ εξϊγουμε την ταχύτητα των οντοτότων για διαφορϊ ενόσ καρϋ ςτα παραπϊνω παραδεύγματα. την ουςύα με αυτόν τον τρόπο βρύςκεται η ταχύτητα των κινούμενων αντικειμϋνων, ϋτςι όπωσ την αντιλαμβϊνεται η κϊμερα, από την θϋςη τουσ ςτο χώρο των δύο διαςτϊςεων και όχι ςτον πραγματικό κόςμο

60 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Κϊμερα 1 / τροχιϊ 7 χόμα 3.9 Εξαγωγό ταχύτητασ ςε διαφορϊ ενόσ καρϋ για την κϊμερα 1 από την 7 η τροχιϊ : Ευκλεύδεια Απόςταςη = Κϊμερα 3 / τροχιϊ 3 χόμα 3.10 Εξαγωγό ταχύτητασ ςε διαφορϊ ενόσ καρϋ για την κϊμερα 3 από την 3 η τροχιϊ : Ευκλεύδεια Απόςταςη = Σϋλοσ αθρούζονται όλεσ οι ταχύτητεσ κατϊ την διϊρκεια ενόσ μονοπατιού, για όλα τα μονοπϊτια που ϋχουν καταγραφεύ για κϊθε κϊμερα και υπολογύζεται η μϋςη ταχύτητα παρατόρηςησ τησ κϊθε κϊμερασ

61 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Κύρια διαδικαςύα ταξινόμηςησ χαρακτηριςτικών την ςυνϋχεια με την διαδικαςύα ταξινόμηςησ χαρακτηριςτικών ταξινομούμε τα χαρακτηριςτικϊ (κϋντρο μϊζασ, bounding box) ςε πύνακεσ όπωσ και με την διαδικαςύα ταξινόμηςησ χαρακτηριςτικών που εύδαμε ςτο ςτην εκμϊθηςη των παραμϋτρων των καμερών του δικτύου. Επιπλϋον εξϊγονται χρωματικό ιςτόγραμμα από το bounding box και ιςτόγραμμα διευθύνςεων ςιλουϋτασ. Φρωματικό ιςτόγραμμα (Color histogram) Σο χρωματικό ιςτόγραμμα εύναι ϋνασ περιγραφϋασ χρώματοσ (color descriptor) από το bounding box που περικλεύει την κινούμενη οντότητα. Ιςτόγραμμα Κατευθύνςεων ςιλουϋτασ (Silhouette orientation histogram) To Ιςτόγραμμα ςχόματοσ ςιλουϋτασ εύναι ϋνασ περιγραφϋασ ςχόματοσ (shape descriptor) και εξϊγεται από την ςιλουϋτα τησ κινούμενησ οντότητασ. Επηρεϊζεται ςε ϋναν μεγϊλο βαθμό από την ύπαρξη διαφόρων ςχημϊτων ςτα ρούχα. Η διαδικαςύα τησ ταξινόμηςησ εύναι η ύδια που αναφϋραμε ςτο με την μόνη διαφορϊ ότι εδώ εξϊγεται ϋναν επιπλϋον πύνακασ που περιϋχει τα ιςτογρϊμματα κατευθύνςεων ςιλουϋτασ με την ύδια δομό όπωσ και τουσ ϊλλουσ πύνακεσ. Επύςησ δοκιμϊςτηκαν χαρακτηριςτικϊ όπωσ ταχύτητα και εμβαδό ςιλουϋτασ που όμωσ δεν ϋδωςαν τα επιθυμητϊ αποτελϋςματα καθώσ αρχικϊ η ταχύτητα μιασ οντότητασ με τον τρόπο που την υπολογύζουμε αλλϊζει μϋςα ςε μια κϊμερα όταν η οντότητα από οριζόντια διεύθυνςη πϊρει κϊθετη διεύθυνςη ςτην κϊμερα. Επύςησ αλλαγό υπϊρχει και μεταξύ των καμερών και ανϊλογα την γωνύα επιτόρηςησ και την απόςταςη τησ οντότητασ από την κϊμερα. Σο εμβαδό ςιλουϋτασ μεταβϊλλεται δυςανϊλογα οπότε δεν χρηςιμοποιόθηκε ούτε αυτό

62 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Ανύχνευςη Αποτελϋςματα Παρακϊτω παρουςιϊζουμε τα μερικϊ από τα αποτελϋςματα του παραπϊνω αλγορύθμου για την ανύχνευςη κύνηςησ. Δεξιϊ φαύνεται το καρϋ ςε RGB για καλύτερη απεικόνιςη και αριςτερϊ αναπαρύςτανται δυαδικϊ οι περιοχϋσ ενδιαφϋροντοσ ςτον ύδιο αριθμό καρϋ. Ωςτόςο η επεξεργαςύα γύνεται ςτον χρωματικό χώρο YCbCr για να αποφθεχθεύ όςο το δυνατόν περιςςότεροσ θόρυβοσ από τισ ςκιϋσ. χόμα 3.11 Αποτϋλεςμα ανύχνευςησ για τυχαύο ςτιγμιότυπο τησ κϊμερασ 1 χόμα 3.12 Αποτϋλεςμα ανύχνευςησ για τυχαύο ςτιγμιότυπο τησ κϊμερασ

63 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών χόμα 3.13 Αποτϋλεςμα ανύχνευςησ για τυχαύο ςτιγμιότυπο τησ κϊμερασ 2 χόμα 3.14 Αποτϋλεςμα ανύχνευςησ για τυχαύο ςτιγμιότυπο τησ κϊμερασ 3 χόμα 3.15 Αποτϋλεςμα ανύχνευςησ για τυχαύο ςτιγμιότυπο τησ κϊμερασ

64 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών χόμα 3.16 Αποτϋλεςμα ανύχνευςησ για τυχαύο ςτιγμιότυπο τησ κϊμερασ 4 Σα παραπϊνω ςτιγμιότυπα εύναι ενδεικτικϊ και ανόκουν ςε διαφορετικϋσ χρονικϋσ ςτιγμϋσ, να τονύςουμε ότι επειδό δεν μελετϊμε κύνηςη ό περιοδικότητα, δεν μασ ενδιαφϋρει τόςο να ξεχωρύζουμε χϋρια ό πόδια όςο μασ ενδιαφϋρει να μην χϊςουμε μια οντότητα κατϊ την διϊρκεια τησ επιτόρηςησ. Για αυτό το λόγο το μορφολογικό closing που εφαρμόζουμε καλύπτει τισ περιςςότερεσ φορϋσ κενϊ ανϊμεςα από χϋρια ό πόδια. 3.6 Παρακολούθηςη κινούμενων αντικειμϋνων ςτην κύρια διαδικαςύα Μαζύ με την ανύχνευςη, η παρακολούθηςη εύναι η δεύτερη κατϊ ςειρϊ πιο ςημαντικό διαδικαςύα ςε ϋνα τϋτοιου εύδουσ πρόβλημα. Αν ϋχουμε πολύ καλϊ αποτελϋςματα από αυτϋσ τισ δύο διαδικαςύεσ μετϊ μπορούμε να λύςουμε ςχεδόν οποιοδόποτε πρόβλημα πϊνω ςε αυτόν τον τομϋα. Η διαδικαςύα τησ παρακολούθηςησ δϋχεται ςαν ορύςματα τα χαρακτηριςτικϊ που ϋχουν πλϋον ταξινομηθεύ και τα δεδομϋνα εκμϊθηςησ δικτύου. Μερικϊ από τα δεδομϋνα εκμϊθηςησ χρηςιμοποιούνται αυτούςια και ϊλλα χρηςιμοποιούνται για να εξϊγουν κϊποια κατώφλια. Αυτό γύνεται για να ϋχουμε δυναμικϊ κατώφλια μεταξύ των καμερών που επιτηρούν τισ οντότητεσ από διαφορετικϋσ οπτικϋσ γωνύεσ. Αντιπροςωπευτικό παρϊδειγμα μπορεύ να εύναι δύο κϊμερεσ που επιτηρούν ανθρώπουσ. Η μύα επιτηρεύ από απόςταςη 5 μϋτρων και η ϊλλη από απόςταςη 20 μϋτρων. Σο κατώφλι απόςταςησ πχ για τα κϋντρα μϊζασ ςτην δεύτερη κϊμερα πρϋπει να εύναι μικρότερο από την πρώτη. Αν όταν ύδιο το ςύςτημα δεν θα ξεχώριζε τισ οντότητεσ ςτην δεύτερη κϊμερα. το ςύςτημα που υλοποιόςαμε το ςυγκεκριμϋνο κατώφλι απόςταςησ κϋντρων μϊζασ που αναφϋραμε εξϊγεται από την τιμό του πλϊτουσ του διϊμεςου bounding box τησ κϊθε κϊμερασ, που ανόκει ςτα δεδομϋνα εκμϊθηςησ δικτύου. Σο κατώφλι που

65 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών χρηςιμοποιεύται για την ςύγκριςη των αποςτϊςεων ιςτογραμμϊτων εύναι ςταθερό. Η διαδικαςύα τησ παρακολούθηςησ όπωσ την υλοποιόςαμε φαύνεται ςχηματικϊ παρακϊτω (χόμα 3.17) ενώ ςτην ςυνϋχεια αναλύουμε ϋνα ϋνα τα βόματα. χόμα 3.17 Διϊγραμμα καταςτϊςεων διαδικαςύασ παρακολούθηςησ Εξαγωγό ακολουθιών Σο πρώτο εύναι και το πιο ςημαντικό ςτϊδιο, όπου πραγματοποιεύται η εξαγωγό των βαςικών μονοπατιών των οντοτότων που ϋχουν διαγρϊψει τροχιϋσ μϋςα ςτο δύκτυο. Οι διαδικαςύεσ που ακολουθούν την κύρια διαδικαςύα παρακολούθηςησ των οντοτότων τροποποιούν τα όδη αποθηκευμϋνα μονοπϊτια/διαδρομϋσ ώςτε να βελτιώςουν τα αποτελϋςματα

66 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Η κύρια διαδικαςύα παρακολούθηςησ των κινούμενων αντικειμϋνων Η κύρια διαδικαςύα παρακολούθηςησ των οντοτότων δϋχεται ςαν ορύςματα τα χαρακτηριςτικϊ που ϋχουν ταξινομηθεύ πλϋον από την κύρια διαδικαςύα ταξινόμηςησ και δεδομϋνα από την διαδικαςύα τησ εκμϊθηςησ δικτύου, και εξϊγει ϋναν πύνακα. Φαρακτηριςτικό παρϊδειγμα με τα ςτοιχεύα μιασ γραμμόσ του πύνακα παρουςιϊζουμε παρακϊτω. (Πύνακασ 3.2) Centroids Bounding Boxes Active(T/F) Last Seen Frame All frames Predicted Centroids Color Histograms Πύνακασ 3.2 Αναπαρϊςταςη αποτελεςμϊτων τησ main_tracking_process Orientation Histograms Η πρώτη ςτόλη εύναι ϋνα κελύ που περιϋχει όλεσ τισ ςυντεταγμϋνεσ των κϋντρων μϊζασ [x,y] μιασ οντότητασ κατϊ την διϊρκεια που βρύςκεται ςτον χώρο επιτόρηςησ τησ κϊμερασ. Αν η οντότητα ϋχει καταγραφεύ ςτην κϊμερα για 60 frames τότε το πρώτο κελύ θα ϋχει μϋγεθοσ 60x2. Η δεύτερη ςτόλη εύναι ϋνα κελύ που περιϋχει όλα τα bounding boxes [x,y,width,height] μιασ οντότητασ κατϊ την διϊρκεια που βρύςκεται ςτον χώρο επιτόρηςησ τησ κϊμερασ. Έςτω ότι αναφερόμαςτε ςτην παραπϊνω οντότητα που καταγρϊφηκε για 60 frames. Σότε το κελύ αυτό θα ϋχει μϋγεθοσ 60x4. Η τρύτη ςτόλη περιϋχει ϋνα δυαδικό 1 (TRUE) ό 0 (FALSE). Αν περιϋχεται το 1 (TRUE) τότε η οντότητα εύναι ακόμα ενεργό αλλιώσ αν περιϋχεται το 0 (FALSE) τότε εύναι ανενεργό. Λϋγοντασ ενεργό ςημαύνει ότι ςτο επόμενο καρϋ το ςύςτημα θα προςπαθόςει να την κϊνει ταυτοπούηςη με την τρϋχουςα που ελϋγχει, ςε διαφορετικό περύπτωςη, αν δηλαδό εύναι ανενεργό το ςύςτημα δεν θα την ξαναψϊξει. Η τϋταρτη ςτόλη περιϋχει τον αριθμό του καρϋ όπου όταν τελευταύα φορϊ ενεργό η οντότητα. Η πϋμπτη ςτόλη εύναι ϋνα κελύ που περιϋχει τον αριθμό των καρϋ για κϊθε καταγεγραμμϋνο κϋντρο μϊζασ. Για την ύδια οντότητα με παραπϊνω το κελύ αυτό θα ϋχει μϋγεθοσ 60x1. Η ϋκτη ςτόλη εύναι ϋνα κελύ που περιϋχει όλεσ τισ ςυντεταγμϋνεσ των εκτιμώμενων κϋντρων μϊζασ [x,y] μιασ οντότητασ κατϊ την διϊρκεια που βρύςκεται ςτον χώρο επιτόρηςησ τησ κϊμερασ. Επύςησ για την παραπϊνω οντότητα το κελύ θα ϋχει μϋγεθοσ 60x2. Η ϋβδομη ςτόλη εύναι ϋνα κελύ που περιϋχει όλα τα χρωματικϊ ιςτογρϊμματα που ϋχουν εξαχθεύ από τα bounding boxes κατϊ την διϊρκεια τησ διαδρομόσ μιασ οντότητασ που βρύςκεται ςτον χώρο επιτόρηςησ τησ κϊμερασ. Για την παραπϊνω οντότητα το κελύ θα ϋχει μϋγεθοσ 256x(60x3)

67 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Η όγδοη ςτόλη εύναι ϋνα κελύ που περιϋχει όλα τα ιςτογρϊμματα κατεύθυνςησ που ϋχουν εξαχθεύ από τη ςιλουϋτα τησ οντότητασ κατϊ την διϊρκεια τησ διαδρομόσ τησ που βρύςκεται ςτον χώρο επιτόρηςησ τησ κϊμερασ. Για την παραπϊνω οντότητα το κελύ θα ϋχει μϋγεθοσ 21x60. Η παρακολούθηςη οντοτότων ανϊγεται ουςιαςτικϊ ςτην παρακολούθηςη των κϋντρων μϊζασ τουσ. Όπωσ αναφϋραμε και ςε προηγούμενο κεφϊλαιο η παρακολούθηςη αυτό εύναι παρακολούθηςη ςημεύου όπου με ϋνα απλό γραμμικό ςύςτημα γύνεται η εκτύμηςη τησ επόμενησ θϋςησ τησ οντότητασ και εν ςυνεχεύα ςυγκρύνεται με την τρϋχουςα εύςοδο. Ο γραμμικόσ εκτιμητόσ (Linear Predictor) εύναι τησ μορφόσ Centroidn+1 = Centroidn + (Centroidn - Centroidn-1)*Τ Όπου T ο χρόνοσ-καρϋ που ϋλειψε από την κϊμερα. Αν η τροχιϊ του αντικειμϋνου εύναι μεγϊλη ο παραπϊνω τύποσ εξομαλύνεται και παύρνει την παρακϊτω μορφό. Centroidn+1 = Centroidn + (Centroidn - Centroidn-4)*(Τ/4) Αυτό γύνεται για καλύτερη πρόβλεψη πορεύασ αφού εμπιςτευόμαςτε μια ςειρϊ από καταγεγραμμϋνα κϋντρα μϊζασ και όχι μόνο το προτελευταύο. Η αντύςτοιχη πρόβλεψη δεν υπϊρχει για τα ιςτογρϊμματα, ςτα ιςτογρϊμματα αν το Σ εύναι διαφορετικό του 1 τότε δύνουμε περιςςότερη ανοχό ςτο ιςτόγραμμα και αφαιρώντασ από το αποτϋλεςμα ϋνα ποςοςτό υποθϋτοντασ ότι το ιςτόγραμμα θα ϋχει αλλϊξει ςε χρόνο Σ αφού η οντότητα θα ϋχει μετακινηθεύ και μπορεύ να ϋχει αλλϊξει φωτιςμόσ, κατεύθυνςη και φόντο. Ωςτόςο εύναι πολύ μικρό το ποςοςτό για να μην ϋχουμε απώλειεσ και λϊθοσ αποτελϋςματα. Για κϊθε ςημεύο που προςτύθεται η ςύγκριςη γύνεται με βϊςη το τελευταύο ςημεύο που καταγρϊφηκε ςτην τρϋχουςα οντότητα που ςυγκρύνεται, εκτόσ αν βρεθεύ μεγϊλη απόκλιςη ςε απόςταςη όταν γύνεται ςύγκριςη ςημεύων ό ςτο εμβαδό του bounding box των οντοτότων, τότε η πρόβλεψη και ςύγκριςη γύνεται με βϊςη το προτελευταύο ςημεύο που εύχε καταγραφεύ. Σϋλοσ για όποια οντότητα ο χρόνοσ/καρϋ που δεν ϋχει ανιχνευθεύ ξεπερϊςει κϊποιο κατώφλι η οντότητα γύνεται ανενεργό και παύει να αναζητεύται από το ςημεύο αυτό και ύςτερα. Η κύρια διαδικαςύα παρακολούθηςησ των κινούμενων αντικειμϋνων υλοποιόθηκε και δεύτερη φορϊ με μια παραμετροπούηςη ςτον κώδικα τησ και την προςθόκη μιασ επιπλϋον διαδικαςύασ αναβϊθμιςησ των ακολουθιών πύςω

68 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών από τισ ςυγκρούςεισ/αποκρύψεισ μεταξύ των κινούμενων αντικειμϋνων. Με την επιπλϋον αυτόν προςθόκη δημιουργούμε ςτην ουςύα την δεύτερη τεχνικό παρακολούθηςησ που λειτουργεύ πιο ικανοποιητικϊ από την πρώτη για υψηλόσ ςυμφόρηςησ δύκτυα (high complex crowd networks). Η προςθόκη ϋχει ςτην ουςύα δύο διαφορϋσ με την πρώτη τεχνικό. ε κϊθε καρϋ ελϋγχετε ποια ID εύναι ενεργϊ, δεν ανανεώθηκαν, δεν βρύςκονται ςτα ϊκρα τησ εικόνασ και ϋχουν εμβαδό μεγαλύτερο του 1/6 τησ μϋςησ τιμόσ εμβαδού τησ κϊμερασ. Αφού γνωρύζουμε ϋωσ τώρα κϊποια ςτοιχεύα για την διαδρομό τουσ, κϊνουμε μια μοντελοπούηςη του θορύβου και ταυτόχρονα κϊνουμε την πρόβλεψη προςθϋτοντασ και τον θόρυβο. Η πρόβλεψη αποθηκεύεται ςτον πύνακα ϋτςι ώςτε να εύναι δυνατό η απεικόνιςη τησ ςτα αποτελϋςματα. Θα την ονομϊζουμε εκτεταμϋνη κύρια διαδικαςύα παρακολούθηςησ. Ακολουθεύ ο αλγόριθμοσ : Για κϊθε Καρϋ.. Για κϊθε κινούμενη οντότητα.. Αν εύναι η πρώτη ςτον πινϊκα αποθόκευςε την ςτον Βαςικό πύνακα Αλλιώσ για κϊθε αποθηκευμϋνη ακολουθύα οντότητασ.. Αν εύναι ενεργό Κϊνε πρόβλεψη ύγκρινε με τρϋχουςα τιμό που ελϋγχεται Αποθόκευςε ςε πύνακα αποςτϊςεων Αποθόκευςε την ελϊχιςτη τιμό και την οντότητα που τησ αντιςτοιχεύ Από τισ τιμϋσ των ελαχύςτων καθόριςε ποιο θα εύναι το μϋτρο ςύγκριςησ και ποιο το αντύςτοιχο κατώφλι που θα χρηςιμοποιηθεύ. Αν εύναι κϊτω από το κατώφλι αποθόκευςε ςτον βαςικό πύνακα Πρόβλεψε αν η οντότητα φεύγει ό ϋρχεται. Αν φεύγει μηδϋνιςε το Active Flag Αλλιώσ δημιούργηςε νϋα οντότητα Για κϊθε οντότητα ςτην οπούα το T ϋχει ξεπερϊςει ϋνα κατώφλι μηδϋνιςε το Active Flag..(Αν εύναι ςτα ϊκρα τησ εικόνασ το κατώφλι αυτό μειώνεται) Για κϊθε οντότητα Αν εύναι μη αναβαθμιςμϋνη ΚΑΙ εύναι ενεργό ΚΑΙ δεν ανόκει ςτα ϊκρα τησ εικόνασ ΚΑΙ το εμβαδό του bounding box που την περικλεύει εύναι μεγαλύτερο από ϋνα ποςοςτό του εμβαδού που ϋχει το διϊμεςο bounding box τησ κϊμερασ Κϊνε μια μοντελοπούηςη του θορύβου από τισ αποθηκευμϋνεσ τιμϋσ Κϊνε πρόβλεψη και αναβϊθμιςε την ακολουθύα τησ με τισ εκτιμώμενεσ τιμϋσ. Πρόγραμμα 3.2 Αλγόριθμοσ παρακολούθηςησ ςτην κύρια διαδικαςύα

69 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Εύρεςη κρύςιμων περιοχών Η διαδικαςύα εύρεςησ κρύςιμων περιοχών ανακαλύπτει ποιεσ εύναι οι κρύςιμεσ περιοχϋσ κϊθε κϊμερασ, από τισ οπούεσ ϋνα αντικεύμενο μπορεύ να ειςϋλθει ό να εξϋλθει, προσ και από την κϊμερα αντύςτοιχα. Ακολουθεύ ο αλγόριθμοσ : Φώριςε την εικόνα ςε 12 περιοχϋσ όπωσ φαύνεται ςτην εικόνα 21 Κατϋγραψε τα πρώτα και τελευταύα καταγεγραμμϋνα κϋντρα μϊζασ κϊθε αποθηκευμϋνησ οντότητασ ( first και last points) (Εικόνα 23) Αφαύρεςε τα κϋντρα μϊζασ τα οπούα προϋρχονται από οντότητεσ των οπούων η τροχιϊ / μονοπϊτι εύναι πολύ μικρό (μπορεύ να εύναι θόρυβοσ) (Εικόνα 24) Αντιςτούχηςε τα κϋντρα μϊζασ ςτισ περιοχϋσ Ϊλεγξε αν ξεπερνούν το κατώφλι Αν ναι η περιοχό που ανόκουν εύναι κρύςιμό (Εικόνα 25) Πρόγραμμα 3.3 Αλγόριθμοσ Εύρεςησ κρύςιμων περιοχών Παρακϊτω ςτο ςχόμα 3.18 δεύχνουμε πωσ απεικονύζονται γραφικϊ οι περιοχϋσ αυτϋσ. χόμα 3.18 Διαχωριςμόσ τησ περιοχόσ επιτόρηςησ ςε υπό-περιοχϋσ την παραπϊνω εικόνα 21, οι περιοχϋσ 4,8 ϋχουν αυξηθεύ κατϊ πλϊτοσ (προσ τα δεξιϊ) 10 pixels. Οι περιοχϋσ 9,10,11 ϋχουν αυξηθεύ κατϊ ύψοσ (προσ τα κϊτω) 10 pixels ενώ η περιοχό 12 ϋχει αυξηθεύ κατϊ πλϊτοσ και κατϊ ύψοσ 10 pixels

70 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Η Τλοπούηςη ϋχει γύνει ϋτςι ώςτε να ςυμπεριληφθούν τυχόν ςημεύα που ϋχουν καταγραφεύ εκτόσ του πλϋγματοσ όπωσ φαύνεται ςτο ςχόμα χόμα 3.19 Ιδιομορφύα λογιςμικού περιβϊλλοντοσ Παρακϊτω ςτα ςχόματα 3.20, 3.21, 3.22 παρουςιϊζουμε οπτικϊ τα βόματα του αλγορύθμου που περιγρϊψαμε ςτην αρχό του το ςχόμα 3.20 παρουςιϊζουμε όλα τα ςημεύα ειςόδου και εξόδου οντοτότων ςτην κϊμερα 2 που ανιχνεύτηκαν ςτην εκμϊθηςη δικτύου. Σα ςημεύα ειςόδου εύναι τα κϋντρα μϊζασ που ανιχνεύονται όταν οι οντότητεσ ειςϋρχονται ςτην κϊμερα και τα ςημεύα εξόδου εύναι τα τελευταύα καθώσ αυτϋσ εξϋρχονται από την κϊμερα. το ςχόμα 3.21 αφαιρούνται τα ςημεύα (μϋςα ςε κύκλο) που προϋρχονται από μονοπϊτια με λύγα ςτιγμιότυπα θεωρώντασ τα θόρυβο. Σϋλοσ ςτο ςχόμα 3.22 αν κϊποια υπό-περιοχό περιϋχει τον απαιτούμενο αριθμό ςημεύων τότε θεωρεύται κρύςιμη

71 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών χόμα 3.20 χόμα 3.21 χόμα 3.22 χόματα 3.20,3.21,3.22 Βόματα αλγορύθμου εύρεςησ κρύςιμων περιοχών

72 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Με τον αλγόριθμο που αναφϋραμε ςτην αρχό του και με τον τρόπο που παρουςιϊςαμε ςτα ςχόματα 3.20, 3.21 και 3.22 εξόχθηςαν η κρύςιμεσ περιοχϋσ για κϊθε κϊμερα. Θα μασ χρειαςτούν αργότερα ςτην ανακϊλυψη τησ τοπολογύασ του δικτύου αλλϊ και ςτην εκ νϋου ταυτοπούηςη και αντιςτούχηςη των ανθρώπων που κινούνται ςτο δύκτυο. Έτςι οι κρύςιμεσ περιοχϋσ για όλεσ τισ κϊμερεσ εύναι όπωσ φαύνονται παρακϊτω ςτο ςχόμα 3.23 ενώ για καλύτερη οπτικό αντύληψη τισ παρουςιϊζουμε και ςε αντιπαρϊθεςη με το πρώτο καρϋ κϊθε βύντεο ςτο ςχόμα χόμα 3.23 Κρύςιμεσ περιοχϋσ καμερών χόμα 3.24 Κρύςιμεσ περιοχϋσ και βύντεο

73 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Να τονύςουμε ότι ανϊλογα με το περιβϊλλον και την ςυμφόρηςη του δικτύου από αντικεύμενα ενδιαφϋροντοσ ο διαχωριςμόσ θα μπορούςε να γύνει με ακόμα μεγαλύτεροσ όπωσ για παρϊδειγμα η κϊθε περιοχό να διαιρεθεύ τϋςςερισ φορϋσ και ςυνολικϊ να ϋχουμε 48 υπό-περιοχϋσ για πιο μεγϊλη ακρύβεια. Αξιολόγηςη και εύρεςη χαρακτηριςτικού προσ παρακολούθηςη Μϋςα ςτην κύρια διαδικαςύα παρακολούθηςησ των κινούμενων αντικειμϋνων καλεύται μια διεργαςύα η οπούα αξιολογεύ τα δύο χαρακτηριςτικϊ που χρηςιμοποιούμε για παρακολούθηςη και εξϊγει το πιο κατϊλληλο από τα δύο. Η διεργαςύα αυτό λειτουργεύ ωσ εξόσ, αν η απόςταςη των ςημεύων κϋντρων μϊζασ (α) εύναι χαμηλότερη του κατωφλύου τότε δεχόμαςτε το ςημεύο που ϋχει προκύψει από αυτόν την ςύγκριςη ςαν ςυνϋχεια τησ όδη καταγεγραμμϋνησ τροχιϊσ, αν όχι, τότε κοιτϊμε την απόςταςη των ιςτογραμμϊτων (β) αν τώρα εύναι χαμηλότερη η απόςταςη του αντύςτοιχου κατωφλύου τότε δεχόμαςτε αυτό ςαν ςημεύο, αν όχι, τότε κοιτϊμε αν τα ςημεύα που ςυγκρύνονται, εύτε ϋχουν προϋλθει από α ό β, ανόκουν ό όχι ςε κρύςιμεσ περιοχϋσ. Αν δεν ανόκουν γύνεται η ύδια διαδικαςύα με παραπϊνω με την μόνη διαφορϊ ότι το κατώφλι αυξϊνεται (Σο κατώφλι εκτόσ κρύςιμων περιοχών αυξϊνεται γιατύ γνωρύζουμε ότι από αυτόν την περιοχό δεν μπορεύ να εξϋλθει ό ειςϋλθει οντότητα και θϋλοντασ να προςμετρόςουμε κϊποια που ξϋφυγε το κατώφλι αυξϊνεται) το τϋλοσ επιςτρϋφεται το κύριο χαρακτηριςτικό με το οπούο θα γύνει η ςύγκριςη και το κατώφλι. Ακολουθεύ ο αλγόριθμοσ : ύγκρινε τον λόγο απόςταςησ Κϋντρου μϊζασ και Φρωματικού ιςτογρϊμματοσ. Αν εύναι και οι δύο μικρότεροι τησ μονϊδασ επιλϋγεται ςαν μϋτρο ςύγκριςησ αυτό που ο λόγοσ τησ τιμόσ του προσ αυτό του αντύςτοιχου κατωφλύου εύναι μικρότερη. Αν ϋνασ από τουσ δύο εύναι μικρότεροσ από την μονϊδα επιλϋγεται αυτό το χαρακτηριςτικό ςαν μϋτρο ςύγκριςησ. Αλλιώσ ελϋγχεται αν τα κϋντρα μϊζασ (τρϋχον και τιμόσ κϋντρου μϊζασ) δεν ανόκουν ςε κρύςιμεσ περιοχϋσ Αν ναι το κατώφλι αυξϊνεται και οι παραπϊνω λόγοι ξανϊ-υπολογύζονται ελϋγχεται πρώτα αν ο λόγοσ του κϋντρου μϊζασ πϋφτει κϊτω από την μονϊδα Αν Πϋφτει κϊτω από την μονϊδα επιλϋγεται ςαν μϋτρο ςύγκριςησ Αλλιώσ επαναλαμβϊνεται η διαδικαςύα για το χρωματικό ιςτόγραμμα Αλλιώσ ελϋγχεται αν τα κϋντρα μϊζασ (τρϋχον και τιμόσ χρωματικού ιςτογρϊμματοσ) δεν ανόκουν ςε κρύςιμεσ περιοχϋσ Αν ναι το κατώφλι αυξϊνεται και τώρα υπολογύζεται μόνο ο λόγοσ τησ τιμόσ του χρωματικού ιςτογρϊμματοσ Αν Πϋφτει κϊτω από την μονϊδα επιλϋγεται ςαν μϋτρο ςύγκριςησ Πρόγραμμα 3.4 Αλγόριθμοσ αξιολόγηςησ και εύρεςησ χαρακτηριςτικού προσ παρακολούθηςη

74 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Δημιουργύα πύνακα με βϊρη Παρατηρώντασ το video, μπορούμε να καταλόξουμε ςτο ςυμπϋραςμα ότι καμύα οντότητα δεν μπορεύ να ειςϋλθει ςτον χώρο ό να εξϋλθει από τον χώρο μιασ κϊμερασ εκτόσ των περιθωρύων τησ, δηλαδό δεν μπορεύ μια οντότητα να γεννηθεύ ό αποβιώςει ςτο μϋςο τησ κϊμερασ. Οπότε βαςικό κομμϊτι τησ παραπϊνω διαδικαςύασ εύναι ϋνασ πύνακασ με βϊρη (weighted matrix) που δημιουργόθηκε με βϊςη αυτόν την υπόθεςη. Σο κεντρικό pixel ϋχει τιμό 0 και όςο απομακρυνόμαςτε η τιμό των pixels αυξϊνεται, ςτην ουςύα τα βϊρη του πύνακα εύναι οι αποςτϊςεισ του εκϊςτοτε εικονοςτοιχεύου από το κεντρικό νορμαλύζοντασ τισ αποςτϊςεισ αυτϋσ με βϊςη την μεγαλύτερη απόςταςη. Σϋλοσ ϋχουμε τον πύνακα που αν τον δούμε οπτικϊ ϋχει την παρακϊτω μορφό. (χόμα 3.25) χόμα 3.25 Πύνακασ με βϊρη Εύρεςη ειςόδου ό εξόδου μιασ οντότητασ από την κϊμερα Με βϊςη τον παραπϊνω πύνακα (χόμα 3.25) ϋχει υλοποιηθεύ μια διαδικαςύα η οπούα για κϊθε κινούμενη οντότητα ανιχνεύει αν εξϋρχεται από την κϊμερα ό ειςϋρχεται ςτην κϊμερα. Αυτό γύνεται με αποθόκευςη ενόσ μετρητό που παρακολουθεύ τα βϊρη του πύνακα και ανϊλογα με την τιμό τησ εξόδου 1. η οντότητα φεύγει και γύνεται ανενεργό. 2. η οντότητα ειςϋρχεται και γύνεται ενεργό. 3. δεν γνωρύζουμε αν ειςϋρχεται ό εξϋρχεται και παραμϋνει ενεργό

75 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Ορύζουμε δύο κρύςιμεσ ζώνεσ τισ οπούεσ αν περϊςει μια οντότητα τότε ο μετρητόσ ςυγκρύνεται με το κατώφλι τησ περιοχόσ που θα ςυναντόςει πρώτα. Αν για μια οντότητα τα βϊρη του πύνακα μειώνονται κατϊ την διαδρομό τότε η οντότητα πληςιϊζει το κϋντρο ό αλλιώσ ειςϋρχεται ςτην κϊμερα. Αν για μια οντότητα τα βϊρη του πύνακα αυξϊνονται κατϊ την διαδρομό τότε η οντότητα απομακρύνεται από το κϋντρο ό αλλιώσ εξϋρχεται από την κϊμερα. Ο ϋλεγχοσ αυτόσ γύνεται για κϊθε νϋα αναβϊθμιςη οποιαςδόποτε ακολουθύασ οντότητασ που το τελευταύο καταγεγραμμϋνο κϋντρο μϊζασ τησ ανόκει ςε κρύςιμη περιοχό. Επειδό θϋλουμε να ελϋγξουμε αν η οντότητα φεύγει ελϋγχεται πρώτα η κρύςιμη ζώνη 2 από την 1 γιατύ εύναι πιο πιθανό να ϋχει φύγει όταν ανόκει ςτην 2. Όςο μια οντότητα ανόκει ςε κρύςιμη περιοχό γύνεται ο ϋλεγχοσ καταμϋτρηςησ δύο μετρητών. Σου μετρητό εξόδου και του μετρητό ειςόδου. το ςυγκεκριμϋνο πρόβλημα μασ αφορϊ ο μετρητόσ εξόδου. Αν ο μετρητόσ εξόδου ξεπερϊςει το κατώφλι με το οπούο ςυγκρύνεται η οντότητα γύνεται ανενεργό και δεν θϋτετε υπό ςύγκριςη ςτο επόμενο καρϋ, αλλιώσ μϋνει ενεργό. χόμα 3.26 Πύνακασ με βϊρη μαζύ με τισ κρύςιμεσ ζώνεσ

76 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Ακολουθεύ ο αλγόριθμοσ : Για κϊθε αποθηκευμϋνη ακολουθύα οντότητασ κϊθε φορϊ που αναβαθμύζεται Ϊλεγξε αν το κϋντρο μϊζασ ανόκει ςε κρύςιμη περιοχό Αν Ανόκει ϋλεγξε τα τελευταύα καταγεγραμμϋνα κϋντρα μϊζασ Για κϊθε ϋνα που η διαφορϊ του βϊρουσ του από το προηγούμενο εύναι > 0 ΚΑΙ η απόλυτη τιμό > radius thresh τον μετρητό εξόδου αλλιώσ αύξηςε τον μετρητό ειςόδου Ϊλεγξε ςε ποια ζώνη ανόκει (2 πριν την 1) ύγκρινε με το αντύςτοιχο κατώφλι Αν ο μετρητόσ εξόδου ξεπερνϊει το κατώφλι τησ ζώνησ που ελϋγχεται η οντότητα γύνεται ανενεργό. Αλλιώσ και ςτισ δύο περιπτώςεισ αν δεν ξεπεραςτεύ το κατώφλι η οντότητα μϋνει ενεργό. Πρόγραμμα 3.5 Αλγόριθμοσ εύρεςησ ειςόδου εξόδου οντότητασ Radius thresh: ακτινικό κατώφλι. Αν το αντικεύμενο κινεύται ϋτςι ώςτε να βρύςκεται ςυνεχώσ ςτην ακτύνα ενόσ κύκλου τότε δεν φεύγει καθώσ τα βϊρη ςτην ύδια ακτύνα εύναι ύςα, οπότε θϋλουμε η διαφορϊ δυο διαδοχικών ςημεύων να υπερϋχουν αυτού του κατωφλύου Απαλοιφό Θορύβου Ίςωσ η πιο απλό διαδικαςύα που όμωσ χρειϊζεται προςοχό καθώσ ςτο ςτϊδιο αυτό αφαιρούμε τροχιϋσ οι οπούεσ πϋφτουν κϊτω από ϋνα προκαθοριςμϋνο κατώφλι. Διαγρϊφονται όποιεσ τροχιϋσ περιϋχουν λιγότερα από τόςα ςτιγμιότυπα όςα αναγρϊφει το κατώφλι. Η διαδικαςύα αφαύρεςησ θορύβου Η διαδικαςύα αφαύρεςησ θορύβου παύρνει ςαν ορύςματα τον βαςικό πύνακα που περιϋχει τισ διαδρομϋσ των οντοτότων και εξϊγει τον ύδιο πύνακα με την διαφορϊ ότι όποιο ID ϋχει καταγραφεύ για λιγότερο αριθμό καρϋ από την τιμό του κατωφλύου διαγρϊφεται Επαναπροςδιοριςμόσ των Bounding Boxes το ςυγκεκριμϋνο ςτϊδιο ϋχουμε λϊβει τα δεδομϋνα από την προηγούμενη διαδικαςύα. Όμωσ ςε ϋνα αντικεύμενο μπορούν να εμφανιςτούν πολλϊ Bounding Boxes. Η ςυγκεκριμϋνη διαδικαςύα αποςκοπεύ ςτο να δημιουργόςει ϋνα Bounding Box για κϊθε αντικεύμενο και λειτουργεύ ωσ εξόσ, εξαντλητικϊ διατρϋχει τον πύνακα για κϊθε ςτιγμιότυπο που ϋχει αποθηκευτεύ αν για ταυτόχρονα το ύδιο ID και το ύδιο frame υπϊρχουν παραπϊνω από ϋνα Bounding Boxes τότε αν κϊποιο από αυτϊ υπερϋχει του ϊλλου ςε εμβαδό και αναλογύα 3/1-56 -

77 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών τότε κρατϊμε αυτό ςαν Bounding Box τησ οντότητασ, αν όχι τότε τα ενώνουμε και δημιουργούμε ϋνα Bounding Box από την ςύνθεςό τουσ. Για κϊθε Bounding Box που αφαιρεύται αφαιρούνται και τα αντύςτοιχα χαρακτηριςτικϊ του κατϊ μόκοσ του πύνακα. Η ςυγκεκριμϋνη διαδικαςύα εκτελεύται δύο φορϋσ για απαλοιφό περαιτϋρω θορύβου και υλοποιεύται με τον ακόλουθο κώδικα: Η διαδικαςύα επαναπροςδιοριςμού των bounding boxes δημιουργεύ ϋνα Bounding Box για κϊθε αντικεύμενο και λειτουργεύ ωσ εξόσ, διατρϋχει εξαντλητικϊ τον πύνακα για κϊθε ςτιγμιότυπο που ϋχει αποθηκευτεύ αν για ταυτόχρονα το ύδιο ID και το ύδιο καρϋ υπϊρχουν παραπϊνω από ϋνα Bounding Boxes τότε αν κϊποιο από αυτϊ υπερϋχει του ϊλλου ςε εμβαδό ςε αναλογύα 3/1 τότε κρατϊμε αυτό ςαν Bounding Box τησ οντότητασ, αν όχι τότε τα ενώνουμε και δημιουργούμε ϋνα Bounding Box από την ςύνθεςό τουσ. Για κϊθε Bounding Box που αφαιρεύται αφαιρούνται και τα αντύςτοιχα χαρακτηριςτικϊ του κατϊ μόκοσ του πύνακα (κϋντρο μϊζασ, χρωματικό ιςτόγραμμα κ.α.). το παρϊδειγμα που ακολουθεύ (χόμα 3.27) φαύνεται ενδεικτικϊ ϋνα ςτιγμιότυπο ςτο οπούο ςε ϋνα αντικεύμενο αντιςτοιχούν δύο bounding boxes (πϊνω μϋροσ ςώματοσ, κϊτω μϋροσ ςώματοσ). την ςυγκεκριμϋνη περύπτωςη επειδό η αναλογύα των εμβαδών μεταξύ τουσ δεν ξεπερνϊει το 3/1 τα δύο bounding boxes ενώνονται για να δημιουργόςουν ϋνα. χόμα 3.27 Ίδιο ςτιγμιότυπο πριν και μετϊ την διαδικαςύα επαναπροςδιοριςμού των bounding boxes Αντικατϊςταςη Bounding Boxes Η αντικατϊςταςη των νεοδημιουργηθϋντων νωρύτερα Bounding Boxes από την διαδικαςύα επαναπροςδιοριςμού τουσ, θα γύνει μϋςω δύο πινϊκων που ϋχουν δημιουργηθεύ μετϊ το τϋλοσ τησ διεργαςύασ τησ εκμϊθηςησ δικτύου από την διαδικαςύα εύρεςησ μεταςχηματιςμών των bounding boxes. Οι πύνακεσ αυτού δεύχνουν τον ρυθμό με τον οπούο μεταβϊλλεται το μϋγεθοσ ( πλϊτοσ και ύψοσ ) του Bounding Box των οντοτότων καθώσ αυτϋσ επιτηρούνται από τισ κϊμερεσ του δικτύου ςτον χώρο που επιτηρεύται. Η διαδικαςύα αντικατϊςταςησ των Bounding Boxes αντικαθιςτϊ τα νεοδημιουργηθϋντα νωρύτερα Bounding Boxes από την διαδικαςύα

78 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών επαναπροςδιοριςμού τουσ, μόνο όταν η τρϋχουςα τιμό (αποθηκευμϋνη) ξεπερνϊει τα 3/2 τησ εκτιμώμενησ. Για να γύνει αυτό, για κϊθε ανιχνευμϋνη οντότητα ελϋγχεται το κϋντρο μϊζασ τησ ςε ποια περιοχό ανόκει. Δηλαδό οι ςυντεταγμϋνεσ x και y του κϋντρου μϊζασ εντϊςςονται ςε μια περιοχό με πεδύο τιμών +/-10 εικονοςτοιχεύων από την τιμό τουσ. Κατόπιν ελϋγχεται μϋςω των πινϊκων τι τϊξησ μεγϋθουσ εύναι τα bounding boxes που ϋχουν ςχηματιςτεύ ςε αυτό η περιοχό, και υπολογύζεται το εκτιμώμενο bounding box για αυτόν την θϋςη ςαν το μϋςο bounding box τησ περιοχόσ που ανόκει. Σο αποτϋλεςμα ϋχει προϋλθει μετϊ από εξομϊλυνςη (smoothing) δεδομϋνων. Παρακϊτω παρουςιϊζουμε ϋνα παρϊδειγμα όπου υπϊρχει μια τϋτοια αντικατϊςταςη (χόμα 3.28). χόμα 3.28 Ίδιο ςτιγμιότυπο πριν και μετϊ την διαδικαςύα αντικατϊςταςησ των bounding boxes Εύρεςη μεταςχηματιςμών των bounding boxes Η διαδικαςύα εύρεςησ μεταςχηματιςμών των bounding boxes για όλεσ τισ αποθηκευμϋνεσ ακολουθύεσ ομαδοποιεύ τα bounding boxes δύο φορϋσ, μια με αύξουςα ςειρϊ τησ ςυντεταγμϋνησ y του κϋντρου μϊζασ τησ οντότητασ και μια με αύξουςα ςειρϊ τησ ςυντεταγμϋνησ x του κϋντρου μϊζασ τησ οντότητασ. Ακολουθεύ ο αλγόριθμοσ : Για κϊθε ID που εύναι αποθηκευμϋνο Για κϊθε καρϋ που το ID ϋχει ανιχνευθεύ ε ϋναν πύνακα α με δύο ςτόλεσ, τοποθϋτηςε ςτην πρώτη ςτόλη την ςυντεταγμϋνη x του κϋντρου μϊζασ του ID και ςτην δεύτερη ςτόλη το Bounding Box του ςτο ύδιο ςτιγμιότυπο. Αναδιαμόρφωςε τον πύνακα με βϊςη την πρώτη ςτόλη ςε αύξουςα ςειρϊ Υιλτρϊριςε την δεύτερη ςτόλη για εξομϊλυνςη των αποτελεςμϊτων ε ϋναν πύνακα β με δύο ςτόλεσ, τοποθϋτηςε ςτην πρώτη ςτόλη την ςυντεταγμϋνη y του κϋντρου μϊζασ του ID και ςτην δεύτερη ςτόλη το Bounding Box του ςτο ύδιο ςτιγμιότυπο. Αναδιαμόρφωςε τον πύνακα με βϊςη την πρώτη ςτόλη ςε αύξουςα ςειρϊ Υιλτρϊριςε την δεύτερη ςτόλη για εξομϊλυνςη των αποτελεςμϊτων Πρόγραμμα 3.6 Αλγόριθμοσ εύρεςησ μεταςχηματιςμών Bounding Boxes

79 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Παρακϊτω παρουςιϊζουμε τα γραφόματα που δεύχνουν πωσ μεταβϊλλεται το εμβαδό του Bounding Box ςτισ κϊμερεσ. (χόματα 3.29, 3.30, 3.31, 3.32) χόμα 3.29 Μεταςχηματιςμόσ του bounding box κατϊ μόκοσ του ϊξονα x και y για την κϊμερα 1 χόμα 3.30 Μεταςχηματιςμόσ του bounding box κατϊ μόκοσ του ϊξονα x και y για την κϊμερα 2 χόμα 3.31 Μεταςχηματιςμόσ του bounding box κατϊ μόκοσ του ϊξονα x και y για την κϊμερα

80 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών χόμα 3.32 Μεταςχηματιςμόσ του bounding box κατϊ μόκοσ του ϊξονα x και y για την κϊμερα 4 Σα διαγρϊμματα δεύχνουν πώσ κινούνται οι οντότητεσ ςτον χώρο. Αρχικϊ ςτα μπλε διαγρϊμματα όπου φαύνεται το εμβαδό ςε ςχϋςη με το ύψοσ, όςο μικρότερο το y (height) τόςο το αντικεύμενο εύναι πιο απομακρυςμϋνο από την κϊμερα, τόςο πιο μικρό η επιφϊνεια που θα καλύπτει ςτην επιτόρηςό μασ, όςο μεγαλώνει το y (height) τότε οι οντότητεσ πληςιϊζουν την κϊμερα οπότε και θα καλύπτουν περιςςότερη επιφϊνεια, και αν ςυνεχύςουν προσ την κϊμερα και φεύγουν από την περιοχό πϊλι θα μειώνεται η επιφϊνεια (εκεύ οφεύλονται οι πτώςεισ των γραφικών παραςτϊςεων ςτισ μεγαλύτερεσ τιμϋσ του y). τα κόκκινα διαγρϊμματα φαύνεται πχ. ςτην πρώτη κϊμερα όςο το x (width) αυξϊνεται τόςο η οντότητα καλύπτει λιγότερη επιφϊνεια. Αυτό ςυμβαύνει γιατύ αν παρατηρόςουμε το βύντεο ςχεδόν όλοι ειςϋρχονται από το βϊθοσ τησ εικόνασ και όςο προχωρϊνε και μειώνεται το x (width) πληςιϊζουν την κϊμερα 1 οπότε και αυξϊνεται η επιφϊνεια που καλύπτουν. Παρϊλληλα όταν αποχωρούν μεγαλώνει το x (width) αλλϊ τεύνουν να φύγουν από την περιοχό κϊλυψησ τησ κϊμερασ οπότε και η επιφϊνεια και πϊλι μειώνεται. ε αντύθεςη με την κϊμερα 2 η επιφϊνεια των οντοτότων κυμαύνεται ςε ςταθερϊ επύπεδα καθώσ αν παρατηρόςουμε το video η κϊμερα 2 εύναι τοποθετημϋνη με τϋτοια θϋςη επιτόρηςησ που δεν επιτρϋπει μεγϊλεσ διακυμϊνςεισ ςτισ επιφϊνειεσ που καλύπτουν οι οντότητεσ, οι ϊνοδοι και πτώςεισ ςτο διϊγραμμα οφεύλονται ςτο ότι ςτο ςυγκεκριμϋνο dataset οι οντότητεσ πληςιϊζουν την κϊμερα ςτα ςημεύα όπου το x αυξϊνεται. ε πραγματικϋσ ςυνθόκεσ επιτόρηςησ του ύδιου χώρου αυτϋσ οι αυξομειώςεισ δεν θα υπόρχαν, καθώσ δεν υπϊρχει διϊδρομοσ ςτο ςημεύο αυτό του δωματύου ώςτε να πληςιϊζουν τόςο, παρϊ μόνο θα κινούνται κατϊ μόκοσ του x. Σα παραπϊνω αποτελϋςματα που απεικονύζονται ςτα ςχόματα 3.29, 3.30, 3.31, 3.32 ϋχουν εξομαλυνθεύ (smoothing) για να απαλειφτεύ ο θόρυβοσ και να απεικονύςουμε την γενικό εικόνα και όχι μεμονωμϋνα ςημεύα

81 Σφςτημα ανίχνευςησ και παρακολοφθηςησ ςε δίκτυα καμερών Εξύςωςη φωτεινότητασ Νϋα Ιςτογρϊμματα Έχοντασ ϋνα ςύςτημα εςωτερικού χώρου και λαμβϊνοντασ υπόψη ότι οι φωτιςμού αλλϊζουν από κϊμερα ςε κϊμερα ϋχοντασ βρει την μϋςη τιμό ϋνταςησ ςτην κϊθε κϊμερα λαμβϊνοντασ ςαν βϊςη την πιο φωτεινό εξιςώνουμε τισ υπόλοιπεσ με αυτόν. Η τιμό bright_value που χρηςιμοποιόθηκε και νωρύτερα ςτην εύρεςη κατωφλύου ςτην κύρια διαδικαςύα τησ ανύχνευςησ, χρηςιμοποιεύται εδώ αντύςτροφα (1/bright_value) για να εξιςώςει την φωτεινότητα όλων των καμερών ςτην τιμό τησ πιο φωτεινόσ. Σο αποτϋλεςμα τησ διαδικαςύασ φαύνεται παρακϊτω : χόμα 3.33 Αρχικϊ καρϋ και Σροποποιημϋνα καρϋ μετϊ την εφαρμογό του ςυντελεςτό φωτεινότητασ Αφού ϋχουμε τα νϋα καρϋ εξϊγουμε νϋα ιςτογρϊμματα και αντικαθιςτούμε τα παλιϊ. Σα νϋα ιςτογρϊμματα ϋχουν προϋλθει και από τα εκτιμώμενα Bounding Boxes που αναφϋραμε ςτο αλλϊ και από τα νϋα εξιςωμϋνα καρϋ ςτην φωτεινότητα (χόμα 3.33) Φαρακτηριςτικϊ εμφϊνιςησ Tϋλοσ μια διαδικαςύα εξϊγει το μϋςο χρωματικό ιςτόγραμμα (mean_histogram) και μια δεύτερη διαδικαςύα εξϊγει το μϋςο ιςτόγραμμα διευθύνςεων ςιλουϋτασ (mean_silhouette_orientation_histogram). Οι διαδικαςύεσ αυτϋσ εξϊγουν για κϊθε οντότητα / ID το μϋςο χρωματικό ιςτόγραμμα και το μϋςο ιςτόγραμμα διευθύνςεων ςιλουϋτασ ώςτε να χρηςιμοποιηθούν ςτο επόμενο ςτϊδιο τησ εύρεςησ τησ αντιςτοιχύασ μεταξύ των καμερών

82 - 62 -

83 Τοπολογία δικτφου καμερών 4.1 Ειςαγωγό Όταν λϋμε τοπολογύα δικτύου καμερών εννοούμε την θϋςη των καμερών ςτον χώρο, το χώρο επιτόρηςησ τησ κϊθε μιασ καθώσ και τισ μεταξύ τουσ ςχϋςεισ. την περύπτωςη μασ εύναι ϋνα από τα ζητούμενα και θα προςπαθόςουμε να το προςεγγύςουμε όςο το δυνατόν καλύτερα. Έχοντασ πλϋον τα αποτελϋςματα από την παρακολούθηςη και με την βοόθεια των πιθανοτότων θα προςπαθόςουμε ανακαλύψουμε την τοπολογύα δικτύου καμερών ςτο πρόβλημα μασ. 4.2 Φαρακτηριςτικϊ (Features) Αρχικϊ εξϊγουμε όςη πληροφορύα χρειαζόμαςτε από τα προηγούμενα αποτελϋςματα. Αυτό η πληροφορύα περιϋχει χαρακτηριςτικϊ εμφϊνιςησ αλλϊ και χώρο-χρονικϊ χαρακτηριςτικϊ Φαρακτηριςτικϊ εμφϊνιςησ (Appearance features) Σα χαρακτηριςτικϊ αυτϊ εύναι το μϋςο χρωματικό ιςτόγραμμα και το μϋςο ιςτόγραμμα ςχόματοσ ςιλουϋτασ για κϊθε ID που εύχε δημιουργηθεύ νωρύτερα Φώρο-χρονικϊ γνωρύςματα (Spatial-tempo features) Σα χαρακτηριςτικϊ αυτϊ επιλϋγονται αντύςτοιχα από το πρώτο και τελευταύο ςτιγμιότυπο κϊθε ID που εύχε δημιουργηθεύ νωρύτερα και εύναι η θϋςη του κϋντρου μϊζασ αρχό και τϋλοσ και το πρώτο και τελευταύο καρϋ που ανιχνεύτηκε μια οντότητα. Επύςησ το χρονικό παρϊθυρο εκφραςμϋνο ςτα αντύςτοιχα καρϋ ζωόσ τησ οντότητασ

84 Τοπολογία δικτφου καμερών Σα παραπϊνω Φαρακτηριςτικϊ εμφϊνιςησ και Φώρο-χρονικϊ χαρακτηριςτικϊ εξϊγονται από τα πρώτα και τελευταύα ανιχνευμϋνα ςτιγμιότυπα των οντοτότων. First Detected Centroid 1 st frame detected Mean color histogram Mean silhouette orientation histogram All frames detected Last Detected Centroid Last frame detected Mean color histogram Mean silhouette orientation histogram All frames detected Πύνακεσ 4.1, 4.2 Αναπαρϊςταςη First και last points 4.3 Φϊρτησ δικτύου καμερών Πριν ανακαλύψουμε την τοπολογύα του δικτύου καμερών, χρειϊζεται να ανακαλύψουμε τον χϊρτη του δικτύου. Λϋγοντασ χϊρτη δικτύου καμερών εννοούμε κϊτι πιο απλό από την τοπολογύα δικτύου. Εδώ θϋλουμε να ξϋρουμε ότι πχ μια οντότητα αν φύγει από κϊποια κϊμερα ςε ποια ό ποιεσ κϊμερεσ πρϋπει να την αναζητόςουμε. Δηλαδό θϋλουμε να βρούμε για κϊθε κϊμερα με ποιεσ ϊλλεσ κϊμερεσ επικοινωνεύ. Αρχικϊ με δύο διαδικαςύεσ για κϊθε κϊμερα ελϋγχουμε από πού ϋρχονται, ό προσ τα πού πϊνε οι οντότητεσ, βϊςη χρωματικού ιςτογρϊμματοσ και χρονικόσ διαφορϊσ εκφραςμϋνησ ςε καρϋ. Π.χ. Για την κϊμερα 2 οι δύο παραπϊνω διαδικαςύεσ εξϊγουν τουσ παρακϊτω πύνακεσ. τον πύνακα 4.3 (incoming camera) τα first points από τα ID τησ 2 κϊμερασ ελϋγχονται από ποιεσ κϊμερεσ προόλθαν. τον πύνακα 4.4 (outgoing camera) τα last points από τα ID τησ 2 κϊμερασ ελϋγχονται ςε ποιεσ κϊμερεσ εμφανύςτηκαν. Έτςι δημιουργούνται οι πύνακεσ και ςυγχωνεύοντασ τουσ βγαύνει ςαν αποτϋλεςμα ο πύνακασ 4.5 (Final communication 2) Π.χ. για ϋλεγχο των οντοτότων που ειςϋρχονται ςτην κϊμερα αναφορϊσ. Ακολουθεύ ο αλγόριθμοσ. Για κϊθε καταγεγραμμϋνο μονοπϊτι τησ κϊμερασ αναφορϊσ Για κϊθε καταγεγραμμϋνο μονοπϊτι των υπόλοιπων καμερών του δικτύου Αν ( Νο 1 ου καρϋ κϊμερασ αναφορϊσ Νο τελευταύου καρϋ προηγούμενησ κϊμερασ < χρονικό κατώφλι KAI Ευκλεύδεια απόςταςη των μεταξύ τουσ ιςτογραμμϊτων < κατώφλι ιςτογραμμϊτων ) Σότε υπϊρχει ςυςχϋτιςη μεταξύ των μονοπατιών. Αποθόκευςε την κϊμερα και τον αριθμό του μονοπατιού ςτων πύνακα ςυςχετύςεων. Πρόγραμμα 4.1 Αλγόριθμοσ εύρεςησ χϊρτη επικοινωνύασ μεταξύ δύο καμερών για τισ οντότητεσ που ειςϋρχονται ςτην κϊμερα αναφορϊσ

85 Τοπολογία δικτφου καμερών Πύνακεσ 4.3, 4.4, 4.5 Κϊθε οντότητα τησ κϊμερασ 2 ϋχει ειςϋλθει ςτην κϊμερα 2 από την κϊμερα που ο αριθμόσ τησ εύναι ςτην πρώτη ςτόλη του πρώτου πύνακα από αριςτερϊ. Σο ύδιο ιςχύει και για το δύπλα πύνακα με την μόνη διαφορϊ εύναι ότι εδώ φαύνεται ςε ποια κϊμερα κατευθύνονται οι οντότητεσ από την 2. Ο τρύτοσ πύνακασ εύναι η ςυγχώνευςη των δύο. την ςυνϋχεια αθρούζοντασ τα αποτελϋςματα τοποθετώντασ τα ςε ϋναν ενιαύο πύνακα ελϋγχουμε, θϋτοντασ ϋνα κατώφλι βϊςη του οπούου, κϊποια κϊμερα όντωσ θα επικοινωνεύ με αυτόν ό αυτϋσ που βρϋθηκαν, αν και μόνο αν ξεπερνϊ ϋναν ποςοςτό του αριθμού των μετρόςεων που βρϋθηκαν, και όχι όλων. Έτςι για την περύπτωςό μασ μετϊ την διαδικαςύα ελϋγχου ο χϊρτησ του δικτύου δεύχνει ότι η κϊμερα 1 επικοινωνεύ μόνο με την κϊμερα 2, η κϊμερα 2 επικοινωνεύ με τισ κϊμερεσ 3 και 1, η κϊμερα 3 επικοινωνεύ με τισ κϊμερεσ 2 και 4 και τϋλοσ η κϊμερα 4 επικοινωνεύ μόνο με την

86 Τοπολογία δικτφου καμερών 4.4 Σοπολογύα Δικτύου Καμερών Αφού πλϋον γνωρύζουμε τον χϊρτη του δικτύου, δηλαδό ποια κϊμερα επικοινωνεύ με ποια ςτην ςυνϋχεια ακολουθεύ η διαδικαςύα που εξϊγει την τοπολογύα του δικτύου. Ακολουθεύ ο αλγόριθμοσ: Αν η τρϋχουςα κϊμερα επικοινωνεύ με μια κϊμερα τότε όλεσ οι κρύςιμεσ περιοχϋσ που ϋχουν βρεθεύ οδηγούν ςτην κϊμερα ςτην οπούα επικοινωνεύ μαζύ. Αλλιώσ για αυτϋσ που επικοινωνούν με παραπϊνω από μια Σοποθϋτηςε όλα τα κϋντρα μϊζασ μαζύ( first και last points) Φώριςε ςε τόςα clusters όςοσ εύναι και ο αριθμόσ των καμερών που επικοινωνεύ η τρϋχουςα με τον k-means Τπολόγιςε τα κϋντρα των υπό-περιοχών τησ ςυνολικόσ κρύςιμησ περιοχόσ. Για κϊθε cluster υπολόγιςε το μϋςο ςημεύο Για κϊθε μϋςο ςημεύο cluster με μετρικό την ευκλεύδεια απόςταςη και ϋνα κατώφλι βρεσ ςε ποιεσ υπό-περιοχϋσ εύναι πιο κοντϊ ϊρα και το αντύςτοιχο cluster θα ανόκει εκεύ. Ϊλεγξε τώρα ποια εύναι η επικρατούςα τιμό από την οπούα ϋχουν προϋλθει η εξϋλθει οι οντότητεσ και αυτό θα εύναι η κϊμερα που επικοινωνεύ με την τρϋχουςα από τισ ςυγκεκριμϋνεσ υπό-περιοχϋσ Πρόγραμμα 4.2 Αλγόριθμοσ ανακϊλυψησ τοπολογύασ δικτύου καμερών Παρακϊτω ςτο ςχόμα 4.1 φαύνεται ςχηματικϊ η διαδικαςύα του αλγορύθμου. Μετϊ την ομαδοπούηςη από τον k-means ςε 2 ομϊδεσ (ϋχοντασ την κϊμερα 2 ςαν κϊμερα αναφορϊσ) τα κόκκινα ςημεύα αντιςτοιχούν ςτην πρώτη και τα πρϊςινα ςτην δεύτερη ομϊδα. Αντύςτοιχα ςαν αςτϋρια απεικονύζονται τα μϋςα ςημεύα των ομϊδων αυτών και με μπλε τετρϊγωνα τα κϋντρα των υπό-περιοχών τησ κρύςιμησ περιοχόσ τησ κϊμερασ. Βρύςκονται ςε ποιεσ υπό-περιοχϋσ των κρύςιμων περιοχών τησ κϊμερασ εύναι πιο κοντϊ η κϊθε ομϊδα και αντύςτοιχα δεςμεύει τισ υπό-περιοχϋσ για να αντιςτοιχόςει την επόμενη κϊμερα

87 Τοπολογία δικτφου καμερών χόμα 4.1 Διαδικαςύα εύρεςησ τοπολογύασ ςτην κϊμερα 2 Πλϋον γνωρύζουμε ότι χρειαζόμαςτε για την τοπολογύα δικτύου των καμερών. το ςχόμα 4.2 που ακολουθεύ φαύνονται τα πρώτα ςτιγμιότυπα κϊθε κϊμερασ μαζύ με τισ κρύςιμεσ περιοχϋσ των καμερών ςυν την τοπολογύα. Ο αριθμόσ που βρύςκεται μϋςα ςε κϊθε μια περιοχό δεύχνει την κϊμερα που επικοινωνεύ με την τρϋχουςα από εκεύνη την κρύςιμη περιοχό. Έτςι το ςύςτημα πλϋον γνωρύζει ότι όταν μια οντότητα φεύγει από μια υπo περιοχό κρύςιμησ περιοχόσ μιασ κϊμερασ θα την αναζητόςει ςτην αντύςτοιχη υπό περιοχό τησ κρύςιμησ περιοχόσ τησ κϊμερασ ςτην οπούα κατευθύνεται

88 Τοπολογία δικτφου καμερών χόμα 4.2 Σοπολογύα δικτύου Η δομό του δικτύου εύναι όπωσ αναπαριςτϊται παρακϊτω (χόμα 4.3), ϋχει προϋλθει από την οπτικό διαδικαςύα και αντύληψη του ςχεδιαςτό. ε διαφορετικό περύπτωςη για να αντιληφθεύ η μηχανό ότι το δύκτυο καμερών ϋχει την ακόλουθη δομό (χόμα 4.3) χρειϊζονται ϊλλεσ τεχνικϋσ υπολογιςτικόσ όραςησ που δεν θα αναφϋρουμε εδώ, καθώσ για το πρόβλημα που μελετϊμε εύναι περιττό. χόμα 4.3 Δομό τοπολογύασ δικτύου

89 Εκ νέου Ταυτοποίηση - Αντιστοίχηση μεταξύ των καμερών 5.1 Ειςαγωγό Όταν μιλϊμε για εκ νϋου ταυτοπούηςη ανθρώπων μεταξύ καμερών αναφερόμαςτε ςτισ διαδικαςύεσ αυτϋσ που χρηςιμοποιούν χαρακτηριςτικϊ εμφϊνιςησ για να ταυτοποιόςουν εκ νϋου ϋναν ϊνθρωπο μϋςα ςε ϋνα δύκτυο καμερών. Με τον όρο αντιςτούχηςη αναφερόμαςτε ςτισ διαδικαςύεσ που χρηςιμοποιούν χώρο χρονικϊ χαρακτηριςτικϊ καθώσ βρύςκουν την αντιςτοιχύα μεταξύ χώρο-χρονικών ςημεύων ώςτε να ςυνδϋςουν τισ αποθηκευμϋνεσ ακολουθύεσ/διαδρομϋσ. Μϋςα ςε ϋνα δύκτυο καμερών υπϊρχουν πολλϋσ περιπτώςεισ λόψησ απόφαςησ ςτην εκ νϋου ταυτοπούηςη/αντιςτούχηςη οι οπούεσ πρϋπει να ληφθούν υπόψη θϋλοντασ να ϋχουμε καλϊ αποτελϋςματα. χηματικϊ φαύνονται οι περιπτώςεισ και παρακϊτω επεξηγούμε την κϊθε μια ξεχωριςτϊ (χόμα 5.1) χόμα 5.1 Περιπτώςεισ λόψησ απόφαςησ ςτην εκ νϋου ταυτοπούηςη Οι περιπτώςει εύναι οι εξόσ : Ο Άνθρωποσ ϋχει αναγνωριςτεύ από το ςύςτημα επιτυχώσ και ςυνεχύζει να αναγνωρύζεται μϋςα ςτο δύκτυο. Ο Άνθρωποσ ϋχει χαθεύ από το ςύςτημα αλλϊ ςυνεχύζει να κυκλοφορεύ ςτο δύκτυο. Ο Άνθρωποσ ϋχει χαθεύ από το ςύςτημα και ϋχει αποχωρόςει από το δύκτυο. Ο Άνθρωποσ ϋχει αναγνωριςτεύ από το ςύςτημα επιτυχώσ και ϋχει αποχωρόςει από το δύκτυο

90 Εκ νέου Ταυτοποίηση - Αντιστοίχηση μεταξύ των καμερών Πρϋπει να αναφϋρουμε ότι οι ϊνθρωποι πρϋπει να ϋχουν ϋνα ID ςε όλη την διϊρκεια τησ διαδρομόσ τουσ ςτο δύκτυο και το λαμβϊνουν από την πρώτη ςτιγμό που ανιχνευθούν. αν βϊςη ςτο πρόβλημα μασ ϋχουμε την κϊμερα 2 καθώσ από εκεύ εκκινεύ η διαδικαςύα κα οι ϊνθρωποι βρύςκονται όδη ςτην περιοχό επιτόρηςησ. 5.2 Σεχνικϋσ εκ νϋου ταυτοπούηςησ / αντιςτούχηςησ Οι κύριεσ τεχνικϋσ για την αντιςτούχηςη εύναι όπωσ προαναφϋραμε και ςτο κεφϊλαιο 1 μϋςω των χώρο-χρονικών χαρακτηριςτικών, μϋςω των χαρακτηριςτικών εμφϊνιςησ, ό ςυνδυαςμόσ αυτών. Σο πρόβλημα τησ εκ νϋου ταυτοπούηςησ ςε μύα κϊμερα εύναι από μόνο του ϋνα ξεχωριςτό και δύςκολο πρόβλημα. Επειδό η κϊμερα εύναι μια,δεν ϋχουμε χώρο-χρονικϋσ πληροφορύεσ με αποτϋλεςμα να μην γνωρύζουμε αν και επρόκειτο να ξαναπερϊςει από την κϊμερα κϊποιο ϊτομο που όδη πϋραςε. ε τϋτοιου εύδουσ πρόβλημα χρειϊζονται πολλϋσ ξεχωριςτϋσ τεχνικϋσ εξαγωγόσ κυρύωσ χαρακτηριςτικών εμφϊνιςησ (face recognition, biometrics, body characteristics, color histogram κα.) που πολλϋσ φορϋσ καθιςτούν ϋνα ςύςτημα πολύ αργό. την παρούςα διπλωματικό ϋγινε προςπϊθεια εξαγωγόσ πληροφορύασ μϋςω χαρακτηριςτικών εμφϊνιςησ και χώρο-χρονικών χαρακτηριςτικών ξεχωριςτϊ, ωςτόςο επειδό κύριοσ ςτόχοσ μασ εύναι το ςύςτημα να εύναι γρόγορο και αποτελεςματικό, καταλόξαμε ςε ςυνδυαςμό των δύο χώρων των χαρακτηριςτικών ο οπούοσ ςυνδυαςμόσ και από την βιβλιογραφύα [23] εύναι ο κατϊ κόρον χρηςιμοποιούμενοσ με τα ικανοποιητικότερα αποτελϋςματα ςε τϋτοιου εύδουσ εφαρμογϋσ. Δοκιμϊςτηκαν επύςησ όςον αφορϊ τα χαρακτηριςτικϊ εμφϊνιςησ τεχνικϋσ εξαγωγόσ χρωματικού ιςτογρϊμματοσ ςιλουϋτασ (RGB, YCbCr, normalized-rgb), επύςησ running mean εξαγωγό ιςτογρϊμματοσ. Αν λϊβουμε υπόψη ότι για κϊθε τεχνικό, δοκιμϊςτηκαν και οι τρεύσ διαφορετικού χρωματικού χώροι, γύνεται ςαφϋσ λόγω πολυπλοκότητασ και περιοριςμϋνου χώρου γιατύ δεν παρουςιϊζουμε αποτελϋςματα. Άλλωςτε ςκοπόσ μασ δεν εύναι αυτόσ καθαυτόσ η μελϋτη τησ καλύτερησ τεχνικόσ αλλϊ η υλοπούηςη του ςυςτόματοσ. 5.3 Εκ Νϋου ταυτοπούηςη / Αντιςτούχηςη Η ιδϋα αυτόσ τησ τεχνικόσ εύναι ςε ϋνα δύκτυο να παρακολουθεύ την κϊθε οντότητα ξεχωριςτϊ ςβόνοντασ πύςω τησ το μονοπϊτι ώςτε να μην μπορϋςει να αντιςτοιχιςτεύ ςε ϊλλη οντότητα. Η τεχνικό αυτό ςε ςυνδυαςμό με πολύ καλϊ αποτελϋςματα παρακολούθηςησ, εγγυϊται μεγϊλη εγκυρότητα ςτα αποτελϋςματα τησ. Σο μεγϊλο τησ μειονϋκτημα εύναι ότι ςε περύπτωςη που κϊποια οντότητα από το ςτϊδιο τησ παρακολούθηςησ αναμεύχθηκε ό αντϊλλαξε

91 Εκ νέου Ταυτοποίηση - Αντιστοίχηση μεταξύ των καμερών μονοπϊτια με ϊλλη τότε η ςυγκεκριμϋνη τεχνικό θα κϊνει λϊθοσ και θα δημιουργόςει μονοπϊτια που δεν υπόρξαν ποτϋ γιατύ μπορεύ να εύναι ςυνδυαςμόσ δύο ό παραπϊνω μονοπατιών διαφορετικών οντοτότων. Η διαδικαςύα που ϋχουμε υλοποιόςει για αυτόν την τεχνικό λειτουργεύ αναδρομικϊ ώςτε να εξϊγει όλα τα μονοπϊτια. Ακολουθεύ ο αλγόριθμοσ : Θϋςε ςαν τρϋχουςα κϊμερα την κϊμερα ειςόδου και ςαν ID το πρώτο ID τησ τρϋχουςασ κϊμερασ που ανιχνεύθηκε. (Ϊχουμε ςα βϊςη την 2 κϊμερα και ςαν ID το 1 ο ID τησ 2 ησ κϊμερασ με το να κρατϊμε για ςύγκριςη το last_point του ID). Ϊλεγξε με ποιϋσ κϊμερεσ επικοινωνεύ η τρϋχουςα και για κϊθε κϊμερα εξϊγονται τα first_points των IDs από τισ κϊμερεσ αυτϋσ. Αν υπϊρχει επόμενη κϊμερα που αναμϋνουμε να ϋρθει το ID. Βρεσ ποια κϊμερα εύναι και πρϋπει να ιςχύουν οι παρακϊτω παραδοχϋσ Φρονικό διαφορϊ εκφραςμϋνη ςε καρϋ < threshold Φρωματικό Ιςτόγραμμα < histogram threshold Αν το first_point ID ανόκει ςτην κρύςιμη περιοχό τησ επόμενησ κϊμερασ που δεύχνει ςτην τρϋχουςα. (TRUE) Αν η επόμενη κϊμερα που αναμϋνεται εύναι η τρϋχουςα που ελϋγχεται (Value) Σο χρονικό παρϊθυρο εκφραςμϋνο ςε καρϋ < window time threshold Αν ναι αποθηκεύεται η νϋα κϊμερα ςαν τρϋχουςα, και το νϋο ID τρϋχον, ςβόνεται το μονοπϊτι από τον πύνακα και πϊλι ςτο βόμα 1. Πρόγραμμα 5.1 Αλγόριθμοσ εξαγωγόσ ςυνολικών διαδρομών για κϊθε ανιχνευμϋνη οντότητα Η διαδικαςύα που υλοποιεύ την εύρεςη τησ επόμενησ κϊμερασ, ενϋχει κϊποιον κύνδυνο αν η οντότητα χαθεύ ςε περιοχό μακριϊ από τισ κρύςιμεσ. Εκεύ τύθεται ςε λειτουργύα ο μηχανιςμόσ πρόβλεψησ επόμενησ κϊμερασ που με βϊςη την κατεύθυνςη τησ οντότητασ και κατϊ πόςο πληςιϊζει κρύςιμη περιοχό, αποφαςύζει ποια θα εύναι η επόμενη κϊμερα που αναμϋνεται η οντότητα, ςε διαφορετικό περύπτωςη χϊθηκε το ID από το δύκτυο. Η διαδικαςύα που υλοποιεύ την εύρεςη τησ κρύςιμησ περιοχόσ τησ επόμενησ κϊμερασ επιςτρϋφει απλϊ μια τιμό TRUE ό FALSE αν η οντότητα εμφανύζεται ςτην περιοχό αυτό ό όχι αντύςτοιχα

92 Εκ νέου Ταυτοποίηση - Αντιστοίχηση μεταξύ των καμερών αν αποτϋλεςμα η παραπϊνω διαδικαςύα εξαγωγόσ τησ ςυνολικόσ διαδρομόσ ενόσ κινούμενου αντικειμϋνου εξϊγει ϋναν πύνακα για κϊθε ID πχ Για το ID 1 ο πύνακασ εύναι ο παρακϊτω (Πύνακασ 5.1). Ο πύνακασ αυτόσ δεύχνει ποια μονοπϊτια διϋγραψε ςε κϊθε κϊμερα ο ϊνθρωποσ που πόρε το ID1. ID1 Camera Path 2 1 την κϊμερα 2 εύναι ο ϊνθρωποσ που περπϊτηςε το 1 ο μονοπϊτι 3 1 την κϊμερα 3 εύναι ο ϊνθρωποσ που περπϊτηςε το 1 ο μονοπϊτι 4 1 την κϊμερα 4 εύναι ο ϊνθρωποσ που περπϊτηςε το 1 ο μονοπϊτι 3 3 την κϊμερα 3 εύναι ο ϊνθρωποσ που περπϊτηςε το 3 ο μονοπϊτι 2 6 την κϊμερα 2 εύναι ο ϊνθρωποσ που περπϊτηςε το 6 ο μονοπϊτι 1 3 την κϊμερα 1 εύναι ο ϊνθρωποσ που περπϊτηςε το 3 ο μονοπϊτι 2 9 την κϊμερα 2 εύναι ο ϊνθρωποσ που περπϊτηςε το 9 ο μονοπϊτι 3 8 την κϊμερα 3 εύναι ο ϊνθρωποσ που περπϊτηςε το 8 ο μονοπϊτι 2 13 την κϊμερα 2 εύναι ο ϊνθρωποσ που περπϊτηςε το 13 ο μονοπϊτι 1 7 την κϊμερα 1 εύναι ο ϊνθρωποσ που περπϊτηςε το 7 ο μονοπϊτι 2 17 την κϊμερα 2 εύναι ο ϊνθρωποσ που περπϊτηςε το 17 ο μονοπϊτι Πύνακασ 5.1 Παρϊδειγμα εξαγωγόσ τροχιϊσ / μονοπατιού για το ID

93 Αποτελζςματα-Παρατηρήςεισ 6.1 Αποτελϋςματα-Παρατηρόςεισ Παρακϊτω παρουςιϊζουμε τα αποτελϋςματα για δύο χρωματικούσ χώρουσ ϋτςι όπωσ αυτϊ αποτυπώνονται ςε πύνακεσ, που ακολουθούν νοηματικϊ την αναπαρϊςταςη του πύνακα 5.1, ενώ για την κϊθε τεχνικό παρουςιϊζονται και ςτιγμιότυπα από το βύντεο. (YCbCr και RGB). τουσ παρακϊτω πύνακεσ 6.1, 6.2 παρουςιϊζουμε τα αποτελϋςματα για την απλό μορφό τησ κύριασ διαδικαςύασ παρακολούθηςησ των οντοτότων και την εκτεταμϋνη, αντύςτοιχα. Σα ιςτογρϊμματα αντλούνται από τον YCbCr χώρο και χρηςιμοποιούνται μόνο οι χρωματικϋσ ςυνιςτώςεσ για ςύγκριςό τουσ. Αντιπαραθϋτοντασ τα αποτελϋςματα μαζύ με το βύντεο, παρατηρούμε ότι μϋχρι το τϋλοσ ςχεδόν το ςύςτημα μασ ϋχει καταγρϊψει ςωςτϊ τα ID, τα μονοπϊτια που εύναι ςκιαςμϋνα με ανοιχτό κόκκινο υποδεικνύουν λϊθοσ αντιςτούχηςη, που οφεύλεται ςτην ςύγκρουςη όλων των ανθρώπων λύγο πριν το τϋλοσ του βύντεο. Η διαφορϊ μεταξύ των δύο ϋγκειται ςτο γεγονόσ ότι η δεύτερη μετϊ την ςύγκρουςη αντιςτοιχεύ καλύτερα τα μονοπϊτια ςτα ςωςτϊ ID και μασ δύνει την ευκαιρύα να δώςουμε ϋνα χαρακτηριςμό όςο αφορϊ τισ δύο τεχνικϋσ. Αν δεν υπϊρχει μεγϊλη ςυμφόρηςη ςτο δύκτυο (low complex crowd network) θα μπορούςε να χρηςιμοποιηθεύ η πρώτη τεχνικό αν μασ ενδιϋφεραν περιςςότερο οι πόροι ςε ςχϋςη με τον χρόνο. Η δεύτερη τεχνικό θα μπορούςε να χρηςιμοποιηθεύ ςε υψηλόσ ςυμφόρηςησ δύκτυα αφού φαύνεται να κρατϊει ςωςτϊ αποτελϋςματα μετϊ τισ ςυγκρούςεισ των ανθρώπων. τουσ πύνακεσ 6.3, 6.4 παρουςιϊζουμε επύςησ τα αποτελϋςματα για την απλό μορφό παρακολούθηςησ και την εκτεταμϋνη αλλϊ τώρα τα ιςτογρϊμματα εξϊγονται από τον RGB χρωματικό χώρο

94 Αποτελζςματα-Παρατηρήςεισ ID1 ID2 ID3 ID4 ID5 Cam Path Cam Path Cam Path Cam Path Cam Path Πύνακασ 6.1 Αποτελϋςματα ςυςτόματοσ με απλό διαδικαςύα παρακολούθηςησ και ϊντληςη ιςτογραμμϊτων από τον YCbCr χρωματικό χώρο ID1 ID2 ID3 ID4 ID5 ID6 ID7 Cam Path Cam Path Cam Path Cam Path Cam Path Cam Path Cam Path ? ID Πύνακασ 6.2 Αποτελϋςματα ςυςτόματοσ με εκτεταμϋνη διαδικαςύα παρακολούθηςησ και ϊντληςη ιςτογραμμϊτων από τον YCbCr χρωματικό χώρο

95 Αποτελζςματα-Παρατηρήςεισ ID1 ID2 ID3 ID4 Cam Path Cam Path Cam Path Cam Path ?? ID Πύνακασ 6.3 Αποτελϋςματα ςυςτόματοσ με απλό διαδικαςύα παρακολούθηςησ και ϊντληςη ιςτογραμμϊτων από τον RGB χρωματικό χώρο ID1 ID2 ID3 ID4 ID5 ID6 ID7 ID8 Cam Path Cam Path Cam Path Cam Path Cam Path Cam Path Cam Path Cam Path ? ID ID Πύνακασ 6.2 Αποτελϋςματα ςυςτόματοσ με εκτεταμϋνη διαδικαςύα παρακολούθηςησ και ϊντληςη ιςτογραμμϊτων από τον RGB χρωματικό χώρο

96 Αποτελζςματα-Παρατηρήςεισ Παρακϊτω παρουςιϊζουμε μερικϊ αποτελϋςματα του ςυςτόματοσ ϋτςι όπωσ αυτϊ αναπαρύςτανται ςτα καρϋ του βύντεο. (Εκτεταμϋνη διαδικαςύα παρακολούθηςησ και ϊντληςη ιςτογραμμϊτων από YCbCr χρωματικό χώρο) χόμα 5.2 τα 7 sec ϋχουν ανιχνευθεύ όλοι οι ϊνθρωποι και ο καθϋνασ ϋχει πϊρει από ϋνα ID χόμα 5.3 τα 15 sec παρατηρούμε επιτυχώσ το ςύςτημα να αντιςτοιχεύ τα ύδια ID ςτουσ ςωςτούσ ανθρώπουσ χόμα 5.4 τα 19 sec το ID 4 ϋχει χαθεύ και ο πρώην ID 4 ϋχει τώρα ID 6. Αυτό ϋγινε γιατύ το ID 5 εύχε δοθεύ πριν αλλϊ επειδό όταν λϊθοσ το ςύςτημα δεν ςυνϋχιςε να το αντιςτοιχεύ κϊπου. Και ο ID 4 επειδό χϊθηκε ςτην κϊμερα 3 λόγω τησ subtract_noise και μόλισ μπόκε ςτην κϊμερα 2 πόρε νϋο ID

97 Αποτελζςματα-Παρατηρήςεισ χόμα 5.5 τα 33 sec παρατηρούμε επιτυχώσ το ςύςτημα να ςυνεχύζει από πριν να αντιςτοιχεύ τα ύδια ID ςτουσ ςωςτούσ ανθρώπουσ, με τον αρχικό ID 4 να ϋχει το ID 6 που το πόρε μετϊ τα 19 sec. χόμα 5.6 Λύγο πριν το τϋλοσ του βύντεο παρατηρούμε ότι από την αρχό του βύντεο το ςύςτημα μασ ϋχει κρατόςει την ςωςτό αντιςτούχηςη για τουσ τρεύσ από τουσ τϋςςερισ ςυνολικϊ ανθρώπουσ

98 Συμπεράςματα-Μελλοντική ζρευνα 6.2 υμπερϊςματα-μελλοντικό ϋρευνα υνοψύζοντασ μετϊ την παρουςύαςη των αποτελεςμϊτων πρϋπει να αναφϋρουμε τα κυριότερα ςυμπερϊςματα που εξόχθηςαν από την παρούςα διπλωματικό. Αρχικϊ θεωρούμε ότι το πρόβλημα ανύχνευςησ και παρακολούθηςησ ςτην μια κϊμερα εύναι επιλύςιμο. Για να ιςχύει αυτό η ανύχνευςη και η παρακολούθηςη πρϋπει να ϋχουν γύνει με τον καλύτερο δυνατό τρόπο. Κατόπιν πρϋπει να τονύςουμε ότι η διαδικαςύα εκμϊθηςησ χαρακτηριςτικών του δικτύου των καμερών εύναι ςημαντικό. Για το λόγο αυτό τα δεδομϋνα που χρηςιμοποιούνται ςε τϋτοιου εύδουσ περιπτώςεισ πρϋπει να καλύπτουν όλεσ τισ πιθανϋσ καταςτϊςεισ του όλου ςυςτόματοσ. Από την ςτιγμό που δεν θα ϋχουμε όλη την απαραύτητη πληροφορύα για το δύκτυό μασ το ςύςτημα θα αποτυγχϊνει διαρκώσ. ε ςυνϋχεια των ςυμπεραςμϊτων και δεδομϋνου του ςτόχου για ϋνα απαιτητικό ςε πόρουσ (μνόμη, χρόνοσ) ςύςτημα, τα χώρο-χρονικϊ χαρακτηριςτικϊ αναδεικνύονται ςε μεγαλύτερησ ςημαςύασ χαρακτηριςτικϊ από τα χαρακτηριςτικϊ εμφϊνιςησ. Ωςτόςο ςε ςυνδυαςμό μασ δύνουν πολύ καλϊ αποτελϋςματα. Ένα ϊλλο ςτοιχεύο εξύςου ενδιαφϋρον εύναι ότι χρηςιμοποιώντασ απλϋσ μεθόδουσ που χρηςιμοποιούν εξιςώςεισ κόςτουσ (ευριςτικϋσ) ϋχουμε πολύ καλϊ αποτελϋςματα. τον αντύποδα πρϋπει να τονύςουμε πωσ ϋνα τϋτοιου εύδουσ ςύςτημα εύναι δύςκολο να λειτουργόςει ωσ ϋχει ςε οποιοδόποτε πρόβλημα καθώσ διαφορετικό περιβϊλλον θϋλει και διαφορετικό μελϋτη, ωςτόςο όμωσ εύναι εφικτό. ε προτροπό των επόμενων που ενδιαφϋρονται για παρόμοια θϋματα πϊνω ςε δύκτυα καμερών ό αλλιώσ ςυςτόματα παρακολούθηςησ ϋνα πρόβλημα που θα μπορούςε να τεθεύ θα όταν να γύνει μια real-time υλοπούηςη ενόσ παρόμοιου ςυςτόματοσ, με ό χωρύσ παρϊλληλη υλοπούηςη (πχ. CUDA). Επύςησ από την ςυνεχό καταγραφό ςτιγμιότυπων του ύδιου ατόμου καθώσ αυτό κινεύται μϋςα ςτο δύκτυο καμερών μπορεύ να γύνει μια περαιτϋρω ανϊλυςη για κατανόηςη τησ κύνηςησ και τησ ςυμπεριφορϊσ του. Ακόμα μϋςα από την κατανόηςη τησ ςυμπεριφορϊσ και τησ κύνηςησ θα μπορεύ να γύνει και ανύχνευςη αςύνηθων καταςτϊςεων (abnormal events) αλλϊ και πρόβλεψη επικεύμενων κινδύνων

99 Βιβλιογραφία [1] Huang, T., Russell, S.: Object identification in a bayesian context. In: IJCAI (1997) [2] Pasula, H., Russell, S., Ostl, M., Ritov, Y.: Tracking many objects with many sensors. In: IJCAI (1999) [3] Kettnaker, V., Zabih, R.: Bayesian multi-camera surveillance. In: CVPR (1999) [4] Javed, O., Rasheed, Z., Shafique, K., Shah, M.: Tracking across multiple cameraswith disjoint views. In: ICCV (2003) [5] Dick, A.R., Brooks, M.J.: A stochastic approach to tracking objects across multiple cameras. In: Australian Conference on Artificial Intelligence (2004) [6] Makris, D., Ellis, T., Black, J.: Bridging the gaps between cameras. In: CVPR (2004) [7] F. Porikli, Inter-camera color calibration using cross-correlation model function, in: IEEE Int. Conf. on Image Processing, [8] Javed, O., Shafique, K., Shah, M.: Appearance modeling for tracking in multiple non-overlapping cameras. In: CVPR (2005) [9] Gilbert, A., Bowden, R.: Tracking objects across cameras by incrementally learning inter-camera colour calibration and patterns of activity. In: Leonardis, A., Bischof, H., Pinz, A. (eds.) ECCV LNCS, vol. 3952, pp Springer, Heidelberg (2006) [10] Sturges, J., Whitfield, T.: Locating basic colour in the munsell space. Color Research and Application 20, (1995) [11] Αρβανίτησ Γεράςιμοσ, Ανίχνευςη και παρακολούθηςη κίνηςησ διπλωματική εργαςία πανεπιςτημίου Πατρών,