H O G feature descriptor global feature the most common algorithm associated with person detection Με τα Ιστογράμματα της Βάθμωσης (Gradient) μετράμε τον προσανατολισμό και την ένταση της βάθμωσης σε μία περιοχή της εικόνας ΨΗΦΙΑΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Σπύρος Φωτόπουλος ΔΠΜΣ-ΗΕΠ ΗΕ- ΣΕΣΕ
Ένα ερώτημα H O G Πως θα γίνει Ανίχνευση/ταξινόμηση αυτοκινήτου με κινούμενο παράθυρο Car/non-car Classifier The HOG person detector uses a detection window that is 64 pixels wide by 28 pixels tall. ΨΗΦΙΑΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Σπύρος Φωτόπουλος ΔΠΜΣ-ΗΕΠ ΗΕ- ΣΕΣΕ 2
H O G Βασικό paper Gradient-based feature descriptor developed for people detection Authors: Dalal&Triggs (INRIA Grenoble, F) ΨΗΦΙΑΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Σπύρος Φωτόπουλος ΔΠΜΣ-ΗΕΠ ΗΕ- ΣΕΣΕ 3
H O G Τα βήματα συνοπτικά: Προεπεξεργασία Υπολογισμός Βάθμωσης - gradient Ομαδοποίηση των κελιών blocks Κανονικοποίηση f = 2 2 3 3 4 4 ( h,..., h, h,..., h, h,..., h, h h ) 9 9 9,..., 9 ΨΗΦΙΑΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Σπύρος Φωτόπουλος ΔΠΜΣ-ΗΕΠ ΗΕ- ΣΕΣΕ 4
Υπολογισμός Βάθμωσης -gradient Kernel συνέλιξης Magnitude = (g x 2 + g y2 ) Angle = arctan(g y /g x ) ΨΗΦΙΑΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Σπύρος Φωτόπουλος ΔΠΜΣ-ΗΕΠ ΗΕ- ΣΕΣΕ 5
Τύπος μάσκας D centered D uncentered D cubic-corrected 2x2 diagonal 3x3 Sobel τελεστής [-,, ] [-, ] [, -8,, 8, -] 2 2 2 2 Υπολογισμός Βάθμωσης (gradient) ΨΗΦΙΑΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Σπύρος Φωτόπουλος ΔΠΜΣ-ΗΕΠ ΗΕ- ΣΕΣΕ 6
κελί ιστόγραμμα βάθμωσης Σε κάθε κελί (cell) Έχουμε ιστόγραμμα 9 bins Σε κάθε bin «συσσωρεύουμε» το μέτρο της βάθμωσης Δηλ. «Gradient histogram» Μετρά την διεύθυνση και την ένταση της βαθμωσης σε ένα τμήμα της εικόνας ΨΗΦΙΑΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Σπύρος Φωτόπουλος ΔΠΜΣ-ΗΕΠ ΗΕ- ΣΕΣΕ 7
ιστόγραμμα βάθμωσης- υπολογισμός f = 2 2 3 3 4 4 ( h,..., h, h,..., h, h,..., h, h h ) 9 9 9,..., 9 Angle Magnitude 5 25 25 5 2 2 5 25 3 5 5 45 95 2 3 3 4 47 97 2 5 7 7 8 6 4 Magnitude voting 2 8 6 4 2-9 2-39 4-59 6-79 8-99 -9 2-39 4-59 6-79 ΨΗΦΙΑΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Σπύρος Φωτόπουλος ΔΠΜΣ-ΗΕΠ ΗΕ- ΣΕΣΕ 8
Ιστόγραμμα βάθμωσης - παραδειγμα 8 8 cell ΨΗΦΙΑΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Σπύρος Φωτόπουλος ΔΠΜΣ-ΗΕΠ ΗΕ- ΣΕΣΕ 9
Ομαδοποίηση των κελιών(cells) blocks Cells blocks Block Block2 4 cells σε κάθε block Τα Blocks επικαλύπτονται Parameters Gradient scale Orientation bins Block overlap area ΨΗΦΙΑΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Σπύρος Φωτόπουλος ΔΠΜΣ-ΗΕΠ ΗΕ- ΣΕΣΕ
Κανονικοποίηση Σε κάθε block L norm = L sqrt = L2 norm = v v v + ε v + ε v v 2 2 + ε ν είναι το διάνυσμα -4 ιστογράμματασε κάθε Block 4 shells x9 bins =36 Επιτυγχάνεται ανεξαρτησία σε μεταβολές έντασης ΨΗΦΙΑΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Σπύρος Φωτόπουλος ΔΠΜΣ-ΗΕΠ ΗΕ- ΣΕΣΕ
Τελικό διάνυσμα HOG Concatenation of Blocks The 64 x 28 pixel detection window will be divided into 7 blocks across and 5 blocks vertically, for a total of 5 blocks. Each block contains 4 cells with a 9-bin histogram for each cell, for a total of 36 values per block. This brings the final vector size to 7 blocks across x 5 blocks vertically x 4 cells per block x 9-bins per histogram = 3,78 values. ΨΗΦΙΑΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Σπύρος Φωτόπουλος ΔΠΜΣ-ΗΕΠ ΗΕ- ΣΕΣΕ 2
H O G ανακεφαλαίωση. Υπολογίζουμε βάθμωση 2. Υπολογίζουμε το ιστόγραμμα της βάθμωσης σε ένα κελί πχ. 8x8 pixels 3. Κανονικοποιούμε το ιστόγραμμα σε επικαλυπτόμενα blocks (πχ 2x2 cells) 4. Συνενώνουμε (concatenate) τα ιστογράμματα στο παράθυρο ελεγχου ΨΗΦΙΑΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Σπύρος Φωτόπουλος ΔΠΜΣ-ΗΕΠ ΗΕ- ΣΕΣΕ 3
παραδειγμα: ΨΗΦΙΑΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Σπύρος Φωτόπουλος ΔΠΜΣ-ΗΕΠ ΗΕ- ΣΕΣΕ 4
Παραδείγματα-συνέχεια Τρείς εικόνες και τα αντίστοιχα R-HOG διανύσματα ΨΗΦΙΑΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Σπύρος Φωτόπουλος ΔΠΜΣ-ΗΕΠ ΗΕ- ΣΕΣΕ 5
Τελικό στάδιο - ταξινόμηση Support Vector Machines (SVMs) Discriminative classifier based on optimal separating line (for 2D case) Maximize the margin between the positive and negative training examples ΨΗΦΙΑΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Σπύρος Φωτόπουλος ΔΠΜΣ-ΗΕΠ ΗΕ- ΣΕΣΕ 6
Support vector machines Want line that maximizes the margin. x x i i positive ( y negative( y i i = ) : = ) : x x i i w + b w + b For support, vectors, x i w + b = ± Support vectors Margin ΨΗΦΙΑΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Σπύρος Φωτόπουλος ΔΠΜΣ-ΗΕΠ ΗΕ- ΣΕΣΕ 7
Person detection, ca. 25. Represent each example with a single, fixed HoG template 2. Learn a single [linear] SVM as a detector ΨΗΦΙΑΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Σπύρος Φωτόπουλος ΔΠΜΣ-ΗΕΠ ΗΕ- ΣΕΣΕ 8
Positive and negative examples + thousands more + millions more ΨΗΦΙΑΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Σπύρος Φωτόπουλος ΔΠΜΣ-ΗΕΠ ΗΕ- ΣΕΣΕ 9
HoG templates for person detection ΨΗΦΙΑΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Σπύρος Φωτόπουλος ΔΠΜΣ-ΗΕΠ ΗΕ- ΣΕΣΕ 2