ΣΥΓΚΡΙΤΙΚΗ ΜΕΛΕΤΗ ΑΛΓΟΡΙΘΜΩΝ ΕΞΑΓΩΓΗΣ ΧΑΡΑΚΤΗΡΙΣΤΙΚΩΝ

ΣΥΓΚΡΙΤΙΚΗ ΜΕΛΕΤΗ ΑΛΓΟΡΙΘΜΩΝ ΕΞΑΓΩΓΗΣ ΧΑΡΑΚΤΗΡΙΣΤΙΚΩΝ Ρήγας Κουσκουρίδας, Βασίλειος Μπελαγιάννης, Δημήτριος Χρυσοστόμου και Αντώνιος Γαστεράτος Δημοκρίτειο Πανεπιστήμιο Θράκης, Πανεπιστημιούπολη, Κιμμέρια, 671 Ξάνθη, rkouskou@pme.duth.gr ΠΕΡΙΛΗΨΗ Μέσα σε μια εικόνα στο φυσικό περιβάλλον περιέχεται πληροφορία, η αποκωδικοποίηση της οποίας, μπορεί να οδηγήσει στην αναγνώριση αντικειμένων. Στο παρόν άρθρο αναλύεται η διαδικασία εύρεσης χαρακτηριστικών γνωρισμάτων σε μια εικόνα με δύο πολύ γνωστές τεχνικές αιχμής, τις μεθόδους SIFT και SURF. Οι δύο αυτές τεχνικές συγκρίνονται και αξιολογούνται ως προς την αποδοτικότητα και την ταχύτητά τους. Λέξεις κλειδιά: ρομποτική όραση, αναγνώριση προτύπων, ταξινόμηση, SIFT, SURF 1 ΕΙΣΑΓΩΓΗ Η διαδικασία εξαγωγής χαρακτηριστικών γνωρισμάτων αποτελεί αναπόσπαστο κομμάτι της φάσης της προ-επεξεργασίας πολλών αλγορίθμων αναγνώρισης προτύπων. Κατά καιρούς έχουν παρουσιαστεί μελέτες, που ενισχύουν το κεντρικό ρόλο που διαδραματίζουν τα χαρακτηριστικά γνωρίσματα σε απαιτητικές διαδικασίες ρομποτικής όρασης (Liao, 27). Οι διαδικασίες εξαγωγής γνωρισμάτων διακρίνονται σε χαμηλού και υψηλού επιπέδου. Ως χαμηλού επιπέδου ορίζονται όλα εκείνα τα γνωρίσματα, που μπορούν να εξαχθούν άμεσα από μια εικόνα, χωρίς να απαιτείται καμία πληροφορία σχετικά με το σχήμα τους. Κατά συνέπεια, στη πρώτη κατηγορία ανήκουν όλοι οι ανιχνευτές καμπυλών και ακμών, όπως αυτοί των Sobel, Canny και Harris (Russ, 27), (Orguner, 27). Στη δεύτερη κατηγορία ανήκουν οι τεχνικές που ανιχνεύουν γνωστά γεωμετρικά σχήματα (π.χ. τετράγωνα, κύκλους, ελλείψεις) σε μια εικόνα (Vinzce, 21). Χαρακτηριστικό τους γνώρισμα αποτελεί η χωρική πληροφορία που παρέχουν για κάθε ένα από τα αντικείμενα μιας σκηνής. Στην (Lowe, 21) γίνεται χρήση του μετασχηματισμού Hough, οποίος είναι σε θέση να εξάγει απλές γραμμές, και, με την επέκτασή του, κύκλους και ελλείψεις. Ωστόσο, στο φυσικό περιβάλλον, οι σκηνές είναι πολύ πιο περίπλοκες καθώς οι συνθήκες μεταβάλλονται δυναμικά, ο φωτισμός δεν είναι βέλτιστος, το ένα αντικείμενο μπορεί να αποκρύπτει το άλλο κ.ά. Σε τέτοιες περιπτώσεις, η τεχνική εξαγωγής χαρακτηριστικών γνωρισμάτων πρέπει να διαθέτει τη κατάλληλη ευρωστία, για να ανταπεξέλθει στις απαιτήσεις μιας διαδικασίας αναγνώρισης προτύπων. Επομένως, μια διαδικασία εξαγωγής χαρακτηριστικών γνωρισμάτων υψηλού επιπέδου, θα πρέπει να είναι ανεξάρτητη από τις συνθήκες φωτισμού της σκηνής, την πιθανή περιστροφή ή 1ο Πανελλήνιο Συνέδριο Ρομποτικής, ΤΕΕ, Αθήνα, 23-24 Φεβρουαρίου, 29 1

μετακίνηση του αντικειμένου και την κλιμάκωση του σχήματός του. Επίσης, πρέπει να είναι σε θέση να εξαλείφει τον πιθανό θόρυβο στην εικόνα, καθώς και να παρέχει αρκετή πληροφορία για περιοχές της σκηνής που επικαλύπτονται. Μια τεχνική με τις προαναφερθείσες ιδιότητες παρουσιάζεται στην (Lowe, 24). Πρόκειται για τον αλγόριθμο SIFT (Scale Invariant Feature Transform), ο οποίος εξάγει διακριτά χαρακτηριστικά γνωρίσματα που μπορούν να χρησιμοποιηθούν σε διαδικασίες αναγνώρισης προτύπων. Στην (Bay, 26) παρουσιάζεται ο αλγόριθμος SURF (Speeded-Up Robust Features), ο οποίος ανιχνεύει διακριτά σημεία ιδιομορφίας μιας σκηνής. Οι δύο αυτοί αλγόριθμοι μοιράζονται κοινούς σκοπούς στην αναγνώριση προτύπων και χρησιμοποιούνται ευρέως στην πρόσφατη βιβλιογραφία. Στην παρούσα εργασία επιχειρείται μια συγκριτική μελέτη των δύο αυτών μεθόδων. Το υπόλοιπο κείμενο είναι διαρθρωμένο ως εξής. Στις ενότητες 2 και 3 περιγράφονται οι αλγόριθμοι SIFT και SURF, αντίστοιχα. Στην ενότητα 4 παρουσιάζεται η σύγκριση των δύο μεθόδων, ενώ τα πειραματικά αποτελέσματα παρατίθενται στην ενότητα 5. Συγκριτικά αποτελέσματα παρουσιάζονται στην τελευταία ενότητα. 2 SIFT (Scale Invariant Feature Transform) Ο αλγόριθμος SIFT (Lowe, 24), αποτελείται από έναν ανιχνευτή χαρακτηριστικών γνωρισμάτων και από έναν περιγραφέα (descriptor). Αρχικά, ο ανιχνευτής γνωρισμάτων εντοπίζει σημεία που φέρουν διακριτή πληροφορία, ανεξάρτητη από πιθανές μεταβολές της εικόνας (π.χ. περιστροφή, αλλαγή φωτισμού κ.ά.). Με τη χρήση μιας γκαουσιανής κατανομής, η εικόνα μετασχηματίζεται από το χρωματικό χώρο στο χώρο κλιμάκωσης που προτάθηκε από τον Lindeberg (1994). Στη συνέχεια, η συνάρτηση διαφοράς του Gauss (DoG) συνδυαζόμενη με μια παρεμβολή στο χώρο κλιμάκωσης, παράγουν τα σημεία ενδιαφέροντος. Ο περιγραφέας είναι άμεσα συνδεδεμένος με τη διαδικασία ανάθεσης ενός προσανατολισμού, σε κάθε σημείο ενδιαφέροντος, όπως αυτό έχει προκύψει από τον ανιχνευτή γνωρισμάτων. Συγκεκριμένα, ο περιγραφέας είναι ένα διάνυσμα, το μέτρο και η διεύθυνση του οποίου, υπολογίζονται από πληροφορίες της γειτονιάς του εκάστοτε σημείου ενδιαφέροντος. Τα καλύτερα αποτελέσματα προκύπτουν όταν λαμβάνεται πληροφορία από μια γειτονιά εικονοστοιχείων 4x4. Η διεύθυνση του διανύσματος τυποποιείται έτσι ώστε να λαμβάνει προσανατολισμούς ανά 45 ο. Με αυτό το τρόπο, τοπικές πληροφορίες ενός αντικειμένου προσδιορίζονται με έναν και μοναδικό τρόπο, γεγονός που εξασφαλίζει τη μοναδικότητα κάθε χαρακτηριστικού σημείου ενός αντικειμένου. Η αποδοτικότητα του περιγραφέα ελέγχεται κατά τη διαδικασία της σύγκρισης της αρχικής εικόνας με τη τελική. Η τελευταία μπορεί να προκύψει είτε από περιστροφή είτε από μετατόπιση της αρχικής σε οποιοδήποτε άξονα. Κατά τη διάρκεια της παραπάνω διαδικασίας, τα διανύσματα των περιγραφέων των δύο εικόνων ελέγχονται για τυχόν ομοιότητες. Το γεγονός ότι η ευρωστία που παρουσιάζεται είναι αξιοσημείωτη (Mikolajczyk, 25), καθιστά τον SIFT έναν από τους καλύτερους αλγορίθμους ανίχνευσης χαρακτηριστικών γνωρισμάτων που έχουν προταθεί στη διεθνή βιβλιογραφία. 3 SURF (Speeded-Up Robust Features) Ο αλγόριθμος SURF (Speeded-Up Robust Features) υλοποιεί όπως και ο SIFT, έναν ανιχνευτή για τον προσδιορισμό σημείων ενδιαφέροντος σε μία εικόνα. Επίσης 1ο Πανελλήνιο Συνέδριο Ρομποτικής, ΤΕΕ, Αθήνα, 23-24 Φεβρουαρίου, 29 2

αναπτύσσει μια νέα μέθοδο για την δημιουργία ενός περιγραφέας. Στο πρώτο βήμα, γίνεται η εύρεση σημείων ενδιαφέροντος μέσα σε μια εικόνα. Τα σημεία μοναδικότητας παραμένουν αμετάβλητα σε μεταβολές όπως η αλλαγή κλίμακας μεγέθους, η περιστροφή, η αλλαγή φωτισμού ή ο θόρυβος εικόνας. Έπειτα, η γειτονιά κάθε ενδιαφέροντος σημείου αναπαρίσταται από ένα χαρακτηριστικό διάνυσμα. Κάθε χαρακτηριστικό διάνυσμα χρησιμοποιείται στην διαδικασία ταύτισης κοινών σημείων ανάμεσα σε δύο εικόνες. Στο επόμενο βήμα, τα χαρακτηριστικά διανύσματα μια εικόνας συγκρίνονται με αυτά μιας άλλης ώστε να βρεθούν κοινά σημεία ενδιαφέροντος. Ταυτίζοντας τα κοινά στοιχεία ανάμεσα σε δύο ή περισσότερες εικόνες μπορεί να υλοποιηθεί αναγνώριση και ταξινόμηση αντικειμένων. Στην αρχή, ο ανιχνευτής σημείων ενδιαφέροντος χρησιμοποιεί τον Γρήγορο Εσσιανό πίνακα (Fast Hessian matrix), ο οποίος βασίζεται στους υπολογισμούς του Εσσιανού πίνακα για κάθε ένα σημείο στην εικόνα (Bay, 26). Επιπλέον, από τον πίνακα εξάγεται η τοποθεσία και ο χώρος κλιμάκωσης. Έπειτα δημιουργούνται τετραγωνικά φίλτρα μεγέθους 9x9, τα οποία προσεγγίζουν την δευτέρας τάξης παράγωγο της συνάρτησης Gauss και αναπαριστούν την χαμηλότερη κλίμακα μεγέθους (Bay, 26). Η δημιουργία του περιγραφέα υλοποιείται σε δύο βήματα. Το πρώτο περιγράφεται από την εύρεση ενός αποτελεσματικού προσανατολισμού βασισμένο στην γύρω περιοχή του ενδιαφέροντος σημείου. Ο ιδανικός προσανατολισμός υπολογίζεται από τη σύγκριση των αθροισμάτων των αποκρίσεων που περιγράφονται από παράθυρα. Το μεγαλύτερο άθροισμα από τις συγκρινόμενες αντιστοιχίες δίνει τον προσανατολισμό του στο σημείο ενδιαφέροντος. Στη συνέχεια, για την εξαγωγή του κατασκευάζεται μια τετραγωνική περιοχή (γύρω από την περιοχή των σημείων ενδιαφέροντος) και ευθυγραμμίζεται με τον προσανατολισμό που έχει επιλεχθεί στο προηγούμενο βήμα. Τελικά, παράγεται το διάνυσμα του περιγραφέα το οποίο αποτελείται από έναν πίνακα 64 στοιχείων. 4 ΣΥΓΚΡΙΣΗ Στην έρευνα που έγινε παρουσιάζονται συγκριτικά τα αποτελέσματα του αλγορίθμου SURF σε σχέση με το SIFT. Οι δοκιμές πραγματοποιήθηκαν σε ένα τυπικό υπολογιστή διπλού πυρήνα 2.2 GHz με 2 GB μνήμη και σε λειτουργικό περιβάλλον Linux Ubuntu με GCC GNU compiler. Για τη συγκριτική μελέτη των δύο αλγορίθμων επιλέχθηκαν σκηνές εσωτερικών και εξωτερικών χώρων πλούσιες σε χαρακτηριστικά. Στο Σχήμα 1 παρουσιάζονται δύο διαφορετικές εικόνες που χρησιμοποιήθηκαν μέσα από ένα σύνολο εικόνων. Σχήμα 1 Αριστερά: Σκηνή με φυσικό φωτισμό (Outdoor) Δεξιά: Σκηνή με τεχνητό φωτισμό (Indoor) Για τον έλεγχο της ευρωστίας των δύο αλγορίθμων, οι εικόνες που επιλέγονται εξετάζονται κάτω από τις εξής επιδράσεις: 1ο Πανελλήνιο Συνέδριο Ρομποτικής, ΤΕΕ, Αθήνα, 23-24 Φεβρουαρίου, 29 3

Περιστροφή Αλλαγή κλιμάκωσης μεγέθους Εισαγωγή θορύβου Αλλαγή συνθηκών φωτισμού Οι ανιχνευτές εξετάστηκαν για τη ταχύτητά τους και για το πλήθος των χαρακτηριστικών γνωρισμάτων που εξάγουν. Η ταχύτητα διαδραματίζει πολύ σημαντικό ρόλο σε ρομποτικά συστήματα που λειτουργούν σε πραγματικό χρόνο. Το πλήθος των γνωρισμάτων εξετάζεται ως κριτήριο, καθώς η μεγάλη πληθώρα σημείων αυξάνει τη πιθανότητα εύρεσης των ίδιων γνωρισμάτων σε μια σκηνή παρόμοια της αρχικής. Στην επόμενη φάση της σύγκρισης των δύο μεθόδων, ελέγχεται η απόδοση των προσδιοριστών των δύο αλγορίθμων. Η απόδοση του περιγραφέα είναι ο λόγος των κοινών γνωρισμάτων μεταξύ της αρχικής και της τελικής εικόνας. Οι αλγόριθμοι εξετάζονται κατά τη διαδικασία της σύγκρισης της εκάστοτε αρχικής εικόνας με τη τελική, η οποία υπόκειται όλες τις μεταβολές που παρουσιάστηκαν παραπάνω. 5 ΠΕΙΡΑΜΑΤΙΚΑ ΑΠΟΤΕΛΕΣΜΑΤΑ Όπως φαίνεται στο Σχήμα 2, ο ανιχνευτής SIFT παράγει περισσότερα χαρακτηριστικά γνωρίσματα, συγκριτικά με τον SURF, και για τις δύο σκηνές. Όσο αναφορά τους προσδιοριστές, υψηλότερη απόδοση παρουσιάζουν και οι δύο για περιστροφές της εικόνας κατά ο, 9 ο, 18 ο και 27 ο αντίστοιχα. Το επίπεδο φωτισμού διακρίνεται σε πέντε κλίμακες όπου, οι κλίμακες, 1 και 3, 4 αντιπροσωπεύουν συνθήκες χαμηλού και υψηλού φωτισμού αντίστοιχα. Οι τελευταίες είναι αποτελέσμα ψηφικής επεξεργασίας των εικόνων με αυξομείωση της αντίθεσης χρωμμάτων (contrast). Μικρή κλίμακα σημαίνει και χαμηλή αντίθεση και αντίστροφα. Επιπλέον, η κλίμακα 2 περιγράφει συνθήκες κανονικού φωτισμού. Όπως παρουσιάζεται στο Σχήμα 2, αν και οι δύο αλγόριθμοι εξάγουν περισσότερα σημεία όσο αυξάνεται ο φωτισμός, η απόδοση του κάθε περιγραφέα μειώνεται. Επιπροσθέτως, παρόμοια σχεδόν συμπεριφορά παρουσιάζουν και οι δύο τεχνικές, όσο αφορά τη κλιμάκωση του μεγέθους της εικόνας, όπως αυτό φαίνεται στο Σχήμα 3. Στη περίπτωση της σκηνής με τεχνητό φωτισμό, το πρώτο επίπεδο αντιπροσωπεύει τη μηδενική μεγέθυνση της εικόνας ενώ η τιμή 4, τη μεγέθυνση της εικόνας κατά 1. Στη δεύτερη σκηνή, το πρώτο επίπεδο αντιπροσωπεύει τη μηδενική κλιμάκωση του μεγέθους της εικόνας, ενώ, το τελικό τη μεγέθυνση της τελευταίας κατά 2%. Η φύση των δύο προς εξέταση εικόνων (εσωτερικού και εξωτερικού χώρου) δεν επέτρεψε την ισόποση αύξηση της κλιμάκωσης. Αν και η απόδοση των ανιχνευτών αυξάνεται, αυτή των προσδιοριστών μειώνεται δραστικά, με εξαίρεση του SIFT που κυμαίνεται περίπου στο. Τέλος, οι δύο τεχνικές συγκρίνονται σε εικόνες με το λευκό γκαουσιανό θόρυβο με μηδενική μέση τιμή. Ο θόρυβος αυξάνεται ανάλογα με τη τιμή της απόκλισης που παρουσιάζεται στο Σχήμα 3. Συμπερασματικά, η απόδοση των ανιχνευτών, αν και αρχικά μειώνεται δραστικά, παραμένει στα ίδια σχεδόν επίπεδα με την παράλληλη αύξηση του θορύβου. Επιπλέον, πολύ περισσότερο φαίνεται να επηρεάζονται οι προσδιοριστές, η απόδοση των οποίων μειώνεται σύμφωνα με το επίπεδο θορύβου. 1ο Πανελλήνιο Συνέδριο Ρομποτικής, ΤΕΕ, Αθήνα, 23-24 Φεβρουαρίου, 29 4

2 1 1 45 9 135 18 225 27 315 1% % 45 9 135 18 225 27 315 Περιστροφή σε μοίρες Περιστροφή σε μοίρες 2 1 1 1 2 3 4 1% % 1 2 3 4 Επίπεδο φωτισμού Επίπεδο φωτισμού Σχήμα 2 Πρώτη σειρά: αποτελέσματα σύγκρισης με βάση τη περιστροφή Δεύτερη σειρά: με βάση το φωτισμό 4 4 3 2 1 1 1 2 3 4 1% % 1 2 3 4 Επίπεδο κλιμάκωσης Επίπεδο κλιμάκωσης 2 1 1.1.25.5.75.1 1% %.1..25.5. 75.1 Επίπεδο Θορύβου Επίπεδο θορύβου Σχήμα 3 Πρώτη σειρά: αποτελέσματα σύγκρισης με βάση το επίπεδο κλιμάκωσης Δεύτερη σειρά: με βάση το επίπεδο θορύβου της εικόνας 1ο Πανελλήνιο Συνέδριο Ρομποτικής, ΤΕΕ, Αθήνα, 23-24 Φεβρουαρίου, 29 5

6 ΣΥΜΠΕΡΑΣΜΑΤΑ Παρουσιάστηκε μια συγκριτική μελέτη των αλγορίθμων SIFT και SURF που χρησιμοποιούνται ευρέως σε όλες τις νέες τεχνικές αναγνώρισης προτύπων. Κατά τη διαδικασία της σύγκρισης, οι δύο τεχνικές δοκιμάστηκαν σε εικόνες που είχαν υποστεί περιστροφή, αλλαγή φωτισμού, αλλαγή μεγέθους και εισαγωγή θορύβου. Από τη σύγκριση προέκυψε ότι, ο αλγόριθμος SIFT απαιτεί χρόνο εκτέλεσης διπλάσιο από αυτόν του αλγορίθμου SURF, που κυμαίνεται στα επίπεδα του ενός δευτερολέπτου. Όμως ο ανιχνευτής του SIFT παράγει σε όλες τις περιπτώσεις περισσότερα χαρακτηριστικά γνωρίσματα από τον αντίστοιχο του SURF. Παράλληλα, η απόδοση του περιγραφέα του SIFT, είναι σταθερά μεγαλύτερη από αυτή του SURF, με εξαίρεση δύο περιπτώσεων όπου, αυτή του τελευταίου κυμαίνεται σε υψηλότερα επίπεδα. Συμπερασματικά, ο αλγόριθμος SIFT μπορεί να χρησιμοποιηθεί σε απαιτητικές διαδικασίες αναγνώρισης προτύπων, ενώ ο SURF σε διαδικασίες όπου ο χρόνος είναι κρίσιμος. ΒΙΒΛΙΟΓΡΑΦΙΑ Bay H., Tuytelaars T., and Van Gool L. (26) Surf: Speeded up robust features, Proceedings of European Conference on Computer Vision, Graz, Austria Liao M.Z.W., Ling W. and Chen W.F. (27) A Novel Affine Invariant Feature Extraction for Optical Recognition, International Conference on Machine Learning and Cybernetics, 3, 1769-1773 Lindeberg T., and Romeny T. H. (1994) Linear scale-space in Geometry-Driven Diffusion, pages 1 77, Dordrecht, Netherlands, Kluwer Academic Publishers Lowe, D.G. (21) Local feature view clustering for 3D object recognition, IEEE Conference on Computer Vision and Pattern Recognition, Kauai, Hawaii, 682-688 Lowe D. G. (24) Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision 6, 2, 91-11 Mikolajczyk K. and Schmid C (25) A performance evaluation of local descriptors, IEEE Transactions on Pattern Analysis & Machine Intelligence, 27, (1), 1615 163 Orguner U. and Gustafsson F. (27) Statistical Characteristics of Harris Corner Detector, In Processing of 14th Workshop on Statistical Signal, SSP '7, IEEE/SP, 571-575 Russ, J.C. (27) The Image Processing Handbook, Fifth Edition, CRC Press Vincze M. (21) Robust Tracking of Ellipses at Frame Rate, Pattern Recognition, 34, (2), 487-498 1ο Πανελλήνιο Συνέδριο Ρομποτικής, ΤΕΕ, Αθήνα, 23-24 Φεβρουαρίου, 29 6