ΝΕΥΡΟ-ΡΟΜΠΟΤΙΚΑ ΣΥΣΤΗΜΑΤΑ: ΕΛΕΓΧΟΣ ΜΕΣΩ ΗΛΕΚΤΡΟΜΥΟΓΡΑΦΗΜΑΤΟΣ ΚΑΙ ΜΕΘΟΔΟΛΟΓΙΕΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΥ ΚΙΝΗΣΗΣ Ξανθή Παπαγεωργίου, Παναγιώτης Αρτεμιάδης, Κωνσταντίνος Κυριακόπουλος Σχολή Μηχανολόγων Μηχανικών, Εθνικό Μετσόβιο Πολυτεχνείο ΠΕΡΙΛΗΨΗ Νευρο-ρομποιικ ά είναι τα συστήματα εκείνα που ενσωματώνουν την γνώση μας για τα βιολογικά συστήματα, σε μηχανές που είναι είτε παθητικές είτε επενεργούμενες. Στην παρούσα εργασία το ερευνηιικ ό ενδιαφέρον επικεντρώνετατ στην χρήση μορφών διασύνδησης μεταξύ του ανθρώυου και των ρομπότ, που βασίζονται σε σήματα που μετρώνται από τον ίδιο τον άνθρωπο. Ειδικόιερα, ηλεκτρομυογραφικά σήματα καταγράφοντατ επιφανειακά από τους σκελειικ ούς μύες του ανθρωπίνοπ άνω άκρου. Στη συνέχεια τα σήματα αυτά, μέσω κατάλληλων μοντέλων μεταφράζονται στην αντίσιοιχ η κίνηση του άνω άκρου, η οποία τελικά χρησιμοποτείται για τον έλεγχο σε πραγματικό χρόνο ενός ρομποιικ ού βραχίονα 7 βαθμών ελευθερίας στον ιρισδιά σια το χώρο. Σε περιπιώσεις όπου η κίνηση του βραχίονα γίνεται σε περιβάλλον όπου συνυπάρχουν διάσπαρτα αντικείμενα εμπόδια, αναπτύσσονται οι κατάλληλες μεθοδολογίες ώστε να επττρέποπν στο ρομπότ να είναι υποχωρηιικ ό προς συγκεκριμένες επιφάνειες, ενώ ταυτόχρονα να αποφεύγει τα εμπόδια που μπορούν να αναχαττίσουν την κίνησή του. Λέξεις κλειδιά: νευρο-ρομποιικ ή, ηλεκτρομυογράφημα, προγραμμαιισμ ός κίνησης 1 ΕΙΣΑΓΩΓΗ Η παρούσα εργασία πραγματεύεται μια σημανιι κή πτυχή του τομέα της νευρορομποιικ ής, αυτήν της διασύνδησης της ρομποιικ ής και ειδικόιερ α των ρομποιικ ών συστημάτων με τον ίδιο τον άνθρωπο. Πτο συγκεκριμένα, στην παρούσα εργασία χρησιμοποτείτατ το σήμα που καταγράφεται επιφανειακά από τους σκελειικ ούς μύες του άνω άκρου, το λεγόμενο ηλεκτρομυογραφικό σήμα, ή ηλεκτρομυογράφημα. Το σήμα αυτό, με την κατάλληλη επεξεργασία, αποκωδικοποτείτατ σε κίνηση του άνω άκρου, με σκοπό να χρησιμοποιεθεί ως μεταβλητή ελέγχου ρομποιικ ών συστημάτων. Συγχρόνως υλοποιούνται κατάλληλοι ελεγκτές ώστε να είναι εφικτή η αποφυγή των εμποδίων που περιέχονια ι στον περιβάλλοντα χώρο, και να μπορεί ιο ρομπότ να προσεγγίσει και να αλληλεπιδράσει σε καμπυλωμένες επιφάνειες. Το παραπάνω σενάριο λειιου ργίας απεικονίζετατ στο Σχήμα 1. Τα ηλεκτρομυογραφικά σήματα έχουν χρησιμοποιεθεί θιο παρελθόν για τον έλεγχο ρομποιικ ών συστημάτων. Ένα τέιοιο παράδειγμα αποτελεί η εργασία (Fukuda, 2003), όπου η διεύθυνση κίνησης πρηνισμού/υπιια σμού ενός ρομποιικ ού καρπού, ελεγχόταν από ηλεκτρομυογραφικά σήματα των μυών του πήχη. Πολύ συχνά σιις παλατότερες 1ο Πανελλήνιο Συνέδριο Ρομποτικής, ΤΕΕ, Αθήνα, 23-24 Φεβρουαρίου, 2009 1
εργασίες χρησιμοποιούνται ηλεκτρομυογραφικά σήματα για τον έλεγχο ρομποιικ ών χεριών (Bitzer, 2006). Σε όλες ιις προαναφερσείσες εργασίες η αποκωδικοποίηση των ηλεκτρομυογραφικών σημάτων οδηγούσε σε διακρττές αποφάσεις, για παράδειγμα κάμψη ή έκταση των δακτύλων, και όχι σε μια συνεχή περιγραφή της κίνησης. Στην παρούσα εργασία ερευνάται ο συνεχής έλεγχος των ρομποιικ ών συστημάτων μέσω του ηλεκτρομυογραφήματος. Γι' αυτό το λόγο, απαιτείται η εκτίμηση της συνεχής κίνησης του άνω άκρου, ώστε η τελευταία να χρησιμοποιεθεί για τον εύρωστο και ακριβή έλεγχο ενός ρομποιικ ού βραχίονα. Σχήμα 1: Αναπαράσταση πραγματικού σεναρίου πποκατάστασης άνω άκρων. Σχήμα 2: Ο χρήστης κινεί το άνω άκρο στο χώρο, ενώ οι 4 γωνίες του ώμου και του αγκώνα ππολογίζονται μέσω των μαγνητικών αισθητήρων θέσης. Σε τέτοιου είδους συστήματα που χρησιμοποιούνται σήματα από τον άνθρωπο υπάρχει αυξημένη δυσκολία να ελεγχθεί με ακρίβεια το ρομπότ, ιδιαίτερα σε περιπιώσεις όπου είτε το περιβάλλον του ρομπότ είναι γεμάτο με αντικείμενα-εμπόδια μη-αντιληπτά από τον άνθρωπο, ηίτη η μορφολογία του ρομπότ είνατ διαφορειικ ή αυτής του ανθρώυου. Ευομένως είναι πολύ σημανιι κό να αναπτύξουμε ιις μεθοδολογίες εκείνες που θα μας επττρέψουν να ελέγξουμε το ρομπότ, κάνοντάς το να αποφεύγει ιις συγκρούσεις με τον περιβάλλοντα χώρο. 2 ΜΕΘΟΔΟΛΟΓΙΑ 2.1 Το τλεκτρομυογράφημα ως μεταβλττή ελέγχου Το ηλεκτρομυογράφημα είναι το δυναμικό που μετράται επιφανειακά από τους σκελειικ ούς μύες, όταν αυτοί συστέλλονται με σκοπό την παραγωγή δύναμης και άρα κίνησης. Σι ην παρούσα εργασία μας ενδιαφέρει η κίνηση του άνω άκρου στον τρτσδτάστατο χώρο. Επομένως, 11 συνολικά μύες που ενεργούν σιον ώμο και στον αγκώνα επιλέγονται να καταγραφούν ως οι κύριοι μύες για την εν λόγω κίνηση. Η άρθρωση του καρπού παραλείπεται για λόγους ευκολίας. Ο στόχος είναι η αποκωδικοποίηση του ηλεκτρομυογραφικού σήματος σε κίνηση. Αυτό θα επττευχθεί με την χρήση ενός μαθημαιικ ού μοντέλου, που θα μπορεί να εκπαιδεύεται κατάλληλα ώστε να εκιιμ ά την κίνηση του άνω άκρου βασισμένο μόνο στο ηλεκτρομυογράφημα. Για την εκπαίδευση του συστήματος αποκωδικοποίησης ηλεκτρομυογραφικών σημάτων απαττείται η σύγχρονη συλλογή σήματος από τους 11 εμπλεκόμενους μύες καθώς και της αντίστοιχης κίνησης του άνω άκρου. Για την καταγραφή του 1ο Πανελλήνιο Συνέδριο Ρομποτικής, ΤΕΕ, Αθήνα, 23-24 Φεβρουαρίου, 2009 2
ηλεκτρομυογραφήματος χρησιμοποτείτατ κατάλληλο σύστημα καταγραφής (Bagnoli-16 Desktop EMG System, Delsys Inc., Boston, MA, USA) και επιφανειακά ηλεκιρόδι α καταγραφής. Για την καταγραφή της κίνησης χρησιμοποτείτατ σύστημα μαγνηιι κών αιθθητήρων σέσης και προσανατολισμού (Isotrak II, Polhemus Inc, USA). Το σύστημα αποτελείται από δύο αισθητήρες, των οποίων, ε σέση και ο προσανατολισμός ως προς το αδρανειακό σύστημα αξόνων του αιθθητήρα, παρέχεται με συχνότητα 30 Hz. Τοποθετώντας το αδρανειακό σύστημα στον ώμο του χρήστη, και τους δύο αιθθητήρες στον αγκώνα και τον καρπό ανιίσιοιχ α, μπορούμε να υπολογίσουμε ιις 4 γωνίες των αρθρώσεων του ώμου και του αγκώνα, όπως αυτές ορίζονται στο Σχήμα 2, κάνοντας χρήση των κτνημαιικ ών εξισώσεων. Στα ηλεκτρομυογραφικά σήματα, μετά την αρχική επεξεργασία, εφαρμόζεται μια μεθοδολογία απεικόνισης σε χώρο μικρότηρης διάστασης. Αυτό συμβαίνει επειδή, όπως είναι γνωστό από την βιβλιογραφία (d'avella, 2006), οι μύες δρουν συλλογικά για την παραγωγή κίνησης. Το ίδιο συμβαίνει και για ιε ν κίνηση του άνω άκρου. Ας ορίσουμε u L 2 και y L 2 την αναπαράσταση του ηλεκτρομυογραφήματος και της κίνησης σε χώρο μικρότηρης διάστασης ανιίσιοιχ α. Το μοντέλο αποκωδικοποίησης του u L σε y L περτγράφεται από την παρακάτω εξίσωση: x k 1 Ax k Bu Lk w k y Lk Cx k k ( 1) όπου x d ένα διάνυσμα κρυφών μεταβλητών, w, μεταβλητές θορύβου και A, B, C πίνακες που περιγράφουν την δυναμική του διανύσματος των κρυφών μεταβλητών, την συνεισφορά του ηλεκτρομυογραφήματος σε αυτήν, καθώς επίσης και την σχέση του διανύσματος με την κίνηση του άνω άκρου ανιίσιοιχ α. Οι πίνακες αυτοί πρέπει να υπολογιθθούν χρησιμοποτώντας δεδομένα εκπαίδευσης, δηλαδή ηλεκτρομυογραφικά σήματα και αντίσιοι χες μεταβλητές κίνησης. Κατά τη διάρκεια της εκπαίδευσης του συστήματος ο χρήστης κινεί ιο άνω άκρο σε τυχαίες σέσεις στο χώρο. Ηλεκτρομυογραφικά σήματα καταγράφονται, καθώς και οι γωνίες των αρθρώσεων, έτστ ώστε να χρησιμοποιηθούν ως δεδομένα εκπαίδευσης για το μοντέλο (1). Μετά την εκπαίδευση του μοντέλου, ξεκινά η φάση τηλεχειρισμού του ρομποιικ ού βραχίονα σε πραγματικό χρόνο. Σε αυτή την φάση, τα ηλεκτρομυογραφικά σήματα που καταγράφονται από τους 11 μύες εισάγονται στο μοντέλο (1). Κάνοντας χρήση των εξισώσεων της (1), τελικά εκιιμ άται το διάνυσμα y L που περιγράφει ιε ν κίνηση του άνω άκρου. Ο ρομποιικ ός βραχίονας ελέγχεται τελικά με κατάλληλο ελεγκτή ροπής ώστε να κινηθεί βασισμένος σιε ν εκτίμηση της τροχιάς του ανθρωπίνου άνω άκρου. 2.2 Προγραμματισμός κίνησης Είναι πολύ σημανιικ ός ο σχεδιασμός και η ανάπτυξη ελεγκτών, που θα επττρέποπν στο ρομποιικ ό βραχίονα να εκτελεί τα καθήκοντά του πάνω σε επιφάνειες, να είναι υποχωρηιικ ός σε συγκεκριμένες καταστάσεις και ταυτόχρονα να αποφεύγει ιις συγκρούσεις με τα αντικείμενα του χώρου μέσα στον οποίο κτνείτατ (Patel, 2005), (Zhang Y, 2004). Επίσης, ένα πολύ σημανιικ ό θέμα άπτεται των ορίων, τα οποία έχουν επιβληθεί από τον κατασκευαστή του ρομποιικ ού βραχίονα, και με βάση τα οποία υπάρχει περιορισμός στο ποια είναι η μέγτστη ταχύτητα με την οποία τα μηχανικά μέρη 1ο Πανελλήνιο Συνέδριο Ρομποτικής, ΤΕΕ, Αθήνα, 23-24 Φεβρουαρίου, 2009 3
του ρομπότ μπορούν να εκτελέσουν μία κίνηση. Για να ανταπεξέλθουμε σε αυτήν την δυσκολία, έχουμε εντάξει αυτούς τους περιορισμούς στον σχεδιασμό του ελεγκτή του ρομπότ. Η προσπάθεια υλοποίησης των ανωτέρω συνοψίζεται στο πρόβλημα σχεδιασμού ελεγκτή για ρομποιικ ό βραχίονα με πλεονάζοντες βαθμούς, το εύρος της κίνησης των συνδέσμων του οποίου πρέπει να παραμένουν μέσα σε προκαθορισμένα όρια (τα οποία έχει σέσει ο κατασκευαστής). Προκειμένου να επττευχθεί ο στόχος μας, υλοποιούμε συναρτήσεις πλοήγησης (Rimon, 1992), αναλύουμε το σύστημα κλειστού βρόχου και ελέγχουμε την ευστάθεια του συστήματος. Το σύστημα με τη χρήση των ελεγκτών μας, είναι ολικά ομοιόμορφα ασυμπιωιικ ά ευσταθές και σέβετατ όλους οι μηχανολογικούς περιορισμούς. Επιπλέον είναι εφικτό αφενός να σταθεροποιήθοπμε το άκρο του ρομποιικ ού βραχίονα σε ένα συγκεκριμένο σεμείο ή να το οδηγήσουμε ώστε να ακολουσήσει με επττυχία μία προκαθορισμένη τροχιά, πάνω σε μία δυσδιάστατη πολυπλοκότητα (επιφάνεια) που βρίσκεται στον τρτσδτάστατο χώρο και να αποφεύγει όλα τα εμπόδια του περιβάλλοντος. 2.2.1 ΣΥΝΑΡΤΗΣΗ ΠΛΟΗΓΗΣΗΣ Οι ελεγκτές που υλοποιούμε βασίζονια ι στη δημιουργία τεχνητού δυναμικού πεδίου το οποίο δημιουργείτατ από τη συνάρτηση πλοήγησης και που καθορίζεται στην ουσία από την επιθυμητή σέση όπου το ρομπότ θέλουμε να μεταβεί και από τα εμπόδια που υπάρχουν μέσα στο χώρο δράσης του και που πρέπει να αποφύγει. Το επιθυμητό σεμείο γτα το ρομπότ παράγει το ελκιικ ό δυναμικό που θα τραβήξει το ρομπότ στην τελική σέση, ηνώ τα εμπόδια παράγουν ένα απωθητικό δυναμικό που ωθεί το ρομπότ μακριά του. Η αρνηιικ ή κλίση του συνολικού δυναμικού αντιμετωπίζεται ως μία τεχνητή δύναμη που εφαρμόζεται στο ρομπότ. Σε κάθε σέση του ρομπότ, η κατεύθυνση αυτής της δύναμης θεωρείτατ η πιο πιθανή κατεύθυνση της κίνησης. Η συνάρτηση πλοήγησης μας βοηθά θτον προγραμμαιισμ ό της κίνησης του ρομποιικ ού βραχίονα, οδηγεί το άκρο του ρομπότ προς την επιφάνεια και με τη χρήση του ελεγκτή καθορίζεται η κίνησή του πάνω σε αυτήν. Η πλοήγηση κατά μήκος της επιφάνεια περιλαμβάνει αφενός την σταθηροποίηθη σε κάποιο σεμείο ιε ς, και αφετέρου την παρακολούσηση προκαθορισμένης τροχτάς. Ο όγκος του ρομποιι κού βραχίονα στο χώρο δράσης του ρομπότ μπορεί να αναπαρασταθεί ως σεμείο σε ένα διαφορειικ ό χώρο εργασίας, ακολουθώντας μία σειρά από μετασχημαιισμ ούς. Τα εμπόδια του χώρου ακολουθούν τους ίδιους μετασχημαιισμ ούς και με αυτόν τον τρόπο κατασκευάζεται η συνάρτηση πλοήγησης. Η συνάρτηση πλοήγησης που χρησιμοποιούμε ορίζεια ι στη γενική μορφή της ως εξής : d d B 1 m όπου οι γωνίες των συνδέσμων του ρομπότ, m είναι οι βαθμοί ελευθερίας του ρομπότ, γ d είναι η συνάρτηση που μετρά την απόσταση από την επιθυμητή σέση όπου το ρομπότ θέλουμε να μεταβεί (δημιουργεί ιο ελκιικ ό πεδίο), B ws O s είναι ένα γινόμενο συναρτήσεων που αναπαριστούν εμπόδια και περιορισμούς στην κίνηση του ρομπότ (δημιουργεί ιο απωθηιικ ό δυναμικό). Κάθε μία από αυτές ιις συναρτήσεις έχει τους εξής ρόλους: η συνάρτηση β ws μας εξασφαλίζει όιι το ρομπότ θα παραμείνει μέσα στο χώρο δράσης στο οποίο επττρέπεται να κινηθεί, η συνάρτηση β Ο εξασφαλίζει όιι κάθε τμήμα του ρομπότ δεν κινδυνεύει να έρθει σε ( 2) 1ο Πανελλήνιο Συνέδριο Ρομποτικής, ΤΕΕ, Αθήνα, 23-24 Φεβρουαρίου, 2009 4
επαφή με το περιβάλλον, γίνεται δηλαδή αποφυγή σύγκρουσης σε όλα τα τμήματα του ρομποιικ ού βραχίονα και όχι μόνο στο άκρο του, ε συνάρτηση β s μοντελοποιεί ια ιδιόμορφα σεμεία ιε ς κινημαιικ ής ως τεχνητά εμπόδια του χώρου δράσης του ρομπότ και μας εγγυάται όιι το ρομπότ θα αποφύγει τα σεμεία αυτά. Τέλος με κ αναπαριστούμε μία θειικ ή και πραγματική παράμετρο, χρήσιμε για την ρύθμιση της συμπεριφοράς του συστήματος. 3 ΑΠΟΤΕΛΕΣΜΑΤΑ Στο Σχήμα 3 φαίνεται η πραγματική και η εκτίμηση της κίνησης του άνω άκρου μέσω των ηλεκτρομυογραφικών σημάτων και του μοντέλου (1). Τα γραφήματα απεικονίζουν την τροχιά του ανθρωπίνοπ χεριού όπως αυτή καταγράφεται από το μαγνηιικ ό σύστημα θέσης στους 3 άξονες του χώρου κίνησης, και την εκτίμηση της τροχιάς μέσω του μοντέλου αποκωδικοποίησης (1). Όπως είναι φανερό από τα γραφήματα, η εκτίμηση της τροχιάς της κίνησης είναι πολύ ακριβής, και δύναται να χρησιμοποιεθεί για τον έλεγχο του ρομποιικ ού βραχίονα, εφόσον η συχνότητα στην οποία γίνεται η εκτίμηση της κίνησης είναι ίση με αυτήν της καταγραφής του ηλεκτρομυογραφήματος, δηλαδή 1 khz. Πραγματοποιήσαμε πειράματα με σκοπό να επαληθεύσουμε την ικανότητα εφαρμογής και την αποτελεσμαιι κότητα της προιηινόμηνης μεθοδολογίας. Ο ρομποιικ ός βραχίονας στον οποίο υλοποιήσαμε τα πειράματα είναι το μοντέλο της Mitsubishi PA10-7C, με m=7 βαθμούς ελευθερίας, στη σέση που απεικονίζει η εικόνα (Σχήμα 4). Στα παρακάτω σχήματα φαίνονται γραφικές αναπαραστάσεις των αποτελεσμάτων με τη χρήση του Matlab, από διαφορειικ ές οπιικ ές γωνίες σε κάθε μία εικόνα. Η τροχιά του άκρου του ρομπότ σχεδιάζεται με την μπλε καμπύλη. Αρχικά το ρομπότ κινείται προς την επιθυμητή σέση (Σχήμα 4) και στη συνέχεια ακολουθεί μία προκαθορισμένη ημττονοητδή τροχιά (Σχήμα 5) πάνω στην επιφάνεια (κίιρινη καμπύλη), ενώ έχει αποφύγει όλα τα εμπόδια του περιβάλλοντος αλλά και τα εμπόδια που είναι ιο ποθετημένα πάνω στην ηπιφάνεια. Σχήμα 3. Πραγματική (real) και εκτιμόμενη (estimates) κίνηση του άνω άκρου μέσω του ηλεκτρομυογραφήματος στους 3 άξονες x, y, z. 1ο Πανελλήνιο Συνέδριο Ρομποτικής, ΤΕΕ, Αθήνα, 23-24 Φεβρουαρίου, 2009 5
Initial Configuration Trajectory Tracking Closed surface Initial Configuration Closed surface Target Configuration Σχήμα 4: Αναπαράσταση αποτελεσμάτων για σταθεροποίηση του άκρου σε σημείο. Σχήμα 5: Αναπαράσταση αποτελεσμάτων για παρακολούθηση τροχιάς. 4 ΣΥΜΠΕΡΑΣΜΑΤΑ Οι μεθοδολογίες αποκωδικοποίησης κίνησης που αναπτύξαμε επττρέπουν την κίνηση του ρομποιικ ού βραχίονα βασισμένη σε σήματα που προέρχονται από τον ίδιο ιον άνθρωπο, ενώ συγχρόνως είναι εφικτό να αποφεύγονται τα εμπόδια που υπάρχουν στο χώρο δράσης του. Οι μεθοδολογίες μπορούν να εφαρμοθθούν σε ρομποιικ ά συστήματα αποκατάστασης κινηιικ ών δυσκολιών που θα ελέγχονται από σήματα προερχόμενα από τον άνθρωπο, διαιε ρώντας την επιθυμητή αυτονομία και ασφάλεια. 5 ΒΙΒΛΙΟΓΡΑΦΙΑ S. Bitzer and P. van der Smagt, Learning EMG control of a robotic hand: towards active prostheses, Proc. of IEEE Int. Conf. on Robotics and Automation, pages 2819 2823, 2006. A. d Avella, A. Portone, L. Fernandez, and F. Lacuaniti, Control of fast-reaching movements by muscle synergy combinations, The Journal of Neuroscience, vol. 25, no. 30, pp. 7791 7810, 2006. O. Fukuda, T. Tsuji, M. Kaneko, and A. Otsuka, A human-assisting manipulator teleoperated by EMG signals and arm motions, IEEE Trans. on Robotics and Automation, 19(2):210 222, 2003. Patel R., Shadpey F., Ranjbaran F., Angeles J. (2005), A collision avoidance scheme for redundant manipulators: Theory and experiments, Journal of Robotic Systems, vol. 22, no. 12, pp. 737 757. Rimon E. and Koditschek D. (1992), Exact robot navigation using artificial potential functions, IEEE Transactions on Robotics and Automation, vol. 8, no. 5, pp. 501 518. Zhang Y., Wang J. (2004), Obstacle avoidance for kinematically redundant manipulators using a dual neural network, IEEE Transactions on Systems, Man, & Cybernetics - Part B: Cybernetics, vol. 34, no. 1. 1ο Πανελλήνιο Συνέδριο Ρομποτικής, ΤΕΕ, Αθήνα, 23-24 Φεβρουαρίου, 2009 6