ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ & ΥΠΟΛΟΓΙΣΤΩΝ Διπλωματική Εργασία Χρήση Δυναμικών Συστημάτων με «Μίξη Γκαουσιανών Μοντέλων» για την ανθρωπομορφική κίνηση ρομποτικού βραχίονα κατά την παράδοση αντικειμένου υπό Αντώνη Σιδηρόπουλου ΑΕΜ:7772 Επιβλέπουσα: Ζωή Δουλγέρη Θεσσαλονίκη, Οκτώβριος 2016

2 i

3 Εγκρίθηκε από τα Μέλη της Τριμελούς Εξεταστικής Επιτροπής: Πρώτος Εξεταστής (Επιβλέπουσα) Δρ. Ζωή Δουλγέρη Καθηγήτρια, Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών, Α.Π.Θ Δεύτερος Εξεταστής Δρ. Γεώργιος Ροβιθάκης Καθηγητής, Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών, Α.Π.Θ Τρίτος Εξεταστής Δρ. Ιωάννης Θεοχάρης Καθηγητής, Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών, Α.Π.Θ ii

4 Ευχαριστίες Με την περάτωση της διπλωματικής μου εργασίας ολοκληρώνονται οι σπουδές μου στη Σχολή Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών του Α.Π.Θ., καθώς και ένα σημαντικό κεφάλαιο της εκπαιδευτικής μου πορείας. Θα ήθελα λοιπόν, με την αφορμή αυτή, να εκφράσω τις ευχαριστίες μου σε όλους εκείνους που στάθηκαν δίπλα μου στην φοιτητική μου πορεία. Αρχικά, θα ήθελα να ευχαριστήσω τους γονείς μου για την αμέριστη και ανεκτίμητη συμπαράσταση και συνδρομή τους, ηθική και υλική, όλα αυτά τα χρόνια. Θα ήθελα επίσης να εκφράσω την ευγνωμοσύνη μου προς την επιβλέπουσα καθηγήτριά μου, Ζωή Δουλγέρη, για την ουσιαστική βοήθεια της, την εμπιστοσύνη που έδειξε στο πρόσωπό μου, τις πολύτιμες συμβουλές της και τον χρόνο που αφιέρωσε στις συζητήσεις μας και τα προβλήματα της εργασίας μου. Θα ήθελα ακόμα να ευχαριστήσω όλους τους πολύ καλούς μου φίλους που ήταν δίπλα μου όλα αυτά τα χρόνια, πίστευαν σε μένα, μου στάθηκαν στις δύσκολες στιγμές και που δεν θα είχε την ίδια αξία για μένα οποιαδήποτε επιτυχία αν δεν τους είχα κοντά μου για να την μοιραστώ μαζί τους. Τέλος, θα ήθελα να αφιερώσω την εργασία αυτή στους γονείς μου γιατί χωρίς αυτούς δεν θα έφτανα και δεν θα βρισκόμουν εδώ που βρίσκομαι τώρα και στους οποίους είμαι και θα είμαι για πάντα ευγνώμων. Αντώνης Σιδηρόπουλος iii

5 Χρήση Δυναμικών Συστημάτων με «Μίξη Γκαουσιανών Μοντέλων» για την ανθρωπομορφική κίνηση ρομποτικού βραχίονα κατά την παράδοση αντικειμένου ΑΝΤΩΝΗΣ ΣΙΔΗΡΟΠΟΥΛΟΣ Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης, Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Επιβλέπουσα Καθηγήτρια: Δρ. Ζ. Δουλγέρη, Καθηγήτρια, Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών, Α.Π.Θ Περίληψη Αντικείμενο της συγκεκριμένης διπλωματικής εργασίας αποτελεί η μελέτη των Δυναμικών Συστημάτων (ΔΣ) με «Μίξη Γκαουσιανών Μοντέλων» (Gaussian Mixture Models - GMM) και η εφαρμογή τους για την εκμάθηση ενός ανθρωπομορφικού μοντέλου κίνησης από ένα ρομποτικό βραχίονα κατά την παράδοση ενός αντικειμένου σε άνθρωπο. Η ραγδαία ανάπτυξη της τεχνολογίας στον τομέα της ρομποτικής διανοίγει νέους ορίζοντες στον τομέα της συνεργασίας ανθρώπου-ρομπότ. Πλέον οι εφαρμογές των ρομποτικών συστημάτων δεν περιορίζονται στο βιομηχανικό χώρο, αλλά γίνονται προσπάθειες ώστε να ενταχθούν και στο οικιακό περιβάλλον και να εγκαθιδρυθεί μια αγαστή συνεργασία μεταξύ του ρομπότ και του ανθρώπινου χρήστη. Προς αυτή την κατεύθυνση, έχουν αναπτυχθεί πληθώρα τεχνικών για την εκμάθηση ενός μοντέλου ανθρωπομορφικής κίνησης από έναν ρομποτικό βραχίονα. Σε κάποιες από τις πιο επίκαιρες τεχνικές θα αναφερθούμε επιγραμματικά παρακάτω. Μεγαλύτερη έμφαση δίνεται στη χρήση μη γραμμικών δυναμικών συστημάτων που αποτελούν μια από τις πιο πρόσφατες και αποδοτικές τεχνικές που έχουν προταθεί στη βιβλιογραφία μέχρι στιγμής. Αφού κάνουμε μια ανασκόπηση των δυναμικών συστημάτων και των διάφορων εκδοχών τους που έχουν προταθεί, θα εστιάσουμε το ενδιαφέρον μας σε ένα συγκεκριμένο είδος δυναμικών συστημάτων που εξασφαλίζει τη γενική ασυμπτωτική ευστάθεια του συστήματος ενώ παράλληλα προσομοιώνει με ικανοποιητική ακρίβεια τον ανθρώπινο τρόπο κίνησης. Στη συνέχεια, επεκτείνουμε τη συγκεκριμένη ιδέα και με κατάλληλη μοντελοποίηση του δυναμικού συστήματος παρουσιάζουμε ένα απλό σχήμα ελέγχου, ανεξάρτητο του μοντέλου του ρομποτικού βραχίονα, για τoν έλεγχο της κίνησης του άκρου ενός ρομποτικού βραχίονα στον τρισδιάστατο χώρο. Επιπλέον, μελετάται η ύπαρξη κατοπτρισμού στην ανθρώπινη κίνηση κατά την παράδοση ενός αντικειμένου σε άλλον iv

6 άνθρωπο, γεγονός το οποίο, αφού επιβεβαιωθεί πειραματικά, αξιοποιείται για την καλύτερη και αποδοτικότερη εκπαίδευση του δυναμικού συστήματος. Τέλος, προσομοιώνεται και ελέγχεται η απόδοση και ακρίβεια του δυναμικού συστήματος μέσω του εικονικού περιβάλλοντος προσομοίωσης V-REP. v

7 Πίνακας περιεχομένων Κεφάλαιο 1 Εισαγωγή Συνεργασία και αλληλεπίδραση ρομπότ και ανθρώπου Βιβλιογραφική Ανασκόπηση Οργάνωση Διπλωματικής Εργασίας... 4 Κεφάλαιο 2 Μαθηματική Μοντελοποίηση ενός Δυναμικού Συστήματος (ΔΣ) με «Μίξη Γκαουσιανών Μοντέλων» (GMM) Γενική μορφή ενός Δυναμικού Συστήματος (ΔΣ) με «Μίξη Γκαουσιανών Μοντέλων» (GMM) Το Δυναμικό Σύστημα SEDS Αλγόριθμος εκπαίδευσης του Δυναμικού Συστήματος SEDS Το τροποποιημένο Δυναμικό Σύστημα SEDS Ανάλυση Ευστάθειας του τροποποιημένου ΔΣ SEDS Συμπεράσματα Κεφάλαιο 3 Μελέτη της ύπαρξης Κατοπτρισμού στην ανθρώπινη κίνηση κατά την παράδοση αντικειμένων μεταξύ ανθρώπων Πολικά Διανύσματα και Ψευδο-διανύσματα Κατοπτρισμός διανυσμάτων ως προς επίπεδο του τρισδιάστατου χώρου Πειραματική επικύρωση της ύπαρξης κατοπτρισμού στην κίνηση του ανθρώπινου καρπού Ενσωμάτωση κατοπτρισμού σε ένα Δυναμικό Σύστημα Συμπεράσματα Κεφάλαιο 4 Προσομοίωση του Δυναμικού Συστήματος Μετρικές επίδοσης Εφαρμογή του ΔΣ σε δισδιάστατα δεδομένα Εφαρμογή του ΔΣ σε τρισδιάστατα δεδομένα Πείραμα παράδοσης αντικειμένου Κεφάλαιο 5 Σύνοψη Διπλωματικής Εργασίας...40 Παράρτημα 41 A. Ιδιότητες των μοναδιαίων Quaternions B. Οι παράγωγοι της αντικειμενικής συνάρτησης ελαχιστοποίησης και των περιορισμών ως προς τις παραμέτρους του SEDS vi

8 Βιβλιογραφία...49 vii

9 Κατάλογος Εικόνων Εικόνα 1 - Παράδειγμα ενός μονοδιάστατου Δυναμικού Συστήματος... 8 Εικόνα 2 - Κατοπτρισμός Μαγνητικού Πεδίου Εικόνα 3 - Κατοπτρισμός Γωνιακής Ταχύτητας Εικόνα 4 - Κατοπτρισμός ως προς το πλαίσιο του στόχου Εικόνα 5 - Κατοπτρισμός του ανθρώπινου καρπού Εικόνα 6 - Πείραμα κατοπτρισμού Εικόνα 7 - Πείραμα κατοπτρισμού Εικόνα 8 - Πείραμα κατοπτρισμού Εικόνα 9 - Πείραμα κατοπτρισμού Εικόνα 10 - Προσομοίωση του Δυναμικού Συστήματος σε 2Δ δεδομένα Εικόνα 11 - Σύγκριση τροχιών του ΔΣ και του 2Δ σετ δεδομένων Εικόνα 12 Πορτρέτο τροχιών του ΔΣ για 2Δ δεδομένα Εικόνα 13 - Σχήμα κλειστού βρόχου ΔΣ-ρομπότ Εικόνα 14 - Σύγκριση τροχιών ΔΣ και ανθρώπινης κίνησης στο training set Εικόνα 15 - Σύγκριση τροχιών ΔΣ και ανθρώπινης κίνησης στο test set Εικόνα 16 - Τροχιά ΔΣ με και δίχως κατοπτρισμό Εικόνα 17 - Πλαίσιο αντικειμένου Εικόνα 18 - Ο παραλήπτης τραβά το αντικείμενο Εικόνα 19 - Τρισδιάστατη τροχιά του άκρου του ρομπότ κατά την παράδοση αντικειμένου 38 Εικόνα 20 - Βασικά στάδια παράδοσης αντικειμένου Εικόνα 21 - Δυνάμεις βαρύτητας δότη και παραλήπτη κατά την παράδοση αντικειμένου.. 39 viii

10 Κατάλογος Πινάκων Πίνακας 1 - Αλγόριθμος ενσωμάτωσης κατοπτρισμού σε ένα Δυναμικό Σύστημα Πίνακας 2 - Μετρικές επίδοσης του ΔΣ σε 2Δ δεδομένα Πίνακας 3 - Μετρικές επίδοσης του ΔΣ σε 3Δ δεδομένα Πίνακας 4 - Μαθηματικοί Συμβολισμοί ix

11 Κεφάλαιο 1 Εισαγωγή Σε αυτό το κεφάλαιο, παρουσιάζουμε πληροφορίες εισαγωγικού χαρακτήρα που δίνουν το κίνητρο και το υπόβαθρο αυτής της διπλωματικής εργασίας, παραθέτουμε μια ανασκόπηση της σχετικής με την εργασία βιβλιογραφίας και περιγράφουμε συνοπτικά τις βασικές ενότητες της διπλωματικής εργασίας. 1.1 Συνεργασία και αλληλεπίδραση ρομπότ και ανθρώπου Είναι ευρέως παραδεκτό ότι τα ρομπότ θα διαδραματίσουν καθοριστικό ρόλο στις ανθρώπινες δραστηριότητες στο εγγύς μέλλον. Οι πρόσφατες εξελίξεις των ρομποτικών τεχνολογιών αποτελούν προάγγελο της στενής συνεργασίας και αλληλεπίδρασης που θα υπάρχει μεταξύ ρομπότ και ανθρώπου, τόσο στο οικιακό όσο και στο βιομηχανικό περιβάλλον. Αυτή η συνεργασία προϋποθέτει τη φυσική αλληλεπίδραση μεταξύ των δυο μερών, γεγονός που αναδεικνύει τη σπουδαιότητα της παράδοσης αντικειμένων μεταξύ ρομπότ και ανθρώπου με έναν τρόπο φυσικό και φιλικό προς τον ανθρώπινο χρήστη [5], [6]. Μάλιστα, στα οικιακά περιβάλλοντα, η ανάπτυξη ρομποτικών βοηθών που θα επικουρούν άτομα με νοητικά προβλήματα ή/και κινητικές δυσκολίες έχει αποτελέσει αντικείμενο εκτεταμένης έρευνας τα τελευταία χρόνια. Ιδιαίτερα λοιπόν σε περιβάλλοντα μη ντετερμινιστικά και μη στατικά, όπως τα οικιακά περιβάλλοντα, η σχεδίαση νόμων ελέγχου που θα επιτρέπει σε ένα ρομπότ να κινείται με τρόπο ασφαλή και προβλέψιμο, ενώ παράλληλα θα μιμείται τον τρόπο ανθρώπινης κίνησης, αποτελούν μείζονα ζητήματα προς αυτή την κατεύθυνση. Προς την επίτευξη του στόχου αυτού μια δημοφιλής προσέγγιση που έχει προταθεί τα τελευταία χρόνια είναι η χρήση μη γραμμικών δυναμικών συστημάτων, τα οποία επιτρέπουν την εκμάθηση πολύπλοκων συναρτήσεων, όπως για παράδειγμα μιας συνάρτησης που προσδιορίζει τον τρόπο με τον οποίο παράγεται η κίνηση του ανθρώπινου χεριού. Εκεί ακριβώς εστιάζεται και η προκειμένη διπλωματική εργασία. Συγκεκριμένα, μελετάται η χρήση Δυναμικών Συστημάτων με «Μίξη Γκαουσιανών Μοντέλων» (Gaussian Mixture Models - GMM) για την εκμάθηση ενός μοντέλου ανθρωπομορφικής κίνησης κατά την παράδοση ενός αντικειμένου σε κάποιον άνθρωπο. Στη συνέχεια, αυτό το ΔΣ σε συνδυασμό με ένα σχήμα ελέγχου εφαρμόζονται σε έναν ρομποτικό βραχίονα (με χρήση του περιβάλλοντος προσομοίωσης V-REP) και καταγράφονται ποιοτικά και ποσοτικά τα αποτελέσματα της κίνησης του βραχίονα σε σχέση με την ανθρώπινη κίνηση. 1

12 1.2 Βιβλιογραφική Ανασκόπηση Έχουν διεξαχθεί αρκετές μελέτες πάνω στον τρόπο με τον οποίο παράγεται η κίνηση του ανθρώπινου χεριού και έχουν προταθεί διάφορες μέθοδοι για την αποκωδικοποίηση των χαρακτηριστικών και αναπαραγωγή της κίνησης αυτής. Ανεξάρτητα από την τεχνική που εφαρμόζεται στο στάδιο της εκμάθησης, ως αρχικό βήμα χρησιμοποιείται ως επί το πλείστον ο «Προγραμματισμός από Επιδείξεις» (Programming by Demonstrations - PbD) [7], όπου ένας άνθρωπος εκτελεί αρχικά την κίνηση που καλείται να μιμηθεί το ρομπότ και έπειτα αξιοποιούνται τα δεδομένα που έχουν καταγραφεί από την ανθρώπινη κίνηση για την εκπαίδευση του ρομπότ. Αφού γίνει η συλλογή των δεδομένων προς εκμάθηση, υπάρχουν διάφορες τεχνικές που αναφέρονται στη βιβλιογραφία και μπορούν να εφαρμοστούν. Παραδοσιακές τεχνικές για την κωδικοποίηση τροχιών βασίζονται στη χρήση τμηματικά πολυωνυμικών καμπυλών (spline decompostion) αφού εξαχθεί πρώτα η μέση (average) τροχιά από τα καταγεγραμμένα δεδομένα [8], [9]. Παρόλο που αυτή η μέθοδος είναι χρήσιμη στην αποσύνθεση και τη γενίκευση της κίνησης δοθέντος ενός σετ τροχιών, βασίζεται σε ευριστικές μεθόδους για την κατάτμηση και ευθυγράμμιση των τροχιών, ενώ δεν προσφέρεται ιδιαίτερα για την εκτίμηση μη γραμμικών τροχιών. Στο [10] παρουσιάζεται ένας αλγόριθμος μεγιστοποίησης πιθανοφάνειας (Expectation Maximization - EM) που κάνει χρήση ενός φίλτρου Kalman για να ακολουθήσει μια επιθυμητή τροχιά. Εφαρμόζεται Δυναμικός Προγραμματισμός (Dynamic Programming) για την εύρεση της επιθυμητής τροχιάς και χρονική ευθυγράμμιση μεταξύ των τροχιών που έχουν καταγραφεί. Επίσης, γίνεται εκμάθηση ενός τοπικού δυναμικού μοντέλου του ρομπότ κατά μήκος κάθε επιθυμητής τροχιάς. Αν και με τον αλγόριθμο αυτό επιτυγχάνεται η εκμάθηση πολύπλοκων τροχιών, είναι εξαρτώμενος από τον χρόνο και επομένως ευαίσθητος σε χρονικές και χωρικές διαταραχές (για παράδειγμα καθυστέρηση στην εκτέλεση της κίνησης ή απότομη μεταβολή της θέσης του στόχου ή του ρομπότ). Στο [15] μια βάση δεδομένων ανθρώπινων κινήσεων αξιοποιείται για τη σύνθεση κινήσεων ενός ανθρωπομορφικού ρομπότ που λαμβάνει αντικείμενα από έναν άνθρωπο. Γίνεται χρήση ενός δυαδικού δέντρου αναζήτησης για την οργάνωση της βάσης δεδομένων, ώστε η αναζήτηση σε αυτή να γίνεται αποτελεσματικά, και εφαρμόζουν μια τεχνική κινούμενου παραθύρου για να καθορίσουν την κίνηση του ρομπότ με βάση την τρέχουσα στάση του ανθρώπου που δίνει το αντικείμενο. Σε αυτή τη μέθοδο διαδραματίζει καθοριστικό ρόλο η πληρότητα της βάσης δεδομένων, καθώς δεν παρέχεται στο ρομπότ κάποιος μηχανισμός ώστε να διαχειριστεί καινούριες κινήσεις, που προηγουμένως δεν έχει δει. Δημοφιλής προσέγγιση, όπου γίνεται χρήση μη γραμμικών δυναμικών συστημάτων για την μοντελοποίηση ανθρώπινων κινήσεων, αποτελούν οι «Θεμελιώδεις Δυναμικές Κινήσεις» (Dynamic Movement Primitives - DMP) [25]-[27], που μοντελοποιούν την κίνηση κάνοντας χρήση ενός δευτεροβάθμιου γραμμικού δυναμικού συστήματος (π.χ. σύστημα αποσβεστήρα-ελατηρίου) γνωστό ως ελκυστήρας στόχου (goal attractor), που συνδυάζεται με έναν μη γραμμικό όρο, το ελκυστήρα διαμόρφωσης (shape attractor). Ο ελκυστήρας 2

13 διαμόρφωσης ενθυλακώνει τα δυναμικά γνωρίσματα της κίνησης, ενώ ο ελκυστήρας στόχου κατευθύνει την κίνηση προς την τελική θέση-στόχο. Επίσης, εισάγεται και μια φασική μεταβλητή (phase variable) που σταθμίζει τη βαρύτητα του κάθε ελκυστήρα. Στην αρχή της κίνησης, ο ελκυστήρας διαμόρφωσης παίζει τον καθοριστικό ρόλο ενώ καθώς εξελίσσεται χρονικά η κίνηση, ο ελκυστήρας στόχου γίνεται κυρίαρχος. Αυτό συνεπάγεται άμεσα ότι το σύστημα είναι χρονικά εξαρτημένο και άρα επιρρεπές σε χρονικές διαταραχές. Επίσης, τα DMP μαθαίνουν ένα μοντέλο από μια μόνο τροχιά σε αντίθεση με τα Δυναμικά Συστήματα με GMM που μαθαίνουν μια πολυμεταβλητή συνάρτηση από έναν αριθμό τροχιών. Τέλος, τα Δυναμικά Συστήματα με «Μίξη Γκαουσιανών Μοντέλων» (Gaussian Mixture Models - GMM) αποτελούν μια επίσης διαδεδομένη τα τελευταία χρόνια προσέγγιση για την μοντελοποίηση της ανθρώπινης κίνησης, η οποία είναι εξίσου ανταγωνιστική με τα DMPs. Η ιδέα πως οι κινήσεις των βιολογικών συστημάτων διέπονται από δυναμικά συστήματα έχει αποτελέσει ένα συνεχώς ανακύπτων θέμα συζήτησης στη βιολογία και στην επιστήμη της ανθρώπινης κίνησης. Τα Δυναμικά Συστήματα με GMM έχουν αποδειχθεί ένα ισχυρό εργαλείο για την μοντελοποίηση της ανθρώπινης κίνησης και έχουν εφαρμοστεί με επιτυχία στον τομέα της ρομποτικής, [17], [14], [18]. Υπάρχουσες προσεγγίσεις κάνουν χρήση της «Γκαουσιανής Διαδικασίας Παλινδρόμησης» (Gaussian Process Regression - GPR) [11], της «Παλινδρόμησης με τοπική σταθμισμένη προβολή» (Locally Weighted Projection Regression - LWPR) [12], ή της «Παλινδρόμησης με Γκαουσιανή Μίξη» (Gaussian Mixture Regression - GMR). Βέβαια, η ευστάθεια των Δυναμικών Συστημάτων εκ κατασκευής δεν είναι δεδομένη και πρέπει να επιβληθούν οι απαραίτητες συνθήκες κατά την εκμάθηση ενός Δυναμικού Συστήματος ώστε αυτό να είναι ασυμπτωτικά ευσταθές στο στόχο και να μην αποκλίνει. Έχουν αναφερθεί στη βιβλιογραφία διάφορες τεχνικές για την αντιμετώπιση του ζητήματος αυτού. Στο [14] αναπτύσσεται ένας υβριδικός ελεγκτής αποτελούμενος από ένα ΔΣ (χρησιμοποιώντας GMR) που λειτουργεί στο χώρο του άκρου του ρομποτικού βραχίονα, και ένα σύστημα αποσβεστήρα-ελατηρίου που λειτουργεί στον χώρο των αρθρώσεων και χρησιμοποιείται ώστε να φιλτράρει το ΔΣ. Η τεχνική αυτή παρουσιάζει σημαντικές ομοιότητες με τα DMP. Μια χρονική μεταβλητή χρησιμοποιείται και εδώ ώστε να αποσβέσει σταδιακά την επίδραση του ΔΣ. Η ύπαρξη όμως αυτής της χρονικής μεταβλητής καθιστά το σύστημα μη-αυτόνομο και επομένως ευαίσθητο σε χρονικές διαταραχές. Στο [22] παρουσιάζεται ένα Δυναμικό Σύστημα βασισμένο σε Αλυσίδες Markov (Hidden Markov Model - HMM), το οποίο χειρίζεται επιτυχώς χρονικές διαταραχές και περιοδικές κινήσεις. Παρ αυτά, η ασυμπτωτική ευστάθεια του συστήματος δεν εξασφαλίζεται. Στο [21] και [22] εφαρμόζονται επαναληπτικές μέθοδοι για την εξασφάλιση της ασυμπτωτικής ευστάθειας. Και στις δυο περιπτώσεις όμως, ο έλεγχος ευστάθειας πραγματοποιείται αριθμητικά και έχει το σοβαρό μειονέκτημα ότι η διαδικασία εκπαίδευσης είναι ιδιαίτερα δαπανηρή χρονικά. Μια ιδιαίτερα αξιόλογη προσέγγιση παρουσιάζεται στο [17] όπου εισάγεται η ιδέα του Δυναμικού Συστήματος SEDS (Stable Estimator of Dynamical Systems), που συνιστά και το υπόβαθρο της δικιάς μας προσέγγισης. Στην περίπτωση του SEDS χρησιμοποιείται επίσης ένα ΔΣ για την μοντελοποίηση των δυναμικών χαρακτηριστικών της κίνησης, αλλά στην περίπτωση αυτή διατυπώνονται και επιβάλλονται οι συνθήκες εκείνες που εξασφαλίζουν τη γενική ασυμπτωτική ευστάθεια του συστήματος. Βέβαια, το ΔΣ που παρουσιάζεται στο [17] 3

14 χρησιμοποιεί είτε μόνο την καρτεσιανή θέση του άκρου του βραχίονα (δεν λαμβάνεται υπόψη ο προσανατολισμός), είτε τις γωνίες των αρθρώσεων του ρομποτικού βραχίονα. Στη δεύτερη περίπτωση, το ΔΣ που εκπαιδεύεται εξατομικεύεται αποκλειστικά για το μοντέλο του ρομποτικού βραχίονα για τον οποίο έχει εκπαιδευτεί και δεν μπορεί να εφαρμοστεί σε έναν βραχίονα διαφορετικού τύπου χωρίς να επαναληφθεί η διαδικασία εκπαίδευσης ή να γίνει επαναστόχευση (retargeting). Στο [22] γίνεται μια προσπάθεια να μοντελοποιηθεί τόσο η θέση όσο και ο προσανατολισμός του άκρου ενός ρομποτικού βραχίονα. Αυτό όμως γίνεται με τον ορισμό δυο αποσυζευγμένων ΔΣ, όπου το ένα χειρίζεται αποκλειστικά την καρτεσιανή θέση του άκρου του βραχίονα και το άλλο τον προσανατολισμό. Αυτό έχει ως συνέπεια, καθώς πραγματοποιείται η κίνηση του άκρου του βραχίονα, η εξέλιξη της καρτεσιανής θέσης και του προσανατολισμού να γίνονται ανεξάρτητα η μια από την άλλη, κάτι που έρχεται σε αντίφαση με τη συσχέτιση και αλληλεπίδραση που παρουσιάζουν στην ανθρώπινη κίνηση όπως προκύπτει από πειραματικές μελέτες. Στην παρούσα εργασία ενσωματώνουμε μέσα στο ίδιο δυναμικό σύστημα την καρτεσιανή θέση και τον προσανατολισμό του άκρου του βραχίονα, ενώ παράλληλα εξασφαλίζουμε την ολική ασυμπτωτική ευστάθεια του συστήματος εφαρμόζοντας μια τροποποιημένη εκδοχή του SEDS. Με τον τρόπο αυτό επιτυγχάνουμε να διατηρήσουμε τη συσχέτιση μεταξύ των σημάτων θέσης και προσανατολισμού, ενώ παράλληλα δουλεύοντας στον χώρο του άκρου του βραχίονα, το σχήμα ελέγχου που προτείνουμε καθίσταται ανεξάρτητο του μοντέλου του ρομποτικού βραχίονα. Τέλος, όπως προαναφέραμε, επιβεβαιώνοντας πειραματικά και αξιοποιώντας στην υλοποίηση του σχήματος ελέγχου την ύπαρξη κατοπτρισμού στην ανθρώπινη κίνηση κατά την παράδοση ενός αντικειμένου ως προς το αριστερό και δεξί ημισφαίριο του πλαισίου της τελικής θέσης (στόχου), καταφέρνουμε να ελαττώσουμε σημαντικά τα δεδομένα που χρειάζονται στη φάση της εκπαίδευσης, χωρίς όμως αυτό να έχει κάποια αρνητική επίπτωση στην ακρίβεια του τελικού μοντέλου που μαθαίνουμε. Προς αποφυγή παρανοήσεων, αξίζει να σημειωθεί ότι αν και τόσο στα DMPs όσο και στα ΔΣ με GMM γίνεται χρήση μη γραμμικών δυναμικών συστημάτων, στη βιβλιογραφία έχει επικρατήσει να αναφέρονται τα πρώτα ως «DMPs» ενώ τα ΔΣ με GMM αποκαλούνται απλά «Δυναμικά Συστήματα (ΔΣ)». Για λόγους συμβατότητας με τη σχετική βιβλιογραφία, η παραδοχή αυτή υιοθετείται και στην παρούσα διπλωματική εργασία. 1.3 Οργάνωση Διπλωματικής Εργασίας Το υπόλοιπο αυτής της διπλωματικής εργασίας χωρίζεται σε 4 ενότητες που καταλαμβάνουν τα Κεφάλαια 2-5, αντίστοιχα. Συγκεκριμένα: Στο Κεφάλαιο 2 παραθέτουμε την αυστηρή μαθηματική περιγραφή ενός ΔΣ με GMM, παρουσιάζουμε το ΔΣ SEDS, που αποτελεί και τον πυρήνα του μοντέλου που προτείνουμε, διατυπώνουμε τις τροποποιήσεις που εισάγουμε στο μοντέλο SEDS και παραθέτουμε την ανάλυση ευστάθειας του συστήματος και την διαδικασία εκπαίδευσής του. 4

15 Στο Κεφάλαιο 3 παραθέτουμε τις μαθηματικές σχέσεις που διέπουν το φαινόμενο του κατοπτρισμού στον τρισδιάστατο χώρο και παρουσιάζουμε τα πειράματα που διεξήγαμε για την επικύρωση της υπόθεσης ύπαρξης κατοπτρισμού στην ανθρώπινη κίνηση κατά την παράδοση ενός αντικειμένου. Στο Κεφάλαιο 4 εφαρμόζουμε και εξετάζουμε τις επιδόσεις ενός ΔΣ με GMM σε 2Δ και 3Δ δεδομένα. Τα 2Δ δεδομένα δημιουργήθηκαν τεχνητά, ενώ τα 3Δ δεδομένα προήλθαν από μετρήσεις που έγιναν σε πειράματα παράδοσης αντικειμένων μεταξύ ανθρώπων. Τέλος, παρουσιάζουμε μια ολοκληρωμένη προσομοίωση ενός πειράματος παράδοσης αντικειμένου στο V-REP, δηλαδή προσομοιώνεται τόσο η διαδικασία προσέγγισης του αντικειμένου στον στόχο-παραλήπτη του (approaching phase) όσο και η φάση μεταφοράς του βάρους του αντικειμένου από τον δότη στον παραλήπτη (load transfer phase). Τα τελικά συμπεράσματα της διπλωματικής εργασίας και κατευθύνσεις για περαιτέρω έρευνα παρουσιάζονται στο Κεφάλαιο 5. 5

16 Κεφάλαιο 2 Μαθηματική Μοντελοποίηση ενός Δυναμικού Συστήματος (ΔΣ) με «Μίξη Γκαουσιανών Μοντέλων» (GMM) Στο κεφάλαιο αυτό δίνεται η αναλυτική μαθηματική περιγραφή ενός Δυναμικού Συστήματος με «Μίξη Γκαουσιανών Μοντέλων» (GMM). Παρουσιάζουμε το ΔΣ SEDS καθώς και την τροποποιημένη εκδοχή του που προτείνουμε. Επίσης παρουσιάζεται η ανάλυση ευστάθειας του SEDS καθώς και ο αλγόριθμος για την εκπαίδευση του συστήματος. 2.1 Γενική μορφή ενός Δυναμικού Συστήματος (ΔΣ) με «Μίξη Γκαουσιανών Μοντέλων» (GMM) Θεωρούμε τη μεταβλητή κατάστασης ξ R d, η οποία θα μπορούσε να οριστεί με διάφορους τρόπους. Για παράδειγμα, στο πλαίσιο της εφαρμογής ενός συστήματος ρομποτικού βραχίονα η μεταβλητή ξ θα μπορούσε να είναι η καρτεσιανή θέση του άκρου του βραχίονα ή οι γωνίες των αρθρώσεών του. Έστω επίσης ότι δίνονται N τροχιές T n,n {ξ t,n, ξ t,n } t=0,n=1 που έχουν παραχθεί από ένα μοντέλο κίνησης που περιγράφεται από μία αυτόνομη κανονική διαφορική εξίσωση(ordinary Differential Equation - ODE) πρώτης τάξης: ξ = f(ξ) + ε (1) όπου f: R d R d είναι μια μη γραμμική συνεχής και συνεχώς παραγωγίσιμη συνάρτηση με ένα μοναδικό σημείο ισορροπίας ξ = f(ξ ) = 0, και ο όρος ε αναπαριστά ένα γκαουσιανό θόρυβο μηδενικής μέσης τιμής που ενσωματώνει ανακρίβειες και σφάλματα μέτρησης στις T n,n τροχιές {ξ t,n, ξ t,n } t=0,n=1. Ορίζουμε ως f, τον εκτίμηση της f. Η συνάρτηση f κατασκευάζεται χρησιμοποιώντας «Μίξη Γκαουσιανών Μοντέλων» (GMM). Συγκεκριμένα, η συνάρτηση f αποτελείται από K γκαουσιανές συναρτήσεις με παραμέτρους θ = {θ 1 θ Κ }, όπου θ k = {π k, μ k, Σ k } για k = 1 K. Με π k συμβολίζεται η εκ των προτέρων πιθανότητα (prior probability) εμφάνισης της γκαουσιανής k, ενώ με μ k = ( μ ξ k k μ ) και Σk = ξ ( Σ ξ k k Σ ξξ k Σ ξ ξ k Σ ξ γκαουσιανής. ) αναπαρίστανται η μέση τιμή και ο πίνακας μεταβλητότητας της k -οστής Κάθε σημείο [ξ t,n, ξ t,n ] συνδέεται με τη συνάρτηση πυκνότητας πιθανότητας p(ξ t,n, ξ t,n ) που δίνεται από την ακόλουθη σχέση: K p(ξ t,n, ξ t,n ) = π k P k (ξ t,n, ξ t,n ; μ k, Σ k ) k=1 n 1 N, t 0 T n Αντίστοιχα η συνάρτηση πυκνότητας πιθανότητας P k (ξ t,n, ξ t,n ; μ k, Σ k ) δίνεται από: 6

17 P k (ξ t,n, ξ t,n ; μ k, Σ k 1 ) = (2π) d Σ k ξ e 1 2 ([ξt,n,ξ t,n ] μ k ) T (Σ k ) 1 ([ξ t,n,ξ t,n ] μ k ) (2) Προκειμένου να παραχθεί μια καινούρια τροχιά από το μίγμα αυτών των γκαουσιανών συναρτήσεων, μπορούμε να δειγματοληπτήσουμε από τη συνάρτηση πυκνότητας πιθανότητας (2) και να υπολογίσουμε τη μέση τιμή E{p(ξ ξ)} = ξ = f (ξ) [23]. Εκτελώντας τη διαδικασία αυτή λαμβάνουμε ένα σταθμισμένο άθροισμα δυναμικών συστημάτων: K ξ = f (ξ; θ) = h k (ξ)(a k ξ + b k ) k=1 (3) όπου A k = Σ k ξ (Σ k ξ ξ ) 1 b k = μ k ξ A k k μ ξ h k (ξ) = πk P(ξ; μ k ξ, Σ k ξ ) K π i P(ξ; μ i ξ, Σ i ξ ) i=1 (4) Επομένως, το ΔΣ με GMM ορίζεται από την εξίσωση (3). Αξίζει επίσης να σημειωθεί ότι ο όρος h k (ξ) αποτελεί ένα μέτρο της σχετικής επίδρασης της γκαουσιανής k τοπικά, και λαμβάνει τιμές στο εύρος (0,1]. Για να γίνει καλύτερα κατανοητή η εξίσωση (3) και η επίδραση των παραμέτρων που ορίζονται στις εξισώσεις (4), παραθέτουμε ένα παράδειγμα με ένα μονοδιάστατο μοντέλο (ξ R) στην Εικόνα 1. Το συγκεκριμένο δυναμικό σύστημα αποτελείται από τρεις γκαουσιανές συναρτήσεις. Κάθε όρος A k ξ + b k αντιπροσωπεύει μια ευθεία γραμμή που διέρχεται από το κέντρο μ k με κλίση A k. Οι μη γραμμικοί όροι βαρύτητας h k (ξ) δίνουν ένα μέτρο της σχετικής επίδρασης κάθε γκαουσιανής συνάρτησης τοπικά και εξαιτίας των βαρών αυτών, η συνάρτηση f (ξ) είναι αρκετά ευέλικτη και ικανή να μοντελοποιήσει ένα μεγάλο εύρος σύνθετων κινήσεων με κατάλληλη επιλογή του αριθμού των γκαουσιανών και των παραμέτρων τους. 7

18 Εικόνα 1 - Παράδειγμα ενός μονοδιάστατου Δυναμικού Συστήματος 2.2 Το Δυναμικό Σύστημα SEDS Το Δυναμικό Σύστημα SEDS, όπως και κάθε άλλο ΔΣ που αποτελείται από μίξη γκαουσιανών συναρτήσεων, δίνεται από την εξίσωση (3). Η διαφορά με άλλα ΔΣ αυτού του τύπου έγκειται στους περιορισμούς που επιβάλλονται όσον αφορά τις παραμέτρους της εξίσωσης (4) ώστε να καταστεί το σύστημα γενικά ασυμπτωτικά ευσταθές. Συγκεκριμένα, για το SEDS διατυπώνεται το ακόλουθο θεώρημα: Θεώρημα 1: Έστω ένα Δυναμικό Σύστημα που ορίζεται από την εξίσωση (3). Τότε το σύστημα αυτό είναι γενικά ασυμπτωτικά ευσταθές στο σημείο ισορροπίας ξ R d (ξ = f (ξ ; θ) = 0) αν ισχύουν οι ακόλουθες συνθήκες k = 1 K: b k = A k ξ (5) B k = A k + (A k ) T < 0 (6) όπου (A k ) T είναι ο αντίστροφος πίνακας του A k και το σύμβολο < 0 δηλώνει ότι ένας πίνακας είναι αρνητικά ορισμένος. Απόδειξη: Ορίζουμε για το σύστημα που περιγράφεται από την εξίσωση (3) την υποψήφια συνάρτηση Lyapunov: W(ξ) = 1 2 (ξ ξ ) T (ξ ξ ), ξ R d 8

19 Ως τετραγωνική μορφή η συνάρτηση W(ξ) είναι προφανώς θετικά ορισμένη και μη ακτινικά φραγμένη. Λαμβάνοντας την χρονική παράγωγο της W(ξ) έχουμε: W (ξ) = (ξ ξ ) T ξ = (ξ ξ ) T f (ξ) Αντικαθιστώντας την f (ξ) από την (3) προκύπτει: K W (ξ) = (ξ ξ ) T h k (ξ)(a k ξ + b k ) k=1 K W (ξ) = (ξ ξ ) T h k (ξ)(a k (ξ ξ ) + A k ξ + b k ) k=1 Λόγω της (5) έχουμε: K W (ξ) = h k (ξ)(ξ ξ ) T A k (ξ ξ ) k=1 Για να είναι αρνητικά ορισμένη η W (ξ) θα αρκούσε ο πίνακας A k να είναι αρνητικά ορισμένος. Όμως ο πίνακας A k δεν είναι απαραίτητα συμμετρικός. Επειδή όμως ισχύει η σχέση x T Ax = x T ( A+AT A+AT ) x, όπου τώρα ο είναι συμμετρικός, μπορούμε να γράψουμε 2 2 την W (ξ) ως εξής: K W (ξ) = h k (ξ)(ξ ξ ) T Ak + (A k ) T (ξ ξ ) 2 k=1 K W (ξ) = 1 2 hk (ξ)(ξ ξ ) T B k (ξ ξ ) < 0, ξ R d k=1 λόγω της (6) και επειδή h k (ξ) (0,1] k = 1 K Συνεπώς το σύστημα που ορίζεται από την εξίσωση (3) θα είναι γενικά ασυμπτωτικά ευσταθές στο σημείο ισορροπίας ξ. 2.3 Αλγόριθμος εκπαίδευσης του Δυναμικού Συστήματος SEDS Για την εκπαίδευση του Δυναμικού Συστήματος της εξίσωσης (3) υπολογίζουμε τις παραμέτρους θ του μοντέλου έτσι ώστε να ελαχιστοποιηθεί η ακόλουθη αντικειμενική συνάρτηση: N min J(θ) = 1 θ 2T ξ t,n ξ t,n 2 T n n=1 t=0 (7) 9

20 υπό τους ακόλουθους περιορισμούς: (a) b k = A k ξ (b) B k = A k + (A k ) T < 0 (c) Σ k ξ > 0 (d) 0 < π k 1 K (e) π k = 1 { k=1 (8) N όπου T = n=1 T n είναι ο συνολικός αριθμός των δεδομένων εκπαίδευσης. Οι πρώτοι δυο περιορισμοί επιβάλλονται για να διασφαλίσουν την ασυμπτωτική ευστάθεια του συστήματος όπως είδαμε στην ανάλυση ευστάθειας στην Παράγραφο 2.2. Οι τελευταίες τρεις συνθήκες προκύπτουν από τη φύση των παραμέτρων των γκαουσιανών συναρτήσεων. Το παραπάνω πρόβλημα ελαχιστοποίησης μπορεί να διατυπωθεί ως ένα πρόβλημα μηγραμμικού προγραμματισμού (Non-Linear Programming problem - NLP) [14] και μπορεί να επιλυθεί εφαρμόζοντες γνωστές τεχνικές ελαχιστοποίησης παρουσία περιορισμών. Για την επίλυση του αξιοποιήσαμε τη συνάρτηση fmincon του matlab. Προκειμένου να επιτευχθεί αποτελεσματικότερη ελαχιστοποίηση υπολογίστηκαν αναλυτικά οι μερικές παράγωγοι της αντικειμενικής συνάρτησης (7) και των περιορισμών (8) ως προς τις παραμέτρους {π k, μ k, Σ k } k 1 K και δόθηκαν ως είσοδοι στη συνάρτηση fmincon. Για τον αναλυτικό υπολογισμό τους ο αναγνώστης μπορεί να ανατρέξει στο Παράρτημα B. Επίσης, υπολογίστηκε μια αρχική εκτίμηση των παραμέτρων του ΔΣ η οποία δόθηκε ως αρχική τιμή στον αλγόριθμο ελαχιστοποίησης fmincon. Για τον υπολογισμό αυτής της αρχικής εκτίμησης εφαρμόστηκε σε πρώτη φάση ο αλγόριθμος K-means++ [30] και στη συνέχεια ο αλγόριθμος μεγιστοποίησης πιθανοφάνειας (Expectation Maximization - EM) [13] για την περεταίρω βελτιστοποίηση των παραμέτρων των γκαουσιανών συναρτήσεων. Ο λόγος που λαμβάνεται τόσο μεγάλη μέριμνα για την αρχική τιμή των παραμέτρων του συστήματος είναι διότι το NLP πρόβλημα που ορίζεται από τις (7) και (8) είναι μη-κυρτό ως προς τις παραμέτρους των γκαουσιανών και επομένως η τελική λύση που θα βρεθεί θα αποτελεί ένα τοπικό ελάχιστο. Συνεπώς η τιμή εκκίνησης των παραμέτρων προς ελαχιστοποίηση παίζει σημαντικό ρόλο. Τέλος, για την επιλογή του αριθμού των γκαουσιανών συναρτήσεων που θα χρησιμοποιηθούν στο ΔΣ, χρησιμοποιήσαμε το Bayesian Information Criterion (BIC), το οποίο καθορίζει μια μετρική που συνυπολογίζει την ακρίβεια του εκπαιδευμένου μοντέλου, σε σχέση με την αντικειμενική συνάρτηση που έχει οριστεί, και τον συνολικό αριθμό των παραμέτρων του μοντέλου που βελτιστοποιούνται N p και δίνεται από τον ακόλουθο τύπο: 10

21 BIC = TJ(θ) + N p 2 log(t) (9) Όπως φαίνεται από τον παραπάνω τύπο, αυξάνοντας τις παραμέτρους N p του μοντέλου, μπορεί να επιτευχθεί δυνητικά μικρότερη τιμή στην αντικειμενική συνάρτηση J(θ), όμως αυξάνεται και ο όρος N p log(t). Οπότε επιλέγεται ο αριθμός των γκαουσιανών που δίνει 2 μικρότερο δείκτη BIC, έτσι ώστε να επιτευχθεί μια ικανοποιητική ακρίβεια από το μοντέλο, χωρίς όμως να εμφανίζεται το φαινόμενο της υπερεκπαίδευσης (overtraining) λόγω του μεγάλου αριθμού παραμέτρων N p. 2.4 Το τροποποιημένο Δυναμικό Σύστημα SEDS Όπως περιγράψαμε στην Παράγραφο 2.2, το δυναμικό σύστημα SEDS συσχετίζει τη μεταβλητή κατάστασης ξ με την παράγωγός της, ξ. Η μοντελοποίηση αυτή όμως είναι κάπως περιοριστική. Όταν για παράδειγμα το ΔΣ χρησιμοποιείται σαν μοντέλο αναφοράς του οποίου η έξοδος πρέπει να ακολουθείται στα πλαίσια ελέγχου ενός ρομποτικού συστήματος, συνήθως απαιτεί είτε η μεταφορά του ξ από το χώρο του άκρου στον χώρο των αρθρώσεων του βραχίονα εφαρμόζοντας το αντίστροφο κινηματικό (inverse kinematics), είτε η εκπαίδευση του ΔΣ στο χώρο των αρθρώσεων, με αποτέλεσμα το ΔΣ να μπορεί να εφαρμοστεί αποκλειστικά στο ρομποτικό βραχίονα για τον οποίο έχει εκπαιδευτεί και επομένως για να εφαρμοστεί σε κάποιον άλλο βραχίονα θα πρέπει είτε να επαναληφθεί η συλλογή μετρήσεων και η διαδικασία εκπαίδευσης είτε να γίνει κάποια επαναστόχευση (retargeting). Αντιθέτως, γνωρίζοντας κάθε χρονική στιγμή την επιθυμητή γενικευμένη ταχύτητα του άκρου του βραχίονα, είναι εφικτό εφαρμόζοντας το αντίστροφο κινηματικό πρώτης τάξης (first order inverse kinematics) να υπολογιστεί και η επιθυμητή θέση των αρθρώσεων και άρα το ΔΣ να είναι πιο ευέλικτο, εφόσον μπορεί να εφαρμοστεί σε οποιονδήποτε ρομποτικό βραχίονα. Επίσης, η κατάλληλη επιλογή του ξ ώστε να περιλαμβάνει τόσο τη θέση όσο και τον προσανατολισμό της επιθυμητής κίνησης είναι βαρύνουσας σημασίας. Και αυτό διότι σε περιπτώσεις όπως η κίνηση του ανθρώπινου καρπού, η θέση και ο προσανατολισμός του καρπού σε κάθε χρονική στιγμή συναρτώνται άμεσα μεταξύ τους. Γι αυτό είναι σημαντικό να μοντελοποιήσει κανείς το ΔΣ με τέτοιον τρόπο ώστε να επιτυγχάνεται ο ταυτόχρονος έλεγχος θέσης και προσανατολισμού. Τα δυναμικά συστήματα που έχουν αναφερθεί, είτε πρόκειται για DMP είτε για ΔΣ με GMM, παρέχουν μια γενική μαθηματική μοντελοποίηση για την εκμάθηση μιας πολυμεταβλητής συνάρτησης. Παρά τη γενικότητα στην εφαρμογή που παρέχουν αυτά τα δυναμικά συστήματα και την ελευθερία στην επιλογή των παραμέτρων ξ, η επιλογή κατάλληλης παραμετροποίησης για τον προσανατολισμό και ενσωμάτωσής του στο δυναμικό σύστημα δεν είναι τόσο απλή υπόθεση όπως στην περίπτωση της καρτεσιανής θέσης. Όπως αναφέραμε, στο [17] ο καθορισμός του προσανατολισμού γίνεται έμμεσα μέσω των γωνιών των αρθρώσεων του ρομπότ, στο [22] θέση και προσανατολισμός εντάσσονται σε δυο αποσυζευμένα ΔΣ, ενώ στο [25], όπου 11

22 εφαρμόζονται DMPs, στο δυναμικό σύστημα χρησιμοποιείται μονάχα η καρτεσιανή θέση, ενώ για τον προσδιορισμό του προσανατολισμού γίνεται γραμμική παρεμβολή μεταξύ του αρχικού και του επιθυμητού τελικού προσανατολισμού. Η δυσκολία στην ενσωμάτωση του προσανατολισμού σε ένα δυναμικό σύστημα έγκειται στο ότι ανάλογα με την επιλογή παραμετροποίησης του προσανατολισμού μπορεί να υπάρχουν εξαρτήσεις μεταξύ των παραμέτρων του προσανατολισμού που δεν λαμβάνονται υπόψη από το δυναμικό σύστημα και πρέπει να επιβληθούν εκ των υστέρων με κάποιον τρόπο (ειδικά όταν ο προσανατολισμός εκφράζεται με πλεονάζουσες παραμέτρους όπως στον πίνακα στροφής όπου έχουμε 9 στοιχεία), ή σε περίπτωση που δεν έχουμε πλεονάζουσες παραμέτρους (πχ γωνίες Euler) τότε εισάγονται συχνά ασυνέχειες που επηρεάζουν την ομαλότητα την παραγόμενης κίνησης. Το πρόβλημα αυτό εντείνεται περαιτέρω όταν κάποιος προσπαθεί επιπλέον να επιβάλει τη γενική ασυμπτωτική ευστάθεια του ΔΣ. Προς αυτή την κατεύθυνση, δοθέντος της τρέχουσας Καρτεσιανής θέσης p = [x y z] T και προσανατολισμού του άκρου του βραχίονα Q = [η ε T ] T (εκφρασμένη ως quaternion, με η R και ε R 3 ), καθώς και της επιθυμητής θέσης p d = [x d y d z d ] T και προσανατολισμού Q d = [η d ε T d ] T του στόχου (ο οποίος θεωρούμε ότι παραμένει σταθερός), επιλέγουμε την ακόλουθη μοντελοποίηση: όπου V = f(ξ) (10) ξ = [p T e o T ] T, ξ R 6 p = (p p d ), p R 3 το σφάλμα θέσης e o = η d ε ηε d ε ε d, το σφάλμα προσανατολισμού με e o R 3 και e o = 0 αν και μόνο αν Q = Q d (βλ. εξίσωση (37) ). V = [v T ω T ] T, η γενικευμένη ταχύτητα του άκρου του βραχίονα v = [v x v y v z] T = [x y z] T, η μεταφορική ταχύτητα του άκρου του βραχίονα ω = [ω x ω y ω z] T, η γωνιακή ταχύτητα του άκρου του βραχίονα Αξίζει να σημειωθεί ότι θα μπορούσε κανείς να επιλέξει και εναλλακτικές παραμετροποιήσεις του προσανατολισμού, όπως είναι για παράδειγμα οι γωνίες Euler και η αναπαράσταση άξονα-γωνίας. Βέβαια, οι παραμετροποιήσεις αυτές παρουσιάζουν ασυνέχειες, ιδιάζοντα σημεία και δεν έχουν «ένα προς ένα» αντιστοίχιση με τον αντίστοιχο πίνακα προσανατολισμού. Συγκεκριμένα, οι γωνίες Euler μπορεί να παρουσιάσουν το πρόβλημα που είναι γνωστό στη βιβλιογραφία ως «Gimbal lock» όπου χάνεται ένας από τους τρεις βαθμούς ελευθερίας. Στην αναπαράσταση άξονα-γωνίας, ο ίδιος πίνακας προσανατολισμού R SO(3) μπορεί να αναπαρασταθεί από μια στροφή γύρω από τον άξονα r R 3 κατά γωνία θ R, ή ισοδύναμα από στροφή περί του r κατά γωνιά θ. Επίσης, οι παράμετροι των δυο προαναφερθέντων αναπαραστάσεων του προσανατολισμού δεν παρουσιάζουν ομαλές μεταβολές ως προς τον χρόνο, γεγονός που επηρεάζει σημαντικά τη διαδικασία εκπαίδευσης και την ακρίβεια του τελικού μοντέλου. Από την άλλη, τα μοναδιαία quaternions παρέχουν μια μη-ιδιάζουσα «ένα προς ένα» 12

23 αντιστοίχιση μεταξύ των παραμέτρων τους και του αντίστοιχου πίνακα στροφής [28] (για περισσότερα σχετικά με τα μοναδιαία quaternions ο αναγνώστης μπορεί να αναφερθεί στο Παράρτημα A). Επιπλέον, οι παράμετροι τους παρουσιάζουν συνεχή και ομαλή μεταβολή ως προς τον χρόνο. Τα μοναδιαία quaternions όμως αποτελούνται από 4 στοιχεία και άρα σε αυτή την περίπτωση το διάνυσμα ξ θα ανήκε στον R 7. Τότε δεν θα μπορούσε κάποιος να επιλέξει ως έξοδο την γενικευμένη ταχύτητα του άκρου V R 6, διότι στο SEDS ο αριθμός των εισόδων και των εξόδων πρέπει να είναι ίδιος. Αν πάλι κάποιος διατηρούσε την αρχική μοντελοποίηση του SEDS σύμφωνα με την (3) και επέλεγε ως ξ = [p T Q T ] T, θα μπορούσε πάλι να υπολογίσει έπειτα την γενικευμένη ταχύτητα από την παράγωγο της Καρτεσιανής θέσης p και την παράγωγο του μοναδιαίου quaternion Q, σύμφωνα με τον τύπο ω = 2J Q T Q, που προκύπτει εύκολα από τις σχέσεις (41) και (42). Το πρόβλημα σε αυτή την περίπτωση θα ήταν ότι στο SEDS δεν μπορεί να εξασφαλιστεί ότι η έξοδος ξ = [p T Q T ] T θα ικανοποιεί τη σχέση (33). Άρα θα έπρεπε κάθε φορά για τον υπολογισμό της γενικευμένης ταχύτητας να «διορθώνεται» η έξοδος του SEDS, γεγονός που αντιφάσκει με την γενικότερη ιδέα της εκπαίδευσης ενός μοντέλου για την αναγνώριση ενός συστήματος. Τα προβλήματα που παραθέσαμε παραπάνω εξαλείφονται υιοθετώντας τη μοντελοποίηση (10). Κατά αντιστοιχία με όσο παρουσιάστηκαν στην Ενότητα 2.1, απλά θέτοντας ξ V, το τροποποιημένο ΔΣ θα δίνεται από τις ακόλουθες σχέσεις: όπου K V = f (ξ; θ) = h k (ξ)(a k ξ + b k ) k=1 A k = Σ k Vξ (Σ k ξ ) 1 b k = μ k V A k k μ ξ h k (ξ) = πk P(ξ; μ k ξ, Σ k ξ ) K π i P(ξ; μ i ξ, Σ i ξ ) i=1 (11) (12) Εφόσον επίσης η μεταβλητή κατάστασης ξ αναπαριστά το σφάλμα θέση και προσανατολισμού, είναι προφανές ότι ξ = Ανάλυση Ευστάθειας του τροποποιημένου ΔΣ SEDS Στην συγκεκριμένη ενότητα θα αποδείξουμε ότι και στην περίπτωση του τροποποιημένου SEDS μπορεί να εξασφαλιστεί η γενική ασυμπτωτική ευστάθεια του συστήματος. Συγκεκριμένα θα αποδείξουμε το ακόλουθο θεώρημα: Θεώρημα 2: Έστω ένα Δυναμικό Σύστημα που ορίζεται από την εξίσωση (11). Τότε το σύστημα αυτό είναι γενικά ασυμπτωτικά ευσταθές στο σημείο ισορροπίας ξ R d (ξ = f (ξ ; θ) = 0) αν ισχύουν οι ακόλουθες συνθήκες k = 1 K: b k = A k ξ = 0 (13) 13

24 B k = A k + (A k ) T < 0 (14) Απόδειξη: Ορίζουμε για το σύστημα που περιγράφεται από την εξίσωση (11) την υποψήφια συνάρτηση Lyapunov: W = 1 2 p Tp + (Q Q d ) T (Q Q d ) Η συνάρτηση W είναι θετικά ορισμένη ως προς τα p και Q. Η W είναι όμως θετικά ορισμένη και ως προς το σφάλμα προσανατολισμού e o. Πράγματι, αξιοποιώντας την (43) ο όρος (Q Q d ) T (Q Q d ) μπορεί να γραφεί ως εξής: (Q Q d ) T (Q Q d ) = (Q Q d ) T J Q J Q T (Q Q d ) + (Q Q d ) T QQ T (Q Q d ) και λόγω της (38) έχουμε: (Q Q d ) T (Q Q d ) = e o T e o + (Q Q d ) T QQ T (Q Q d ) όπου ο πίνακας QQ T είναι θετικά ημιορισμένος ως πίνακας προβολής. Άρα, εφόσον η W είναι θετικά ορισμένη και ως προς e o, θα είναι και θετικά ορισμένη και ως προς ξ. Λαμβάνοντας τη χρονική παράγωγο της W προκύπτει: W = (p p d ) T p + 2(Q Q d ) T Q Εφαρμόζοντας την (41) έχουμε: W = (p p d ) T p + (Q Q d ) T J Q ω Λόγω της (38): W = p Tp + e o T ω = ξ T V = ξ T f (ξ) K W = ξ T h k (ξ)(a k ξ + b k ) k=1 Εφαρμόζοντας την (13) λαμβάνουμε: K W = h k (ξ)ξ T A k ξ = 1 2 hk (ξ)ξ T (A k + (A k ) T ) ξ < 0 k=1 K k=1 λόγω της (14) και επειδή h k (ξ) (0,1] k = 1 K Αφού λοιπόν η W είναι αρνητικά ορισμένη ως προς ξ, συνεπάγεται ότι το ξ θα συγκλίνει στο σημείο ισορροπίας ξ = 0. 14

25 Τέλος, εφόσον και στο τροποποιημένο SEDS, προκειμένου να διασφαλιστεί η ολική ασυμπτωτική ευστάθεια, επιβάλλονται οι ίδιοι περιορισμοί που έχουμε και στον κλασσικό SEDS, ο αλγόριθμος εκπαίδευσης που παρουσιάσαμε στην Παράγραφο 2.3 μπορεί να εφαρμοστεί και σ αυτή την περίπτωση θέτοντας ξ V. 2.6 Συμπεράσματα Η τροποποιημένη εκδοχή του SEDS που παρουσιάσαμε υπερτερεί σημαντικά σε σχέση με τον κλασσικό SEDS, αφού μοντελοποιεί άμεσα στην ίδια μεταβλητή κατάστασης ξ τόσο το σφάλμα θέσης όσο και το σφάλμα προσανατολισμού, ενώ παράλληλα διασφαλίζεται και πάλι η γενική ασυμπτωτική ευστάθεια του συστήματος. Μάλιστα, η χρήση των μοναδιαίων quaternions, για την αναπαράσταση του προσανατολισμού, παρέχει σημαντικά πλεονεκτήματα έναντι άλλων αναπαραστάσεων και έχει αποδειχθεί πιο εύρωστη παραμετροποίηση του προσανατολισμού σε πολλές ρομποτικές εφαρμογές. Τέλος, γίνεται χρήση του ελάχιστου αριθμού εισόδων-εξόδων (έξι και έξι αντίστοιχα) για τον ταυτόχρονο έλεγχο των έξι βαθμών ελευθερίας του άκρου ενός ρομποτικού βραχίονα. 15

26 Κεφάλαιο 3 Μελέτη της ύπαρξης Κατοπτρισμού στην ανθρώπινη κίνηση κατά την παράδοση αντικειμένων μεταξύ ανθρώπων Στο παρόν κεφάλαιο εξετάζεται η ύπαρξη κατοπτρισμού στην κίνηση του ανθρώπινου καρπού κατά την παράδοση ενός αντικειμένου. Αρχικά παρουσιάζονται οι έννοιες των πολικών και ψευδο διανυσμάτων και παρατίθεται το μαθηματικο-θεωρικό υπόβαθρο του κατοπτρισμού διανυσμάτων στον τρισδιάστατο χώρο ως προς κάποιο επίπεδο. Έπειτα παρουσιάζονται τα πειράματα που διεξήγαμε για την διαπίστωση της υπόθεσης της ύπαρξης κατοπτρισμού στην κίνηση του ανθρώπινου καρπού. Τέλος, περιγράφεται η διαδικασία με την οποία ενσωματώνεται η χρήση του κατοπτρισμού σε ένα ΔΣ. 3.1 Πολικά Διανύσματα και Ψευδο-διανύσματα Προτού εισάγουμε τις μαθηματικές σχέσεις για τον κατοπτρισμό διανυσμάτων στον R 3 ως προς κάποιο επίπεδο, θα παρουσιάσουμε τις έννοιες του πολικού διανύσματος (polar vector) και του ψευδο-διανύσματος (pseudovector), καθότι σε κάθε περίπτωση ο τελεστής κατοπτρισμού εφαρμόζεται διαφορετικά. Συγκεκριμένα, παραθέτουμε τους ακόλουθους ορισμούς: πολικό διάνυσμα (polar vector): είναι ένα διάνυσμα που όταν υποβληθεί σε κάποια στροφή, είτε πρόκειται για κανονική ή μη-κανονική στροφή (proper or improper rotation), το μετασχηματισμένο διάνυσμα προκύπτει άμεσα από την εφαρμογή του τελεστή στροφής στο αρχικό διάνυσμα. Δηλαδή, αν A είναι ο τελεστής στροφής και r, r το αρχικό και το μετασχηματισμένο διάνυσμα αντίστοιχα, τότε ισχύει r = Ar. ψευδο-διάνυσμα (pseudovector): είναι μια ποσότητα που μετασχηματίζεται όπως ένα πολικό διάνυσμα όταν υφίσταται μια κανονική στροφή (proper rotation), όμως στον τρισδιάστατο χώρο υφίσταται μια επιπλέον αλλαγή προσήμου εάν υποβληθεί σε μια μηκανονική στροφή (improper rotation), όπως ο κατοπτρισμός (reflection) ή η αντιστροφή (inversion). Δηλαδή, αν ο A αποτελεί τον τελεστή μιας μη κανονικής στροφής τότε r = Ar. Τα ψευδο-διανύσματα προκύπτουν ως το εξωτερικό γινόμενο δυο πολικών διανυσμάτων [1]. Γενικά, ισχύουν οι ακόλουθες σχέσεις: [vector] [vector] = [pseudovector] [pseudovector] [pseudovector] = [pseudovector] [vector] [pseudovector] = [vector] Παραδείγματα ψευδο-διανυσμάτων αποτελούν η γωνιακή ταχύτητα ω, η στροφορμή L, το μαγνητικό πεδίο B, η ροπή τ, η μαγνητική ροπή και άλλα [3]. 16

27 Για την καλύτερη κατανόηση των παραπάνω εννοιών θα παραθέσουμε δυο παραδείγματα: Παράδειγμα κατοπτρισμού 1: Θεωρούμε έναν βρόχο που διαρρέεται από ρεύμα I και λόγω του ρεύματος δημιουργείται μαγνητικό πεδίο B, όπως φαίνεται στην Εικόνα 2. Εάν η θέση του βρόχου και του ρεύματος που τον διαρρέει, καθρεπτιστεί ως προς το επίπεδο που συμβολίζεται από την διακεκομμένη μαύρη γραμμή τότε, το μαγνητικό πεδίο καθρεπτίζεται και αντιστρέφεται το πρόσημο του αλλάζοντας φορά. Γι αυτό ακριβώς, η θέση του βρόχου και το ρεύμα I αποτελούν πολικά διανύσματα, ενώ το μαγνητικό πεδίο B είναι ψευδο-διάνυσμα. Εικόνα 2 - Κατοπτρισμός Μαγνητικού Πεδίου Παράδειγμα κατοπτρισμού 2: Θεωρούμε ένα αυτοκίνητο που κινείται προς τα μπροστά όπως φαίνεται στην Εικόνα 3 αριστερά, δηλ το αυτοκίνητο κατευθύνεται από τον αναγνώστη προς την σελίδα. Κάθε τροχός του αυτοκινήτου έχει γωνιακή ταχύτητα με φορά όπως αυτή που δηλώνεται από το κόκκινο βέλος. Αν καθρεπτίσουμε τη θέση κάθε σημείου του αυτοκινήτου τότε προκύπτει η εικόνα που βλέπουμε δεξιά. Επειδή οι τροχοί εξακολουθούν να κινούνται μπροστά, το διάνυσμα της γωνιακής ταχύτητας δεν θα αλλάξει φορά. Επί της ουσίας, κατά τον κατοπτρισμό, το διάνυσμα της γωνιακής ταχύτητας καθρεπτίστηκε και έπειτα αντιστράφηκε η φορά του, το οποίο είναι αναμενόμενο αφού η γωνιακή ταχύτητα είναι ψευδο-διάνυσμα. Εικόνα 3 - Κατοπτρισμός Γωνιακής Ταχύτητας 17

28 Συνοψίζοντας λοιπόν τα παραπάνω, θεωρώντας μια στροφή(κανονική ή μη-κανονική) που περιγράφεται από τον πίνακα A και εφαρμόζεται σε ένα διάνυσμα r R 3, τότε το μετασχηματισμένο διάνυσμα r R 3 θα προκύπτει από τις ακόλουθες σχέσεις: r = Αr, για r πολικό διάνυσμα (15) r = det(a)αr, για r ψευδο-διάνυσμα (16) 3.2 Κατοπτρισμός διανυσμάτων ως προς επίπεδο του τρισδιάστατου χώρου Θεωρούμε ένα επίπεδο με κάθετο μοναδιαίο διάνυσμα n R 3. Τότε, o πίνακας που μετασχηματίζει ένα διάνυσμα του τρισδιάστατου χώρου στο κατοπτρικό του ως προς το συγκεκριμένο επίπεδο είναι ο πίνακας Householder που για μοναδιαίο n δίνεται από την ακόλουθη σχέση: Η(n) = I 3 2nn T (17) με I 3 να συμβολίζει έναν μοναδιαίο πίνακα διάστασης 3 3. Θεωρώντας ένα πολικό διάνυσμα r R 3 και ένα επίπεδο με κάθετο μοναδιαίο διάνυσμα n R 3, το κατοπτρικό διάνυσμα r m R 3 ως προς το συγκεκριμένο επίπεδο σύμφωνα με την (15) θα δίνεται από τη σχέση: r m = Η(n)r (18) Αντίστοιχα αν έχουμε ένα ψευδο-διάνυσμα r R 3 τότε σύμφωνα με την (16) το κατοπτρικό του θα υπολογίζεται ως εξής: r m = det(η(n))η(n)r (19) Στα πλαίσια της μελέτης της ύπαρξης κατοπτρισμού στην κίνηση του ανθρώπινου καρπού κατά την παράδοση αντικειμένων, θεωρούμε ότι όλες οι θέσεις εκφράζονται ως προς το πλαίσιο της τελικής θέσης-στόχου. Στην τελική θέση θεωρούμε ένα πλαίσιο όπως αυτό που φαίνεται στην Εικόνα 4 και η φορά του οποίου καθορίζεται από τον προσανατολισμό του καρπού του παραλήπτη του αντικειμένου. Στην περίπτωση αυτή, το επίπεδο ως προς το οποίο μελετάμε την ύπαρξη κατοπτρισμού είναι το επίπεδο yz. 18

29 Εικόνα 4 - Κατοπτρισμός ως προς το πλαίσιο του στόχου Στην προκειμένη περίπτωση θα είναι n = [1 0 0] Τ και επομένως ο πίνακας προβολής θα είναι: Η(n) = [ 0 1 0] (20) Συνεπώς, δοθέντος της καρτεσιανής θέσης ενός στερεού σώματος, p = [x y z] T και εφόσον η θέση αποτελεί πολικό διάνυσμα, η κατοπτρική της, σύμφωνα με τις (20) και (18), θα είναι: p m = [ x y z] T (21) Για τον κατοπτρισμό του προσανατολισμού ενός στερεού σώματος, έστω ότι έχουμε διαθέσιμο τον αντίστοιχο πίνακα στροφής R SO(3). Η 1η στήλη του R αντιστοιχεί στον άξονα x του πλαισίου του στερεού σώματος ως προς το πλαίσιο του στόχου (Εικόνα 4), η 2η στήλη στον άξονα y και η 3η στον άξονα z. Με βάση τη θεώρηση του πλαισίου που έχουμε επιλέξει, ο άξονας x αντιστοιχεί στον άξονα pitch του καρπού, ενώ οι άξονες y και z αντιπροσωπεύουν τους άξονες yaw και roll αντίστοιχα (βλ. Εικόνα 5). Κάθε άξονας μπορεί να προκύψει από το εξωτερικό γινόμενο των άλλων δυο αξόνων, επομένως δεν είναι σαφές ποιος αποτελεί πολικό και ποιος ψευδοδιάνυσμα. Εφαρμόζοντας όμως κάποιος το «τεστ κατοπτρισμού», όπως φαίνεται στην Εικόνα 5, μπορεί εύκολα να διαπιστώσει ότι οι άξονες yaw και roll καθρεπτίζονται κανονικά ενώ ο άξονας pitch θα καθρεπτιστεί και θα αντιστραφεί, επομένως οι άξονες yaw και roll θα είναι πολικά διανύσματα ενώ ο άξονας pitch ψευδοδιάνυσμα [2]. Άρα δοθέντος του πίνακα R: a 11 a 12 a 13 R = [ a 21 a 31 a 22 a 32 a 23 ] a 33 o κατοπτρικός πίνακας R m ως προς το επίπεδο yz προκύπτει εφαρμόζοντας στην πρώτη στήλη την (19) και στη 2η και 3η στήλη την (18), και άρα θα είναι: a 11 a 12 a 13 R m = [ a 21 a 31 a 22 a 32 a 23 ] a 33 (22) 19

30 Τέλος αφού η γραμμική ταχύτητα v = [v x v y v z] Τ είναι πολικό διάνυσμα, η κατοπτρική ταχύτητα ως προς το επίπεδο yz σύμφωνα με τις (18) και (20) θα είναι: v m = [ v x v y v z] Τ (23) και για την γωνιακή ω = [ω x ω y ω z] Τ που είναι ψευδο-διάνυσμα, σύμφωνα με τις (20) και (19) θα έχουμε: ω m = [ω x ω y ω z] Τ (24) Εικόνα 5 - Κατοπτρισμός του ανθρώπινου καρπού 3.3 Πειραματική επικύρωση της ύπαρξης κατοπτρισμού στην κίνηση του ανθρώπινου καρπού Προκειμένου να ελέγξουμε την βασιμότητα της παρατήρησής μας σχετικά με την ύπαρξη κατοπτρισμού στην κίνηση του ανθρώπινου καρπού, διεξήγαμε το ακόλουθο πείραμα τέσσερις φορές: Δοθείσας μιας αρχικής θέσης P καταγράψαμε 10 παραδόσεις αντικειμένων μεταξύ δυο ανθρώπων θεωρώντας ότι η θέση του στόχου (η θέση του καρπού του παραλήπτη) είναι σταθερή και η ίδια καθ όλη τη διάρκεια του πειράματος. Θα ονομάσουμε T i, i = 1 10 τις αντίστοιχες καταγεγραμμένες τροχιές. Καταγράψαμε επίσης τις αντίστοιχες κινήσεις παράδοσης αντικειμένου από τη κατοπτρική θέση P m και τροχιές T mi, i = Λόγω σφαλμάτων στην μέτρηση της αρχικής θέσης P καθώς και εξαιτίας της εγγενούς διακύμανσης στην ανθρώπινη κίνηση, οι τροχιές που καταγράψαμε διαφέρουν ελαφρώς 20

31 μεταξύ τους. Ευθυγραμμίσαμε όλες τις τροχιές T i εφαρμόζοντας τον αλγόριθμο Dynamic Time Warping (DTW) ώστε όλες οι τροχιές να έχουν το ίδιο μήκος [4], και υπολογίσαμε την απόσταση μεταξύ των αντίστοιχων σημείων των τροχιών {T i, T j } για i j, λαμβάνοντας συνολικά 45 «τροχιές απόστασης». Για την μέτρηση της απόστασης της θέσης χρησιμοποιήθηκε η Ευκλείδεια απόσταση ενώ για τον προσανατολισμό η απόσταση συνημίτονου (cosine distance). Η μέση τιμή ± την τυπική απόκλιση κάθε σημείου των τροχιών απόστασης χρησιμοποιήθηκε για τον ορισμό της περιοχής επιτρεπτής διακύμανσης των τροχιών. Έπειτα, για κάθε τροχιά T mi υπολογίστηκε η κατοπτρική της τροχιά T mi και ελέγξαμε την υπόθεση κατοπτρισμού εξετάζοντας αν οι τροχιές απόστασης των ζευγών {T i, T mj } i, j κείνται εντός της επιτρεπτής περιοχής διακύμανσης. Στις Εικόνες Εικόνα 6 - Εικόνα 9 αναπαρίσταται με πράσινο χρώμα η επιτρεπτή περιοχή διακύμανσης, ενώ οι κόκκινες τροχιές αντιστοιχούν σε παραδείγματα τροχιών απόστασης μεταξύ των {T i, T mj }. Όπως μπορούμε να παρατηρήσουμε, οι τροχιές απόστασης κείνται σχεδόν εξολοκλήρου εντός της περιοχής επιτρεπτής διακύμανσης γεγονός που δηλώνει ότι το σφάλμα μεταξύ μια τροχιάς που ξεκινάει από το P και της κατοπτρικής της τροχιάς που ξεκινά από το P m είναι συγκρίσιμο με το σφάλμα που παρατηρείται λόγω των σφαλμάτων στον καθορισμό της αρχικής θέσης P και της έμφυτης διακύμανσης της ανθρώπινης κίνησης. Συνεπώς, τα παραπάνω πειράματα φαίνεται να επικυρώνουν τον ισχυρισμό μας σχετικά με την ύπαρξη κατοπτρισμού. Αξίζει να παρατηρηθεί ότι η επιτρεπτή τροχιά διακύμανσης είναι πιο πλατιά αρχικά και στενεύει καθώς πλησιάζει στην τελική θέση. Αυτό οφείλεται στο ότι υπήρχαν σφάλματα μέτρησης στον καθορισμό της αρχικής θέσης P, όμως όλες οι τροχιές συγκλίνουν εν τέλει στην ίδια τελική θέση. Εικόνα 6 - Πείραμα κατοπτρισμού 1 21

32 Εικόνα 7 - Πείραμα κατοπτρισμού 2 Εικόνα 8 - Πείραμα κατοπτρισμού 3 22

33 Εικόνα 9 - Πείραμα κατοπτρισμού Ενσωμάτωση κατοπτρισμού σε ένα Δυναμικό Σύστημα Δοθέντος ενός ΔΣ το οποίο έχει εκπαιδευτεί μόνο στο ένα ημισφαίριο του τρισδιάστατου χώρου, πχ μόνο για x < 0 με αναφορά στην Εικόνα 4, το ΔΣ μπορεί να παραγάγει ανθρωπομορφικές τροχιές σε ολόκληρο τον 3Δ χώρο αξιοποιώντας την ιδέα του κατοπτρισμού, σύμφωνα με αλγόριθμο που παρουσιάζεται στον Πίνακας 1: Πίνακας 1 - Αλγόριθμος ενσωμάτωσης κατοπτρισμού σε ένα Δυναμικό Σύστημα Αλγόριθμος ενσωμάτωσης του κατοπτρισμού σε ένα ΔΣ Είσοδος: Τρέχουσα θέση {p = [x y z] T, Q = [η ε Τ ] Τ } Επιθυμητή θέση {p d = [x d y d z d ] T, Q d = [η d ε d Τ ] Τ } 1. Υπολογίζουμε την x-συντεταγμένη x της τρέχουσας θέσης εκφρασμένη ως προς το πλαίσιο της επιθυμητής θέσης. 2. Αν x > 0 καθρεπτίζουμε την τρέχουσα θέση {p, Q} σύμφωνα με τις (21) και (22). 3. Υπολογισμός του ξ και είσοδος στο ΔΣ που παράγει ως έξοδο την γενικευμένη ταχύτητα V = [v T ω T ] T. 4. Αν x > 0 καθρεπτίζουμε την έξοδο, V του ΔΣ. Η γραμμική ταχύτητα v υπολογίζεται σύμφωνα με την (23). Η γωνιακή ταχύτητα ω υπολογίζεται σύμφωνα με την (24). Έξοδος: Η γενικευμένη ταχύτητα V = [v T ω T ] T 23

34 3.5 Συμπεράσματα Στο συγκεκριμένο κεφάλαιο εξετάσαμε και επικυρώσαμε πειραματικά την υπόθεση ύπαρξης κατοπτρισμού στην ανθρώπινη κίνηση κατά την παράδοση αντικειμένων. Το γεγονός αυτό έχει ιδιαίτερη σημασία αφού μας δίνει τη δυνατότητα να εκπαιδεύσουμε ένα ΔΣ στο ένα μόνο ημισφαίριο του 3Δ χώρου, το οποίο όμως σε συνδυασμό με τη διαδικασία κατοπτρισμού που περιγράφεται στον Πίνακας 1 θα μπορεί να αναπαράγει ανθρωπομορφικές κινήσεις σε ολόκληρο τον χώρο. Αυτό έχει ιδιαίτερη σημασία αν αναλογιστεί κανείς ότι η διαδικασία εκπαίδευσης υποφέρει από την «κατάρα των διαστάσεων» (curse of dimensionality) όσον αφορά στον αριθμό των δεδομένων που απαιτούνται για εκπαίδευση, η οποία είναι εντονότερη στα πλαίσια ελέγχου ενός συστήματος 6 βαθμών ελευθερίας (6-DOF) και επομένως η μείωση στο μισό του αριθμού των δεδομένων που απαιτούνται βοηθά σημαντικά στην εκπαίδευση του μοντέλου. 24

35 Κεφάλαιο 4 Προσομοίωση του Δυναμικού Συστήματος Στο κεφάλαιο αυτό θα εξετάσουμε την ακρίβεια του τροποποιημένου SEDS που παρουσιάστηκε στην Ενότητα 2.4. Το μοντέλο εκπαιδεύτηκε σύμφωνα με τον αλγόριθμο της Ενότητας 2.3. Αρχικά, παραθέτουμε τις μετρικές επίδοσης βάσει των οποίων θα αξιολογήσουμε την ακρίβεια του μοντέλου. Στη συνέχεια, εκπαιδεύουμε και εφαρμόζουμε το μοντέλο αυτό σε ένα σετ δισδιάστατων δεδομένων. Έπειτα εξετάζεται η εφαρμογή του μοντέλου σε τρισδιάστατο σετ δεδομένων που προέρχονται από την ανταλλαγή αντικειμένων μεταξύ ανθρώπων. Τέλος, παρουσιάζουμε ένα ολοκληρωμένο πείραμα παράδοσης αντικειμένου στο περιβάλλον προσομοίωσης V-REP. 4.1 Μετρικές επίδοσης Για την αξιολόγηση του ΔΣ που εκπαιδεύσαμε εξετάζουμε πόσο κοντά είναι οι τροχιές και το πεδίο ταχύτητας (velocity field) που παράγει το ΔΣ σε σύγκριση με τα δεδομένα T n,n εκπαίδευσης {ξ t,n, V t,n } t=0,n=1. Συγκεκριμένα, δοθείσας της γενικευμένης θέσης (καρτεσιανή θέση και προσανατολισμός ως quaternion) {p 1, Q 1 } που παράγεται από το ΔΣ και της αντίστοιχης θέσης {p 2, Q 2 } από τα δεδομένα εκπαίδευσης, καθώς και των αντίστοιχων γενικευμένων ταχυτήτων {v 1, ω 1 } και {v 2, ω 2 }, ορίζουμε τις ακόλουθες μετρικές επίδοσης: N T n M 1 = 1 2T (d n(p 1, p 2 ) + d c (Q 1, Q 2 )) n=1 t=0 (25) N T n M 2 = 1 2T (d c(v 1, v 2 ) + d c (ω 1, ω 2 )) n=1 t=0 (26) N T n M 3 = 1 2T (d n(v 1, v 2 ) + d n (ω 1, ω 2 )) n=1 t=0 (27) όπου τα μέτρα d n και d c για δυο διανύσματα u, v R m ορίζονται ως εξής: d n (u, v) = 1 u v 2 2 u 2 + v 2 ut v d c (u, v) = (1 u v ) 25

36 Το μέτρο d n εκφράζει την κανονικοποιημένη Ευκλείδεια απόσταση, ενώ το d c είναι η απόσταση συνημίτονου. Επίσης, εφόσον d n (u, v), d c (u, v) [0 1], εύκολα μπορεί να διαπιστώσει κάποιος ότι και M 1, M 2, M 3 [0 1]. Η μετρική M 1 εκφράζει ποσοτικά πόσο κοντά είναι οι τροχιές που παράγονται από το ΔΣ με τις αντίστοιχες τροχιές του σετ εκπαίδευσης, η M 2 συγκρίνει τα πεδία ταχυτήτων (velocity fields) του ΔΣ και του σετ εκπαίδευσης ως προς την κατεύθυνση της ταχύτητας και η M 3 ως προς το μέτρο της ταχύτητας. Τέλος, πρέπει να σημειωθεί ότι πριν την εφαρμογή των μετρικών αυτών, οι αντίστοιχες προς σύγκριση τροχιές του ΔΣ και του σετ δεδομένων ευθυγραμμίστηκαν εφαρμόζοντας τον αλγόριθμο DTW. 4.2 Εφαρμογή του ΔΣ σε δισδιάστατα δεδομένα Εκπαιδεύσαμε αρχικά ένα ΔΣ σε δισδιάστατα σετ δεδομένων ώστε να εξετάσουμε τις δυνατότητες και τις επιδόσεις του ΔΣ με GMM στην αναγνώριση συστημάτων, καθώς και για να μπορούμε να οπτικοποιήσουμε καλύτερα τα αποτελέσματα. Συγκεκριμένα, εξετάσαμε δυο περιπτώσεις. Στην πρώτη περίπτωση το ΔΣ καλείται να μάθει ένα σύστημα που αποτελείται από τροχιές που αντιστοιχούν στο αγγλικό γράμμα «G» (Gshape-model), ενώ στη δεύτερη περίπτωση εξετάζουμε την εκμάθηση ενός συστήματος που παράγει ημιτονοειδής τροχιές (Sine-model). Σε όλες τις περιπτώσεις το σετ εκπαίδευσης αποτελείται από τρεις τροχιές και στο μοντέλο χρησιμοποιήθηκαν 6 γκαουσιανές συναρτήσεις. Ακολούθως αναλύονται τα αποτελέσματα. Στην Εικόνα 10 φαίνονται οι τρεις τροχιές που αναπαρήγαγε το ΔΣ για το Gshape model (αριστερά) και το Sine model (δεξιά). Στην Εικόνα 11 αντιπαραβάλλονται οι τροχιές του ΔΣ (οι χρωματιστές τροχιές) με τις τροχιές του σετ εκπαίδευσης (τροχιές με κόκκινες κουκίδες), ενώ στην Εικόνα 12 παρουσιάζεται το πορτραίτο τροχιών που παράγει το ΔΣ σε κάθε περίπτωση καθώς και οι τροχιές του σετ εκπαίδευσης (με κόκκινες κουκίδες). Τέλος στον Πίνακας 2 καταγράφονται τα ποσοτικά αποτελέσματα από τη σύγκριση του ΔΣ με τα δεδομένα εκπαίδευσης σύμφωνα με τις μετρικές επίδοσης που ορίσαμε στην Παράγραφο 4.1. Τόσο οπτικά από τις Εικόνα 10 και Εικόνα 11 όσο και από τις μετρικές επίδοσης του Πίνακας 2 διαπιστώνουμε ότι το ΔΣ καταφέρνει να αναπαράγει με αρκετά καλή ακρίβεια τις τροχιές του εκάστοτε μοντέλου (Gshape και Sine), ιδιαίτερα στην περίπτωση του ημιτονοειδούς μοντέλου. Το γεγονός αυτό αντικατοπτρίζεται και στο πορτραίτο τροχιών στην Εικόνα 12. Βέβαια εδώ αξίζει να παρατηρηθεί ότι όσο πιο μακριά βρίσκεται ένα σημείο του 2Δ χώρου σε σχέση με τα σημεία του σετ εκπαίδευσης τόσο η τροχιά που παράγει το ΔΣ χάνει τα ποιοτικά χαρακτηριστικά της κίνησης του αρχικού μοντέλου και απλά συγκλίνει ασυμπτωτικά στο σημείο ισορροπίας. 26

37 Εικόνα 10 - Προσομοίωση του Δυναμικού Συστήματος σε 2Δ δεδομένα Εικόνα 11 - Σύγκριση τροχιών του ΔΣ και του 2Δ σετ δεδομένων 27

38 Εικόνα 12 Πορτρέτο τροχιών του ΔΣ για 2Δ δεδομένα Πίνακας 2 - Μετρικές επίδοσης του ΔΣ σε 2Δ δεδομένα Μετρική Επίδοσης Gshape-model Sine-model M M M Εφαρμογή του ΔΣ σε τρισδιάστατα δεδομένα Έχοντας εφαρμόσει στην προηγούμενη παράγραφο το ΔΣ σε 2Δ δεδομένα, επεκτείνουμε την εφαρμογή του στον τρισδιάστατο χώρο και συγκεκριμένα στην αναγνώριση ενός συστήματος που θα παράγει ανθρωπομορφικές κινήσεις κατά την παράδοση ενός αντικειμένου, που αποτελεί και το βασικό στόχο αυτής της εργασίας. Για το σκοπό αυτό διεξήγαμε 50 πειράματα παράδοσης αντικειμένων μεταξύ δυο ανθρώπων. Η καταγραφή της καρτεσιανής θέσης και του προσανατολισμού του ανθρώπινου καρπού κατά τη διάρκεια των πειραμάτων έγινε χρησιμοποιώντας έγχρωμα σήματα (color markers) και μια κάμερα Kinect 1. Από τα καταγεγραμμένα πειράματα, τα 25 πραγματοποιήθηκαν από το ημισφαίριο με x < 0 ως προς τον στόχο (πλαίσιο του καρπού του παραλήπτη, βλ. Εικόνα 4) 28

39 και χρησιμοποιήθηκαν για την εκπαίδευση ενός ΔΣ (training set) με 14 γκαουσιανές συναρτήσεις ενώ τα δεδομένα των υπόλοιπων 25 μετρήσεων, που έγιναν από διαφορετικά σημεία ώστε να καλυφθεί όσο καλύτερα γίνεται ολόκληρος ο 3Δ χώρος, αξιοποιήθηκαν για τον έλεγχο της ακρίβειας του ΔΣ που εκπαιδεύσαμε (test set). Για την εκπαίδευση του ΔΣ εκτός από τη θέση και τον προσανατολισμό, χρειάζεται να γνωρίζουμε και την μεταφορική και γωνιακή ταχύτητα, οι οποίες υπολογίστηκαν αριθμητικά. Πιο αναλυτικά, δοθέντων δυο διαδοχικών χρονικών στιγμών t 1, t 2 και των αντίστοιχων θέσεων p(t 1 ), R(t 1 ) και p(t 2 ), R(t 2 ) οι μεταφορική ταχύτητα υπολογίστηκε από τον τύπο (28): v(t 1 ) = p(t 2) p(t 1 ) t 2 t 1 (28) Για την γωνιακή ταχύτητα, υπολογίζουμε αρχικά τη σχετική στροφή μεταξύ των πινάκων στροφής που είναι δr = R(t 2 )R 1 (t 1 ) = R(t 2 )R Τ (t 1 ). Έπειτα από τον δr υπολογίζουμε την αναπαράσταση άξονα-γωνίας k, δθ και λαμβάνουμε αριθμητικά την εκτίμηση της γωνιακής ταχύτητας από τον τύπο (29): ω(t 1 ) = k δθ (29) t 2 t 1 Επειδή η παραπάνω διαδικασία αριθμητικής διαφόρισης εισάγει σημαντικό θόρυβο στις εκτιμήσεις των ταχυτήτων, εφαρμόσαμε έπειτα ένα φίλτρο κινούμενου μέσου όρου (moving average) για την εξομάλυνση των ταχυτήτων. Η αξιολόγηση του εκπαιδευμένου μοντέλου έγινε προσομοιώνοντας σε κινηματικό επίπεδο το μοντέλο ρομποτικού βραχίονα KUKA LWR4+ στο V-REP, ακολουθώντας τη διαδικασία ελέγχου που φαίνεται στην Εικόνα 13. Συγκεκριμένα, για κάθε αρχική θέση των μετρήσεων που καταγράψαμε (τόσο στο training όσο και στο test set), προσομοιώσαμε την κίνηση που παράγεται από το ΔΣ και τη συγκρίναμε με την αντίστοιχη τροχιά των μετρήσεων. Τα συγκεντρωτικά αποτελέσματα των συγκρίσεων αυτών αποτυπώνονται στον Πίνακας 3. Όλες οι μετρικές παρουσιάζουν μικρές τιμές κοντά στο μηδέν, γεγονός που δηλώνει ότι το ΔΣ που εκπαιδεύσαμε κατάφερε να αναπαράγει αρκετά πιστά την ανθρώπινη κίνηση. Επίσης, παρατηρούμε ότι οι μετρικές επίδοσης επιδεικνύουν παρόμοιες τιμές τόσο στο training όσο και στο test set, το οποίο αποτελεί ένδειξη ότι το μοντέλο δεν υπερεκπαιδεύτηκε (overtraining). Αντιπροσωπευτικά παραδείγματα των τροχιών που παρήχθησαν από το ΔΣ, σε αντιπαραβολή με αυτές που κατεγράφησαν από την ανθρώπινη κίνηση, παρατίθενται στις Εικόνα 14 και Εικόνα 15, όπου τα βέλη αντιστοιχούν στον άξονα της παραμετροποίησης άξονα-γωνίας του προσανατολισμού, ενώ δίνονται επίσης και τρισδιάστατες τροχιές με τα πλαίσια προσανατολισμού του άκρου του βραχίονα σε αντιπαραβολή με αυτά του καρπού του ανθρώπινου χεριού. 29

40 Εικόνα 13 - Σχήμα κλειστού βρόχου ΔΣ-ρομπότ 30

41 31

42 Εικόνα 14 - Σύγκριση τροχιών ΔΣ και ανθρώπινης κίνησης στο training set 32

43 33

44 Εικόνα 15 - Σύγκριση τροχιών ΔΣ και ανθρώπινης κίνησης στο test set Πίνακας 3 - Μετρικές επίδοσης του ΔΣ σε 3Δ δεδομένα Μετρική Επίδοσης Train set Test set M M M Επιπλέον, για να εξάρουμε την επίδραση της χρήσης κατοπτρισμού, πραγματοποιήσαμε δυο προσομοιώσεις από το ημισφαίριο με x > 0 (δηλ από τη μεριά που δεν έγινε training) και εφαρμόσαμε το ΔΣ, τη μια φορά χωρίς κατοπτρισμό και την άλλη ενσωματώνοντας και κατοπτρισμό. Στην Εικόνα 16 παρουσιάζονται οι διαδρομές που παρήγαγε το ΔΣ σε κάθε περίπτωση καθώς και η ανθρώπινη τροχιά κίνησης. Επίσης, συμπεριλαμβάνουμε και δυο παραδείγματα τροχιών από το ημισφαίριο με x < 0 για λόγους σύγκρισης. Είναι προφανές ότι χωρίς την εφαρμογή κατοπτρισμού, οι τροχιές που παράγει το ΔΣ αποτυγχάνουν να μιμηθούν την ανθρώπινη κίνηση στο ημισφαίριο όπου δεν έχει εκπαιδευτεί το ΔΣ. Παρ 34

45 αυτά, καταφέρνουν να συγκλίνουν στον στόχο, καθότι όπως είπαμε το ΔΣ που εκπαιδεύσαμε είναι γενικά ασυμπτωτικά ευσταθές. Αντιθέτως, με χρήση κατοπτρισμού, οι τροχιές που παράγονται από το ΔΣ είναι αρκετά κοντά στις αντίστοιχες ανθρώπινες τροχιές. Επομένως, μέσω αυτού του παραδείγματα, διαπιστώνουμε ότι ένα ΔΣ μπορεί να εκπαιδευτεί στο ένα μόνο ημισφαίριο του τρισδιάστατου χώρου και να παράγει κινήσεις με ικανοποιητική ακρίβεια σε ολόκληρο τον χώρο εφαρμόζοντας κατοπτρισμό. Εικόνα 16 - Τροχιά ΔΣ με και δίχως κατοπτρισμό 4.4 Πείραμα παράδοσης αντικειμένου Στην ενότητα αυτή θα παρουσιάσουμε μια ολοκληρωμένη προσομοίωση ενός πειράματος παράδοσης αντικειμένου. Η προσομοίωση πραγματοποιήθηκε στο V-REP χρησιμοποιώντας δυο KUKA LWR4+ ρομποτικούς βραχίονες και ένα μοντέλο χεριού Barrett συνδεδεμένο στο άκρο κάθε βραχίονα. Ο πρώτος βραχίονας χρησιμοποιήθηκε για την προσομοίωση του ρομπότ (προσφέρων) και ο δεύτερος για την προσομοίωση της συμπεριφοράς του ανθρώπου (παραλήπτης). Ο προσφέρων κρατάει αρχικά ένα κυλινδρικό αντικείμενο μάζας 0.3 kg, ύψους 22 cm και ακτίνας 4.4 cm. Το πλαίσιο του αντικειμένου που κρατά ο προσφέρων ορίζεται στο κέντρο του μεγαλύτερου ελεύθερου όγκου του αντικειμένου όπως φαίνεται στην Εικόνα 17, έχοντας τον προσανατολισμό του αντικειμένου (θεωρούμε ότι κάθε αντικείμενο έχει ένα συγκεκριμένο προσανατολισμό σύμφωνα με τον οποίο θα ήθελε κάποιος να του δώσουν το αντικείμενο αυτό). Αντίστοιχα το πλαίσιο στόχου ορίζεται από 35

46 την θέση και προσανατολισμό του χεριού του παραλήπτη, όπως αυτά μετρώνται από την κάμερα. Στη διαδικασία της προσομοίωσης, κάναμε την παραδοχή ότι ο προσφέρων κρατά σταθερά το αντικείμενο κατά τη διάρκεια που κινείται για να προσεγγίσει τον παραλήπτη. Στο στάδιο που ο προσφέρων προσεγγίζει τον παραλήπτη ώστε να πλαίσιο του αντικειμένου να συμπέσει με το πλαίσιο στόχου, η κίνηση του χεριού του δότη υπαγορεύεται από το ΔΣ που εκπαιδεύσαμε. Κατά την άφιξη στο στόχο, η παράδοση του αντικειμένου στον παραλήπτη πραγματοποιείται ακολουθώντας μια απλοποιημένη εκδοχή της στρατηγικής που παρουσιάζεται στο [31]. Συγκεκριμένα, γίνεται η υπόθεση ότι το ρομπότ κρατά ήδη το αντικείμενο και ότι είναι εξοπλισμένο με έναν αισθητήρα δύναμης/ροπής στον καρπό του, από τις μετρήσεις του οποίου μπορεί να εκτιμηθεί το βάρος του αντικειμένου που κρατά. Αρχικά η δύναμη που μετράται από τον αισθητήρα, εκφρασμένη κατά την διεύθυνση της βαρύτητας, είναι αρνητική (θεωρώντας θετική την φορά που είναι αντίθετη της φοράς της βαρύτητας). Καθώς ο παραλήπτης πιάνει το αντικείμενο και αρχίζει ελαφρώς να το τραβά προς το μέρος του, όπως φαίνεται στην Εικόνα 18 από την κατεύθυνση του κόκκινου βέλους, η δύναμη-βάρος που μετρά ο αισθητήρας στον καρπό του ρομπότ μειώνεται κατά απόλυτη τιμή και όταν υπερβεί το μηδέν τότε δηλώνεται πως το βάρος του αντικειμένου έχει μεταφερθεί εξ ολοκλήρου στον παραλήπτη και επομένως το ρομπότ μπορεί πλέον να αφήσει με ασφάλεια το αντικείμενο. Εικόνα 17 - Πλαίσιο αντικειμένου 36

47 Εικόνα 18 - Ο παραλήπτης τραβά το αντικείμενο Τα αποτελέσματα της προσομοίωσης παρουσιάζονται στις Εικόνα 19, Εικόνα 20 και Εικόνα 21. Στην Εικόνα 19 απεικονίζεται η τροχιά του άκρου του ρομπότ κατά τη διάρκεια προσέγγισης του χεριού του παραλήπτη, όπου φαίνεται και η αλλαγή στον προσανατολισμό του άκρου του ρομπότ από τα πλαίσια που έχουν τοποθετηθεί. Στην Εικόνα 20 παρουσιάζονται τα βασικά στάδια της διαδικασίας παράδοσης του αντικειμένου. Συγκεκριμένα, στην Εικόνα 20-(a) ο προσφέρων έχει πιάσει το αντικείμενο, στη Εικόνα 20- (b) έχει φθάσει στον στόχο, στην Εικόνα 20-(c) ο παραλήπτης έχει κλείσει τα δάκτυλά του και κρατά το αντικείμενο μαζί με τον προσφέροντα, στην Εικόνα 20-(d) ο προσφέρων ανοίγει τα δάκτυλά του απελευθερώνοντας το αντικείμενο και τέλος στην Εικόνα 20-(e) ο προσφέρων έχει απομακρυνθεί από το σημείο παράδοσης του αντικειμένου και η διαδικασία παράδοσης έχει περατωθεί. Τέλος, στην Εικόνα 21 δίνονται οι τιμές των μετρήσεων της ασκούμενης ροπής στους καρπούς του προσφέροντος και του παραλήπτη κατά τη διεύθυνση της βαρύτητας. Η τιμής αυτής της μετρούμενης ροπής αποτελεί ουσιαστικά μια εκτίμηση του βάρους του αντικειμένου (το βάρος του χεριού Barrett έχει αφαιρεθεί). Μεταξύ των δυο πρώτων κόκκινων διακεκομμένων γραμμών της Εικόνα 21 απεικονίζονται οι ροπές κατά το στάδιο που ο παραλήπτης κλείνει τα δάκτυλά του για να πιάσει το αντικείμενο. Όπως παρατηρούμε από το διάγραμμα, με το κλείσιμο των δακτύλων ασκείται μια επιπλέον δύναμη με αποτέλεσμα η δύναμη που μετράται από τον αισθητήρα του προσφέροντος να αυξάνεται. Στο επόμενο στάδιο (μεταξύ των δυο τελευταίων κόκκινων διακεκομμένων γραμμών), ο παραλήπτης αρχίζει να τραβά το αντικείμενο προς το μέρος του, με αποτέλεσμα η δύναμη που μετράται από τον αισθητήρα του προσφέροντος να μειώνεται (κατά απόλυτη τιμή) καθώς σταδιακά το βάρος του αντικειμένου μεταφέρεται από τον προσφέροντα στον παραλήπτη. Όταν η δύναμη που αντιλαμβάνεται ο προσφέρων γίνει μη αρνητική, τότε αυτό αποτελεί ένδειξη ότι ο παραλήπτης επιφορτίζεται όλο το βάρος του αντικειμένου και επομένως ο προσφέρων μπορεί πλέον να απελευθερώσει το αντικείμενο. 37

48 Εικόνα 19 - Τρισδιάστατη τροχιά του άκρου του ρομπότ κατά την παράδοση αντικειμένου Εικόνα 20 - Βασικά στάδια παράδοσης αντικειμένου 38