ιπλωµατικη Εργασια του ϕοιτητή του Τµήµατος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστηµίου Πατρών

Transcript

1 Πανεπιστηµιο Πατρων Τµηµα Ηλεκτρολογων Μηχανικων και Τεχνολογιας Υπολογιστων Τοµέας Τηλεπικοινωνιών και Τεχνολογίας Πληροφορίας Εργαστήριο Θεωρητικής Ηλεκτροτεχνίας και Παραγωγής Β ιπλωµατικη Εργασια του ϕοιτητή του Τµήµατος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστηµίου Πατρών ηµητρίου Σικερίδη Θέµα Αναγνώριση και Παρακολούθηση Κίνησης Ανω Ακρου µε Αξιοποίηση Τεχνολογίας Bluetooth Low Energy Επιβλέπων Θεόδωρος Αντωνακόπουλος Πάτρα, Ιούνιος 2016

2 1

3 ΠΙΣΤΟΠΟΙΗΣΗ Πιστοποιείται ότι η ιπλωµατική Εργασία µε ϑέµα «Αναγνώριση και Παρακολούθηση Κίνησης Ανω Ακρου µε Αξιοποίηση Τεχνολογίας Bluetooth Low Energy» Του ϕοιτητή του Τµήµατος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Σικερίδη ηµητρίου Αριθµός Μητρώου : 7623 Παρουσιάστηκε δηµόσια και εξετάστηκε στο Τµήµα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών στις 31/05/2016 Ο Επιβλέπων Θεόδωρος Αντωνακόπουλος, Καθηγητής Ο ιευθυντής Τοµέα Νικόλαος Φακωτάκης, Καθηγητής 2

4 3

5 Αριθµός ιπλωµατικής Εργασίας : Θέµα : «Αναγνώριση και Παρακολούθηση Κίνησης Άνω Άκρου µε Αξιοποίηση Τεχνολογίας Bluetooth Low Energy» Φοιτητής : Σικερίδης ηµήτριος Επιβλέπων : Θεόδωρος Αντωνακόπουλος 4

6 Περίληψη Στα πλαίσια αυτής της διπλωµατικής αναπτύχθηκε ένα wearable σύστηµα κατάδειξης σηµείων σε οθόνη που ϐασίζεται στην ασύρµατη καταγραφή δεδοµένων κίνησης από δύο α- δρανειακούς αισθητήρες IMUs (γυροσκόπιο και επιταχυνσιόµετρο) τοποθετηµένους στο άνω άκρο του χρήστη. Στόχος του συστήµατος είναι η εύρεση πάνω σε οθόνη προβολής του ση- µείου το οποίο δείχνει ο χρήστης µε το άνω άκρο του. Η διπλωµατική καθώς και η ανάπτυξη του συστήµατος επικεντρώνεται σε τρία µέρη : στην ασύρµατη µεταφορά δεδοµένων κίνησης, στον αλγόριθµο εύρεσης της ϑέσης κατάδειξης στην οθόνη και τέλος, στην αξιολόγηση του συστήµατος µέσω πειραµατικής διαδικασίας. Για την υλοποίηση του συστήµατος αναπτύχθηκε πρωτότυπο σύστηµα τεχνολογίας Bluetooth Low Energy (BLE) συνδυασµένο µε αδρανειακό αισθητήρα IMU. Για την αποστολή των δεδοµένων κίνησης αναπτύχθηκε εφαρµογή που εκτελείται στο ενσωµατωµένο σύστηµα και για τη λήψη και καταγραφή δεδοµένων αναπτύχθηκε εφαρµογή σε γραφικό περιβάλλον Windows 10. Την καταγραφή των δεδοµένων ακολουθεί η περαιτέρω επεξεργασία τους για την αφαίρεση ϑορύβου. Η εύρεση της ϑέσης στην οποία δείχνει ο χρήστης του συστήµατος γίνεται µε την αξιοποίηση του προσανατολισµού του άνω άκρου του που επιτυγχάνεται µε τη χρήση συµπληρωµατικού ϕίλτρου (Explicit Complementary Filter). Η εκτίµηση της τελικής ϑέσης πάνω στην οθόνη γίνεται µε την επίλυση γεωµετρικών εξισώσεων που ϐασίζονται σε χαρακτηριστικά του χώρου. Για την εύρεση των χαρακτηριστικών αυτών αναπτύχθηκε µια διαδικασία εκπαίδευσης του συστήµατος. Κατά τη διάρκεια της διπλωµατικής έγινε αξιολόγηση της λειτουργίας του συστήµατος µέσω πειραµατικής διαδικασίας που αναπτύχθηκε για αυτόν τον σκοπό. Σαν µέτρο αξιολόγησης χρησιµοποιήθηκε η ευκλείδεια απόσταση µεταξύ ιδανικής και εκτιµώµενης ϑέσης ενώ το πείραµα διεξήχθη για διαφορετικές αποστάσεις από την οθόνη και οδήγησε στην εξαγωγή σχέσεων σφάλµατος για τη µελέτη της ακρίβειας του συστήµατος για οθόνες διαφο- ϱετικών µεγεθών. Εκτός από το πρωτότυπο που αναπτύχθηκε, η επαλήθευση λειτουργίας του συστήµατος έγινε και µε χρήση αισθητήρων εµπορίου και συγκεκριµένα αισθητήρων Shimmer TM. Τα πειραµατικά αποτελέσµατα επιβεβαιώνουν την αποδοτικότητα του συστήµατος όσον αφορά την εύρεση της ϑέσης πάνω στην οθόνη µε ακρίβεια της τάξης του 2 cm για απόσταση 1.5 m από αυτήν. Λέξεις κλειδιά : Σύστηµα κατάδειξης σηµείων, Bluetooth Low Energy, Wearable, Αδρανειακοί αισθητήρες, Επιταχυνσιόµετρο, Γυροσκόπιο, Τετραδόνια, Συµπληρωµατικό ϕίλτρο 5

7 Abstract Wearable motion capture systems based on MEMS IMUs are considered a promising technology that evolves rapidly over the last few years. In this diploma thesis we present a wireless wearable pointing solution developed with a pair of inertia sensors equipped with Bluetooth connectivity. The aim of the system is to estimate the exact point the user is pointing at while the IMU pair is mounted on the user s arm. Each IMU consists of acceleration and angular velocity sensors. The work presented in this diploma thesis consists of three parts: the wireless data transfer, the algorithm that estimates the pointing position on the screen and finally the evaluation of the system via a custom experimental procedure. Our system can be used for pointing on screen by capturing the arm s rotational movement. We present the system s functionality and a training method for estimating the screen s distance and relative position. Experimental results show promising pointing accuracy and precision in a variety of different display sizes and distances making our system an effective solution for on-screen pointing. Keywords: Pointing system, Bluetooth Low Energy, IMU, Wearable, Quaternion, Explicit Complementary Filter, Accelerometer, Gyroscope 1

8

9 Ευχαριστίες Θα ήθελα να ευχαριστήσω όλους όσους συνέβαλαν µε οποιονδήποτε τρόπο στην εκπόνηση αυτής της διπλωµατικής εργασίας. Ευχαριστώ ϑερµά τον επιβλέποντα καθηγητή µου κ. Θεόδωρο Αντωνακόπουλο για τη συνεχή υποστήριξη και ϐοήθεια, για τις υποδείξεις του καθώς και την άριστη συνεργασία µας. Στη συνέχεια ευχαριστώ το ϕίλο και συνάδελφο Α. Πετρόπουλο µε τον οποίο συνεργαστήκαµε στενά καθόλη τη πορεία των διπλωµατικών µας. Επίσης, ϑα ήθελα να ευχαριστήσω τον Χ. αµιανό µαζί µε όλους τους συναδέλφους και ϕίλους µου για τη υποστήριξη και τη χαρά της συνεργασίας µας στα χρόνια των σπουδών µας. Τέλος, η εργασία αυτή αφιερώνεται στους γονείς µου και στην αδερφή µου που ευχαριστώ γιατί υπήρξαν πάντα στήριγµα για µένα και στους οποίους οφείλω όλη την διαδροµή των σπουδών µου µέχρι σήµερα. Πάτρα, Ιούνιος 2016 ηµήτρης Σικερίδης 3

10 4 Ευχαριστίες

11 Περιεχόµενα Περίληψη 5 Abstract 1 Ευχαριστίες 3 1 Εισαγωγή Αντικείµενο της διπλωµατικής Οργάνωση του τόµου I Συλλογή δεδοµένων απο αδρανειακούς αισθητήρες µέσω Bluetooth Low Energy 15 2 Τεχνολογία Bluetooth Low Energy Σχεδιαστικές επιλογές και περιορισµοί Αρχιτεκτονική Bluetooth Low Energy Το ϕυσικό επίπεδο (Physical Layer) Το επίπεδο Ϲεύξης (Link Layer) Κανάλια οµή πακέτου Host Controller Interface (HCI) Logical Link Control and Adaptation Protocol (L2CAP) Security Manager Protocol (SMP) Attribute Protocol Attribute Protocol Data Units Generic Attribute Profile (GATT) Ιεραρχία του GATT Generic Access Profile (GAP) Εργαλεία ανάπτυξης συστήµατος DA14583 Development Board Επεξεργαστής Μνήµες ιεπαφές Power Modes

12 ΠΕΡΙΕΧΟΜΕΝΑ 3.2 IMU BMX SHIMMER Χαρακτηριστικά αισθητήρων Σύστηµα µετάδοσης δεδοµένων Hardware Setup Inter-Integrated Circuits (I2C) IMU Sensor Profile Εφαρµογή διαχείρισης προφίλ Σύστηµα συγχρονισµένης λήψης δεδοµένων Βασικά στοιχεία εφαρµογής Windows Γραφικό περιβάλλον χρήστη οµή BLE εφαρµογής Συγχρονισµός λήψης II Αλγόριθµος εύρεσης ϑέσης κατάδειξης 52 6 Επεξεργασία δεδοµένων αισθητήρων Αδρανειακοί αισθητήρες IMU Γενικά στοιχεία Μοντέλο ϑορύβου αισθητήρων ιαδικασία ϐαθµονόµησης (Calibration) Μέση τιµή µετρήσεων Χαµηλοπερατό ϕίλτρο Butterworth Explicit Complementary Filter Αναπαράσταση προσανατολισµού Συστήµατα αναφοράς (Reference frames) Γωνίες Euler Τετραδόνια (Quaternions) Σχέση Τετραδονίων µε Γωνίες Euler Εκτίµηση προσανατολισµού µε Explicit Complementary Filter Γενική µορφή του συµπληρωµατικού ϕίλτρου και τροποποιήσεις Explicit Complementary Filter µε χρήση Τετραδονίων Εκπαίδευση συστήµατος & Τελικές Εξισώσεις Λειτουργία Φάση εκπαίδευσης συστήµατος Τελική εξίσωση & διάγραµµα αλγορίθµου εύρεσης ϑέσης κατάδειξης

13 ΠΕΡΙΕΧΟΜΕΝΑ III Αξιολόγηση συστήµατος & Συµπεράσµατα 79 9 Πειραµατική διαδικασία και αποτελέσµατα Πείραµα αξιολόγησης συστήµατος Αποτελέσµατα Αισθητήρες Shimmer Πρωτότυπο DA14583 & BMX055 (Custom Prototype) Συγκριτικά αποτελέσµατα Επίλογος Συµπεράσµατα Μελλοντικές Επεκτάσεις Βιβλιογραφία 94 7

14 Κατάλογος Σχηµάτων 2.1 Bluetooth Low Energy protocol stack Κανάλια συχνοτήτων BLE Μηχανή καταστάσεων επιπέδου Ϲεύξης οµή πακέτου επιπέδου Ϲεύξης οµή πακέτου L2CAP Ιεραρχία του GATT DA14583 Development Board DA14583 Block Diagram BMX055 Shuttle Board BMX055 Block Diagram Shimmer Platform Shimmer System Diagram Σύστηµα µετάδοσης δεδοµένων ιασύνδεση BMX055 µε DA Αισθητήρες BMX055 & DA I2C Πακέτο δεδοµένων κίνησης BMX Service overview ιάγραµµα ϱοής µηνυµάτων του BMX Profile Windows Bluetooth Connections Screen Windows 10 Application GUI Σήµατα αισθητήρων πριν την εφαρµογή του transmission restart (a) και µετά (b) Ετεροσυσχέτιση σηµάτων αισθητήρων Λήψη και προεπεξεργασία δεδοµένων αδρανειακών αισθητήρων Απόκριση του χαµηλοπερατού ϕίλτρου Σήµατα αισθητήρα επιτάχυνσης Σήµατα γυροσκοπίου Earth Frame Sensor frame Γωνίες Euler

15 ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ 7.4 Περιστροφή του συστήµατος αναφοράς Β ως προς το σύστηµα αναφοράς Α µε χρήση Τετραδονίων Γενικευµένη µορφή συµπληρωµατικού ϕίλτρου Explicit Complementary Filter Γωνίες συστήµατος κατάδειξης : (a) Κάτοψη (b) Πλάγια όψη Σύστηµα κατάδειξης & Σηµεία εκπαίδευσης Φάση εκπαίδευσης συστήµατος : (a) Πλάγια όψη (b) Κάτοψη Φάση εκπαίδευσης συστήµατος : Πιθανές σχετικές ϑέσεις χρήστη-οθόνης Block διάγραµµα συστήµατος κατάδειξης Πειραµατική διαδικασία Εκτιµώµενες και πραγµατικές ϑέσεις - Απόσταση 1.5 µ - Shimmer Μέσο σφάλµα ευκλείδειας απόστασης συναρτήσει της απόστασης χρήστηοθόνης - Shimmer Οθόνες µε µέγεθος διαγωνίου πολλαπλάσιου του αρχικού (κ=1,2,3,4) (a)-κάτοψη Σηµεία µε κοινή y συντεταγµένη, (b)-πλάγια όψη Σηµεία µε κοινή x συντεταγµένη, (c)-τα σηµεία πάνω στην οθόνη Μέσα σφάλµατα ανα άξονα συναρτήσει των γωνιών ψ, θ - Shimmer Εκτιµώµενες και πραγµατικές ϑέσεις - Απόσταση 1.5 µ - Custom Prototype Μέσο σφάλµα ευκλείδειας απόστασης συναρτήσει της απόστασης χρήστηοθόνης - Custom Prototype Μέσο σφάλµα ανα άξονα συναρτήσει της απόστασης χρήστη-οθόνης - Custom Prototype Μέσο σφάλµα ευκλείδειας απόστασης συναρτήσει της απόστασης χρήστηοθόνης - Σύγκριση αισθητήρων

16 Κατάλογος Πινάκων 3.1 Χαρακτηριστικά αισθητήρων BMX Profile Συσκευές Εκτιµώµενα σφάλµατα όταν η απόσταση και η διαγώνιος της οθόνης αυξάνονται ανάλογα Εκτιµώµενα σφάλατα όταν η απόσταση και το εµβαδόν της οθόνης αυξάνονται ανάλογα Συγκριση απόδοσης αισθητήρων σε οθόνη

17 Κεφάλαιο 1 Εισαγωγή Η πρόοδος στις τεχνολογίες αισθητήρων και ασύρµατων επικοινωνιών επιτρέπει την α- νάπτυξη και ταχεία εξέλιξη wearable συστηµάτων ικανών να καταγράψουν και να επεξεργαστούν τις ανθρώπινες κινήσεις. Ειδικότερα, οι αδρανειακοί αισθητήρες (Inertial Measurement Unit - IMU) τεχνολογίας MEMS (Micro-Electro-Mechanical-Systems), όπως οι αισθητήρες επιτάχυνσης και τα γυροσκόπια, είναι πλέον εξαιρετικά αξιόπιστοι, έχουν µικρό µέγεθος και χαµηλό κόστος. Συνεπώς, οι εν λόγω αισθητήρες µπορούν να χρησιµοποιη- ϑούν σε µεγάλο πλήθος εφαρµογών. Μια τέτοια εφαρµογή αφορά ένα σύστηµα κατάδειξης (pointing system) σε µια οθόνη προβολής χωρίς χρήση συσκευής τύπου laser pointer αλλά µε χρήση αισθητήρων προσαρµοσµένων στο χέρι του οµιλητή. Ενα τέτοιο σύστηµα ϑα επιτρέπει στον χρήστη να δείχνει µε ακρίβεια ένα σηµείο στην οθόνη αυτόµατα όταν ο ίδιος το επιλέξει. Ως εκ τούτου, εµφανίζεται εξαιρετικά χρήσιµο για παρουσιάσεις ή κατά τη διάρκεια διδασκαλίας και ιδιαίτερα σε µέρη όπως αµφιθέατρα και συνεδριακά κέντρα όπου το µέγεθος της οθόνης και η ϑέση του οµιλητή σε σχέση µε αυτή ποικίλουν. 1.1 Αντικείµενο της διπλωµατικής Οι wearable συσκευές έχουν κεντρίσει το ενδιαφέρον τα τελευταία χρόνια ως συσκευές εισόδου ικανές να επιτρέψουν σε χρήστες να χειριστούν υπολογιστικά περιβάλλοντα µέσω κινήσεων του σώµατος. Πολλές προσεγγίσεις που αξιοποιούν αισθητήρες τεχνολογίας MEMS για την υλοποίηση συστηµάτων mouse και κίνησης κέρσορα έχουν προταθεί στη ϐιβλιογραφία [1]. Οι προσεγγίσεις αυτές είτε αφορούν συστήµατα προσαρτηµένα σε σηµεία του σώµατος του χρήστη (κεφάλι [2], [3] ή χέρι [4]), είτε αφορούν χρήση αισθητήρων που είναι µέρος άλλων συσκευών (smartphone, remote control [5]). Στα πλαίσια αυτής της διπλωµατικής αναπτύχθηκε ένα τέτοιο wearable σύστηµα κατάδειξης σηµείων σε οθόνη που ϐασίζεται στην ασύρµατη καταγραφή δεδοµένων κίνησης από δύο αισθητήρες IMUs τοποθετηµένους στο άνω άκρο του χρήστη. Στόχος του συστήµατος είναι η εύρεση πάνω σε οθόνη προβολής του σηµείου το οποίο δείχνει ο χρήστης µε το άνω άκρο του. Η διπλωµατική καθώς και η ανάπτυξη του συστήµατος επικεντρώνεται σε τρία µέρη : στην ασύρµατη µεταφορά δεδοµένων κίνησης, στον αλγόριθµο εύρεσης της προβαλλόµενης 11

18 1.1 Αντικείµενο της διπλωµατικής ϑέσης κατάδειξης στην οθόνη και τέλος, στην αξιολόγηση του συστήµατος µέσω πειραµατικής διαδικασίας. Για την υλοποίηση του συστήµατος αναπτύχθηκε πρωτότυπο σύστηµα τεχνολογίας Bluetooth Low Energy (BLE) [6] συνδυασµένο µε αδρανειακό αισθητήρα IMU (γυροσκόπιο και επιταχυνσιόµετρο). Η τεχνολογία BLE, µε την εµπορική ονοµασία "Bluetooth Smart" υιοθετήθηκε για να παρέχει µικρού εύρους και χαµηλής κατανάλωσης ασύρµατη µετάδοση. Το πρωτόκολλο Bluetooth v4.0 εισήγαγε την τεχνολογία χαµηλής κατανάλωσης στις ϐασικές του προδιαγραφές, επιτρέποντας σε νέες Bluetooth Smart συσκευές να λειτουργούν για µήνες ή και χρόνια µε πολύ µικρές µπαταρίες [7], [8]. ύο τέτοιοι αισθητήρες προσαρτώνται στο άνω άκρο του χρήστη. Για την αποστολή των δεδοµένων κίνησης µέσω πρωτοκόλλου BLE αναπτύχθηκε εφαρµογή που εκτελείται στο ενσω- µατωµένο σύστηµα και αξιοποιώντας τις διαδικασίες του πρωτοκόλλου, διαβάζει τα δεδοµένα από τον IMU αισθητήρα και τα στέλνει σε σταθερό υπολογιστή. Για τη λήψη και καταγρα- ϕή δεδοµένων από τους δύο αισθητήρες αναπτύχθηκε εφαρµογή σε γραφικό περιβάλλον Windows 10 που αξιοποιεί το Bluetooth 4.0 του υπολογιστή. Η εφαρµογή αυτή µε µικρές τροποποιήσεις µπορεί να χρησιµοποιηθεί τόσο σε smartphones, όσο και σε συσκευές tablet που χρησιµοποιούν περιβάλλον Windows 10. Ιδιαίτερη προσοχή δόθηκε στον συγχρονισµό της ϱοής δεδοµένων των αισθητήρων. Την καταγραφή των δεδοµένων ακολουθεί η περαιτέρω επεξεργασία τους [9]. Οι αισθητήρες τύπου MEMS χαρακτηρίζονται από υψηλά επίπεδα ϑορύβου. Για τον λόγο αυτόν πριν τη συλλογή δεδοµένων ακολουθούνται τεχνικές ϐαθµονόµησής (calibration). Τα συλλεγόµενα δεδοµένα υποβάλλονται σε διαδικασίες ϕιλτραρίσµατος για τη µείωση του ϑορύβου. Το επιταχυνσιόµετρα της διάταξης ανιχνεύουν γραµµικές επιταχύνσεις που προκαλούνται από τη κίνηση του άνω άκρου και την επίδραση της ϐαρύτητας, ενώ τα γυροσκόπια ανιχνεύουν τη γωνιακή ταχύτητα του άνω άκρου. Η εύρεση της ϑέσης στην οποία δείχνει ο χρήστης του συστήµατος γίνεται µε την αξιοποίηση του προσανατολισµού του άνω άκρου του. Η εκτίµηση του εν λόγω προσανατολισµού γίνεται µε τον συνδυασµό των σηµάτων των αισθητήρων κίνησης της διάταξης [10]. Στη ϐιβλιογραφία έχουν προταθεί διάφορες µέθοδοι για την εκτίµηση του προσανατολισµού αξιοποιώντας IMU αισθητήρες συµπεριλαµβανοµένων ϕίλτρα Kalman [11] ή χρήση µεθόδων gradient descend [12]. Στο σύστηµα που αναπτύχθηκε στη παρούσα διπλωµατική η εύρεση του προσανατολισµού επιτυγχάνεται µε τη χρήση συµπληρωµατικού ϕίλτρου (Explicit Complementary Filter) υλοποιηµένου µε χρήση τετραδονίων (quaternions) [13], [14]. Η εκτίµηση της τελικής ϑέσης πάνω στην οθόνη γίνεται µε την επίλυση γεωµετρικών εξισώσεων που ϐασίζονται σε χαρακτηριστικά του χώρου όπως η απόσταση χρήστη-οθόνης και το µέγεθος της οθόνης. Για την εύρεση των χαρακτηριστικών αυτών υπήρξε η ανάγκη ανάπτυξης µιας διαδικασίας εκπαίδευσης του συστήµατος. Η διαδικασία αυτή διεξάγεται κατά την αρχικοποίηση του συστήµατος και απαιτεί από τον χρήστη να καταδείξει τις τέσσερις άκρες της οθόνης από το σηµείο στο οποίο ϐρίσκεται. Με αυτόν τον τρόπο υπολογίζεται η σχετική ϑέση χρήστη-οθόνης καθώς και η µεταξύ τους απόσταση, πληροφορίες που στη συνέχεια χρησιµοποιούνται από τον αλγόριθµο εύρεσης της προβαλλόµενης ϑέσης κατάδειξης. Κατά τη διάρκεια της διπλωµατικής έγινε αξιολόγηση της λειτουργίας του συστήµατος µέσω πειραµατικής διαδικασίας που αναπτύχθηκε για αυτόν τον σκοπό. Προκειµένου να 12

19 1.2 Οργάνωση του τόµου επιτευχθεί η µέγιστη δυνατή ακρίβεια κατά τη λήψη των µετρήσεων στη διαδικασία της α- ξιολόγησης, η διάταξη προσαρτήθηκε σε έναν σερβοµηχανισµό PAN/TILT PTU-D46 [15], ο οποίος προσοµοιώνοντας την κίνηση του άνω άκρου προσπέλασε συγκεκριµένες ϑέσεις δείχνοντας σταθερά σηµεία επί της οθόνης προβολής. Σαν µέτρο αξιολόγησης χρησιµοποιήθηκε η ευκλείδεια απόσταση µεταξύ ιδανικής και εκτιµώµενης ϑέσης και η ανάλυση της απόστασης αυτής στους δύο άξονες (x,y) του επιπέδου. Επίσης το πείραµα διεξήχθη για διαφορετικές αποστάσεις από την οθόνη και οδήγησε στην εξαγωγή σχέσεων σφάλµατος οι οποίες χρησιµοποιήθηκαν για τη µελέτη της ακρίβειας του συστήµατος για οθόνες διαφορετικών µεγεθών. Εκτός από το πρωτότυπο που αναπτύχθηκε, η επαλήθευση λειτουργίας του συστήµατος έγινε και µε χρήση αισθητήρων εµπορίου και συγκεκριµένα αισθητήρων Shimmer TM. 1.2 Οργάνωση του τόµου Η εργασία αυτή είναι οργανωµένη σε δέκα κεφάλαια : Στο κεφάλαιο 2 περιγράφονται τα ϐασικά στοιχεία της τεχνολογίας BLE που χρησιµοποιήθηκε για την αποστολή των δεδοµένων. Στο κεφάλαιο 3 παρουσιάζεται το υλικό (hardware) που χρησιµοποιήθηκε για την υλοποίηση του συστήµατος. Στο κεφάλαιο 4 αναλύεται η δοµή και λειτουργία της εφαρµογής αποστολής δεδοµένων κίνησης που εκτελείται στο ενσωµατωµένο σύστηµα BLE. Στο κεφάλαιο 5 αναλύεται η δοµή και λειτουργία της εφαρµογής καταγραφής δεδοµένων κίνησης που εκτελείται σε περιβάλλον Windows 10. Στο κεφάλαιο 6 περιγράφεται η επεξεργασία στην οποία υποβάλλονται τα δεδοµένα κίνησης πριν αξιοποιηθούν στα επόµενα στάδια. Στο κεφάλαιο 7 παρουσιάζεται το υπόβαθρο πίσω από την εκτίµηση προσανατολισµού µέσω αισθητήρων IMU και περιγράφεται η µέθοδος που χρησιµοποιήθηκε στο παρόν σύστη- µα. Στο κεφάλαιο 8 περιγράφεται η ϕάση εκπαίδευσης που χρησιµοποιεί το σύστηµα κατά την εκκίνησή του. Στο κεφάλαιο 9 γίνεται περιγραφή της πειραµατικής µεθόδου αξιολόγησης του συστήµατος και παρατίθενται τα αποτελέσµατα της εν λόγω αξιολόγησης. Τέλος, στο κεφάλαιο 10 παρουσιάζονται τα συµπεράσµατα αυτής της διπλωµατικής εργασίας καθώς και µελλοντικές επεκτάσεις που µπορούν να ϐελτιώσουν την απόδοση του συστήµατος κατάδειξης σηµείων σε οθόνη. Τα κεφάλαια 3 και 4 υλοποιήθηκαν σε συνεργασία µε τον ϕοιτητή Α. Πετρόπουλο ως µέρος και της δικής του διπλωµατικής µε τίτλο «Εύρεση σχετικής ϑέσης στο χώρο µε χρήση αισθητήρων και τεχνολογία Bluetooth Smart». 13

20 1.2 Οργάνωση του τόµου Μέρος της παρούσας διπλωµατικής έγινε δεκτό και ϑα παρουσιαστεί στο IEICE Information and Communication Technology Forum 2016 που ϑα πραγµατοποιηθεί στη Πάτρα. Η δηµοσίευση ϕέρει τον τίτλο An IMU-based Wearable Presentation Pointing Device. 14

21 Μέρος I Συλλογή δεδοµένων απο αδρανειακούς αισθητήρες µέσω Bluetooth Low Energy 15

22 Κεφάλαιο 2 Τεχνολογία Bluetooth Low Energy Το Bluetooth Low Energy (BLE) ή Bluetooth Smart είναι µία µετεξέλιξη της παραδοσιακής ασύρµατης τεχνολογίας Bluetooth και ενώ δανείζεται το brand name και πολλά τεχνολογικά στοιχεία από το προκάτοχό του, αποτελείται ουσιαστικά από έναν τελείως δια- ϕορετικό σχεδιασµό που επικεντρώνεται σε χαµηλότερη κατανάλωση ενέργειας, µικρότερο κόστος και µειωµένη πολυπλοκότητα για τον developer [6], [7], [8], [16]. Η τεχνολογία αυτή έχει γνωρίσει µεγάλη άνθιση τη τελευταία πενταετία και συνδυάστηκε µε την εκρηκτική α- νάπτυξη συσκευών όπως τα smartphones, tablets και γενικότερα του wearable computing. Ηδη έχει ξεκινήσει η σταδιακή µετάβαση των συσκευών που υποστηρίζουν τη τεχνολογία αυτή στη νέα έκδοση Bluetooth 4.1, ενώ αυτή τη περίοδο αναπτύσσεται και η έκδοση 4.2. Οι νέες εκδόσεις παρουσιάζουν ϐελτιώσεις σε κατανάλωση ενέργειας και αποδοτικότητα αλλά και στην λειτουργικότητα µε τη δυνατότητα απευθείας επικοινωνίας µεταξύ peripheral συσκευών (έκδοση 4.1) και τη µελλοντική δυνατότητα χρήσης του Bluetooth πάνω από Internet Protocol (IPv6) µε στόχο την απευθείας σύνδεση µε το διαδίκτυο (έκδοση 4.2). 2.1 Σχεδιαστικές επιλογές και περιορισµοί Το Bluetooth Low Energy σχεδιάστηκε εξαρχής µε γνώµονα τη µείωση της κατανάλωσης ενέργειας. Ενας άλλος παράγοντας που ελήφθη υπόψη ήταν το χαµηλό κόστος, αφού στόχος της τεχνολογίας είναι να χρησιµοποιηθεί σε ϕτηνά προϊόντα µαζικής παραγωγής. Το ϐασικό, όµως, χαρακτηριστικό και ο ϐασικός στόχος είναι η ελάχιστη δυνατή κατανάλωση ενέργειας. Αυτή η σχεδιαστική επιλογή είναι εµφανής σε όλα τα σηµεία του προτύπου και σε κάθε στρώµα της στοίβας πρωτοκόλλων, από το ϕυσικό επίπεδο ως το επίπεδο εφαρµογής όπου συγκεκριµένα χαρακτηριστικά και λειτουργίες επελέγησαν, ακριβώς λόγω της συµβολής τους στην εξοικονόµηση ενέργειας. Οπως και στην περίπτωση του Bluetooth Κλασικό, το SIG όρισε στο πρότυπο ολόκληρη τη στοίβα πρωτοκόλλων που πρέπει να υλοποιείται από τις συµβατές συσκευές. Η πολιτική αυτή είναι διαφορετική από αυτήν, για παράδειγµα, του WiFi ή του Ethernet, που ορίζουν µόνο συγκεκριµένα στρώµατα (Ϲεύξης δεδοµένων και ϕυσικό). Ακολουθούν µερικά γενικά χαρακτηριστικά και περιορισµοί που διέπουν το πρωτόκολλο. Το πρώτο από αυτά είναι η απλότητα. Σε αντίθεση µε το Bluetooth Classic, που είναι 16

23 2.1 Σχεδιαστικές επιλογές και περιορισµοί ένα αρκετά πολύπλοκο πρωτόκολλο επικοινωνίας, το BLE έχει απλοποιήσει πολλές από τις διαδικασίες. Η απλότητα αυτή σηµαίνει χαµηλή κατανάλωση ενέργειας, αφού απαιτείται εκτέλεση λιγότερων εντολών από το µικροεπεξεργαστή της συσκευής, αλλά και χαµηλότερο κόστος, αφού η δηµιουργία του απαραίτητου λογισµικού είναι ευκολότερη και το ίδιο το firmware µικρότερο σε µέγεθος, απαιτώντας λιγότερη µνήµη. Εφόσον µιλάµε για ασύρµατη τεχνολογία, πρέπει να λάβουµε υπόψη ότι το πιο ενεργοβόρο κοµµάτι του συστήµατος είναι το κύκλωµα αποστολής και λήψης δεδοµένων στο ϕυσικό επίπεδο. Οταν το ϱάδιο είναι α- νοιχτό και στέλνει ή ελέγχει το ϕάσµα για απεσταλµένα πακέτα, τότε έχουµε την µεγαλύτερη κατανάλωση ενέργειας. Αυτό σηµαίνει ότι το ϱάδιο ϑα πρέπει να παραµένει κλειστό για όσο το δυνατό µεγαλύτερο διάστηµα, κάτι το οποίο έχει καθορίσει σε µεγάλο ϐαθµό τον τρόπο λειτουργίας του BLE. Ενα άλλο γενικό χαρακτηριστικό του BLE, που προκύπτει επίσης από την ανάγκη µείωσης της κατανάλωσης ενέργειας, είναι η ασυµµετρία που παρουσιάζει σε ό, τι αφορά τον master και τον slave. Ο master είναι συνήθως µια συσκευή τύπου smartphone ή tablet, η οποία έχει µεγάλη υπολογιστική ισχύ και λειτουργεί µε επαναφορτιζόµενη µπατα- ϱία υψηλής χωρητικότητας. Αντίθετα, ο slave, είναι συνήθως µια συσκευή µικρού µεγέθους και υπολογιστικής ισχύος, η οποία λειτουργεί µε µια τυπική µπαταρία του εµπορίου. Οπως συµβαίνει και σε κάθε είδους τεχνολογία που σχεδιάζεται γύρω από ένα συγκεκρι- µένο χαρακτηριστικό, έτσι και στην περίπτωση του BLE, έγιναν αναγκαστικές υποχωρήσεις σε ορισµένους τοµείς. Ετσι, το BLE έχει κάποιους περιορισµούς, που είναι απαραίτητο να γνωρίζει ένας προγραµµατιστής, προκειµένου να ελέγξει αν η συγκεκριµένη τεχνολογία είναι κατάλληλη για την εφαρµογή που προτίθεται να δηµιουργήσει. Ο ϐασικότερος περιορισµός του BLE είναι στο throughput δεδοµένων. Η µέγιστη ϑεωρητική ταχύτητα µεταφοράς δεδο- µένων από µια συσκευή σε µία άλλη είναι αρκετά µικρή. Σε πραγµατικά συστήµατα, µπορεί να τίθενται επιπλέον περιορισµοί από το υλικό ή το λογισµικού, οι οποίοι να µειώνουν ακόµη περισσότερο τη µέγιστη δυνατή ταχύτητα. Με άλλα λόγια, το BLE δεν είναι κατάλληλο για εφαρµογές που απαιτούν την αποστολή µεγάλων ποσοτήτων δεδοµένων σε µικρό χρονικό διάστηµα. Και δεν είναι κατάλληλο ακριβώς επειδή δε σχεδιάστηκε για τέτοιες εφαρµογές, αλλά για τη µεταφορά µικρών ποσοτήτων δεδοµένων, της τάξης των µερικών bytes, ανά σχετικά µεγάλα χρονικά διαστήµατα (π.χ. µία ϕορά ανά δευτερόλεπτο). Τα δεδοµένα αυτά µπορεί αν είναι δεδοµένα κατάστασης, όπως το αποτέλεσµα της µέτρησης ενός αισθητήρα ή δεδοµένα εντολών, όπως µια εντολή στον αισθητήρα να πραγµατοποιήσει µέτρηση άµεσα και να στείλει το αποτέλεσµα. Ενας δεύτερος περιορισµός αφορά την εµβέλεια των συσκευών BLE. Εδώ ϐέβαια ϑα πρέπει να αναφέρουµε ότι, εξαιτίας διαφορετικής διαµόρφωσης και τρόπου χρήσης του ϕάσµατος, το BLE έχει µέγιστη ϑεωρητική εµβέλεια µεγαλύτερη από αυτή του Bluetooth Classic. Επειδή όµως µας ενδιαφέρει η ελαχιστοποίηση της κατανάλωσης ενέργειας, οι συσκευές σχεδιάζονται συνήθως, µε τέτοιο τρόπο ώστε να µεταδίδουν στη µέγιστη ισχύ που είναι απαραίτητη για την κάθε περίπτωση χρήσης. 17

24 2.2 Αρχιτεκτονική Bluetooth Low Energy 2.2 Αρχιτεκτονική Bluetooth Low Energy Η αρχιτεκτονική του Bluetooth Low Energy είναι σχεδιασµένη µε γνώµονα την απλότητα. Οπως ϕαίνεται από το Σχήµα 2.1 χωρίζεται σε τρία ϐασικά µέρη : Controller, Host και Application. Σχήµα 2.1: Bluetooth Low Energy protocol stack Controller: Αποτελεί τη διεπαφή του ϕυσικού επιπέδου (physical layer). Περιέχει αναλογικά και ψηφιακά εξαρτήµατα και το υλικό για να υποστηρίξει τη µετάδοση και λήψη των πακέτων. Ο Controller επικοινωνεί µέσω της κεραίας µε το εξωτερικό περιβάλλον και µε τα ανώτερα επίπεδα του host µε το Host Controller Interface. Αποτελείται από τα εξής επίπεδα : Host Controller Interface (HCI), Controller side Link Layer (LL) Physical Layer (PHY) Host: Αποτελείται από ένα σύνολο επιπέδων-πρωτοκόλλων που είναι επιφορτισµένα µε λειτουργίες πολύπλεξης (multiplexing), πιστοποίησης (authentication) και ασφαλών συνδέσεων. Επίσης το κοµµάτι αυτό της στοίβας πρωτοκόλλων ορίζει τους τρόπους που τα ανώτερα επίπεδα αλληλεπιδρούν µε τον Controller. Ο Host αποτελείται από τα εξής επίπεδα : Generic Access Profile (GAP) 18

25 2.3 Το ϕυσικό επίπεδο (Physical Layer) Generic Attribute Profile (GATT) Logical Link Control and Adaptation Protocol (L2CAP) Attribute Protocol (ATT) Security Manager (SM) Host Controller Interface (HCI), Host side Application: Το επίπεδο εφαρµογής είναι όπως και σε άλλους τύπους συστηµάτων το υψηλότερο επίπεδο και περιέχει τις διάφορες διεπαφές χρήστη και χειρίζεται όλα τα απαραίτητα δεδοµένα για την οµαλή λειτουργία της εκάστοτε εφαρµογής. Στη συνέχεια ϑα γίνει η περιγραφή των στρωµάτων και πως αυτά αλληλεπιδρούν για να συνθέσουν το BLE. 2.3 Το ϕυσικό επίπεδο (Physical Layer) Το ϕυσικό επίπεδο περιέχει τα αναλογικά επικοινωνιακά κυκλώµατα που είναι υπεύθυνα για τη διαµόρφωση και αποδιαµόρφωση των αναλογικών σηµάτων καθώς και τον µετασχηµατισµό τους σε ψηφιακά ώστε να πραγµατοποιηθεί η επικοινωνία µεταξύ ποµπού και δέκτη. Το Bluetooth Low Energy χρησιµοποιεί το επονοµαζόµενο ISM (industrial, scientific and medical) εύρος συχνοτήτων, το οποίο εκτείνεται από τα 2.4 GHz µέχρι τα GHz. Το συγκεκριµένο εύρος συχνοτήτων χωρίζεται από το πρότυπο σε 40 κανάλια µε εύρος ίσο µε 2 MHz το καθένα όπως ϕαίνεται στο Σχήµα 2.2. Σχήµα 2.2: Κανάλια συχνοτήτων BLE Τα 37 πρώτα κανάλια χρησιµοποιούνται για τη µετάδοση των δεδοµένων ενώ τα τρία τελευταία (37, 38, 39) χρησιµοποιούνται για το advertising, τη διαδικασία δηλαδή µε την οποία οι συσκευές ενηµερώνουν το περιβάλλον για την παρουσία, την ταυτότητα και την ετοιµότητά τους για σύνδεση. Αναφορικά µε τη διαµόρφωση το πρότυπο του Bluetooth Low Energy χρησιµοποιεί µία παραλλαγή της ψηφιακής διαµόρφωσης FSK (Frequency Shift Keying) που ονοµάζεται GFSK (Gaussian Frequency Shift Keying) και χρησιµοποιεί ένα γκαουσιανό ϕίλτρο έτσι 19

26 2.4 Το επίπεδο Ϲεύξης (Link Layer) ώστε να οµαλοποιούνται οι µεταβάσεις από ένα σύµβολο στο επόµενο αποφεύγοντας έτσι την πιθανότητα διασυµβολικής παρεµβολής (inter-symbol interference) στον δέκτη εξαιτίας της απότοµης αλλαγής. Η κωδικοποίηση ωστόσο είναι ακριβώς η ίδια όπως στην FSK, δηλαδή κάθε bit ή σύµβολο κωδικοποιείται µε ϐάση την απόκλιση από µία ϑεµελιώδη συχνότητα (carrier), που στο BLE είναι η κεντρική συχνότητα του χρησιµοποιούµενου καναλιού. Στη µπάντα των 2.4GHz το πρότυπο του BLE ορίζει την µέγιστη ισχύ εκποµπής στα 10 dbm (10mW), ενώ ϑέτει ως ελάχιστη τιµή τα -20 dbm (10µW) για να διασφαλίσει την ορατότητα µιας συσκευής από τις γειτονικές της. Στην πλευρά του δέκτη ορίζεται επίπεδο ευαισθησίας λήψης µικρότερο ή ίσο των -70dBm για bit error rate (BER) ίσο µε 0.1%. Αυτό σηµαίνει ότι ένας δέκτης ϑα πρέπει να µπορεί να λαµβάνει σήµα -70dBm (100pW) και να το αποκωδικοποιεί µε µέγιστη ανοχή το ένα λάθος ανά χίλια bit. Θεωρητικά το ανώτερο όριο ταχύτητας εκποµπής είναι το 1 Mbps, που σηµαίνει ότι κάθε bit διαρκεί 1 µs. Η επιλογή της συγκεκριµένης ταχύτητας αποτελεί ακόµα ένα σηµείο, στο οποίο ο στόχος της χαµηλής κατανάλωσης ενέργειας υπήρξε σηµαντικός παράγοντας. Στη πράξη, ωστόσο, η απόδοση αυτή δεν είναι πραγµατοποιήσιµη σε ότι αφορά τη διεκπεραιωτικότητα σε πλαίσια πραγµατικών εφαρµογών κυρίως λόγω της ύπαρξης πολλών overhead σε κάθε ένα από τα διαφορετικά επίπεδα από τα οποία περνά η χρήσιµη πληροφορία. 2.4 Το επίπεδο Ϲεύξης (Link Layer) Το επίπεδο Ϲεύξης δεδοµένων καθορίζει τον τρόπο µε τον οποίο δύο τερµατικά-συσκευές πρέπει να εκµεταλλευτούν το ϕυσικό επίπεδο (κύκλωµα) προκειµένου να επιτευχθεί η µεταξύ τους σύνδεση και επικοινωνία. Η λειτουργία του επιπέδου Ϲεύξης δεδοµένων του BLE µπορεί να περιγραφεί µε τη ϐοήθεια µίας µηχανής καταστάσεων, η οποία αποτελείται από πέντε καταστάσεις : Standby State: Σε αυτή την κατάσταση, το επίπεδο Ϲεύξης δεν εκπέµπει ούτε λαµ- ϐάνει δεδοµένα. Το επίπεδο Ϲεύξης µπορεί να περάσει σε αυτή την κατάσταση από οποιαδήποτε άλλη κατάσταση. Είναι το κέντρο της µηχανής καταστάσεων. Advertising State: Σε αυτή την κατάσταση, το επίπεδο Ϲεύξης εκπέµπει δεδοµένα advertising, χρησιµοποιώντας τα advertising κανάλια. Επίσης, µπορεί να ελέγχει το µέσο για απαντήσεις στα advertising πακέτα που µόλις έστειλε, οι οποίες στέλνονται στο ίδιο κανάλι όπου έγινε η αρχική µετάδοση. Μια συσκευή µε το επίπεδο Ϲεύξης σε κατάσταση advertising ονοµάζεται advertiser. Scanning State: Σε αυτή την κατάσταση, το επίπεδο Ϲεύξης ελέγχει τα advertising κανάλια, για τυχόν advertising πακέτα από συσκευές που ϐρίσκονται σε κατάσταση advertising. Μια συσκευή µε το επίπεδο Ϲεύξης σε κατάσταση scanning ονοµάζεται scanner. Initiating State: Σε αυτή την κατάσταση, το επίπεδο Ϲεύξης ελέγχει τα advertising κανάλια, για τυχόν πακέτα από συγκεκριµένη συσκευή, µε σκοπό να απαντήσει, στέλνοντας κατάλληλα πακέτα, προκειµένου να εκκινήσει µια σύνδεση µε τη συσκευή αυτή. Μια συσκευή µε το επίπεδο Ϲεύξης σε κατάσταση initiating ονοµάζεται initiator. 20

27 2.4 Το επίπεδο Ϲεύξης (Link Layer) Connection State: Η κατάσταση αυτή µπορεί να ακολουθήσει τις καταστάσεις initiating ή advertising. Στην κατάσταση αυτή, η συσκευή ϑεωρείται ότι ϐρίσκεται σε σύνδεση. Μέσα σε αυτή την κατάσταση ορίζονται οι ϱόλοι του master και του slave. Master είναι η συσκευή που περνάει σε connection state από το initiating state, ενώ slave είναι η συσκευή που περνάει σε connection state από το advertising state. Το επίπεδο Ϲεύξης σε ϱόλο master επικοινωνεί µε µία συσκευή, η οποία ϐρίσκεται σε ϱόλο slave, καθορίζοντας τις παραµέτρους της σύνδεσης. Συνεπώς το επίπεδο Ϲεύξης ορίζει τους διακριτούς ϱόλους Advertiser, Scanner, Master, Slave. Στο Σχήµα 2.3 ϕαίνονται οι καταστάσεις του επιπέδου Ϲεύξης καθώς και οι δυνατές µεταβάσεις του. Scanning Advertising Standby Connection failed / Start Connection Initiating Disconnection Connection Received (Role: Slave) Connection Connection Successful (Role: Master) Σχήµα 2.3: Μηχανή καταστάσεων επιπέδου Ϲεύξης Κανάλια Οπως είδαµε στην περιγραφή του ϕυσικού επιπέδου, το BLE χωρίζει το ISM ϕάσµα σε 40 κανάλια εύρους 2MHz. Τα κανάλια αυτά διαχωρίζονται στο επίπεδο Ϲεύξης σε δύο τύπους, τα 21

28 2.4 Το επίπεδο Ϲεύξης (Link Layer) advertising κανάλια, 3 τον αριθµό (µε αριθµούς 37, 38 και 39) και τα κανάλια δεδοµένων, τα υπόλοιπα 37 (µε αριθµούς από 0 έως 36). Οι ϑέσεις των καναλιών στο ϕάσµα είναι προκαθορισµένες και επιλεγµένες µε τέτοιο τρόπο, ώστε το πρωτόκολλο να µην κινδυνεύει να καταστεί ανενεργό από παρεµβολές άλλων συσκευών που χρησιµοποιούν το ISM ϕάσµα, όπως για παράδειγµα το WiFi, του οποίου τα κυριότερα κανάλια (1, 6 και 11) καλύπτουν συγκεκριµένες περιοχές του ϕάσµατος. Προκειµένου να παρακάµψει τις παρεµβολές από όλες τις υπόλοιπες συσκευές, που χρησιµοποιούν την ίδια περιοχή του ϕάσµατος, το BLE χρησιµοποιεί την τεχνική του Adaptive Frequency Hopping. Το Frequency Hopping είναι µία τεχνική σύµφωνα µε την οποία η συχνότητα µετάδοσης, άρα και το κανάλι, αλλάζει ανά τακτά χρονικά διαστήµατα, προκειµένου να αποφεύγονται απότοµες παρεµβολές, όπως είναι συνήθως η κίνηση του WiFi. Το Adaptive Frequency Hopping λαµβάνει υπόψη και την πραγµατική κατάσταση του ϕάσµατος από πλευράς παρεµβολών µε σκοπό να αποφεύγονται περιοχές του ϕάσµατος που εκείνη τη στιγµή είναι µη διαθέσιµες. Αυτό γίνεται µε remapping των µη διαθέσιµων καναλιών στα διαθέσιµα, µε κατάλληλο τρόπο, ώστε σε κάθε αλλαγή συχνότητας να έχουµε µετάβαση σε διαφορετικό µέρος του ϕάσµατος. Η εξίσωση που δίνει την επόµενη συχνότητα είναι η ακόλουθη : f n+1 = (f n + hop)mod37 (2.1) Το 37 είναι πρώτος αριθµός και ως εκ τούτου η συγκεκριµένη ακολουθία περνάει από όλα τα κανάλια δεδοµένων κάθε 37 ϐήµατα. Το hop είναι η παράµετρος εκείνη που καθορίζει πόσο µακριά ϑα είναι το επόµενο κανάλι από το τρέχον. Η τιµή αυτή κυµαίνεται από 5 έως 16 και αποτελεί παράµετρο της σύνδεσης οµή πακέτου Η δοµή του BLE πακέτου για το επίπεδο Ϲεύξης ϕαίνεται στο Σχήµα 2.4 µε τα µεγέθη να είναι σε bits. Σχήµα 2.4: οµή πακέτου επιπέδου Ϲεύξης Ο διαχωρισµός µεταξύ πακέτων δεδοµένων και advertising δεν γίνεται µε ϐάση κάποια σηµαία στο ίδιο το πακέτο αλλά µε ϐάση το κανάλι στο οποίο µεταδίδονται. Τα advertising πακέτα µπορούν να µεταδίδονται µόνο στα advertising κανάλια και, αντίστοιχα, τα πακέτα δεδοµένων µπορούν να µεταδίδονται µόνο στα data κανάλια. 22

29 2.5 Host Controller Interface (HCI) 2.5 Host Controller Interface (HCI) Το Host Controller Interface (HCI) είναι η προτυποποιηµένη διεπαφή µεταξύ του host και του controller µιας BLE συσκευής, µέσω της οποίας γίνεται η επικοινωνία των δύο τµηµάτων του συστήµατος, προκειµένου να εκτελεστούν λειτουργίες του BLE και να γίνει ανταλλαγή δεδοµένων, όπως προβλέπεται από το πρότυπο. Οπως έχουµε ήδη αναφέρει, το πρότυπο του BLE ορίζει µια σειρά από διαφορετικά transport layers, πάνω από τα οποία µπορεί να πραγµατοποιηθεί η επικοινωνία του HCI. Τα transport layers που ορίζονται είναι τα UART, USB, Secure Digital (SD) και 3-wire UART. Σε BLE συσκευές, οι οποίες ακολουθούν την αρχιτεκτονική του ενός chipset, δεν είναι απαραίτητο να υπάρχει το HCI ως physical transport, αφού η επικοινωνία µεταξύ host και controller µπορεί να υλοποιηθεί εσωτερικά, µε τρόπο που ορίζει ο κατασκευαστής της συσκευής. Στο HCI ορίζονται τρεις τύποι πακέτων. Επίσης, για κάθε σύνδεση µεταξύ συσκευών, δηµιουργείται από το HCI ένα κανάλι, το οποίο χρησιµοποιείται για την αναγνώριση των δεδοµένων που ανταλλάσσονται. Οι τύποι πακέτων είναι οι εξής : Command: Στέλνονται από τον host στον controller, προκειµένου ο πρώτος να ελέγξει ή να ϱυθµίσει γενικές λειτουργίες του δεύτερου, να Ϲητήσει την εκτέλεση κάποιας συγκεκριµένης διαδικασίας και να χειριστεί τις ενεργές συνδέσεις στις οποίες συµµετέχει αλλάζοντας παραµέτρους και εκτελώντας λειτουργίες του BLE. Event: Στέλνονται από τον controller στον host για την ενηµέρωση του δεύτερου για γεγονότα που σχετίζονται µε τη λειτουργία του controller ή µε διαδικασίες του BLE.Τα περισσότερα από τα events, που ορίζονται στο πρότυπο, είναι απαντήσεις σε αντίστοιχες εντολές που στέλνονται από τον host. Data: Τα πακέτα αυτά περιέχουν δεδοµένα που ανταλλάσσονται µεταξύ συσκευών,οι οποίες είναι συνδεµένες µέσω του BLE. Στέλνονται και από τις δυο πλευρές από τον host, όταν ϑέλει να στείλει δεδοµένα στην αποµακρυσµένη συσκευή και από το controller, όταν λαµβάνονται δεδοµένα από αυτή. 2.6 Logical Link Control and Adaptation Protocol (L2CAP) Ο ϱόλος του L2CAP είναι η πολύπλεξη των δεδοµένων των πρωτοκόλλων των ανώτερων επίπεδων, καθώς και η διάσπαση και ανασύνθεση πακέτων δεδοµένων, τα οποία είναι µεγαλύτερα από το µέγιστο µέγεθος πακέτου του επιπέδου Ϲεύξης. Για πακέτα δεδοµένων το µέγιστο µέγεθος πακέτου είναι 27 bytes. Τα advertising πακέτα στέλνονται απευθείας από το επίπεδο Ϲεύξης, οπότε δεν περνάνε από το L2CAP. Η λειτουργία του L2CAP ϐασίζεται στην έννοια του καναλιού. Κάθε κανάλι έχει ένα αναγνωριστικό (Channel Identifier CID), το οποίο χρησιµοποιείται από το L2CAP για τη διάκριση των διαφορετικών καναλιών. Το CID είναι ένας αριθµός 16 bit. ύο συσκευές µπορούν να έχουν πολλά κανάλια ενεργά ταυτόχρονα. Η πολύπλεξη των δεδοµένων των πρωτοκόλλων επιτυγχάνεται µε τη χρήση διαφορετικών καναλιών για το καθένα. Η µορφή του L2CAP πακέτου ϕαίνεται στο Σχήµα

30 2.7 Security Manager Protocol (SMP) Length 2 bytes CID 2 bytes Data bytes Σχήµα 2.5: οµή πακέτου L2CAP Τα τέσσερα πρώτα bytes αποτελούν το ϐασικό L2CAP header, το οποίο υπάρχει σε όλα τα πακέτα L2CAP. Το συγκεκριµένο overhead των τεσσάρων bytes, σηµαίνει οτι το ωφέλιµο ϕορτίο, που µπορεί να σταλεί σε ένα πακέτο του επιπέδου Ϲεύξης είναι 27-4 = 23 bytes 2.7 Security Manager Protocol (SMP) Το Security Manager Protocol (SMP) ορίζει τις διαδικασίες, µε τις οποίες οι BLE συσκευές µπορούν να δηµιουργήσουν και να ανταλλάξουν κλειδιά κρυπτογράφησης. Τα κλειδιά αυτά µπορούν να χρησιµοποιηθούν για λειτουργίες, όπως κρυπτογράφηση των δεδοµένων που ανταλλάσσονται σε µια σύνδεση, πιστοποίηση αυθεντικότητας του αποστολέα, ενώ δίνεται και η δυνατότητα απόκρυψης της δηµόσιας διεύθυνσης µιας συσκευής, ώστε να αποτρέπεται η παρακολούθησή της από κακόβουλους χρήστες. Το SMP περιγράφει όλες τις διαδικασίες και τους αλγόριθµους που χρησιµοποιούνται για την επίτευξη του απαιτούµενου από την εκάστοτε εφαρµογή επίπεδου ασφάλειας. Ο αλγόριθµος κρυπτογράφησης που χρησιµοποιείται είναι ο AES-128. Επίσης, το SMP σχετίζεται άµεσα µε λειτουργίες του προτύπου, που ϐασίζονται σε κλειδιά κρυπτογράφησης, όπως οι διαδικασίες pairing και bonding. Κατά τη διαδικασία του pairing δύο συσκευές ανταλλάσσουν κατάλληλα κλειδιά, ώστε να µπορούν να επικοινωνούν µεταξύ τους πάνω από ένα ασφαλές, κρυπτογραφηµένο κανάλι. Αν τα κλειδιά αυτά αποθηκευτούν στις συσκευές, τότε αυτές µπορούν να τα χρησιµοποιήσουν ξανά, κατά την επόµενη σύνδεση, αναγνωρίζοντας µε τη ϐοήθειά τους την αποµακρυσµένη συσκευή. Σε αυτήν την περίπτωση οι συσκευές ϑεωρούνται bonded. 2.8 Attribute Protocol Το Attribute Protocol (ATT) ορίζει µια ϐασική δοµή, το attribute και τις διαδικασίες µε τις οποίες µία συσκευή µπορεί να ανακαλύψει τα attributes που ϐρίσκονται αποθηκευµένα σε µια αποµακρυσµένη συσκευή και στη συνέχεια, να τα διαβάσει, να τα µεταβάλει ή να δεχτεί ειδοποιήσεις σχετικά µε αυτά. Οι δύο αυτές συσκευές αποτελούν και τους δύο ϱόλους που ορίζονται στο πρωτόκολλο, δηλαδή τους server και client. Ο ATT server είναι η συσκευή που περιέχει τα attributes, ενώ ο ATT client είναι η συσκευή που επικοινωνεί µε το server, χρησιµοποιώντας το Attribute Protocol, προκειµένου να εκτελέσει τις παραπάνω λειτουργίες. 24

31 2.8 Attribute Protocol Attribute Ενα attribute είναι ένα πλαίσιο δεδοµένων το οποίο αποτελείται από : Attribute Type: Ο τύπος ενός attribute καθορίζεται µε τη ϐοήθεια ενός Universally Unique Identifier (UUID). Τα UUID είναι αναγνωριστικοί αριθµοί των 128 bit (16 bytes), οι οποίοι παράγονται µε τέτοιο τρόπο, ώστε είναι δύσκολο να δηµιουργηθούν όµοια UUIDs, για αυτό και ϑεωρούνται µοναδικοί. Το Bluetooth SIG ορίζει µια σειρά από UUIDs για διάφορους τύπους attributes που υπάρχουν στο BLE. Ενας developer µπορεί να ορίσει επιπλέον UUIDs για τους δικούς του τύπους δεδοµένων. Λόγω του µεγάλου µεγέθους των UUIDs, το πρότυπο δίνει τη δυνατότητα χρήσης µικρότερων µεγεθών, 16 bit (έκδοση 4.0) και 32 bit (έκδοση 4.1). Τέτοια είναι όλα τα UUIDs, που ορίζονται από το SIG, και χρησιµοποιούνται στο ίδιο το πρότυπο και στα διάφορα profiles που έχουν γίνει αποδεκτά ως πρότυπα. Η µείωση αυτή του µεγέθους είναι σηµαντική, καθώς µειώνει αντίστοιχα το χώρο που χρειάζεται για να αποθηκευτούν τα attributes, µειώνει το χρόνο αναζήτησης σε αυτά και, το κυριότερο, µειώνει το κόστος επικοινωνίας, αφού δε χρειάζεται να στέλνονται ολόκληρα τα UUIDs. Attribute Value: Η τιµή ενός attribute είναι ένας πίνακας από bytes που µπορεί να έχει σταθερό ή µεταβλητό µέγεθος µε µέγιστο τα 512 bytes. Τα δεδοµένα που αποθηκεύονται στην τιµή του attribute είναι αδιάφορα για το πρωτόκολλο και ορίζονται από ανώτερα επίπεδα, συνήθως σε συνάρτηση µε το UUID, που δίνει τον τύπο του attribute. Ενα attribute value που δε χωράει σε ένα πακέτο (Protocol Data Unit PDU) µπορεί να σταλεί σε περισσότερα πακέτα. Attribute Handle: Το attribute handle είναι µία τιµή 16 bit, η οποία χρησιµεύει ως α- ναγνωριστικό για το συγκεκριµένο attribute. Κάθε attribute έχει το δικό του µοναδικό handle. Η τιµή µηδέν είναι δεσµευµένη και δεν επιτρέπεται, οπότε ο µέγιστος αριθµός attributes σε ένα ATT server είναι Στην πράξη, ϐέβαια, οι περισσότεροι ATT servers περιέχουν µερικές δεκάδες attributes. Οπου απαιτείται η επιλογή κάποιου attribute στις λειτουργίες του πρωτοκόλλου χρησιµοποιούνται τα attribute handles. Κατά µία έννοια λειτουργούν ως διευθύνσεις των attributes. Το µικρό µέγεθος των handles ϐοηθάει στη µείωση του κόστους επικοινωνίας. Permissions: Τα permissions ενός attribute ορίζουν τις επιτρεπτές ενέργειες που µπο- ϱούν να γίνουν πάνω σε αυτό. Είναι ουσιαστικά ένας συνδυασµός από άδειες πρόσβασης, κρυπτογράφησης, πιστοποίησης αυθεντικότητας και εξουσιοδότησης. Τα access permissions αφορούν τη δυνατότητα του client να διαβάζει ή να γράφει στο συγκεκριµένο attribute, όπως επίσης το αν µπορεί να γίνει notification ή indication του attribute. Ετσι, µπορούµε να έχουµε permissions του τύπου : No access allowed Readable Writeable 25

32 2.8 Attribute Protocol Readable and writable Τα encryption permissions αφορούν το αν τα δεδοµένα του attribute µπορούν να σταλούν πάνω από µη κρυπτογραφηµένο κανάλι. Οι δυνατοί τύποι permissions είναι : No encryption required Encryption required Οι δυνατοί τύποι authentication permissions είναι : No Authentication Required Authentication Required Τέλος, τα authorization permissions καθορίζουν αν η επιθυµητή ενέργεια πάνω στο attribute απαιτεί ή όχι authorization. Οι δυνατοί τύποι permissions είναι : No Authorization Required Authorization Required Protocol Data Units Προκειµένου να εκτελεστούν οι λειτουργίες που προβλέπονται από το πρωτόκολλο, γίνεται ανταλλαγή πακέτων (Protocol Data Unit PDU) µεταξύ των client και server. Η PDU ξεκινάει µε ένα byte που καθορίζει το είδος της και τη λειτουργία για την οποία προορίζεται (opcode). Μετά το opcode, ακολουθούν οι παράµετροι της συγκεκριµένης λειτουργίας. Το µέγιστο µήκος δεδοµένων της PDU, το οποίο ονοµάζεται MTU (Maximum Transmission Unit), µπορεί να είναι αποτέλεσµα διαπραγµάτευσης µεταξύ client και server, µε ελάχιστη δυνατή τιµή το 23. Αυτή η τιµή είναι ακριβώς το µέγιστο µέγεθος δεδοµένων του ATT που µπορούν να σταλούν σε ένα πακέτο του επιπέδου Ϲεύξης.Οι PDUs και οι αντίστοιχες λειτουργίες του ΑΤΤ χωρίζονται σε 6 τύπους : Requests: PDUs που στέλνονται από τον client στον server και προκαλούν την αποστολή responses. Responses: PDUs που στέλνονται από τον server στον client ως απαντήσεις σε προηγούµενα requests. Commands: PDUs που στέλνονται από τον client στον server, χωρίς ο δεύτερος να στέλνει απάντηση. Notifications: PDUs που στέλνονται από τον server στον client, χωρίς να επιβεβαιώνεται η λήψη τους. Indications: PDUs που στέλνονται από τον server στον client, µε επιβεβαίωση της λήψης τους από τον δεύτερο, µε αποστολή confirmations. Confirmations: PDUs που στέλνονται από τον client στον server για επιβεβαίωση λήψης προηγούµενων indications. 26

33 2.9 Generic Attribute Profile (GATT) 2.9 Generic Attribute Profile (GATT) Το Generic Attribute Profile (GATT) χρησιµοποιεί τα attributes, που παρέχονται από το ATT, και τη δυνατότητα οµαδοποίησής τους, προκειµένου να δηµιουργήσει µια ιεραρχία από δοµές δεδοµένων πάνω στην επίπεδη οργάνωση του ATT. Οπως στο ATT, έτσι και στο GATT, έχουµε δύο ϱόλους, τον server και τον client : GATT client: Οταν µία συσκευή παίζει τον ϱόλο του χρήστη, τότε αυτή Ϲητά πληροφορίεςδεδοµένα από τον διαχειριστή κι έτσι του απευθύνει µε τη µορφή πακέτων αιτήµατα (requests) και λαµβάνει απαντήσεις (responses). Ο χρήστης δεν γνωρίζει τίποτα εκ των προτέρων, πριν επικοινωνήσει µε τον διαχειριστή για τα χαρακτηριστικά (attributes) που εκείνος κατέχει. GATT server: Οταν µία συσκευή ορίζεται ως διαχειριστής, τότε αυτή δέχεται τα αιτήµατα από τον χρήστη και στη συνέχεια στέλνει απαντήσεις δίνοντας του πληροφορίες για τα attributes που διαθέτει και για το αν πληροί τις προδιαγραφές σύνδεσης. Ο ϱόλος κάθε peer στο GATT είναι ο ίδιος µε αυτόν στο ATT. Ο ϱόλος µιας συσκευής στο GATT είναι ανεξάρτητος του ϱόλου της στο GAP. Μια συσκευή µπορεί να είναι ταυτόχρονα GATT server και client ή να εναλλάσσεται στους δύο ϱόλους, ανεξάρτητα αν είναι peripheral ή central, και, αντίστοιχα, master ή slave της σύνδεσης Ιεραρχία του GATT Στη ϐάση της ιεραρχίας του GATT ϐρίσκεται το προφίλ (profile). Ενα προφίλ αποτελείται από µία ή περισσότερες υπηρεσίες (services). Κάθε υπηρεσία αποτελείται από χαρακτηριστικά (characteristics), ενώ µπορεί να ορίζει σχέσεις µε άλλες υπηρεσίες. Κάθε χαρακτηριστικό περιέχει µία τιµή, ενώ µπορεί, επίσης, να περιέχει και µετα-δεδοµένα σχετικά µε την τιµή του, µε τη µορφή περιγραφέων (descriptors). Οι υπηρεσίες, τα χαρακτηριστικά και οι περιγραφείς αποθηκεύονται όλα σε attributes στον GATT server. Η τιµές των χαρακτηριστικών είναι τα δεδοµένα που ορίζονται από το GATT και τα οποία χρησιµοποιούνται από την BLE εφαρµογή. Μια υπηρεσία είναι µια συλλογή τέτοιων δεδο- µένων και συµπεριφορών που σχετίζονται µε αυτά τα δεδοµένα µε στόχο την επίτευξη µιας συγκεκριµένης λειτουργίας, που ορίζεται για αυτήν την υπηρεσία. Οι υπηρεσίες µπορούν να ορίζουν σχέσεις µε άλλες υπηρεσίες κάνοντάς τις include. Μια υπηρεσία που γίνεται include από µία άλλη γίνεται αναπόσπαστο κοµµάτι αυτής. ηλαδή όλα τα χαρακτηριστικά, οι πε- ϱιγραφείς, και οι included υπηρεσίες της πρώτης εµφανίζονται πλέον και µέσα στη δεύτερη. Εχουµε, λοιπόν, ένα µοντέλο δεδοµένων, όπου τα χαρακτηριστικά περιέχουν τα δεδοµένα και περιέχονται µε τη σειρά τους σε υπηρεσίες, που τους δίνουν συγκεκριµένη συµπεριφορά και λειτουργικότητα. Στο ανώτερο επίπεδο, το προφίλ συνδυάζει µια σειρά από υπηρεσίες, προκειµένου να υλοποιήσει µια περίπτωση χρήσης. Κάθε ένα χαρακτηριστικό περιέχει 3 πεδία : 27

34 2.9 Generic Attribute Profile (GATT) Ιδιότητες (Properties): Στο πεδίο αυτό ορίζονται ποιες ενέργειες επιτρέπεται να εκτελέσει ο χρήστης στο συγκεκριµένο attribute. Εχει µήκος ενός byte και οι τιµές που µπορεί να πάρει είναι οι εξής : Broadcast Read Write Notify Indicate Authenticated Signed Writes Σχήµα 2.6: Ιεραρχία του GATT Τιµή (Value): Αποτελεί την τιµή του εκάστοτε χαρακτηριστικού. Εδώ αποθηκεύονται τα δεδοµένα του profile και αυτό το attribute είναι προσβάσιµο από τον client αν ϑέλει να διαβάσει ή να γράψει σε αυτό σε περίπτωση που ϑέλει να ανακτήσει ή να µεταβάλει δεδοµένα ενός χαρακτηριστικού µέσα στο profile. 28

35 2.10 Generic Access Profile (GAP) Περιγραφέας (Descriptor): Μετά από το πεδίο value µπορούν να ακολουθήσουν µηδέν ή περισσότεροι descriptors για κάθε χαρακτηριστικό. Ορίζουν διάφορες συµπληρωµατικές- ϐοηθητικές τιµές όπως για παράδειγµα τις µονάδες µέτρησης µεγεθών ή το εύρος που µπορεί να πάρει µία τιµή (όπως π.χ η επιτάχυνση) που εµφανίζονται στο profile. Το SIG έχει ορίσει µια σειρά από descriptors, µε τύπους 16-bit ή 32-bit UUIDs, για κάποιες από τις πιο συνηθισµένες χρήσεις. Οι προγραµµατιστές µπορούν να ορίσουν νέους descriptors για τις εφαρµογές τους, χρησιµοποιώντας 128-bit UUIDs για τους τύπους τους Generic Access Profile (GAP) Το Generic Access Profile (GAP) ϐρίσκεται πάνω από το GATT στη στοίβα του BLE. Αποτελεί ίσως το πιο σηµαντικό επίπεδο καθότι είναι υπεύθυνο για τον προσδιορισµό των ϱόλων, των τρόπων λειτουργίας και των διαδικασιών µέσω των οποίων δύο συσκευές µπορούν να ϐρεθούν, να συνδεθούν και να ανταλλάξουν δεδοµένα. Στο GAP ορίζονται τέσσερις ϱόλοι µε τους οποίους µπορεί να εµφανίζεται µια BLE συσκευή. Μια συσκευή έχει τη δυνατότητα να ϐρίσκεται σε περισσότερους από ένα ϱόλους ταυτόχρονα, αν κάτι τέτοιο υποστηρίζεται από τον controller της. Οι ϱόλοι των συσκευών στο GAP είναι οι εξής : Broadcaster: Ο broadcaster είναι µια συσκευή, η οποία στέλνει πακέτα advertising. Αυτός ο ϱόλος χρησιµοποιείται συνήθως από συσκευές που µεταδίδουν δεδοµένα περιοδικά για ενδιαφερόµενες συσκευές, οι οποίες ϐρίσκονται ενδεχοµένως στην εµ- ϐέλειά τους και έχουν το ϱόλο του observer. Η συσκευή δεν απαιτείται να έχει κύκλωµα λήψης, αλλά µόνο αποστολής. Observer: Ο observer είναι µια συσκευή, η οποία ελέγχει τα advertising κανάλια για ενδεχόµενα πακέτα advertising από broadcasters, µε δεδοµένα που µπορεί να την ενδιαφέρουν. Η συσκευή δεν απαιτείται να έχει κύκλωµα αποστολής, αλλά µόνο λήψης. Peripheral: Ενα peripheral είναι µια συσκευή, η οποία εκτελεί τη διαδικασία του advertising, στέλνοντας πακέτα που δηλώνουν ότι είναι διαθέσιµη προς σύνδεση µε άλλες συσκευές. Μετά από τη δηµιουργία της σύνδεσης, το peripheral µετέχει σε αυτή µε το ϱόλο του Link Layer slave. Η συσκευή απαιτείται να έχει κυκλώµατα και αποστολής και λήψης. Central: Ενα central είναι µια συσκευή, η οποία ελέγχει τα advertising κανάλια για ενδεχόµενα πακέτα advertising από peripherals, προκειµένου να συνδεθεί µε αυτά. Μετά από τη δηµιουργία της σύνδεσης, το central µετέχει σε αυτή µε το ϱόλο του Link Layer master. Η συσκευή απαιτείται να έχει κυκλώµατα και αποστολής και λήψης. Οπως έχει τονιστεί και παραπάνω, εκτός από τους ϱόλους µιας συσκευής, στο GAP ορίζονται οι τρόποι (modes) και οι διαδικασίες (procedures) λειτουργίας των συσκευών στο πρωτόκολλο και αναλύονται παρακάτω. 29

36 2.10 Generic Access Profile (GAP) Τρόποι λειτουργίας (modes): Broadcast: Οταν ο τρόπος λειτουργίας µίας συσκευής είναι broadcast τότε αυτή στέλνει δεδοµένα κάνοντας advertising προς πάσα κατεύθυνση. Non-discoverable: Οταν η συσκευή µας είναι σε non discoverable mode τότε αυτή δεν µπορεί να εντοπιστεί από συσκευές Limited discoverable: Μια συσκευή σε limited discoverable mode µπορεί να ανακαλυφθεί από άλλες συσκευές, για κάποιο σύντοµο χρονικό διάστηµα( κάποια λίγα δευτερόλεπτα). General discoverable: Εδώ η συσκευή που έχει αυτόν τον τρόπο λειτουργίας είναι διαθέσιµη για εντοπισµό και για σύνδεση. Non-connectable: Μια συσκευή σε non-connectable mode δεν επιτρέπει συνδέσεις µε άλλες συσκευές Any connectable: Σε αυτήν τη περίπτωση η συσκευή µας είναι έτοιµη να συνδεθεί µε τον οποιανδήποτε της Ϲητηθεί. ιαδικασίες (procedures): Observation procedure: Η διαδικασία αυτή εκτελείται σε µία συσκευή όταν αυτή ψάχνει για τα advertising πακέτα του broadcaster. Limited discovery procedure: Εδώ η συσκευή µας που εκτελεί αυτή τη διαδικασία, προσπαθεί να «ανακαλύψει» συσκευές, οι οποίες όµως ϐρίσκονται σε limited discoverable mode. Αυτό πραγµατοποιείται µε τη ϐοήθεια κάποιων σηµαιών που ελέγχει ο developer. General discovery procedure: Η συσκευή προσπαθεί να «δει» συσκευές που ϐρίσκονται είτε σε limited είτε σε general discoverable mode. Αποτελεί δηλαδή µια πιο γενική περίπτωση. Name discovery procedure: Στη συγκεκριµένη διαδικασία µία συσκευή προσπαθεί να ανακτήσει το GAP name service µίας συσκευής που ϐρίσκεται στην εµβέλεια της. Connection parameter update procedure: Μια συσκευή εκτελεί τη διαδικασία αυτή προκειµένου να αλλάξει τις παραµέτρους της σύνδεσής της µε µια αποµακρυσµένη συσκευή. Οι παράµετροι είναι αυτές που είδαµε παραπάνω, κατά την περιγραφή του επιπέδου Ϲεύξης. Terminate Connection procedure: Αυτή η διαδικασία εκτελείται από µια περιφερειακή ή κεντρική συσκευή, όταν αυτή ϑέλει να διακόψει τη υπάρχουσα σύνδεση µε µία άλλη συσκευή µε την οποία είχαν συνάψει δεσµό. 30

37 Κεφάλαιο 3 Εργαλεία ανάπτυξης συστήµατος Για την ανάπτυξη του συστήµατος χρησιµοποιήθηκαν δύο διαφορετικά Ϲεύγη αδρανειακών αισθητήρων. Το πρώτο Ϲεύγος αναπτύχθηκε στο εργαστήριο και αποτελείται από δύο DA14583 Bluetooth Low Energy development boards [17], [18] στα οποία προσαρτήθηκαν αδρανειακοί αισθητήρες IMU BMX055 [19]. Το δεύτερο Ϲεύγος αποτελείται από δύο αισθητήρες Shimmer [20], [21]. Στο κεφάλαιο αυτό γίνεται µια σύντοµη περιγραφή των χαρακτηριστικών των δύο αυτών ολοκληρωµένων. 3.1 DA14583 Development Board Το DA14583 είναι ένα Bluetooth Low Energy System on Chip το οποίο παράγεται α- πό την εταιρία Dialog Semiconductor (Σχήµα 3.1). Το σύστηµα αυτό διαθέτει ένα πλήρως ενσωµατωµένο ποµποδέκτη και επεξεργαστή για το Bluetooth Smart. Υποστηρίζει την α- ποθήκευση κώδικα εφαρµογών µέσω µια αρχιτεκτονικής µνήµης που έχει τη δυνατότητα ανανέωσης του κώδικα εφαρµογής over the air (OTA). Το Bluetooth Smart firmware περιλαµβάνει τα πρωτόκολλα L2CAP, Security Manager (SM), Attribute Protocol (ATT), Generic Attribute Profile (GATT) και το Generic Access Profile (GAP). Επίσης υποστηρίζει όλα τα profiles του Bluetooth SIG, καθώς και τα custom profiles που αναπτύσσονται από τον εκάστοτε προγραµµατιστή. Στο Σχήµα 3.2 ϕαίνεται το block διάγραµµα του εν λόγω ολοκληρωµένου Επεξεργαστής Το DA14583 Development Board εµπεριέχει έναν 32-bit επεξεργαστή ARM Cortex-M0 ο οποίος είναι αρχιτεκτονικής RISC Von Neumann (single bus διεπαφή). Χρησιµοποιεί το Thumb instruction set και περιλαµβάνει επίσης νεότερες εντολές από την αρχιτεκτονική ARMv6 και την τεχνολογία Thumb-2. Το Thumb instruction set είναι µια παραλλαγή του 32-bit instruction set των ARM επεξεργαστών, το οποίο περιλαµβάνει απλοποιηµένες εντολές των 16-bit. Αυτό είναι αρκετά σηµαντικό για τα ενσωµατωµένα συστήµατα, αφού η πυκνότητα του κώδικα είναι µεγαλύτερη και, εποµένως, απαιτείται λιγότερη µνήµη για την αποθήκευση και εκτέλεση των προγραµµάτων. Παρότι περιλαµβάνει µόνο 56 εντολές, 31

38 3.1 DA14583 Development Board Σχήµα 3.1: DA14583 Development Board αυτές είναι ϐελτιστοποιηµένες, ώστε να µπορούν να εκτελούν τις συνηθισµένες λειτουργίες των προγραµµάτων. Ο Cortex-M0 επεξεργαστής περιλαµβάνει ένα sleep mode, στο οποίο παρουσιάζει ε- λάχιστη κατανάλωση. Υποστηρίζει δυνατότητες debugging χρησιµοποιώντας το πρωτόκολλο Serial Wire Debug (SWD), το οποίο είναι παρόµοιο µε το JTAG, µε το πλεονέκτηµα ότι απαιτεί µόνο δύο καλώδια. Παρέχει επίσης δυνατότητες programmable interrupts µε επίπεδα προτεραιότητας, µέσω του Nested Vectored Interrupt Controller (NVIC), 24-bit System Tick timer και SuperVisor Call (SVC) για την υποστήριξη λειτουργικών συστηµάτων, καθώς και Wake-Up Interrupt Controller (WIC), ο οποίος δίνει τη δυνατότητα απενεργοποίησης του επεξεργαστή όταν είναι σε sleep mode, επιτρέποντας όµως σε εξωτερικές διακοπές να τον ενεργοποιήσουν. Ενα άλλο χαρακτηριστικό των ARM επεξεργαστών, που είναι σηµαντικό για ενσωµατωµένα και real-time συστήµατα, είναι η ικανότητα τους να έχουν αναµενόµενο και σταθερό latency στην εκτέλεση των interrupt handlers Μνήµες Το DA14583 περιλαµβάνει τις εξής µνήµες : ROM: Πρόκειται για µια ROM των 84 ΚΒ που περιέχει τη στοίβα του Bluetooth Smart πρωτοκόλλου καθώς και τον κώδικα εκκίνησης. OTP: Πρόκειται για µια 32 ΚΒ µνήµη που µπορεί να προγραµµατιστεί µόνο µια ϕορά και χρησιµοποιείται για την αποθήκευση του κώδικα της εφαρµογής καθώς και των 32

39 3.1 DA14583 Development Board Σχήµα 3.2: DA14583 Block Diagram πληροφοριών και παραµέτρων της συσκευής. System SRAM: Πρόκειται για µια µνήµη των 42 ΚΒ που χρησιµοποιείται κυρίως για τη τοποθέτηση του κώδικα που περιέχεται στην OTP όταν το σύστηµα εκκινεί ή επανέρχεται από κατάσταση αδράνειας. Επίσης χρησιµοποιείται σαν µνήµη RAM δεδοµένων για ενδιάµεσες µεταβλητές. Προαιρετικά χρησιµοποιείται σαν πρόσθετη µνήµη για δεδοµένα αποστολής/λήψης του BLE. Retention RAMs: Υπάρχουν 4 µνήµες χωρητικότητας ΚΒ. Οι συγκεκριµένες µνήµες έχουν πολύ µικρή κατανάλωση ενέργειας και χρησιµοποιούνται για τη απο- ϑήκευση διαφόρων δεδοµένων του BLE πρωτοκόλλου, global µεταβλητών, καθώς και της στοίβας του επεξεργαστή κατά τη διάρκεια του Extended Sleep Mode. Οι µνήµες αυτές µέσω της αποθήκευσης των δεδοµένων προσφέρουν την ασφαλή και γρήγορη ϱύθµιση του BLE πυρήνα αφού το σύστηµα επανέρχεται από την αδράνεια. Flash: Πρόκειται για 1Mbit Flash memory που χρησιµοποιείται για την εναλλακτική αποθήκευση του κώδικα εφαρµογής και του κώδικα για όλα τα υποστηριζόµενα BLE προφίλ ιεπαφές Το DA14583 περιλαµβάνει µια σειρά από διεπαφές που επιτρέπουν τη σύνδεση µε εξωτε- ϱικά στοιχεία όπως επιπλέον µνήµες, αισθητήρες, κτλ. Για τη χρήση των διεπαφών αυτών του συστήµατος παρέχεται µια σειρά από General Purpose Input/Output (GPIO) pins τα οποία καθορίζονται από τον προγραµµατιστή ως είσοδοι ή εξοδοι. Τα GPIO pins έχουν τη δυνατότη- 33

40 3.2 IMU BMX055 τα να διατηρούν την κατάστασή τους και κατά τη διάρκεια του sleep mode. Επιγραµµατικά οι διεπαφές που περιλαµβάνονται είναι : UART x2 SPI (Serial Peripheral Interface) I2C ADC (Analog to Digital Converter) Quadrature decoder Keyboard controller Power Modes Το DA14583 έχει τρείς διαφορετικές λειτουργίες : Active mode: Το σύστηµα είναι ενεργό και λειτουργεί σε πλήρη ταχύτητα, Sleep mode: Το σύστηµα ϐρίσκεται σε κατάσταση αναµονής και ο επεξεργαστής ϐρίσκεται σε κατάσταση αδράνειας αναµένοντας κάποιο interrupt. Η κατάσταση των διεπαφών παραµένει αµετάβλητη όπως είναι αποθηκευµένη στους καταχωρητές του συστήµατος. Extended Sleep mode: Το σύστηµα απενεργοποιεί τον BLE controller, τον radio transceiver καθώς και όλες τις διεπαφές. Η µνήµη System SRAM διατηρεί τα δεδοµένα του συστήµατος που είναι απαραίτητα για την επαναφορά του συστήµατος από την αδράνεια. 3.2 IMU BMX055 Σχήµα 3.3: BMX055 Shuttle Board Το BMX055 (Σχήµα 3.3) είναι ένας αισθητήρας 9 ϐαθµών ελευθερίας της Bosch Sensortec που περιέχει τρία επιταχυνσιόµετρα τοποθετηµένα κάθετα µεταξύ τους, καθώς και 34

41 3.3 SHIMMER τρία γυροσκόπια και τρία µαγνητόµετρα σε ίδια διάταξη. Το µέγεθος κάθε µέτρησης για κάθε επιταχυνσιόµετρο, γυροσκόπιο και µαγνητόµετρο είναι 12,16 και 16 bits αντίστοιχα. Οι αισθητήρες είναι τεχνολογίας MEMS (Micro-Electro-Mechanical-Systems), λειτουργούν µε τάσεις από 1.2V έως 3.6V και µπορούν να προγραµµατιστούν για τη ϐελτιστοποίηση λειτουργικότητας, απόδοσης και κατανάλωσης ώστε να εξυπηρετούν ανάγκες διαφόρων τύπων εφαρµογών. Υποστηρίζει επικοινωνία µέσω SPI αλλά και I2C διεπαφών και είναι ιδανικός για εφαρµογές χαµηλής κατανάλωσης, όπως άλλωστε απαιτεί η ϕύση του BLE πρωτοκόλλου. Στο τέλος του κεφαλαίου γίνεται λεπτοµερής παρουσίαση των τεχνικών χαρακτηριστικών του BMX055. Στο Σχήµα 3.4 ϕαίνεται το block διάγραµµα του εν λόγω αισθητήρα. Σχήµα 3.4: BMX055 Block Diagram 3.3 SHIMMER Το δεύτερο είδος αισθητήρων που χρησιµοποιήθηκε είναι η τελευταία έκδοση της πλατ- ϕόρµας Shimmer (Sensing Health with Intelligence Modularity, Mobility and Experimental 35

42 3.3 SHIMMER Reusability). Το Shimmer (Σχήµα 3.5) είναι ένας µικρός ασύρµατος αισθητήρας που ενσω- µατώνει αισθητήρες επιτάχυνσης, γυροσκόπιο, µαγνητόµετρο, ECG (Electrocardiogrem), EMG (Electromyogram) ικανός να καταγράψει και να µεταδώσει δεδοµένα ϕυσιολογίας και κίνησης σε πραγµατικό χρόνο. Για την περίπτωσή µας χρησιµοποιήθηκαν αισθητήρες επιτάχυνσης και γυροσκόπια τριών αξόνων για την καταγραφή δεδοµένων κίνησης. Σχήµα 3.5: Shimmer Platform Η πλατφόρµα ενσωµατώνει έναν Texas Instruments 16-bit MSP430F5437A επεξεργαστή σχεδιασµένο για εφαρµογές ϕορητών µετρήσεων. ιαθέτει 11 κανάλια 12-bit ADC, DAC εξόδους καθώς και µνήµες RAM 16Kbyte και Flash 256Kbyte. Για τη αποστολή των δεδοµένων η πλατφόρµα χρησιµοποιεί πρωτόκολλο Bluetooth 2 ώστε να επιτύχει υψηλούς Bluetooth I/O External Expansions I/O CPU I/O Flash Memory I/O Accelerometer Gyroscope Σχήµα 3.6: Shimmer System Diagram 36

43 3.4 Χαρακτηριστικά αισθητήρων ϱυθµούς µετάδοσης δεδοµένων. Για την λήψη των δεδοµένων κίνησης από τον αισθητήρα απαιτείται η διαδικασία pairing µε το Bluetooth του υπολογιστή που ϑα συλλέξει τα δεδοµένα. Για την ταυτόχρονη συλλογή δεδοµένων από δύο αισθητήρες Shimmer χρησιµοποιούµε το διατιθέµενο από την εταιρία λογισµικό Multi Shimmer Sync for Windows v2.11 [22], ενώ πριν τη λήψη µετρήσεων χρησιµοποιούµε το λογισµικό Shimmer 9DoF Calibration v2.8 [23] για το calibration των αισθητήρων. 3.4 Χαρακτηριστικά αισθητήρων Ακολουθεί ο Πίνακας 3.1 µε τα αναλυτικά χαρακτηριστικά των αισθητήρων. Τα χαρακτη- ϱιστικά που επιλέχθηκαν για τη συγκεκριµένη εφαρµογή αναγράφονται µε έντονους χαρακτήρες. Το sampling rate που χρησιµοποιούµε και για τους δύο αισθητήρες είναι 50 Hz. Πίνακας 3.1: Χαρακτηριστικά αισθητήρων Dynamic Range Sensitivity Noise Density Power Supply Current Supply Accelerometer Gyroscope ΒΜΧ055 SHIMMER ΒΜΧ055 SHIMMER ±125 dps ±2 g ±250 dps ±250 dps ±4 g ±500 dps ±2 g ±500 dps ±8 g ±1000 dps ±1000 dps ±16 g ±2000 dps ±2000 dps ±1024 LSB/g ±512 LSB/g ±256 LSB/g ±128 LSB/g 600 ± 18 mv/g ±262 LSB/dps ±131 LSB/dps ±66 LSB/dps ±33 LSB/dps ±16 LSB/dps 131 LSB/dps (at ± 250dps) 150 µg/ Hz 45 µg/ Hz dps/ Hz dps/ Hz V V V V 130 µa 500 µa 5 ma 3.5 ma 37

44 Κεφάλαιο 4 Σύστηµα µετάδοσης δεδοµένων Για την υλοποίηση του τµήµατος εκείνου του συστήµατος, το οποίο πραγµατοποιεί τις µετρήσεις των δεδοµένων κίνησης, χρησιµοποιήσαµε, όπως έχουµε ήδη αναφέρει, το Bluetooth Low Energy System on Chip DA14583, της εταιρίας Dialog Semiconductor. Η εφαρµογή που εκτελείται στο DA14583 διαβάζει τα δεδοµένα από ταν αισθητήρα επιτάχυνσης και το γυροσκόπιο και τα στέλνει στο δεύτερο τµήµα, το οποίο αποτελεί ένα user interface και είναι ο remote client. Το δεύτερο τµήµα του συστήµατος εκτελείται σε Windows 10 υπολογιστή και ϑα περιγραφεί στο επόµενο κεφάλαιο. Η επικοινωνία µεταξύ των δύο τµηµάτων επιτυγχάνεται µέσω του πρωτοκόλλου BLE και εκτελείται µε ϐάση το IMU Sensor Profile, το οποίο ϑα παρουσιαστεί στο παρόν κεφάλαιο. Επίσης, ϑα περιγράψουµε τη δοµή και τον τρόπο λειτουργίας της εφαρµογής, η οποία εκτελείται στο DA14583 SoC. DA14583 SoC Remote Client BMX055 Accelerometer Gyroscope Bluetooth Low Energy Σχήµα 4.1: Σύστηµα µετάδοσης δεδοµένων 4.1 Hardware Setup Ο αισθητήρας BMX055 διασυνδέθηκε µε το DA14583 Development Board όπως ϕαίνεται στα Σχήµατα 4.2 και 4.3. Η επικοινωνία τους επιτυγχάνεται µε χρήση πρωτοκόλλου I2C. 38

45 4.1 Hardware Setup Για τη λειτουργία του αισθητήρα µε το DA14583 board είναι απαραίτητο να καθοριστούν οι καταστάσεις των pin του µικροεπεξεργαστή. Η σύνδεση του αισθητήρα γίνεται µε I2C επικοινωνία έτσι τα pin P1-1 και P1-3 καθορίζονται ως SCL και SDA pin αντίστοιχα. Το CS pin παίρνει την τιµή λογικό 1 για τη δυνατότητα λειτουργίας του αισθητήρα µε I2C επικοινωνία. Ο τρόπος σύνδεσης του board µε τον IMU αισθητήρα BMX055 ϕαίνεται στο Σχήµα 4.2, και η τελική µορφή των πρωτοτύπων απεικονίζεται στο Σχήµα 4.3. DA14583 Development Board - Basic BMX055 Shuttle Board Σχήµα 4.2: ιασύνδεση BMX055 µε DA14583 Σχήµα 4.3: Αισθητήρες BMX055 & DA

46 4.2 Inter-Integrated Circuits (I2C) 4.2 Inter-Integrated Circuits (I2C) Το I2C είναι ένα πρότυπο επικοινωνίας, πάνω από ένα δίαυλο που αποτελείται από δύο σήµατα, ένα για σήµατα δεδοµένων (SDA) και ένα για σήµατα ϱολογιού (SCL). Το πρότυπο αυτό ορίζει τον τρόπο µε τον οποίο πολλαπλές συσκευές µπορούν να συνδέονται στον δίαυλο. Χρησιµοποιώντας κατάλληλους συνδυασµούς των δύο παραπάνω σηµάτων µπορούν και ανταλλάσσουν bytes δεδοµένων. Οι συσκευές συνδέονται πάνω στον δίαυλο µε ένα κύκλωµα εξόδου τύπου ανοιχτού συλλέκτη (open collector) ή ανοιχτής υποδοχής (open drain), που δηµιουργεί ένα κύκλωµα wired-and. Ο δίαυλος είναι συνδεµένος µε την τάση εισόδου χρησιµοποιώντας αντιστάσεις pull-up. Αυτό σηµαίνει ότι ο δίαυλος είναι συνεχώς σε λογικό 1, εκτός αν κάποια συσκευή συνδέσει την έξοδό της µε τη γη, οπότε περνάει σε λογικό 0. Ο I2C δίαυλος προσφέρει πολύ χαµηλή κατανάλωση ενέργειας όταν δε χρησιµοποιείται, διότι τα κυκλώµατα τύπου open collector ή open drain δεν τραβάνε ϱεύµα από τον δίαυλο, όταν τα αντίστοιχα transistors είναι κλειστά. Υπό λειτουργία υπάρχει κατανάλωση µόνο όταν ο δίαυλος τίθεται σε λογικό 0, η οποία εξαρτάται από τις τιµές των αντιστάσεων pull-up που χρησιµοποιούνται. Σχήµα 4.4: I2C Ο έλεγχος του διαύλου πραγµατοποιείται από τη συσκευή master, η οποία µπορεί να στέλνει ή να λαµβάνει δεδοµένα από τις συσκευές του διαύλου (slaves). Το πρότυπο δίνει τη δυνατότητα ύπαρξης πολλαπλών master σε έναν δίαυλο, όµως µόνο ένας µπορεί κάθε χρονική στιγµή να τον ελέγχει. Το πρότυπο καθορίζει τον τρόπο, µε τον οποίο επιλύονται τυχόν συγκρούσεις µεταξύ masters, που προσπαθούν να χρησιµοποιήσουν τον διαύλο ταυτόχρονα. Οι συσκευές slave δεν µπορούν να επικοινωνήσουν µεταξύ τους, παρά µόνο να ακολουθούν οδηγίες από τον master, διαβάζοντας ή γράφοντας δεδοµένα στον διαύλο. Η συσκευή master ξεκινά την επικοινωνία αποστέλλοντας µια συνθήκη εκκίνησης (start condition), η οποία πληροφορεί τις slave συσκευές να είναι σε ετοιµότητα µε την γραµµή SDA για τη λήψη οδηγιών από τον master. Ο master αποστέλλει την διεύθυνση της συ- 40

47 4.3 IMU Sensor Profile σκευής slave µαζί µε µια σηµαία γραφής/ανάγνωσης (read/write flag). Κάθε slave έχει µια διεύθυνση των 7 ή 10 bit. Η συσκευή slave απαντά µε ένα σήµα επιβεβαίωσης (acknowledgement) στον master. Η συνέχεια της επικοινωνίας µεταξύ master και slave για αποστολή και λήψη δεδοµένων µεταξύ αυτών γίνεται πάνω στον δίαυλο δεδοµένων. Ο µεταδότης στέλνει 8-bits δεδοµένων στον αποδέκτη ο οποίος απαντά µε 1-bit επιβεβαίωση. Για την ολοκλήρωση της επικοινωνίας, ο master στέλνει µια συνθήκη λήξης (stop condition). Συγκεκριµένα ο αισθητήρας BMX055 λειτουργεί ως τρείς I2C slave συσκευές, και έτσι δεν χρησιµοποιεί µόνο µια διεύθυνση I2C. ηλαδή η master συσκευή χρησιµοποιεί διαφορετική I2C διεύθυνση για κάθε αισθητήρα (επιτάχυνσιόµετρο, γυροσκόπιο, µαγνητόµετρο). Ετσι, το DA14583 λειτουργώντας ως master του διαύλου µπορεί να δώσει εντολή σε έναν αισθητήρα για εκκίνηση της µέτρησης - γράφοντας στον κατάλληλο register - και αφού περιµένει ένα συγκεκριµένο χρονικό διάστηµα, να διαβάσει τις τιµές των σχετικών registers για τη λήψη του αποτελέσµατος. 4.3 IMU Sensor Profile Το Bluetooth SIG έχει υιοθετήσει µια σειρά από προφίλ και υπηρεσίες για να καλύψει µια ευρεία γκάµα από περιπτώσεις χρήσης του πρωτοκόλλου BLE. Στη συγκεκριµένη πε- ϱίπτωση για την αποστολή των δεδοµένων κίνησης αναπτύχθηκε ένα δικό µας προφίλ ώστε να ικανοποιεί τις ανάγκες της εφαρµογής. Η δηµιουργία του BLE profile ϐασίστηκε σε Application Note της Dialog Semiconductor, που διατίθεται από τον ιστότοπο υποστήριξης της εταιρείας [24]. Οπως είδαµε στο Κεφάλαιο 2 η λειτουργία του GATT ϐασίζεται σε υπηρεσίες (services). Αυτές περιέχουν τα δεδοµένα της εφαρµογής, µέσα σε χαρακτηριστικά, και ορίζουν συγκεκριµένες συµπεριφορές για αυτά. Το IMU Sensor Profile υλοποιείται στον µικροεπεξεργαστή του DA Το προφίλ όσον αφορά το επίπεδο GATT έχει τον ϱόλο του server δηλαδή καταγράφει τα δεδοµένα από τους αισθητήρες και υπάρχει δυνατότητα αποστολής τους. Οσον αφορά το επίπεδο GAP το προφίλ παίζει το ϱόλο του peripheral, δηλαδή υπάρχει η δυνατότητα σύνδεσης µε έναν master. Το προφίλ αυτό αποτελείται από µια υπηρεσία, το BMX service. Η υπηρεσία αυτή περικλείει δύο χαρακτηριστικά, το Data value characteristic και το Enable/Disable characteristic. Το πρώτο αφορά τη µετάδοση δεδοµένων κίνησης από τους αισθητήρες. Επιτρέπει το διάβασµα των δεδοµένων αυτών (Read), καθώς και την αυτόµατη αποστολή των δεδοµένων όταν είναι διαθέσιµα µε περιοδικό τρόπο (Notify). Τα δεδοµένα στέλνονται σε µορφή unsigned integer 16-bit και κάθε πακέτο δεδοµένων αποτελείται από τα δεδοµένα κίνησης του αισθητήρα επιτάχυνσης και του γυροσκοπίου ακολουθούµενα από ένα timestamp των 2 byte όπως ϕαίνεται στο Σχήµα 4.5. Η προσθήκη όλων των µετρήσεων στο ίδιο πακέτο συντελεί στην µείωση του κόστους επικοινωνίας µέσω της αποφυγής αποστολής διαφορετικού πακέτου για κάθε µέτρηση. Επίσης, επιτυγχάνεται η αποστολή των δεδοµένων και από τους δύο αισθητήρες του IMU (επιταχυνσιόµετρο,γυροσκόπιο) την ίδια χρονική στιγµή για την οποία και υπάρχει το timestamp. Το δεύτερο χαρακτηριστικό χρησιµοποιείται σαν διακόπτης που ενεργοποιεί τους αισθητήρες, αρχικοποιεί/επαναφέρει το timestamp και ε- 41

48 4.3 IMU Sensor Profile νεργοποιεί τον kernel timer του Arm Cortex M0 επεξεργαστή που είναι υπεύθυνος για τη περιοδική εκτέλεση ανα 20ms ϱουτίνας που στέλνει τα δεδοµένων του αδρανειακού αισθητήρα. Υπάρχει, δηλαδή, δυνατότητα ο GATT client (Windows εφαρµογή) να διαβάσει το χαρακτηριστικό αυτό (permission "Read"), αλλά και να το γράψει (permission "Write"). Τα δεδοµένα στέλνονται σε µορφή integer 1 byte το οποίο παίρνει τις τιµές 0 για disable ή 1 για enable. Η περιοδική αυτή αποστολή συµβαίνει εφόσον και για το πρώτο χαραστηριστικό Data value characteristic έχει ενεργοποιηθεί το permission "Notify" από τον GATT client (Windows εφαρµογή). Accelerometer X-Axis Accelerometer Y-Axis Accelerometer Z-Axis Gyroscope X-Axis Gyroscope Z-Axis Gyroscope Z-Axis Timestamp (2+2+2) Bytes (2+2+2) Bytes 2 Bytes Σχήµα 4.5: Πακέτο δεδοµένων κίνησης Εφόσον υλοποιήσαµε ένα δικό µας προφίλ µε custom services και characteristics έπρεπε να ορίσουµε και τα αντίστοιχα 128-bit UUIDs για καθένα από αυτά. Για τον ορισµό των UUIDs, χρησιµοποιήσαµε την τεχνική που χρησιµοποιείται από τα SIG UUIDs. ηµιουργήσαµε δηλαδή, ένα 128-bit UUID και µε ϐάση αυτό, ορίσαµε όλα τα υπόλοιπα προσθέτοντας στο ϐασικό UUID, ένα συγκεκριµένο για το καθένα, 16-bit αναγνωριστικό. Το ϐασικό UUID και τα επιµέρους ϕαίνονται στο Σχήµα 4.6. Το συγκεκριµένο προφίλ που υλοποιήθηκε επιτρέπει τη περιοδική αποστολή των δεδοµένων κίνησης ανά 20 ms µε στόχο την καταγραφή τους για κάθε χρονική στιγµή. Το γεγονός αυτό, δε µας έδωσε τη δυνατότητα να αξιοποιήσουµε τις δυνατότητες χαµηλής κατανάλωσης του DA14583, καθώς η συνεχής µετάδοση δεδοµένων καθιστά ανούσια τη λειτουργία σε sleep mode. F000AA A Data Value Characteristic Value Type uint16 Format Timestamp : AcceXYZ : GyroXYZ (2 : 6 : 6 bytes) UUID F000AA A Properties Read, Notify Enable/Disable Characteristic Value Type int Format byte) UUID F000AA A Properties Read, Write Σχήµα 4.6: BMX Service overview 42

49 4.4 Εφαρµογή διαχείρισης προφίλ Application App Profile Remote Client initialized Create service database request Service database creation confirmation Remote client connects Enable service command Remote client writes to Client write indication characteristic 2 (Enable/Disable) Remote client enables notify of Client notify indication characteristic 1 (Data) Update characteristic 1 value command 20 ms GATT Notify Remote client disconnects Service disable indication Σχήµα 4.7: ιάγραµµα ϱοής µηνυµάτων του BMX Profile 4.4 Εφαρµογή διαχείρισης προφίλ Τα BMX profile και BMX app αποτελούν τα δύο τµήµατα του κώδικα υλοποίησης του BMX profile. Το BMX profile είναι το ανεξάρτητο της εφαρµογής τµήµα, ενώ το BMX app είναι το εξαρτώµενο από την εφαρµογή. Το BMX profile υλοποιεί τη γενική συµπεριφορά και τις διαδικασίες που προβλέπονται από το προφίλ και το BLE πρότυπο. Το BMX app αποτελεί το interface µεταξύ της εφαρµογής, του BMX profile και του αισθητήρα, µετα- ϕέροντας µηνύµατα και εκκινώντας διαδικασίες σε αυτά. Οι ϐασικές του λειτουργίες είναι η µεταφορά των αποτελεσµάτων των µετρήσεων από τον αισθητήρα στο BMX profile, ώστε να σταλούν στον remote client. Επίσης αναλαµβάνει την εκτέλεση των εντολών που ορίζονται στο προφίλ, στις οποίες µπορεί να αλλάξει τιµή - γράψει ο remote client. Στο Σχήµα 4.7 ϕαίνεται το διάγραµµα ϱοής µηνυµάτων του BMX profile. 43

50 4.4 Εφαρµογή διαχείρισης προφίλ Η εφαρµογή που υλοποιείται στον µικροεπεξεργαστή και διαχειρίζεται τη λειτουργία του IMU Sensor profile ξεκινάει ενεργοποιώντας τους αισθητήρες και τοποθετεί τις τιµές των πα- ϱαµέτρων ϱύθµισης σε κάθε αισθητήρα. Επίσης, η εφαρµογή στέλνει αίτηµα δηµιουργίας στο προφίλ και αυτό µε τη σειρά του απαντά µε µήνυµα επιβεβαίωσης. Στη συνέχεια η εφαρ- µογή εισέρχεται σε κατάσταση advertise, χρησιµοποιώντας το τύπο connectable undirected advertising το οποίο είναι ταυτόχρονα και scannable. Στα δεδοµένα advertise περιλαµβάνεται το GAP όνοµα της συσκευής και στα scan response data περιλαµβάνεται το UUID του BMX service. Προκειµένου ο remote client να ανακαλύψει το IMU Sensor server ξεκινάει η διαδικασία scan για συσκευές που είναι σε κατάσταση advertise. Οταν ο µικροεπεξεργαστής εντοπίσει συσκευή που κάνει scan και το UUID περιέχεται στα scan response data τότε γνωρίζουµε ότι η συσκευή είναι ο IMU Sensor server και ο remote client µπορεί να ξεκινήσει τη διαδικασία σύνδεσης. Μόλις ο µικροεπεξεργαστής λάβει αίτηµα για σύνδεση, διακόπτει το advertising και επικυρώνει τη σύνδεση στέλνοντας µήνυµα επιβεβαίωσης. Η εφαρµογή ενεργοποιεί το BMX service αφού έχει πραγµατοποιηθεί σύνδεση µε τον remote client. Από το σηµείο αυτό και έπειτα ο µικροεπεξεργαστής περιµένει διαχείριση από τον συνδεδεµένο client. Προκειµένου να ξεκινήσει η µετάδοση των δεδοµένων ο remote client καλείται να εκτελέσει τη λειτουργία write στο χαρακτηριστικό Enable/Disable characteristic. Ετσι, η εφαρµογή δέχεται µήνυµα (indication) ότι ένα χαρακτηριστικό άλλαξε τιµή. Με αυτή τη διαδικασία αρχικοποιείται η τιµή του timestamp και ένας kernel timer τίθεται σε λειτουργία για την επίτευξη της περιοδικής αποστολής µετρήσεων, αφού έχουν ε- νεργοποιηθεί τα notifications του Data Value characteristic. Ο remote client έπειτα πρέπει να ενεργοποιήσει τα notifications ώστε να αρχίσει η περιοδική αποστολή µετρήσεων ανά 20 ms. Τέλος, ο χρήστης έχει δυνατότητα για αποσύνδεση από την εφαρµογή που διαχειρίζεται το προφίλ. Το προφίλ απενεργοποιεί το BMX service και στέλνει µήνυµα (indication) στην εφαρµογή για ενηµέρωση. Στο Πίνακα 4.1 συνοψίζονται τα αναγνωριστικά των δύο συσκευών που τρέχουν το BMX Service και αποτελούν τους δύο αισθητήρες που χρησιµοποιεί το σύστηµα κατάδειξης. Πίνακας 4.1: BMX Profile Συσκευές Sensor A Sensor B Service BMX Service BMX Service Bluetooth Address (48bit) EA CA AE BB CB AB Device Name A B 44

51 Κεφάλαιο 5 Σύστηµα συγχρονισµένης λήψης δεδο- µένων Στο προηγούµενο κεφάλαιο έγινε παρουσίαση της εφαρµογής που εκτελείται στο DA14583 Development Board και είναι επιφορτισµένη µε την συλλογή και αποστολή των δεδοµένων σε έναν BLE GATT client, GAP central που στην περίπτωσή µας είναι ένας υπολογιστής που εκτελεί µια εφαρµογή υλοποιηµένη σε Windows 10. Στο παρόν κεφάλαιο ϑα γίνει συνοπτική παρουσίαση της εφαρµογής αυτής που δηµιουργήθηκε για τη λήψη και αποθήκευση των δεδοµένων κίνησης από δύο ή περισσότερους αισθητήρες. 5.1 Βασικά στοιχεία εφαρµογής Windows 10 Σχήµα 5.1: Windows Bluetooth Connections Screen Η Windows 10 εφαρµογή ([25], [26]) εκτελείται σε έναν κεντρικό υπολογιστή που όπως αναφέραµε παίζει το ϱόλο του BLE GAP peripheral. Η εφαρµογή έχει σχεδιαστεί για την λήψη δεδοµένων ταυτόχρονα από δύο αισθητήρες, ενώ µε µικρές αλλαγές έχει τη δυνατότητα λήψης δεδοµένων από µόνο έναν ή και περισσότερους από δύο αισθητήρες που διαθέτουν 45

52 5.1 Βασικά στοιχεία εφαρµογής Windows 10 το συγκεκριµένο BLE προφίλ. Το πρώτο ϐήµα της εφαρµογής αυτής είναι η σύνδεση του υπολογιστή µε τις συσκευές που λειτουργούν ως GAP central (DA14583 εφαρµογή). Αυτό προυποθέτει µια διαδικασία pairing, όπου η εφαρµογή των Windows χρησιµοποιεί το ble chip του υπολογιστή ώστε να κάνει pair µε τον κάθε αισθητήρα. Μετά την ολοκλήρωση του pairing το σύστηµα αντιµετωπίζει τις αποµακρυσµένες συσκευές σαν µέροι του και µπορεί πια να διαχειριστεί όλα τα GATT services. Η εφαρµογή αυτή αποτελείται από δύο µέρη, το γραφικό περιβάλλον χρήστη (user interface) και το µέρος που υλοποιεί την επικοινωνία του GATT client (Windows 10 PC) µε τους GATT servers (DA14583 boards) Γραφικό περιβάλλον χρήστη Το πρώτο µέρος της Windows εφαρµογής αποτελεί το User Interface που αξιοποιεί τις δυνατότητες του BLE προφίλ. Μέσω αυτού ο χρήστης δίνει εντολές στους αποµακρυσµένους αισθητήρες και είναι σε ϑέση να λάβει τα δεδοµένα και να τα αποθηκεύσει σε.txt αρχείο. Το user interface αποτελείται από text blocks για το επιταχυνσιόµετρο και γυροσκόπιο του κάθε αδρανειακού αισθητήρα και ένα για τα timestamps των δεδοµένων. Τα text blocks απεικονίζουν σε πραγµατικό χρόνο τις αλλαγές στα δεδοµένα κίνησης των δύο αισθητήρων. Τα παρακάτω buttons υποστηρίζουν τη λειτουργικότητα του περιβάλλοντος χρήστη : Init : Σύνδεση µε τις συσκευές που περιέχουν το BMX service Enable Sensors/Disable Sensors: Εντολή για αλλαγή του Enable/Disable characteristic του προφίλ στις αποµακρυσµένες συσκευές αισθητήρες Enable Notifications: Ενεργοποίηση/Απενεργοποίηση των notifications του Data Value characteristic του προφίλ σε κάθε αισθητήρα, δηλαδή ενεργοποίηση/απενεργοποίηση της λήψης δεδοµένων Write SensorData to File: Εγγραφή των δεδοµένων κίνησης που έχουν ληφθεί, καθώς και του timestamp τους σε αρχείο.txt Show devices: Εµφάνιση λίστας Bluetooth Low Energy συσκευών που είναι σε κατάσταση pair µε τον κεντρικό υπολογιστή εκείνη τη στιγµή και περιέχει το συγκεκρι- µένο Service που µας ενδιαφέρει (BMX Service) Στο Σχήµα 5.2 ϕαίνεται η ϐασική µορφή του user interface οµή BLE εφαρµογής Για την αξιοποίηση του Bluetooth Low Energy από Windows 10 εφαρµογή απαιτείται η εισαγωγή της BLE λειτουργικότητας στο application manifest, που είναι ένα XML αρχείο και ονοµάζεται Package.appxmanifest. Η δήλωση αυτή ορίζει ότι το Bluetooth.generic Attribute Profile ϑα χρησιµοποιηθεί στην εφαρµογή, οπότε η τελευταία ϑα είναι σε ϑέση να αναγνωρίσει συσκευές που χρησιµοποιούν Bluetooth Low Energy πρωτόκολλο. Ορίζοντας 46

53 5.1 Βασικά στοιχεία εφαρµογής Windows 10 Σχήµα 5.2: Windows 10 Application GUI επιπλέον το UUID του δικού µας (custom) BMX service η εφαρµογή µπορεί να αναγνωρίσει όλες τις συσκευές που περιέχουν το συγκεκριµένο service. Ο ορισµός των UUID s του προφίλ υλοποιείται σε µια κλάση Sensor η οποία επιπλέον υλοποιεί τις συναρτήσεις που έχουν σχέση µε τον αισθητήρα, δηλάδη συναρτήσεις για τη µετατροπή των δεδοµένων σε πραγµατικές τιµές. Η εφαρµογή δηµιουργεί δύο instances της κλάσης Sensor, ένα για κάθε αισθητήρα. Γνωρίζοντας τα UUID s µπορούµε να συνδεθούµε στην συσκευή που λειτουργεί ως GATT server, δηλαδή το DA Αυτό επιτυγχάνεται υλοποιώντας µια ασύγχρονη µεθοδό την GetDeviceService. Το GattDeviceService προυπο- ϑέτει την εισαγωγή του UUID του service της συσκευής που ϑέλουµε να γίνει σύνδεση ως παράµετρο. Ετσι, η µέθοδος αυτή ϐρίσκει όλες τις BLE συσκευές που είναι συνδεδεµένες και έχουν υλοποιηµένο το BMX service. Αφού το service είναι υλοποιηµένο στους δύο αισθητήρες, η εφαρµογή συνδέεται µε τους δύο πρώτους στη λίστα που έχουν όνοµα συσκευής A και B αντίστοιχα. Η εφαρµογή εκτός από το main thread που ουσιαστικά είναι το περιβάλλον χρήστη α- ποτελείται από τρία δευτερεύοντα threads που τρέχουν συνέχεια κάτω από το κεντρικό. Τα δύο διαχειρίζονται τις εντολές και την επικοινωνία µε κάθε αισθητήρα ξεχωριστά (Senso- TaskA, SensorTaskB), ενώ το τρίτο (RefreshTransm) χρησιµοποιείται για την ανανέωση της 47

54 5.2 Συγχρονισµός λήψης διαδικασίας λήψης δεδοµένων και η λειτουργία του ϑα αναλυθεί παρακάτω. Αξίζει να σηµειωθεί οτι η εφαρµογή διαχειρίζεται τους δύο αισθητήρες ταυτόχρονα και µε τον ίδιο τρόπο. Αυτό σηµαίνει οτι οι εντολές που δίνει ο χρήστης µέσω των buttons του περιβάλλοντος χρήστη εκτελούνται και από τα δύο αποµακρυσµένα boards. Για να συµβεί αυτό λοιπόν όσο το δυνατόν πιο συγχρονισµένα δηµιουργήθηκαν τα δύο threads που αναφέραµε ωστε να δίνονται οι εντολές ταυτόχρονα, πράγµα που επιτυγχάνεται µε τη χρήση flags κάθε ϕορά που δίνεται κάποια εντολή από το χρήστη. Η µη χρησιµοποίηση των δύο threads ϑα οδηγούσε στη σειριακή αποστολή εντολών και αιτηµάτων στους αισθητήρες, γεγονός που προσθέτει καθυστέρηση στον δεύτερο καθιστώντας αδύνατη την ταυτόχρονη έναρξη λήψης δεδοµένων και κατέπέκταση τη λήψη δεδοµένων της ίδια χρονικής στιγµής. Συνεπώς όταν ο χρήστης πατήσει το Init button, η εφαρµογή δηµιουργεί και τρέχει τα τρία treads και περιµένει επιπλέον εντολές από τον χρήστη. Για την εγγραφή εντολών και την ανάγνωση δεδοµένων από τους αισθητήρες απαιτείται η χρήση των χαρακτηριστικών του service. Αρχικά, ο χρήστης πρέπει να ενεργοποιήσει το Enable/Disable characteristic του BMX service του κάθε αισθητήρα, ϑέτοντας την τιµή 1 (sensorenabledata = 1) στο χαρακτηριστικό. Αυτο γίνεται Enable Sensors/Disable Sensors button το οποίο αλλάζει τη τιµή του χαρακτηριστικού από 0 σε 1 και στους δυο αισθητήρες ταυτόχρονα. Εχοντας ενεργοποιήσει αυτό το χαρακτηριστικό αποµένει η ενεργοποίηση των notifications στο data Value characteristic για να συλλέξουµε δεδοµένα. Η ενεργοποίηση γίνεται µε το Enable Notifications button το οποίο ξεκινάει τη ταυτόχρονη λήψη δεδοµένων από τους δύο αισθητήρες. Γίνεται σαφές πως υπάρχει ανάγκη για µια διαδικασία που ϑα καταλαβαίνει κάθε ϕο- ϱά που έρχεται ένα notify. Αυτό πετυχαίνεται µέσω µιας µεθόδου EnableNotify, η οποία ενεργοποιεί τα notifications και κάνει subscribe σε ένα event (datacharactvalchanged). Ο handler αυτού του event προωθεί τα δεδοµένα που έρχονται από τα notifications του κάθε αισθητήρα στο αντίστοιχο SnsrValChanged event Τα δεδοµένα καθώς λαµβάνονται µετατρέπονται στις πραγµατικές τους µονάδες ( deg /s για το γυροσκόπιο και g για το επιταχυνσιόµετρο ), απεικονίζονται σε text blocks στο περι- ϐάλλον χρήστη και αποθηκεύονται µαζί µε το συγχρονισµένο timestamp τους σε µια λίστα. Επιπλέον, µέσω του "Write SensorData to File button" τα δεδοµένα µπορούν να εγγραφούν σε.txt αρχείο για τη µετέπειτα offline επεξεργασία τους. 5.2 Συγχρονισµός λήψης Η τεχνική των ξεχωριστών threads για τους δύο αισθητήρες εξυπηρέτησε επιτυχώς την ανάγκη για ταυτόχρονη αποστολή εντολών και συνεπώς ταυτόχρονη έναρξη λήψης των δεδο- µένων κίνησης µέσω notifications. Το Σχηµα 5.3 (a) απεικονίζει τα δεδοµένα του άξονα Z των γυροσκοπίων των δύο αισθητήρων σε µια περιοδική κίνηση ως προς τον άξονα αυτό. Οι δύο αισθητήρες είναι τοποθετηµένοι µε τέτοιο τρόπο ώστε να περιγράφουν την ίδια κίνηση στον συγκεκριµένο άξονα. Συνεπώς αναµένουµε ταύτιση των δύο σηµάτων. Οπως παρατη- ϱούµε στο Σχηµα 5.3 (a), ενώ υπαρχει ταυτόχρονη και συγχρονισµένη έναρξη, τα σήµατα ταυτίζονται µόνο για ένα αρχικό χρονικό διάστηµα και από εκεί και πέρα παρουσιάζουν µια 48

55 5.2 Συγχρονισµός λήψης διαφορά ϕάσης που οφείλεται στην ϕύση του πρωτοκόλλου BLE Gyro Z Axis - Two sensors - No restart Angular Velocity (deg/sec) Angular Velocity (deg/sec) Sensor A Sensor B Time (s) (a) Gyro Z Axis - Two sensors - Restart every 30 sec Sensor A Sensor B Time (s) (b) Σχήµα 5.3: Σήµατα αισθητήρων πριν την εφαρµογή του transmission restart (a) και µετά (b) 49

56 Cross Correlation Factor 5.2 Συγχρονισµός λήψης Για την εξάλειψη του ϕαινοµένου αυτού αναπτύχθηκε το επιπλέον thread που προανα- ϕέρθηκε (RefrashStep) και είναι επιφορτισµένο µε την περιοδική ανανέωση της ϱοής των δεδοµένων. Το thread παρακολουθεί τα timestamp των αισθητήρων και µόλις ϕτάσουν σε µια συγκεκριµένη τιµή το RefrashStep, δίνει εντολή για ταυτόχρονη επανέναρξη της ϱοής από τα δύο boards. Το ϐήµα της ανανέωσης προέκυψε πειραµατικά µετά την επανάληψη µεγάλου αριθµού µετρήσεων και ορίζεται από εµάς στην εφαρµογή. Η διαδικασία της επανέναρξης γίνεται µέσω της αξιοποίησης του Enable/Disable characteristic που υπάρχει στο BMX Servise του κάθε αισθητήρα. Με την ταυτόχρονη αλλαγή του χαρακτηριστικού αυτού σε κάθε αισθητήρα απο 1 σε 0 και µετά από 0 σε 1 γίνεται στο κάθε αποµακρυσµένο board επανέναρξη του timer που χειρίζεται την περιοδικη αποστολή των notifications αλλά και το reset του timestamp. Στο Σχήµα 5.3 (b) ϕαίνεται το αποτέλεσµα της εν λόγω µετατροπής. Επίσης είναι ϕανερό οτι η επανέναρξη της µετάδοσης που εδώ γίνεται κάθε 30 δευτερόλεπτα(=1500 δείγµατα) δεν δηµιουργεί ασυνέχειες στο σήµα. Cross Correlation Sensor A vs B - Zero Shift (Lag) - Windows of 200 samples Without transmission restart Transmission restart every 30 seconds Time (s) Σχήµα 5.4: Ετεροσυσχέτιση σηµάτων αισθητήρων Για την εύρεση του ϐέλτιστου χρονικού σηµείου, στο οποίο ϑα γίνεται η επανέναρξη της µετάδοσης, έγιναν πολλαπλές µετρήσεις ταυτόχρονης λήψης σηµάτων. Με την εφαρµογή ετεροσυσχέτισης σε παράθυρα των δύο σηµάτων από τους αισθητήρες Α και Β αντίστοιχα έγινε ϕανερό οτι η διαφορά ϕάσης των δύο σηµάτων ξεκινάει στη χειρότερη περίπτωση στα 35 δευτερόλεπτα. Για το λόγο αυτό επιλέξαµε σαν ϐήµα ανανέωσης της ϱοής δεδοµένων τα 30 δευτερόλεπτα(=1500 δείγµατα). Στο Σχήµα 5.4 ϕαίνεται η ετεροσυσχέτηση των δύο 50

57 5.2 Συγχρονισµός λήψης σηµάτων σε παράθυρα των 200 δειγµάτων. Κάθε σηµείο της γραφικής είναι ο συντελεστής ετερεροσυσχέτισης των παραθύρων των δύο σηµάτων την ίδια χρονική στιγµή (Lag 0) δηλαδή όταν το ένα σήµα δεν έχει µετατοπιστεί ως προς το άλλο. Είναι ϕανερό οτι µετά τα 35 δευτερόλεπτα παρατηρείται µείωση του συντελεστή ετερεσυσχέτισης πράγµα που οφείλεται στην διαφορά ϕάσης που δηµιουργείται στα σήµατα, όπως δείχνει και το Σχήµα

58 Μέρος II Αλγόριθµος εύρεσης ϑέσης κατάδειξης 52

59 Κεφάλαιο 6 Επεξεργασία δεδοµένων αισθητήρων Στο Σχήµα 6.1 ϕαίνεται το block διάγραµµα για την προεπεξεργασία των δεδοµένων από τους αισθητήρες πριν τροφοδοτήσουν το ϕίλτρο εύρεσης προσανατολισµού. Accelerometer X Axis Y Axis Z Axis Gyroscope Gyro A Gyro B Gyroscope Calibration & Averaging [ /s ] LPF ω X Axis Y Axis Z Axis Accelerometer X Axis Y Axis Z Axis Gyroscope X Axis Y Axis Z Axis Acce A Acce B Accelerometer Calibration & Averaging [g] LPF α Σχήµα 6.1: Λήψη και προεπεξεργασία δεδοµένων αδρανειακών αισθητήρων Ο συνολικός αλγόριθµος αναλύεται στα επόµενα τρία κεφάλαια. Στο παρόν κεφάλαιο γίνεται περιγραφή της αρχικής επεξεργασίας στην οποία υποβάλλονται τα δεδοµένα αµέσως µετά τη λήψη τους από τους αισθητήρες. Η επεξεργασία αυτή γίνεται και για τους αισθητήρες BMX055 και για τους αισθητήρες Shimmer και περιλαµβάνει calibration, averaging και lowpass filtering διαδικασίες οι οποίες γίνονται µε στόχο τη µείωση του ϑορύβου που υπάρχει σε τέτοιους αισθητήρες τύπου MEMS. 53

60 6.1 Αδρανειακοί αισθητήρες IMU 6.1 Αδρανειακοί αισθητήρες IMU Γενικά στοιχεία Οι αδρανειακοί αισθητήρες ή IMUs (Inertial Measurement Units) αποτελούν µέρος ηλεκτρονικών συσκευών που µετρούν την ταχύτητα και τη διεύθυνση ενός µέσου. Τα IMUs είναι τα κύρια συστατικά ενός αδρανειακού συστήµατος και τα δεδοµένα που συλλέγονται από αυτούς τους αισθητήρες, µετά από τη σχετική επεξεργασία, επιτρέπουν σε ένα υπολογιστή να εντοπίσει τα χαρακτηριστικά της κίνησης σε ένα µέσο. Ενα IMU σύστηµα αισθητήρων λειτουργεί µέσω του εντοπισµού της επιτάχυνσης, χρησιµοποιώντας ένα ή περισσότερα επιταχυνσιόµετρα και επίσης ανιχνεύει µεταβολές στη πε- ϱιστροφική κίνηση του µέσου µε τη ϐοήθεια ενός ή περισσοτέρων γυροσκοπίων. Ο όρος αδρανειακός αισθητήρας είναι ευρέως διαδεδοµένος ως ένα κουτί, το οποίο περιέχει 3 επιταχυνσιόµετρα και 3 γυροσκόπια. Τα επιταχυνσιόµετρα και τα γυροσκόπια είναι τοποθετηµένα µε τέτοιο τρόπο ώστε να είναι κάθετα το ένα µε το άλλο, δηλαδή να µετρούν ένα σύστηµα µε τρεις ϐαθµούς ελευθερίας το καθένα. Το µειονέκτηµα µε αυτού του είδους τους αισθητήρες είναι ότι πρέπει να αντιµετωπιστεί πολύ µεγάλο σφάλµα που προκύπτει από την επεξεργασία των µεγεθών για την εκτίµηση της ϑέσης του µέσου. Με αλλά λόγια, επειδή τα σφάλµα προστίθεται στις προηγούµενες µετρήσεις ολοένα, αυτό µεταφέρεται στο επιθυµητό αποτέλεσµα µε συνεχώς αυξανόµενη δια- ϕορά από τη πραγµατική κατάσταση. Το αποτέλεσµα προκύπτει από τη πράξη της διπλής ολοκλήρωσης στην επιτάχυνση και την αντιµετώπιση των σταθερών ολοκλήρωσης που προκύπτουν από τις αλλεπάλληλες πράξεις ώστε να έχουµε το τελικό αποτέλεσµα της ανίχνευσης της ϑέσης του σώµατος στον τρισδιάστατο χώρο. Εδώ, αξίζει να αναφέρουµε τη κατηγορία των Μικρο-ηλεκτροµηχανικών συστηµάτων, ή διεθνώς MEMS (Micro-Electro-Mechanical Systems). Αυτή είναι µια τεχνολογία που στη πιο γενική της µορφή µπορεί να οριστεί ως µικρογραφία µηχανικών και ηλεκτρικών στοιχείων. Τα MEMS αποτελούνται από συστατικά στη τάξη µεγέθους του µικροµέτρου (µm), καθώς οι συσκευές MEMS γενικά κυµαίνονται σε µέγεθος από µm 1mm περίπου. Τα συστήµατα MEMS µπορούν να εκτελούν διάφορες λειτουργίες οι οποίες πολλές ϕορές αποτελούν σµίκρυνση αντίστοιχων κατασκευών µε µακροσκοπικές διαστάσεις. Οι τύποι των MEMS µπορούν να ποικίλουν από σχετικά απλές δοµές σε εξαιρετικά πολύπλοκα ηλεκτροµηχανολογικά συστήµατα µε πολλαπλά στοιχεία που ϐρίσκονται στο πλαίσιο της ολοκληρωµένης τεχνολογίας της Μικροηλεκτρονικής. Το κριτήριο των MEMS είναι ότι χρησιµοποιεί τουλάχιστον ένα η περισσότερα στοιχεία που έχουν κάποια µηχανική ιδιότητα. Συνήθως αποτελούνται από µια κεντρική µονάδα που επεξεργάζεται τα δεδοµένα και διάφορες συνδεσµολογίες που αλληλεπιδρούν µε το εξωτερικό περιβάλλον. Οι πραγµατικές δυνατότητες των MEMS γίνονται αισθητές όταν οι δοµές αυτές συγχωνεύονται σε ένα κοινό υπόστρωµα πυριτίου, µαζί µε άλλα ολοκληρωµένα κυκλώµατα (Integrated Circuits) µε τεχνολογίες CMOS ή BiCMOS. Η πρώτη εµφάνιση των MEMS εµφανίστηκαν ως τµήµατα ολοκληρωµένων κυκλωµάτων, αλλά πλέον έχουν διάφορες χρήσεις σε πολλούς τοµείς όπως στους αισθητήρες, στους µηχανισµούς µεταφοράς (micro-actuators), 54

61 6.1 Αδρανειακοί αισθητήρες IMU στους µηχανισµούς µεταφοράς, στη µεταφορά σηµάτων, στις µικροµηχανές κ.ά Μοντέλο ϑορύβου αισθητήρων Οι αισθητήρες τύπου MEMS λοιπόν έχουν πολλά πλεονεκτήµατα µε τα κυριότερα να είναι το µικρό µέγεθος και ϐάρος, η µικρή κατανάλωση ενέργειας και το µικρό κόστος παραγωγής. Ωστόσο το ϐασικό µειονέκτηµα τους έγκειται στο γεγονός ότι παρουσιάζουν µειωµένη ακρίβεια σε σύγκριση µε αισθητήρες άλλου τύπου. Η µειωµένη ακρίβεια οφείλεται κυρίως στα εξής : Bias: Ο µέσος όρος του σήµατος όταν ο αισθητήρας ϐρίσκεται σε αδράνεια. Ιδανικά η τιµή του πρέπει να προσεγγίζει το µηδέν αλλά σε πραγµατικά συστήµατα αυτό δεν συµβαίνει. Επίσης, σε αισθητήρες MEMS παρατηρείται σταδιακή µεταβολή της τιµής του Bias στην πάροδο του χρόνου (κυρίως µετά από µεγάλα χρονικά διαστήµατα συνεχούς λειτουργίας) Λευκός ϑόρυβος : Η έξοδος του αισθητήρα υποφέρει από ϑερµοµηχανικό ϑόρυβο που αυξοµειώνεται µε ϱυθµό πολύ µεγαλύτερο από αυτόν της δειγµατοληψίας του αισθητήρα. Θερµοκρασία : Οι µεταβολές στην ϑερµοκρασία λόγω αλλαγών στο περιβάλλον ή λόγω εσωτερικής ϑερµότητας που παράγει ο αισθητήρας προκαλούν µεταβολές στο σήµα εξόδου MEMS συστηµάτων. Ακολουθεί µια συνοπτική περιγραφή των αισθητήρων που αποτελούν ένα IMU σύστηµα κα- ϑώς και η µοντελοποίηση του ϑορύβου των αισθητήρων αυτών. Αισθητήρας επιτάχυνσης Οι αισθητήρες επιτάχυνσης χρησιµοποιούνται για τη µέτρηση της γραµµικής επιτάχυνσης ενός σώµατος. Σε πολλές εφαρµογές, η µετρούµενη επιτάχυνση χρησιµοποιείται για τον υπολογισµό της ταχύτητας και της ϑέσης ενός σώµατος µε αντίστοιχη ολοκλήρωση και διπλή ολοκλήρωση, για τη µελέτη δονήσεων, για την ανίχνευση κίνησης, καθώς και για τη µέτρηση της κλίσης ενός σώµατος ως προς το οριζόντιο επίπεδο, ϕυσικά µε τη ϐοήθεια ενός επιταχυνσιοµέτρου τριών αξόνων για να ανιχνεύουµε τις αλλαγές στο χώρο. Είναι επίσης ικανοί να καταγράψουν εκτός από τις γραµµικές επιταχύνσεις και την επιτάχυνση της ϐαρύτητας που προκαλείται από το ϐαρυτικό πεδίο της γής. Συνεπώς οι µετρήσεις ενός αισθητήρα επιτάχυνσης µπορούν να µοντελοποιηθούν ως εξής : R S α = α(t) g(t) + b α (t) + w α (t) (6.1) όπου : Rα S : οι µετρήσεις του αισθητήρα επιτάχυνσης στο sensor frame α(t): η στιγµιαία γραµµική επιτάχυνση 55

62 6.2 ιαδικασία ϐαθµονόµησης (Calibration) g(t): η γραµµική επιτάχυνση λόγω της ϐαρύτητας b α (t): συνιστώσα πολώσεων (bias) w α (t): συνιστώσα λευκού ϑορύβου Γυροσκόπιο Ο γυροσκοπικός αισθητήρας ή γυροσκόπιο είναι µία συσκευή, η οποία µετράει τη ταχύτητα περιστροφής. Τα γυροσκόπια είναι συσκευές που χρησιµοποιούν τις αρχές της α- δράνειας και της διατήρησης της γωνιακής ορµής ή στροφορµής ώστε να διατηρήσουν στα- ϑερό τον προσανατολισµό τους σε σχέση µε µία προκαθορισµένη διεύθυνση. Εποµένως, είναι ιδανικά για τη µέτρηση γωνιακών περιστροφών, ενώ µπορούν να παρέχουν ακριβή και σταθερά δεδοµένα για τη κατεύθυνση και το ϱυθµό περιστροφής ενός σώµατος ως προς κάθε άξονα περιστροφής. Προφανώς, χρησιµοποιώντας γυροσκόπια τριών αξόνων έχουµε µία καλή εικόνα για τη γωνιακή ταχύτητα του µέσου µέσα στον τρισδιάστατο χώρο. Το µοντέλο ϑορύβου των µετρήσεων του γυροσκοπίου είναι το εξής : R S g = ω(t) + b g (t) + w g (t) (6.2) όπου : Rg S : οι µετρήσεις του γυροσκοπίου στο sensor frame ω(t): η πραγµατική γωνιακή ταχύτητα b g (t): συνιστώσα πολώσεων (bias) w g (t): συνιστώσα λευκού ϑορύβου 6.2 ιαδικασία ϐαθµονόµησης (Calibration) Η µέθοδος της ϐαθµονόµησης (calibration) σε έναν αισθητήρα ϐελτιώνει την απόδοσή του µε την αποµάκρυνση δοµικών σφαλµάτων στο σήµα εξόδου του. Στόχος της µεθόδου είναι ο υπολογισµός παραµέτρων όπως το διάνυσµα των πολώσεων (bias vector) και ο πίνακας κέρδους (gain matrix) κάθε αισθητήρα. Για τα πρωτότυπα δικής µας υλοποίησης που συνδυάζουν το DA14583 board και τον IMU αισθητήρα BMX055 ακολουθούνται η διαδικασίες ϐαθµονόµησης που περιγράφονται στις αναφορές [27],[28]. Το κάθε επιταχυνσιόµετρο τοπο- ϑετείτε σε έξι διαφορετικές ϑέσεις και κρατήθηκε σταθερό κατά τη διάρκεια των µετρήσεων. Αυτό σηµαίνει ότι για την εξαγωγή των παραµέτρων ϐαθµονόµησης µετρήθηκε η επιτάχυνση της ϐαρύτητας (±1g) για κάθε άξονα του αισθητήρα επιτάχυνσης (x,y,z). acceleration [g] = gain (measured value) bias (6.3) Η ϐαθµονόµηση του γυροσκοπίου έγινε περιστρέφοντας το κάθε γυροσκόπιο κατά 180 µοίρες γύρω από κάθε ένα από τους τρείς άξονες του καταγράφοντας τις µετρήσεις. Οι µετρήσεις που παίρνουµε συγκρινόµενες µε την πραγµατική περιστροφή που έγινε παρέχουν 56

63 6.3 Μέση τιµή µετρήσεων το διάνυσµα των πολώσεων (bias vector) και τον πίνακα κέρδους (gain matrix) του κάθε γυροσκοπίου. angular rate [rad/s] = gain (measured value) bias (6.4) Το calibration των αισθητήρων Shimmer έγινε χρησιµοποιώντας την εφαρµογή που παρέχεται από την εταιρία [23]. Για τα επιταχυνσιόµετρα χρησιµοποιήθηκαν και εδώ έξι σταθερές ϑέσεις ενώ για τα γυροσκόπια πραγµατοποιήθηκε περιστροφή αναφοράς των 360 µοιρών. Για την επίτευξη ακρίβειας στην ϐαθµονόµηση τόσο των BMX055 όσο και των Shimmer αισθητήρων χρησιµοποιήθηκε µια µονάδα PAN/TILT PTU-D46 στην οποία προσαρτήθηκαν οι αισθητήρες πριν τη λήψη των µετρήσεων αναφοράς. Μετά την ολοκλήρωση των διαδικασιών ϐαθµονόµησης οι πίνακες που προέκυψαν χρησιµοποιούνται κατά την επεξεργασία των δεδοµένων αφού αυτά ληφθούν από τις πειραµατικές µετρήσεις ή κατά τη διάρκεια λειτουργίας του συστήµατος. 6.3 Μέση τιµή µετρήσεων Οι δύο αισθητήρες είναι τοποθετηµένοι στο ίδιο µέρος του άνω άκρου και συγκεκριµένα στον πήχη. Συνεπώς καταγράφουν την ίδια κίνηση αφού είναι σταθερά προσαρτηµένοι σε αυτό. Για το λόγο αυτό επιλέχτηκε µια στρατηγική εύρεσης του µέσου όρου των σηµάτων από τους αισθητήρες Α και Β, η οποία συνδυάζει τα σήµατα των γυροσκοπίων και επιταχυνσιοµέτρων των δύο IMUs. Χρησιµοποιώντας µια γενικευµένη µορφή των µοντέλων των αισθητήρων που παρουσιάστηκαν στην ενότητα 6.1, για κάθε σήµα από τα έξι συνολικά (έξι ϐαθµοί ελευθερίας αισθητήρων, τρείς άξονες x,y,z για κάθε γυροσκόπιο, τρείς άξονες x,y,z για κάθε επιταχυνσιόµετρο) µπορεί να εξαχθεί το εξής µοντέλο ϑορύβου : z A (k) = µ(k) + b A (k) + w A (k) (6.5) z B (k) = µ(k) + b B (k) + w B (k) (6.6) όπου : µ(k) = α(k) g(k) για κάθε άξονα επιταχυνσιόµετρου µ(k) = ω(k) για κάθε άξονα γυροσκοπίου Σε αυτό το σηµείο δεδοµένου ότι για κάθε άξονα έχει γίνει επιτυχής ϐαθµονόµηση (calibration) πριν τη λήψη των µετρήσεων ϑεωρούµε ότι η επίδραση των πολώσεων (bias) στα δύο σήµατα είναι µηδενική b A (k) = b B (k) = 0. Με την υπόθεση αυτή το µοντέλο ϑορύβου απλοποιείται περεταίρω : z A (k) = µ(k) + w A (k) (6.7) z B (k) = µ(k) + w B (k) (6.8) 57

64 6.4 Χαµηλοπερατό ϕίλτρο Butterworth Η εκτίµηση του τελικού σήµατος µε τη χρήση των µέσων όρων (µ(k)) είναι ακριβέστερη (χα- µηλότερη σε διασπορά) από οτι οι µεµονωµένες µετρήσεις. Για να αποδειχθεί αυτό έχουµε : µ(k) = z A(k) + z B (k) = 2 = µ(k) + w A(k) + w B (k) 2 (6.9) Η αναµενώµενη τιµή της εκτίµησης µ(k) είναι : E[µ(k)] = µ(k) E[w A(k) + w B (k)] = = µ(k) (E[w A(k)] + E[w B (k)]) (6.10) Η αναµενώµενη τιµή του ϑορύβου w(k): E[w A (k)] = E[w B (k)] = 0 Συνεπώς : E[µ(k)] = µ(k) (6.11) Η διακύµανση του ϑορύβου και για τους δύο αισθητήρες ϑεωρείται η ίδια δηλαδή Var(w i (k)) = σwi 2 = σw 2. Επίσης ϑεωρώντας οτι οι ϑόρυβοι ων αισθητήρων Α και Β είναι ασυσχέτιστοι έχου- µε οτι η συνδιασπορά του είναι µηδενική : Cov(w A (k), w B (k)) = 0. Αναλύοντας τη διασπορά της εκτίµησης µ(k) παίρνουµε : Var(µ(k)) = 0 + Var( 1 2 [w A(k) + w B (k)]) = Var(w A(k) + w B (k)) = σ2 w A σ2 w B Cov(w A(k), w B (k)) Cov(w B(k), w A (k)) = = 1 2 σ2 w Cov(w A(k), w B (k)) = 1 2 σ2 w (6.12) Καταλήγουµε στο συµπέρασµα οτι η διασπορά της νέας εκτίµησης σήµατος µέσω µέσης τιµής είναι η µισή σε σχέση µε το σήµα του κάθε µεµονωµένου αισθητήρα. 6.4 Χαµηλοπερατό ϕίλτρο Butterworth Αµέσως µετά την εκτίµηση µε τη χρήση του µέσου όρου τα σήµατα των γυροσκοπίων και επιταχυνσιοµέτρων περνάνε από ένα χαµηλοπερατό ϕίλτρο για την εξάλειψη του υψηλοπε- ϱατού ϑορύβου και την οµαλοποίηση των κυµατοµορφών (smoothing). Το ϕίλτρο επιλέχτηκε ϐάση των αναφορών [29] και [30] που αποτελεί µια προαπάθεια χαρακτηρισού της κίνησης του σώµατος. Στη τελευταία υποστηρίζεται ότι η µέση συχνότητα κίνησης είναι της τάξης του 1Hz ενώ σχεδόν το σύνολο της ισχύος του σήµατος ϐρίσκεται κάτω από τα 4Hz. Οι εν λόγω τιµές επιβεβαιώθηκαν και από τις δικές µας µετρήσεις συνεπώς προκειµένου να εξαλείψουµε συχνότητες µεγαλύτερες από εκείνες που το ανθρώπινο σώµα µπορεί να παράγει χρησιµοποιούµε ένα Butterworth IIR ϕίλτρο 6ης τάξης µε συχνότητα αποκοπής τα 4Hz. Η απόκριση συχνότητας του ϕίλτρου που χρησιµοποιούµε ϕαίνεται στο Σχήµα

65 Magnitude (db) 6.4 Χαµηλοπερατό ϕίλτρο Butterworth Magnitude Response (db) th order Butterworth IIR low-pass filter Cutoff freq 4 Hz Frequency (Hz) Σχήµα 6.2: Απόκριση του χαµηλοπερατού ϕίλτρου Στα Σχήµατα 6.3, 6.4 παρουσιάζονται τα αποτελέσµατατης επεξεργασίας που περιγράφηκε στο κεφάλαιο αυτό στα σήµατα επιταχυνσιοµέτρων και γυροσκοπίων αντίστοιχα. 59

66 Angular Velocity [deg/sec] Acceleration [g] 6.4 Χαµηλοπερατό ϕίλτρο Butterworth 5 x 10-3 Accelerometer Noise Data Sensor A - X axis Sensor B - X axis Average & Low Pass - X axis Time [s] Σχήµα 6.3: Σήµατα αισθητήρα επιτάχυνσης Gyroscope Noise Data Sensor A - X axis Sensor B - X axis Average & Low Pass - X axis Time [s] Σχήµα 6.4: Σήµατα γυροσκοπίου 60

67 Κεφάλαιο 7 Explicit Complementary Filter Η εύρεση της προβαλλόµενης ϑέσης στην οποία δείχνει ο χρήστης του συστήµατος που αναπτύξαµε στην παρούσα διπλωµατική γίνεται µε την αξιοποίηση του προσανατολισµού του άνω άκρου του. Προκειµένου να ϐρεθεί ο προσανατολισµός αυτός χρησιµοποιούνται τα δεδοµένα κίνησης των δύο αισθητήρων που είναι προσαρτηµένοι στο χέρι του. Για την επεξεργασία των δεδοµένων και την εξαγωγή της πληροφορίας του προσανατολισµού χρησιµοποιείται το Explicit Complementary Filter. Στο κεφάλαιο αυτό γίνεται περιγραφή της ϐασικής ϑεωρίας πίσω από το ϕίλτρο καθώς και της υλοποίησης του στο προτεινόµενο σύστη- µα. 7.1 Αναπαράσταση προσανατολισµού Η κίνηση του χεριού στο χώρο µπορεί να οριστεί από το διάνυσµα ϑέσης του κέντρου µάζας του και από τον προσανατολισµό του, ως προς κάποιο σύστηµα αναφοράς. Υπάρχουν διάφοροι µέθοδοι αναπαράστασης του προσανατολισµού ενός στερεού στο χώρο. Κάθε µία από αυτές παρουσιάζει κάποια ιδιαίτερα χαρακτηριστικά, τα οποία τις καθιστούν λιγότερο ή περισσότερο ελκυστικές σε διάφορες εφαρµογές. Στην παρούσα εργασία έγινε χρήση των γωνιών Euler και των τετραδονίων (quaternions), για τη σύνθεση του εκτιµητή προσανατολισµού. Η ανάλυση των µεθόδων ϑα παρουσιαστούν στις υποενότητες που ακολουθούν, αφού πρώτα εισαχθούν τα απαραίτητα συστήµατα αναφοράς Συστήµατα αναφοράς (Reference frames) Ο προσδιορισµός του προσανατολισµού και κατ επέκταση της ϑέσης ενός στερεού στο χώρο προϋποθέτει την ύπαρξη ενός τρισδιάστατου συστήµατος αναφοράς. Το σύστηµα ανα- ϕοράς έρχεται να απαντήσει στο ϐασικό ερώτηµα «ως προς τι» που τίθεται όταν επιχειρείται να προσδιοριστεί η ϑέση ενός σηµείου ή ο προσανατολισµός ενός διανύσµατος. Τα ϐασικότερα συστήµατα αναφοράς είναι : 61

68 7.1 Αναπαράσταση προσανατολισµού Το γεωκεντρικό σύστηµα αναφοράς (Earth fixed frame) Το γεωκεντρικό σύστηµα αναφοράς ϐρίσκεται σταθερά στην επιφάνεια της γης (Earth fixed frame). Το κέντρο του ταυτίζεται µε το κέντρο της γης και ο άξονας z e είναι παράλληλος µε τον πολικό άξονα περιστροφής της γής. Το x e y e επίπεδο είναι εφαπτόµενο στην επιφάνεια της γης. Ο άξονας x e ορίζεται έτσι ώστε να περνάει από τον µεσηµβρινό του Greenwich ενώ ο άξονας y e προηγείται κατά 90 µοίρες του x e στην κατεύθυνση της περιστροφής της γης συµπληρώνοντας έτσι το δεξιόστροφο σύστηµα αναφοράς. Πρέπει να σηµειωθεί πως η γωνιακή ταχύτητα περιστροφής της γης ϑεωρείται αµελητέα, δηλαδή το σύστηµα Ε ϑεω- ϱείται αδρανειακό. Αυτό, διότι το επίπεδο ϑορύβου του γυροσκοπίου είναι πολύ µεγαλύτερο σε σχέση µε το ϱυθµό περιστροφής της γης και για το λόγο αυτό δεν ϑα συµπεριληφθεί στο µοντέλο των κινηµατικών συνθηκών του συστήµατος. Στο Σχήµα 7.1 απεικονίζεται το εν λόγω σύστηµα. Σχήµα 7.1: Earth Frame Το σύστηµα αναφοράς του αισθητήρα (Sensor-Body frame) Το σύστηµα αναφοράς αυτό έχει το κέντρο του στο κέντρο µάζας του αισθητήρα. Είναι δηλαδή το σηµείο τοµής των αξόνων µέτρησης των επιταχυνσιοµέτρων και γυροσκοπίων του ΙΜΥ. Οι άξονες του συστήµατος αυτού x s, y s, z s συµπίπτουν µε τους άξονες ευαισθησίας (x,y,z) των αισθητήρων. Στο Σχήµα 7.2 απεικονίζεται το εν λόγω σύστηµα. Στη συγκεκριµένη περίπτωση που εξετάζουµε ϑεωρούµε ότι οι δύο αισθητήρες είναι σταθερά προσαρτηµένοι στον πήχη του χρήστη. Συνεπώς µπορούµε να ϑεωρήσουµε ότι τα συστήµατα αναφοράς των δύο αισθητήρων ευθυγραµµίζονται µε το σύστηµα αναφοράς του πήχη, το οποίο από εδώ και πέρα ϑα εξετάζεται ως ενιαίο. Το σύστηµα αναφοράς αυτό ϑα έχει κέντρο το κέντρο µάζας του πήχη, ο άξονας x s ϑα έχει κατεύθυνση προς το σηµείο που δείχνει ο 62

69 7.1 Αναπαράσταση προσανατολισµού Σχήµα 7.2: Sensor frame χρήστης, ο άξονας y s προς τα δεξιά και κάθετα ώς προς τον x s, ενώ ο άξονας z s συµπληρώνει το δεξιόστροφο σύστηµα κατευθυνόµενος προς τα κάτω Γωνίες Euler Σχήµα 7.3: Γωνίες Euler Η εκτίµηση της γωνιακής µετατόπισης του χεριού, την οποία στοχεύει να εκτιµήσει το σύστηµα, µπορεί να προκύψει µε την άµεση ολοκλήρωση του διανύσµατος της γωνιακής του ταχύτητας ως προς το σύστηµα αναφοράς. Ενας τρόπος περιγραφής του προσανατολισµού ενός στερεού σώµατος είναι οι γωνίες Euler. Για τον ορισµό των γωνιών Euler, ϑεωρείται το σύστηµα αναφοράς Oxyz το οποίο ϐρίσκεται σταθερά δεµένο πάνω στο στερεό σώµα (στην περίπτωσή µας αισθητήρα και κατέπέκταση άνω άκρο) και περιστρέφεται µαζί µε αυτό ως προς την αρχή Ο, και το σύστηµα OXYZ το οποίο παραµένει ακίνητο. Οποιοσδήποτε προσανατολισµός του στερεού σώµατος (άνω άκρου) µπορεί να επιτευχθεί µε τρεις διαδοχικές γωνιακές µετατοπίσεις. Οι δυνατές µετατοπίσεις που ορίζονται ϕαίνονται στο Σχήµα 7.3 και 63

70 7.1 Αναπαράσταση προσανατολισµού περιλαµβάνουν : 1. Περιστροφή του συστήµατος αναφοράς γύρω από τον άξονα ΟΧ κατά µια γωνία ψ που ονοµάζεται και yaw angle 2. Περιστροφή του συστήµατος αναφοράς γύρω από τον άξονα ΟΥ κατά γωνία ϑ που ονοµάζεται και pitch angle 3. Περιστροφή του συστήµατος αναφοράς ϕ γύρω από τον άξονα ΟΖ κατά γωνία ϕ που ονοµάζεται και roll angle Μια διαδοχική χρήση των περιστροφών που περιγράφονται οδηγεί κάθε ϕορά στον τελικό προσανατολισµό του σώµατος-άνω άκρου. Οι γωνίες Euler παρέχουν µια πολύ κοµψή γεω- µετρική ερµηνεία του προβλήµατος που είναι εύκολα κατανοητή σε σχέση µε άλλες µεθόδους αναπαράστασης. Γεγονός που τις καθιστά ελκυστικές για τέτοιες εφαρµογές και είναι και ένας απο τους ϐασικούς λόγος που είναι τόσο ευρέως διαδεδοµένες Τετραδόνια (Quaternions) Σύµφωνα µε το ϑεώρηµα του Euler, οποιαδήποτε αλληλουχία περιστροφών µπορεί να αναπαρασταθεί µε µια περιστροφή γύρω από ένα σταθερό άξονα. Τα τετραδόνια, γνωστά κυρίως µε τον αγγλικό όρο quaternions, αποτελούν ένα ϐολικό τρόπο αναπαράστασης αυτού του άξονα καθώς και της αντίστοιχης γωνίας. Ακολουθεί µια ϐασική περιγραφή της έννοιας των τετραδονίων και των ιδιοτήτων τους που ϑα χρησιµοποιηθούν για την υλοποίηση του explicit συµπληρωµατικού ϕίλτρου. Τα τετραδόνια ϑα συµβολίζονται µε µικρούς λατινικούς χαρακτήρες και τα διανύσµατα µε έντονους χαρακτήρες. Για µια αναλυτικότερη περιγραφή των τετραδονίων και της άλγεβρας τους, παραπέµπουµε στις αναφορές [13], [31], [32]. Τα τετραδόνια αποτελούν µια γενίκευση της ϑεωρίας των µιγαδικών αριθµων και στην γενική τους µορφή µπορούν να γραφούν ως εξής : q = q 0 + q 1 i + q 2 j + q 3 k = q 0 + q = [q 0 q 1 q 2 q 3 ] T (7.1) όπου q 0, q 1, q 2, q 3 είναι πραγµατικοί αριθµοί. Συγκεκριµένα το q 0 ονοµάζεται ϐαθµωτό µέρος ενώ τα q 1, q 2, q 3 αποτελούν το διανυσµατικό µέρος του τετραδονίου. Οταν το q 0 = 0 δηλαδή το ϐαθµωτό µέρος είναι µηδέν τότε το τετραδόνιο q αποτελεί ουσιαστικά διάνυσµα και λέγεται pure quaternion. Μερικές ϐασικές ιδιότητες της άλγεβρας των τετραδονίων είναι : q = q 0 q 1 i q 2 j q 3 k = [q 0, q 1, q 2, q 3 ] T Norm: q = q q2 + 1 q2 + 2 q2 3 q 1 = q q 2 Μοναδιαίο Τετραδόνιο (Unit Quaternion): q = q = 1 Επίσης τα µοναδιαία τετραδόνια µπορούν να χρησιµοποιηθούν για να περιγράψουν τον προσανατολισµό ενός στερεού σώµατος ή συστήµατος αναφοράς στον τρισδιάστατο χώρο. 64

71 7.1 Αναπαράσταση προσανατολισµού Ενα µοναδιαίο τετραδόνιο έχει τη δυνατότητα να περιστρέψει ένα διάνυσµα στο χώρο. Κάθε µοναδιαίο τετραδόνιο µπορεί να γραφεί ως εξής : q = q 0 + q = cosθ + usinθ (7.2) cos(θ/2) u x sin(θ/2) q = u y sin(θ/2) u z sin(θ/2) = cos(θ/2) (7.3) usin(θ/2) Τότε το q περιγράφει µια περιστροφή στο χώρο γύρω από το µοναδιαίο διάνυσµα u κατά γωνία ϑ. Πιο συγκεκριµένα για ένα διάνυσµα v ε R 3 το αποτέλεσµα της πράξης L q (v) = qvq παριστάνει γεωµετρικά µια περιστροφή του διανύσµατος v γωνίας ϑ µε το q να είναι ο άξονας περιστροφής. Ο αντίστροφος µετασχηµατισµός L q (v) = q vq µπορεί γεωµετρικά να ερµηνευθεί ως η αντίστροφη περιστροφή του v ή ως µια περιστροφή του συστήµατος συντεταγµένων σε σχέση µε το v γωνίας ϑ µε άξονα περιστροφής το q. Ετσι γίνεται ϕανερό πως η περιστροφή ενός τρισορθογώνιου συστήµατος συντεταγµένων Β ως προς κάποιο Α µπορεί να περιγραφεί µέσω ενός τετραδονίου q A B. Στη συγκεκριµένη περίπτωση το σύστηµα αναφοράς Σ που είναι δεµένο στο άνω άκρο του χρήστη περιστρέφεται ως προς το αδρανειακό σύστηµα αναφοράς Ε που είναι ακίνητο. Οταν ένα σύστηµα περιστρέφεται σε σχέση µε ένα άλλο µπορεί να υπολογιστεί ο ϱυθµός µεταβολής του τετραδονίου που περιγράφει τη σχέση τους. Από τα παραπάνω γίνεται ϕανερό ότι οποιαδήποτε δύο µοναδιαία τετραδόνια q και p µπορούν να συσχετιστούν µέσω ενός τρίτου τετραδονίου r έτσι ώστε : q = pr & r = q q (7.4) Εστω οτι q(t) είναι το τετραδόνιο που εκφράζει τον προσανατολισµό του συστήµατος S ως προς το E τη χρονική στιγµή t. Την αµέσως επόµενη χρονική στιγµή t + t ο εν λόγω προσανατολισµός ϑα εκφράζεται από το τετραδόνιο q(t + t). Αν υποθέσουµε ότι η περιστροφή αυτή γίνεται γύρω από έναν άξονα ˆωˆωˆω = ω ω µε γωνία θ = ω t, όπου ω(t) η γωνιακή ταχύτητα και ˆωˆωˆω µοναδιαίο διάνυσµα σχετιζόµενο µε τη γωνιακή ταχύτητα. Στη περίπτωση αυτή η συγκεκριµένη περιστροφή (από t σε t + t) µπορεί να περιγραφεί από το τετραδόνιο q = cos θ 2 + ˆωˆωˆωsin θ 2 = cos ω t 2 + ˆωˆωˆωsin ω t 2 (7.5) Συνεπώς µπορούµε να περιγράψουµε την περιστροφή ως : 65

72 7.1 Αναπαράσταση προσανατολισµού θ u B A Σχήµα 7.4: Περιστροφή του συστήµατος αναφοράς Β ως προς το σύστηµα αναφοράς Α µε χρήση Τετραδονίων q(t + t) = q q(t) (7.6) Για να εξάγουµε την παράγωγο του q(t) χρησιµοποιούµε τον ορισµό της παραγώγου και τις εξισώσεις (7.5), (7.6) δηλαδή : q(t + t) q(t) q(t) = lim t 0 t (7.7) 66

73 7.1 Αναπαράσταση προσανατολισµού q q(t) q(t) cos ω t q(t) + ˆωsin ω t q(t) q(t) 2 2 q(t) = lim = lim t 0 t t 0 t = (cos ω t 1) q(t) + ˆωsin ω t q(t) 2 2 = lim = t 0 t ( 2 sin 2 ω t = lim ) ω t (sin 4 q(t) + lim ˆω ) 2 q(t) (7.8) t 0 t t 0 t Από την εξίσωση (7.8) χρησιµοποιώντας τον κανόνα D Hopital προκύπτει : sin ω t cos ω t 4 4 q(t) = q(t) ω lim t ˆω ω 2 cos ω t 2 q(t) lim t 0 1 = = 0 + ˆω ω 2 q(t) q(t) = 1 2 ω(t) q(t) (7.9) Η τελική σχέση (7.9) αποτελεί την διαφορική κινηµατική εξίσωση των τετραδονίων και είναι η ϐάση υλοποίησης του συµπληρωµατικού ϕίλτρου που χρησιµοποιείται για την εύρεση του προσανατολισµού. Για περαιτέρω ανάλυση των εξισώσεων που σχετίζονται µε τετραδόνια ο αναγνώστης παραπέµπεται στην αναφορά [32] Σχέση Τετραδονίων µε Γωνίες Euler Ο προσανατολισµός δύο συστηµάτων αναφοράς µπορεί να περιγραφεί είτε µέσω ενός τετραδονίου περιστροφής είτε µέσω των γωνιών Euler. Οταν οι δύο αυτοί τρόποι αναπα- ϱάστασης ορίζουν την ίδια γεωµετρική σχέση, οι µετασχηµατισµοί που προκύπτουν από αυτούς οδηγούν στο ίδιο αποτέλεσµα. Συνεπώς µπορεί να οριστούν οι τύποι µετασχηµατισµού από τη µια µορφή αναπαράστασης στην άλλη. Αν είναι γνωστό το τετραδόνιο που ορίζει τον προσανατολισµό δύο συστηµάτων οι αντίστοιχες γωνίες Euler υπολογίζονται από τις σχέσεις : ψ = Atan2(2q 2 q 3 2q 1 q 4, 2q q2 2 1) θ = sin 1 (2q 2 q 4 + 2q 1 q 3 ) φ = Atan2(2q 3 q 4 2q 1 q 2, 2q q2 4 1) (7.10) 67

74 7.2 Εκτίµηση προσανατολισµού µε Explicit Complementary Filter 7.2 Εκτίµηση προσανατολισµού µε Explicit Complementary Filter Στην ενότητα 3 είδαµε πως οι χρησιµοποιούµενοι αισθητήρες παρέχουν πληροφορίες για τον προσανατολισµό ενός στερεού και συγκεκριµένα του άνω άκρου. Οµως, κανένα εκ των γυροσκοπίων και επιταχυνσιόµετρων δεν µπορεί να χρησιµοποιηθεί µόνο του. Από τη µία η ολοκλήρωση των εξόδων του γυροσκοπίου οδηγεί σε µη ϕραγµένα σφάλµατα και από την άλλη το επιταχυνσιόµετρο µπορεί να παρέχει πληροφορίες προσανατολισµού µόνο όταν το σώµα είναι ακίνητο. Για το λόγο αυτό είναι σκόπιµο να συνδυαστούν οι πληροφο- ϱίες από όλους τους αισθητήρες για την παραγωγή µιας ενιαίας λύσης του προβλήµατος. Τα σφάλµατα από την ολοκλήρωση των εξόδων του γυροσκοπίου µπορούν να αναιρεθούν από το ϐοηθητικό επιταχυνσιόµετρο, που παρουσιάζει ϕραγµένες αποκλίσεις. Στην ουσία το γυροσκόπιο χρησιµοποιείται για την παροχή πληροφοριών υψηλού εύρους Ϲώνης και το ϐοηθητικό σύστηµα χρησιµοποιείται περιοδικά για την αναίρεση των σφαλµάτων και την εξασφάλιση της ευστάθειας του αλγόριθµου. Οι έξοδοι των δύο συστηµάτων µπορούν να συγχωνευτούν µέσω ενός συµπληρωµατικού ϕίλτρου, για την ϐέλτιστη εκτίµηση του προσανατολισµού. Η υλοποίηση του ϕίλτρου ϑα περιγραφεί στην υποενότητα αυτή Γενική µορφή του συµπληρωµατικού ϕίλτρου και τροποποιήσεις Low-Pass Filter + Integral High-Pass Filter + Σχήµα 7.5: Γενικευµένη µορφή συµπληρωµατικού ϕίλτρου Παρακάτω ϑα εξετάσουµε τις απλούστερες περιπτώσεις συνδυασµού IMU δεδοµένων, δηλαδή περιπτώσεις συνδυασµού δεδοµένων που αφορούν έναν άξονα για την παρουσίαση της ϐασικής ιδέας πίσω από τα ϕίλτρα αυτού του τύπου. Η ιδιότητα του αισθητήρα επιτάχυνσης να αντιλαµβάνεται την επιτάχυνση της ϐαρύτητας του δίνει τη δυνατότητα να παρέχει δεδοµένα προσανατολισµού που δεν µεταβάλλονται µε το χρόνο. Ωστόσο οι διάφοροι τύποι ϑορύβου στις µετρήσεις καθώς και η αργή απόκριση σε περιπτώσεις απότοµης κίνησης αποτελούν πηγές σφαλµάτων µικρής κλίµακας. Οσων αφορά το γυροσκόπιο έχει τη δυνατότητα να παράγει αξιόπιστα δεδοµένα περιστροφικής κίνησης σε υψηλές συχνότητες. Είναι σε ϑέση, έτσι, να αντιληφθεί γρήγορες µεταβολές. Η πηγή σφαλµάτων στην περίπτωση αυτή 68

75 7.2 Εκτίµηση προσανατολισµού µε Explicit Complementary Filter έγκειται στο γεγονός ότι µικρά σφάλµατα αθροίζονται συνεχώς οδηγώντας σταδιακά σε α- ποκλίσεις από τον ορθό προσανατολισµό. Προκειµένου να καταπολεµήσουµε τις αδυναµίες του κάθε αισθητήρα και να οδηγηθούµε σε πιο αξιόπιστα και σταθερά αποτελέσµατα, ϑα πρέπει ϐραχυπρόθεσµα να χρησιµοποιούνται οι µετρήσεις του γυροσκοπίου στις οποίες ϑα γίνονται διορθώσεις ως προς τον προσανατολισµό µε τα δεδοµένα που λαµβάνονται από το επιταχυνσιόµετρο µακροπρόθεσµα. Αυτό ουσιαστικά επιτυγχάνεται µε την επεξεργασία των δεδοµένων του γυροσκοπίου µέσω ενός υψηλοπερατού ϕίλτρου και ο συνδιασµός του µε τα δεδοµένα του αισθητήρα επιτάχυνσης ϕιλτραρισµένα από ένα χαµηλοπερατό ϕίλτρο. Μια τέτοια διάταξη ονοµάζεται συµπληρωµατικό ϕίλτρο (Complementary Filter - CP) και ϕαίνεται στο Σχήµα 7.5. Ενα παράδειγµα υλοποίησης του ϕίλτρου που περνάει τα δεδοµένα του γυροσκοπίου µέσω ενός υψηλοπερατού ϕίλτρου πρώτου ϐαθµού, τα δεδοµένα του αισθητήρα επιτάχυνσης από ένα χαµηλοπερατό ϕίλτρο πρώτου ϐαθµού και αθροίζει τα αποτελέσµατα είναι το εξής : Οπου : n: αριθµός δειγµάτων θ n = a (θ n 1 + θgyro n t: η περίοδος δειγµατοληψίας θ n : η εκτίµηση της γωνίας θ n 1 : η προηγούµενη εκτίµηση θgyro n : γωνιακή ταχύτητα από γυροσκόπιο t) + (1 a) θ ACC n (7.11) θ ACC n : γωνία υπολογισµένη από την επίδραση της ϐαρυτικής συνιστώσας στο επιταχυνσιόµετρο α: παράµετρος που σχετίζεται µε τη χρονική σταθερά του ϕίλτρου Η εξίσωση (7.11) µπορεί να γραφτεί και ως : θ n = a θ n 1 + (1 a) θ ACC n + a θgyro n t (7.12) Στην παρούσα διπλωµατική χρησιµοποιείται µια παραλλαγή του κλασσικού συµπλη- ϱωµατικού ϕίλτρου όπως αυτή περιγράφεται από τον Mahony στα [33], [34], [35]. Στην υλοποίηση αυτή ο συνδυασµός των δεδοµένων γίνεται µέσω PI ελεγκτή. Πριν γίνει την ε- πόµενη ενότητα παρουσίαση του συνολικού αλγορίθµου, ακολουθεί µια παρουσίαση της υλοποίησης για έναν άξονα µε χρήση P ελεγκτή. Η συνάρτηση µεταφοράς στην περίπτωση αυτή ϑα έχει την µορφή : θ = K p 1 s (θacc θ) + 1 s θ GYRO (7.13) Οπου θ ACC θ είναι το error input στον P ελεγκτή. ιακριτοποιώντας την παραπάνω σχέση παίρνουµε : 69

76 7.2 Εκτίµηση προσανατολισµού µε Explicit Complementary Filter e n = θ ACC n θ n 1 (7.14) θ n = θ n 1 + (K p e n + θgyro n ) t (7.15) και τελικά παίρνουµε : θ n = α θ n 1 + (1 α) θ ACC n + θgyro n t (7.16) µε α = 1 K p t Explicit Complementary Filter µε χρήση Τετραδονίων Στην υποενότητα αυτή ϑα γίνει παρουσίαση του Explicit Complementary Filter (ECF) όπως υλοποιήθηκε µε χρήση τετραδονίων και χρησιµοποιείται στο σύστηµά µας. Η υλοποίηση του ϕαίνεται στο Σχήµα 7.6. Το ϕίλτρο ϐασίζεται στην διαφορική κινηµατική εξίσωση των τετραδονίων q = 1 2 ˆq ω G όπου : ˆq = [ q 0 q T vect ] είναι ένα µοναδιαίο τετραδόνιο που αναπαριστά τον προσανατολισµό µεταξύ του αδρανειακού συστήµατος αναφοράς και του συστήµατος αναφοράς του αισθητήρα-χεριού q vect = [ q 1 q 2 q 3 ] T συµβολίζει το διανυσµατικό µέρος του χ ω G = [ 0 ω T g ] T είναι ένα διάνυσµα-τετραδόνιο µε µηδενικό σταθερό µέρος και διανυσµατικό µέρος ω g = [ ω x ω y ω z ] T ίσο µε τις διορθωµένες µετρήσεις της γωνικής ταχύτητας ˆq ω G είναι πολλαπλασιασµός τετραδονίων q είναι ϱυθµός µεταβολής τετραδονίων Ο αλγόριθµος ξεκινάει µε την αρχικοποίηση της τιµής του ϐασικού τετραδόνιου q = [ ] αφού δεν υπάρχει περιστροφή κατά την αρχικοποίηση του συστήµατος. Τα διανύσµατα των δεδοµένων του γυροσκοπίου ω = [ ω x ω y ω z ] και των δεδοµένων του αισθητήρα επιτάχυνσης α = [ α x α y α z ] εισάγονται και υπολογίζεται το σφάλµα της µετρούµενης αδρανειακής διεύθυνσης σε σχέση µε την εκτιµώµενη διεύθυνση της ϐαρύτητας. Το σφάλµα ϐρίσκεται µε χρήση εξωτερικού γινοµένου στις προαναφερθείσες ποσότητες e = α d (7.17) Η µετρούµενη αδρανειακή διεύθυνση α υπολογίζεται µε κανονικοποίηση των νέων µετρήσεων επιτάχυνσης ενώ η εκτιµώµενη διεύθυνση της ϐαρύτητας υπολογίζεται ως εξής : ) 2 (q 1 q 3 + q 0 q 2 ) d = 2 (q 2 q 3 + q 0 q 1 q 2 0 q2 1 q2 2 + q2 3 (7.18) 70

77 7.2 Εκτίµηση προσανατολισµού µε Explicit Complementary Filter Οπου χρησιµοποιείται το τετραδόνιο της προηγούµενης ολοκήρωσης : ˆq = [ q 0 q 1 q 2 q 3 ]. Μόλις υπολογιστεί το σφάλµα e εφαρµόζεται σαν όρος ανατροφοδότησης µε χρήση δύο συντελεστών. Οι συντελεστές αυτοί είναι οι Kp και Ki δηµιουργώντας έτσι έναν PI ελεγκτή : I n = I n 1 + K i t e (7.19) δω n = K p e + I n (7.20) Η διορθωµένη γωνιακή ταχύτητα ω = ω+δω n χρησιµοποιείται για να υπολογιστεί η προανα- ϕερθείσα διαφορική εξίσωση κίνησης των τετραδονίων q = 1 2 ˆq [ 0 ω ] οπου ˆq το τετραδόνιο της προηγούµενης ολοκλήρωσης. Τελικά ο ϱυθµός µεταβολής του τετραδονίου ολοκληρώνεται : q n = q n 1 + q n t = q n q n ω t (7.21) και στη συνέχεια κανονικοποιείται ώστε να παραχθεί το νέο εκτιµώµενο τετραδόνιο. Αµέσως µετά την εξαγωγή του εκτιµώµενου τετραδονίου αυτό µετατρέπεται στις αντίστοιχες γωνίες Euler µε χρήση του τύπου (7.10). Από τις γωνίες αυτές οι ψ,θ κρατούνται ως νέες γωνίες και χρησιµοποιούνται για τη εύρεση της προβαλλόµενης ϑέσης στην οθόνη, όπως ϑα δούµε στο επόµενο κεφάλαιο. ω + + ω δω + + θ e qˆ q 0 q 1 q 2 q 3 Quaternion to Euler Angles ψ α d Σχήµα 7.6: Explicit Complementary Filter 71

78 Κεφάλαιο 8 Εκπαίδευση συστήµατος & Τελικές Εξισώσεις 8.1 Λειτουργία Το σύστηµα κατάδειξης που περιγράφεται στη παρούσα διπλωµατική στοχεύει να κατευ- ϑύνει µια ϕανταστική ακτίνα που ξεκινάει από ένα προκαθορισµένο σηµείο στο σώµα του χρήστη χρησιµοποιώντας τα δεδοµένα περιστροφής από τους αισθητήρες που είναι προσαρτηµένοι στο άνω άκρο του. Width (W) ψ<0 ψ>0 θ>0 θ<0 Height (H) (a) (b) Σχήµα 8.1: Γωνίες συστήµατος κατάδειξης : (a) Κάτοψη (b) Πλάγια όψη Στην περίπτωσή µας το σταθερό αυτό σηµείο του σώµατος είναι ο ώµος του χρήστη. Υ- ποθέτοντας ότι η προβολή του σηµείου έναρξης της ακτίνας στο επίπεδο της οθόνης αποτελεί την αρχή του δυσδιάστατου συστήµατος συντεταγµένων πάνω σε αυτή, η ϑέση του δείκτη ϐρίσκεται µε απόλυτο τρόπο. Και αυτό επειδή µια συγκεκριµένη γωνιακή διεύθυνση πάντα 72

79 8.2 Φάση εκπαίδευσης συστήµατος ανταποκρίνεται σε συγκεκριµένο σηµείο µε συγκεκριµένες x,y συντεταγµένες. Για τη συγκεκριµένη εφαρµογή όπως αναφέρθηκε στο προηγούµενο κεφάλαιο χρησιµοποιούνται µόνο οι γωνίες ψ και ϑ δηλαδή οι yaw και pitch όπως είναι ευρέως γνωστές. Η γωνία pitch περιγράφει την κάθετη κίνηση του δείκτη, ενώ η γωνία yaw περιγράφει την οριζόντια κίνηση του δείκτη ακριβώς όπως ϕαίνεται στα Σχήµατα 8.1 και 8.3. Μια δεξιόστροφη περιστροφή γύρω από τον άξονα z όπως ορίστηκε στο προηγούµενο κεφάλαιο ϑα δώσει ϑετική γωνία ψ, ενώ µια αριστερόστροφη ϑα δώσει αρνητική γωνία ψ. Οµοίως, µια περιστροφή προς τα πάνω γύρω από τον άξονα y (ο οποίος είναι κάθετος στον άξονα x που δείχνει κατακόρυφα στην οθόνη) δίνει ϑετική γωνία ϑ, ενώ µια κίνηση προς τα κάτω ϑα δώσει αρνητική γωνία ϑ. Ενδεικτικό είναι το Σχήµα 8.1. Αφού το σύστηµα χρησιµοποιεί τον προσανατολισµό του άνω άκρου για να ορίσει το δεικνυόµενο σηµείο υπάρχει η ανάγκη να οριστεί κατά την αρχικοποίηση του συστήµατος το σηµείο έναρξης της ϕανταστικής ακτίνας (απόσταση από το επίπεδο της οθόνης) καθώς και τη σχετική ϑέση της οθόνης ως προς αυτό. Για το λόγο αυτό σχεδιάστηκε µια ϕάση εκπαίδευσης κατά την αρχικοποίηση του συστήµατος η οποία ϑα περιγραφεί παρακάτω. 8.2 Φάση εκπαίδευσης συστήµατος : Screen Edges Width (W) (0,0) Height (H) Σχήµα 8.2: Σύστηµα κατάδειξης & Σηµεία εκπαίδευσης Η εύρεση του δυσδιάστατου σηµείου κατάδειξης πάνω στην οθόνη απαιτεί τη γνώση αρχικά της αρχής του συστήµατος συντεταγµένων του επιπέδου της οθόνης και στη συνέχεια την γνώση της απόστασης µεταξύ του επιπέδου αυτού και του χρήστη. Οι πληροφορίες αυτές δεν παρέχονται από την αρχή στο σύστηµα, αλλά κατά την έναρξη της λειτουργίας ακολουθείται µια διαδικασία εκπαίδευσης µε σκοπό τον υπολογισµό των παραπάνω ποσοτήτων ώστε να προκύψουν στη συνέχεια οι εξισώσεις που ϑα δίνουν τις προβαλλόµενες ϑέσεις. Οι µόνες πληροφορίες που δίνονται στον αλγόριθµο εκπαίδευσης εκ των προτέρων είναι το πλάτος (W) 73

80 8.2 Φάση εκπαίδευσης συστήµατος και το ύψος της οθόνης (H). Κατά την έναρξη της ϕάσης εκπαίδευσης ο χρήστης καλείται να δείξει ευθεία δηλαδή απολύτως κάθετα προς το επίπεδο της οθόνης (διακεκοµµένη γραµµή στα Σχήµατα 8.3 και 8.4). Με το τρόπο αυτό γίνεται ορισµός του ϐασικού συστήµατος συντεταγµένων (arm-sensor frame) των αισθητήρων σε σχέση µε το earth frame. Επίσης το σηµείο επί του επιπέδου της οθόνης στο οποίο δείχνει ο χρήστης στη περίοδο αυτή ορίζεται ως η αρχή του συστήµατος συντεταγµένων. Αµέσως µετά ο χρήστης καλείται να δείξει στις τέσσερεις άκρες τις οθόνης όπως ϕαίνεται στο Σχήµα 8.2. Για τη κάθε άκρη κρατούνται οι γωνίες ψ και ϑ για τις οποίες το χέρι έχει περιστραφεί. Οι γωνίες ψ αφορούν την οριζόντια περιστροφή και οι γωνίες ϑ αφορούν την κατακόρυφη περιστροφή. Μόλις όλες αυτές οι γωνίες έχουν ϐρεθεί, το σύστηµα κρατάει τις ακραίες τιµές των γωνιών που χρειάζονται για τα παρακάτω στάδια. Rear View H/2 H Y Displacement H/2 θ1 θ2 Top View D (a) W/2 W W/2 X Displacement D ψ2 ψ1 (b) Σχήµα 8.3: Φάση εκπαίδευσης συστήµατος : (a) Πλάγια όψη (b) Κάτοψη Οι κινήσεις αυτές του χρήστη τροφοδοτούν λοιπόν το σύστηµα µε τέσσερις γωνίες ϑ1, ϑ2, 74

81 8.2 Φάση εκπαίδευσης συστήµατος ψ1, ψ2 οι οποίες επιλέγονται έτσι από τον αλγόριθµο ώστε πάντα να ισχύει : ψ 1 > ψ 2 θ 1 > θ 2 (8.1) Με δεδοµένη τη συνθήκη αυτή ο αλγόριθµος της εκπαίδευσης χρησιµοποιεί τις γωνίες αυτές για να υπολογίσει τις εξής τιµές : Την απόσταση µεταξύ χρήστη και κατακόρυφου επιπέδου οθόνης, D Την απόσταση του κέντρου της οθόνης από το κέντρο του δυσδιάστατου συστήµατος συντεταγµένων. Η απόσταση αυτή αναλύεται στην διαφορά των δύο σηµείων όσων αφορά την x συνιστώσα τους (X Displacement) και την y συνιστώσα τους (Y Displacement) Το Σχήµα 8.3 δείχνει την ϕάση εκπαίδευσης και την ανάλυσή της στις δύο ϐασικές γωνίες που χρησιµοποιεί το σύστηµα σε δύο όψεις (κάτοψη και πλάγια όψη). Η χρησιµοποίηση τεσσάρων σηµείων στη διαδικασία αυτή επιτρέπει τη λειτουργία του συστήµατος και την ικανότητά του να ϐρίσκει τη σχετική ϑέση χρήστη-οθόνης σε τέσσερις διακριτές περιπτώσεις. Ανάλογα µε τη ϑέση του χρήστη σε σχέση µε την οθόνη, είναι ϕανερό από το Σχήµα 8.4 ότι δηµιουργούνται τέσσερις διακριτές περιπτώσεις για τις οποίες το σύστηµα ϑα πρέπει να διατηρεί τη λειτουργικότητά του. Η προσθήκη της συνθήκης (8.1) οδηγεί στις ίδιες τελικές εξισώσεις για όλες τις περιπτώσεις. Η εξέταση των περιπτώσεων στο Σχήµα 8.4 αφορά την κίνηση γύρω από τον άξονα z και συνεπώς αφορά τις γωνίες ψ (yaw angle). W/2 W W/2 W/2 W W/2 X Displacement X Displacement D D -ψ2 ψ2 ψ1 ψ1 (a) Case 1 (c) Case 3 W/2 W W/2 W/2 W W/2 X Displacement X Displacement D -ψ1 -ψ2 D -ψ1 ψ2 (b) Case 2 (d) Case 4 Σχήµα 8.4: Φάση εκπαίδευσης συστήµατος : Πιθανές σχετικές ϑέσεις χρήστη-οθόνης 75

82 8.2 Φάση εκπαίδευσης συστήµατος Αξίζει να σηµειωθεί ότι καθώς ο χρήστης ϐρίσκεται απέναντι από την οθόνη οι αναµενόµενες γωνίες ψ και ϑ ϐρίσκονται εντός των ορίων (-π/2,π/2) όπου η συνάρτηση της εφαπτοµένης είναι αύξουσα. Επίσης οι ποσότητες X Displacement και Y Displacement δεν έχουν πρόση- µο καθώς είναι αποστάσεις σε απόλυτη τιµή. Λαµβάνοντας υπ όψιν τα πρόσηµα των γωνιών όπως δίνονται από τον αλγόριθµο (Σχήµα 8.1), καθώς και τη συνθήκη ψ 1 > ψ 2, θ 1 > θ 2 ακολουθεί η εξέταση των τεσσάρων περιπτώσεων σχετικής ϑέσης χρήστη-οθόνης (Σχήµα 8.4): Περίπτωση 1 (Case 1) tan(ψ 1 ) = W 2 + X Displacement D D = W tanψ 1 tanψ 2 (8.2) tan(ψ 2 ) = X Displacement W 2 D X Displacement = W 2 tanψ 1 + tanψ 2 tanψ 1 tanψ 2 Περίπτωση 2 (Case 2) tan( ψ 1 ) = W 2 + X Displacement D D = W tanψ 1 tanψ 2 (8.3) tan( ψ 2 ) = X Displacement W 2 D X Displacement = W 2 tanψ 1 + tanψ 2 tanψ 1 tanψ 2 Περίπτωση 3 (Case 3) tan(ψ 1 ) = W 2 + X Displacement D D = W tanψ 1 tanψ 2 (8.4) tan( ψ 2 ) = X Displacement W 2 D X Displacement = W 2 tanψ 1 + tanψ 2 tanψ 1 tanψ 2 Περίπτωση 4 (Case 4) tan( ψ 1 ) = W 2 + X Displacement D D = W tanψ 1 tanψ 2 (8.5) tan(ψ 2 ) = X Displacement W 2 D X Displacement = W 2 tanψ 1 + tanψ 2 tanψ 1 tanψ 2 76

83 8.3 Τελική εξίσωση & διάγραµµα αλγορίθµου εύρεσης ϑέσης κατάδειξης Είναι ϕανερό ότι για όλες τις πιθανές περιπτώσεις ισχύουν οι γενικευµένες σχέσεις που ακολουθούν : ˆD ψ = W tanψ 1 tanψ 2, ˆDθ = H tanθ 1 tanθ 2 (8.6) ˆD = ˆD ψ + ˆDθ 2 (8.7) XDisplacement = W 2 tanψ 1 + tanψ 2 tanψ 1 tanψ 2 (8.8) YDisplacement = H 2 tanθ 1 + tanθ 2 tanθ 1 tanθ 2 (8.9) Οι τιµές X Displacement, Y Displacement είναι αποστάσεις συνεπώς ϑετικές τιµές. Το πρόσηµο των τεσσάρων γωνιών που προκύπτουν από τη διαδικασία της εκπαίδευσης ϑ1, ϑ2, ψ1, ψ2 καθορίζουν αν οι ποσότητες X Displacement, Y Displacement ϑεωρούνται ϑετικές ή αρνητικές όσων αφορά το σύστηµα συντεταγµένων. Η εύρεση των προσήµων των µετατοπίσεων αυτών δίνει τελικά τη σχετική ϑέση της οθόνης. Αξίζει να σηµειωθεί ότι ένας περιορισµός στη λειτουργία του συστήµατος έγκειται στο γεγονός ότι απαιτείται νέα διαδικασία εκπαίδευσης σε περίπτωση που η ϑέση του χρήστη αλλάξει σηµαντικά. 8.3 Τελική εξίσωση & διάγραµµα αλγορίθµου εύρεσης ϑέσης κατάδειξης Η διαδικασία της εκπαίδευσης συνεπώς, δίνει µια εκτίµηση της απόστασης µεταξύ του επιπέδου της οθόνης και του χρήστη, δηλαδή του σηµείου έναρξης της ϕανταστικής ακτίνας που ϑέλουµε να κατευθύνουµε προς τα σηµεία της οθόνης. Τα σηµεία επί της οθόνης προκύπτουν για κάθε διαφορετική γωνία ϑ,ψ που δηµιουργεί η περιστροφή του χεριού του χρήστη µέσω της σχέσης : Position(ψ, θ) = [ˆx, ŷ] = [tan(ψ) ˆD, tan(θ) ˆD] (8.10) όπου : ψ η γωνία που διαγράφει το χέρι γύρω από τον κατακόρυφο άξονα z θ η γωνία που διαγράφει το χέρι γύρω από τον άξονα y 77

84 8.3 Τελική εξίσωση & διάγραµµα αλγορίθµου εύρεσης ϑέσης κατάδειξης ˆx η εκτίµηση της τετµηµένη του σηµείου κατάδειξης ŷ η εκτίµηση της τεταγµένης του σηµείου κατάδειξης ˆD η εκτίµηση της απόστασης χρήστη-οθόνης που προκύπτει από την εκπαίδευση Το block διάγραµµα του συνολικού αλγορίθµου που περιγράφηκε στα Κεφάλαια 6,7,8 ϕαίνεται στο Σχήµα 8.5. Accelerometer X Axis Y Axis Z Axis Gyroscope X Axis Y Axis Z Axis Gyro A Gyro B Gyroscope Calibration & Averaging [ /s ] LPF ω + + δω + + ω θ Screen Width Screen Height Training Phase Estimated Distance Dˆ Accelerometer X Axis Y Axis Z Axis Gyroscope X Axis Y Axis Z Axis Acce A Acce B Accelerometer Calibration & Averaging [g] LPF e d qˆ q 0 q 1 q 2 q 3 Quaternion to Euler Angles ψ Σχήµα 8.5: Block διάγραµµα συστήµατος κατάδειξης 78

85 Μέρος III Αξιολόγηση συστήµατος & Συµπεράσµατα 79

86 Κεφάλαιο 9 Πειραµατική διαδικασία και αποτελέσµατα Για την αξιολόγηση του συστήµατος αναπτύχθηκε µια πειραµατική διαδικασία που προσοµοιώνει την κίνηση του χεριού δείχνοντας σε συγκεκριµένες ϑέσεις στην οθόνη. Εξετάστηκαν διαφορετικές περιπτώσεις αποστάσεων και γίνεται σύγκριση της απόδοσης για τα δύο είδη αισθητήρων που χρησιµοποιήθηκαν. Στο παρόν κεφάλαιο περιγράφεται η πειραµατική διαδικασία και παρουσιάζονται τα αποτελέσµατα. 9.1 Πείραµα αξιολόγησης συστήµατος Το Σχήµα 9.1 περιγράφει την πειραµατική διάταξη που χρησιµοποιήθηκε για την αξιολόγηση της λειτουργίας του προτεινόµενου συστήµατος. Τα πειράµατα έγιναν σε µια οθόνη παρουσιάσεων µεγέθους 60 ιντσών χρησιµοποιώντας µια µονάδα PAN/TILT PTU-D46. Για το πείραµα χρησιµοποιήθηκε ο συγκεκριµένος σερβοµηχανισµός προκειµένου να επιτευχθεί η µέγιστη δυνατή ακρίβεια κατά τη λήψη των µετρήσεων. Κατα τη διαδικασία αυτή απαιτείται από το σύστηµα χέρι-αισθητήρες να δείχνει αποκλειστικά σε ένα σηµείο µε σταθερό τρόπο. Κάτι τέτοιο δε ϑα µπορούσε να γίνει µε µετρήσιµο τρόπο από το ανθρώπινο χέρι. Οι δύο αισθητήρες (είτε οι δύο Shimmer, είτε τα δύο πρωτότυπα DA14583 & BMX055) προσαρτήθηκαν πάνω στον σερβοµηχανισµό µε τέτοιο τρόπο ώστε να προσοµοιώνουν την αντίστοιχη προσάρτηση στο ανθρώπινο άνω άκρο. Αρχικά το σύστηµα σερβοµηχανισµός-αισθητήρες ϐρίσκεται απέναντι στην οθόνη και η ϕανταστική ακτίνα που συµπίπτει µε τον άξονα x των αισθητήρων (και όλης της διάταξης) είναι κάθετη στο επίπεδο της οθόνης. Το πρόγραµµα που χειρίζεται τον σερβοµηχανισµό παίρνει ως ορίσµατα τα γεωµετρικά χαρακτηριστικά της όλης διάταξης. Στα χαρακτηριστικά αυτά περιλαµβάνονται οι διαστάσεις της οθόνης, η απόσταση σηµείου περιστροφής µε το επίπεδο της οθόνης, καθώς και η απόσταση µεταξύ της προβολής του σηµείου περιστροφής πάνω στην οθόνη µε το κέντρο της οθόνης. Χρησιµοποιώντας τα γεωµετρικά αυτά χαρακτηριστικά το πρόγραµµα που χειρίζεται τον σερβοµηχανισµό κινεί τη διάταξη ώστε αυτή να δείξει σε 16 συγκεκριµένες ϑέσεις πάνω στην οθόνη όπως αυτές ϕαίνονται στο Σχήµα 9.1. Το πρόγραµµα 80

87 9.1 Πείραµα αξιολόγησης συστήµατος Random Permulation of 16 On Screen Positions Servo Motor Screen Size Distance X,Y Displacements Real 2D Positions (x,y) Randomly Accessed IMUs IMU DATA On Screen Position Estimation Pointing On Screen Screen Length Screen Height Σχήµα 9.1: Πειραµατική διαδικασία χρησιµοποιώντας τα στοιχεία που του δίνονται σαν είσοδο ϐρίσκει τις γωνίες που ϑα πρέπει να περιστραφεί ο σερβοµηχανισµός ώστε να προσπελάσει τα σηµεία αυτά. Η προσπέλαση των σηµείων γίνεται µε τυχαίο τρόπο, δηλαδή κάθε ϕορά τα σηµεία δείχνονται µε διαφορετική σειρά. Το κάθε πείραµα ξεκινάει µε τη διαδικασία της εκπαίδευσης και στη συνέχεια γίνεται η προσπέλαση των δεκαέξι ϑέσεων. Μόλις ολοκληρωθεί, η σειρά προσπέλασης των ϑέσεων καθώς και οι συντεταγµένες (x, y) των πραγµατικών ϑέσεων πάνω στο δυσδιάστατο καρτεσιανό επίπεδο της οθόνης αποθηκεύονται για να συγκριθούν µε τις εκτιµώµενες ϑέσεις ( ˆx, ŷ) που ϑα παραχθούν από την επεξεργασία των µετρήσεων. Για τη σειρά πειραµάτων που υλοποιήθηκαν ο σερβοµηχανισµός είναι έτσι τοποθετηµένος ώστε η προβολή του σηµείου περιστροφής πάνω στο επίπεδο της οθόνης να ταυτίζεται µε το κέντρο της οθόνης. Αυτό πρακτικά σηµαίνει ότι οι τιµές των X Displacement και Y Displacement είναι ιδανικά ίσες µε το µηδέν και το κέντρο του συστήµατος συντεταγµένων επί της οθόνης ταυτίζεται µε το κέντρο της. Συνολικά έγιναν πειράµατα σε έξι αποστάσεις των 1.5, 2, 2.5, 3, 3.5 και 4 µέτρων από την οθόνη. 81

88 9.2 Αποτελέσµατα 9.2 Αποτελέσµατα Σαν µέτρα απόδοσης του συστήµατος επιλέχθηκαν οι ευκλείδειες αποστάσεις e p µεταξύ των πραγµατικών σηµείων (x, y) και των εκτιµώµενων (ˆx, ŷ) καθώς και τα σφάλµατα σε κάθε συνιστώσα x-axis error (e x ),y-axis error (e y ): e p = (x ˆx) 2 + (y ŷ) 2 (9.1) e x = x ˆx e y = y ŷ (9.2) Μετά την εξαγωγή των σφαλµάτων αυτών για την εκτίµηση της συνολικής απόδοσης για τις διαφορετικές αποστάσεις υπολογίζεται το µέσο σφάλµα ϑέσης (e p ) για τις 16 ϑέσεις που προσπελάθηκαν σε κάθε απόσταση. άξονα (e x,e y ) : Επίσης υπολογίζεται και το µέσο σφάλµα για κάθε 16 e p = ep n n=1 16 (9.3) e x = 16 ex n n=1 16, e y = 16 ey n n=1 16 (9.4) Οι αναλύσεις λειτουργίας και απόδοσης του συστήµατος σε διάφορες περιπτώσεις έγιναν κατά ϐάση µε τη χρήση των αισθητήρων Shimmer. Τα ίδια πειράµατα πραγµατοποιήθηκαν και µε τα πρωτότυπα αισθητήρων (DA14583 & BMX055) που αναπτύχθηκαν στο εργαστήριο για να παρουσιαστούν τα συγκριτικά αποτελέσµατα Αισθητήρες Shimmer Τα αποτελέσµατα που ακολουθούν προέκυψαν από τη χρήση του Ϲεύγους αισθητήρων Shimmer στην πειραµατική διαδικασία. Οπως αναφέρθηκε κατά τη περιγραφή της, η πειρα- µατική διαδικασία περιλαµβάνει τη σειριακή προσπέλαση δεκαέξι ϑέσεων πάνω στην οθόνη. Το Σχήµα 9.2 δείχνει τις εκτιµώµενες ϑέσεις (ˆx, ŷ) πάνω στην οθόνη, καθώς και τις πραγµατικές (x, y) για το πείραµα που έγινε στην απόσταση των 1.5 µέτρων. Κάνοντας χρήση του τύπου 9.3 υπολογίζουµε το µέσο σφάλµα για κάθε µια από τις έξι αποστάσεις στις οποίες διεξήχθη το πείραµα. Το Σχήµα 9.3 παρουσιάζει τα µέσα σφάλµατα αυτά όταν για τον υπολογισµό των ϑέσεων έχει χρησιµοποιηθεί η εκτίµηση της απόστασης από την εκπαίδευση ˆD, αλλά και τα µέσα σφάλµατα όταν χρησιµοποιηθεί η πραγµατική απόσταση για τον υπολογισµό των ϑέσεων. Το Σχήµα 9.3 προσφέρει επίσης µια αξιολόγηση της διαδικασίας εκπαίδευσης, δηλαδή µια αξιολόγηση της ακρίβειας στην εκτίµηση της απόσταση οθόνης-χρήστη. Είναι ϕανερό ότι όταν χρησιµοποιηθεί η πραγµατική απόσταση το σφάλµα παρουσιάζει µείωση. 82

89 9.2 Αποτελέσµατα Screen Real Positions IMU y [m] x [m] Σχήµα 9.2: Εκτιµώµενες και πραγµατικές ϑέσεις - Απόσταση 1.5 µ - Shimmer Error [m] Calculation using Estimated Distance Calculation using Real Distance Distance [m] Σχήµα 9.3: Μέσο σφάλµα ευκλείδειας απόστασης συναρτήσει της απόστασης χρήστη-οθόνης - Shimmer Χρησιµοποιώντας τις τιµές από τα µέσα σφάλµατα έγινε εξαγωγή µιας δευτεροβάθµιας καµπύλης σφάλµατος (Σχήµα 9.3). Αυτή η εξίσωση µέσου σφάλµατος ϑέσης χρησιµοποι- 83

90 9.2 Αποτελέσµατα ήθηκε για να υπολογιστούν τα εκτιµώµενα σφάλµατα που περιµένουµε να παρουσιάσει το σύστηµα σε περιπτώσεις που η απόσταση χρήστη-οθόνης µεταβάλλεται αναλογικά µε τη διαγώνιο της οθόνης µέσω ενός συντελεστή κ (Σχήµα 9.4). Ο Πίνακας 9.1 απεικονίζει τα σφάλµατα ϑέσης και σχετικά σφάλµατα για αυτούς τους συνδυασµούς αποστάσεων-οθονών. 240" k = 4 W 180" k = 3 120" k = 2 H 60" k = 1 Width = m Height = m Width = m Height = m Width = m Height = m Width = m Height = m Σχήµα 9.4: Οθόνες µε µέγεθος διαγωνίου πολλαπλάσιου του αρχικού (κ=1,2,3,4) Πίνακας 9.1: Εκτιµώµενα σφάλµατα όταν η απόσταση και η διαγώνιος της οθόνης αυξάνονται ανάλογα κ Diagonal Area [m 2 ] Distance [m] Position Error [cm] Relative Error [%] Το Σχήµα 9.6 δείχνει τα µέσα σφάλµατα των δύο συντεταγµένων των εκτιµώµενων ση- µείων ως προς την γωνία που αντιστοιχεί στη κάθε συντεταγµένη. Κάθε µέσο σφάλµα που καταγράφεται στο Σχήµα 9.6 προέρχεται από τους τύπους : e ax = 8 n=1 x n ˆ x n 8, e ay = 8 n=1 y n ˆ y n όπου από τα 16 σηµεία του πειράµατος χρησιµοποιούνται τα 8 µε την ίδια x συντεταγµένη για τη γωνία ψ (X Axis Error) και τα 8 σηµεία µε την ίδια y συντεταγµένη για τη γωνία ϑ (Y Axis Error). Επιλέγονται τα 8 σηµεία µε τις µεγαλύτερες κοινές συντεταγµένες, όπως ϕαίνεται στο Σχήµα 9.5. Η µεταβολή στις γωνίες δηλαδή που υπάρχει στο Σχήµα 9.6 προέρχεται από την αντίστροφη αλλαγή της απόστασης που γίνεται στα έξι πειράµατα. Για το λόγο αυτό το σφάλµα µειώνεται αφού η απόσταση που αντιστοιχεί στη δηµιουργία της αντίστοιχης γωνίας 84 8 (9.5)