Ανάπτυξη Μεθόδων Αναγνώρισης της Κατάστασης του Χρήστη µε τη Χρήση Συστηµάτων Αισθητήρων Κινητών Τηλεφώνων

Πανεπιστήµιο Πατρών Πολυτεχνική Σχολή Τµήµα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής ιπλωµατική εργασία για το Μ Ε Επιστήµη και Τεχνολογία Υπολογιστών : Ανάπτυξη Μεθόδων Αναγνώρισης της Κατάστασης του Χρήστη µε τη Χρήση Συστηµάτων Αισθητήρων Κινητών Τηλεφώνων Παυλοπούλου Χριστίνα ΑΜ:1000 Επιβλέπων καθηγητής : Νικολετσέας Σωτήρης Αναπληρωτής Καθηγητής

2 Τριµελής επιτροπή : Ι. Γαροφαλάκης, Καθηγητής Β. Μεγαλοοικονόµου, Καθηγητής Σ. Νικολετσέας, Αναπληρωτής Καθηγητής Μάιος 2015

3 Ευχαριστίες Για την διπλωµατική αυτή εργασία ϑα ήθελα να ευχαριστήσω µερικούς ανθρώπους, για ότι µου προσέφεραν. Αρχικά, τον καθηγητή κ. Νικολετσέα Σωτήρη, που αποτέλεσε τον επιβλέποντα ολόκληρης της εργασίας αυτής. Οι γνώσεις και η ϐοήθεια του ήταν καθοριστικές για την ολοκλήρωση της εργασίας, αλλά πάνω από όλα για την διεύρυνση των δικών µου γνώσεων και δεξιοτήτων. Επιπλέον να ευχαριστήσω τον υποψήφιο διδάκτορα Γαβριήλη Φίλιο, γιατί η ϐοήθεια και η συνεργασία του ήταν καθοριστικής σηµασίας για την ολοκλήρωση της εργασίας. Θέλω ιδιαίτερα να ευχαριστήσω και την οικογένεια µου για όλα αυτά τα χρόνια στήριξης και συµπαράστασης που µου πρόσφεραν, παρά τις δυσκολίες που υπήρχαν. Επίσης, ϑα ήθελα να ευχαριστήσω ιδιαιτέρως τον ϕίλο µου Βασίλη για όλη την πρακτική και ψυχολογική ϐοήθεια που µου προσέφερε σε όλη τη διάρκεια του µεταπτυχιακού αλλά και της υλοποίησης της συγκεκριµένης διπλωµατικής εργασίας. Τέλος, ϑέλω να ευχαριστήσω τους ϕίλους µου Χριστίνα, Βασίλη, Αντελίνα και Αλέξανδρο για την υποστήριξη και την καλή παρέα που µου χάρισαν όλο αυτό τον καιρό.

5 Περίληψη Η ολοένα αυξανόµενη υπολογιστική και αποθηκευτική ικανότητα των κινητών τηλεφώνων, αλλά και η ενσωµάτωση διαφόρων αισθητήρων σε αυτά, έχουν οδηγήσει στην ανάπτυξη του ερευνητικού ενδιαφέροντος για συστήµατα ϐασισµένα σε αυτά. Ενα ιδιαίτερα ενδιαφέρον πεδίο έρευνας είναι η χρήση των κινητών τηλεφώνων προκειµένου να διεξαχθούν συµπεράσµατα για την κατάσταση του χρήστη. Η ανίχνευση καθηµερινών ϕυσικών δραστηριοτήτων είναι πολύ σηµαντική σε εφαρµογές όπως η ανάπτυξη αυτοµατοποιηµένων συστηµάτων. Οι αισθητήρες κίνησης προηγουµένως χρησιµοποιούνταν µόνο ως συµπληρωµατικές είσοδοι ενώ τώρα χρησιµοποιούνται όλο και πιο συχνά ως η κύρια πηγή δεδοµένων για αναγνώριση κάποιας καθηµερινής κίνησης. Σε αυτή την εργασία, χρησιµοποιούνται τα επιταχυνσιόµετρα των κινητών τηλεφώνων µε σκοπό να αναγνωρισθούν σε πραγµατικό χρόνο τέσσερις καθηµερινές δραστηριότητες : κάθισµα, περπάτηµα, ξάπλωµα, τρέξιµο. Σε αυτή την εργασία, σχεδιάστηκαν 2 νέα υβριδικά πρωτόκολλα που συνδυάζουν δύο άλλες µεθόδους της ϐιβλιογραφίας µε παραµετροποιηµένο τρόπο. Στη συνέχεια, τα 2 αυτά πρωτόκολλα υλοποιήθηκαν µέσω της ανάπτυξης Android εφαρµογών. Η πρώτη σύνθεση είναι πιο ακριβής και η δεύτερη ενεργειακά αποδοτικότερη υπό την έννοια της χρήσης της µπαταρίας. Τελικώς, επιτυγχάνεται η προσωποποίηση του µοντέλου που δηµιουργείται αρχικά για την εκπαίδευση (σε πραγµατικό χρόνο)των δεδοµένων που ε- ξάγονται από τους αισθητήρες. Με αυτό τον τρόπο, το αρχικό µοντέλο προσαρµόζεται καλύτερα σε κάθε χρήστη ξεχωριστά. Σύµφωνα µε τα αποτελέσµατα της αξιολόγησης η οποία έγινε µε πραγ- µατικούς χρήστες, οι 2 υβριδικές µέθοδοι επιτυγχάνουν µεγάλη ακρίβεια (έως και 99%), ενώ διατηρούν την κατανάλωση µπαταρίας σε πολύ χαµηλά επίπεδα (µέση κατανάλωση µπαταρίας 874mW).

6

7 ABSTRACT The increasing computing and storage capacity of smartphones, but also the sensors embedded in them, have led to the development of systems based on them. An interesting research field is that of human state recognition. Detecting daily physical activities is very important in applications such as developing automated comfort scenarios for an individual. Motion smartphone sensors were previously used only as a complementary input whereas now, they are increasingly used as the primary data source for motion recognition. In this work, we use smartphone accelerometers to recognize online four daily human activities: sitting, walking, lying and running. We design two new hybrid protocols combining state of the art methods in a parameterized way. Then, we implement those protocols in the context of Android applications, which we develop. The first composition is more accurate and the second one is more energy efficient in terms of battery usage. Finally, we manage to personalize the model for online training of data sensors, which we create initially, to better adapt to the particular individual. According to our experimental performance evaluation with real users, our hybrid methods achieve very high accuracy (even 99%), while keeping battery dissipation at very satisfactory levels (average energy consumption 874mW).

8

Περιεχόµενα Περίληψη 5 ABSTRACT 7 Περιεχόµενα 8 Κατάλογος σχηµάτων 11 1 ΕΙΣΑΓΩΓΗ 13 1.1 ΕΝΑ ΤΥΠΙΚΟ ΑΥΤΟΜΑΤΟΠΟΙΗΜΕΝΟ ΣΕΝΑΡΙΟ........ 13 1.2 ΑΝΑΓΝΩΡΙΣΗ ΚΑΤΑΣΤΑΣΗΣ ΧΡΗΣΤΗ............. 14 1.3 ΣΥΝΕΙΣΦΟΡΑ ΕΡΓΑΣΙΑΣ..................... 16 1.4 ΟΡΙΣΜΟΙ............................. 16 1.5 ΟΜΗ ΕΡΓΑΣΙΑΣ......................... 17 2 ΕΙ Η ΑΙΣΘΗΤΗΡΩΝ 19 2.1 ΕΠΙΤΑΧΥΝΣΙΟΜΕΤΡΑ...................... 20 2.2 ΓΥΡΟΣΚΟΠΙΑ........................... 20 2.3 GPS................................ 21 2.4 BLUETOOTH........................... 22 2.5 ΜΙΚΡΟΦΩΝΟ........................... 23 3 ΠΕ ΙΟ ΕΡΕΥΝΑΣ 25 4 ΜΕΘΟ ΟΛΟΓΙΑ 29 4.1 ΠΕΡΙΛΗΨΗ ΜΟΝΤΕΛΟΥ..................... 31 4.2 ΣΥΛΛΟΓΗ Ε ΟΜΕΝΩΝ..................... 32 4.3 ΕΞΑΓΩΓΗ ΧΑΡΑΚΤΗΡΙΣΤΙΚΩΝ................. 33 9

10 ΠΕΡΙΕΧΟΜΕΝΑ 4.4 ΚΑΤΗΓΟΡΙΟΠΟΙΗΣΗ....................... 35 4.5 ΑΝΑΓΝΩΡΙΣΗ ΚΑΤΑΣΤΑΣΗΣ ΣΕ ΠΡΑΓΜΑΤΙΚΟ ΧΡΟΝΟ.... 36 4.6 ΠΡΟΣΩΠΟΠΟΙΗΣΗ ΜΟΝΤΕΛΟΥ................ 38 5 ΑΞΙΟΛΟΓΗΣΗ 39 5.1 ΠΑΡΑΜΕΤΡΟΙ ΑΞΙΟΛΟΓΗΣΗΣ................. 40 5.2 ΣΥΖΗΤΗΣΗ ΑΠΟΤΕΛΕΣΜΑΤΩΝ................. 41 5.3 ΧΡΗΣΙΜΑ ΕΡΓΑΛΕΙΑ....................... 44 6 ΣΥΜΠΕΡΑΣΜΑΤΑ 49 Βιβλιογραφία 50

Κατάλογος Σχηµάτων 2.1 Μορφή επιταχυνσιόµτερου ενσωµατωµένο σε κινητό τηλέφωνο. 20 2.2 Μορφή γυροσκοπίου ενσωµατωµένο σε κινητό τηλέφωνο.... 21 2.3 Μορφή GPS ενσωµατωµένο σε κινητό τηλέφωνο......... 21 2.4 Μορφή bluetooth ενσωµατωµένο σε κινητό τηλέφωνο...... 22 2.5 Μορφή µικροφώνου ενσωµατωµένο σε κινητό τηλέφωνο.... 23 4.1 Android εφαρµογές που αναπτύχθηκαν για τη συλλογή δεδο- µένων και για την αναγνώριση σε πραγµατικό χρόνο...... 31 4.2 Χρονοσειρά των 10 δευτερολέπτων που χωρίζεται σε υπο-παράθυρα των 1,5 και 10 δευτερολέπτων. Η χρονοσεριά των 10 δευτερολέπτων είναι αυτή µε το κόκκινο χρώµα, ενώ το µπλε χρώµα αντιπροσωπεύει την χρονοσειρά των 10 δευτερολέπτων χωρισµένη σε υπο-παράθυρα µε ολίσθηση ενός δευτερολέπτου 34 4.3 Γραφικές παραστάσεις των χαρακτηριστικών που εξήχθησαν.. 35 5.1 Αποτελέσµατα για την ακρίβεια για κάθε πρωτόκολλο...... 41 5.2 Αποτελέσµατα για τη µέση κατανάλωση ενέργειας, το ϕόρτο της CPU και τη µνήµη........................ 42 11

12 ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ

Κεφάλαιο 1 ΕΙΣΑΓΩΓΗ Πρόσφατες τεχνολογικές καινοτοµίες χαράζουν την πορεία για την ανάπτυξη του πεδίου Internet of Things (IoT), στο οποίο µικροσκοπικοί, µικροί αισθητήρες ενσωµατώνονται µαζικά και ασύρµατα στο περιβάλλον και σε αντικείµενα που χρησιµοποιούνται στην καθηµερινότητα, µε σκοπό να τα κάνουν έξυπνα για να µπορούν να συµµετέχουν σε έξυπνα αυτοµατοποιηµένα σενάρια και εφαρµογές. Τέτοιες εφαρµογές σχετίζονται µε µεγάλο εύρος τοµέων, από έξυπνα κτίρια µέχρι και εφαρµογές που σχετίζονται µε την υγεία. Σε τέτοια συστήµατα, η αναγνώριση ϕυσικών δραστηριοτήτων είναι το κύριο συστατικό για την αποτελεσµατική δηµιουργία προσωποποιηµένων υπηρεσιών για τους χρήστες. Για παράδειγµα, στην επόµενη παράγραφο, παρουσιάζεται σύντοµα ένα σενάριο το οποίο εκµεταλλεύεται την αναγνώριση κίνησης σε έξυπνα κτίρια. 1.1 ΕΝΑ ΤΥΠΙΚΟ ΑΥΤΟΜΑΤΟΠΟΙΗΜΕΝΟ ΣΕΝΑΡΙΟ Το περιβάλλον ενός έξυπνου κτιρίου συνήθως αποτελείται από τρία κυρίως συστατικά : αισθητήρες που είναι υπεύθυνοι για τον έλεγχο της ϑερµοκρασίας, της υγρασίας, του ϕωτισµού κ.α., ηλεκτροµηχανικούς αισθητήρες (που ελέγχουν τις περσίδες, τον ϕωτισµό, τις πόρτες, κ.α.) και ένα σύστηµα που είναι υπεύθυνο για την ανάπτυξη σεναρίων για την εξοικονόµηση ενέργειας. Οι αισθητήρες καταλαβαίνουν τις συνεχείς αλλαγές του περιβάλλοντος. Τα δεδοµένα που προέρχονται από τους αισθητήρες µπορούν να χρησιµοποι- 13

14 ΚΕΦΑΛΑΙΟ 1. ΕΙΣΑΓΩΓΗ ηθούν για την γρήγορη ανίχνευση γεγονότων σε πραγµατικό χρόνο. Στη συνέχεια, οι πληροφορίες που διεξάγονται από αυτά τα γεγονότα µπορούν να µεταφερθούν σε έναν αποµακρυσµένο server και διάφορες αποφάσεις µπορούν να παρθούν µε σκοπό την προσαρµογή του περιβάλλοντος. Για παράδειγµα, µια ηλιόλουστη µέρα οι κουρτίνες µπορούν να σηκωθούν ώστε η ϑερµοκρασία να ϕτάσει σε ένα ικανοποιητικό επίπεδο χωρίς να χρειαστεί η λειτουργία συστηµάτων ϑέρµανσης. Ενας από τους πιο σηµαντικούς ϱόλους των αισθητήρων σε κτίρια είναι η ικανότητα να αναγνωρίζουν µε ακρίβεια και να παρακολουθούν συνεχόµενα τις δραστηριότητες των ανθρώπων που Ϲουν µέσα σε αυτά, µε σκοπό την επιτυχή προσαρµογή του περιβάλλοντος. Η εξαγωγή τέτοιου είδους πληροφορίας για την κατάσταση του χρήστη είναι πολύ σηµαντική για την αυτοµατοποίηση σεναρίων που ισορροπούν την εξοικονόµηση ενέργειας και την άνεση του χρήστη. Για παράδειγµα, η υψηλότερη ϑερµοκρασία (και χαµηλότερος ϕωτισµός) είναι πιθανόν πιο κατάλληλα όταν οι άνθρωποι σε ένα δωµάτιο κοιµούνται (ή απλά είναι ξαπλωµένοι) σε αντίθεση µε την περίπτωση που κινούνται οπότε µπορούν να αποδεχτούν µια πιο χαµηλή ϑερµοκρασία (και υψηλότερο ϕωτισµό). 1.2 ΑΝΑΓΝΩΡΙΣΗ ΚΑΤΑΣΤΑΣΗΣ ΧΡΗΣΤΗ Η αναγνώριση της κατάστασης του χρήστη µπορεί να γίνει µε διάφορους τρόπους χρησιµοποιώντας διαφορετικά είδη αισθητήρων. Από τη µία πλευρά, το να τοποθετηθούν στατικοί αισθητήρες για αυτόν τον λόγο σε ένα ολόκληρο κτίριο (γενικά σε ένα σύστηµα) είναι πολύ ακριβή διαδικασία. Αντίθετα, ο κάθε χρήστης µπορεί να τοποθετήσει αισθητήρες πάνω του µε σκοπό να εξαχθούν κάποιες πληροφορίες για την κατάστασή του. Πολλοί άνθρωποι, όµως, δεν αισθάνονται άνετα µε το να έχουν αισθητήρες πάνω τους. Από την άλλη πλευρά, η ευρεία εισαγωγή των έξυπνων κινητών τηλεφώνων (και άλλων έξυπνων συσκευών) αλλά και η µεγάλη αποδοχή τους από το κοινό, καθιστούν τους αισθητήρες τους ως ένα χρήσιµο εργαλείο για τα µοντέρνα IoT συστήµατα. Ενα πολύ σηµαντικό ϑέµα που αφορά στους αισθητήρες των κινητών είναι η αναγνώριση των δραστηριοτήτων του χρήστη. Οι κινητές συσκευές

1.2. ΑΝΑΓΝΩΡΙΣΗ ΚΑΤΑΣΤΑΣΗΣ ΧΡΗΣΤΗ 15 παρέχουν χρήσιµες πληροφορίες σχετικά µε τον τοµέα της αναγνώρισης της δραστηριότητα λόγω της µεγάλης ποικιλίας των αισθητήρων που διαθέτουν. Ειδικά τα επιταχυνσιόµετρα, τα οποία χρησιµοποιούνται ως η κύρια πηγή δεδοµένων σε πολλές εργασίες σχετικές µε την ανίχνευση δραστηριότητας, συµπεριλαµβάνονται στα περισσότερα κινητά τηλέφωνα. Κάποιες πολύ σηµαντικές εργασίες πάνω στην αναγνώριση της κατάστασης του χρήστη, χρησιµοποιώντας επιταχυνσιόµετρα και δεδοµένα από bluetooth παρουσιάζονται στις δηµοσιεύσεις [4, 12, 13]. Με τον σχεδιασµό µεθόδων για την αναγνώρισης της κατάστασης ενός χρήστη µέσω κινητών συσκευών καθίσταται δυνατή η ανάπτυξη πολλών χρήσιµων εφαρµογών. Για παράδειγµα, µε την παρακολούθηση της δραστηριότητας ενός χρήστη, µπορεί να επιτευχθεί η κατάλληλη προσαρµογή του περιβάλλοντος στις ανάγκες του. Για παράδειγµα, όταν κάποιος χρήστης είναι ξαπλωµένος, τα ϕώτα χαµηλώνουν και η ϑερµοκρασία του δωµατίου αυξάνεται κατά 2 ϐαθµούς. Μια άλλη ενδιαφέρουσα εφαρµογή είναι το CenceMe [14], το οποίο συνδυάζει την αναγνώριση της παρουσίας ανθρώπων µέσω αισθητήρων κινητών τηλεφώνων µε την κοινοποίηση αυτής της πληροφορίας µέσω κοινωνικών δικτύων όπως το Facebook και το MySpace. Παροµοίως ένας άλλος τρόπος για την κατανόηση της ανθρώπινης αλληλεπίδρασης είναι η ταξινόµηση συναισθηµάτων, όπως γίνεται στο [23] µε την εξαγωγή ακουστικών χαρακτηριστικών από δείγµατα οµιλίας. Πολύ σηµαντικό ϑέµα στην ανάπτυξη εφαρµογών για την αναγνώριση της κατάστασης του χρήστη είναι η έρευνα πάνω στην ισορροπία ακρίβειας και κόστους [18, 19], το οποίο έχει µελετηθεί και στην συγκεκριµένη διπλωµατική εργασία. Επίσης, αξίζει να αναφερθεί ότι τέτοια συστήµατα, ειδικά όταν σχετίζονται µε τη συµµετοχή µεγάλου πλήθους ανθρώπων, δηµιουργούν καινούριες προκλήσεις, ειδικά στο ϑέµα της ιδιωτικότητας [10, 11]. Σε αυτή την εργασία, µελετάται το ϑέµα της αναγνώρισης της κατάστασης του χρήστη µέσω κινητών τηλεφώνων. Για να ανιχνευθούν κάποιες καθηµερινές δραστηριότητες, ϑα πρέπει τα δεδοµένα των αισθητήρων να υποστούν την κατάλληλη επεξεργασία. Τα χαρακτηριστικά που εξάγονται από την διαδικασία της επεξεργασίας ταξινοµούνται µε τη ϐοήθεια αλγορίθµων µηχανικής µάθησης. Στη συνέχεια, δηµιουργείται ένα µοντέλο ανίχνευσης για κάθε αλγόριθµο µηχανικής µάθησης. Τελικά, το µοντέλο ανίχνευσης είναι

16 ΚΕΦΑΛΑΙΟ 1. ΕΙΣΑΓΩΓΗ έτοιµο για µια ακριβή ανίχνευση κίνησης. 1.3 ΣΥΝΕΙΣΦΟΡΑ ΕΡΓΑΣΙΑΣ Σε αυτή την εργασία, δύο παλιότεροι αλγόριθµοι σχετικά µε την αναγνώριση της κατάστασης του χρήστη προσαρµόστηκαν στη λογική της χρήσης µόνο επιταχυσιόµετρων από κινητά τηλέφωνα (καθόλου αισθητήρες που τοποθετούνται πάνω στους χρήστες. Στη συνέχεια, εισάγονται δύο νέες ακριβείς και ενεργειακά αποδοτικές υβριδικές µέθοδοι που αναγνωρίζουν τέσσερις καθηµερινές δραστηριότητες : κάθισµα, περπάτηµα, ξάπλωµα και τρέξιµο. Η ενεργειακή απόδοση (χρήση µπαταρίας) αυτών των µεθόδων τονίζεται σε αυτή την εργασία, παρόλο που σε άλλες εργασίες δεν δίνεται ιδιαίτερη προσοχή αν και είναι ϐασικό ϑέµα. Η πρώτη µέθοδος επιτυγχάνει πολύ υψηλή ακρίβεια (ακόµα και 99%) αλλά καταναλώνει και περισσότερη µπαταρία, ενώ η δεύτερη σύνθεση είναι ενεργειακά αποδοτικότερη στο ϑέµα της µπαταρίας (2% ανά ώρα). Και τα δύο πρωτόκολλα υλοποιήθηκαν δηµιουργώντας Android εφαρµογές και δοκιµάστηκαν από πραγµατικούς χρήστες. Τέλος, έγινε σύγκριση µεταξύ όλων των πρωτοκόλλων και προτείνεται το καλύτερο σε κάθε περίπτωση. 1.4 ΟΡΙΣΜΟΙ Σε αυτή την ενότητα της εργασίας παρουσιάζονται κάποιοι ορισµοί για την καλύτερη κατανόηση των µεθόδων που ϑα παρουσιαστούν παρακάτω : Χρονοσειρά Τα δεδοµένα των αισθητήρων πριν υποστούν κάποια επεξεργασία αποτελούν µια χρονοσειρά. Παράθυρα Τα δεδοµένα που συλλέγονται από τους αισθητήρες χωρίζονται σε µικρότερα τµήµατα ώστε να είναι δυνατή η επεξεργασία τους. Συνήθως στη ϐιβλιογραφία για τα δεδοµένα που προέρχονται από επιταχυνσιόµετρα χωρίζονται σε παράθυρα του 1 έως και 10 δευτερολέπτων.

1.5. ΟΜΗ ΕΡΓΑΣΙΑΣ 17 Υπο-παράθυρα Σε κάποιες µεθόδους της ϐιβλιογραφίας τα παράθυρα στα οποία έχει χω- ϱιστεί η αρχική χρονοσειρά, χωρίζονται σε ακόµα µικρότερα παράθυρα, τα υπο-παράθυρα. Εχει αποδειχθεί ότι αυτή η τµηµατοποίηση ϐοηθάει ακόµα περισσότερο στην αναγνώριση της κατάστασης του χρήστη καθώς τα ίδια δεδοµένα επεξεργάζονται παραπάνω από µια ϕορά. Χαρακτηριστικά Μια χρονοσειρά αφού έχει χωριστεί σε παράθυρα (και σε κάποιες περιπτώσεις και σε υπο-παράθυρα) υπόκειται σε κάποιους υπολογισµούς οι οποίοι οδηγούν στην υλοποίηση κάποιων χαρακτηριστικών. Μηχανική Μάθηση Μηχανική µάθηση ορίζεται ως η τεχνική µε την οποία κατασκευάζονται και µελετούνται αλγόριθµοι οι οποίοι µαθαίνουν από κάποια δεδοµένα. Αυτοί οι αλγόριθµοι λειτουργούν κατασκευάζοντας µοντέλα έχοντας ως εισόδους κάποια παραδείγµατα. Στη συνέχεια, χρησιµοποιούν αυτά τα µοντέλα για να κάνουν κάποιες προβλέψεις και να πάρουν κάποιες αποφάσεις. 1.5 ΟΜΗ ΕΡΓΑΣΙΑΣ Το υπόλοιπο αυτής της διπλωµατικής εργασίας οργανώνεται ως εξής : Στο δεύτερο κεφάλαιο, παρουσιάζονται κάποια από τα δηµοφιλέστερα είδη αισθητήρων που είναι ενσωµατωµένα στο κινητό. Το τρίτο κεφάλαιο εξηγεί κάποιες χαρακτηριστικές παλαιότερες προσεγγίσεις σχετικά µε την αναγνώριση της κατάστασης του χρήστη. Το κεφάλαιο τέσσερα, παρουσιάζει λεπτοµερώς τις δύο νέες µεθόδους. Το πέµπτο κεφάλαιο αναφέρει τα πειράµατα που διεξήχθησαν καθώς και τα αποτελέσµατά τους. Τέλος, το έκτο κεφάλαιο παρέχει µερικές συµπερασµατικές σηµειώσεις σχετικά µε τη συγκεκριµένη έρευνα αλλά και κάποια µελλοντικά σχέδια.

18 ΚΕΦΑΛΑΙΟ 1. ΕΙΣΑΓΩΓΗ

Κεφάλαιο 2 ΕΙ Η ΑΙΣΘΗΤΗΡΩΝ Αισθητήρας είναι µία συσκευή που ανιχνεύει χαρακτηριστικά του περιβάλλοντός της. Ανιχνεύει γεγονότα ή αλλαγές σε ποσότητες και παρέχει την αντίστοιχη έξοδο ως ένα ηλεκτρικό ή οπτικό σήµα. Οι αισθητήρες χρησιµοποιούνται σε καθηµερινά αντικείµενα όπως για παράδειγµα στα κουµπιά των ανελκυστήρων ή στις λάµπες που ανάβουν ακουµπώντας απλά τη ϐάση τους. Λόγω της τεχνολογικής προόδου, η χρήση των αισθητήρων έχει επεκταθεί πέρα από τα παραδοσιακά πεδία της µέτρησης της ϑερµοκρασίας ή της πίεσης. Παρόλα αυτά, αναλογικοί αισθητήρες όπως ποτενσιόµετρα χρησιµοποιούνται ευρέως ακόµα και τώρα. Η ευαισθησία ενός αισθητήρα δείχνει πόσο αλλάζει η έξοδός του ανάλογα µε τις αλλαγές που υφίσταται η είσοδος που πρόκειται να µετρηθεί. Κάποιοι αισθητήρες µπορεί να έχουν και κάποια επίδραση στην ποσότητα που µετράνε. Για παράδειγµα, ένα ϑερµόµετρο ϑερµοκρασίας δωµατίου το οποίο εισάγεται σε ένα Ϲεστό ποτήρι που έχει µέσα κάποιο υγρό, ψύχει το υγρό ενώ παράλληλα Ϲεσταίνεται από αυτό. Οι αισθητήρες πρέπει να σχεδιάζονται ώστε να έχουν µικρή επίδραση στην ποσότητα που µετρείται. Ως αποτέλεσµα, οι αισθητήρες πια σχεδιάζονται µικροσκοπικοί ώστε να έχουν και µεγαλύτερη ταχύτητα αλλά και ακρίβεια [8]. Σε αυτή την εργασία περισσότερο ενδιαφέρον έχουν οι αισθητήρες που είναι ενσωµατωµένοι σε κινητά τηλέφωνα. Οι αισθητήρες αυτοί ανιχνεύουν κυρίως την κίνηση, την τοποθεσία αλλά και τον ήχο. Παρακάτω περιγράφονται λεπτοµερώς µερικοί από αυτούς τους αισθητήρες. 19

20 ΚΕΦΑΛΑΙΟ 2. ΕΙ Η ΑΙΣΘΗΤΗΡΩΝ 2.1 ΕΠΙΤΑΧΥΝΣΙΟΜΕΤΡΑ Τα επιταχυνσιόµετρα είναι τυπικά ηλεκτροµηχανικά όργανα που µετράνε την επιτάχυνση που ανιχνεύουν κατά µήκος των αξόνων τους. Η επιτάχυνση που µετρείται µπορεί να είναι είτε στατική, όπως η σταθερή δύναµη της ϐαρύτητας, είτε δυναµική όπως προκαλείται κουνώντας το επιταχυνσιόµετρο. Ανεξάρτητα από τις διαφορές στην κατασκευή τους, η λειτουργία των επιταχυνσιοµέτρων έχει να κάνει µε τις διάφορες αλλαγές που υφίσταται η µάζα του συστήµατος. Η επιτάχυνση είναι ανάλογη του εκτοπίσµατος της µάζας όταν εφαρµόζεται κάποια δύναµη. Κατά καιρούς έχουν χρησιµοποιηθεί επιταχυνσιόµετρα που τοποθετούνται πάνω στο σώµα για την αναγνώριση της κίνησης [24]. Σχήµα 2.1: Μορφή επιταχυνσιόµτερου ενσωµατωµένο σε κινητό τηλέφωνο 2.2 ΓΥΡΟΣΚΟΠΙΑ Πρόσφατα, τα κινητά τηλέφωνα έχουν εξοπλιστεί µε γυροσκόπια. Τα γυροσκόπια είναι ένα είδος µη περιστρεφόµενων αισθητήρων τα οποία χρησιµοποιούν το Coriolis Effect (η απόκλιση ενός κινούµενου αντικειµένου όταν η κίνηση περιγράφεται σχετικά µε ένα σηµείο περιστροφής) σε µια µάζα για να ανιχνεύσουν τη γωνία περιστροφής [17]. Τα ενσωµατωµένα γυροσκόπια χρησιµοποιούνται κυρίως στην αναγνώριση δραστηριοτήτων [15] αλλά και στην ανίχνευση της ϑέσης του σώµατος [5]. Τα γυροσκόπια ϑεωρούνται

2.3. GPS 21 αισθητήρες χαµηλής κατανάλωσης ενέργειας. Παρόλα αυτά, τα γυροσκόπια όταν χρησιµοποιούνται για προσανατολιστικούς σκοπούς είναι επιρρεπή σε λάθη [21]. Σχήµα 2.2: Μορφή γυροσκοπίου ενσωµατωµένο σε κινητό τηλέφωνο 2.3 GPS Σχήµα 2.3: Μορφή GPS ενσωµατωµένο σε κινητό τηλέφωνο Το GPS παρέχει τη ϑέση του χρήστη σχεδόν παντού στη Γη. Το GPS ϐασίζεται σε µετρήσεις και συγκρίσεις από στιγµιαία σήµατα µετάδοσης που προέρχονται από µια κινητή µονάδα. Η ϑέση ενός κινητού τηλεφώνου µπορεί να µετρηθεί µε ϐάση τη χρονική καθυστέρηση του σήµατος από κάθε ένα από ένα αριθµό δορυφόρων µέχρι ένα κινητό δορυφόρο. Η ϑέση του

22 ΚΕΦΑΛΑΙΟ 2. ΕΙ Η ΑΙΣΘΗΤΗΡΩΝ τηλεφώνου δίνεται σε δύο διαστάσεις όταν ο λήπτης µπορεί να δει τουλάχιστον 3 δορυφόρους. Παρόλο την υψηλή ακρίβεια του GPS όταν χρησιµοποιείται για εξωτερική τοπικότητα, ϑεωρείται ως µέσο υψηλής κατανάλωσης ενέργειας. 2.4 BLUETOOTH Το bluetooth είναι µια διεπαφή που σχεδιάστηκε για την υποστήριξη της ασύρµατης επικοινωνίας. Εχει σχεδιαστεί για επικοινωνία µεταξύ συσκευών που ϐρίσκονται σε µικρή ακτίνα η µία από την άλλη. Η κύρια εφαρµογή του bluetooth ως προς το πεδίο της ανίχνευσης είναι η επικοινωνία µε εξωτερικούς αισθητήρες ή συσκευές. Το bluetooth επιτρέπει σε συσκευές να ανιχνεύουν άλλες συσκευές ή ακόµα και πληροφορίες για συσκευές που έχουν bluetooth και είναι σε µικρή απόσταση. Αυτές οι πληροφορίες περιλαµβάνουν τη MAC διεύθυνση της συσκευής, τον τύπο της αλλά και το όνοµά της. Η MAC διεύθυνση είναι ένας αριθµός των 48 ψηφίων ο οποίος είναι µοναδικός για κάθε συσκευή. Το όνοµα καθορίζεται από τον κάθε χρήστη και ο τύπος είναι 3 ακέραιοι που καθορίζουν το είδος της συσκευής (κινητό τηλέφωνο, υπολογιστής). Η ικανότητα του bluetooth να ανιχνεύει την παρουσία άλλων συσκευών που είναι σε κοντινή απόσταση έχει χρησιµοποιηθεί σε πολλές εφαρµογές. Το µειονέκτηµα του bluetooth είναι η υψηλή κατανάλωση ενέργειας όταν όταν η χρήση του είναι συνεχής. Σχήµα 2.4: Μορφή bluetooth ενσωµατωµένο σε κινητό τηλέφωνο

2.5. ΜΙΚΡΟΦΩΝΟ 23 2.5 ΜΙΚΡΟΦΩΝΟ Το µικρόφωνο είναι ένας ακουστικός µετατροπέας. Εκτός από τη χρήση του σε ϕωνητικά τηλεφωνήµατα, ερευνητές το έχουν χρησιµοποιήσει για την ανάπτυξη εφαρµογών που στηρίζονται στην ανιχνευτική ικανότητα των µικροφώνων των κινητών τηλεφώνων. Ενα πολύ επιτυχηµένο παράδειγµα είναι αυτό των συστηµάτων αναγνώρισης οµιλίας [6], τα οποία έχουν ευρέως υλοποιηθεί σε κινητά τηλέφωνα. Αυτά τα συστήµατα επιτρέπουν στους χρήστες να χειρίζονται το κινητό τους τηλέφωνο µόνο µε ϕωνητικές εντολές χωρίς τη χρήση πληκτρολογίου. Επίσης, το µικρόφωνο χρησιµοποιείται και για την ανίχνευση του ήχου στο περιβάλλον καθώς έτσι µπορεί να αναγνωριστεί το κοινωνικό περιβάλλον του χρήστη. Σχήµα 2.5: Μορφή µικροφώνου ενσωµατωµένο σε κινητό τηλέφωνο

24 ΚΕΦΑΛΑΙΟ 2. ΕΙ Η ΑΙΣΘΗΤΗΡΩΝ

Κεφάλαιο 3 ΠΕ ΙΟ ΕΡΕΥΝΑΣ Πρόσφατα, το πεδίο της αναγνώρισης της ανθρώπινης συµπεριφοράς µέσω κινητών τηλεφώνων έχει έλξει το ενδιαφέρον πολλών ερευνητών. Οι αισθητήρες στα κινητά τηλέφωνα µπορούν να χαρακτηριστούν ως αισθητήρες που αναγνωρίζουν τη ϑέση, το περιβάλλον και τον κίνηση του χρήστη. Το πρώτο είδος αισθητήρων (GPS, Wifi, bluetooth) είναι ικανό να αναγνωρίσει την τοποθεσία του χρήστη όπως και την παρουσία οντοτήτων σε κοντινή απόσταση [7]. Οι αισθητήρες περιβάλλοντος (κάµερα, µικρόφωνο) είναι υπεύθυνοι για την ανίχνευση του περιβάλλοντος του χρήστη [3]. Το τελευταίο είδος (επιταχυνσιόµετρα, γυροσκόπια) αναγνωρίζουν την κίνηση του χρήστη [16, 25, 27]. Σε προηγούµενες εργασίες, οι ερευνητές έχουν µελετήσει την ανίχνευση ϕυσικών δραστηριοτήτων χρησιµοποιώντας δεδοµένα που συλλέχθηκαν από αισθητήρες που τοποθετούνται πάνω στο σώµα [16, 27]. Παρακάτω περιγράφονται πιο αναλυτικά µερικές εργασίες που ϐασίζονται σε τέτοιου είδους αισθητήρες. Human motion detection with wearable sensors [16]: Σε αυτή την εργασία τα δεδοµένα συλλέχθηκαν από επιταχυνσιόµετρα τριών αξόνων και συγκεκριµένα από 7 άντρες και από 7 γυναίκες. Η ϑέση του αισθητήρα ήταν στο δεξί µπροστινό πόδι και η συχνότητα δειγµατοληψίας ήταν στα 100Hz. Οι κινήσεις που αναγνωρίστηκαν ήταν 14, ανάµεσά τους το περπάτηµα, το τρέξιµο και το κάθισµα. Στη συνέχεια τα δεδοµένα χωρίστηκαν σε παράθυρα του ενός δευτερολέπτου µε ολίσθηση µισού. Πριν την εξαγωγή χαρακτηρι- 25

26 ΚΕΦΑΛΑΙΟ 3. ΠΕ ΙΟ ΕΡΕΥΝΑΣ στικών τα δεδοµένα υποβλήθηκαν σε τρεις επεξεργαστικές µεθόδους. Για κάθε µία από τις 4 µεθόδους (οι 3 επεξεργαστικές και ο διαχωρισµός των δεδοµένων σε παράθυρα) διεξήχθησαν συνολικά 77 χαρακτηριστικά. Για τη κατηγοριοποίηση αυτών των δεδοµένων χρησιµοποιήθηκαν 4 αλγόριθµοι µάθησης : SVM, neural network, IBk, decision tree. Την καλύτερη ακρίβεια είχε ο SVM ϕτάνοντας το ποσοστό 93.52%. Real-time movement recognition with wearable sensors [9]: Σε αυτή την εργασία τα δεδοµένα συλλέχθηκαν από επιταχυνσιόµετρα που τοποθετούνται στη µέση. Η συχνότητα δειγµατοληψίας είναι 45Hz. Αναγνωρίστηκαν οι εξής κινήσεις : ξάπλωµα, κάθισµα, στασιµότητα, πέσιµο, περπάτηµα. Για να γίνει η κατηγοριοποίηση τα δεδοµένα που συλλέχθηκαν από τον αισθητήρα χωρίστηκαν σε παράθυρα ενός δευτερολέπτου. Η τεχνική που ακολούθησαν οι συγγραφείς αυτής της εργασίας για την κατηγοριοποίηση των κινήσεων ήταν αλγόριθµοι κατωφλίων. Η ακρίβεια που επιτεύχθη σε αυτή τη δουλειά ήταν 90.8 %. Η καινοτόµος ιδέα σε αυτή την περίπτωση είναι ότι η αναγνώριση των κινήσεων γίνεται σε πραγµατικό χρόνο µέσω των αισθητήρων που τοποθετούνται στο σώµα. Feature selection framework [26]: Οι συγγραφείς σε αυτή την εργασία εστιάζουν πιο πολύ στην επιλογή των κατάλληλων χαρακτηριστικών ώστε να αυξηθεί όσο γίνεται η ακρίβεια. Χρησιµοποιούνται επιταχυνσιόµετρα και γυροσκόπια µε συχνότητα δειγµατοληψίας 100 Hz. Υστερα, τα δεδοµένα των αισθητήρων χωρίστηκαν σε παράθυρα των δύο δευτερολέπτων µε 50 % υπερκάλυψη. Χρησιµοποιήθηκαν 2 σύνολα χαρακτηριστικών : στατιστικά και ϕυσικά. Στη συνέχεια, οι συγγραφείς εφάρµοσαν κάποιους αλγόριθµους για να ϐρουν ποια χαρακτηριστικά ϐοηθάνε περισσότερο στο να αυξηθεί η ακρίβεια, µε αποτέλεσµα η τελική ακρίβεια να ϕτάσει το 90.8 %. Ensemble [27]: Σε αυτή την εργασία και πάλι χρησιµοποιούνται επιταχυνσιόµετρα που τοποθετούνται πάνω στο σώµα. Το διαφορετικό σε ατή την εργασία είναι ότι τα δεδοµένα που χωρίζονται σε παράθυρα, χωρίζονται στη συνέχεια σε υπο-παράθυρα. Εχει αποδειχθεί ότι αυτή η µέθοδος επιφέρει καλύτερα αποτελέσµατα ακρίβειας. Αυτή η µέθοδος χρησιµοποιήθηκε και σε αυτή την εργασία. Περισσότερη ανάλυση γι αυτή τη µέθοδο ακολουθεί στο τµήµα της µεθοδολογίας. Παρόλο που οι αισθητήρες που είναι τοποθετηµένοι πάνω στο σώµα

27 έχουν πολύ υψηλά ποσοστά ακρίβειας, πολλοί άνθρωποι ϑεωρούν άβολη την τοποθέτηση πάνω τους στην καθηµερινότητά τους. Γι αυτό το λόγο, σε αυτή τη δουλειά χρησιµοποιούνται µόνο αισθητήρες κινητών τηλεφώνων. Μερικές παλιότερες εργασίες που στηρίζονται σε αισθητήρες κινητών τηλεφώνων παρουσιάζονται περιληπτικά παρακάτω. Activity recognition using smartphone sensors [2]: Τα δεδοµένα συλλέχθηκαν από επιταχυνσιόµετρα και γυροσκόπια κινητών τηλεφώνων, από 10 διαφορετικά άτοµα. Τα δεδοµένα από τα 4 άτοµα ήταν για την εκπαίδευση ενώ τα υπόλοιπα χρησιµοποιήθηκαν για τον έλεγχο της αναγνώρισης δραστηριοτήτων. Ο κάθε χρήστης τοποθετούσε το κινητό σε όποια ϑέση ήθελε. Αναγνωρίστηκαν 7 δραστηριότητες. Η συχνότητα δειγµατοληψίας που χρησιµοποιήθηκε ήταν το UI όπως και στην παρούσα εργασία. Τα δεδοµένα χωρίστηκαν σε παράθυρα των 5 δευτερολέπτων. Στη συνέχεια, διεξήχθησαν 4 χαρακτηριστικά για κάθε άξονα του επιταχυνσιοµέτρου. Χρησιµοποιήθηκαν 4 αλγόριθµοι µάθησης για την κατηγοριοποίηση των δεδοµένων (Naive Bayes, Decision Tree, K-neareset Neighbor, SVM). Το δέντρο απόφασης ήταν ο αλγόριθµος µάθησης που είχε το καλύτερο ποσοστό ακρίβειας. Παρόλο που η χρήση δύο ειδών αισθητήρων µπορεί να αυξήσει το ποσοστό επιτυχίας, ταυτόχρονα επιβαρύνεται και η µπαταρία του κινητού τηλεφώνου, γι αυτό το λόγο σε αυτή τη διπλωµατική εργασία χρησιµοποιείται µόνο ένα είδος. Hybrid [25]: Μια άλλη προσέγγιση είναι η χρήση αισθητήρων κινητών τηλεφώνων και αισθητήρων που είναι τοποθετηµένοι πάνω στο σώµα µαζί. Αυτή η περίπτωση περιγράφεται σε αυτή τη δηµοσίευση, η οποία ϑα αναλυθεί περισσότερο στο τµήµα της µεθοδολογίας. Η χρήση δύο συσκευών δεν είναι πρακτικά εύκολη, καθώς ο χρήστης ϑα πρέπει να τοποθετήσει πάνω του πάνω από ένα τύπο αισθητήρων και αυτό είναι ιδιαίτερα άβολο. Σε αυτή τη διπλωµατική εργασία, το ποσοστό ακρίβειας που επιτυγχάνεται είναι ιδιαίτερα υψηλό και ας χρησιµοποιείται µόνο µία συσκευή. Η χρήση του κινητού τηλεφώνου ως η κύρια συσκευή αναγνώρισης δραστηριότητας µπορεί να είναι επιβαρυντικό για τις υπολογιστικές του δυνατότητες. Γι αυτό το λόγο, ο µεγάλος αριθµός χαρακτηριστικών δεν είναι κατάλληλος [27]. Είναι σηµαντικό να υπολογιστεί ο κατάλληλος συνδυασµός χαρακτηριστικών ώστε να αυξηθεί το ποσοστό ακρίβειας. Σε αυτή

28 ΚΕΦΑΛΑΙΟ 3. ΠΕ ΙΟ ΕΡΕΥΝΑΣ την εργασία χρησιµοποιήθηκε ένα υποσύνολο από τα χαρακτηριστικά που χρησιµοποιήθηκε στην εργασία [25]. Physical Activity Diary [22]: Τα δεδοµένα συλλέχθηκαν από επιταχυνσιόµετρο ενσωµατωµένο στο κινητό τηλέφωνο Nokia N95, το οποίο ήταν τοποθετηµένο στη τσέπη των χρηστών. Η συχνότητα δειγµατοληψίας ήταν 36 Hz. Στη συνέχεια, τα δεδοµένα χωρίστηκαν σε παράθυρα των δέκα δευτερολέπτων. Αυτά τα δεδοµένα υπέστησαν επεξεργασία ώστε να ϕύγει ο ϑόρυβος. Για αυτή την επεξεργασία χρησιµοποιήθηκε το ϕίλτρο moving-average. Μετά από αυτό το στάδιο τα δεδοµένα υπέστησαν και άλλη επεξεργασία ώστε να αφαιρεθούν τα προβλήµατα που προκαλούνται από τον διαφορετικό προσανατολισµό των κινητών. Στη συνέχεια, έγινε η εξαγωγή κάποιων χαρακτηριστικών και µετά η κατηγοριοποίησή τους µε τη ϐοήθεια των αλγορίθµων του Weka. Σε αυτή την εργασία αναγνωρίστηκαν µε ακρίβεια 90.6 % οι εξής κινήσεις : κάθισµα, περπάτηµα, τρέξιµο, οδήγηση και ποδηλασία.

Κεφάλαιο 4 ΜΕΘΟ ΟΛΟΓΙΑ Για την ανάπτυξη προσωποποιηµένων εφαρµογών και αυτόµατων σεναρίων, είναι σηµαντική η ανίχνευση της κίνησης του σώµατος του χρήστη. Σε αυτή την εργασία, µελετήθηκε η πρόβλεψη της κίνησης µέσω επιταχυσιόµετρων κινητών τηλεφώνων, υλοποιώντας δύο νέα παραµετροποιηµένα πρωτόκολλα. Ο σχεδιασµός αυτών των πρωτοκόλλων, στηρίχτηκε σε δύο πρωτόκολλα της ϐιβλιογραφίας, το πρωτόκολλο SWEM [27] και το πρωτόκολλο Hybrid [25]. Εγιναν κάποιες αλλαγές σε αυτές τις µεθόδους ώστε να χρησιµοποιηθούν µόνο επιταχυνσιόµετρα κινητών τηλεφώνων αφού ο αρχικός στόχος αυτής της διπλωµατικής ήταν να χρησιµοποιηθούν συσκευές που ο καθένας µπορεί να έχει. Παρακάτω, περιγράφονται και τα δύο προαναφερθέντα πρωτόκολλα. SWEM ΠΡΩΤΟΚΟΛΛΟ [27]: Στη σηµαντική αυτή εργασία, η συλλογή του συνόλου δεδοµένων γίνεται µέσω επιταχυνσιόµετρων που είναι τοποθετηµένα πάνω στο σώµα του χρήστη. Οι συγγραφείς αυτής της εργασίας χωρίζουν τα δεδοµένα σε περισσότερα του ενός παραθύρου. Αυτή η επιλογή ϐελτίωσε το επίπεδο ακρίβειας της µεθόδου τους. Επίσης, υπολόγισαν 19 χαρακτηριστικά για κάθε άξονα του επιταχυνσιόµετρου. Για το µέρος της ταξινόµησης, χρησιµοποίησαν τους ταξινοµητές SVM, ANN, 1NN. Hybrid ΠΡΩΤΟΚΟΛΛΟ [25]: Η άλλη µέθοδος στην οποία ϐασίστηκε η συγκεκριµένη διπλωµατική εργασία χρησιµοποιεί αισθητήρες που είναι τοπο- ϑετηµένοι πάνω στο σώµα του χρήστη, καθώς και αισθητήρες ενσωµατωµένους σε κινητό τηλέφωνο (επιταχυνσιόµετρα και γυροσκόπια). Τα δεδοµένα έχουν χωριστεί σε παράθυρα του ενός δευτερολέπτου µε ολίσθηση χρόνου κατά 29

30 ΚΕΦΑΛΑΙΟ 4. ΜΕΘΟ ΟΛΟΓΙΑ µισό δευτερόλεπτο. Το διάνυσµα των χαρακτηριστικών αποτελείται από 7 χαρακτηριστικά. Η διαδικασία της ταξινόµησης υλοποιήθηκε σε 2 επίπεδα. Αρχικά, οι στατικές δραστηριότητες ταξινοµήθηκαν χρησιµοποιώντας µηχανισµούς που στηρίζονται σε κατώφλια, ενώ οι δυναµικές χρησιµοποιώντας τους ακόλουθους ταξινοµητές : Decision Tree, K-Nearest Neighbour, Bayesian Network, Neural Network. Μετά τη δηµιουργία του µοντέλου ανίχνευσης, οι συγγραφείς προσθέτουν στα αρχικά δεδοµένα που χρησιµοποιούνται για εκπαίδευση αυτά που έχουν ανιχνευθεί µε σκοπό να ϐελτιωθεί το αρχικό µοντέλο εκπαίδευσης. Παραµετροποιηµένη µέθοδος υψηλής ακρίβειας (HAP): Σε αυτή τη µέθοδο που σχεδιάστηκε στα πλαίσια αυτής της εργασίας, χρησιµοποιήθηκαν µόνο επιταχυνσιόµετρα κινητών τηλεφώνων για τη συλλογή δεδοµένων. Τα δεδοµένα χωρίστηκαν σε παράθυρα των δέκα δευτερολέπτων. Στη συνέχεια, τα παραπάνω χωρίστηκαν σε περισσότερα υπο-παράθυρα όπως στο [27]. Αφού η µέθοδος των Zheng et al προσαρµόστηκε σε αισθητήρες κινητών τηλεφώνων, πρέπει να µειωθεί ο αριθµός των χαρακτηριστικών που υπολογίζονται, ώστε να µειωθεί και ο υπολογιστικός ϕόρτος του κινητού. Γι αυτό το λόγο, το πρωτόκολλο που παρουσιάζεται σε αυτή τη διπλωµατική, υλοποιήθηκε υπολογίζοντας 4 χαρακτηριστικά εκ των οποίως τα 3 είναι υποσύνολο των χαρακτηριστικών που υλοποιήθηκαν στην εργασία [25]. Επίσης, και σε αυτή την εργασία ϐελτιώνεται το µοντέλο εκπαίδευσης κάθε χρήστη προσθέτοντας τα δεδοµένα που χρησιµοποιήθηκαν στο µέρος της αναγνώρισης της κατάστασης του χρήστη. Παραµετροποιηµένη ενεργειακά αποδοτική µέθοδος (EEP): Στη δεύτερη µέθοδο, ο σκοπός ήταν η µείωση του της κατανάλωσης της µπαταρίας του κινητού τηλεφώνου κρατώντας την ακρίβεια σε υψηλά επίπεδα. Τα δεδοµένα χωρίστηκαν και πάλι σε παράθυρα των 10 δευτερολέπτων. Μετά, κάθε χρονοσειρά των 10 δευτερολέπτων χωρίζεται σε υπο-παράθυρα των 6 δευτερολέπτων σε αντίθεση µε την παραπάνω µέθοδο που χρησιµοποιήθηκαν περισσότερα υπο-παράθυρα. Το διάνυσµα των χαρακτηριστικών που ορίστηκε σε αυτή τη µέθοδο αποτελείται από τα ίδια χαρακτηριστικά µε την προηγούµενη µέθοδο.

4.1. ΠΕΡΙΛΗΨΗ ΜΟΝΤΕΛΟΥ 31 4.1 ΠΕΡΙΛΗΨΗ ΜΟΝΤΕΛΟΥ Αναγνωρίζονται τέσσερις ϕυσικές δραστηριότητες οι οποίες ταξινοµούνται σε στατικές και δυναµικές δραστηριότητες. Οι στατικές είναι το κάθισµα και το ξάπλωµα, ενώ οι δυναµικές είναι το περπάτηµα και το τρέξιµο. Τα ϐήµατα του µοντέλου είναι τα εξής : (α ) Συλλογή εδοµένων (ϐ ) Αναγνώριση Κίνησης Σχήµα 4.1: Android εφαρµογές που αναπτύχθηκαν για τη συλλογή δεδοµένων και για την αναγνώριση σε πραγµατικό χρόνο Αναπτύχθηκε µια Android εφαρµογή η οποία συλλέγει τα δεδοµένα µαζί µε τις ετικέτες ώστε να δηµιουργηθεί το µοντέλο εκπαίδευσης (σχήµα 4.1α ). Τα δεδοµένα που συλλέγονται στέλνονται στον server. Τα δεδοµένα χωρίζονται σε παράθυρα των 10 δευτερολέπτων. Τα προαναφερθέντα δεδοµένα χωρίζονται σε υπο-παράθυρα µε διαφο- ϱετικά µεγέθη ανάλογα µε την κάθε µέθοδο. Για κάθε υπο-παράθυρο, δηµιουργείται ένα διάνυσµα χαρακτηριστικών το οποίο µαζί µε την κατάλληλη ετικέτα αποτελούν ένα στιγµιότυπο για το µοντέλο εκπαίδευσης. Το µοντέλο εκπαίδευσης ϕορτώνεται στο κινητό τηλέφωνο χρησιµοποιώντας cloud computing.

32 ΚΕΦΑΛΑΙΟ 4. ΜΕΘΟ ΟΛΟΓΙΑ Στη συνέχεια αναπτύσσεται µια δεύτερη Android εφαρµογή η οποία είναι υπεύθυνη για την αναγνώριση της κίνησης (σχήµα 4.1β ). Τα στιγµιότυπα που αποτελούν το µοντέλο εκπαίδευσης ταξινοµούνται χρησιµοποιώντας κάποιος αλγόριθµους µηχανικής µάθησης. Τέλος, προσωποποιείται το µοντέλο εκπαίδευσης, το οποίο δηµιουργήθηκε αρχικά, προσθέτοντας το αναγνωρισµένο διάνυσµα χαρακτηριστικών για κάθε χρήστη. Ολα τα ϐήµατα εκτός από το τέταρτο (αριθµός υπο-παραθύρων) και το τελευταίο είναι τα ίδια και για τις δύο µεθόδους. Στην πρώτη µέθοδο, τα δεδοµένα χωρίζονται σε περισσότερα του ενός υπο-παράθυρα, ενώ στη δεύτερη χωρίζονται σε ένα µόνο. Οσον αφορά στο τελευταίο ϐήµα, υλοποιήθηκε µόνο στην πρώτη µέθοδο αφού στη δεύτερη ο σκοπός ήταν να µην επιβαρυνθεί η µπαταρία του κινητού τηλεφώνου. 4.2 ΣΥΛΛΟΓΗ Ε ΟΜΕΝΩΝ Κατά τη διάρκεια της επεξεργασίας των δεδοµένων που συλλέχθηκαν, για να µειωθεί ο ϑόρυβος στις µετρήσεις χρησιµοποιήθηκε το περιβάλλον εργασίας funf [1]. Σηµαντικό ϱόλο στην προ-επεξεργασία των δεδοµένων παίζει η συχνότητα δειγµατοληψίας. Οι αισθητήρες πυροδοτούν ένα γεγονός κάθε ϕορά που καταλαβαίνουν κάποια αλλαγή στην τιµή τους. Υπάρχουν τέσσερις καθορισµένες συχνότητες δειγµατοληψίας για τους αισθητήρες κινητών τηλε- ϕώνων : UI (60000 microseconds), GAME (20000 microseconds), FASTEST (0 microsecond), NORMAL (200000 microseconds). Μετά από κάποια πειράµατα, ο καλύτερος ϱυθµός είναι το UI γιατί ακόµα και όταν το κινητό ϐρίσκεται σε κατάσταση ύπνου η συχνότητα δειγµατοληψίας δε µειώθηκε. Επίσης, η περίοδος δειγµατοληψίας ορίστηκε στα 3 λεπτά ενώ η διάρκεια στο 1 λεπτό. Στη συνέχεια, κάθε αρχείο που περιείχε τα δεδοµένα για την αντίστοιχη κίνηση ανέβηκε στον server για το επόµενο ϐήµα της προ-επεξεργασίας, την εξαγωγή χαρακτηριστικών.

4.3. ΕΞΑΓΩΓΗ ΧΑΡΑΚΤΗΡΙΣΤΙΚΩΝ 33 4.3 ΕΞΑΓΩΓΗ ΧΑΡΑΚΤΗΡΙΣΤΙΚΩΝ Με σκοπό την αποφυγή της επιβάρυνσης του υπολογιστικού τοµέα του κινητού η εξαγωγή των χαρακτηριστικών έγιναν σε server. Σε αυτό το σηµείο, δηµιουργείται το µοντέλο εκπαίδευσης ανάλογα µε τη µέθοδο που ακολουθείται κάθε ϕορά. Ο ψευδοκώδικας που περιγράφει την διαδικασία της εκπαίδευσης και για τις δύο µεθόδους παρουσιάζεται στον Αλγόριθµο 1. Αλγόριθµος 1 Αλγόριθµος Εκπαίδευσης Input: 1: Χρονοσειρά T. 2: Μέγεθος Παραθύρου W. 3: Μέγεθος Υπο-Παραθύρου S. Output: Μοντέλο Εκπαίδευσης 4: µοντέλο_εκπαίδευσης[ ] {} 5: διαν_χαρακ[ ]{} 6: for κάθε χρονοσειρά t µεγέθους W στο T do 7: for κάθε s στο S do 8: for κάθε χρονοσειρά l µεγέθους s στο t do 9: διαν_χαρακ[ ] διαν_χαρακ[ ] + διαν_χαρακ[l ] 10: µοντέλο_εκπαίδευσης[ ] διαν_χαρακ[ ] return µοντέλο_εκπαίδευσης[ ] HAP µέθοδος : Τα δεδοµένα των αισθητήρων κόβονται σε παράθυρα των δέκα δευτερολέπτων όπως αναφέρεται στη γραµµή 8 του Αλγόριθµου 1. Κάθε χρονοσειρά των δέκα δευτερολέπτων κόβεται σε υπο-παράθυρα των 1,2,3,4,5,6,7,8,9 και 10 δευτερολέπτων (γραµµή 9). Στο σχήµα 4.2 παρουσιάζεται ένα παράδειγµα για το πώς τα δεδοµένα των 10 δευτερολέπτων χωρίζονται σε υπο-παράθυρα των 1,5 και 10 δευτερολέπτων. Κάθε υποπαράθυρο µαζί µε την κατάλληλη ετικέτα αποτελούν ένα στιγµιότυπο για το µοντέλο εκπαίδευσης. Για κάθε στιγµιότυπο υπολογίζεται ένα διάνυσµα χαρακτηριστικών (γραµµή 11) το οποίο είναι ένα υποσύνολο του διανύσµατος χαρακτηριστικών που χρησιµοποιήθηκε στο [25]. EEP µέθοδος : Η αρχική χρονοσειρά χωρίζεται σε παράθυρα των 10 δευτερολέπτων (γραµµή 8). Στη γραµµή 9 του Αλγόριθµου 1 κάθε χρονοσειρά

34 ΚΕΦΑΛΑΙΟ 4. ΜΕΘΟ ΟΛΟΓΙΑ Σχήµα 4.2: Χρονοσειρά των 10 δευτερολέπτων που χωρίζεται σε υποπαράθυρα των 1,5 και 10 δευτερολέπτων. Η χρονοσεριά των 10 δευτερολέπτων είναι αυτή µε το κόκκινο χρώµα, ενώ το µπλε χρώµα αντιπροσωπεύει την χρονοσειρά των 10 δευτερολέπτων χωρισµένη σε υπο-παράθυρα µε ολίσθηση ενός δευτερολέπτου των 10 δευτερολέπτων χωρίζεται σε υπο-παράθυρα των 6 δευτερολέπτων µε τον τρόπο που χωρίζεται και στο σχήµα 4.2. Για κάθε υπο-παράθυρο των 6 δευτερολέπτων δηµιουργείται ένα διάνυσµα χαρακτηριστικών (γραµµή 11). Το προαναφερθέν διάνυσµα χαρακτηριστικών είναι το µοντέλο εκπαίδευσης για το δεύτερο πρωτόκολλο. Τα χαρακτηριστικά που αποτελούν το διάνυσµα χαρακτηριστικών και για τις 2 µεθόδους είναι τα εξής : 1. µέση τιµή : m = 1 n Σn i=1 a i 1 2. τυπική απόκλιση : n Σn i=1 (a i m) 2 3. ϐαθµός γωνίας : 180 π arccos( m g ) 4. εύρος τιµών : µέγιστη τιµή - ελάχιστη τιµή όπου a i είναι η τιµή της επιτάχυνσης κάθε άξονα, n είναι ο αριθµός των επιταχύνσεων για κάθε άξονα και g είναι η ϐαρύτητα της Γης. Η τυπική απόκλιση είναι το χαρακτηριστικό που διαχωρίζει καλύτερα τις στατικές από τις δυναµικές κινήσεις. Οπως είναι λογικό, οι δυναµικές κινήσεις έχουν µεγαλύτερη µεταβολή στην επιτάχυνση από ό,τι οι στατικές. Παρόλο που το προαναφερθέν χαρακτηριστικό ϐοηθάει ακόµα και στην

4.4. ΚΑΤΗΓΟΡΙΟΠΟΙΗΣΗ 35 Σχήµα 4.3: Γραφικές παραστάσεις των χαρακτηριστικών που εξήχθησαν παρατήρηση της διαφοράς µεταξύ του τρεξίµατος και του περπατήµατος, οι γραφικές παραστάσεις του ξαπλώµατος και του καθίσµατος είναι αρκετά ίδιες. Για το διαχωρισµό αυτών των 2 κινήσεων, υπολογίζονται η µέση τιµή και ο ϐαθµός της γωνίας. Και τα δύο αυτά χαρακτηριστικά έχουν αρκετά διαφορετικές τιµές για το κάθισµα και το ξάπλωµα. Το κάθισµα έχει µεγαλύτερη επιτάχυνση από ό,τι το ξάπλωµα και το δεύτερο έχει µεγαλύτερο ϐαθµό γωνίας από το πρώτο αφού το πάνω µέρος του σώµατος είναι οριζόντιο σε σχέση µε το κάτω µέρος. Τέλος, εκτός από την τυπική απόκλιση, και το εύρος είναι ένα χαρακτηριστικό που ϐοηθάει στο διαχωρισµό µεταξύ του περπατήµατος και του τρεξίµατος. Αυτό συµβαίνει γιατί το τρέξιµο έχει µεγαλύτερο εύρος τιµών επιτάχυνσης από το περπάτηµα. Ολα τα χαρακτηριστικά υπολογίστηκαν για κάθε ένα από τους τρεις άξονες. Εποµένως, το τελικό διάνυσµα χαρακτηριστικών είναι µεγέθους 13 (4 χαρακτηριστικά για κάθε ένα από τους τρεις άξονες και η ετικέτα). Το σύνολο των διανυσµάτων που δηµιουργούνται για κάθε στιγµιότυπο αποτελούν το µοντέλο εκπαίδευσης (10). 4.4 ΚΑΤΗΓΟΡΙΟΠΟΙΗΣΗ Σε αυτό το σηµείο, έχοντας µεταφέρει το µοντέλο εκπαίδευσης µέσω του cloud-computing στο κινητό κάθε χρήστη, πραγµατοποιείται η κατηγοριοποίηση. Αρχικά, το µοντέλο εκπαίδευσης κατηγοριοποιείται µε τη ϐοήθεια του Weka Machine Learning Package [20] και µέσω αυτής της διαδικασίας δηµιουργείται το µοντέλο ανίχνευσης. Στη συνέχεια, αυτό το πακέτο, το

36 ΚΕΦΑΛΑΙΟ 4. ΜΕΘΟ ΟΛΟΓΙΑ οποίο περιέχει αρκετούς αλγόριθµους µηχανικής µάθησης, προσαρµόζεται στο Android περιβάλλον. Σε αυτή την εργασία, υλοποιήθηκαν 3 αλγόριθµοι µάθησης για την κατηγοριοποίηση των στιγµιοτύπων : Decision Tree: Ενα εργαλείο απόφασης που χρησιµοποιεί ένα γράφη- µα δενδροειδούς µορφής ή ένα µοντέλο αποφάσεων και πιθανών αποτελεσµάτων. Naive Bayes: Ενας απλός πιθανοτικός ταξινοµητής που ϐασίζεται στην εφαρµογή του ϑεωρήµατος του Bayes µε δυνατές ανεξάρτητες υποθέσεις µεταξύ των χαρακτηριστικών. IBk: Τύπος ταξινοµητή που ϐασίζεται στη µάθηση από στιγµιότυπα, όπου η συνάρτηση προσεγγίζεται τοπικά και όλοι οι υπολογισµοί διαφέρουν µέχρι την ταξινόµηση. 4.5 ΑΝΑΓΝΩΡΙΣΗ ΚΑΤΑΣΤΑΣΗΣ ΣΕ ΠΡΑΓΜΑΤΙΚΟ ΧΡΟ- ΝΟ Για το σκοπό της αναγνώρισης της κατάστασης σε πραγµατικό χρόνο, αναπτύσσεται µια δεύτερη Android εφαρµογή (σχήµα 4.1β ). Η συχνότητα δειγµατοληψίας τίθεται και πάλι στο UI. Στα πλαίσια της ανίχνευσης, η περίοδος δειγµατοληψίας τίθεται στο ένα λεπτό και η διάρκεια στα 50 δευτερόλεπτα. Οι δύο τελευταίες τιµές είναι διαφορετικές από τις αντίστοιχες που χρησιµοποιήθηκαν στην εφαρµογή για την εκπαίδευση καθώς µε αυτόν τον τρόπο καλυτερεύει ο χρόνος απόκρισης της εφαρµογής. Ο ψευδοκώδικας για την αναγνώριση δραστηριοτήτων σε πραγµατικό χρόνο είναι ο Αλγόριθµος 2. HAP µέθοδος : Η χρονοσειρά κόβεται µε τον ίδιο τρόπο όπως παρουσιάστηκε στην ενότητα εξαγωγή χαρακτηριστικών για το αντίστοιχο πρωτόκολλο (γραµµές 8,9). Υπολογίστηκε το ίδιο διάνυσµα χαρακτηριστικών εκτός από το τελευταίο χαρακτηριστικό το οποίο ήταν η ετικέτα της δραστηριότητας το οποίο τώρα ϑα πρέπει να αναγνωριστεί (γραµµή 11). Υστερα, κάθε στιγµιότυπο ταξινοµείται µε τη ϐοήθεια του IBk ταξινοµητή (γραµµή 12), αφού αυτός δηµιουργεί το ακριβέστερο µοντέλο ανίχνευσης σε κάθε περίπτωση όπως

4.5. ΑΝΑΓΝΩΡΙΣΗ ΚΑΤΑΣΤΑΣΗΣ ΣΕ ΠΡΑΓΜΑΤΙΚΟ ΧΡΟΝΟ 37 Αλγόριθµος 2 Αλγόριθµος Ανίχνευσης Input: 1: Χρονοσειρά T. 2: Μέγεθος Παραθύρου W. 3: Μέγεθος Υπο-Παραθύρου S. Output: δραστηριότητα 4: µοντέλο_εκπαίδευσης[ ]= {} 5: διαν_χαρακ[ ]={} 6: ετικέτα[ ]={} 7: δραστηριότητα[ ]={} 8: for κάθε χρονοσειρά t µεγέθους W στο T do 9: for κάθε s στο S do 10: for κάθε χρονοσειρά l µεγέθους s στο t do 11: διαν_χαρακ[ ] διαν_χαρακ[ ] + διαν_χαρακ[l ] 12: ετικέτα[ ] ταξινόµηση(διαν_χαρακ[ ]) 13: δραστηριότητα[ ] πλειοψηφία(ετικέτα[ ]) return δραστηριότητα ϕαίνεται και από τα αποτελέσµατα της αξιολόγησης. Στο τελευταίο ϐήµα, αποφασίζεται η ετικέτα για ολόκληρο το παράθυρο. Αρχικά, αποφασίζεται η ετικέτα για κάθε υπο-παράθυρο και στη συνέχεια µέσω της πλειοψηφίας αποφασίζεται η κίνηση ολόκληρου του παραθύρου (γραµµή 13). EEP µέθοδος : Το αρχικό σύνολο δεδοµένων χωρίζεται µε τον ίδιο τρόπο όπως παρουσιάστηκε στην ενότητα εξαγωγή χαρακτηριστικών για τη συγκεκρι- µένη µέθοδο (8, 9). Υπολογίζεται το διάνυσµα χαρακτηριστικών εκτός από το χαρακτηριστικό της ετικέτας (γραµµή 11) και στη συνέχεια χρησιµοποιώντας το µοντέλο ανίχνευσης που έχει δηµιουργηθεί µέσω του ταξινοµητή IBk ανιχνεύεται η ετικέτα για κάθε υπο-παράθυρο των 6 δευτερολέπτων (γραµµή 12). Τέλος, η πλειοψηφία των ετικετών που αναγνωρίστηκαν για τα υποπαράθυρα των 6 δευτερολέπτων είναι και η ετικέτα για το συνολικό παράθυρο των 10 δευτερολέπτων (γραµµή 13).

38 ΚΕΦΑΛΑΙΟ 4. ΜΕΘΟ ΟΛΟΓΙΑ 4.6 ΠΡΟΣΩΠΟΠΟΙΗΣΗ ΜΟΝΤΕΛΟΥ Αυτή η ενότητα αφορά µόνο στη µέθοδο HAP. Οι ετικέτες που παρήχθησαν µετά τη διαδικασία της αναγνώρισης δραστηριότητας κάθε χρήστη, εισάγονται στο αρχικό µοντέλο εκπαίδευσης µε σκοπό τη δηµιουργία ενός καλύτερου µοντέλο προσαρµοσµένο στον κάθε χρήστη. Ως αποτέλεσµα, στις επόµενες επαναλήψεις της Android εφαρµογής για την αναγνώριση της κατάστασης, επιτυγχάνεται ακόµα µεγαλύτερη ακρίβεια. Η εκπαίδευση σε πραγµατικό χρόνο σταµατάει όταν για κάθε χρήστη δεν αλλάζει πια το ποσοστό ακρίβειας.

Κεφάλαιο 5 ΑΞΙΟΛΟΓΗΣΗ Τα δεδοµένα συλλέχθηκαν από 10 διαφορετικούς ανθρώπους, και άντρες και γυναίκες, διαφορετικής ηλικίας και τρόπου Ϲωής, µέσω της πρώτης Android εφαρµογής (σχήµα 4.1α ). Κάθε χρήστης χρησιµοποίησε το δικό του κινητό τηλέφωνο µε έκδοση Android από 4.0.3 και πάνω. Χρησιµοποιώντας το ενσωµατωµένο τρι-αξονικό επιταχυνσιόµετρο, µετρήθηκε η επιτάχυνση του τηλεφώνου. Κάθε χρήστης πραγµατοποίησε 4 καθηµερινές δραστηριότητες : κάθισµα, ξάπλωµα, περπάτηµα και τρέξιµο. Τοποθέτησαν το κινητό τους στην µπροστινή δεξιά τσέπη και κάθε κίνηση πραγµατοποιήθηκε για 3 έως 5 λεπτά. Αφού το τρέξιµο είναι µια δραστηριότητα που διαχωρίζεται εύκολα, δε χρειάστηκε να την πραγµατοποιήσουν όλοι οι χρήστες. Τα πειράµατα που πραγµατοποιήθηκαν σε αυτή την εργασία, είχαν ως σκοπό την αξιολόγηση των 2 παραµετροποιηµένων µεθόδων ως προς την ακρίβεια και την κατανάλωση µπαταρίας. Για να υπάρχει ένα σηµείο αναφοράς στα πρωτόκολλα της ϐιβλιογραφίας στα οποία ϐασίστηκε αυτή η εργασία, υλοποιήθηκαν και αυτά χρησιµοποιώντας µόνο αισθητήρες κινητών τηλεφώνων. Ολες οι µέθοδοι κατηγοριοποιήθηκαν µε ϐάση τους ίδιους κατηγοριοποιητές (Decision Tree, Naive Bayes, IBk) χρησιµοποιώντας το Weka Machine Learning Package. 39

40 ΚΕΦΑΛΑΙΟ 5. ΑΞΙΟΛΟΓΗΣΗ 5.1 ΠΑΡΑΜΕΤΡΟΙ ΑΞΙΟΛΟΓΗΣΗΣ Είδη Αισθητήρων. Πριν παρουσιαστούν τα αποτελέσµατα της αξιολόγησης, χρειάζεται να τονιστούν τα διαφορετικά χαρακτηριστικά αυτών των 4 µεθόδων. Στο πρωτόκολλο SWEM, χρησιµοποιήθηκαν µόνο επιταχυνσιόµετρα που τοποθετούνται πάνω στο σώµα, αλλά στην προσαρµοσµένη έκδοση που υλοποιήθηκε σε αυτή την εργασία, χρησιµοποιήθηκαν επιταχυνσιόµετρα κινητού τηλεφώνου. Στο πρωτόκολλο Hybrid, χρησιµοποιήθηκαν επιταχυνσιόµετρα που τοποθετούνται στο σώµα και κινητών τηλεφώνων αλλά και γυροσκόπια κινητών τηλεφώνων. Στην προσαρµοσµένη έκδοση που υλοποιήθηκε σε αυτή την εργασία χρησιµοποιήθηκαν µόνο επιταχυνσιόµετρα και γυροσκόπια κινητών τηλεφώνων. Στις δύο µεθόδους που υλοποιήθηκαν στα πλαίσια αυτής της εργασίας χρησιµοποιήθηκαν µόνο επιταχυνσιόµετρα κινητών τηλεφώνων κινητών τηλεφώνων, αφού ο σκοπός ήταν να χρησιµοποιηθούν όσο το δυνατόν λιγότεροι αισθητήρες και µόνο από κινητά τηλέφωνα. ιάνυσµα Χαρακτηριστικών. Σε καθένα από τα τέσσερα πρωτόκολλα, υπολογίστηκε ένα σύνολο από διανύσµατα χαρακτηριστικών το οποίο ήταν και η είσοδος για το εργαλείο Weka. Για το πρωτόκολλο SWEM, χρειάζονται συνολικά 19 χαρακτηριστικά, ενώ το διάνυσµα χαρακτηριστικών του Hybrid είναι µεγέθους 7. Στα πλαίσια των δύο µεθόδων που σχεδιάστηκαν σε αυτή την εργασία ελέγχθηκαν πολλοί συνδυασµοί χαρακτηριστικών αλλά τελικά χρησιµοποιήθηκε ένα υποσύνολο 6 χαρακτηριστικών αφού είχε την καλύτερη απόδοση. Αριθµός Παραθύρων. Στο πρωτόκολλο Hybrid, τα δεδοµένα των αισθητήρων διαβάζονται σε παράθυρα του ενός δευτερολέπτου, µε ολίσθηση µισού δευτερολέπτου. Σε όλες τις άλλες µεθόδους, τα δεδοµένα των αισθητήρων χωρίζονται σε παράθυρα των 10 δευτερολέπτων τα οποία στη συνέχεια χωρίζονται σε υπο-παράθυρα µε διαφορετικό τρόπο για κάθε µέθοδο. Πιο συγκεκριµένα, στο SWEM πρωτόκολλο και στη HAP µέθοδο τα δεδοµένα των 10 δευτερολέπτων χωρίζονται σε υπο-παράθυρα των 1,2,3,4,5,6,7,8,9 και 10 δευτερολέπτων µε ολίσθηση ενός δευτερολέπτου. Στη EEP µέθοδο, τα παράθυρα των 10 δευτερολέπτων κόβονται σε υπο-παράθυρα µόνο των 6 δευτερολέπτων µε ολίσθηση και πάλι ενός δευτερολέπτου. Με αυτό τον τρόπο, παρατηρούνται διαφορές στην υπολογιστική προσπάθεια που έχει γίνει για

5.2. ΣΥΖΗΤΗΣΗ ΑΠΟΤΕΛΕΣΜΑΤΩΝ 41 κάθε µέθοδο. Προσωποποίηση Μοντέλου. Ενα άλλο σηµαντικό χαρακτηριστικό για δύο από τα πρωτόκολλα είναι η προσωποποίηση του µοντέλου για κάθε χρήστη. Ειδικότερα, στο Hybrid και στο EEP πρωτόκολλο, οι ετικέτες που παράγονται µετά την αναγνώριση της κατάστασης για κάθε άνθρωπο εισάγονται στο µοντέλο εκπαίδευσης µε σκοπό να δηµιουργηθεί ένα καλύτερο µοντέλο προσαρµοσµένο για κάθε χρήστη ξεχωριστά. Πιο αναλυτικά, τα χαρακτηριστικά που εξάγονται από τα δεδοµένα των αισθητήρων ανακατευθύνονται ως είσοδοι στο εργαλείο του Weka, το οποίο είναι ενσωµατωµένο στην Android εφαρµογή, και µαζί µε την ετικέτα που αναγνωρίζεται γι αυτά τα χαρακτηριστικά δηµιουργείται ένα καινούριο µοντέλο προσωποποιηµένο για κάθε χρήστη. 5.2 ΣΥΖΗΤΗΣΗ ΑΠΟΤΕΛΕΣΜΑΤΩΝ Σχήµα 5.1: Αποτελέσµατα για την ακρίβεια για κάθε πρωτόκολλο. Ακρίβεια. Στο σχήµα 5.1 απεικονίζονται τα πιο σηµαντικά αποτελέσµατα των πειραµάτων σχετικά µε την ακρίβεια. Για την αξιολόγηση των µοντέλων ανίχνευσης που δηµιουργήθηκαν από κάθε αλγόριθµο κατηγοριοποίησης

42 ΚΕΦΑΛΑΙΟ 5. ΑΞΙΟΛΟΓΗΣΗ Σχήµα 5.2: Αποτελέσµατα για τη µέση κατανάλωση ενέργειας, το ϕόρτο της CPU και τη µνήµη ξεχωριστά, χρησιµοποιήθηκε η τεχνική cross validation 10 επιπέδων. Το πρωτόκολλο µε τη µεγαλύτερη ακρίβεια, για όλες τις δραστηριότητες, είναι η µέθοδος HAP η οποία έχει 99.44% ακρίβεια. Στον πίνακα 5.1, τα αποτελέσµατα που απεικονίζονται αφορούν την ακρίβεια που επιτυγχάνεται χρησιµοποιώντας τον κατηγοριοποιητή IBk ο οποίος έχει την καλύτερη απόδοση για τα περισσότερα πρωτόκολλα. Ενα άλλο πολύ ενδιαφέρον αποτέλεσµα είναι ότι η EEP µέθοδος έχει επίσης πολύ υψηλή ακρίβεια (98.99%). Η ακρίβεια των άλλων δύο πρωτοκόλλων είναι σε χαµηλότερα επίπεδα, 98,27% για το πρωτόκολλο SWEM και 95.73% για το Hybrid. Επίσης, αξίζει να σηµειωθεί ότι το SWEM πρωτόκολλο ελέγχθηκε και µε τον κατηγοριοποιητή SVM όπως προτάθηκε στην εργασία [27], αλλά η ακρίβεια ήταν 94.60%. Ενεργειακή Απόδοση. Εκτός από την ακρίβεια, σε αυτή την εργασία µετρήθηκε και η ενεργειακή απόδοση κάθε πρωτοκόλλου (σχήµα 5.2). Για αυτό το λόγο, κάθε πρωτόκολλο εκτελείται σε κινητό τηλέφωνο που είναι υπεύθυνο αποκλειστικά και µόνο για την εκτέλεση αυτών των πειραµάτων. Σε αυτό το κινητό µετρήθηκε η µέση κατανάλωση της µπαταρίας ανά ώρα για κάθε πρωτόκολλο ξεχωριστά µε τη ϐοήθεια της εφαρµογής Trepn Profiler. Το κινητό που χρησιµοποιήθηκε για τα πειράµατα ήταν ένα sony xperia z1 (µε έκδοση android 4.4.4) εξοπλισµένο µε µπαταρία Li-Ion 3000 mah. Το πρωτόκολλο µε τη χαµηλότερη µέση κατανάλωση µπαταρίας είναι το EEP, όπως παρατηρείται στον πίνακα 5.1, (874mW). Η µέθοδος HAP, µε την

5.2. ΣΥΖΗΤΗΣΗ ΑΠΟΤΕΛΕΣΜΑΤΩΝ 43 υψηλότερη ακρίβεια, έχει µέση κατανάλωση µπαταρίας 1164mW, δηλαδή την αµέσως χαµηλότερη τιµή. Η µέση κατανάλωση ενέργειας για τα άλλα 2 πρωτόκολλα Hybrid και SWEM είναι 1300mW και 1578mW αντίστοιχα. Φόρτος CPU. Μεγάλη ϐάση δόθηκε και στο ϕόρτο της CPU για κάθε πρωτόκολλο. Οπως ϕαίνεται στο σχήµα 5.2 και για αυτή τη µετρική αξιολόγησης το καλύτερο αποτέλεσµα έχει το πρωτόκολλο EEP καθώς σε αυτή τη µέθοδο εξάγεται ο µικρότερος αριθµός χαρακτηριστικών για το µικρότερο αριθµό υπό-παραθύρων. Στη δεύτερη ϑέση ϐρίσκεται το πρωτόκολλο HAP καθώς έχει τον ίδιο αριθµό χαρακτηριστικών µε την προηγούµενη µέθοδο αλλά αρκετά µεγαλύτερο αριθµό υπο-παραθύρων. Οι άλλες δύο µέθοδοι έχουν µεγαλύτερο ϕόρτο CPU αφού έχουν και περισσότερα χαρακτηριστικά και περισσότερα υπο-παράθυρα. Μνήµη. Μεγάλη σηµασία για µια εφαρµογή που εκτελείται σε κινητό τηλέφωνο έχει και η ποσότητα µνήµης που δεσµεύεται. Τη µικρότερη δέσµευση µνήµης επιτυγχάνει το πρωτόκολλο EEP (σχήµα 5.2) αφού τα αρχεία που αποθηκεύονται κατά τη διάρκεια της εκτέλεσής του είναι λιγότερα και µικρότερα σε µέγεθος από ό,τι στα υπόλοιπα πρωτόκολλα. Πρωτόκολλο Συνολική Ακρίβεια Μέση Κατανάλωση Μπαταρίας Φόρτος CPU Μνήµη SWEM Πρωτόκολλο 98.2749 % 1578mW 18.03 % 1664ΜΒ Hybrid Πρωτόκολλο 95.7338 % 1300mW 15.93 % 1662ΜΒ HAP µέθοδος 99.4435 % 1164mW 14.1 % 1669ΜΒ EEP µέθοδος 98.9919 % 874mW 10.1 % 1658ΜΒ Πίνακας 5.1: Συνολική Ακρίβεια, Μέση Κατανάλωση Μπαταρίας, Φόρτος CPU και Μνήµη για όλα τα πρωτόκολλα µε τη χρήση IBk κατηγοριοποιητή. Στον πίνακα 5.1 εµφανίζονται επιγραµµατικά τα πιο σηµαντικά αποτελέσµατα για όλες τις µετρικές αξιολόγησης που αναφέρθηκαν παραπάνω. Στον πίνακα 5.2, εµφανίζονται µε περισσότερες λεπτοµέρειες τα αποτελέσµατα για κάθε πρωτόκολλο, για όλους τους κατηγοριοποιητές και για όλες τις δραστηριότητες. Για κάθε πρωτόκολλο και για όλους τους κατηγοριοποιητές, εκτός από την ακρίβεια, εµφανίζονται και τα αποτελέσµατα για τις εξής µετρικές : True Positive Rate, True False Rate, Precision, Recall, F-Measure, ROC Area. Η πιο σηµαντική µετρική από τις παραπάνω είναι το F-Measure. Στο πεδίο της στατιστικής ανάλυσης της δυαδικής κατηγοριοποίησης, το F-