Σχεδιασμός & Υλοποίηση πληθοποριστηκών συστημάτων με χρήση ασύρματων δικτύων αισθητήρων.

Transcript

1 Πολυτεχνική Σχολή Πανεπιστήμιο Πατρών Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών & Πληροφορικής Μεταπτυχιακή Εργασία: Σχεδιασμός & Υλοποίηση πληθοποριστηκών συστημάτων με χρήση ασύρματων δικτύων αισθητήρων. Μεταπτυχιακό Δίπλωμα Ειδίκευσης: «Επιστήμη και Τεχνολογία Υπολογιστών» Ράπτη Μαρία Α.Μ. 918, Επιβλέπων Καθηγητής: Σωτήρης Νικολετσέας Αναπληρωτής Καθηγητής Πάτρα Σεπτέμβριος 2015

2 Τριμελής Επιτροπή: Βαρβαρίγος Εμμανουήλ, Καθηγητής Μακρής Χρήστος, Επίκουρος Καθηγητής Νικολετσέας Σωτήρης, Αναπληρωτής Καθηγητής Πάτρα Σεπτέμβριος P a g e

3 Ευχαριστίες Για τη διπλωματική αυτή εργασία θα ήθελα να ευχαριστήσω κάποιους ανθρώπους για τη συνεργασία και την υποστήριξη τους. Αρχικά θα ήθελα να ευχαριστήσω τον επιβλέποντα καθηγητή μου κ. Σωτήρη Νικολετσέα, για την μεγάλη τιμή που μου έκανε και με επέλεξε να συνεργαστώ μαζί του στην ερευνητική του ομάδα, και που μου εμπιστεύτηκε αυτή την πολύ ενδιαφέρουσα εργασία. Η συμμετοχή μου στην ερευνητική του ομάδα ήταν καθοριστική για την μετέπειτα επαγγελματική μου πορεία και τον ευχαριστώ ιδιαιτέρως για τη γενικότερη συνεργασία μας. Στη συνέχεια θα ήθελα να ευχαριστήσω τους δυο στενούς μου συνεργάτες για την καλή συνεργασία που είχαμε στην εργασία αυτή, τον Γαβρίλη και τη Χριστίνα. Τον Γαβριήλ θα ήθελα να τον ευχαριστήσω ιδιαιτέρως και για την γενικότερη συνεργασία μας και τις χρήσιμες συμβουλές του όσο διάστημα ήμουν μέλος της ερευνητικής ομάδας αυτής. Δεν μπορώ να παραλείψω ευχαριστίες και στα υπόλοιπα μέλη της ερευνητικής ομάδας με τα οποία συνεργάστηκα σε κάθε έναν ξεχωριστά και ιδιαιτέρως στην Αντελίνα για την μεγάλη υποστήριξή της. Τέλος το μεγαλύτερο ευχαριστώ ανήκει στην οικογένεια μου και τους ανθρώπους που έχω δίπλα μου. Ευχαριστώ ιδιαιτέρως την αδερφή μου Έφη η οποία με με την φροντίδα της διευκόλυνε πολύ την δύσκολη καθημερινότητα που είχα. Ένα μεγάλο ευχαριστώ ανήκει επίσης στον Κωσταντίνο και την οικογένεια του οι οποίοι με την αγάπη τους και την υποστήριξη τους μου δίνουν τη δύναμη να συνεχίζω να εξελίσσομαι. 3 P a g e

4 4 P a g e

5 Περίληψη Σε μία εποχή που η τεχνολογική πρόοδος δίνει την δυνατότητα στον άνθρωπο να ελέγχει διαρκώς όλο και περισσότερο το περιβάλλον που ζει, υπάρχει η ανάγκη για εφαρμογή της τεχνολογίας σε όλο και περισσότερες πτυχές της ζωής του. Με το γνώμονα αυτό κατασκευάστηκε μια ενεργοποιημένη IPv6 test-bed εγκατάσταση για έξυπνα κτήρια, συνδυάζοντας αισθητήρες και smart devices. Στόχος της εργασίας αυτής ήταν το Internet of Things μέσω της χρήσης ποικίλων ετερογενών συσκευών όπως smartphones, sensor motes, την τεχνολογία NFC και παραδοσιακές ηλεκτρικές συσκευές, το καθένα από τα οποία εξυπηρετεί ένα συγκεκριμένο ρόλο στο test-bed. Επίσης, παρέχοντας ένα απλό σενάριο έξυπνου δωματίου παρουσιάζεται πως μπορεί να συνδυαστεί η εξοικονόμηση ενέργειας με την άνεση του χρήστη. Το πεδίο της αναγνώρισης της ανθρώπινης συμπεριφοράς μέσω κινητών τηλεφώνων αποτελεί επίσης πόλο έλξη για πολλούς ερευνητές. Οι αισθητήρες των κινητών τηλεφώνων μπορούν να χρησιμοποιηθούν για την αναγνώριση της θέσης και της κίνησης ενός χρήστη καθώς και του περιβάλλοντος στο οποίο βρίσκεται. Στην εργασία αυτή αναπτύχθηκε ένα δεύτερο σύστημα με γνώμονα την εξαγωγή συμπερασμάτων για την κατάσταση του χρήστη. Έγινε χρήση ενός ιεραρχικού μοντέλου, το οποίο επιτυγχάνει να εξάγει συμπεράσματα για την συνολική δραστηριότητα ενός χρήστη. Δηλαδή αναγνωρίζοντας την κίνηση και το περιβάλλον του χρήστη ξεχωριστά, τα αποτελέσματα εισάγονται σε ένα τρίτο μοντέλο το οποίο είναι σε θέση να εξάγει ένα πιο ολοκληρωμένο συμπέρασμα για την γενικότερη δραστηριότητα του χρήστη. 5 P a g e

6 Abstract The latest technological progress enables persons to constantly monitor more their living environment, there is a need for technology application in more aspects of life. With this in mind an enabled IPv6 test-bed facility have created for smart buildings, combining sensors and smart devices. The goal of this test-bed was the Internet of Things by using various heterogeneous devices such as smartphones, sensor motes, NFC technology and traditional electrical devices, each of which serves a particular role in the test-bed. Also, a simple scenario for a smart room provided which demonstrates how we can combine energy efficiency and user comfort. The recognition of human behavior via mobile phones is also a pole of attraction for many researchers. The sensors of mobile phones can be used to identify the location and movement of a user and also the environment in which he is located. In this paper a second system has developed in order to present conclusions for the user's situation. It uses a hierarchical model, which achieves conclusions for the overall activity of a user. Recognizing at first the movement and the user's environment separately, the results are inserted into a third model which derives a more comprehensive conclusion about overall user activity. 6 P a g e

7 7 P a g e

8 Περιεχόμενα 1. Εισαγωγή Περιγραφή Συστήματος (WSN Lab) Περιγραφή WSN LAB Κεντρική Ιδέα Συστατικά Μέρη του WSN Lab Τα ηλεκτρομηχανολογικά συστήματα Η πλατφόρμα TelosB Το λειτουργικό σύστημα TinyOS Networking Αρχιτεκτονική Android Application για χειρισμό συσκευών WSN Lab Κεντρική Ιδέα Συστατικά Μέρη i. Wireless Sensor Network (WSN) ii. Black-Box iii. Android Application Χαρακτηριστικά Συστήματος Αρχιτεκτονική Control Cube Black Box Android Application Αξιολόγηση Αντίκτυπο Σεναρίου Χρήση αισθητήρων από Smart devices και εξαγωγή Συμπερασμάτων Εισαγωγή Συμβολή της αναγνώρισης της κατάστασης ενός χρήστη Αναγνώριση της Κατάστασης ενός Χρήστη Συμβολή Εργασίας Χρήσιμοι Ορισμοί Τύποι Αισθητήρων i. Επιταχυνσιόμετρα ii. Μικρόφωνο P a g e

9 5 Σύστημα για εξαγωγή σεναρίων χρήστη με χρήση αισθητήρων State of the Art Παρουσίαση του Μοντέλου Μοντέλο Αναγνώρισης Φυσικής Δραστηριότητας Χρήστη Μοντέλο Αναγνώρισης Περιβάλλοντος Χρήστη Μοντέλο Αναγνώρισης Δραστηριότητας Χρήστη Αξιολόγηση Μοντέλο Κίνησης Μοντέλο Περιβάλλοντος Μοντέλο Δραστηριότητας Συμπεράσματα Βιβλιογραφία P a g e

10 10 P a g e

11 Κεφάλαιο 1 ο 1. Εισαγωγή Σε μία εποχή που η τεχνολογική πρόοδος δίνει την δυνατότητα στον άνθρωπο να ελέγχει διαρκώς όλο και περισσότερο το περιβάλλον που ζει, υπάρχει η ανάγκη για εφαρμογή της τεχνολογίας σε όλο και περισσότερες πτυχές της ζωής του. Ο σύγχρονος άνθρωπος αναζητάει τρόπους για περιορισμό της σπατάλης που κάνει καθημερινά σε ενέργεια και κατ επέκταση σε χρήματα. Η μεγαλύτερη κατανάλωση ενέργειας ενός ανθρώπου γίνεται είτε κατά την διάρκεια της εργασίας είτε στο σπίτι για τις απαραίτητες λειτουργίες. Ουσιαστικά δηλαδή με την σωστή διαχείριση της ενέργεια που καταναλώνει ένα κτίριο μπορούμε να έχουμε μεγάλη εξοικονόμηση. Σε αυτόν τον τομέα έχουν γίνει σημαντικά βήματα με αποτέλεσμα οι επιστήμονες και οι μηχανικοί πολλών κλάδων να προτείνουν διαρκώς νέες τεχνικές για τον σχεδιασμό του «Πράσινου κτιρίου», που θα είναι φιλικό στο περιβάλλον και θα έχει μειωμένη κατανάλωση ενέργειας σε όλα τα επίπεδα. Από την άλλη πλευρά όμως αυτό που αναζητά ο άνθρωπος από ένα κτίριο είναι να υπάρχει η σωστή διαχείριση των ηλεκτρομηχανολογικών συστημάτων του (φωτισμός, σκίαση, κλιματισμός, εξαερισμός, συναγερμός, κλπ) με μία «έξυπνη» προσέγγιση που να αυτοματοποιεί την λειτουργιά του με τρόπο που κάνει εργονομική και άνετη την χρήση του ενώ ταυτόχρονα η διαχείρισή του να είναι απλή και προσιτή από όλους τους χρήστες. Σε αυτή την κατεύθυνση η εξέλιξη της τεχνολογίας των υπολογιστών έχει κάνει σημαντικά βήματα. Με αποτέλεσμα να έχουμε σήμερα εφαρμογές που από τα αυτοματοποιημένα κτίρια του χθες να μας οδηγούν στα «έξυπνα κτίρια» του σήμερα τα οποία μπορούν και λαμβάνουν αποφάσεις για την λειτουργία των συστημάτων τους, μέσα από μία σειρά μετρήσεων για το τι συμβαίνει στο περιβάλλον τους αλλά και από την χρήση τους. Τα Ασύρματα Δίκτυα Αισθητήρων είναι μία νέα και διαρκώς εξελισσόμενη τεχνολογία αιχμής που βρίσκει μεγάλο πεδίο εφαρμογής στα έξυπνα κτίρια, καθώς είναι εύκολα στην εφαρμογή τους, μπορούν και παίρνουν μετρήσεις για ότι είναι απαραίτητο σε τέτοια συστήματα, έχουν χαμηλή κατανάλωση ενέργειας, χαμηλό κόστος αγοράς και εγκατάστασης, είναι συμβατά με τεχνολογίες IPv6,Coap και μπορούν να συνεργαστούν και να διαχειριστούν από συστήματα υψηλότερου επιπέδου που δίνουν εύκολη και γραφική διαχείριση μέσω ηλεκτρονικού υπολογιστή ή Smartphone από οποιονδήποτε απλό χρήστη. Έτσι ο χρήστης μέσω ενός Συστήματος διαχείρισης του κτιρίου (Building Management System, BMS) μπορεί να ορίσει κάποια σενάρια λειτουργίας για τα συστήματα ανάλογα με τις περιβαλλοντικές συνθήκες που επικρατούν και σε σχέση με την παρουσία και την ταυτότητα του κάθε χρήστη και το κτίριο να λειτουργεί αυτόνομο. Όλα αυτά επίσης συμβαδίζουν με το γενικότερο όραμα του Διαδικτύου των αντικειμένων (Internet of Things IoT), στο οποίο μπορούμε πλέον αρκετά εύκολα να εντάξουμε αντικείμενα και συσκευές από την καθημερινή μας ζωή. 11 P a g e

12 Στα πλαίσια της παρούσας εργασίας γίνεται μελέτη των τεχνικών για την εφαρμογή των ασύρματων δικτύων αισθητήρων σε «πράσινα» και «έξυπνα» κτίρια καθώς και των σεναρίων που μπορούν να εφαρμοστούν για την σωστή διαχείριση των συστημάτων φωτισμού και σκίασης. Για την πειραματική μελέτη και αξιολόγηση του συστήματος αναπτύχθηκε ένα σενάριο αυτοματισμού σε ένα πειραματικό δωμάτιο το οποίο ελέγχει τα φωτιστικά και τις ηλεκτρικές κουρτίνες. Υλοποιήσαμε δηλαδή ένα σύστημα IoT Light Green - Comfort System. Πέραν όμως από τα παραδοσιακά συστήματα αισθητήρων, τα οποία έχουν και ένα μεγάλο κόστος για την ανάπτυξη μιας εφαρμογής η οποία θα καλύπτει μεγάλο ευρέως περιοχής ή ένα μεγάλο κτήριο, στην εργασία αυτή εισάγεται η έννοια του crowd sensing δηλαδή η χρήση των αισθητήρων των smart devices τα οποία έχουμε πάντα μαζί μας. Στην καθημερινότητα μας πλέον όλοι έχουμε μαζί μας τουλάχιστον ένα smart phone το οποίο περιέχει αρκετούς ενσωματωμένους αισθητήρες. Θα ήταν επομένως πολύ αποτελεσματικό να λαμβάνουμε μετρήσεις σε πραγματικό χρόνο από τους αισθητήρες των κινητών μειώνοντας και το κόστος που θα είχαμε αν στήναμε ένα δίκτυο αισθητήρων για το σκοπό αυτό αλλά κάνοντας γενικά πιο δυναμικό των τρόπο συλλογής δεδομένων τόσο για τις συνθήκες του περιβάλλοντος όσο και της δραστηριότητας του χρήστη μέσα σε αυτό. Σκεφτείτε λοιπόν αν στο σενάριο για αυτοματισμούς κτηρίου που περιγράψαμε πιο πάνω είχαμε περισσότερη γνώση για την κατάσταση του χρήστη. Πιο συγκεκριμένα, οι αυτοματισμοί αυτοί λειτουργούν με γνώμονα την παρουσία ή μη του χρήστη στο χώρο. Εάν η γνώση αυτή να ήταν ακόμη μεγαλύτερη γνωρίζοντας την ακριβή κατάσταση του χρήστη, τα σενάρια θα ήταν πολύ πιο έξυπνα. Γνωρίζοντας λοιπόν ότι ένας χρήστης όχι απλά βρίσκεται στο χώρο αλλά είναι και ξαπλωμένος, τότε θα μπορούσαμε να χαμηλώσουμε το φωτισμό και ίσως να αυξήσουμε λίγο τη θερμοκρασία του δωματίου. Αυτό έχει σαν αποτέλεσμα ένα διπλό όφελος, αυτό της άνεσης του χρήστη μέσω της αυτόματης προσαρμογής των συσκευών του δωματίου αλλά ταυτόχρονα και την εξοικονόμηση ενέργειας. Πάνω σε αυτό το όραμα, θα παρουσιαστεί και ένα δεύτερο σύστημα που υλοποιήθηκε για την αναγνώριση διαφόρων δραστηριοτήτων ενός χρήστη. Το σύστημα αυτό αναγνωρίζει τόσο την ακριβή κίνηση του χρήστη όσο και το περιβάλλον στο οποίο βρίσκεται με τη βοήθεια του ήχου. Υπάρχουν ήδη στην αγορά πολλές εφαρμογές οι οποίες κάνουν χρήση της κατάστασης ενός χρήστη, για παράδειγμα εφαρμογές πλοήγησης οι οποίες γνωρίζοντας την ακριβή τοποθεσία του χρήστη τον ενημερώνουν για πιθανά σημεία στα οποία θα συναντήσει αυξημένη κίνηση, για ελεύθερες θέσεις parking και πολλές ακόμη με εφαρμογή σε πολλούς διαφορετικούς τομείς. 12 P a g e

13 Κεφάλαιο 2 ο 2. Περιγραφή Συστήματος (WSN Lab) Περιγραφή WSN LAB 2.1 Κεντρική Ιδέα Το σύστημα το οποίο αναπτύξαμε κάνει χρήση αυτοματισμών ελέγχου με σκοπό την ένταξη των ηλεκτρολογικών συσκευών στο διαδίκτυο των αντικειμένων (Internet of Things). Αυτό σημαίνει ότι καθημερινές συσκευές μετατρέπονται σε έξυπνες συσκευές με δυνατότητα ελέγχου μέσω του διαδικτύου. Συνεπώς δίνεται η δυνατότητα για συγγραφή σεναρίων χρήσης στα οποία θα συμμετέχουν αυτές οι συσκευές με στόχο την άνεση του χρήστη στον χώρο όσον αφορά την φωτεινότητα παράλληλα με την εξοικονόμηση ενέργειας που επιτυγχάνεται. Η καρδιά του αυτοματισμού ελέγχου αποτελείται, πέραν από τα ηλεκτρολογικά τμήματα, από έναν αισθητήρα γνωστό ως Control Cube (επεξεργαστής αυτοματισμού ελέγχου) ο οποίος αναλαμβάνει να αλληλεπιδράσει με την κάθε συσκευή με σκοπό την αλλαγή της κατάσταση της. Αυτοί οι αισθητήρες λόγω του έργου που επιτελούν χαρακτηρίζονται ως actuators. Οι actuators πέραν από την δυνατότητα να ελέγχουν τις συσκευές κάνουν χρήση της στοίβας του διαδικτυακού πρωτοκόλλου 6lowPAN γεγονός που τους δίνει πρόσβαση στο διαδίκτυο μέσω του πρωτοκόλλου IPv6. Συνεπώς με αυτόν τον τρόπο μπορούμε τελικά να αλληλεπιδράσουμε με τις συσκευές πάνω από το διαδίκτυο. Εκτός από τους αισθητήρες που δρουν ως actuators και από αυτούς που αποτελούν το sensor network (επίπεδα εσωτερικής και εξωτερικής φωτεινότητας) υπάρχουν και κάποιοι κινητοί αισθητήρες(mobile sensors) τους οποίους έχουν στην κατοχή τους οι χρήστες του δωματίου για παροχή υπηρεσιών σε σχέση με την παρουσία τους στο χώρο. Για την καθολική πρόσβαση στο δίκτυο αισθητήρων μέσω του διαδικτύου και του διαδεδομένου πρωτοκόλλου HTTP δημιουργήθηκε ένα webservice που παρέχει συναρτήσεις (API) για την ανάκτηση πληροφοριών από την κάθε έξυπνη συσκευή καθώς και τον έλεγχο αυτής. Τέλος η πληροφορία που παρέχεται από τους αισθητήρες επεξεργάζεται και οπτικοποιείται από το Web Interface του συστήματος μας, μέσα από το οποίο γίνεται ο έλεγχος των συσκευών, η συγγραφή των σεναρίων χρήσης καθώς και η επίβλεψη του δωματίου. Το Web Interface κάνει χρήση των συναρτήσεων που έχουν υλοποιηθεί από το webservice. Παράλληλα με το Web Interface η διαχείριση του δωματίου μπορεί να γίνει και από φορητές συσκευές που έχουν δυνατότητα για HTTP επικοινωνία όπως smartphones(android, ios, Windows Phone) και φορητές συσκευές. 13 P a g e

14 Συνοπτικά η αρχιτεκτονική του συστήματος μας είναι η εξής. Constrained Network, όπου είναι το δίκτυο των ενσωματωμένων συστημάτων που είναι εφοδιασμένα με κάποιους αισθητήρες και επικοινωνούν μεταξύ τους με το πρότυπο ΙΕΕΕ Gateway είναι η μονάδα που επιτρέπει στις άλλες μονάδες να αποκτήσουν πρόσβαση στο ασύρματο δίκτυο αισθητήρων. Πρωτόκολλα επικοινωνίας (networking) Resource Directory, είναι η μονάδα που διατηρεί σε μια βάση δεδομένων τις απαραίτητες πληροφορίες ώστε οι υπόλοιπες συσκευές του δικτύου να έχουν γνώση του Constrained Network και των κόμβων που διαθέτει. Web service, είναι η μονάδα που σε συνδυασμό με το Resource Directory και το Gateway επιτρέπουν στο δίκτυο αισθητήρων (Constrained Network) να βγουν στο διαδίκτυο. Είναι η μονάδα που κάνει την μετατροπή από HTTP σε CoAP. Raspberry Pi, είναι ουσιαστικά το Black Box το οποίο επιτρέπει την επικοινωνία των διαφορετικών συσκευών βρίσκοντας ένα κοινό πρωτόκολλο επικοινωνίας. Android Application, Είναι η τελική εφαρμογή με την οποία ο χρήστης έχει πλήρη έλεγχο των συσκευών του WSN Lab. Ουσιαστικά το σύστημα συνδυάζει ανομοιογενείς συσκευές και τεχνολογίες όπως: smartphones, IPv6 enabled sensor motes (sensors or actuators), NFC, Raspberry Pi, Wireless Sensor Network, WiFi. Με σκοπό την εξοικονόμηση ενέργειας αλλά και την διευκόλυνση του χρήστη. 2.2 Συστατικά Μέρη του WSN Lab Τα ηλεκτρομηχανολογικά συστήματα Αναπτύχθηκαν αυτοματισμοί για τον έλεγχο των συστημάτων φωτισμού, σκίασης, κλιματισμού και εξαερισμού του δωματίου. Τα συστήματα αυτά, είναι αυτά που επηρεάζουν στον μεγαλύτερο βαθμό τις συνθήκες οπτικής άνεσης του χρήστη. Οι αυτοματισμοί αυτοί επιτευχθήκαν με τη χρήση του Control Cube το οποίο θα παρουσιάσουμε αναλυτικά σε επόμενο κεφάλαιο. 14 P a g e

15 Sensor Network Η πλατφόρμα TelosB Στην παρούσα εργασία για την υλοποίηση του Ασύρματου δικτύου αισθητήρων χρησιμοποιήθηκε η πλατφόρμα TelosB [1] της εταιρείας Crossbow, λόγω των Εικόνα 1: TelosB πλεονεκτημάτων που έχει σε σχέση με τα άλλα εμπορικά προϊόντα της αγοράς, αλλά και λόγω της ευρείας χρήσης της από την ερευνητική κοινότητα σε πολλές και διαφορετικές εφαρμογές που την καθιστούν ιδανική για ερευνητικό εργαλείο. Το TelosB μπορεί να τροφοδοτηθεί από δύο μπαταρίες τύπου ΑΑ. Η πακέτα όπως δίνεται από τον κατασκευαστή έχει ενσωματωμένη θήκη για μπαταρίες, που είναι συνδεδεμένη στην τροφοδοσία της πλατφόρμας. Η τάση που απαιτείται να δίνουν οι μπαταρίες για την λειτουργία του TelosB πρέπει να βρίσκεται στο εύρος 2,1 3,6 VDC ενώ κατά τον προγραμματισμό πρέπει να είναι πάνω από 2.7V. Αν η θύρα USB που διαθέτει η πλακέτα είναι συνδεδεμένη σε υπολογιστή για προγραμματισμό ή μεταφορά δεδομένων τότε το TelosB τροφοδοτείται από τον υπολογιστή και η τάση είναι 3V. Αν το mote είναι μόνιμα συνδεδεμένο σε μία θύρα USB τότε η χρήση μπαταριών δεν είναι απαραίτητη. Μπορούμε αν θέλουμε αντί να συνδεθεί σε υπολογιστή το mote να τροφοδοτηθεί μέσω ενός μετασχηματιστή κατάλληλο για USB τροφοδοσία. Ο επεξεργαστής που χρησιμοποιείται στο TelosB είναι ο MSP430 της εταιρείας Texas Instruments και έχει ενσωματωμένη μνήμη 10kB RAM, 4kB flash και 128Β για αποθήκευση πληροφορίας. Αυτός ο 16-bit RISC επεξεργαστής έχει εξαιρετικά χαμηλή κατανάλωση ενέργειας λόγω της active/sleep λειτουργίας του και μπορεί να λειτουργεί για χρόνια με δύο μπαταρίες ΑΑ. Επιπλέον ο επεξεργαστής έχει 8 εξωτερικές ADC ports για γενική χρήση και 8 εσωτερικές ADC ports που μπορεί να διαβάζει την εσωτερική θερμοκρασία ή να παρακολουθεί την τάση της μπαταρίας. Παράλληλα στον επεξεργαστή μπορούν να συνδεθούν διάφορες περιφερικές συσκευές μέσω SPI, UART, digital I/O ports και Timers. Τέλος διαθέτει και ένα 2-potr 12bit DAC (Digital to Analog Converter) module που του δίνει την δυνατότητα να διαβάζει αναλογικές τιμές μεταξύ 0-3VDC με μεγάλη ακρίβεια. Το TelosB διαθέτει δύο θύρες επέκτασης στις οποίες μπορούν σα συνδεθούν αναλογικοί αισθητήρες, LCD οθόνες, άλλα ψηφιακά περιφερικά ή οποιεσδήποτε άλλες συμβατές συσκευές. Η 10-pin θύρα U2 και η 6-pin θύρα U28 υποστηρίζουν ψηφιακές εισόδους και εξόδους, αναλογικές ADC εισόδους, αναλογικές 12-bit DAC εξόδους, συνδέσεις UART και I 2 C. Ακόμα μέσω της θύρας U28 μπορούν να ελεγχθούν και το User Button αλλά και το Reset. Παρακάτω βλέπουμε αναλυτικά την λειτουργία κάθε ακίδας των θυρών U2 και U P a g e

16 Εικόνα 2: Θήρες επέκτασης TelosB Sensor Mote Το TelosB διαθέτει μία θύρα USB, και τον αντίστοιχο ελεγκτή, μέσω της οποίας συνδέεται στον υπολογιστή. Για να επικοινωνήσει όμως με τον υπολογιστή χρειάζεται αφού στον υπολογιστή είναι εγκατεστημένο λειτουργικό σύστημα Linux να εγκατασταθούν και οι απαραίτητες βιβλιοθήκες του TinyOS που περιλαμβάνουν και τους drivers για τα υποσυστήματα του TelosB. Στη συνέχεια για τον προγραμματισμό του mote αφού γραφτεί ένα πρόγραμμα σε nesc γλώσσα προγραμματισμού μεταγλωττίζεται μαζί με το λειτουργικό TinyOS σε ένα ενιαίο binary κώδικα και εγγράφεται στην μνήμη του TelosB. Το λειτουργικό σύστημα TinyOS Εισαγωγή στο TinyOS Τα συμβατικά λειτουργικά αποτελούν λογισμικό συστήματος που περιλαμβάνει προγράμματα που διαχειρίζονται πόρους, ελέγχουν τις περιφερειακές συσκευές και παρέχουν αφηρημένη απεικόνιση του υλικού. Στόχος είναι η διαχείριση διεργασιών, μνήμης, χρόνου του επεξεργαστή, του συστήματος αρχείων και των συσκευών. Αυτό επιτυγχάνεται συνήθως με τον διαχωρισμό σε πολλά επίπεδα (Πυρήνας, βιβλιοθήκες συστήματος κτλ.). Τα WSN λόγω της ιδιομορφίας των εφαρμογών που εκτελούν και των περιορισμένων πόρων συστήματος, απαιτούν μια διαφορετική προσέγγιση στη σχεδίαση του λειτουργικού τους συστήματος. Καταρχάς, σε ένα συμβατικό Λ.Σ. η εκτέλεση πολλαπλών διεργασιών είναι δυνατή με την κατανομής της μνήμης (στοίβα) σε καθεμία ξεχωριστά. Το περιορισμένο μέγεθος μνήμης σε έναν ασύρματο κόμβο δεν επαρκεί για μια τέτοια 16 P a g e

17 διαδικασία. Επίσης η εναλλαγή στην εκτέλεση των διεργασιών6 δεν ευνοεί την εκτέλεση κάποιων real-time εφαρμογών που εμφανίζονται σε ένα WSN, με αποτέλεσμα να χάνονται κρίσιμα δεδομένα. Τέλος, ένα συμβατικό Λ.Σ. εξορισμού αξιοποιεί το σύνολο δυνατοτήτων του υλικού για την καλύτερη εκτέλεση των προγραμμάτων, προσέγγιση απολύτως λογική για έναν υπολογιστή με τροφοδοσία από το δίκτυο, αλλά υπερβολικά ενεργοβόρα για ένα σύστημα που τροφοδοτείται από δυο μικρές μπαταρίες. Έτσι συνοψίζοντας τις προϋποθέσεις που πρέπει να πληροί ένα Λ.Σ. για WSN είναι: Μικρή έκταση κώδικα. Δεδομένης της περιορισμένης μνήμης ενός κόμβου, ο πυρήνας του λειτουργικού πρέπει να υλοποιείται από τον ελάχιστο δυνατό κώδικα. Παροχή μηχανισμού διαχείρισης πόρων συστήματος και ενεργείας. Ο χρόνος επεξεργαστή και η μνήμη πρέπει να κατανέμονται κατάλληλα, έτσι ώστε να διασφαλίζεται η ομαλή λειτουργία και η τήρηση αυστηρής προτεραιότητας στην εκτέλεση των διεργασιών. Η διαχείριση ενέργειας πρέπει να αποσκοπεί στην μεγιστοποίηση της ζωής ενός κόμβου, κάνοντας σωστή χρήση των ενεργειακών καταστάσεων του επεξεργαστή (π.χ. τοποθέτηση σε idle ή sleep κατάσταση όταν αυτό είναι δυνατό). Παροχή διεπαφής προγράμματος-εφαρμογής (Application Program Interface). Δυνατότητα επαναπρογραμματισμού. Σε ένα WSN είναι συχνό φαινόμενο ο επαναπροσδιορισμός της λειτουργίας ενός κόμβου, είτε όσον αφορά τη συλλογή δεδομένων και τη συμπεριφορά του στο δίκτυο, είτε όσον αφορά την προσαρμογή της κατανάλωσης ενέργειας. Η σχεδίαση να είναι modular για να μπορούμε να φτιάξουμε γρήγορα και εύκολα εφαρμογές. Υπάρχουν πολλά Λειτουργικά Συστήματα για WSN με ποιο γνωστά τα TinyOS, MANTIS, Contiki, Eyes, BTnut κ.α. Το ποιό διαδεδομένο όμως από όλα, και το οποίο χρησιμοποιήσαμε στην εφαρμογή μας, είναι το TinyOS To TinyOS είναι από τα πρώτα λειτουργικά συστήματα που σχεδιάστηκαν ειδικά για WSN και είναι open source. Η ανάπτυξη του ξεκίνησε από το πανεπιστήμιο Berkeley της Καλιφόρνια και η πρώτη έκδοση κυκλοφόρησε το Υποστηρίζει μέχρι στιγμής διαφόρων ειδών πλατφόρμες hardware, εμπορικές και μη, όπως η MicaZ της εταιρίας Crossbow, η imote της Intel και η Eyes, αποτέλεσμα κοινοπραξίας Ευρωπαϊκών πανεπιστημίων και εταιριών. Η ανάπτυξη των εφαρμογών TinyOS γίνεται σε μια νέα γλώσσα διάλεκτο της C, προσαρμοσμένη στις απαιτήσεις και τους περιορισμούς των WSN, την NesC (Network embedded systems C). Ο compiler της nesc καθώς και τα απαραίτητα εργαλεία Atmel AVR binutils είναι γραμμένα σε C. Το λειτουργικό περιέχει επίσης ενσωματωμένες κάποιες βοηθητικές εφαρμογές σε Java. Η εγκατάσταση του γίνεται σε ένα host PC, (με λειτουργικό Linux ή Windows με την προσθήκη του Unix προσομοιωτή, Cygwin), μέσω της σειριακής ή της USB θύρας του οποίου, γίνεται ο προγραμματισμός των κόμβων και η συλλογή των δεδομένων. Τελευταία έκδοση είναι η 2.12, που κυκλοφόρησε τον Αύγουστο του Στην ιστοσελίδα του project αναφέρεται ότι πολλές ερευνητικές ομάδες χρησιμοποιούν πλατφόρμες που τρέχουν TinyOS συνεισφέροντας στην ανάπτυξη κώδικα, ενώ άλλες κοινότητες μέσω προσομοιώσεων ελέγχουν νέα πρωτόκολλα και αλγόριθμους με αποτέλεσμα ο μέσος αριθμός λήψης των εργαλείων από την σελίδα να ξεπερνά τις τον χρόνο. 17 P a g e

18 Networking RPL Protocol Ένα έξυπνο σύστημα διαχείρισης κτιρίου συνήθως αποτελούνται από πολλούς αισθητήρες, που εκτείνονται σε όλη την περιοχή του κτιρίου, και διαδίδουν δεδομένα σε συνέργεια μεταξύ τους σε ένα ενιαίο κέντρο ελέγχου. Λόγω των περιορισμένων και adhoc φυσικών χαρακτηριστικών οι αλγόριθμοι δρομολόγησης είναι απαραίτητοι προκειμένου να επιτευχθεί αξιόπιστη και αποδοτική λειτουργία. Η IETF έχει αναπτύξει ένα ορισμένο πρωτόκολλο δρομολόγησης, το IPv6 πρωτόκολλο δρομολόγησης για LLNs (RPL), προκειμένου να επιτευχθεί αξιόπιστη και αποδοτική δρομολόγηση σε τέτοια δίκτυα. Το RPL είναι ένα πρωτόκολλο δρομολόγησης που λειτουργεί πάνω από το ΙΕΕΕ πρωτόκολλο MAC και παρέχει ένα μηχανισμό για point-to-point κίνησης στο εσωτερικό του δικτύου. Η διαδικασία της δρομολόγησης λειτουργεί με την οργάνωση του LLN σε κατευθυνόμενα και άκυκλα γραφήματα, έτσι σχηματίζεται μια δεντρική δομή. Το πρωτόκολλο χρησιμοποιεί μια αντικειμενική συνάρτηση που αναθέτει σε κάθε κόμβο μια τιμή η οποία ενεργεί ως βαθμός εντός της δομής του δέντρου και μέσω της οποίας καταφέρνει να βρει βέλτιστες διαδρομές για τον προορισμό. CoAP Το πρωτόκολλο CoAP έχει δημιουργηθεί βασισμένο στην ιδέα ότι θα τρέχει κυρίως σε ενσωματωμένα συστήματα,τα οποία δεν θα έχουν δυνατές προδιαγραφές όσον αφορά το υλικό (hardware). Επιπλέον είναι σχεδιασμένο έτσι ώστε να μπορεί να χρησιμοποιηθεί σε συσκευές που ανήκουν στο «Internet of Things» και έχουν την δυνατότητα για Machine to Machine επικοινωνία. Σκοπός του CoAP είναι να εισάγει ένα νέο πρωτόκολλο σε επίπεδο εφαρμογής, το οποίο θα μοιάζει σε χαρακτηριστικά με το γνωστό μας HTTP αλλά δεν θα περιέχει κάποιες από τις λειτουργίες του, καθώς είναι περιττές (για το δίκτυο αισθητήρων) και προσδίδουν μεγάλη πολυπλοκότητα και πλεονασμό στις λειτουργίες που θέλουμε να επιτύχουμε. Για να επιτευχθεί η μείωση της πολυπλοκότητας το CoAP κάνει χρήση του UDP ( User Datagram Protocol ) πρωτοκόλλου αντί για το TCP το οποίο και χρησιμοποιεί το HTTP. Τα στοιχεία που οδηγούν στην μείωση της πολυπλοκότητας και εν τέλη στο αποτέλεσμα που θέλουμε να πετύχουμε είναι: 18 P a g e Το UDP πρωτόκολλο δεν αναμένει πακέτα επιβεβαίωσης (ACK) για την σωστή παραλαβή του πακέτου από τον παραλήπτη άρα έχουμε μικρότερη ανταλλαγή πακέτων. Δεν δημιουργεί κάποιο είδος σύνδεσης ανάμεσα στον αποστολέα και τον παραλήπτη, συνεπώς δεν διατηρεί κάποια κατάσταση για την σύνδεση. Προσθέτει λιγότερη επιπλέον πληροφορία στα προς αποστολή πακέτα. Τα πακέτα λαμβάνονται από τον παραλήπτη χωρίς εκείνος να γνωρίζει την κανονική τους σειρά, άρα δεν απαιτείται ειδική σήμανση από τον αποστολέα η οποία θα επιβάρυνε το μέγεθος του πακέτου.

19 Υποστήριξη για broadcast και multicast επικοινωνία. Μειώνει την συμφόρηση στο δίκτυο και επιτρέπει στην εφαρμογή να εξασφαλίσει με τον δικό της τρόπο την αξιοπιστία των δεδομένων. Εικόνα 3: Στοίβα πρωτοκόλλων στους αισθητήρες Όπως αναφέραμε το CoAP έχει πολλές ομοιότητες με το HTTP και αυτές υφίστανται στον τρόπο με τον οποίο αλληλεπιδρούμε με τους πόρους που εισάγει το κάθε πρωτόκολλο κατά την λειτουργία του στην εκάστοτε συσκευή / εξυπηρετητή. Οι μέθοδοι για την πρόσβαση και την παραμετροποίηση των πόρων είναι οι εξής [5,6]: GET αίτηση για την ανάκτηση ενός συγκεκριμένου πόρου. Η μέθοδος χρησιμοποιείται για ανάγνωση δεδομένων χωρίς να έχει κάποια επίδραση πάνω τους. PUT αίτηση για δημιουργία ενός πόρου. POST αίτηση για επεξεργασία ενός πόρου (ανανέωση). DELETE διαγραφή του πόρου που βρίσκεται στον εξυπηρετητή. Παρατηρούμε ότι αυτές οι μέθοδοι που υλοποιούνται από το COAP βασίζονται στην REST αρχιτεκτονική. Επίσης η διάκριση ανάμεσα στο PUT και το POST είναι λεπτή καθώς και τα δύο μπορούν να χρησιμοποιηθούν ώστε να υλοποιήσουν την λειτουργία του άλλου. 19 P a g e

20 Εικόνα 4: Παράδειγμα REST αρχιτεκτονικής με CoAP και HTTP Το CoAP [7] επελέγη ως βασικό πρωτόκολλο με το οποίο θα επικοινωνούν τα έξυπνα αντικείμενα (που έχουν μετατραπεί απο το Κύβο Ελέγχου) στον χώρο (Έξυπνο Δωμάτιο) λόγω των μειωμένων απαιτήσεων του σε ισχύ καθώς και της δυνατότητας που παρέχει για εύκολη μεταπήδηση από το συγκεκριμένο πρωτόκολλο στο HTTP. Το HTTP απαιτείται από τις προδιαγραφές του συστήματος μας ώστε να υπάρχει εύκολη πρόσβαση στο σύστημα από οπουδήποτε. 6lowPAN Στις προηγούμενες παραγράφους είδαμε κάποια πρότυπα τα οποία επιτρέπουν την επικοινωνία μεταξύ συσκευών χαμηλής κατανάλωσης (αισθητήρες). Αυτό πραγματοποιούνταν με την χρήση του ΙΕΕΕ Όμως το ζητούμενο είναι αυτές οι συσκευές να μπορούν να επικοινωνήσουν και με άλλες μέσω του Internet. Αυτό μπορεί να συμβεί στην περίπτωση που οι συσκευές αυτές χρησιμοποιούν το IP πρωτόκολλο, γεγονός που θα επιτρέψει σε αυτές να αποκτήσουν μια IP διεύθυνση. Με την δημιουργία όλο και περισσότερων ασύρματων δικτύων αισθητήρων (WSN) και λόγω της μεγάλης χρήσης των IP δικτύων έπρεπε να βρεθεί μια λύση ώστε να συνδυαστούν αυτά τα δύο ετερογενή δίκτυα. Αυτό πραγματοποιείται με το 6loWPAN και η ιδέα είναι να μπορούν όλες οι συσκευές ανεξαρτήτως επεξεργαστικών δυνατοτήτων να μπορούν να συμμετέχουν στην ιδέα του Internet of Things. Χρησιμοποιείται κατά κόρον στα δίκτυα αισθητήρων που απαιτούν πρόσβαση στο Internet. Το 6loWPAN παρουσιάζει τις διαδικασίες και τις προδιαγραφές που απαιτούνται ώστε να προσαρμοστεί η TCP/IP (ή UDP) επικοινωνία πάνω στο ΙΕΕΕ πρότυπο. 20 P a g e

21 Εικόνα 5: 6LoWPAN παράδειγμα στοίβας Το 6loWPAN (Low power Wireless Personal Area Networks) έχει δημιουργηθεί από την ομάδα IETF και χρησιμοποιεί το IP πρωτόκολλο και συγκεκριμένα την τελευταία έκδοση του (IPv6) για να πλαισιώσει (framing) τα πακέτα δεδομένων με τις κατάλληλες πληροφορίες που χρειάζονται. Αποτελεί ένα πλαίσιο προδιαγραφών που εφαρμόζονται στα διάφορα επίπεδα του OSI μοντέλου. Η χρήση του IPv6 πάνω σε συσκευές που λειτουργούν με το πρότυπο ΙΕΕΕ προσφέρει: IPv6 διεύθυνση σε ενσωματωμένα συστήματα. Επικοινωνία με άλλες συσκευές. Επικοινωνία με συσκευές που ανήκουν σε οποιοδήποτε δίκτυο που κάνει χρήση του IP (με χρήση των μεθόδων που είδαμε στην προηγούμενη παράγραφο μπορεί να επικοινωνήσει είτε με δίκτυα IPv4 είτε IPv6). Ο βασικός ρόλος του 6loWPAN είναι η προσαρμογή του TCP/IP, ώστε να είναι δυνατή η χρήση του πάνω από συσκευές που χρησιμοποιούν το IEEE Οι επικεφαλίδες που χρησιμοποιεί το TCP/IP (ή το UDP) είναι μεγάλες συγκριτικά με το μέγεθος του πακέτου που υποστηρίζει το πρότυπο IEEE , γεγονός που οδηγεί στην προσαρμογή των επικεφαλίδων (συμπίεση) από το 6loWPAN ώστε να μπορούν να μεταφερθούν τα δεδομένα αποτελεσματικά. Επιπλέον το IPv6 απαιτεί πακέτα της τάξης των 1280 bytes(mtu - maximum transmission unit) σε αντίθεση με το ΙΕΕΕ που έχει μέγιστο μέγεθος πλαισίου 128bytes. Συνεπώς πρέπει να γίνει και μια προσαρμογή στο πρωτόκολλο IPv6 (συμπίεση). Αυτά όλα πραγματοποιούνται με την αφαίρεση κάποιων δεδομένων στα πρωτόκολλα, δεδομένα τα οποία δεν είναι απαραίτητα από τα ασύρματα δίκτυα αισθητήρων. 21 P a g e

22 2.3 Αρχιτεκτονική Πιο αναλυτικά η αρχιτεκτονική του Light Green - Comfort System που αναπτύξαμε φαίνεται σχηματικά στην παρακάτω εικόνα και αποτελείται από τα ακόλουθα τμήματα που περιγράψαμε αναλυτικά παραπάνω. Υπάρχει ένας κεντρικός αισθητήρας Sink ο οποίος λειτουργεί σαν gateway όπου συλλέγει τα δεδομένα από όλους τους υπόλοιπους αισθητήρες του sensor network το οποίο χρησιμοποιούμε. Ο συγκεκριμένος αισθητήρας δίνει την δυνατότητα στο sensor network να επικοινωνήσει με το διαδίκτυο καθώς γεφυρώνει το πρωτόκολλο επικοινωνίας του δικτύου αισθητήρων με κοινά πρωτόκολλα όπως το (WiFi) και το (Ethernet) Επίσης οι αισθητήρες οι οποίοι αποτελούν το sensor network συλλέγουν περιοδικά μετρήσεις σχετικά με τη φωτεινότητα του δωματίου και τα προωθούν στον κεντρικό κόμβο Sink, ο οποίος στην συνέχεια αποθηκεύει τις απαραίτητες πληροφορίες σε μια βάση δεδομένων (Resource Directory) ώστε να χρησιμοποιηθεί στην συνέχεια από τα υπόλοιπα μέρη του συστήματος για να έχουν γνώση του δικτύου και των λειτουργιών που διαθέτει. Επιπροσθέτως, οι κινητοί αισθητήρες (mobile sensor) όπου κάθε χρήστης του πειραματικού αυτού δωματίου έχει στην κατοχή του, και μάλιστα τον έχει κοντά του ή τον φέρει πάνω του, είναι υπεύθυνοι ώστε να μπορεί το σύστημα μας να αντιληφθεί την παρουσία ή τη μετακίνηση του χρήστη μέσα στο δωμάτιο και να λειτουργήσει αναλόγως. Αυτή η πληροφορία χρησιμοποιείται στην συγγραφή των σεναρίων χρήσης που έχουν στόχο την άνεση του χρήστη ταυτόχρονα με την εξοικονόμηση ενέργειας. Επίσης, όπως είδαμε κάποιοι από τους αισθητήρες που χρησιμοποιήσαμε λειτουργούν και ως επεξεργαστές του αυτοματισμού ελέγχου της κάθε μιας συσκευής που επιλέξαμε να αυτοματοποιήσουμε (λάμπες, κουρτίνες). Έτσι όταν μιλάμε για τον αισθητήρα επεξεργαστή του αυτοματισμού ελέγχου για τους λαμπτήρες, τότε ο αισθητήρας αυτός έχει προγραμματιστεί ως actuator με δύο διαθέσιμες καταστάσεις on και off. Ενώ όταν μιλάμε για τον αισθητήρα επεξεργαστή του αυτοματισμού ελέγχου για τις κουρτίνες τότε αυτός λειτουργεί ως actuator διαφόρων καταστάσεων εφαρμοσμένος στην λειτουργία της εκάστοτε κουρτίνας. Και συγκεκριμένα επειδή στο πειραματικό δωμάτιο μου χρησιμοποιήσαμε έχουμε δυο κουρτίνες (ορίζουμε τη μια Left και την άλλη Right) όλες οι πιθανές καταστάσεις για τις οποίες έχουμε προγραμματίσει τον αισθητήρα αυτόν είναι οι ακόλουθες: STOP RIGHT UP RIGHT DOWN LEFT UP LEFT DOWN BOTH UP BOTH DOWN LEFT UP / RIGHT DOWN Οι καταστάσεις αυτές παρέχονται από το webservice και μεταφράζονται σε τιμές που αναγνωρίζονται από την αισθητήρα ελέγχου (μέσω της βάσης δεδομένων) και τελικά οδηγούν τα pins εξόδου του αυτοματισμού ελέγχου στην κατάλληλη τιμή δυναμικού (0-3 Volt) ώστε να ελέγξουν την συσκευή μέσω των ηλεκτρολογικών συστατικών του αυτοματισμού ελέγχου. 22 P a g e

23 Πέρα από τις διαφορετικές χρήσεις των αισθητήρων που χρησιμοποιούμε στο σύστημα μας υπάρχει και μια ηλεκτρολογική εγκατάσταση για κάθε μια από τις συσκευές που χρησιμοποιήσαμε, δηλαδή για τους λαμπτήρες και τις κουρτίνες. Έτσι από το συνδυασμό της λειτουργίας της ηλεκτρικής εγκατάστασης αλλά και του αισθητήρα επεξεργαστή ολοκληρώνεται η δημιουργία του αυτοματισμού ελέγχου για την κάθε συσκευή. Η καθημερινή συσκευή αποτελεί τμήμα πλέον τμήμα του οράματος των αντικειμένων του Ίντερνετ (IoT) μέσω του αυτοματισμού αυτού! Τέλος, το sensor network το οποίο αναπτύξαμε επικοινωνεί και προωθεί τα δεδομένα του μέσω του sink στο server. Από όπου και επεξεργάζονται ώστε να γίνουν οι απαραίτητες ενέργειες αν αυτό χρειάζεται. Ο server αποθηκεύει τα δεδομένα αυτά σε μια βάση δεδομένων και τα επεξεργάζεται μέσω του web interface το οποίο αναπτύξαμε και σύμφωνα με τα σενάρια λειτουργίας του δωματίου που έχουν οριστεί για τη φωτεινότητα του χώρου από τους χρήστες. Αυτή είναι η κεντρική ιδέα για τη λειτουργία του συστήματος μας αλλά και ο τρόπος με τον οποίο συνεργάζονται τα διαφορετικά components τα οποία αναπτύξαμε [9]. Ηλεκτρολογική Εγκατάσταση Αυτοματισμός Ελέγχου Sensor C Sensor Network C C Gateway Database Resource Directory Database Internet Web Server Εικόνα 6: Αρχιτεκτονική του WSN Lab για Light Green - Comfort System 23 P a g e

24 Κεφάλαιο 3 ο 3. Android Application για χειρισμό συσκευών WSN Lab 3.1 Κεντρική Ιδέα Σε αυτό το κεφάλαιο θα παρουσιάσουμε μια ενεργοποιημένη IPv6 test-bed εγκατάσταση για έξυπνα κτήρια έχουμε αναπτύξει, συνδυάζοντας αισθητήρες και smart devices. Στόχος μας ήταν το Internet of Thinks μέσω της χρήσης ποικίλων ετερογενών συσκευών όπως όπως smartphones, sensor motes, την τεχνολογία NFC και παραδοσιακές ηλεκτρικές συσκευές, το καθένα από τα οποία εξυπηρετεί ένα συγκεκριμένο ρόλο στο testbed. Αυτές οι βελτιώσεις μας επιτρέπουν να εμπλουτίσουμε τις δυνατότητες του test-bed σε όρους M2M επικοινωνίας, τη φορητότητα και την αποκέντρωση της ενεργοποίησης της διαδικασίας γενικότερα. Τέλος, παρέχουμε ένα απλό σενάριο έξυπνου δωματίου συνδυάζοντας την εξοικονόμηση ενέργειας με την άνεση του χρήστη, επομένως το σενάριο αυτό, για παράδειγμα, ρυθμίζει αυτόματα το επίπεδο φωτισμού του δωματίου με βάσει τους όρους του περιβάλλοντος και τις προτιμήσεις των χρηστών με σκοπό να επιδείξει τις δυνατότητες του συστήματός μας. Το test-bed αυτό ουσιαστικά μετατρέπει ένα απλό κτήριο σε έξυπνο κτήριο. Παρέχει τη δυνατότητα ελέγχου και παρακολούθησης όλων των καθημερινών συσκευών (φώτα, κλιματισμός, κουρτίνες και εξαερισμός) με τη χρήση WiFi μέσω συσκευών όπως smartphones, tablets, laptops. Η επικοινωνία μεταξύ των επιμέρους τμημάτων του συστήματος μας είναι υβριδική και μπορεί να επιτευχθεί είτε ad-hoc είτε μέσω cloud. Η λύση αυτή που δίνουμε συνδυάζει διαφορετικές μεταξύ τους συσκευές και τεχνολογίες. Όπου κάθε τεχνολογία προσφέρει τα δικά της πλεονεκτήματα. Πιο συγκεκριμένα τα συστατικά μέρη του test-bed αυτού είναι: Smartphones τα οποία χρησιμοποιούνται είτε ως coordinators είτε ως αισθητήρες κάνοντας χρήση των αισθητήρων οι οποίοι είναι build-in στις συσκευές αυτές. IPv6 αισθητήρες, οι οποίοι χρησιμοποιούνται είτε ως αισθητήρες είτε ως actuators. NFC tags για εύκολο set up της android εφαρμογής από οποιονδήποτε χρήστη. Ένα Raspberry Pi το οποίο ουσιαστικά αποτελεί το Black Box και είναι υπεύθυνο για την επικοινωνία μεταξύ των διαφορετικών συσκευών και των διαφορετικών πρωτοκόλλων επικοινωνίας τα οποία και χρησιμοποιούν. Τέλος, από πλευράς διαφορετικών τεχνολογιών για την επίτευξη της επικοινωνίας χρησιμοποιούμε το πρωτόκολλο αλλά και αυτό του WiFi. Στόχος της λύσης αυτής αποτελεί η εξοικονόμηση ενέργειας αλλά ταυτόχρονα και η άνεση για κάθε χρήστη, στα πλαίσια ενός έξυπνου κτηρίου. Ο στόχος αυτός επιτυγχάνεται με την εύκολη χρήση όλων των επιμέρους συσκευών μέσω ενός αρκετά user friendly περιβάλλοντος (εφαρμογή android). Ο δεύτερος συντελεστής που οδηγεί στην επιτυχία της 24 P a g e

25 λύσης αυτής είναι έξυπνα σενάρια τα οποία συνδυάζουν την άνεση του χρήστη προτείνοντας λύσεις οι οποίες ταυτόχρονα επιτυγχάνουν και εξοικονόμηση ενέργειας [3]. 3.2 Συστατικά Μέρη i. Wireless Sensor Network (WSN) Το δίκτυο ασύρματων αισθητήρων το οποίο χρησιμοποιήθηκε αποτελείται από αισθητήρες Telosb, που περιγράψαμε αναλυτικά στο προηγούμενο κεφάλαιο. Ουσιαστικά οι αισθητήρες αυτοί έχουν διττό ρόλο, αφενός χρησιμοποιούνται ως αισθητήρες για να καταγράψουν τις περιβαλλοντολογικές συνθήκες ενός κτηρίου, με βάση τις οποίες θα ενεργήσουμε στα σενάρια μας, και αφετέρου ως ενεργοποιητές (actuators). ii. Black-Box Το «μαύρο κουτί» της υλοποίησης μας είναι ουσιαστικά το Raspberry Pi το οποίο είναι υπεύθυνο για την επικοινωνία μεταξύ των διαφορετικών συσκευών και των διαφορετικών πρωτοκόλλων επικοινωνίας αυτών. Ουσιαστικά το Raspberry Pi αποτελεί τη γέφυρα επικοινωνίας μεταξύ του WSN ( πρωτόκολλο) και των WiFi συσκευών (smart devices.) iii. Android Application Η εφαρμογή android η οποία κατασκευάσαμε είναι ουσιαστικά αυτό που ο τελικός χρήστης βλέπει και χρησιμοποιεί με σκοπό την παρακολούθηση της κατάστασης των επιμέρους συσκευών αλλά και το χειρισμό αυτών. Η εφαρμογή αποθηκεύει τις προτιμήσεις του χρήστη αλλά είναι και ο συντονιστής των σεναρίων με σκοπό το συνδυασμό των προτιμήσεων αυτών αλλά και τις επιλογές που μας οδηγούν στην εξοικονόμηση ενέργειας. Πιο κάτω, στο κεφάλαιο 3.4 της αρχιτεκτονικής του συστήματος μας θα αναφερθούμε αναλυτικά σε κάθε ένα από τα επιμέρους συστατικά μέρη του συστήματος μας. 25 P a g e

26 3.3 Χαρακτηριστικά Συστήματος Το κλειδί αλλά και τα χαρακτηριστικά της IoT λύσης που παρέχουμε είναι τα ακόλουθα. Πρωτίστως το σύστημα μας είναι φορητό, από την άποψη ότι μόνο που χρειάζεται ο απλός χρήστης για να κάνει χρήση του συστήματος και τον λειτουργιών που αυτό παρέχει είναι να έχει μια συσκευή android. Φυσικά, η έννοια της φορητότητας μπορεί να ενισχυθεί κάνοντας την εφαρμογή αυτή συμβατή με όλες τις διαφορετικές συσκευές όπως Windows Phone και ios. Επίσης, το σύστημα αυτό είναι φορητό διότι η εφαρμογή προσαρμόζεται καθώς ο χρήστης κινείται σε διαφορετικές τοποθεσίες εντός του κτηρίου στο οποίο έχουμε υλοποιήσει την ολοκληρωμένη λύση. Το test-bed αυτό είναι plug-and-play διότι δεν απαιτείται καμία απολύτως διαμόρφωση από το χρήστη προκειμένου να έχει πρόσβαση στην έξυπνη λειτουργικότητα της εφαρμογής. Κάνοντας απλά χρήση των NFC tags ή του QR code η εφαρμογή έχει κατέβει σε λίγα λεπτά στην συσκευή του χρήστη και είναι έτοιμη για χρήση. Ένα άλλο σημαντικό χαρακτηριστικό του συστήματος μας είναι ότι είναι πλήρως αποκεντρωμένο διότι δεν υπάρχει καμία κεντρική συσκευή ελέγχου ή κάποιο κεντρικό σύστημα. Χαρακτηριστικό πολύ σημαντικό για το IoT. Το σύστημα επίσης είναι πλήρως δυναμικό μιας που οι επιμέρους συσκευές εντοπίζονται και εμφανίζονται αυτόματα δίνοντας στο χρήστη άμεσο έλεγχο αυτών. Παρέχεται M2M επικοινωνία μεταξύ ετερογενών συσκευών, οι smart συσκευές επικοινωνούν απευθείας με τις υπόλοιπες συσκευές του συστήματος. Τέλος, το ολοκληρωμένο αυτό σύστημα το οποίο παρουσιάζουμε επεκτείνει τα παραδείγματα του IoT με την επίτευξη της συνεργασίας διαφορετικών IoT συσκευών. 3.4 Αρχιτεκτονική Η αρχιτεκτονική του συστήματος που υλοποιήσαμε φαίνεται στο ακόλουθο σχήμα. Με βάση το οποίο μπορούμε να κατανοήσουμε με πιο απτό τρόπο πως επιτυγχάνεται η επικοινωνία όλων αυτών των διαφορετικών IoT συσκευών. Συνοπτικά οι κατηγορίες του συστήματος είναι οι ακόλουθες: Ασύρματο Δίκτυο Αισθητήρων (WSN) o Χαμηλής κατανάλωσης πρωτόκολλο δικτύου o Επικοινωνία ad-hoc o Μετάδοση μηνυμάτων μέσω Multihop διαδρομής Συσκευές που υποστηρίζουν WiFi o Πληθώρα από τις συσκευές που έχει ο χρήστης στην κατοχή του o Παρέχουν επιπλέον αισθητήρες τους οποίους μπορούμε να εκμεταλλευτούμε με σκοπό την τελειοποίηση των δεδομένων που λαμβάνουμε από το στατικό δίκτυο αισθητήρων. 26 P a g e

27 Android Application o Κατέχουν αρκετά μεγάλο μερίδιο στην αγορά o 80% των smart συσκευών είναι android Εικόνα 7: Η αρχιτεκτονική του συστήματος Control Cube Η συσκευή αυτή την οποία αποκαλούμε Control Cube εγκαθίσταται σε κάθε μια από τις συσκευές του συστήματος μας και είναι αυτή που ουσιαστικά μετατρέπει τις ηλεκτρικές συσκευές σε έξυπνα IoT αντικείμενα, κάνοντας πραγματικότητα το όραμα του IoT. Ο πυρήνας του Control Cube είναι ένας αισθητήρας telosb. 27 P a g e

28 Εικόνα 8: Το Control Cube Ουσιαστικά ο πυρήνας του Control Cube, ο αισθητήρας telosb δηλαδή, λειτουργεί σαν ένα μικροσκοπικό IPv6 web server κάνοντας χρήση του 6loWPAN πρωτοκόλλου, περιεγράφηκε αναλυτικά στο προηγούμενο κεφάλαιο, το οποίο επιτρέπει την επικοινωνία με IPv6 πάνω από το πρωτόκολλο με το οποίο επικοινωνούν οι αισθητήρες που χρησιμοποιήσαμε. Το Control Cube επίσης κάνει χρήση του Coap Application Layer Protocol το οποίο είναι αρκετά παρόμοιο με αυτό του HTTP πρωτοκόλλου με τη διαφορά ότι το Coap είναι πιο ελαφρύ και ενδείκνυται για ενσωματωμένα συστήματα παρέχοντας επίσης ένα μηχανισμό αναμετάδοσης με σκοπό την επιβεβαίωση της σωστής παράδοσης των ανταλλασσόμενων μηνυμάτων. Από την σκοπιά του υλικού το Control Cube απαρτίζεται από ρελέ, διόδους και μετασχηματιστές. Οι συσκευές εμφανίζονται ως πόροι χρησιμοποιώντας αρχιτεκτονική RESTFul. Το Control Cube είναι self-aware, δηλαδή έχει πλήρης επίγνωση της συσκευής την οποία ελέγχει μέσω του.well-known/core το οποίο παρέχει ουσιαστικά όλη την πληροφορία για τη συσκευή. Ένα παράδειγμα απόκρισης είναι το ακόλουθο: 200 OK RES: bio2/dout/0,light1b; bio2/dout/1, light1b ; bio2/dout/2, light1b ; bio2/dout/3, light1b ; Ομοίως ένα παράδειγμα αίτησης αποτελεί το ακόλουθο: PUT coap://ipv4address:port/bio2/dout/0 Payload : 1 Στον πίνακα που παρουσιάζουμε πιο κάτω φαίνεται ο συνδυασμός συσκευής με τους αντίστοιχους πόρους που έχει το Control Cube για κάθε μια από τις συσκευές αυτές. 28 P a g e

29 Εικόνα 9: Control Cube Recourses Οι αισθητήρες εξωτερικού περιβάλλοντος (Ambient Sensors) παίρνουν μετρήσεις για υγρασία, θερμοκρασία και τάση Black Box To μαύρο κουτί τους συστήματος αποτελεί ουσιαστικά ένα Raspberry Pi το οποίο επικοινωνεί απευθείας με το Control Cube μέσω WiFi. Επομένως ενισχύει την επικοινωνία M2M με την εισαγωγή της δυνατότητας Peer-to-Peer. Αυτό έχει σαν αποτέλεσμα οι συσκευές android να μπορούν να επικοινωνήσουν απευθείας με το Control Cube της εκάστοτε συσκευής την οποία θέλουν να χειριστούν. Οι συσκευές android επίσης κάνουν χρήση του πρωτοκόλλου Coap. Για να υπάρχει η δυνατότητα αξιοποίησης των χαρακτηριστικών P2P γίνεται χρήση του Black Box το οποίο είναι ουσιαστικά ένα Raspberry Pi με λειτουργικό Rasbian. Το Raspberry Pi επιλέχθηκε ως Black Box διότι διαθέτει τόσο WiFi θήρα όσο και διεπαφή. Η κύρια λειτουργία του Black Box είναι να μεταφέρει τις εντολές από τη μια διεπαφή στην άλλη, απλά μεταφέροντας τα μηνύματα συμβάλλοντας έτσι στην πλήρη αποκέντρωση του συστήματος. Επίσης το Black Box μετατρέπει τα IPv4 πακέτα σε IPv6, έτσι η εντολή coap://ipv4:port για παράδειγμα γίνεται coap://[ipv6prefix::port]:5683. Τέλος, παρέχει απευθείας σύνδεση Ethernet με χρήση οποιουδήποτε εμπορικού router ή access point Android Application Στο σημείο αυτό θα δούμε την εφαρμογή android που αναπτύχθηκε, αυτό το οποίο βλέπει ο τελικός χρήστης. Η βασική λειτουργία της εφαρμογής είναι να ανακαλύπτει τις διαφορετικές συσκευές που υπάρχουν στο χώρο και να παρέχει διαφορετική απεικόνιση για κάθε διαφορετικό τύπο συσκευής. Παρέχει επίσης πληροφορίες σχετικά με το περιβάλλον, 29 P a g e

30 κάνοντας χρήση των αντίστοιχων αισθητήρων, και πιο συγκεκριμένα μας παρέχει πληροφορίες για τις τιμές της Θερμοκρασίας, υγρασίας, CO, CO2 και το επίπεδο της σκόνης. Οι χρήστες έχοντας την εφαρμογή μπορούν εύκολα να αλληλοεπιδρούν με τους αισθητήρες του περιβάλλοντος και η εφαρμογή με τη σειρά της στέλνει μηνύματα απευθείας στα Control Cubes μέσω του πρωτοκόλλου Coap. Ας δούμε τις οθόνες που βλέπει ο χρήστης μέσω της εφαρμογής για κάθε διαφορετική συσκευή. Όπως έχει αναφερθεί και πιο πάνω η εφαρμογή παρέχει υβριδική πρόσβαση μέσω του διαδικτύου κάνοντας χρήση είτε των NFC tags είτε του QR κώδικα. 30 P a g e

31 Η αρχιτεκτονική της Εφαρμογής Android απεικονίζεται στην παρακάτω εικόνα. Κάθε φορά που μια αλλαγή ανιχνεύεται στο δίκτυο ελέγχεται η πρόσβαση στο WSN. Δεν είναι κάθε δίκτυο Wi-Fi συνδεδεμένο στο WSN, ανιχνεύεται το Black Box το οποίο έχει το δικό του δίκτυο. Υπάρχει μια βάση δεδομένων, διαθέσιμη, προκειμένου να επιταχυνθεί η διαδικασία. Πραγματοποιούνται επίσης έλεγχοι για SSID του που είναι γνωστό ότι περιέχουν ένα WSN. Η χρήση του NFC προσπερνάει αυτή τη διαδικασία. Εικόνα 10: Αρχιτεκτονική Εφαρμογής Android 3.5 Αξιολόγηση Στο σημείο αυτό θα παρουσιάσουμε τα αποτελέσματα από το test-bed που παρουσιάσαμε αναλυτικά και θα σας αναλύσουμε το σενάριο που υλοποιήθηκε για αυτή την αξιολόγηση. Πρωτίστως όμως ας αξιολογήσουμε την εφαρμογή από πλευράς χρήστη. Αξίζει να σημειωθεί ότι είναι μια εφαρμογή με αρκετά εύχρηστο περιβάλλον για τον χρήστη και κυρίως με ένα πολύ εύκολο set up. Ο χρήστης δεν χρειάζεται να κάνει την παραμικρή τροποποίηση ή προετοιμασία για να αποκτήσει πρόσβαση στην εφαρμογή και κατ επέκταση στις συσκευές του smart room. Το μόνο που έχει να κάνει είναι να συνδεθεί στο WiFi του 31 P a g e

32 Black Box και να κατεβάσει την εφαρμογή είτε μέσω ενός touch μέσω των NFC tags είτε σκανάρωντας το QR code. Βέβαια ο χρόνος της εγκατάστασης της εφαρμογής διαφέρει για κάθε διαφορετική συσκευή. Στο διάγραμμα που ακολουθεί παρουσιάζεται ο χρόνος που απαιτήθηκε για την εγκατάσταση της εφαρμογής ανά διαφορετική συσκευή που χρησιμοποιήθηκε. Εικόνα 11: Set up application time for different smart phones Για την ουσιαστικότερη αξιολόγηση της εφαρμογής υλοποιήσαμε ένα σενάριο για αυτόματο φωτισμό. Το σενάριο αυτό έτρεχε σαν κάποιο service και χρησιμοποιούσε στοιχεία από ετερογενείς συσκευές. Ο χρήστης μπορεί να ενεργοποιεί ή να απενεργοποιεί το σενάριο αυτό, με σκοπό να επιλέγει εκείνος το επιθυμητό επίπεδο φωτεινότητας. Στην εικόνα που ακολουθεί βλέπουμε την επιλογή αυτή μέσω της εφαρμογής. 32 P a g e

33 Εικόνα 12: Enable or Disable Light Scenario Το σενάριο που έχουμε υλοποιήσει συνδυάζει το επίπεδο της φωτεινότητας εσωτερικά με τις εξωτερικές καιρικές συνθήκες. Λαμβάνει υπόψη το ποσοστό της συννεφιάς, διότι μπορεί να προκαλεί αντανακλάσεις και όταν ένας χρήστης δουλεύει για παράδειγμα σε υπολογιστή και βρίσκεται μπροστά από ένα παράθυρο ενοχλείται αρκετά και δυσκολεύεται η εργασία του. Η συσκευή smartphone είναι ο συντονιστής του σεναρίου ο οποίος ρυθμίζει τις κουρτίνες ανάλογα με το φως της ημέρας και ενεργοποιεί ή απενεργοποιεί τα φώτα του δωματίου. Η λεπτή ισορροπία που πρέπει να διατηρηθεί με τη χρήση του σεναρίου είναι το trade-off μεταξύ της άνεσης του χρήστη και της εξοικονόμησης της ενέργειας. Φυσικά, είναι στην επιλογή του χρήστη εκείνος να καθορίσει το ποσοστό της άνεσης του και να επιλέξει μεγαλύτερη άνεση σε βάρος της εξοικονόμησης της ενέργειας. Κατά αντιστοιχία μπορεί να επιλέξει υψηλότερο ποσοστό εξοικονόμησης ενέργειας σε βάρος της μεγαλύτερης άνεσης του. Στη γραφική παράσταση που ακολουθεί βλέπουμε τα ποσοστά φωτισμού μέσα στο δωμάτιο υπό διαφορετικές συνθήκες. Παρατηρούμε πως το αυτόματο σενάριο που έχουμε επιλέξει μας δίνει ένα ικανοποιητικό ποσοστό φωτισμού και έχοντας την καλύτερη ισορροπία μεταξύ της εξοικονόμησης ενέργειας και της άνεσης του χρήστη. Όπως φυσικά ήταν αναμενόμενο επιλέγοντας μεγαλύτερη άνεση το ποσοστό φωτισμού είναι υψηλότερο από αυτό του σεναρίου ενώ επιλέγοντας εξοικονόμηση ενέργειας τα επίπεδα φωτεινότητας είναι πιο χαμηλά. 33 P a g e

34 Εικόνα 13: Επίπεδα Φωτεινότητας με επιλέγοντας το επίπεδο άνεσης Παρατηρούνται επίσης κάποια pics στις τιμές φωτισμού γύρω στις 12 το πρωί αλλά και στις 4 το απόγευμα. Γεγονός πολύ λογικό διότι επιδρά ο ήλιο αυτές τις ώρες στο δωμάτιο όπου επιλέξαμε να εφαρμόσουμε το σενάριο και η μεταβολή της φωτεινότητας είναι πολύ μεγάλη Αντίκτυπο Σεναρίου Όπως παρατηρήσαμε και από την προηγούμενη γραφική παράσταση το αντίκτυπο που είχε το σενάριο που εφαρμόσαμε ήταν αρκετά υψηλό. Το αυτοματοποιημένο σενάριο πρόσφερε στο χρήστη ικανοποιητική άνεση στο χώρο με ταυτόχρονη μείωση της κατανάλωσης ενέργειας. Το δωμάτιο στο οποίο διεξάχθηκε το πείραμα έχει τέσσερα όμοια φώτα on/off. Ένα πολύ σύνηθες φαινόμενο για τον χρήστη είναι να ξεχάσει να σβήσει τα φώτα βγαίνοντας από το δωμάτιο, ενώ με τη χρήση του σεναρίου η διαδικασία αυτή αυτοματοποιείται και τα φώτα απενεργοποιούνται έπειτα από την έξοδο του χρήστη από το δωμάτιο. Το σενάριο αυτό επίσης σβήνει τα φώτα και στην περίπτωση που ο χρηστής βρίσκεται στο χώρο αλλά το επίπεδο φωτεινότητας λόγο καιρικών συνθηκών είναι επαρκή. Αν από την άλλη πλευρά ο φωτισμός του χώρου δεν είναι επαρκής ανεβάζει τις κουρτίνες για να εισέλθει φως από το εξωτερικό περιβάλλον. Αντίστοιχα αν δεν αρκεί το ανέβασμα των κουρτινών και το επίπεδο φωτεινότητας εξακολουθεί να παραμένει χαμηλό, τότε ανάβει τα φώτα. Με στόχο να διατηρεί σταθερή την τιμή της φωτεινότητας του δωματίου που έχουμε ορίσει στο σενάριο. 34 P a g e

35 Συγκριτικά με την χειρότερη περίπτωση, αυτή στην οποία ο χρήστης έχει επιλέξει πλήρη άνεση στο χώρο η μείωση της κατανάλωσης της ενέργειας που μας προσφέρει το αυτόματο σενάριο είναι 57%. Και σκεφτείτε ότι αυτό το ποσοστό προέκυψε μόνο από την εξοικονόμηση ενέργειας η οποία αφορά τον φωτισμό του χώρου. 35 P a g e

36 Κεφάλαιο 4 ο 4 Χρήση αισθητήρων από Smart devices και εξαγωγή Συμπερασμάτων 4.1 Εισαγωγή Όπως είδαμε στα δυο προηγούμενα κεφάλαια οι πρόσφατες τεχνολογικές καινοτομίες χαράζουν μια πορεία προς την ανάπτυξη του πεδίου του Internet of Things (IoT), όπου κάνοντας χρήση τόσο από αισθητήρες ασύρματων δικτύων όπως είδαμε στην προηγούμενη εφαρμογή που παρουσιάσαμε αλλά και από τους αισθητήρες των smart συσκευών που πλέον όλοι έχουμε συνήθως μαζί μας, μπορούμε να εντάξουμε όλες τις απλές καθημερινές μας συσκευές σε έξυπνες IoT συσκευές αλλά και να εξάγουμε χρήσιμα συμπεράσματα για την κατάσταση του χρήστη και το περιβάλλον στο οποίο βρίσκεται. Τέτοιου τύπου εφαρμογών μπορούν να έχουν μεγάλο εύρος χρήσης σε πολλούς και σημαντικούς τομείς όπως είναι η υγεία, η εξοικονόμηση ενέργειας, οι έξυπνες αγροτικές καλλιεργείς, η ευκολότερη μετακίνηση μέσα σε μια πόλη και γενικότερα σε οποιοδήποτε τομέα μπορεί να βελτιώσει άμεσα την καθημερινή μας ζωή και τις ανάγκες μας. Η αναγνώριση των φυσικών δραστηριοτήτων, για την οποία θα μιλήσουμε σε αυτό και το επόμενο κεφάλαιο, είναι το κύριο συστατικό για τη δημιουργία μιας προσωποποιημένης λύσης για κάποια υπηρεσία που ενδιαφέρει τους χρήστες. Όπως είδαμε στο προηγούμενο κεφάλαιο η μετακίνηση του χρήστη εντός του έξυπνου κτηρίου επηρέαζε το τελικό σενάριο. 4.2 Συμβολή της αναγνώρισης της κατάστασης ενός χρήστη Στην παρουσίαση του συστήματος του προηγούμενου κεφαλαίου το περιβάλλον ενός έξυπνου κτηρίου απαρτίζεται από τρία βασικά συστατικά μέρη: αισθητήρες οι οποίοι είναι υπεύθυνοι για τον έλεγχο της θερμοκρασίας, υγρασίας του φωτισμού κ.α., ηλεκτρομηχανικούς αισθητήρες οι οποίοι ελέγχουν τις περσίδες, τον φωτισμό κ.α., και τέλος ένα σύστημα το οποίο είναι υπεύθυνο για την ανάπτυξη σεναρίων με σκοπό την εξοικονόμηση ενέργειας αλλά ταυτόχρονα και την άνεση του χρήστη. Οι αισθητήρες αντιλαμβάνονται τις συνεχείς αλλαγές του περιβάλλοντος και τα δεδομένα τα οποία μας παρέχουν μπορούν να χρησιμοποιηθούν για ανίχνευση γεγονότων σε πραγματικό χρόνο. Έπειτα οι πληροφορίες που παράγονται από αυτά τα γεγονότα μεταφέρονται σε έναν κεντρικό server από όπου μπορούν να ληφθούν διαφορετικές αποφάσεις για δημιουργία νέων σεναρίων ή διαφορετικοί τρόποι χρήσης των συσκευών ανάλογα με τις ανάγκες. Ας δούμε ένα παράδειγμα πάνω σε αυτό. Έχοντας μια ηλιόλουστη μέρα μπορούν οι κουρτίνες να ανέβουν τόσο όσο να μην εμποδίζουν τον χρήστη να εργαστεί 36 P a g e

37 από υπερβολικό φωτισμό αλλά ταυτόχρονο να αύξηση και τη θερμοκρασία από το φως του ήλιου χωρίς να χρειάζεται ενεργοποίηση του συστήματος θέρμανσης. Ο πλέον σημαντικότερος λόγος της ύπαρξης αισθητήρων σε κτήρια αποτελεί η ικανότητα να γνωρίζουμε με ακρίβεια τις περιβαλλοντικές συνθήκες που επικρατούν, από τις πληροφορίες που μας παρέχουν οι συσκευές, αλλά και η δραστηριότητα των ανθρώπων σε αυτά με σκοπό να επιτυγχάνουμε ακριβή σενάρια χρήσης πετυχαίνοντας διττό στόχο αυτόν της άνεσης του χρήστη μέσα στο χώρο αλλά ταυτόχρονα και την εξοικονόμηση ενέργειας. Είναι επομένως πολύ σημαντικό να έχουμε γνώση όλων αυτών των πληροφοριών ώστε να μπορούμε να ελέγχουμε το περιβάλλον μέσα στο οποίο ζούμε. Αυτό όπως είδαμε ήδη μπορεί να επιτευχθεί είτε στήνοντας ένα ασύρματο σύστημα αισθητήρων, είτε χρησιμοποιώντας τους αισθητήρες των smart συσκευών που έχουμε μαζί μας είτε συνδυάζοντας και τις δυο αυτές πήγες για καλύτερα αποτελέσματα. 4.3 Αναγνώριση της Κατάστασης ενός Χρήστη Η αναγνώριση της κατάστασης ενός χρήστης μπορεί να επιτευχθεί με ποικίλους τρόπους και κάνοντας χρήση διαφορετικών αισθητήρων ή διαφορετικών συνδυασμό αισθητήρων. Για να στηθεί ένα ασύρματο δίκτυο αισθητήρων σε ένα ολόκληρο κτήριο είναι αρκετά κοστοβόρο διότι θα χρειαστούμε μεγάλο πλήθος από αισθητήρες αλλά και μπαταρίες για την συνεχή λειτουργία τους. Επομένως μια πολύ καλή ιδέα είναι να εκμεταλλευτούμε τους ήδη υπάρχων αισθητήρες από τις smart συσκευές που όλοι έχουμε στην κατοχή μας. Αξιώνοντας λοιπόν την πληθώρα των αισθητήρων των συσκευών αυτών επιτυγχάνουμε σημαντική μείωση του κόστους αλλά και μεγαλύτερη απεικόνιση των δεδομένων σε πραγματικό χρόνο και κάνοντας ακόμη πιο ισχυρό το όραμα του IoT. Η χρήση των build-in των αισθητήρων των συσκευών αυτών μας βοηθούν τρομερά στην αναγνώριση της κατάστασης του χρήστη μιας που συνήθως τις κουβαλάει πάνω του και με τον τρόπο αυτό μπορούμε να εξάγουμε πολλές και σημαντικές πληροφορίες. Πιο συγκεκριμένα τα επιταχυνσιόμετρα, παραδείγματος χάρη, χρησιμοποιούνται ως κύρια πηγή δεδομένων σε πολλές εργασίες σχετικές με την ανίχνευση δραστηριότητας και συμπεριλαμβάνονται σε όλα σχεδόν τα κινητά τηλέφωνα. Για περισσότερες λεπτομέρειες χρήσης των αισθητήρων του επιταχυνσιόμετρου αλλά και των δεδομένων από Bluetooth μπορεί να ανατρέξει στις παρακάτω εργασίες [4, 12, 13]. Ο σχεδιασμός μεθόδων για την αναγνώριση της κατάστασης ενός χρήστη μέσω κινητών συσκευών καθιστά δυνατή την ανάπτυξη διαφόρων εφαρμογών ανάλογα τις ανάγκες και τις διαφορετικές απαιτήσεις. Για παράδειγμα στην προηγούμενη εφαρμογή που αναπτύξαμε αν η εφαρμογή γνώριζε πέρα από την κατάσταση των συσκευών και την κατάσταση του χρήστη τότε όταν εκείνος θα ήταν ξαπλωμένος θα μπορούσε να εφαρμοστεί ένα σενάριο με βάση το οποίο θα χαμήλωναν τα φώτα και θα αυξάνονταν η θερμοκρασία του δωματίου αλλά ταυτόχρονα θα έσβηναν τα φώτα και η θερμοκρασία από τα υπόλοιπα δωμάτια του κτηρίου, με την προϋπόθεση ενός μόνο χρήστη. Μια ενδιαφέρουσα εφαρμογή για το ζήτημα αυτό αποτελεί η CenceMe [14], η οποία συνδυάζει την αναγνώριση της ανθρώπινης παρουσίας με χρήση των αισθητήρων των κινητών τηλεφώνων και με τα post των χρηστών στα μέσα κοινωνικής δικτύωσης, όπως το Facebook και το Myspace. Με παρόμοιο τρόπο μια άλλη εργασία παρουσίασε την κατανόηση της ανθρώπινης αλληλεπίδρασης και της ταξινόμησης των συναισθημάτων κάνοντας χρήση της εξαγωγής ακουστικών χαρακτηριστικών από δείγματα ομιλίας [23]. 37 P a g e

38 Κύριο ζήτημα στην ανάπτυξη τέτοιου είδους εφαρμογών αποτελεί η ισορροπία μεταξύ ακρίβειας και κόστους, αναλυτικά παρουσιάζονται τεχνικές μέθοδοι στις εργασίες [18, 19]. Παρόμοιες τεχνικές ακολουθήσαμε και στην δική μας ανάπτυξη. Τέτοιου είδους συστήματα, εμφανίζουν προκλήσεις σε ότι αφορά την ιδιωτικότητα των χρηστών και το διαμοιρασμό των δεδομένων τους [10, 11]. Στην εργασία που αναπτύξαμε και θα παρουσιάσουμε αναλυτικά στο επόμενο κεφάλαιο, μελετάμε το την αναγνώριση της κατάστασης του χρήστη με χρήση κινητών τηλεφώνων. Για να επιτύχουμε την αναγνώριση αυτή, εξάγουμε τα δεδομένα από τους αισθητήρες των κινητών και τα επεξεργαζόμαστε με διάφορες τεχνικές και μεθόδους. Έπειτα, τα χαρακτηριστικά που εξάγονται από την επεξεργασία ταξινομούνται με χρήση ειδικών αλγορίθμων ανά είδος αισθητήρα, με τη βοήθεια μηχανικής μάθησης. Έτσι, προκύπτει το τελικό μοντέλο για την ακριβή ανίχνευση τόσο της δραστηριότητας του χρήστη. 4.4 Συμβολή Εργασίας Στην εργασία αυτή, σχεδιάστηκε ένας αλγόριθμος σχετικά με την αναγνώριση της δραστηριότητας του χρήστη. Ουσιαστικά σχεδιάστηκαν τρία ξεχωριστά αλλά παρόμοια μοντέλα, ένα μοντέλο για την εξαγωγή της κίνησης του χρήστη με χρήση μόνο των δεδομένων από το επιταχυνσιόμετρο του κινητού του χρήστη, ένα δεύτερο για την εξαγωγή του περιβάλλοντος στο οποίο βρίσκεται ο χρήστης με βάση τα δεδομένα από το μικρόφωνο του κινητού του και το τρίτο το οποίο αποτελεί το συνδυασμό των δυο προηγουμένων και με βάση τα δεδομένα τόσο του επιταχυνσιομέτρου όσο και του μικροφώνου και με χρήση κάποιων μοτίβων κίνησης μας δίνει το τελικό συμπέρασμα για την γενικότερη δραστηριότητα του χρήστη. Ουσιαστικά για τα δυο πρώτα μοντέλα αναπτύχθηκε μια android εφαρμογή για τη συλλογή και την εκπαίδευση των δειγμάτων του εκάστοτε αισθητήρα ώστε στο τελικό μοντέλο να εισάγουμε τα συμπεράσματα για την κίνηση και για το περιβάλλον του χρήστη και έχοντας ορίσει κάποια συγκεκριμένα patterns να μπορεί να κάνει εξαγωγή για τη συγκεκριμένη δραστηριότητα του χρήστη με πολύ μεγάλη επιτυχία. 4.5 Χρήσιμοι Ορισμοί Για την καλύτερη κατανόηση του περιεχομένου της εργασίας δίνουμε κάποιους ορισμούς οι οποίοι μπορεί να φανούν χρήσιμοι. o Χρονοσειρά: Τα δεδομένα των αισθητήρων πριν υποστούν κάποιου είδους επεξεργασία (raw data) αποτελούν μια χρονοσειρά. 38 P a g e

39 o o Παράθυρα: Τα δεδομένα που συλλέγονται από τους αισθητήρες χωρίζονται σε μικρότερα τμήματα ώστε να είναι δυνατή και πιο εύκολη η επεξεργασία αυτών. Συνήθως στη βιβλιογραφία τόσο για τα δεδομένα που προκύπτουν από το επιταχυνσιόμετρο όσο και εκείνα που προκύπτουν από το μικρόφωνο χωρίζονται σε παράθυρα του 1 έως και 10 δευτερολέπτων. Μηχανική Μάθηση: Ορίζεται η τεχνική εκείνη με την οποία κατασκευάζονται και μελετιούνται αλγόριθμοι οι οποίοι αποκτούν κάποια γνώση έπειτα από μια εκπαίδευση με δοσμένα δεδομένα. Αυτοί οι αλγόριθμοι λειτουργούν κατασκευάζοντας μοντέλα λαμβάνοντας ως είσοδο κάποια συγκεκριμένα παραδείγματα. Στη συνέχεια, χρησιμοποιούν αυτά τα μοντέλα για να κάνουν κάποιες προβλέψεις και να πάρουν κάποιες αποφάσεις. 4.6 Τύποι Αισθητήρων Η συσκευή η οποία ανιχνεύει τα χαρακτηριστικά του περιβάλλοντος καλείται αισθητήρας. Ένας αισθητήρας μπορεί να ανιχνεύσει γεγονότα ή κάποια αλλαγή παρέχοντας την αντίστοιχη έξοδο ως ένα ηλεκτρικό ή οπτικό σήμα. Αισθητήρες χρησιμοποιούνται πλέον σχεδόν σε όλα τα καθημερινά αντικείμενα που χρησιμοποιούμε όπως στα κουμπιά των ανελκυστήρων ή στις λάμπες οι οποίες ανάβουν μόλις αντιληφθούν κάποια παρουσία στο χώρο. Εξαιτίας της γενικότερης τεχνολογικής προόδου η χρήση των αισθητήρων έχει διευρυνθεί μην έχοντας ακόμη εγκαταλείψει και τους αναλογικούς αισθητήρες. Η ευαισθησία ενός αισθητήρα μας δείχνει την μεταβολή της εξόδου ανάλογα με τη μεταβολή του σήματος εισόδου. Για να μην υπάρχει κάποια επίδραση του αισθητήρα ως προς την μετρούμενη τιμή πρέπει να σχεδιάζονται μικροσκοπικοί ώστε να έχουν μεγαλύτερη ακρίβεια και ταχύτητα. Στο μοντέλο που θα παρουσιάσουμε στο επόμενο κεφάλαιο, κυρίως ασχοληθήκαμε με τους αισθητήρες οι οποίοι βρίσκονται ενσωματωμένοι στα κινητά τηλέφωνα. Οι αισθητήρες ενός τυπικού smart phone ανιχνεύουν κυρίως την κίνηση, την τοποθεσία αλλά και τον ήχο. Περιγράφουμε αναλυτικά τους δυο αισθητήρες τους οποίους χρησιμοποιήσαμε στην υλοποίηση μας, το επιταχυνσιόμετρο και το μικρόφωνο. i. Επιταχυνσιόμετρα Τα επιταχυνσιόμετρα είναι τυπικά ηλεκτρομηχανικά όργανα τα οποία μετρούν την επιτάχυνση που ανιχνεύουν κατά μήκος των αξόνων τους. Η επιτάχυνση που μετριέται μπορεί να είναι είτε στατική, όπως η σταθερή δύναμη της βαρύτητας, είτε δυναμική όπως προκαλείται καθώς το επιταχυνσιόμετρο μετακινείται. Ανεξάρτητα από τις διαφορές στην κατασκευή τους, η λειτουργία των επιταχυνσιομέτρων έχει σχέση με τις διάφορες αλλαγές που υφίσταται η μάζα του συστήματος. Η επιτάχυνση είναι ανάλογη του εκτοπίσματος της 39 P a g e

40 μάζας όταν εφαρμόζεται σε αυτή κάποια δύναμη. Σε πολλές εργασίες έχουν χρησιμοποιηθεί επιταχυνσιόμετρα τα οποία τοποθετούνται πάνω στο σώμα για την καλύτερη αναγνώριση της κίνησης του χρήστη [25]. ii. Μικρόφωνο Το μικρόφωνο είναι ένας ακουστικός μετατροπέας. Εκτός από τη χρήση του σε φωνητικά τηλεφωνήματα, ερευνητές το έχουν χρησιμοποιήσει για την ανάπτυξη εφαρμογών που στηρίζονται στην ανιχνευτική ικανότητα των μικροφώνων και των κινητών τηλεφώνων. Ένα πολύ επιτυχημένο παράδειγμα είναι αυτό των συστημάτων αναγνώρισης ομιλίας [26], τα οποία έχουν ευρέως υλοποιηθεί σε κινητά τηλέφωνα. Τα συστήματα αυτά επιτρέπουν στους χρήστες να χειρίζονται το κινητό τους τηλέφωνο μόνο με φωνητικές εντολές χωρίς τη χρήση πληκτρολογίου. Επίσης, το μικρόφωνο χρησιμοποιείται και για την ανίχνευση του ήχου στο περιβάλλον καθώς έτσι μπορεί να αναγνωριστεί το κοινωνικό περιβάλλον του χρήστη. 40 P a g e

41 Κεφάλαιο 5 ο 5 Σύστημα για εξαγωγή σεναρίων χρήστη με χρήση αισθητήρων 5.1 State of the Art Το πεδίο της αναγνώρισης της ανθρώπινης συμπεριφοράς μέσω κινητών τηλεφώνων αποτελεί πόλο έλξη για πολλούς ερευνητές. Οι αισθητήρες των κινητών τηλεφώνων μπορούν να χρησιμοποιηθούν για την αναγνώριση της θέσης και της κίνησης ενός χρήστη καθώς και του περιβάλλοντος στο οποίο βρίσκεται. Οι αισθητήρες οι οποίοι μπορούν να χρησιμοποιηθούν για την αναγνώριση της τοποθεσίας ενός χρήστη αλλά και της παρουσίας οντοτήτων σε κοντινή απόσταση είναι οι εξής: GPS, WiFi και bluetooth [15]. Οι περιβαλλοντικοί αισθητήρες κάμερα και μικρόφωνο είναι υπεύθυνοι για την ανίχνευση του περιβάλλοντος στο οποίο βρίσκεται ο χρήστης [16]. Το επιταχυνσιόμετρο και το γυροσκόπιο μπορούν να αναγνωρίζουν την κίνηση του χρήστη [17, 20, 21]. Σε παλιότερες εργασίες, οι ερευνητές έχουν μελετήσει την ανίχνευση φυσικών δραστηριοτήτων χρησιμοποιώντας δεδομένα που συλλέχθηκαν είτε από κινητά τηλέφωνα είτε από αισθητήρες οι οποίοι τοποθετούνται πάνω στο σώμα [2, 21, 20, 17]. Από όλες αυτές τις προηγούμενες εργασίες είδαμε ότι υπάρχουν πάρα πολλοί διαφορετικοί τρόποι για με πολλούς διαφορετικούς συνδυασμούς αισθητήρων για την εξαγωγή συμπερασμάτων τόσο για την κίνηση του χρήστη όσο και για ο περιβάλλον στο οποίο βρίσκεται. Η εργασία αυτή κάνοντας χρήση ενός ιεραρχικού μοντέλου επιτυγχάνει να πάει ένα βήμα πιο μπροστά, δηλαδή έχοντας εξάγει τα συμπεράσματα για την κίνηση και για το περιβάλλον του χρήστη ξεχωριστά να εισαχθούν σε ένα τρίτο μοντέλο το οποίο να εξάγει ένα πιο ολοκληρωμένο συμπέρασμα για την γενικότερη δραστηριότητα του χρήστη. Στο επόμενο κεφάλαιο παρουσιάζεται αναλυτικά η συμβολή της εργασίας αυτής. 5.2 Παρουσίαση του Μοντέλου Στην παρούσα εργασία αναπτύχθηκε ένας ιεραρχικός αλγόριθμος δυο επιπέδων για την επίτευξη του τελικού στόχου. Αρχικά στο πρώτο επίπεδο του αλγορίθμου αυτού αναπτύχθηκαν δυο ξεχωριστά μοντέλα ένα για συλλογή δεδομένων, εκμάθηση και 41 P a g e

42 αναγνώριση της κίνησης του χρήστη και ένα για αναγνώριση του περιβάλλοντος στο οποίο βρίσκεται. Έπειτα στο δεύτερο επίπεδο του ιεραρχικού αλγορίθμου που σχεδιάσαμε, υπάρχει ένα ακόμη μοντέλο το οποίο αναγνωρίζει συγκεκριμένες δραστηριότητες που μπορεί να κάνει ο χρήστης. Δίνοντας λοιπόν στο τελικό μας μοντέλο ως είσοδο και τα αποτελέσματα των δυο προηγούμενων μοντέλων και έχοντας ορίσει ένα συγκεκριμένο pattern που χαρακτηρίζει κάθε μια δραστηριότητα, εξάγεται το τελικό συμπέρασμα με μεγάλο ποσοστό ακρίβειας. Ένα παράδειγμα μιας τέτοιας διαδικασίας είναι για παράδειγμα η αναμονή σε κάποια ουρά. Το pattern για τη δραστηριότητα αυτή όσο αφορά την κίνηση του χρήστη είναι μια εναλλαγή στασιμότητας με μικρά βήματα standing walking standing. Με τον τρόπο αυτό αναγνωρίζουμε ότι ο χρήστης βρίσκεται σε κάποια ουρά αναμονής και με την αναγνώριση των ήχων του περιβάλλοντος χώρου πλέον μπορούμε να καθορίσουμε με βεβαιότητα που βρίσκεται ο χρήστης (π.χ. αναμονή σε ουρά σε τράπεζα, αναμονή σε ουρά σε super market, αναμονή σε ουρά καταστήματος ρούχων κτλ). Στο σχήμα που ακολουθεί παρουσιάζεται το ιεραρχικό μοντέλο που σχεδιάσαμε. Εικόνα 14: Ιεραρχικό μοντέλο για εξαγωγή Δραστηριότητας του Χρήστη Για κάθε ένα από τα τρία ξεχωριστά μοντέλα αναπτύχθηκε μια εφαρμογή android για τη συλλογή δεδομένων και την εκμάθηση της κίνησης, του ήχου ή της δραστηριότητας αντίστοιχα, με τη βοήθεια αλγορίθμων μηχανικής μάθησης κάνοντας χρήση του εργαλείου Weka [22]. Αρχικά τα δεδομένα συλλέγονται και στέλνονται όλα σε έναν κεντρικό server, από εκεί έχοντας συλλέξει όλα τα δεδομένα επεξεργαζόμαστε τα δεδομένα κάθε μοντέλου. Και τελικά εξάγουμε το τελικό συμπέρασμα. Ας δούμε αναλυτικά το κάθε ένα από τα τρία μοντέλα. 42 P a g e

43 5.2.1 Μοντέλο Αναγνώρισης Φυσικής Δραστηριότητας Χρήστη Στο μοντέλο αυτό, περιγράφουμε όλα τα βήματα μέχρι τη δημιουργία του μοντέλου ανίχνευσης της κίνησης του χρήστη. Οι κινήσεις που αναγνωρίζει το μοντέλο που σχεδιάσαμε είναι οι ακόλουθες: Lying, Sitting, Walking, Standing and being in a moving vehicle. Για τη συλλογή των δεδομένων αναπτύχθηκε μια εφαρμογή android η οποία εμπεριέχει το Fünf Framework [24] (είναι ένα open source Framework το οποίο διαβάζει τα δεδομένα από τους διάφορους αισθητήρες των android συσκευών). Στα πλαίσια του Fünf λοιπόν προγραμματίσαμε τις επιλογές δειγματοληψίας του smartphone για το επιταχυνσιόμετρο, το οποίο θα μας δώσει και το τελικό συμπέρασμα για την κίνηση του χρήστη. Για το συγκεκριμένο μοντέλο βασιστήκαμε σε ένα προηγούμενο μοντέλο που είχε πραγματοποιηθεί από την ομάδα του εργαστηρίου με λίγο διαφορετικό τρόπο [8]. Συγκεκριμένα, ρυθμίσαμε τη συχνότητα δειγματοληψίας για UI (60000 δευτερόλεπτα), τη διάρκεια και την περίοδο της δειγματοληψίας σε 50 και 60 δευτερόλεπτα αντίστοιχα. Σε αυτή την εφαρμογή, για κάθε κίνηση που θέλουμε να ανιχνεύσουμε, πατάμε το κουμπί της εφαρμογής με το αντίστοιχο όνομα και ουσιαστικά η εφαρμογή συλλέγει τα δεδομένα του επιταχυνσιομέτρου προσθέτοντας ως ετικέτα το όνομα της κίνησης την οποία έχουμε επιλέξει. Στη συνέχεια, κάθε αρχείο αποστέλλεται στο server για περαιτέρω επεξεργασία των δεδομένων που έχουν καταγραφεί. Βλέπουμε την εφαρμογή στην ακόλουθη εικόνα. Εικόνα 15: Motion Training Application Το επόμενο βήμα έχοντας πια συλλέξει τα δεδομένα μας είναι η επεξεργασία των δειγμάτων και η εξαγωγή της κίνησης. Στο μοντέλο αυτό, σε αντίθεση με το μοντέλο που είχε αναπτυχθεί από το εργαστήριο [8], αναγνωρίζουμε την κίνηση ανεξαρτήτως της θέσης στην 43 P a g e

44 οποία βρίσκεται το κινητό τηλέφωνο του χρήστη. Επομένως οι μετρήσεις που παίρνουμε είναι το μέγεθος της επιτάχυνσης των τριών αξόνων (x, y, z). Στη συνέχεια για κάθε σύνολο δεδομένων, έχοντας χωρίσει τα δεδομένα μας σε μικρότερα υποσύνολα (παράθυρα), δημιουργούμε ένα χαρακτηριστικό διάνυσμα το οποίο περιέχει τις ακόλουθες μετρικές: μέση τιμή, τυπικής απόκλισης, εύρος τιμής και βαθμός γωνίας (εικόνα 16). Το τελικό βήμα για την εξαγωγή της φυσικής δραστηριότητας του χρήστη είναι η δημιουργία του μοντέλου ανίχνευσης κίνησης. Έγινε χρήση του Weka Machine Learning Package [22] για μπορέσουμε να χαρακτηρίσουμε το μοντέλο εκπαίδευσης που υλοποιήθηκε στο προηγούμενο βήμα. Για την κατηγοριοποίηση του μοντέλου χρησιμοποιήθηκαν οι ακόλουθοι τέσσερεις αλγόριθμοι μηχανικής εκμάθησης: J48, LMT, FT (από τους δεντρικούς αλγορίθμους) και ο ΙΒΚ (από τους Lazy αλγορίθμους). Μετά την ταξινόμηση του μοντέλου εκμάθησης με όλους τους παραπάνω αλγορίθμους, καταλήγουμε στο συμπέρασμα ότι η καλύτερη ακρίβεια επιτυγχάνεται με τον αλγόριθμο δεντρικό αλγόριθμο απόφασης J48. Το μοντέλο εξόδου από την ταξινόμηση αυτή περιλαμβάνει το τελικό μοντέλο ανίχνευσης κίνησης μας. Εικόνα 16: Μετρικές για τα μοντέλα εξαγωγής δραστηριότητας και περιβάλλοντος Μοντέλο Αναγνώρισης Περιβάλλοντος Χρήστη Παρόμοια πορεία ακολουθήσαμε και στο μοντέλο αναγνώρισης του περιβάλλοντος του χρήστη. Από τη στιγμή που η πορεία που ακολουθήσαμε είναι ίδια με αυτή για το μοντέλο ης εξαγωγής της φυσικής δραστηριότητας, στο μοντέλο αυτό θα περιγράψουμε τη διαδικασία σε μεγαλύτερο βάθος. Αρχικά οι ήχοι που αναγνωρίζουμε για το περιβάλλον μέσα από απλές καθημερινές δραστηριότητες είναι οι ακόλουθοι: means of transportation, inside a car, supermarket cash desks, supermarket, clothes store, ATM, computer, coffee store/restaurant, TV, vacuum cleaner, cooking, washing dishes and quiet. Για τη συλλογή των δεδομένων από τον αισθητήρα του μικρόφωνου έχουμε αναπτύξει μια δεύτερη εφαρμογή Android χρησιμοποιώντας και πάλι το Fünf Framework[9] 44 P a g e

45 όπως περιγράφεται στo προηγούμενο μοντέλο. Η κύρια διαφορά είναι ότι ο ήχος χρειάζεται διαφορετικό χειρισμό και διαφορετική συχνότητα δειγματοληψίας συγκριτικά με το επιταχυνσιόμετρο που είδαμε προηγουμένως. Μια αντίστοιχη υλοποίηση για ήχο με χρήση του Funf περιγράφεται αναλυτικά σε μια ακόμη εργασία από τη βιβλιογραφία, την οποία και συμβουλευτήκαμε για την δική μας υλοποίηση[2]. Τα δεδομένα ήχου ελήφθησαν σε δείγματα των 16 bit, με ρυθμό δειγματοληψίας 16 khz. Στη συνέχεια, δημιουργήσαμε παράθυρα των 32ms με 50% αλληλοεπικάλυψη. Σε κάθε παράθυρο με τα χαρακτηριστικά δείγματα εφαρμόζουμε ένα φίλτρο Hamming. Τέλος, για κάθε παράθυρο εξάγουμε, μέσω του Fünf το χαρακτηριστικό διάνυσμα, δηλαδή τους συντελεστές Mel-frequency cepstral (MFCC). Έπειτα, για κάθε σετ εκπαίδευσης ήχου έχει δημιουργηθεί ένα αρχείο, με τα αντίστοιχα MFCCs, το οποίο στη συνέχεια αποστέλλεται στον server, προκειμένου να υποβληθεί σε επεξεργασία. Η εφαρμογή αυτή φαίνεται στην παρακάτω εικόνα. Εικόνα 17: Sound Training Application Για την εξαγωγή Χαρακτηριστικών, έχουμε δημιουργήσει το μοντέλο εκπαίδευσης το περιβάλλον μας. Αρχικά, για τα διανύσματα MFCCs που δημιουργήθηκαν μέσω του Fünf τα διαιρέσαμε σε νέα παράθυρα των 6 δευτερολέπτων. Στη συνέχεια, για κάθε παράθυρο υπολογίσαμε το αντίστοιχο διάνυσμα γνωρισμάτων. Κάθε διάνυσμα ήχου περιλαμβάνει ένα στιγμιότυπο του μοντέλου αναγνώρισης του περιβάλλοντός και μια ετικέτα που χαρακτηρίζει το ήχο του συγκεκριμένου διανύσματος. Οι μετρικές που χρησιμοποιήθηκαν για την δημιουργία του χαρακτηριστικού διανύσματος είναι: μέση τιμή, τυπική απόκλιση, άθροισμα, max και min τιμές και συντελεστής διακύμανσης, οι μαθηματικές συναρτήσεις αυτών παρουσιάζονται πιο πάνω στην εικόνα 10. Υπολογίζοντας όλες τις παραπάνω μετρικές το τελικό αποτελέσματα είναι ένα διάνυσμα χαρακτηριστικών f i με στοιχεία i = 1,, 73 (κάθε χαρακτηριστικό υπολογίζεται για κάθε μία από τις 12 MFCCs και μία ετικέτα ήχου). Για το τελευταίο στάδιο, αυτό της κατηγοριοποίησης, με τη βοήθεια Weka Machine Learning Package [22] δημιουργήσαμε το μοντέλο ανίχνευσης του περιβάλλοντος του χρήστη. Έχουμε εφαρμόσει τους ίδιους τέσσερις αλγόριθμοι μηχανικής μάθησης, με αυτό 45 P a g e

46 του μοντέλου ανίχνευσης της φυσικής δραστηριότητας. Συγκρίνοντας εξονυχιστικά τα παραγόμενα αποτελέσματα, μεταξύ των τεσσάρων ταξινομητών, χρησιμοποιήθηκε τελικά ο αλγόριθμος IBK από τους αλγορίθμους Lazy. Ήταν εκείνος που μας έδωσε το καλύτερο ποσοστό ακρίβειας συνολικά αλλά και ποσοστό επιτυχούς αναγνώρισης με τη μέγιστη ακρίβεια για 5 από τους ήχους που αναγνωρίζουμε. Επομένως, με όλη την πορεία που περιγράψαμε ολοκληρώθηκε και το μοντέλο της αναγνώρισης του περιβάλλοντος ου χρήστη από τα δεδομένα του αισθητήρα του μικροφώνου Μοντέλο Αναγνώρισης Δραστηριότητας Χρήστη Στην ενότητα αυτή, συνδυάζουμε τα δυο προηγούμενα μοντέλα, το μοντέλο ανίχνευσης κίνησης και περιβάλλοντος του χρήστη, για να δημιουργήσετε ένα νέο μοντέλο ανίχνευσης δραστηριότητας, σύμφωνα με το οποίο μπορούμε να αναγνωρίσουμε πιο σύνθετες καθημερινές δραστηριότητες που μπορούν να ταξινομηθούν στις ακόλουθες κατηγορίες: Αγορές: σε ένα super market ή σε κατάστημα ρούχων Αναμονή σε ουρά: σε ένα ταμείο του super market ή σε ΑΤΜ Μετακινήσεις με οχήματα: οδήγηση μέσα στην πόλη ή το ταξίδι έξω από την πόλη με το αυτοκίνητο και τα ταξίδια στο εσωτερικό ή έξω από την πόλη με τα μέσα μεταφοράς (τρένο, λεωφορείο κτλ) Εργασίες Σπιτιού: καθαρισμός με ηλεκτρική σκούπα, μαγείρεμα και πλύσιμο των πιάτων Εργασία: Εργασία στο PC Ξεκούραση: ύπνο, βλέποντας τηλεόραση και διασκέδαση σε κατάστημα καφέ / εστιατόριο. Εκτός από τις δύο τελευταίες κατηγορίες, που είναι ένας απλός συνδυασμός μεταξύ κίνησης και ενός συγκεκριμένου ήχου από το περιβάλλον, όλες οι άλλες κατηγορίες αποτελούνται από ένα συνδυασμό διαφόρων επαναλαμβανόμενων κινήσεων (motion pattern) και τον ήχο που τους καλύπτει. Στην εικόνα που ακολουθεί βλέπουμε αναλυτικά πως συνδυάσαμε τις διαφορετικές κινήσεις με τους διαφορετικούς ήχους και σε ποιες δραστηριότητες επικεντρωθήκαμε στο τελικό μας μοντέλο. 46 P a g e

47 Εικόνα 18: Συνδυασμός κίνησης και ήχου για την εξαγωγή δραστηριότητας. Για να ολοκληρωθεί η συλλογή των δεδομένων στο τελικό μοντέλο, έχουμε αναπτύξει μια τελευταία εφαρμογή Android η οποία συλλέγει τα δεδομένα τόσο από τον αισθητήρα του επιταχυνσιομέτρου όσο και του μικροφώνου. Τα δεδομένα για κάθε ένα από τους επιμέρους αισθητήρες συλλέχθηκαν με τους ίδιους ρυθμούς δειγματοληψίας όπως περιγράφεται στα προαναφερθέντα τμήματα αντιστοίχως. Στη συγκεκριμένη εφαρμογή, επίσης, ορίζεται ως είσοδο τα δυο μοντέλα ανίχνευσης που δημιουργήθηκαν για την εξαγωγή της κίνησης και του περιβάλλοντος. Για κάθε δραστηριότητα, δημιουργείται ένα αρχείο το οποίο στέλνετε για επεξεργασία στον κεντρικό server. Εικόνα 19: Activity Training Application 47 P a g e

48 Στη συνέχεια, συγκρίνουμε τα μοντέλα που δημιουργήθηκαν στις προηγούμενες ενότητες με τα δεδομένα που λαμβάνουν σε αυτή την εφαρμογή σε πραγματικό χρόνο, προκειμένου να συλλεχθούν όλες τις κινήσεις και οι ήχοι που ανιχνεύονται για ένα συγκεκριμένο χρονικό διάστημα. Λόγω του επαναλαμβανόμενου μοτίβου των δραστηριοτήτων που θέλουμε να ανιχνεύσει, διαιρούμε τις κινήσεις και τους ήχους που ανιχνεύονται σε παράθυρα του ενός λεπτού. Κάθε κίνηση που εντοπιστικέ κατά το ένα λεπτό αποτελεί ένα χαρακτηριστικό του νέου διανύσματος χαρακτηριστικών. Δεδομένου ότι, κόβουμε τα δεδομένα του επιταχυνσιόμετρο σε παράθυρα των 2 δευτερολέπτων και η συνολική διάρκεια της δειγματοληψίας σε 1 λεπτό είναι 50 δευτερόλεπτα, έχουμε εντοπίσει 25 κινήσεις σε 1 λεπτό. Ωστόσο, η συχνότητα δειγματοληψίας της κίνησης δεν συνάδει με αυτή του ήχου. Διότι για την κίνηση απαιτείται πιο συχνή δειγματοληψία ενώ αντιθέτως για τον ήχο πιο αραιή, με σκοπό τη σωστή αναγνώριση αυτών. Σε αυτήν την περίπτωση, επιλέγουμε ως χαρακτηριστικό τον ήχο που ανίχνευσε τις περισσότερες φορές κατά τη διάρκεια 1 λεπτού. Ως αποτέλεσμα, έχουμε δημιουργήσει ένα διάνυσμα χαρακτηριστικών μεγέθους 27 (25 κινήσεις, ένας ήχος και μια ετικέτα δραστηριότητας). Το σύνολο των διανυσμάτων των χαρακτηριστικών αυτών αποτελεί ουσιαστικά το μοντέλο εκπαίδευσης της δραστηριότητας του χρήστη. Το τελευταίο βήμα και στο μοντέλο αυτό αποτελεί η κατηγοριοποίηση. Για να ταξινομηθεί κάθε περίπτωση το μοντέλο εκπαίδευσης, χρησιμοποιούμε τους αλγορίθμους μηχανικής μάθησης του Weka [22], όπως έχει περιγραφεί προηγουμένως. Παρομοίως έγινε χρήση των ίδιων τεσσάρων αλγόριθμων όπως και πριν, αλλά καταλήξαμε στο συμπέρασμα ότι το καλύτερο ποσοστό ακρίβειας για το συγκεκριμένο μοντέλο επιτυγχάνεται από τον δεντρικό αλγόριθμο FT. Για να ολοκληρωθεί το σύστημα ανίχνευσης της δραστηριότητας του χρήστη, δημιουργήσαμε μια τελική Android εφαρμογή που μπορεί να αναγνωρίσει σε πραγματικό χρόνο τη δραστηριότητα που ο χρήστης έκανε κάθε ένα λεπτό (Εικόνα 20). Συγκεκριμένα, θέσαμε ως είσοδο της υλοποίησης αυτής και τα 3 μοντέλα ανίχνευσης που δημιουργήθηκαν στις προηγούμενες ενότητες και κάθε λεπτό, η εφαρμογή συγκρίνει τα δεδομένα που έχει συλλέξει με τα αποτελέσματα των έτοιμων μοντέλων και αποφασίζει για την δραστηριότητα του χρήστη σε πραγματικό χρόνο. 48 P a g e Εικόνα 20: Activity Recognition Application