ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΙΡΑΙΩΣ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ «ΠΡΟΗΓΜΕΝΑ ΣΥΣΤΗΜΑΤΑ ΠΛΗΡΟΦΟΡΙΚΗΣ»

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΙΡΑΙΩΣ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ «ΠΡΟΗΓΜΕΝΑ ΣΥΣΤΗΜΑΤΑ ΠΛΗΡΟΦΟΡΙΚΗΣ» ΠΡΟΒΛΕΨΗ ΣΕ ΗΜΕΡΟΛΟΓΙΑ ΚΙΝΗΣΗΣ ΜΕ ΧΡΗΣΗ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ PREDICTION IN ACTIVITY-TRAVEL DIARIES USING NEURAL NETWORKS ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΑΤΡΙΒΗ ΧΟΝΔΡΟΔΗΜΑ ΕΥΑΓΓΕΛΙΑ ΕΠΙΒΛΕΠΩΝ: Ν. ΠΕΛΕΚΗΣ, ΛΕΚΤΟΡΑΣ Π Ε Ι Ρ Α Ι Α Σ, Α Π Ρ Ι Λ Ι Ο Σ

2 Τριμελής Εξεταστική Επιτροπή (υπογραφή) (υπογραφή) (υπογραφή) Νικόλαος Πελέκης Λέκτορας Ιωάννης Θεοδωρίδης Καθηγητής Άγγελος Πικράκης Λέκτορας 2

3 ΠΕΡΙΕΧΟΜΕΝΑ ΠΕΡΙΕΧΟΜΕΝΑ... 3 ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ... 5 ΚΑΤΑΛΟΓΟΣ ΠΙΝΑΚΩΝ... 6 ΠΕΡΙΛΗΨΗ... 7 ABSTRACT... 8 ΕΙΣΑΓΩΓΗ... 9 ΤΡΟΧΙΕΣ ΚΙΝΟΥΜΕΝΩΝ ΑΝΤΙΚΕΙΜΕΝΩΝ Εισαγωγή στον Χωροχρόνο Χωροχρονικά δεδομένα Κινούμενα αντικείμενα Κατηγορίες κίνησης αντικειμένων Συστήματα κινούμενων αντικειμένων Τροχιές κινούμενων αντικειμένων Αναπαράσταση τροχιάς Σημασιολογικές τροχιές Σχετικές εργασίες Από τις κινούμενες διαδρομές στις τροχιές Από τις ακατέργαστες τροχιές στις σημασιολογικές τροχιές Βασικές έννοιες για τροχιές συμπεριφορές Σημασιολογικός εμπλουτισμός τροχιών ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ Γενικά Ιστορική αναδρομή Η δομή του νευρώνα Μάθηση Νευρωνικών Δικτύων Πολλών-Στοιβάδων Αισθητήρες (Multi-Layer Perceptrons, MLPs)

4 2.5.1 Ο Αλγόριθμος Ανάστροφης Διάδοσης (Back-Propagation Algorithm) Δίκτυα Ακτινικής Συνάρτησης Βάσης (Radial Basis Function Networks, RBF) Εκπαίδευση δικτύων RBF Ο αλγόριθμος k-means Σύγκριση δικτύων MLPs με RBF ΠΡΟΒΛΕΨΗ ΣΕ ΔΕΔΟΜΕΝΑ ΚΙΝΟΥΜΕΝΩΝ ΑΝΤΙΚΕΙΜΕΝΩΝ Σχετικές εργασίες Πραγματικά δεδομένα Περιγραφή δεδομένων Επεξεργασία δεδομένων Συναφής εφαρμογή Προτεινόμενη μεθοδολογία Ο αλγόριθμος των Ασαφών Μέσων (Fuzzy Means Algorithm) Ο αλγόριθμος Levenberg-Marquardt ΠΡΟΒΛΕΨΗ ΣΕ ΗΜΕΡΟΛΟΓΙΑ ΚΙΝΗΣΗΣ ΜΕ ΧΡΗΣΗ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ Εφαρμογή στην πρόβλεψη μελλοντικής θέσης κινούμενου αντικειμένου Πρώτη περίπτωση: 50 κλάσεις Δεύτερη περίπτωση: 100 κλάσεις Εφαρμογή στην πρόβλεψη κατηγορίας δραστηριότητας κινούμενου αντικειμένου Εφαρμογή στην πρόβλεψη κατηγορίας σημείου ενδιαφέροντος κινούμενου αντικειμένου ΣΥΜΠΕΡΑΣΜΑΤΑ ΒΙΒΛΙΟΓΡΑΦΙΑ

5 ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ Σχήμα 1.1. Πραγματική τροχιά Σχήμα 1.2. Τροχιά ύστερα από δειγματοληψία Σχήμα 1.3. Τιμές γεωμετρικών τύπων δεδομένων Σχήμα 1.4. Τροχιές παιδιών που συμμετέχουν στο παιχνίδι Σχήμα 1.5. Δίκτυο κινήσεων όπου φαίνονται οι ελκυστές Σχήμα 1.6. Τμήμα κινούμενης διαδρομής Σχήμα 2.1. Σχηματική αναπαράσταση μη γραμμικού μοντέλου νευρώνα Σχήμα 2.2. Εναλλακτική σχηματική αναπαράσταση μη γραμμικού μοντέλου νευρώνα Σχήμα 2.3. Συνάρτηση κατωφλίου Σχήμα 2.4. Σιγμοειδής Συνάρτηση (μπλε: α=0.5, κόκκινο: α=1, πράσινο: α=2) Σχήμα 2.5. Σχηματικό διάγραμμα MLP με δύο κρυφές στοιβάδες και M εξόδους Σχήμα 2.6. Ροή σημάτων σε τμήμα ενός MLP Σχήμα 2.7. Σχηματικό διάγραμμα RBF με M εξόδους Σχήμα 3.1. Ανεπαρκής Πρόβλεψη Σχήμα 3.2. Παράδειγμα Δέντρου Τ-Προτύπων Σχήμα 3.3. Δραστηριότητες Χρηστών Σχήμα 3.2. Σημεία ενδιαφέροντος χρηστών Σχήμα 3.5. Δέντρο απόφασης κατηγορίας δραστηριοτήτων (Reumers et al., 2013).. 62 Σχήμα 4.1. Κλάσεις αλγορίθμου k-means Σχήμα 4.2. Κλάσεις αλγορίθμου k-means Σχήμα 4.3. Ποσοστά ακρίβειας πρόβλεψης κάθε κλάσης Σχήμα 4.4. Πίνακας Σύγχυσης του Συνόλου Εκπαίδευσης του Δικτύου RBF Σχήμα 4.5. Πίνακας Σύγχυσης του Συνόλου Αξιολόγησης του Δικτύου RBF Σχήμα 4.6. Πίνακας Σύγχυσης του Συνόλου Ελέγχου του Δικτύου RBF Σχήμα 4.7. Πίνακας Σύγχυσης του Συνόλου Εκπαίδευσης του Δικτύου MLP Σχήμα 4.8. Πίνακας Σύγχυσης του Συνόλου Αξιολόγησης του Δικτύου MLP Σχήμα 4.9. Πίνακας Σύγχυσης του Συνόλου Ελέγχου του Δικτύου MLP Σχήμα Ποσοστά ακρίβειας πρόβλεψης κάθε κλάσης

6 ΚΑΤΑΛΟΓΟΣ ΠΙΝΑΚΩΝ Πίνακας 1. Αποτελέσματα για την πρόβλεψη κατηγορίας μελλοντικής θέσης χρήστη - 50 κλάσεις Πίνακας 2. Αποτελέσματα για την πρόβλεψη κατηγορίας μελλοντικής θέσης χρήστη κλάσεις Πίνακας 3. Αποτελέσματα για την πρόβλεψη τύπου δραστηριότητας χρήστη Πίνακας 4. Αποτελέσματα για την πρόβλεψη κατηγορίας σημείου ενδιαφέροντος χρήστη

7 ΠΕΡΙΛΗΨΗ Το αντικείμενο της παρούσας πτυχιακής εργασίας είναι η ανάπτυξη μοντέλων νευρωνικών δικτύων χρησιμοποιώντας δεδομένα κινούμενων αντικειμένων, τα οποία προήλθαν από μία πόλη του Βελγίου, τη Φλάνδρα. Τα δεδομένα αυτά συλλέχθηκαν βάσει δύο πηγών, των ημερολογίων κίνησης και των PDAs που ήταν εξοπλισμένα με δέκτες GPS. Τα νευρωνικά δίκτυα χρησιμοποιήθηκαν προκειμένου να προβλεφθεί η κατηγορία μελλοντικής θέσης, ο τύπος δραστηριότητας και η κατηγορία σημείου ενδιαφέροντος του χρήστη. Συγκεκριμένα, η έρευνα εστιάζεται σε μια ξεχωριστή αρχιτεκτονική νευρωνικών δικτύων, τα νευρωνικά δίκτυα ακτινικής συνάρτησης βάσης (Radial Basis Function, RBF), που παρουσιάζει δύο βασικά πλεονεκτήματα: Την απλότητα της δομής της, και την ταχύτητα των αλγορίθμων εκπαίδευσης. Η τυπική μεθοδολογία εκπαίδευσης δικτύων RBF βασίζεται στον αλγόριθμο k-means και παρουσιάζει αρκετά μειονεκτήματα. Προκειμένου να αποφευχθούν τα μειονεκτήματα της τυπικής μεθοδολογίας εκπαίδευσης νευρωνικών δικτύων RBF, χρησιμοποιήθηκε ο αλγόριθμος των Ασαφών Μέσων (Fuzzy Means), ο οποίος επιλέγει τη δομή και τα κέντρα των νευρώνων σε ένα μόνο βήμα κάνοντας μόνο ένα πέρασμα από τα δεδομένα εκπαίδευσης, ενώ ολοκληρώνει την διαδικασία της εκπαίδευσης σε πολύ μικρούς υπολογιστικούς χρόνους. Τα αποτελέσματα από την εφαρμογή της μεθόδου έδειξαν ότι τα νευρωνικά δίκτυα λόγω της γενικής τους φύσης μπορούν να χρησιμοποιηθούν με επιτυχία σε προβλέψεις με χρήση δεδομένων κινούμενων αντικειμένων. 7

8 ABSTRACT The objective of this thesis is the development of neural network models using moving objects data, collected from Flanders, Belgium. These data were collected using two sources, namely travel diaries and GPS-enabled PDAs. Neural networks were used, in order to predict the future position category, the activity type and the category of the user point of interest. To be more specific, research is focused on a special neural network architecture, known as Radial Basis Function (RBF) networks, which is characterized by two main advantages: The simplicity of its structure, and the speed of the learning algorithms it employs. The typical RBF training methodology is based on the k-means algorithm which exhibits major drawbacks. In order to overcome the typical RBF training methodology problems, the fuzzy means algorithm was used. The fuzzy means algorithm selects the structure and the centers of the nodes in a single step using only one pass of the training data, while it completes the training procedure in low computational times. Results have shown that neural networks, due to their generic nature can be successfully applied to predictions using moving objects data. 8

9 ΕΙΣΑΓΩΓΗ Υπό το φως των τεχνολογικών εξελίξεων στους απομακρυσμένους αισθητήρες (remote sensors), τα δίκτυα αισθητήρων (sensor networks), και τον ταχύ πολλαπλασιασμό των συσκευών που είναι εφοδιασμένες με τεχνολογίες εντοπισμού θέσης, όπως GPS (Global Positioning System), που έχουν εισέλθει στην καθημερινή μας ζωή και επαγγελματική δραστηριότητα, έχει παρατηρηθεί τα τελευταία χρόνια ραγδαία αύξηση των πληροφοριών για τις κινήσεις αντικειμένων με όλο και μεγαλύτερη λεπτομέρεια και ακρίβεια. Η κίνηση των αντικειμένων υπονοεί δύο διαστάσεις: χωρική και χρονική (Macedo et al., 2008). Μια λεπτομερής έρευνα σε κινούμενα αντικείμενα έχει δημοσιευθεί στις εργασίες (Güting et al., 2000, Giannotti & Pedreschi, 2008, Koubarakis et al., 2003). Σε πολλές εφαρμογές το ενδιαφέρον δεν εστιάζεται στη διατήρηση και την εξαντλητική ανάλυση των εγγραφών των κινήσεων, αλλά επιλέγονται μόνο κάποια τμήματα. Τα τμήματα των διαδρομών των αντικειμένων που παρουσιάζουν ενδιαφέρον για τις δεδομένες εφαρμογές ονομάζονται τροχιές (trajectories), οι οποίες προσδιορίζονται από δύο ειδικές χωροχρονικές θέσεις κινούμενων αντικειμένων, που καλούνται «Αρχή» και «Τέλος» της πορείας (Spaccapietra et al., 2008). Ειδικότερα, ονομάζεται ακατέργαστη τροχιά μια τροχιά που προέρχεται από μία ακατέργαστη διαδρομή κίνησης (raw mobility track) και περιέχει μόνο τα μη επεξεργασμένα δεδομένα του διαστήματος Αρχή-Τέλος. Οι ακατέργαστες κινούμενες διαδρομές (raw movement tracks) μπορούν να χρησιμοποιηθούν όπως είναι, για περαιτέρω ανάλυση ή να μετατραπούν σε άλλα είδη που αναπαριστούν κίνηση. Μερικές από τις ιδέες και τεχνικές που αναπτύχθηκαν πρόσφατα και αφορούν στις ακατέργαστες τροχιές (raw trajectories) παρουσιάζονται στο (Zheng & Zhou, 2011b). Κατά τη διάρκεια των τελευταίων ετών οι τεχνικές κινητικότητας έχουν επεκταθεί σε σημαντικό βαθμό. Συγκεκριμένα, μια νέα πολλά υποσχόμενη προσέγγιση έχει σχεδιαστεί για να παρέχει εφαρμογές με πλουσιότερη και πιο ουσιαστική γνώση για την κίνηση. Αυτό επιτυγχάνεται συνδυάζοντας τις ακατέργαστες διαδρομές κίνησης (π.χ. δεδομένα GPS) με τα συναφή συμφραζόμενα 9

10 δεδομένα (related contextual data). Αυτές οι εμπλουτισμένες εγγραφές διαδρομών ονομάζονται σημασιολογικές τροχιές (semantic trajectories). Μια σημασιολογική τροχιά (semantic trajectory) είναι μια τροχιά που έχει ενισχυθεί με σχολιασμούς και/ή ένα ή περισσότερα συμπληρωματικά τμήματα (ο πλήρης ορισμός της πλειάδας παρουσιάζεται στην εργασία (Spaccapietra & Parent, 2011)). Ο υπολογισμός των σημασιολογικών τροχιών έχει προσελκύσει μεγάλο μέρος ερευνητών, όπως μπορούμε να δούμε στις εργασίες (Alvares et al., 2007, Buchin et al., 2010, Spaccapietra et al., 2008, Yan et al., 2011, Yan et al., 2010a, Yan et al., 2010b). Οι σημασιολογικές τροχιές μπορούν να βοηθήσουν σημαντικά στη λύση διαφόρων προβλημάτων πρόβλεψης, όπως πρόβλεψη μελλοντικής θέσης κινούμενων αντικειμένων, πρόβλεψη δραστηριοτήτων, πρόβλεψη σημείων ενδιαφέροντος κ.α.. Πιο συγκεκριμένα, βρίσκουν εφαρμογή στη ρύθμιση της κυκλοφοριακής συμφόρησης, για παράδειγμα, στην πρόβλεψη δρόμων με αυξημένη κίνηση,ή συμβάλλοντας στη ρύθμιση των φωτεινών σηματοδοτών. Ακόμη, βρίσκουν εφαρμογή στον τουριστικό τομέα, όπου η πρόβλεψη σημείων ενδιαφέροντος, θα βοηθούσε τους κάτοχους ταξιδιωτικών γραφείων να φτιάξουν προγράμματα ξενάγησης έτσι ώστε να γίνουν περισσότερο επικερδείς οι επιχειρήσεις τους, αλλά και να ικανοποιούνται περισσότερο οι τουρίστες. Επιπλέον, άλλοι τομείς που θα ήταν σημαντική η συμβολή των σημασιολογικών τροχιών είναι οι στρατιωτικές εφαρμογές (η πρόβλεψη δραστηριοτήτων στρατευμάτων, θα βοηθούσε στη δημιουργία στρατηγικών πλάνων), η διαχείριση δικτύων (η πρόβλεψη κινητικότητας στο δίκτυο, θα βοηθούσε στη βελτιστοποίηση απόδοσης του), τα τηλεπικοινωνιακά κυψελωτά συστήματα (η πρόβλεψη ωρών αιχμής, θα βοηθούσε στην αποφυγή συμφορήσεων), ο εναέριος έλεγχος (η πρόβλεψη ημερομηνιών με υψηλή ζήτηση εισιτηρίων, θα βοηθούσε στον καλύτερο προγραμματισμό των πτήσεων), κ.α.. Κάνοντας την παραδοχή ότι οι άνθρωποι εκτελούν τακτικές διαδρομές, καθώς επίσης και ότι ακολουθούν το «πλήθος», έχουν δημιουργηθεί αλγόριθμοι που είναι βασισμένοι σε πρότυπα (Lee et al., 2007, Pelekis et al., 2009). Αυτού του είδους οι αλγόριθμοι αναζητούν συχνά «μονοπάτια» μεταξύ αντικειμένων έτσι ώστε να τα ομαδοποιήσουν και στη συνέχεια να εξάγουν κανόνες συσχέτισης για τις διαδρομές που ακολουθούν (Yavas et al., 2005). Εξαιτίας αυτού, πολλές φορές, αλγόριθμοι ομαδοποίησης τροχιών (Lee et al., 2007, Pelekis et al., 2009) ή εύρεσης συχνών 10

11 διαδρομών (Ishikawa et al., 2004, Li et al., 2007), μελετούνται στα πλαίσια των προβλημάτων πρόβλεψης μελλοντικής θέσης. Οι συγγραφείς στην εργασία (Schlenoff et al., 2003) περιγράφουν έναν πιθανολογικό βασισμένο στη λογική αλγόριθμο, με σκοπό την πρόβλεψη της μελλοντικής θέσης των οχημάτων σε ένα οδικό δίκτυο. Οι Chittaranjan et. al. (2011) μελετούν την ανάλυση και ταξινόμηση των χαρακτηριστικών της προσωπικότητας ανθρώπων με βάση δεδομένα που προέρχονται από smartphones. Στην εργασία (Jeung et al., 2008) παρουσιάζεται μια νέα προσέγγιση πρόβλεψης μελλοντικών θέσεων ενός αντικειμένου, επονομαζόμενη Υβριδικό Μοντέλο Πρόβλεψης (Hybrid Prediction Model). Οι Orellana et al. χρησιμοποιούν κινούμενες διαδρομές, στους τομείς των φορέων και των ροών για να αναλύσουν κινήσεις ανθρώπων σε χώρους αναψυχής (Orellana et al., 2009). Στην εργασία (Monreale et al., 2009), προτείνεται η τεχνική WhereNext, η οποία αποσκοπεί στην πρόβλεψη ενός ορισμένου επιπέδου ακριβείας της επόμενη θέσης ενός κινούμενου αντικειμένου. Επίσης, διάφορες τεχνικές πρόβλεψης που προτείνονται στη βιβλιογραφία είναι τα μοντέλα Markov (Behrends, 1999) ή κρυφά μοντέλα Markov (Rabiner, 1989), καθώς και οι μέθοδοι πρόβλεψης κατάστασης (State predictor methods) (Petzold et al., 2004), αλλά και διάφορες προσεγγίσεις νευρωνικών δικτύων (Gurney, 2002). Τα τεχνητά νευρωνικά δίκτυα (Artificial Neural Networks, ANN) αποτελούν ένα σύνολο από ισχυρά μαθηματικά εργαλεία που ανήκουν στις τεχνικές της τεχνητής νοημοσύνης και μπορούν να μοντελοποιήσουν οποιοδήποτε άγνωστο μη γραμμικό σύστημα χρησιμοποιώντας μόνο δεδομένα εισόδου-εξόδου από αυτό (Haykin, 1999). Τα νευρωνικά δίκτυα με την δυνατότητα τους να εξάγουν έννοιες και αποτελέσματα από περίπλοκα ή ανακριβή στοιχεία μπορούν να χρησιμοποιηθούν για να αναγνωρίσουν πρότυπα και να ανιχνεύσουν τάσεις που είναι σύνθετες για να παρατηρηθούν από άλλα υπολογιστικά συστήματα. Ανάλογα με το είδος των συνδέσεων των νευρώνων που απαρτίζουν ένα νευρωνικό δίκτυο, διακρίνουμε διαφορετικές αρχιτεκτονικές από τις οποίες οι πιο γνωστές είναι τα εμπροσθοτροφοδοτούμενα Νευρωνικά Δίκτυα (Feedforward Neural Networks, FFN) ή αλλιώς Πολλών-Στοιβάδων Αισθητήρες (Multi-Layer Perceptron, MLPs) και τα νευρωνικά δίκτυα Ακτινικής Συνάρτησης Βάσης (Radial Basis Function networks, RBF). 11

12 Η διαδικασία μέσω της οποίας τα νευρωνικά δίκτυα μαθαίνουν τη σχέση ανάμεσα στην είσοδο και στην έξοδο ονομάζεται εκπαίδευση. Τα μοντέλα των νευρωνικών δικτύων MLPs εκπαιδεύτηκαν χρησιμοποιώντας τον αλγόριθμο Levenberg- Marquardt (Hagan & Menhaj, 1994). Η τυπική μεθοδολογία εκπαίδευσης δικτύων RBF είναι ο επονομαζόμενος αλγόριθμος k-means (Darken & Moody, 1990, Macqueen, 1967, Moody & Darken, 1989). Ο αλγόριθμος αυτός παρουσιάζει δύο βασικά μειονεκτήματα: Δεν έχει τη δυνατότητα να επιλέξει αυτόματα τον κατάλληλο αριθμό κέντρων των νευρώνων της κρυφής στοιβάδας και απαιτεί μεγάλους υπολογιστικούς χρόνους. Προκειμένου να αποφευχθούν τα παραπάνω προβλήματα προτάθηκε ο αλγόριθμος των ασαφών μέσων (Sarimveis et al., 2002), ο οποίος παρουσιάζει πολλά πλεονεκτήματα σε σχέση με τις συμβατικές μεθόδους εκπαίδευσης νευρωνικών δικτύων RBF και έχει αποδειχθεί ότι είναι πιο αποδοτική στη μοντελοποίηση μη γραμμικών συστημάτων. Όπως ήταν αναμενόμενο, τα νευρωνικά δίκτυα έχουν ήδη χρησιμοποιηθεί σε προβλήματα πρόβλεψης χρησιμοποιώντας ως εισόδους δεδομένα που προέρχονται από ημερολόγια κίνησης. Οι Lint et. al. (2005) χρησιμοποίησαν παλινδρομικά νευρωνικά δίκτυα για να προβλέψουν τους χρόνους ταξιδιού, τους οποίους αν γνωρίζουμε θα μπορούσαν να βοηθήσουν θετικά στο πρόβλημα της κυκλοφοριακής συμφόρησης. Οι Hu et. al. (2004) χρησιμοποιούν νευρωνικά δίκτυα Kohonen για να προβλέψουν την κλάση της τροχιάς (trajectory) ενός κινούμενου αντικειμένου. Οι συγγραφείς στην εργασία (Fablec & Alliot, 1999) ασχολούνται με το πρόβλημα πρόβλεψης μιας τροχιάς αεροσκάφους στο κατακόρυφο επίπεδο χρησιμοποιώντας νευρωνικά δίκτυα. Στην εργασία (Petzold et al., 2005) διερευνάται η απόδοση της πρόβλεψης της επόμενης θέσης σε εσωτερικούς χώρους χρησιμοποιώντας νευρωνικά δίκτυα τύπου Bayesian, ενώ επίσης γίνονται συγκρίσεις με διάφορες μεθόδους. Στην εργασία (Kumar & Venkataram, 2002), προτείνεται ένα νευρωνικό δίκτυο τύπου MLP για την πρόβλεψη θέσης. Η μέθοδος προβλέπει τη μελλοντική θέση ενός κινητού με βάση το ιστορικό του προτύπου κίνησής του. Στην εργασία (Ju et al., 2004) προτείνεται μία νέα προσέγγιση για την εκτίμηση μιας πραγματικού χρόνου τροχιάς ενός κινούμενου αντικειμένου, η θέση του αντικειμένου λαμβάνεται από τα δεδομένα της εικόνας μιας κάμερας και χρησιμοποιούνται νευρωνικά δίκτυα Kohonen. Σε αυτήν την πτυχιακή εργασία χρησιμοποιήθηκε το σύνολο κινούμενων αντικειμένων που προέρχεται από μία πόλη του Βελγίου, τη Φλάνδρα, έτσι ώστε να 12

13 εκπαιδευτούν μοντέλα νευρωνικών δικτύων RBF και MLPs. Συγκεκριμένα, εκπαιδεύτηκαν μια σειρά από νευρωνικά δίκτυα προκειμένου να προβλεφθεί η κατηγορία μελλοντικής θέσης, ο τύπος δραστηριότητας και η κατηγορία σημείου ενδιαφέροντος του χρήστη. Με βάση τα αποτελέσματα που προέκυψαν επιβεβαιώθηκε ότι τα μοντέλα νευρωνικών δικτύων μπορούν να χρησιμοποιηθούν με επιτυχία σε προβλέψεις με χρήση δεδομένων κινούμενων αντικειμένων. Επιπλέον, τα νευρωνικά δίκτυα RBF που εκπαιδεύτηκαν με τον αλγόριθμο των ασαφών μέσων έδωσαν καλύτερα αποτελέσματα από τα μοντέλα MLPs σε όλες τις εφαρμογές. Η δομή της παρούσας πτυχιακής εργασίας είναι η ακόλουθη: Στο πρώτο κεφάλαιο παρουσιάζεται η έννοια του χωροχρόνου, των κινούμενων αντικειμένων και της τροχιάς αντικειμένου. Ιδιαίτερη έμφαση δίνεται στις σημασιολογικές τροχιές. Στο δεύτερο κεφάλαιο δίνεται μια συνοπτική εικόνα των τεχνητών νευρωνικών δικτύων και της ιστορίας τους. Αναλύεται η δομή του ενός νευρώνα και η έννοια της μάθησης των νευρωνικών δικτύων. Επίσης, παρουσιάζονται οι δύο πιο γνωστές αρχιτεκτονικές νευρωνικών δικτύων, MLPs και RBF. Στο τρίτο κεφάλαιο παρουσιάζεται ένας αριθμός εργασιών που αφορά σε προβλέψεις με χρήση δεδομένων κινούμενων αντικειμένων. Αναλύονται τα διαθέσιμα δεδομένα και περιγράφεται η τεχνική μοντελοποίησης των εφαρμογών που πραγματοποιήθηκαν στα πλαίσια αυτής της εργασίας. Στο τέταρτο κεφάλαιο, παρουσιάζονται τέσσερις εφαρμογές όπου χρησιμοποιούνται οι δύο πιο διαδεδομένες αρχιτεκτονικές νευρωνικών δικτύων, RBF και MLPs. Τέλος, συνοψίζονται τα συμπεράσματα που προέκυψαν από την εκπόνηση αυτής της εργασίας. 13

14 ΤΡΟΧΙΕΣ ΚΙΝΟΥΜΕΝΩΝ ΑΝΤΙΚΕΙΜΕΝΩΝ Παντού στον κόσμο υπάρχουν αντικείμενα, ζωντανά ή άψυχα, αντικείμενα που υπάρχουν στη φύση ή αντικείμενα τα οποία επινόησε ο άνθρωπος. Οι τρόποι με τους οποίους αλληλεπιδρούν είναι ποικίλοι και η μελέτη τους εκτείνεται από τη φυσική, τα μαθηματικά, τη βιολογία έως και τα οικονομικά. Το ενδιαφέρον των ερευνητών παρουσιάζεται στα αντικείμενα που κινούνται, όπως οι άνθρωποι και τα ζώα. Η μελέτη και η καταγραφή της κίνησης των κινούμενων αντικειμένων μπορούν να δώσουν πολύ σημαντικές πληροφορίες, οι οποίες μπορούν να αξιοποιηθούν σε πολλούς τομείς. Το παρόν κεφάλαιο παρουσιάζει συνοπτικά την έννοια του χωροχρόνου και των χωροχρονικών δεδομένων. Επίσης, γίνεται μία σύντομη αναφορά στην έννοια των κινούμενων αντικειμένων, των κατηγοριών και των συστημάτων κινούμενων αντικειμένων. Τέλος, περιγράφονται οι τροχιές κινούμενων αντικειμένων και ειδικότερα οι σημασιολογικές τροχιές στις οποίες δόθηκε έμφαση στη συγκεκριμένη εργασία. 1.1 Εισαγωγή στον Χωροχρόνο Η έννοια του χωροχρόνου πρωτοεμφανίστηκε το 1908 σε μια μαθηματική πραγματεία του Minkowski για τη γεωμετρία του Χώρου και του Χρόνου όπως αυτή είχε οριστεί στην ειδική θεωρία της σχετικότητας του Einstein. Ο Αϊνστάιν είχε δημοσιεύσει το 1905 ένα άρθρο που σχετιζόταν με τους θεμελιώδεις νόμους του ηλεκτρομαγνητισμού και ονομαζόταν «Περί της ηλεκτροδυναμικής των εν κινήσει σωμάτων». Αυτή η θεωρία προκάλεσε στις αρχές του 20ού αιώνα μια από τις μεγαλύτερες ανατροπές δεδομένων στον κόσμο της φυσικής. Στη Φυσική, ο χωρόχρονος είναι το μαθηματικό μοντέλο που ενώνει τον χώρο και τον χρόνο σε ένα συνεχές μέσο. Ο χωροχρόνος συνήθως ερμηνεύεται ως συνδυασμός του ευκλείδειου χώρου τριών διαστάσεων με τον χρόνο ως μια επιπρόσθετη διάσταση, οπότε προκύπτει ένα πολύπτυχο μόρφωμα (manifold) 14

15 τεσσάρων διαστάσεων. Η τέταρτη διάσταση, αυτή του χρόνου, είναι διαφορετική από τις άλλες τρεις που αφορούν μήκος στον ευκλείδειο χώρο. Στην Κλασική μηχανική η χρήση της ευκλείδειας γεωμετρίας είναι κατάλληλη καθώς ο χρόνος μπορεί να παραλείπεται από τη μαθηματική περιγραφή των υπό εξέταση συστημάτων, αφού είναι ο ίδιος παντού για τα αντικείμενα και τον παρατηρητή. Όταν όμως μελετούμε σχετικιστικές κινήσεις των σωμάτων, όταν δηλαδή έχουμε ταχύτητες που προσεγγίζουν την ταχύτητα του φωτός, τότε ο χρόνος δεν μπορεί να παραλειφθεί από τη μαθηματική περιγραφή και το σημείο στον χώρο ανάγεται πια σε γεγονός στον χωροχρόνο. Όταν μελετούμε σχετικιστικά φαινόμενα, προσπαθώντας να τα κατανοήσουμε με ευκλείδεια γεωμετρία σε χώρο τριών διαστάσεων, ο χρόνος αλλοιώνεται καθώς παίζει ρόλο η ταχύτητα του σώματος που μελετάται ως προς τον παρατηρητή και η επίδραση της βαρύτητας φαίνεται να επιβραδύνει το «πέρασμα του χρόνου». Κοιτώντας σε τέσσερις διαστάσεις, απλά λέμε πως ο χωροχρόνος «καμπυλώνει». Ο χωροχρόνος με τέσσερις διαστάσεις καλύπτει επαρκώς την περιγραφή των βαρυτικών αλληλεπιδράσεων των σωμάτων στο σύμπαν που παρατηρούμε και βιώνουμε. Μια θεωρία που προσπαθεί να ενοποιήσει όλες τις δυνάμεις όμως χρειάζεται περισσότερες διαστάσεις για να περιγράψει ενοποιημένα και τις δυνάμεις πλέον της βαρύτητας, όπως τις δυνάμεις που κυριαρχούν σε υποατομικό επίπεδο. Έτσι έχουμε για παράδειγμα τη Θεωρία-M η οποία προσδίδει στο χωροχρονικό συνεχές 11 διαστάσεις. 1.2 Χωροχρονικά δεδομένα Με τις τεχνολογικές εξελίξεις στους απομακρυσμένους αισθητήρες (remote sensors), τα δίκτυα αισθητήρων (sensor networks), και τον ταχύ πολλαπλασιασμό των συσκευών που είναι εφοδιασμένες με τεχνολογίες εντοπισμού θέσης και έχουν εισέλθει στην καθημερινή μας ζωή και επαγγελματική δραστηριότητα, έχει παρατηρηθεί τα τελευταία χρόνια ραγδαία αύξηση της δημιουργίας ποικίλων, δυναμικών και γεωγραφικά διάσπαρτων χωροχρονικών δεδομένων. Η κίνηση ανάγεται σε χωρική και χρονική. Πιο συγκεκριμένα, η μετακίνηση μπορεί να περιγραφεί ως συνεχής αλλαγή θέσης μεταξύ δύο διαφορετικών χρονικών στιγμών σε συγκεκριμένο γεωγραφικό χώρο (Macedo et al., 2008). 15

16 Με τον όρο χωροχρονικά δεδομένα νοούνται τα δεδομένα που συνδυάζουν χωρική πληροφορία με τη διάσταση του χρόνου. Θα πρέπει να σημειωθεί ωστόσο ότι υπάρχουν δυο διαφορετικά είδη χωροχρονικών δεδομένων: τα κινούμενα χωροχρονικά δεδομένα που περιλαμβάνουν την έννοια της κίνησης όπως ένα αυτοκίνητο ή ένας πεζός και τα στατικά χωροχρονικά δεδομένα όπως ένα κτήριο ή μια λίμνη. Όταν το ενδιαφέρον στρέφεται σε αντικείμενα που δεν είναι στατικά, τότε κρίνεται απαραίτητη η χρήση χωροχρονικής πληροφορίας. Για παράδειγμα, η γνώση της θέσης ενός αντικειμένου στον χώρο σε συνδυασμό με τη γνώση της χρονικής στιγμής που το αντικείμενο βρισκόταν σε εκείνη τη θέση, αποτελεί χωροχρονική πληροφορία. Όσον αφορά στα δεδομένα κίνησης, μια τυπική κατηγορία είναι τα δεδομένα χρονοσημασμένης θέσης (time-stamped location), τα οποία μπορούν να συλλεχθούν από συσκευές με τεχνολογίες εντοπισμού θέσης, όπως GPS (Global Positioning System). 1.3 Κινούμενα αντικείμενα Ο κόσμος μας είναι συνωστισμένος από κινούμενα αντικείμενα. Η κινητικότητα των αντικειμένων δημιουργεί κίνηση (traffic) και η κίνηση δημιουργεί μοτίβα (patterns). Η ανάλυση και η κατανόηση των μοτίβων κίνησης μπορεί να οδηγήσει στην εξαγωγή σημαντικών συμπερασμάτων. Η κίνηση που εκτελεί ένα σύνολο αντικειμένων εξαρτάται άμεσα από τη φύση τους. Κάποια αντικείμενα μπορεί να εκτελούν προκαθορισμένη κίνηση (δρομολόγια τρένων), ενώ κάποια άλλα εντελώς ακανόνιστη (ζώα στο δάσος). Γενικά, μια εφαρμογή που παρακολουθεί αντικείμενα εν κινήσει συνήθως αγνοεί οποιαδήποτε πληροφορία για την κίνηση που πρόκειται να εκτελεστεί. Στις περισσότερες εφαρμογές, το μόνο που είναι διαθέσιμο είναι η θέση των αντικειμένων σε διάφορα χρονικά διαστήματα. Πέρα από αυτό, η εφαρμογή αγνοεί τις προθέσεις που έχουν τα αντικείμενα ως προς την κίνηση που πρόκειται να εκτελέσουν. Βάσει αυτού, η κίνηση των αντικειμένων προς παρακολούθηση θεωρείται αυθαίρετη και άτακτη. Τα αντικείμενα μπορούν να κινηθούν οπουδήποτε εκτός και αν υπάρχει κάποιο φυσικό εμπόδιο. Συνήθως, τα εμπόδια αγνοούνται πλήρως από την εφαρμογή παρακολούθησης, ενώ σε πιο εξειδικευμένες εφαρμογές μπορούν να λαμβάνονται υπόψη. Η γνώση των φυσικών εμποδίων μπορεί να φανεί χρήσιμη για την διόρθωση 16

17 σφαλμάτων κατά τη μέτρηση θέσεως και για την απλοποίηση υπολογισμών Κατηγορίες κίνησης αντικειμένων Η κίνηση των αντικειμένων είναι πολύ πιθανόν να διέπεται από περιορισμούς, αφού δεν είναι λογικό να υποτεθεί ότι αυτά κινούνται ανεμπόδιστα σε έναν δισδιάστατο ευκλείδειο χώρο. Έτσι, οι κινήσεις μπορούν να διακριθούν σε τρεις κύριες κατηγορίες: Κίνηση χωρίς περιορισμούς: Προϋποθέτει ως υπόβαθρο ένα τέλειο ευκλείδειο επίπεδο, για παράδειγμα η κίνηση πλοίων στη θάλασσα. Κίνηση υπό περιορισμούς: Θεωρείτε ότι υφίστανται φυσικά εμπόδια που δυσχεραίνουν ή απαγορεύουν τη μετάβαση, για παράδειγμα η κίνηση των οχημάτων. Κίνηση σε δίκτυα μεταφορών: Είναι μια υποπερίπτωση της κίνησης υπό περιορισμούς, αφού η μετατόπιση των αντικειμένων συμβαίνει αποκλειστικά πάνω στο δίκτυο και όχι γενικά στο δισδιάστατο επίπεδο, για παράδειγμα το οδικό δίκτυο. Τέλος, πρέπει να σημειωθεί ότι η έννοια της απόστασης είναι διαφορετική όταν η κίνηση συναντά εμπόδια. Για παράδειγμα, δεν μπορεί να χρησιμοποιηθεί η ευκλείδεια απόσταση μεταξύ δύο θέσεων, αφού η τροχιά, εφόσον δεν είναι ευθύγραμμο τμήμα, μπορεί να χρειάζεται να παρακάμψει εμπόδια. Με αποτέλεσμα, αν η τροχιά εξελίσσεται σε δίκτυο, η πραγματική απόσταση προκύπτει από τα μήκη των τμημάτων που συνδέουν τις συγκεκριμένες θέσεις Συστήματα κινούμενων αντικειμένων Η ραγδαία τεχνολογική εξέλιξη στο χώρο των συστημάτων γεωγραφικού εντοπισμού (GPS, ασύρματες τηλεπικοινωνίες κ.ά.), προσφέροντας όλο και μεγαλύτερη ακρίβεια με μικρότερο κόστος, έχει δώσει ώθηση σε έναν αυξανόμενο αριθμό εφαρμογών στον τομέα των βάσεων δεδομένων. Αυτές οι εφαρμογές καλούνται να διαχειριστούν τα λεγόμενα χωροχρονικά φαινόμενα, δηλαδή χωρικά αντικείμενα των οποίων η θέση ή η έκταση μεταβάλλεται με την πάροδο του χρόνου. 17

18 Η μελέτη γύρω από τις χωροχρονικές βάσεις δεδομένων έχει δώσει ενδιαφέροντα συμπεράσματα σε σχέση με τη διαχείριση κινούμενων αντικειμένων (Koubarakis et al., 2003). Το πρόγραμμα CHOROCHRONOS οδήγησε στη διατύπωση μιας άλγεβρας για κινούμενα αντικείμενα, από την πλευρά της μοντελοποίησης της κίνησης (Erwig et al., 1998). Επίσης, το αντικείμενο του προγράμματος DOMINO αφορούσε την πρόβλεψη μελλοντικών θέσεων κινούμενων αντικειμένων, κατασκευάζοντας προσχέδια κίνησης, χρησιμοποιώντας την τρέχουσα θέσης τους και υιοθετώντας την έννοια της αβεβαιότητας (Trajcevski et al., 2002). Έχει προταθεί ένας σημαντικός αριθμός μεθόδων δεικτοδότησης (indexing) ξεκινώντας από δύο διαφορετικές αφετηρίες. Η πρώτη ερευνητική προσέγγιση ενδιαφέρεται πρωτίστως για την αποτελεσματική αποθήκευση του ιστορικού της κίνησης (δηλαδή την τροχιά) των αντικειμένων και βασίζεται σε παραλλαγές της δομής R-tree (Hadjieleftheriou et al., 2002, Pfoser et al., 2000, Tao & Papadias, 2001). Παρά το γεγονός ότι οι προτεινόμενες δομές είναι σε θέση να απαντήσουν διάφορους τύπους ερωτημάτων, δεν μπορούν να υποστηρίξουν αποτελεσματικά συχνές ενημερώσεις (updates) των περιεχομένων τους με τα διαρκώς νεότερα στοιχεία της τροχιάς παράλληλα προς την επεξεργασία ερωτημάτων, ιδίως όταν απαιτούνται απαντήσεις σε πραγματικό χρόνο. Η δεύτερη ερευνητική προσέγγιση δίνει έμφαση στην πρόβλεψη μελλοντικών θέσεων, τηρώντας συνήθως ένα διάνυσμα ταχύτητας για κάθε κινούμενο αντικείμενο. Θεωρητικά επιτυγχάνονται ικανοποιητικές επιδόσεις (Agarwal et al., 2000, Kollios et al., 1999), αλλά σε πρακτικό επίπεδο υπάρχουν απαγορευτικές παραδοχές, όπως ο περιορισμός σε μονοδιάστατο χώρο. Κάποιες άλλες τεχνικές, βασισμένες σε R-trees (Šaltenis & Jensen, 2002, Šaltenis et al., 2000), εισάγουν το στοιχείο της παραμετροποίησης ως προς το χρόνο προκειμένου να αντιμετωπίσουν τη συνεχή αλλαγή θέσης των αντικειμένων. Τελευταία, έχει προταθεί μια παραλλαγή του R-tree (Lee et al., 2003) που χρησιμοποιεί βοηθητικές δομές περιλήψεων στην κύρια μνήμη για βελτιωμένη προσπέλαση των περιεχομένων του, εξαλείφοντας πλεονάζουσες διασχίσεις του δένδρου και επιτυγχάνοντας καλύτερες επιδόσεις στην απάντηση ερωτημάτων για χωρικές βάσεις δεδομένων. 18

19 1.4 Τροχιές κινούμενων αντικειμένων Από τη συστηματική περιγραφή χωροχρονικών φαινομένων προκύπτουν χωροχρονικά δεδομένα (spatiotemporal data). Η κίνηση ενός σημειακού αντικειμένου αποτελεί ένα τέτοιο φαινόμενο. Η κίνηση ενός αντικειμένου μπορεί να αναπαρασταθεί με την τροχιά του (trajectory) σε ένα τρισδιάστατο σύστημα αξόνων, το οποίο συντίθεται από τις δύο χωρικές διαστάσεις (x, y) και τη χρονική (t). Επιπλέον, πρέπει να σημειωθεί ότι η τροχιά ενός κινούμενου αντικειμένου πρέπει να θεωρείται ως αποτέλεσμα της αλληλεπίδρασής του με άλλα στατικά ή επίσης κινούμενα αντικείμενα, για τον λόγο αυτό, συχνά, η πορεία του απεικονίζεται ως μια τεθλασμένη γραμμή. Καθώς ένα αντικείμενο κινείται, χαρακτηρίζεται από μεγέθη όπως η ταχύτητά του, η πορεία που ακολουθεί και η θέση του στο χώρο. Μεγάλης σημασίας πληροφορία αποτελεί η ιστορία της κίνησής του, από όπου μπορούν να εξαχθούν σημαντικές πληροφορίες ανάλογα με την φύση του αντικειμένου. Πολλά αντικείμενα στον κόσμο έχουν προδιαγεγραμμένη κίνηση, η οποία είναι γνωστή ή μπορεί να προβλεφθεί εκ των προτέρων. Για παράδειγμα, οι πλανήτες και οι δορυφόροι, εκτελούν περιοδική κίνηση γύρω από άλλα ουράνια σώματα, με αποτέλεσμα, η εξακρίβωση της θέσης τους να γίνεται εύκολα χρησιμοποιώντας μαθηματικές εξισώσεις. Αντιθέτως, υπάρχουν αντικείμενα τα οποία κινούνται άτακτα, δίχως να υπάρχει κάποιος τρόπος να προϋπολογιστεί η κίνηση που θα εκτελέσουν, όπως οι πεζοί σε μια πόλη. Η κίνηση των αντικειμένων αυτών παρουσιάζει επιπλέον ενδιαφέρον λόγω της δυσκολίας που δημιουργεί στη μελέτη της σε πραγματικό χρόνο. Καταγράφοντας τις διαδοχικές θέσεις ενός κινούμενου αντικειμένου προκύπτει η τροχιά του. Προκειμένου να είναι ακριβής η αναπαράσταση της πορείας του, η θέση του αντικειμένου θα πρέπει να καταγράφεται συνεχώς με την πάροδο του χρόνου. Εν τούτοις, κάτι τέτοιο είναι πρακτικά ανέφικτο, αφού οι υπάρχουσες τεχνολογικές δυνατότητες (τηλεπικοινωνίες, GPS) παρέχουν μόνο ένα δείγμα των θέσεων του αντικειμένου. Έτσι, πρέπει οι επιδιώξεις της μοντελοποίησης να συμβιβαστούν με το γεγονός ότι οι σημειακές θέσεις των αντικειμένων λαμβάνονται από τις συσκευές καταγραφής σε διακριτές χρονικές στιγμές, επομένως η τροχιά πρέπει να αντιμετωπίζεται ως δειγματοληψία της πραγματικής κίνησης. Οι συντεταγμένες των θέσεων πρέπει να είναι άρρηκτα συνδεδεμένες με τα χρονικά 19

20 ορόσημα (timestamps) όπου σημειώθηκαν, οπότε κάθε σημείο της τροχιάς προσδιορίζεται από την τριάδα (x, y, t). Μια πρώτη προσέγγιση θα ήταν η αποθήκευση αυτού του δείγματος θέσεων με τη μορφή εγγραφών σε έναν πίνακα βάσης δεδομένων. Ωστόσο, κάτι τέτοιο θα σήμαινε ότι θα ήταν απροσδιόριστη η κίνηση του αντικειμένου μεταξύ των σημείων δειγματοληψίας. Έτσι, συνήθως γίνεται απόπειρα αναπαράστασης ολόκληρης της κίνησης των αντικειμένων με κάποια τεχνική όπως είναι η μέθοδος της παρεμβολής (interpolation). Όσον αφορά στις περισσότερες σχετικές εφαρμογές, η μέθοδος της γραμμικής παρεμβολής εμφανίζεται επαρκής. Κατά συνέπεια, τα γνωστά σημεία θεωρούνται ως άκρα διαδοχικών ευθυγράμμων τμημάτων, σχηματίζοντας μια τεθλασμένη πολυγραμμή (polyline) που απεικονίζει την τροχιά του αντικειμένου στον τρισδιάστατο χώρο (x, y, t). Μολονότι μια συνάρτηση που προσεγγίζει τα διάφορα τμήματα της καμπύλης της τροχιάς γραμμικά είναι υπολογιστικά απλούστερη, η χρήση πολυωνύμων ανώτερου βαθμού εμφανίζει κάποια πλεονεκτήματα. Η κίνηση θα μπορούσε να αποδοθεί ενδεχομένως με λιγότερα τμήματα, πιθανόν και με περισσότερη ακρίβεια ως προς την πραγματική τροχιά. Πράγματι, σπανίως η κίνηση των αντικειμένων είναι απαρέγκλιτα γραμμική, ενώ οι απότομες στροφές δεν είναι αληθοφανείς. Αφετέρου, εάν η ταχύτητα υπολογιστεί από την πρώτη παράγωγο της συνάρτησης, προκύπτει ένα σταθερό μέγεθος, ενώ η δεύτερη παράγωγος (η επιτάχυνση) δεν μπορεί να προσδιοριστεί. Κατά συνέπεια, η χρήση πολυωνύμων τρίτου βαθμού (κυβικών συναρτήσεων) ίσως αποτελεί ικανοποιητικό συμβιβασμό μεταξύ απλότητας υπολογισμών και επαρκούς προσέγγισης. Όμως, μια τέτοια τακτική υποχρεωτικά επιβάλλει τον εξεύρεση νέων αλγορίθμων και συναρτήσεων για λειτουργίες όπως η κινούμενη απόσταση, αφού η πλειονότητα των αλγορίθμων που έχουν αναπτυχθεί στο πεδίο της Υπολογιστικής Γεωμετρίας αφορούν γραμμικά σχήματα Αναπαράσταση τροχιάς Μία τροχιά μπορεί να οριστεί ως μία συνάρτηση από το χρονικό I πεδίο στο γεωγραφικό χώρο 2, δηλαδή στο δισδιάστατο επίπεδο. Πιο συγκεκριμένα, μία τροχιά T είναι μία συνεχής αναπαράσταση από το χρονικό I στο χωρικό πεδίο ( 2 στο δισδιάστατο επίπεδο): 20

21 2 I t a t ax t ay t t και T a t a t t t I 2 x( ), y( ), : ( ) ( ), ( ),, Πρακτικά, μία τροχιά είναι η καταγραφή της κίνησης ενός αντικειμένου, δηλαδή η καταγραφή των θέσεων ενός αντικειμένου σε συγκεκριμένα χρονικά αποτυπώματα. Η πραγματική τροχιά αποτελείται στη γενική περίπτωση από μία καμπύλη (όπως φαίνεται στο σχήμα 1.1), η οποία αποτελείται από μία σειρά από δειγματοληπτούμενα σημεία, δηλαδή τις θέσεις του αντικειμένου σε συγκεκριμένα χρονικά αποτυπώματα (όπως φαίνεται στο σχήμα 1.2). Έτσι, οι τροχιές κινούμενων σημείων συχνά ορίζονται ως ακολουθίες τριάδων (x, y, t):, y,,, y,,...,, y, t T x1 1 t1 x2 2 t2 x n n n, όπου x, y, t i i i, και t1 t2... tn, και η καμπύλη της τροχιάς δημιουργείται κατά προσέγγιση εφαρμόζοντας χωροχρονικές μεθόδους παρεμβολής στο σύνολο των τυχαίων σημείων. Σχήμα 1.1. Πραγματική τροχιά 21

22 Σχήμα 1.2. Τροχιά ύστερα από δειγματοληψία 1.5 Σημασιολογικές τροχιές Σχετικές εργασίες Η κινητικότητα (mobility) είναι μία από τις σημαντικότερες λέξεις-κλειδιά που χαρακτηρίζουν την τρέχουσα εξέλιξη της κοινωνίας μας. Οι ιδέες των ανθρώπων εξελίσσονται πιο γρήγορα από ποτέ. Παντού εγκαταστάσεις πληροφορικής και υπηρεσίες έχουν υποστηρίξει πολύ την ανθρώπινη κινητικότητα. Πιο πρόσφατα, τα GPS και άλλες συσκευές εντοπισμού επέτρεψαν την καταγραφή της γεωγραφικής θέσης των κινούμενων αντικειμένων. Ένας τεράστιος αριθμός δεδομένων παρακολούθησης έχει δημιουργηθεί, προς όφελος των νέων εφαρμογών που βασίζονται στη γνώση αυτής της κίνησης. Ερευνητές που ασχολούνται με τον χώρο των βάσεων δεδομένων, GIS, απεικόνισης και εξόρυξης δεδομένων έχουν αναπτύξει μοντέλα και τεχνικές για την ανάλυση της κινητικότητας. Τα αποτελέσματά που έχουν εξάγει αποτελούν ένα σημαντικό βήμα σε σχέση με προηγούμενες εργασίες που έχουν πραγματοποιηθεί, για παράδειγμα το έργο ΕΕ Χωρόχρονος (Koubarakis et al., 2003) σε χωροχρονικά δεδομένα, και η εργασία των Güting et al. σε κινούμενα αντικείμενα (Güting et al., 2000). Συγκεκριμένα, οι Güting et al. παρουσιάζουν ένα σύστημα βάσεων δεδομένων και γλώσσα επερωτήσεων, με τα οποία μπορούν και χειρίζονται τις γεωμετρίες που εξαρτώνται από τον χρόνο, συμπεριλαμβανομένων εκείνων που αλλάζουν συνεχώς, δηλαδή αυτών που περιγράφουν κινούμενα αντικείμενα. Αποδεικνύεται ότι εκτός από τα κύρια είδη ενδιαφέροντος, κινούμενο σημείο και κινούμενης περιοχής, απαιτείται ένας σχετικά μεγάλος αριθμός βοηθητικών τύπων. Για παράδειγμα, χρειάζεται ένας 22

23 τύπος γραμμής που να αντιπροσωπεύει την προβολή ενός κινούμενου σημείου μέσα στο αεροπλάνο. Η εργασία αυτή των Güting et al. οδηγεί σε ένα απλό και εκφραστικό σύστημα αφηρημένων τύπων δεδομένων που μπορούν να ενσωματωθούν σε μία γλώσσα επερωτήσεων για να δώσει μία ισχυρή γλώσσα ερωτημάτων για χωροχρονικά δεδομένα, συμπεριλαμβανομένων των κινούμενων αντικειμένων. Στο σχήμα 1.3 παρουσιάζονται κάποιες τιμές γεωμετρικών τύπων δεδομένων. Μια λεπτομερής έρευνα σε κινούμενα αντικείμενα έχει δημοσιευθεί στο (Giannotti et al., 2008), ως μέρος του έργου ΕΕ GeoPKDD ( Κατά τη διάρκεια των τελευταίων ετών οι τεχνικές κινητικότητας έχουν επεκταθεί σε σημαντικό βαθμό. Συγκεκριμένα, μια νέα πολλά υποσχόμενη προσέγγιση έχει σχεδιαστεί για να παρέχει εφαρμογές με πλουσιότερη και πιο ουσιαστική γνώση για την κίνηση. Αυτό επιτυγχάνεται συνδυάζοντας τις ακατέργαστες κινούμενες διαδρομές (raw mobility tracks) (π.χ. δεδομένα GPS) με τα συναφή συμφραζόμενα δεδομένα (related contextual data). Αυτές οι εμπλουτισμένες εγγραφές διαδρομών ονομάζονται σημασιολογικές τροχιές (semantic trajectories). Μερικές από τις ιδέες και τεχνικές που αναπτύχθηκαν πρόσφατα και αφορούν στις ακατέργαστες τροχιές (raw trajectories) παρουσιάζονται στο (Zheng et al., 2011b). Η ιδέα της τροχιάς προέρχεται από την ικανότητα να καταγράφει (capture) την κίνηση ενός αντικειμένου που κινείται στο γεωγραφικό χώρο για κάποιο χρονικό διάστημα. Η καταγραφή της κίνησης γίνεται για κάθε κινούμενο αντικείμενο και για κάθε διαδρομή κίνησής του. Μία διαδρομή κίνησης (movement track) αποτελείται βασικά από μία χρονική ακολουθία χωροχρονικών θέσεων - δηλαδή ζεύγη (χρονικό στίγμα, σημείο) που καταγράφονται για το κινούμενο αντικείμενο. Ωστόσο, ανάλογα με τις δυνατότητες της συσκευής, συμπληρωματικά στοιχεία, π.χ. η στιγμιαία ταχύτητα ή ακινησία, η επιτάχυνση, η κατεύθυνση και η περιστροφή, μπορούν να συμπληρώνουν τα ζεύγη (χρονικό στίγμα, σημείο). Τα δεδομένα που καταγράφονται από τη συσκευή αποκαλούνται ακατέργαστα δεδομένα (raw data). Σχήμα 1.3. Τιμές γεωμετρικών τύπων δεδομένων 23

24 Οι ακατέργαστες κινούμενες διαδρομές (raw movement tracks) μπορούν να χρησιμοποιηθούν όπως είναι, για περαιτέρω ανάλυση ή να μετατραπούν σε άλλα είδη που αναπαριστούν κίνηση. Για παράδειγμα, μια εφαρμογή η οποία μελετά τον τρόπο με τον οποίο εξαπλώνεται η κίνηση σε παγκόσμιο επίπεδο σε μια συγκεκριμένη περιοχή μπορεί να επιλέξει για μια συνεχή άποψη του χώρου κίνησης και να καταγράψει την κίνηση ως ένα πεδίο διανυσμάτων πάνω σε αυτό το χώρο. Μία εφαρμογή που αναλύσει την παγκόσμια ροή των κινούμενων αντικειμένων μεταξύ διακριτών συνόλων αποτελούμενα από σημεία (π.χ. πολυσύχναστα μέρη μέσα στην πόλη) μπορεί να συγκεντρώσει τις μεμονωμένες κινούμενες διαδρομές στα άκρα μεταξύ των κόμβων ενός δικτύου ροής. Για παράδειγμα, οι Orellana et al. χρησιμοποιούν κινούμενες διαδρομές, στους τομείς των φορέων και των ροών για να αναλύσουν κινήσεις ανθρώπων σε χώρους αναψυχής (Orellana et al., 2009). Συγκεκριμένα, παρουσιάζουν ένα νέο τύπο κίνησης, όπου η κίνηση είναι αποτέλεσμα της αλληλεπίδρασης των ατόμων, των ομάδων και του περιβάλλοντος. Η εφαρμογή αυτού του εννοιολογικού μοντέλου έδωσε τη δυνατότητα να αποκαλυφθούν πρότυπα αλληλεπίδρασης σε μια ομάδα παιδιών που συμμετείχαν σε ένα υπαίθριο παιχνίδι που βασιζόταν στην τεχνολογία της κινητής (mobile technology). Στο σχήμα 1.4 παρουσιάζονται όλες οι τροχιές των παιδιών που συμμετέχουν στο παιχνίδι και το αποτέλεσμα της ανάλυσης φαίνεται στο σχήμα 1.5. Υπάρχουν, επίσης, αναλύσεις κινήσεων που δεν στηρίζονται καθόλου σε κινούμενες διαδρομές (π.χ. αναλύσεις της κίνησης του σώματος, όπως τα μάτια ή τα χέρια). Σχήμα 1.4. Τροχιές παιδιών που συμμετέχουν στο παιχνίδι 24

25 Σχήμα 1.5. Δίκτυο κινήσεων όπου φαίνονται οι ελκυστές Από τις κινούμενες διαδρομές στις τροχιές Σε πολλές εφαρμογές το ενδιαφέρον δεν εστιάζεται στη διατήρηση και την εξαντλητική ανάλυση των εγγραφών των κινήσεων, αλλά επιλέγονται μόνο κάποια τμήματα. Τα τμήματα των διαδρομών των αντικειμένων που παρουσιάζουν ενδιαφέρον για τις δεδομένες εφαρμογές ονομάζονται τροχιές (trajectories). Για παράδειγμα, στον τουριστικό τομέα, για την ανάλυση των δραστηριοτήτων ενός τουρίστα κατά τη διάρκεια της παραμονής του σε μία πόλη, όλη η διαδρομή που καταγράφηκε από τον τουρίστα θα ληφθεί ως μία ενιαία τροχιά. Για να αναλυθεί τι κάνουν οι τουρίστες κατά τη διάρκεια μιας μέρας στην πόλη που επισκέφτηκαν, ή τι κάνουν σε συγκεκριμένες ημέρες (π.χ., τις Κυριακές), κάθε καθημερινή διαδρομή ενός τουρίστα λαμβάνεται ως ξεχωριστή τροχιά. Στο σχήμα 1.6 παρουσιάζεται (ως διακεκομμένη γραμμή) ένα τμήμα της κινούμενης διαδρομής ενός κινούμενου αντικειμένου και, τοποθετούμενα σε συνεχή γραμμή, δύο τμήματα που προσδιορίζονται ως σχετικές τροχιές. Κάθε τροχιά προσδιορίζεται από δύο ειδικές χωροχρονικές θέσεις κινούμενων αντικειμένων, οι οποίες ονομάζονται «Αρχή» και «Τέλος» της πορείας: αποτελούν την πρώτη και την τελευταία θέση του αντικειμένου αυτής της τροχιάς (Spaccapietra et al., 2008). Ορισμός: Μια ακατέργαστη τροχιά είναι μια τροχιά που προέρχεται από μία ακατέργαστη διαδρομή κίνησης και περιέχει μόνο τα μη επεξεργασμένα δεδομένα του διαστήματος Αρχή-Τέλος. 25

26 Σχήμα 1.6. Τμήμα κινούμενης διαδρομής Πρέπει να σημειωθεί ότι η διαδρομή κίνησης περιέχει μόνο τα σημεία που καταγράφονται σε κάποιες δειγματοληπτικές στιγμές, ενώ η κίνηση είναι συνεχής, με αποτέλεσμα να είναι μια προσέγγιση της πραγματικής κίνησης. Συχνά, χρησιμοποιούνται συναρτήσεις παρεμβολής ούτως ώστε να υπολογιστεί η πιθανή θέση του κινούμενου αντικειμένου για οποιαδήποτε στιγμή μεταξύ δύο διαδοχικών θέσεων δειγματοληψίας. Οι εκτιμώμενες θέσεις συμπληρώνουν τις θέσεις που καταγράφηκαν και έτσι οικοδομείται η αλληλουχία της κίνησης. Ωστόσο, είναι συχνό φαινόμενο η περίπτωση μίας διαδρομής κίνησης όπου υπάρχει ένα αφύσικο χρονικό κενό μεταξύ δύο διαδοχικών θέσεων. Αυτό έχει ως αποτέλεσμα, από κάποια χρονική περίοδο και μετά η πληροφορία κίνησης του αντικειμένου να είναι ελλιπείς. Αν η πληροφορία κίνησης του αντικειμένου είναι ελλιπείς λόγω ενός τυχαίου γεγονότος (π.χ., λόγω δυσλειτουργίας της συσκευής) λέμε ότι υπάρχει ένα κενό (hole) στη διαδρομή. Αντιθέτως, αν η πληροφορία είναι σκόπιμα ελλιπείς (π.χ., ένας υπάλληλος απενεργοποίησε το GPS), τότε λέμε ότι υπάρχει ένα σημασιολογικό κενό (semantic gap). Τα σημασιολογικά κενά πρέπει να καταγράφονται ρητά, έτσι ώστε να διαφοροποιούνται από τα κενά. Τα κενά μπορούν μερικές φορές να «γεμίζουν», χρησιμοποιώντας π.χ. γραμμικούς αλγορίθμους παρεμβολής που εκτιμούν τις θέσεις που λείπουν. Αντιθέτως, τα σημασιολογία κενά, δεν πρέπει να συμπληρώνονται καθώς οι θέσεις που λείπουν, λείπουν σκόπιμα (Vazirgiannis & Wolfson, 2001). Για να διευκολυνθεί η συγκριτική ανάλυση των τροχιών, οι τροχιές μερικές φορές «συγχρονίζονται»: Όλες οι τροχιές υφίστανται νέα δειγματοληψία ώστε να μοιραστούν στην ίδια ακολουθία των τακτικά δειγματοληπτημένων στιγμών (Benkert et al., 2008, Gudmundsson et al., 2007, Laube et al., 2005). 26

27 1.5.2 Από τις ακατέργαστες τροχιές στις σημασιολογικές τροχιές Οι ακατέργαστες τροχιές προσαρμόζονται καλά σε εφαρμογές που στοχεύουν μόνο στον εντοπισμό κάποιου κινούμενου αντικειμένου (π.χ., πού ήταν η Μαρία στις 8 το πρωί στις 8 Μαρτίου του 2012;) ή στατιστικά στοιχεία υπολογιστών που αφορούν χωροχρονικά χαρακτηριστικά τροχιών (π.χ., τι ποσοστό των τροχιών έχουν μέση ταχύτητα άνω των 10χλμ./ώρα;). Ωστόσο, οι περισσότερες εφαρμογές εκτός από τα ακατέργαστα δεδομένα που έχουν συμπληρωθεί απαιτούν και πρόσθετες πληροφορίες στα πλαίσια της εφαρμογής. Για παράδειγμα, ερμηνεύοντας τις τροχιές των ατόμων μέσα σε μια πόλη απαιτούνται κάποιες γνώσεις σχετικά με τα χαρακτηριστικά της πόλης (π.χ. χάρτη, σημεία ενδιαφέροντος). Χάρη στις πληροφορίες για την πόλη, οι χωροχρονικές συντεταγμένες μπορούν να αντικατασταθούν με ονόματα οδών και διασταυρώσεων, ή με ονόματα αξιοθέατων, όπως καταστήματα, εστιατόρια και μουσεία. Οι πληροφορίες σχετικά με τις τρέχουσες εκδηλώσεις (π.χ. συναυλίες, εκθέσεις) επιτρέπουν για παράδειγμα στις εφαρμογές παρακολούθησης της κυκλοφορίας να διαφοροποιούν τις κανονικές συνθήκες κυκλοφορίας από τις συνθήκες κυκλοφορίας που αποτελούν εξαίρετες περιπτώσεις. Οι τρόποι με τους οποίους μπορεί να εισαχθεί γνώση, η οποία απορρέει από τα συμφραζόμενα, σε εφαρμογές ανάλυσης είναι οι εξής: i) υπολογίζοντας δυναμικά τις συνδέσεις στα επιθυμητά συμφραζόμενα αντικείμενα κατά τη διάρκεια των αναλύσεων ii) προετοιμάζοντας εκ των προτέρων τις τροχιές για αναλύσεις, δηλαδή υπολογίζοντας τις συνδέσεις στα συμφραζόμενα αντικείμενα και προσθέτοντας δεδομένα αυτών των αντικειμένων στις ακατέργαστες τροχιές. Η διαδικασία της πρόσθεσης της γνώσης στις ακατέργαστες τροχιές είναι γνωστή ως μια σημασιολογική διαδικασία εμπλουτισμού (semantic enrichment process). Ο εμπλουτισμός (enrichment) εκφράζει την ιδέα ότι τα υπάρχοντα στοιχεία συμπληρώνονται με πρόσθετα στοιχεία, που ονομάζονται σχολιασμοί (annotations). Εδώ, ένας σχολιασμός (annotation) μπορεί να είναι οποιαδήποτε τυχόν πρόσθετα στοιχεία που είναι συνδεδεμένα είτε με μια τροχιά στο σύνολό της, είτε με κάποιες 27

28 υπομονάδες του. Για παράδειγμα, σημειώνοντας τον στόχο του ταξιδιού ενός ατόμου είναι ένας σχολιασμός σε επίπεδο τροχιάς. Αντ αυτού, καταγράφοντας το μεταφορικό μέσο που χρησιμοποιείται από ένα άτομο σε κάθε θέση, είναι ένα σχόλιο που μπορεί να καταγραφεί σε επίπεδο θέσης (δηλαδή, κρατώντας μία τιμή ανά θέση). Μια τιμή σχόλιου (annotation value) είναι μία τιμή μεταβλητής ενός χαρακτηριστικού (π.χ. η σειρά "λεωφορείο") ή ένας σύνδεσμος (link) με ένα αντικείμενο συμφραζόμενων δεδομένων (π.χ. το κλειδί της πλειάδας "bus_line_13" στον πίνακα λεωφορείων). Μπορεί επίσης να είναι μία σύνθετη τιμή η οποία αποτελείται από τιμές χαρακτηριστικών και συνδέσμους με αντικείμενα. Οι τιμές σχολίων μπορούν να καταγραφούν από τους παρατηρητές ή από αισθητήρες (π.χ. στιγμιαία ταχύτητα). Επίσης, οι τιμές σχολίων μπορούν να υπολογιστούν από τα ακατέργαστα δεδομένα (π.χ. απόσταση από «Αρχή»), που προέρχονται από τα συμφραζόμενα στοιχεία (π.χ. τοπικές καιρικές συνθήκες), και τεκμαίρονται από τη συλλογιστική (reasoning) (π.χ. τα μεταφορικά μέσα μπορούν να προσδιοριστούν με βάση τα στοιχεία ταχύτητας και επιτάχυνσης, σε συνδυασμό με τη συμφραζόμενη γνώση σχετικά με τα δίκτυα μεταφορών και το οδικό δίκτυο) (Guc et al., 2008). Ένας άλλος τρόπος αύξησης της γνώσης σχετικά με τις τροχιές είναι μέσω των ομογενών τμημάτων που ονομάζονται επεισόδια (episodes) (Mountain & Raper, 2001), όπου ένα επεισόδιο ορίζεται ως μία μέγιστη υπο-αλληλουχία (sub-sequence) μιας τροχιάς έτσι ώστε όλες χωροχρονικές θέσεις να υπακούουν σε ένα δεδομένο κατηγόρημα (predicate). Το κατηγόρημα φέρει τις χωροχρονικές συντεταγμένες των θέσεων, σχολιασμούς τους και/ή χωροχρονικές σχέσεις τους με τα συμφραζόμενα αντικείμενα. Για παράδειγμα, η τροχιά ενός ατόμου μπορεί να υποδιαιρεθεί σε επεισόδια που καθορίζονται από τον σχολιασμό TransportationMeans. Έτσι, μια πορεία μπορεί να αποτελείται από ένα πρώτο επεισόδιο όπου TransportationMeans="πόδια", ακολουθούμενο από ένα δεύτερο επεισόδιο όπου TransportationMeans="λεωφορείο", και τελειώνει με ένα τρίτο επεισόδιο όπου TransportationMeans="πόδια" (Zheng et al., 2010). Μια πορεία μπορεί να είναι τμηματοποιημένη με διάφορους τρόπους που αντιστοιχούν σε οποιαδήποτε κριτήρια κατάτμησης, τα οποία θέτει η εφαρμογή που τα χειρίζεται. Ένα διαδεδομένο κριτήριο τμηματοποίησης είναι η ακινησία έναντι της κίνησης, το οποίο παράγει δύο ειδών επεισόδια, που ονομάζονται στάσεις (stops) και κινήσεις (moves). 28

29 Ορισμός: Μια σημασιολογική τροχιά (semantic trajectory) είναι μια τροχιά που έχει ενισχυθεί με σχολιασμούς και/ή ένα ή περισσότερα συμπληρωματικά τμήματα. Ένα ιδιαίτερο είδος τμηματοποιημένων τροχιών είναι οι σημασιολογικές τροχιές ταιριάσματος χάρτη (semantic map-matched trajectories). Αυτή η αναπαράσταση χρησιμοποιείται σε τροχιές αντικειμένων των οποίων οι κινήσεις περιορίζονται από ένα δίκτυο, όπως τα αυτοκίνητα ή τα τρένα (Cao & Wolson, 2005, Ding & Deng, 2011). Η τμηματοποίηση των τροχιών μπορεί να μεταφέρει μόνο μια μερική αναπαράσταση της κίνησης. Για παράδειγμα, για ένα χώρο που χωρίζεται σε ζώνες, οι τροχιές περιγράφονται ως ακολουθίες γεγονότων που δείχνουν πότε το αντικείμενο εισέρχεται σε μια νέα ζώνη(stewart-hornsby & Cole, 2007), ενώ κρατά τις ακολουθίες των ζευγαριών (αναγνωριστικόζώνης, διάρκεια) που δείχνουν τη διάρκεια που έκανε το κινούμενο αντικείμενο να διασχίσει τη ζώνη (Du Mouza & Rigaux, 2005) Βασικές έννοιες για τροχιές συμπεριφορές Υπάρχουν πολλοί τρόποι για να χρησιμοποιηθούν τα δεδομένα τροχιών. Για παράδειγμα, μπορούν να αναλυθούν οι τροχιές των τουριστών που επισκέπτονται μία πόλη ώστε για παράδειγμα να προταθούν εξατομικευμένες περιηγήσεις και υπηρεσίες, οι οποίες ρυθμίζουν τη ξενάγηση των τουριστών στα αξιοθέατα. Όλα βασίζονται στην ανάλυση των ομοιοτήτων και των διαφορών μεταξύ των τροχιών, ταξινομώντας τις τροχιές σε ομάδες παρόμοιων τροχιών, εντοπίζοντας τις ακραίες τιμές, εξάγοντας τα κοινά χαρακτηριστικά που διακρίνουν τη μια ομάδα από την άλλη. Μια συνοπτική περιγραφή μιας ομάδας τροχιών αποτελείται από μια σειρά από διακριτά χαρακτηριστικά. Αυτές οι συνοπτικές περιγραφές που ονομάζονται πρότυπα ή συμπεριφορές (Laube, 2009). Ορισμός: Μια συμπεριφορά τροχιάς (trajectory behavior) (ή εν συντομία συμπεριφορά) είναι ένα σύνολο χαρακτηριστικών που προσδιορίζει μια ιδιαίτερη σχέση ενός κινούμενου αντικειμένου ή ενός συνόλου κινούμενων αντικειμένων. Η συμπεριφορά χαρακτηρίζεται από ένα κατηγόρημα που προσδιορίζει εάν μια δεδομένη τροχιά (ή ένα δεδομένο σύνολο τροχιών) δείχνει συμπεριφορά. 29

30 Παραδείγματα συμπεριφοράς καθημερινών διαδρομών προσώπων που διακινούνται σε μια πόλη με GPS περιλαμβάνουν την τουριστική συμπεριφορά: Μια καθημερινή τροχιά δείχνει την τουριστική συμπεριφορά εάν το σημείο εκκίνησης είναι ένα σημείο τύπου "Διαμονή", κάνει τουλάχιστον μία στάση σε ένα σημείο τύπου «Μουσείο», κάνει μια στάση σε ένα σημείο τύπου "ΤόποςΕστίασης" και φτάνει στο τελικό σημείο που είναι ταυτόχρονα και το σημείο εκκίνησης. Το κατηγόρημα που χαρακτηρίζει μια συμπεριφορά μπορεί να επικαλεστεί χωροχρονικό χαρακτηριστικό διαδρομής. Μπορεί, επίσης, να επικαλεστεί σημασιολογική πληροφορία η οποία μεταφέρεται μέσω σχολίων και συμφραζόμενων στοιχείων που συνδέονται μέσω χωροχρονικών σχέσεων με τις τροχιές. Για κάθε συμπεριφορά, το κατηγόρημα βασίζεται σε διαφορετικά χαρακτηριστικά. Δεδομένης της έλλειψης μιας τυποποιημένης ταξινόμησης ή οντολογίας συμπεριφορών, είναι ουσιαστικής σημασίας για μία εφαρμογή που το αντικείμενό της είναι η κίνηση, να προσδιοριστούν με ακρίβεια τα κατηγορήματα των συμπεριφορών τροχιάς που είναι συναφή με τους στόχους της. Οι υπάρχουσες μελέτες ταξινόμησης περιλαμβάνουν χωροχρονικές συμπεριφορές (Dodge et al., 2008, Laube & Imfeld, 2002). Πιο πρόσφατες προτάσεις αναφέρονται σε σημασιολογικές συμπεριφορές που λαμβάνουν υπόψη τα χαρακτηριστικά εδάφους (π.χ. εμπόδια), καθώς και ορισμένες σημασιολογικές επισημειώσεις (π.χ. μέσα μεταφοράς) (Andrienko & Andrienko, 2007b) Σημασιολογικός εμπλουτισμός τροχιών Η προσθήκη στοιχείων στις ακατέργαστες τροχιές είναι μια διαδικασία που ονομάζεται σημασιολογικός εμπλουτισμός (semantic enrichment). Υπάρχει μεγάλος αριθμός εργασιών που το αντικείμενό τους είναι η κινητικότητα και προτείνουν ιδέες για τον εμπλουτισμό σημασιολογικών τεχνικών και προσεγγίσεων. Ιδιαίτερα, η κινητικότητα των ανθρώπων στην πόλη είναι ένας από τους πιο προσιτούς τομείς, δεδομένου του ότι είναι εύκολο να συλλέγονται δεδομένα από συσκευές GPS, οι οποίες εγκαθίστανται σε οχήματα και σε προσωπικά κινητά τηλέφωνα. Μια τυπική διαδικασία σημασιολογικού εμπλουτισμού τροχιών δέχεται ως είσοδο ένα σύνολο έγκυρων ακατέργαστων τροχιών, μια αποθήκη με συμφραζόμενα δεδομένα και παράγει ως έξοδο ένα σύνολο από σημασιολογικές τροχιές με σχόλια (semantically annotated trajectories) (εν συντομία σημασιολογικές τροχιές). 30

31 Οι τροχιές είναι δυνατό να συμπληρώνονται με σχόλια διαφορετικών επιπέδων λεπτομέρειας: τροχιά, επεισόδια και θέσεις. Ο σχολιασμός των θέσεων των τροχιών δεν είναι αποτελεσματικός, δεδομένου ότι μπορεί να δημιουργηθεί ένας μεγάλος αριθμός επαναλαμβανόμενων σχολιασμών. Ως εκ τούτου ο σχολιασμός γίνεται στο επεισόδιο και στα επίπεδα τροχιών. Ο σχολιασμός επεισοδίων απαιτεί πρώτα τον προσδιορισμό των επεισοδίων σε τροχιές. Η διαδικασία που προσδιορίζει τα επεισόδια ονομάζεται τμηματοποίηση τροχιάς (trajectory segmentation). Η τμηματοποίηση γίνεται με βάση κριτήρια που είναι ανάλογα με την εφαρμογή. Ένας συχνός τρόπος κατάτμησης μιας τροχιάς είναι ο διαχωρισμός σε χρονικές περιόδους πορείας όταν το αντικείμενο θεωρείται στατικό και όταν το αντικείμενο κινείται. Οι προγενέστερες περίοδοι συμβολίζονται ως στάσεις (stops), ενώ οι τελευταίες ως κινήσεις (moves). Σύμφωνα με τα παραπάνω, μια τροχιά είναι μια ακολουθία εναλλασσόμενων επεισοδίων στάσεων και κινήσεων, η οποία ξεκινά πάντα με μια κίνηση και έχει πολλές στάσεις ή μπορεί να μην έχει καθόλου στάσεις. Ως εκ τούτου, πρόκληση για τους ερευνητές αποτελεί η επεξεργασία τρόπων εντοπισμού στάσεων. Ο χαρακτηρισμός των επεισοδίων ως στάση ή κίνηση εξαρτάται από τις απαιτήσεις της εφαρμογής. Για παράδειγμα, σε μία εφαρμογή που αντικείμενό της είναι η τουριστική κίνηση, δεν θα εντοπίσει καμία κίνηση κατά τη διάρκεια του ύπνου, του φαγητού, ή της παρακολούθησης μιας θεατρικής παράστασης. Η αναγνώριση στάσεων εκτελείται χρησιμοποιώντας τις ακατέργαστες τροχιές. Προτάσεις για τον προσδιορισμό των επεισοδίων «στάση» μπορούν να βρεθούν σε έναν μεγάλο αριθμό εργασιών (Andrienko et al., 2007a, Ashbrook & Starner, 2003, Krumm & Horvitz, 2006, Zheng et al., 2011a). Αν ένας χρήστης σταματά κατά τη διάρκεια ενός ταξιδιού, τότε σημαίνει ότι υπάρχει κάτι ενδιαφέρον κοντά στη στάση του. Η ύπαρξη των σημείων ενδιαφέροντος (places of interest POIs) είναι εγγενής με την ανάλυση τροχιών. Οι αναλυτές θέλουν να γνωρίζουν ποια σημεία ενδιαφέροντος παρακινούν τους χρήστες να κάνουν στάση. Ως αποτέλεσμα υπάρχουν αρκετές εργασίες που αναφέρονται στους τρόπους καθορισμού των σημείων ενδιαφέροντος (Ashbrook et al., 2003, Spinsanti et al., 2010, Yan et al., 2010a). Στο (Liao et al., 2005) οι συγγραφείς σχολιάζουν τα επεισόδια στάσης σύμφωνα με τις δραστηριότητες που διεξάγονται και τον τρόπο μεταφοράς για τα επεισόδια κίνησης. Η βιβλιογραφία είναι πλούσια σε δημοσιεύσεις που ασχολούνται με σχολιασμούς δραστηριοτήτων, όπως στο (Cagnacci et al., 2010). 31

32 ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ Στο παρόν κεφάλαιο δίνεται μια συνοπτική εικόνα των τεχνητών νευρωνικών δικτύων. Παρουσιάζεται μία συνοπτική ιστορική αναδρομή όπου περιγράφεται σε γενικές γραμμές πως ξεκίνησε η ιδέα αυτή και ποιά είναι τα σημαντικότερα βήματα στην ανάπτυξή της. Στη συνέχεια αναλύεται η δομή του ενός νευρώνα και παρουσιάζεται η θεμελιακή ικανότητα των νευρωνικών δικτύων που τους επιτρέπει να μαθαίνουν από το περιβάλλον τους. Τέλος, παρουσιάζονται οι δύο πιο γνωστές αρχιτεκτονικές νευρωνικών δικτύων, οι οποίες χρησιμοποιήθηκαν σε αυτήν την εργασία. Συγκεκριμένα, περιγράφονται τα νευρωνικά δίκτυα τύπου feedforward, δηλαδή οι Πολλών-Στοιβάδων Αισθητήρες (Multi-Layer Perceptrons ή εν συντομία MLPs) και τα νευρωνικά δίκτυα Ακτινικής Συνάρτησης Βάσης (Radial Basis Function ή εν συντομία RBF), τα οποία αποτελούν μία ιδιαίτερη αρχιτεκτονική νευρωνικών δικτύων Γενικά Η Τεχνητή Νοημοσύνη (Artificial Intelligence, AI) ανήκει στο κλάδο της επιστήμης των υπολογιστών, ο οποίος έχει σαν στόχο την ανάπτυξη υπολογιστικών συστημάτων, που μιμούνται στοιχεία της ανθρώπινης συμπεριφοράς και υπονοούν έστω και στοιχειώδη ευφυΐα όπως η μάθηση, η προσαρμοστικότητα και η εξαγωγή συμπερασμάτων. Μια από τις κύριες τεχνικές μέσω της οποίας μπορούν να αποδοθούν ανθρώπινες ιδιότητες σε ένα υπολογιστή είναι η χρησιμοποίηση των νευρωνικών δικτύων (Neural Networks) ή πιο συγκεκριμένα των Τεχνητών Νευρωνικών Δικτύων (Artificial Neural Networks) (Haykin, 1999). Στην πραγματικότητα τα νευρωνικά δίκτυα είναι εμπνευσμένα από τον τρόπο που λειτουργούν τα βιολογικά νευρωνικά δίκτυα, όπως έχουν αναπτυχθεί από την νευροεπιστήμη (neuroscience), η οποία αρχικά προσπάθησε να εξηγήσει τον τρόπο 32

33 λειτουργίας του ανθρώπινου εγκεφάλου διατυπώνοντας απλουστευμένα μαθηματικά μοντέλα. Οι ζωντανοί οργανισμοί, από τους πιο απλούς μέχρι τον άνθρωπο, έχουν ένα νευρικό σύστημα το οποίο είναι υπεύθυνο για έναν αριθμό διεργασιών, όπως είναι η επαφή με το εξωτερικό κόσμο, η μάθηση, η μνήμη κτλ. Το νευρικό σύστημα των οργανισμών αποτελείται από πολλά νευρωνικά δίκτυα εξειδικευμένα σε αυτές τις διεργασίες. Η κεντρική μονάδα του νευρικού συστήματος είναι, ο εγκέφαλος, ο οποίος επίσης αποτελείται από νευρωνικά δίκτυα. Κάθε νευρωνικό δίκτυο αποτελείται από ένα μεγάλο αριθμών μονάδων που λέγονται νευρώνες. Ο νευρώνας είναι η πιο μικρή μονάδα δικτύου. Σήμερα διεξάγεται ιδιαίτερα μεγάλη έρευνα για την καλύτερη κατανόηση της λειτουργίας του εγκεφάλου. Οι διεργασίες που πραγματοποιούνται από τα βιολογικά νευρωνικά δίκτυα είναι εξαιρετικά πολύπλοκες αλλά και χρήσιμες στην καθημερινή ζωή του ανθρώπου. Μερικές από αυτές είναι εργασίες ρουτίνας, όπως η αναγνώριση μιας εικόνας, για την οποία ο ανθρώπινος εγκέφαλος καταβάλλει μηδαμινή προσπάθεια. Αν και οι υπολογιστές είναι εκατομμύρια φορές πιο γρήγοροι από τον ανθρώπινο εγκέφαλο, δεν μπορούν το ίδιο εύκολα να αναγνωρίσουν το πρότυπο μιας εικόνας και αυτό οφείλεται στη δομή τους. Ο άνθρωπος έχει αναπτύξει την ικανότητα να αναγνωρίζει εικόνες και να επεξεργάζεται τα δεδομένα μέσω της δοκιμής και της επανάληψης, δηλαδή η μάθηση γίνεται μέσω της εμπειρίας. Η διαδικασία της μάθησης γίνεται με τη δημιουργία νέων συνδέσεων μεταξύ των νευρώνων ή την τροποποίηση των ήδη υπαρχόντων. Ο ανθρώπινος εγκέφαλος είναι ένας απίστευτα δυνατός υπολογιστής που αποτελείται από ένα δίκτυο με πάνω από εκατό δισεκατομμύρια διασυνδεμένων νευρώνων (Heaton, 2008). Ο κάθε νευρώνας είναι αυτόνομος και ανεξάρτητος και η λειτουργία του είναι ασύγχρονη, δηλαδή δεν απαιτείται συγχρονισμός δεδομένων. Παρόλα αυτά, προβλήματα όπως η αναγνώριση μιας εικόνας, είναι δύσκολα για ένα υπολογιστικό σύστημα καθώς δεν είναι εύκολη η εύρεση ενός αλγορίθμου βήμα προς βήμα για την επίλυση τους. Οι δυνατότητες του εγκεφάλου ήταν η αφορμή για τη μελέτη της δομής των νευρώνων και τη δημιουργία υπολογιστικών δομών που η οργάνωση τους είναι εμπνευσμένη από το βιολογικό μοντέλο. 33

34 2.2. Ιστορική αναδρομή Η προσπάθεια κατανόησης της λειτουργίας του εγκεφάλου ξεκίνησε με τον Ramón y Cajál, ο οποίος παρουσίασε τους νευρώνες ως δομικά συστατικά στοιχεία του εγκεφάλου (1911). Το 1943 παρουσιάσθηκε από τους McCulloch και Pitts (1943) το πρώτο μοντέλο νευρωνικού δικτύου. Στην εργασία τους θεώρησαν ότι ένα νευρωνικό δίκτυο αποτελείται από μία συλλογή ενός μεγάλου αριθμού νευρώνων και έδειξαν τον τρόπο με τον οποίο θα μπορούσαν να λειτουργούν οι νευρώνες με τις διασυνδέσεις τους. Το 1947 οι ίδιοι προχώρησαν σε ένα άλλο πρότυπο και θεώρησαν ότι ο νευρώνας μπορεί να έχει δύο μόνο καταστάσεις, μπορεί να δέχεται πολλές εισόδους αλλά μία μόνο έξοδο. Το 1949, ο Donald Hebb (1949) υποστήριξε ότι η συμπεριφορά των ανθρώπων μπορεί να εξηγηθεί από τη συμπεριφορά των νευρώνων. Ο κανόνας του Hebb λέει ότι κάθε φορά που το δίκτυο χρησιμοποιεί τις νευρωνικές του συνδέσεις, οι συνδέσεις αυτές ενισχύονται και το δίκτυο πλησιάζει περισσότερο στο να μάθει το πρότυπο. Στη συνέχεια, το 1957 παρουσιάσθηκε για πρώτη φορά το μοντέλο του perceptron. Το perceptron είναι ένα απλό μοντέλο που έχει μόνο δύο επίπεδα, αυτά της εισόδου και της εξόδου. Το σήμα προχωρά από την είσοδο στην έξοδο. Μια συνολική και εμπεριστατωμένη εικόνα του προτύπου αυτού παρουσιάσθηκε το 1969 στο βιβλίο «Perceptrons» των Minsky και Papert (1969). Την ίδια περίπου εποχή με την ανάπτυξη του μοντέλου του perceptron, οι Widrow και Hoff ανέπτυξαν το 1959 δύο νέα μοντέλα, το Adaline και το Madaline, τα οποία ήταν από τα πρώτα μοντέλα που χρησιμοποιήθηκαν επιτυχώς για πρακτικά προβλήματα. Τα μοντέλα Adaline και Madaline χρησιμοποιήθηκαν ως φίλτρα για να εξαλείψουν την ηχώ σε τηλεφωνικές γραμμές. Τα δίκτυα Perceptron χρησιμοποιήθηκαν με επιτυχία σε αρκετές εφαρμογές ταξινόμησης, όμως θεωρητικές και πειραματικές έρευνες κατέληξαν στο συμπέρασμα ότι παρουσιάζουν σημαντικά προβλήματα, σε περιπτώσεις όπου οι κλάσεις δεν είναι γραμμικά διαχωρίσιμες. Προκειμένου να αποφευχθούν τα μειονεκτήματα του perceptron, οι Rosanblatt και Widrow πρότειναν νέα πιο πολύπλοκα πολλώνστοιβάδων δίκτυα. Το 1969, οι Minsky και Papert (1969) προκάλεσαν μείωση του ερευνητικού ενδιαφέροντος για το perceptron, υποστηρίζοντας ότι οι πιο ενδιαφέρουσες επιθυμητές απεικονίσεις ήταν αδύνατο να υλοποιηθούν από αυτό. Στις δεκαετίες, 34

35 τα μειονεκτήματα του perceptron ξεπεράστηκαν με την εισαγωγή των πολλών-στοιβάδων perceptron (Multi-Layer Perceptron) και αντίστοιχων αλγορίθμων εκπαίδευσης. Χαρακτηριστικό αυτής της εποχής είναι η υπερεκτίμηση των δυνατοτήτων των τεχνητών νευρωνικών δικτύων. Το σημαντικότερο επίτευγμα είναι ο αλγόριθμος ανάστροφης διάδοσης για την εκπαίδευση του πολλών-στοιβάδων perceptron (Powell, 1985, 1992). Το 1972 ο Teuvo Kohonen και ο James Anderson ανεξάρτητα ο ένας από τον άλλο ανέπτυξαν ένα καινούργιο τύπο νευρωνικών δικτύων, ο οποίος μπορούσε να συμπεριφέρεται σαν μνήμη (1977, 1982, 1984, 1988). Την ίδια χρονική περίοδο ο Stephen Grossberg ανέπτυξε μη γραμμικά συνεχούς χρόνου συσχετιζόμενα δίκτυα (Grossberg, 1977, 1982). Κλειδί στην ανάπτυξη των νευρωνικών δικτύων υπήρξε η ανακάλυψη του αλγορίθμου της ανάστροφης διάδοσης για την εκπαίδευση των πολλών-στοιβάδων αισθητήρων. Η πρώτη περιγραφή ενός αλγορίθμου για την εκπαίδευση πολλώνστοιβάδων αισθητήρων έγινε από τον Paul Werbos (1974). Η θέση του όμως δεν αναγνωρίστηκε από την κοινότητα που ασχολούταν με τα νευρωνικά δίκτυα. Έτσι είχαμε την επάνοδο της ανακάλυψης του αλγορίθμου της ανάστροφης διάδοσης στα μέσα του 1980 από πολλούς ερευνητές ανεξάρτητα, τους David Rumelhart, Geoffrey Hinton, Ronald Willliams, David Parker και Yann Le Cun. Η εργασία που επηρέασε περισσότερο ήταν αυτή των David Rumelhart και James McClelland. Αν και είναι δύσκολο να προβλέψουμε το μέλλον της επιτυχίας των νευρωνικών δικτύων, ο μεγάλος αριθμός και η ποικιλία των εφαρμογών αυτής της νέας τεχνολογίας δίνει πολλές υποσχέσεις Η δομή του νευρώνα Σε αναλογία με το βιολογικό νευρώνα του εγκεφάλου, ο τεχνητός νευρώνας (artificial neuron) είναι η δομική μονάδα του τεχνητού νευρωνικού δικτύου. Σε αυτόν συντελείται όλη η επεξεργασία της πληροφορίας. Κάθε νευρώνας δέχεται πληροφορία, οι είσοδοί του είναι είτε οι έξοδοι άλλων νευρώνων, είτε το πρωταρχικό σήμα εισόδου του δικτύου. Στο σχήμα 2.1, παρουσιάζεται το βασικό μοντέλο του νευρώνα. Στο νευρώνα αυτό, η πληροφορία ρέει πάντα προς μία κατεύθυνση, από αριστερά προς τα δεξιά και μπορούμε να διακρίνουμε τρεις βασικές φάσεις της λειτουργίας του: 35

36 Κατά την πρώτη φάση, κάθε είσοδος πολλαπλασιάζεται με το συναπτικό βάρος που της αντιστοιχεί. Έπειτα, σε δεύτερη φάση οι σταθμισμένες πλέον είσοδοι και ένας εξωτερικός παράγοντας, η πόλωση (bias), αθροίζονται και δίνουν το τοπικό πεδίο. Επίσης, η πόλωση μπορεί να θεωρηθεί ως μία επιπλέον είσοδος, με συναπτικό βάρος ίσο προς την τιμή του και πάγια τιμή εισόδου ίση προς τη μονάδα. Στην περίπτωση αυτή ο νευρώνας παίρνει τη μορφή που φαίνεται στο σχήμα 2.2. Τέλος, σε τρίτη φάση, εφαρμόζεται η συνάρτηση ενεργοποίησης (activation function) στο τοπικό πεδίο και το αποτέλεσμά της είναι το σήμα εξόδου του νευρώνα. Σχήμα 2.1. Σχηματική αναπαράσταση μη γραμμικού μοντέλου νευρώνα. Σχήμα 2.2. Εναλλακτική σχηματική αναπαράσταση μη γραμμικού μοντέλου νευρώνα. 36

37 Στα πρώτα μοντέλα νευρώνα, η συνάρτηση ενεργοποίησης ήταν μία βηματική συνάρτηση (step function) ή συνάρτηση κατωφλίου (threshold function). Το συγκεκριμένο μοντέλο αναφέρεται συχνά ως μοντέλο McCulloch-Pitts προς τιμή αυτών που το πρότειναν και παρουσιάζεται γραφικά στο σχήμα 2.3 και μαθηματικά με την παρακάτω έκφραση: (1) Αργότερα, η εξέλιξη στο θεωρητικό υπόβαθρο των τεχνητών νευρωνικών δικτύων φανέρωσε ότι η παράγωγος της συνάρτησης ενεργοποίησης μπορεί να δώσει χρήσιμες πληροφορίες για το νευρωνικό δίκτυο και να χρησιμοποιηθεί στην εκπαίδευσή του, γεγονός που υποδεικνύει ότι είναι προτιμότερο να χρησιμοποιηθεί μία παραγωγίσιμη συνάρτηση και όχι η βηματική συνάρτηση, που είναι προφανώς μη παραγωγίσιμη. Σήμερα, η πλέον χρησιμοποιούμενη συνάρτηση ενεργοποίησης είναι μία σιγμοειδής συνάρτηση. Αυτή είναι γενικά μία πραγματική, συνεχής, φραγμένη και αυστηρά αύξουσα συνάρτηση. Η πιο γνωστή μορφή σιγμοειδούς συνάρτησης που χρησιμοποιείται ως συνάρτηση ενεργοποίησης είναι η λογιστική συνάρτηση (logistic function), που παρουσιάζεται γραφικά στο σχήμα 2.4 και δίνεται από τον τύπο (2): 1 1 e (2) όπου α η παράμετρος κλίσης. Μεταβάλλοντας την παράμετρο κλίσης, παίρνουμε συναρτήσεις με διαφορετικές κλίσεις. Όσο το α τείνει στο άπειρο, η λογιστική συνάρτηση τείνει προς τη βηματική συνάρτηση και έχουμε και πάλι το μοντέλο McCulloch-Pitts. 37

38 Σχήμα 2.3. Συνάρτηση κατωφλίου. Σχήμα 2.4. Σιγμοειδής Συνάρτηση (μπλε: α=0.5, κόκκινο: α=1, πράσινο: α=2) Σύμφωνα με τα παραπάνω, η λειτουργία του νευρώνα περιγράφεται από τις σχέσεις u m j w jixi i1 (3) και 38

39 y j ( u ) j (4) με u u b j j j (5) όπου: m : xi : wji : uj : bj : υj : φ( ) : yj : ο αριθμός των εισόδων που δέχεται ο νευρώνας το i-οστό σήμα εισόδου του νευρώνα το συναπτικό βάρος του νευρώνα j το σταθμισμένο άθροισμα των εισόδων η πόλωση του νευρώνα το τοπικό πεδίο η συνάρτηση ενεργοποίησης η έξοδος του νευρώνα Οι παραπάνω σχέσεις περιγράφουν τον νευρώνα του σχήματος 2. Για την εναλλακτική μορφή του νευρώνα όπως αυτός του σχήματος 3, οι σχέσεις (3), (4) και (5) συνδυάζονται σε μία σχέση και έχουμε: u m j wjixi (6) i0 και y j ( u ) j (7) με x0 1 (8) και w j0 bj (9) 39

40 2.4. Μάθηση Νευρωνικών Δικτύων Η μάθηση είναι μια θεμελιακή ικανότητα των νευρωνικών δικτύων η οποία τους επιτρέπει να μαθαίνουν από το περιβάλλον τους και να βελτιώνουν τη συμπεριφορά τους με το πέρασμα του χρόνου. Η μάθηση είναι μια γενική έννοια της επιστήμης των συστημάτων και ορίζεται με ποικίλους τρόπους ανάλογα με το εκάστοτε πεδίο εφαρμογής. Στα νευρωνικά δίκτυα, η μάθηση αναφέρεται στη διεργασία επίτευξης μιας επιθυμητής συμπεριφοράς μέσω ανανέωσης των τιμών των συναπτικών βαρών. Έτσι, ένα νευρωνικό δίκτυο μαθαίνει για το περιβάλλον του μέσω μιας επαναληπτικής διαδικασίας ανανέωσης των συναπτικών βαρών και κατωφλίων. Αλγόριθμος μάθησης ή εκπαίδευσης είναι κάθε προκαθορισμένο σύνολο καλά ορισμένων κανόνων επίλυσης του προβλήματος μάθησης ή εκπαίδευσης του νευρωνικού δικτύου. Γενικά, υπάρχουν πολλοί αλγόριθμοι εκπαίδευσης στα νευρωνικά δίκτυα, καθένας από τους οποίους έχει συγκεκριμένα πλεονεκτήματα και μειονεκτήματα, προσφέροντας έναν άλλο τρόπο επιλογής των συναπτικών βαρών. Η πιο ευρέως διαδεδομένη τεχνική μάθησης είναι ο αλγόριθμος διόρθωσης σφάλματος, όπου τα βάρη υπολογίζονται βάση των δεδομένων εισόδου και συγκρίνοντας τις προκύπτουσες αποκρίσεις με τις επιθυμητές αποκρίσεις και εν συνεχεία αλλάζοντας τα βάρη προς την κατεύθυνση μείωσης του σφάλματος. Συγκεκριμένα: dk(t): η τιμή της επιθυμητής εξόδου του k νευρώνα x(t): το διάνυσμα εισόδου που εφαρμόζεται στη στοιβάδα εισόδου του μοντέλου yk(t): η προβλεπόμενη τιμή της εξόδου του k νευρώνα Προφανώς το ζεύγος (x(t),dk(t)) αποτελεί ένα παράδειγμα που παρουσιάζεται στο νευρώνα κατά τη χρονική στιγμή t. Το σφάλμα ή διαφορά μεταξύ της επιθυμητής εξόδου dk(t) και της προβλεπόμενης εξόδου yk(t) είναι: e ( t) d ( t) y ( t) (10) k k k με βάση το οποίο ορίζουμε την ακόλουθη συνάρτηση κόστους: 1 2 k I E e k ( t) 2 (11) 40

41 η οποίο καλείται κριτήριο Μέσου Τετραγωνικού Σφάλματο (Mean Square Error criterion, MSE) και εκφράζει τη μέση τιμή του αθροίσματος των τετραγώνων των σφαλμάτων. Έπειτα, πρέπει να επιλεγούν τα συναπτικά βάρη των νευρώνων έτσι ώστε να ελαχιστοποιηθεί το μέσο τετραγωνικό σφάλμα (11), της οποίας η προσεγγιστική λύση ελαχιστοποιώντας το στιγμιαίο κριτήριο τετραγωνικού σφάλματος είναι: 1 2 J e k ( t) 2 k (12) ως προς τα συναπτικά βάρη wkj του νευρωνικού δικτύου, όπου wkj είναι το βάρος της σύναψης j του νευρώνα k. Ο κανόνας μάθησης Widrow-Hoff ο οποίος βασίζεται στη διόρθωση του σφάλματος είναι τότε: Δw kj (t) γ e k (t) x j (t) (13) όπου Δwkj(t) είναι η ποσότητα αλλαγής (προσαρμογής, ανανέωσης) στο χρόνο t του συναπτικού βάρους wkj και γ είναι μια θετική σταθερά η οποία καθορίζει το ρυθμό μάθησης (learning rate). Ο κανόνας μάθησης (13), ο οποίος στη βιβλιογραφία είναι γνωστός ως «κανόνας δέλτα» λέει ότι η διόρθωση του συναπτικού βάρους είναι του σφάλματος ek(t) και του σήματος εισόδου xj(t) της υπό εξέταση σύναψης j. Η νέα τιμή wkj(t+1) του θεωρούμενου συναπτικού βάρους δίνεται από τη σχέση: w kj (t 1) w (t) Δw (t) (14) kj kj 2.5. Πολλών-Στοιβάδων Αισθητήρες (Multi-Layer Perceptrons, MLPs) Οι Πολλών-Στοιβάδων Αισθητήρες (Multi-Layer Perceptron ή εν συντομία MLPs) είναι εμπροσθοτροφοδοτούμενα νευρωνικά δίκτυα (Feed-Forward Neural networks, FFN), τα οποία αποτελούν γενίκευση του μονοστρωματικού αισθητήρα (perceptron) και περιλαμβάνουν, εκτός από τη στοιβάδα εισόδου και τη στοιβάδα εξόδου, μία ή περισσότερες κρυφές στοιβάδες (hidden layers), όπως φαίνεται στο σχήμα

42 Όλες οι στοιβάδες αποτελούνται από έναν αριθμό νευρώνων. Κάθε νευρώνας που ανήκει στην στοιβάδα εξόδου ή στην/στις κρυφή/κρυφές στοιβάδα/στοιβάδες ενός δικτύου MLP έχει σχεδιαστεί για να εκτελεί δύο υπολογισμούς : 1. Υπολογίζει το σήμα συνάρτησης που εμφανίζεται στην έξοδο του νευρώνα και εκφράζεται σαν μια συνεχής μη γραμμική συνάρτηση των σημάτων που εισέρχονται στον νευρώνα και των αντίστοιχων βαρών των συνάψεων που σχετίζονται με τον νευρώνα. 2. Υπολογίζει μια στιγμιαία προσέγγιση του διανύσματος κλίσης (δηλαδή τις κλίσεις της επιφάνειας σφάλματος ως προς τα βάρη που σχετίζονται με τις συνάψεις που εισέρχονται στον νευρώνα), κατά την προς τα πίσω διάδοση του σήματος στο δίκτυο. Τα MLPs είναι κατάλληλα για την επίλυση πλήθους πολύπλοκων προβλημάτων και εκπαιδεύονται χρησιμοποιώντας τον Αλγόριθμο Ανάστροφης Διάδοσης (Back Propagation Algorithm), ο οποίος στηρίζεται στον κανόνα μάθησης διόρθωσης σφάλματος (error-correction learning rule). Η διαδικασία εκπαίδευσης του αλγορίθμου ανάστροφης διάδοσης περιλαμβάνει υπολογισμούς που υλοποιούνται σε δυο περάσματα μέσω των στρωμάτων του δικτύου: ένα πέρασμα κατά την ευθεία φορά (από την είσοδο προς την έξοδο) και ένα κατά την ανάστροφη φορά (από την έξοδο προς την είσοδο). Στο ευθύ πέρασμα, εφαρμόζεται ένα πρότυπο στις εισόδους του δικτύου, πραγματοποιούνται υπολογισμοί και παράγεται ένα σύνολο από εξόδους που αποτελούν και την πραγματική έξοδο του δικτύου. Κατά τη διάρκεια αυτού του περάσματος τα βάρη των συνδέσεων του δικτύου είναι σταθερά. Αντίθετα, κατά τη διάρκεια του ανάστροφου περάσματος, τα βάρη προσαρμόζονται βάση του κανόνα διόρθωσης σφάλματος. Συγκεκριμένα, η πραγματική τιμή της εξόδου αφαιρείται από την αντίστοιχη επιθυμητή και παράγεται το σήμα σφάλματος. Αυτό το σήμα στη συνέχεια προωθείται στο δίκτυο κατά την ανάστροφη διεύθυνση (από την έξοδο προς την είσοδο). Κατά τη διαδικασία αυτή τα συναπτικά βάρη αναπροσαρμόζονται ώστε να μετατοπισθεί η απόκριση του δικτύου πλησιέστερα στην επιθυμητή. 42

43 Σχήμα 2.5. Σχηματικό διάγραμμα MLP με δύο κρυφές στοιβάδες και M εξόδους Για να γίνει ευκολότερα κατανοητή η διαδικασία των δυο περασμάτων παρουσιάζεται στο σχήμα 2.6 ένα τμήμα του δικτύου του σχήματος 2.5. Σε αυτό διακρίνονται τα δυο ειδών σήματα: 43

44 Σήματα συνάρτησης: Τα σήματα αυτά εμφανίζονται στην είσοδο του δικτύου και προωθούνται κατά την ορθή φορά ανά στοιβάδα ως την στοιβάδα εξόδου, όπου παράγονται τα σήματα εξόδου. Αναφερόμαστε σε αυτά με το όνομα σήματα συνάρτησης για δυο λόγους. Πρώτον, υποτίθεται ότι χρησιμοποιούνται κατά την κανονική λειτουργία του δικτύου και δεύτερον, κατά το πέρασμά τους από κάθε μονάδα νευρώνων, υλοποιείται ένας υπολογισμός ως συνάρτηση των εισόδων και των αντίστοιχων βαρών. Σήματα σφάλματος: Τα σήματα αυτά δημιουργούνται στην έξοδο του δικτύου, κατά τη διάρκεια της εκπαίδευσης μόνο, και προωθούνται κατά την ανάστροφη φορά διαμέσου του δικτύου. Σχήμα 2.6. Ροή σημάτων σε τμήμα ενός MLP. 44

45 Τα MLPs έχουν τρία σημαντικά χαρακτηριστικά: Κάθε νευρώνας μιας κρυφής στοιβάδας περιέχει μια μη γραμμική συνάρτηση ενεργοποίησης. Μια σημαντική διαφορά από το perceptron του Rosenblatt είναι η ομαλότητα αυτής της συνάρτησης σε σχέση με τη συνάρτηση κατωφλίου και το γεγονός ότι είναι παραγωγίσιμη σε κάθε σημείο. Συναρτήσεις που ικανοποιούν αυτές τις απαιτήσεις και χρησιμοποιούνται συνήθως είναι η λογιστική συνάρτηση (εξίσωση (15)): y j 1 1 exp( ) j (15) ή η υπερβολική εφαπτομένη (εξίσωση (16)): y j 1exp( j) 1 exp( ) j (16) όπου υj είναι η σταθμισμένη τιμή όλων των συναπτικών εισόδων του νευρώνα j και y είναι η έξοδος του νευρώνα. Το δίκτυο περιέχει μία ή περισσότερες κρυφές στοιβάδες μη γραμμικών νευρώνων οι οποίοι δεν ανήκουν στις στοιβάδες εισόδου ή εξόδου. Αυτοί οι νευρώνες καθιστούν το δίκτυο ικανό να μάθει πολύπλοκα πρότυπα εξάγοντας από αυτά κάποια ιδιαίτερα χαρακτηριστικά τους. Το δίκτυο παρουσιάζει υψηλό βαθμό συνδεσιμότητας που καθορίζεται από τις συνάψεις μεταξύ των νευρώνων του δικτύου. Μια αλλαγή στην συνδεσιμότητα του δικτύου απαιτεί μια αλλαγή στον πληθυσμό των συνδέσεων των συνάψεων ή στα βάρη τους. Η υπολογιστική ισχύς (computing power) των MLPs προέρχεται από το συνδυασμό των παραπάνω χαρακτηριστικών και από τη διαδικασία εκπαίδευσης. Τα χαρακτηριστικά αυτά, όμως, είναι υπεύθυνα για τις ελλείψεις που παρουσιάζουν οι γνώσεις μας γύρω από τη συμπεριφορά αυτών των δικτύων. Η παρουσία κατανεμημένης μορφής μη-γραμμικότητας και η μεγάλη συνδεσιμότητα καθιστούν 45

46 υπερβολικά δύσκολη τη θεωρητική ανάλυση τους. Επίσης, η χρήση κρυφών νευρώνων δυσκολεύει την οπτικοποίηση της διαδικασίας εκπαίδευσης. Τα χαρακτηριστικά γνωρίσματα της εισόδου που αντιπροσωπεύονται από τους κρυφούς νευρώνες καθορίζονται από τη διαδικασία εκπαίδευσης. Η διαδικασία εκπαίδευσης δυσκολεύει περισσότερο, εφόσον η αναζήτηση διεξάγεται σε ένα πολύ μεγάλο διάστημα πιθανών συναρτήσεων και η επιλογή γίνεται μεταξύ εναλλακτικών αναπαραστάσεων της εισόδου (Hinton, 1989) Ο Αλγόριθμος Ανάστροφης Διάδοσης (Back-Propagation Algorithm) Ο αλγόριθμος ανάστροφης διάδοσης έγινε ιδιαίτερα γνωστός μετά το 1985, όταν διαδόθηκε η χρήση του μέσω της δημοσίευσης του βιβλίου με τίτλο «Parallel Distributed Processing» (Rumelhart et al., 1986). Ο αλγόριθμος ανάστροφης διάδοσης αποτελεί επέκταση του κανόνα δέλτα που χρησιμοποιείται στο απλό perceptron. Η ανάπτυξη του αποτελεί ορόσημο στην εξέλιξη των νευρωνικών δικτύων, διότι παρέχει μια υπολογιστικά αποτελεσματική μέθοδο εκπαίδευσης των MLPs. Οι Minsky και Papert με το βιβλίο τους Perceptrons (1969), εξάλειψαν κάθε απαισιοδοξία που υπήρχε όσον αφορά στον αλγόριθμο εκπαίδευσης των MLPs. Αναλυτική μαθηματική παρουσίαση του αλγορίθμου ξεφεύγει από τα πλαίσια αυτής της εργασίας. Για χάρη πληρότητας, όμως, παρουσιάζονται εν συντομία τα βήματά του: 1. Διάλεξε τα αρχικά βάρη και κατώφλια χρησιμοποιώντας μικρές θετικές τυχαίες τιμές. 2. Παρουσίασε στο νευρωνικό δίκτυο το διάνυσμα εκπαίδευσης: x t ) [ x ( t), x ( t),..., x n ( t)] ( 0 1 T (17) και το επιθυμητό διάνυσμα εξόδου: T d ( t ) [ d1( t), d2( t),..., d m ( t)] (18) 46

47 3. Υπολόγισε τα σήματα εξόδου όλων των νευρώνων του δικτύου προς τα εμπρός χρησιμοποιώντας τις τρέχουσες τιμές των συναπτικών βαρών, δηλαδή: y ( t) f ( ( t)) (19) j j j ( t) w ( t) y ( t) j ji i i (20) όπου yi(t) είναι η i είσοδος του j νευρώνα (δηλαδή η έξοδος του i νευρώνα) και wji είναι το συναπτικό βάρος που συνδέει τον i με τον j νευρώνα. Για τους νευρώνες j της πρώτης κρυφής στοιβάδας ισχύει yi(t) = xi(t), i = 1,2,,n όπου xi(t) είναι η i είσοδος. Για τους νευρώνες j της στοιβάδας εξόδου, το yi(t) είναι η j πραγματική έξοδος του δικτύου. 4. Ανανέωσε τα βάρη ξεκινώντας από τους νευρώνες της εξόδου και προχωρώντας ανάστροφα προς τη στοιβάδα εισόδου, χρησιμοποιώντας τον κανόνα: w ji ( t 1) w ( t) ( t) y ( t) ji j i (21) όπου το δj(t) ονομάζεται «τοπική κλίση» και αν ο θεωρούμενος νευρώνας ανήκει στη στοιβάδα εξόδου δίνεται από την σχέση: ( t) [ d ( t) y ( t)] y [1 y ( t)] (22) j j j j j ενώ αν ο νευρώνας j ανήκει σε κρυφή στοιβάδα δίνεται από την σχέση: ( t ) y ( t)[1 y ( t)] ( t) w ( t) (23) j j j m m με το δείκτη m να εκτείνεται σε όλους τους νευρώνες της στοιβάδας εξόδου και το wji(t) να παριστάνει το συναπτικό βάρος που συνδέει τον νευρώνα j μιας στοιβάδας με τον νευρώνα i της αμέσως προηγούμενης στοιβάδας. 5. Επανέλαβε τη διαδικασία από το βήμα 2. mj 47

48 2.6. Δίκτυα Ακτινικής Συνάρτησης Βάσης (Radial Basis Function Networks, RBF) Τα νευρωνικά δίκτυα ακτινικής συνάρτησης βάσης (Radial Basis Functions, RBF) αποτελούν νευρωνικά δίκτυα πρόσθιας τροφοδότησης, αλλά αποτελούν ξεχωριστή κατηγορία, λόγω των διαφορών τους στη δομή, τη λειτουργία αλλά και τον τρόπο εκπαίδευσης τους. Είναι ένας σχετικά νέος τύπος αρχιτεκτονικής νευρωνικών δικτύων που εισήχθη στη δεκαετία του 1980 ως πρόταση βελτίωσης των νευρωνικών δικτύων πρόσθιας τροφοδότησης (Powell, 1985, 1992). Ένα δίκτυο RBF αποτελείται μόνο από τρεις στοιβάδες με τελείως διαφορετικούς ρόλους και η τυπική δομή του φαίνεται στο σχήμα 2.7. Αποτελείται από την στοιβάδα εισόδου, που ακολουθείται από την κρυφή στοιβάδα και τη στοιβάδα εξόδου. Δεδομένου ότι οι συναρτήσεις ενεργοποίησης είναι μη γραμμικές, δεν είναι απαραίτητο να υπάρχουν περισσότερες από μία κρυφές στοιβάδες για να προσεγγίσουν οποιαδήποτε συνάρτηση. Κάθε στοιβάδα αποτελείται από κάποιους νευρώνες. Ο ρόλος των νευρώνων της κάθε στοιβάδας περιγράφεται παρακάτω: Η στοιβάδα εισόδου αποτελείται από τους κόμβους εισόδου οι οποίοι χρησιμοποιούνται μόνο για να μεταφέρουν το σήμα των μεταβλητών εισόδου στην κρυφή στοιβάδα. Η κρυφή στοιβάδα του δικτύου περιέχει L νευρώνες οι οποίοι εκτελούν έναν μη γραμμικό μετασχηματισμό από τον χώρο εισόδου στον χώρο εξόδου. Η ενεργοποίηση της κρυφής στοιβάδας, καθορίζεται από την ευκλείδεια απόσταση μεταξύ του διανύσματος εισόδου διανύσματος που περιέχει τα κέντρα του κάθε νευρώνα l της κρυφής στοιβάδας ορίζεται από το κέντρο του x και ενός πρότυπου ˆx xˆ l. Ο κάθε νευρώνας και παράγει μία έξοδο, η οποία στη συνέχεια σταθμίζεται και περνάει στο στρώμα εξόδου. Η στοιβάδα εξόδου αποτελείται από νευρώνες οι οποίοι αθροίζουν τα σταθμισμένα σήματα των νευρώνων της κρυφής στοιβάδας. Έτσι, παράγεται η τελική έξοδος του δικτύου, η οποία μαθηματικά εκφράζεται στη σχέση (24): yˆ L wl xx ˆ l (24) l1 48

49 όπου () είναι η συνάρτηση ενεργοποίησης. Η συνάρτηση ενεργοποίησης των νευρώνων της κρυφής στοιβάδας επιλέγεται από ένα σύνολο ακτινικών συναρτήσεων βάσης. Σχήμα 2.7. Σχηματικό διάγραμμα RBF με M εξόδους 49

50 2.6.1 Εκπαίδευση δικτύων RBF Ο αλγόριθμος k-means Η εκπαίδευση των νευρωνικών δικτύων RBF διακρίνεται σε δύο φάσεις. Σε πρώτη φάση προσδιορίζονται οι τοποθεσίες των κέντρων των νευρώνων της κρυφής στοιβάδας και σε δεύτερη φάση καθορίζονται οι σταθμισμένες συνδέσεις του δικτύου. Τα δίκτυα RBF παρουσιάζουν δύο κύρια πλεονεκτήματα: Έχουν μόνο μία κρυφή στοιβάδα, με αποτέλεσμα η δομή τους να είναι απλούστερη σε σχέση με τις άλλες αρχιτεκτονικές. Οι αλγόριθμοι που υιοθετούν εκτελούν την εκπαίδευση του δικτύου σε δύο διακριτά στάδια, τα οποία αναφέρθηκαν παραπάνω. Αυτή η τεχνική εκπαίδευσης των δύο σταδίων κάνει τους αλγορίθμους ταχύτερους σε σχέση με τους αλγορίθμους εκμάθησης που χρησιμοποιούν οι άλλες αρχιτεκτονικές νευρωνικών δικτύων. Για την πρώτη φάση εκπαίδευσης του δικτύου RBF η πιο δημοφιλής τεχνική μάθησης που χρησιμοποιείται βασίζεται στον αλγόριθμο k-means (Darken et al., 1990, Macqueen, 1967, Moody et al., 1989). Τα βήματα του αλγορίθμου k-means παρουσιάζονται παρακάτω: 1. Επιλέγει L τυχαία δεδομένα και τοποθετεί επάνω τους κέντρα. 2. Για κάθε δεδομένο x υπολογίζεται το κοντινότερο σε αυτό κέντρο xˆ near. 3. Η θέση του κάθε κέντρου xˆ near τροποποιείται σύμφωνα με τις θέσεις των δεδομένων που εκπροσωπεί και με βάση την παρακάτω σχέση: xˆ ( x xˆ ) near k near (25) όπου η είναι ο ρυθμός μάθησης (Darken et al., 1990). 4. Ο αλγόριθμος επαναλαμβάνεται μέχρις ότου οι τοποθεσίες των κέντρων να συγκλίνουν. Τέλος, η κατάλληλη δομή δικτύου επιλέγεται με τη μέθοδο δοκιμή και σφάλμα. Με την ολοκλήρωση της πρώτης φάσης του προβλήματος συνεχίζουμε στη 50

51 δεύτερη φάση, όπου υπολογίζονται οι σταθμισμένες συνδέσεις μεταξύ της κρυφής στοιβάδας και της στοιβάδας εξόδου χρησιμοποιώντας τη μέθοδο της γραμμικής παλινδρόμησης για να υπολογιστούν (Leonard & Kramer, 1991, Powell, 1987) Σύγκριση δικτύων MLPs με RBF Το κοινό χαρακτηριστικό δικτύων MLPs και των δικτύων RBF είναι ότι υλοποιούν μη γραμμικές απεικονίσεις από το χώρο των εισόδων στο χώρο των εξόδων και χαρακτηρίζονται από την ιδιότητα της καθολικής προσέγγισης, δηλαδή μπορούν να προσεγγίσουν οποιαδήποτε συνάρτηση, οσοδήποτε μεγάλος αριθμός νευρώνων κι αν χρησιμοποιηθεί. Τα δίκτυα MLPs και τα δίκτυα RBF εκτός από κοινά χαρακτηριστικά έχουν και σημαντικές διαφορές. Η βασική διαφορά μεταξύ ενός δικτύου MLP και ενός δικτύου RBF βρίσκεται στη μορφή των συναρτήσεων της κρυφής στοιβάδας. Κάθε κρυφός νευρώνας που ανήκει στα MLPs υπολογίζει το εσωτερικό γινόμενο των τιμών των εισόδων με το αντίστοιχο διάνυσμα βαρών, και το αποτέλεσμα αποτελεί την είσοδο στη συνάρτηση ενεργοποίησης. Στην ουσία κάθε κρυφός νευρώνας ενός δικτύου MLP ορίζει την εξίσωση ενός υπερεπιπέδου και το δίκτυο MLP συνολικά υλοποιεί συναρτήσεις ταξινόμησης διαχωρίζοντας τον χώρο των προτύπων με υπερεπίπεδα και ορίζοντας τις περιοχές απόφασης ως τομές των υπερεπιπέδων αυτών. Επομένως, στον υπολογισμό μιας εξόδου συμμετέχουν όλοι οι κρυφοί νευρώνες. Αντίθετα, το δίκτυο RBF λειτουργεί δημιουργώντας τοπικές αναπαραστάσεις, δηλαδή η γνώση για την έξοδο που αντιστοιχεί σε κάποια συγκεκριμένη είσοδο ενσωματώνεται στα βάρη εκείνων των κρυφών νευρώνων οι οποίοι περιλαμβάνουν την είσοδο αυτή στη σφαίρα επιρροής τους. Επομένως, ο χώρος προτύπων διαιρείται σε περιοχές, κάθε μία από τις οποίες αντιστοιχεί σε μια μονάδα της κρυφής στοιβάδας. 51

52 ΠΡΟΒΛΕΨΗ ΣΕ ΔΕΔΟΜΕΝΑ ΚΙΝΟΥΜΕΝΩΝ ΑΝΤΙΚΕΙΜΕΝΩΝ Στο παρόν κεφάλαιο δίνεται μια συνοπτική περιγραφή των εργασιών που πραγματοποιήθηκαν από την ερευνητική κοινότητα σε προβλέψεις με χρήση δεδομένων κινούμενων αντικειμένων, όπως πρόβλεψη μελλοντικής θέσης, πρόβλεψη δραστηριοτήτων κ.α.. Στη συνέχεια, αναλύονται τα διαθέσιμα δεδομένα που χρησιμοποιήθηκαν σε αυτήν την εργασία. Έπειτα, παρουσιάζεται μία εφαρμογή της μεθόδου των δένδρων στα συγκεκριμένα δεδομένα. Τέλος, περιγράφεται η τεχνική μοντελοποίησης των εφαρμογών που πραγματοποιήθηκαν στα πλαίσια αυτής της εργασίας. Συγκεκριμένα, παρουσιάζεται ο αλγόριθμος των Ασαφών Μέσων (Fuzzy Means) (Sarimveis et al., 2002), ο οποίος χρησιμοποιήθηκε στην εκπαίδευση νευρωνικών δικτύων RBF. Επίσης, παρουσιάζεται ο αλγόριθμος Levenberg-Marquardt (Hagan et al., 1994), βάση του οποίου εκπαιδεύτηκαν μοντέλα MLPs. 3.1 Σχετικές εργασίες Καθημερινά οι άνθρωποι χρησιμοποιούν κινητά τηλεφώνα και άλλες συσκευές εντοπισμού θέσης, με αποτέλεσμα να αφήνουν πίσω τους «ψηφιακά ίχνη». Ο ταχύς πολλαπλασιασμός των συσκευών που είναι εξοπλισμένες με δέκτες GPS και οι τελευταίες τεχνολογικές εξελίξεις, όπως Wi-Fi, Bluetooth, Wi-Max, συμβάλλουν στην ραγδαία αύξηση ποικίλων δεδομένων που καθιστούν αντιληπτή την ανθρώπινη δραστηριότητα. Η καταγραφή και η μελέτη των δεδομένων κίνησης προσφέρει δυνατότητες ανακάλυψης προτύπων συμπεριφοράς που μπορούν να δώσουν σημαντικές πληροφορίες και να αξιοποιηθούν σε πολλούς τομείς. Πολλοί ερευνητές ασχολούνται με την πρόβλεψη συμπεριφορών προκειμένου να λύσουν το πρόβλημα που μελετούν. Τυπικά παραδείγματα τέτοιων εφαρμογών είναι: 52

53 Τουριστικές εφαρμογές: Πρόβλεψη σημείων ενδιαφέροντος, π.χ. θα βοηθούσε τους κάτοχους ταξιδιωτικών γραφείων να φτιάξουν προγράμματα ξενάγησης έτσι ώστε να γίνουν περισσότερο επικερδείς οι επιχειρήσεις τους, αλλά και να ικανοποιούνται περισσότερο οι τουρίστες. Διαχείριση δικτύων: Πρόβλεψη κινητικότητας στο δίκτυο, π.χ. θα μπορούσε να βοηθήσει στη βελτιστοποίηση απόδοσης του. Τηλεπικοινωνιακά κυψελωτά συστήματα: Πρόβλεψη ωρών αιχμής, π.χ. θα βοηθούσε στην αποφυγή συμφορήσεων. Στρατιωτικές εφαρμογές: Πρόβλεψη θέσης ή δραστηριοτήτων στρατευμάτων, π.χ. θα βοηθούσε στην δημιουργία στρατηγικών πλάνων. Ρύθμιση κυκλοφοριακής κίνησης: Πρόβλεψη δρόμων με αυξημένη κίνηση, π.χ. θα βοηθούσε στην ρύθμιση των φωτεινών σηματοδοτών. Εναέριος έλεγχος: Πρόβλεψη ημερομηνιών με υψηλή ζήτηση εισιτηρίων, π.χ. θα βοηθούσε στον καλύτερο προγραμματισμό των πτήσεων. Υπηρεσίες έκτακτης ανάγκης (όπως αυτές που παρέχονται από ασθενοφόρα, περιπολικά και πυροσβεστικά οχήματα): Πρόβλεψη ημερομηνιών με υψηλό κίνδυνο πυρκαγιάς, π.χ. θα βοηθούσε στην γρηγορότερη αντιμετώπιση της φωτιάς. Λόγω του μεγάλου όγκου των δεδομένων κίνησης που έχουν δημιουργηθεί και λόγω της πρόκλησης του αντικειμένου, οι ερευνητές έχουν δείξει ιδιαίτερο ενδιαφέρον σε προβλέψεις συμπεριφορών με χρήση δεδομένων κινούμενων αντικειμένων, όπως πρόβλεψη μελλοντικής θέσης, πρόβλεψη δραστηριοτήτων κ.α.. Κάνοντας την παραδοχή ότι οι άνθρωποι εκτελούν τακτικές διαδρομές, καθώς επίσης και ότι ακολουθούν το «πλήθος», έχουν δημιουργηθεί αλγόριθμοι που είναι βασισμένοι σε πρότυπα (Lee et al., 2007, Pelekis et al., 2009). Αυτού του είδους οι αλγόριθμοι αναζητούν συχνά «μονοπάτια» μεταξύ αντικειμένων έτσι ώστε να τα ομαδοποιήσουν (clustering) και στη συνέχεια να εξάγουν κανόνες συσχέτισης (association rules) για τις διαδρομές που ακολουθούν (Yavas et al., 2005). Εξαιτίας αυτού, πολλές φορές, αλγόριθμοι ομαδοποίησης τροχιών όπως οι (Lee et al., 2007, Pelekis et al., 2009) ή εύρεσης συχνών διαδρομών όπως οι (Ishikawa et al., 2004, Li et al., 2007), μελετούνται στα πλαίσια του προβλήματος πρόβλεψης μελλοντικής θέσης. 53

54 Το αντικείμενο του προγράμματος DOMINO αφορά την πρόβλεψη μελλοντικών θέσεων κινούμενων αντικειμένων, κατασκευάζοντας προσχέδια κίνησης, χρησιμοποιώντας την τρέχουσα θέση τους και υιοθετώντας την έννοια της αβεβαιότητας (Trajcevski et al., 2002). Στην εργασία (Schlenoff et al., 2003), παρέχεται μια επισκόπηση των προκλήσεων που εμπλέκονται στην πρόβλεψη μελλοντικής θέσης κινούμενων αντικειμένων. Στο πλαίσιο της εν λόγω εργασίας χρησιμοποιείται μια παραστατική προσέγγιση πληροφοριών σχετικά με το μοντέλο κινούμενων αντικειμένων, παρέχοντας έτσι διαφορετικές μορφές αναπαράστασης γνώσης στους σχεδιαστές. Επίσης, οι συγγραφείς περιγράφουν έναν πιθανολογικό, βασισμένο στη λογική αλγόριθμο, με σκοπό την πρόβλεψη της μελλοντικής θέσης των οχημάτων σε ένα οδικό δίκτυο. Ακόμη, οι συγγραφείς αναφέρονται στους παράγοντες που επηρεάζουν τις πιθανότητες που σχετίζονται με διάφορες ενέργειες που το κινούμενο αντικείμενο μπορεί να προβεί. Οι Chittaranjan et. al. (2011) διερευνούν τη σχέση μεταξύ των χαρακτηριστικών των συμπεριφορών που προέρχονται από έναν μεγάλο αριθμό δεδομένων που συλλέγονται από smartphones και από χαρακτηριστικά προσωπικοτήτων που αναφέρουν από μόνοι τους οι χρήστες. Τα δεδομένα που χρησιμοποιούνται στα πλαίσια της εν λόγου εργασίας συλλέγονται από smartphones που χρησιμοποιούσαν 83 άτομα σε μία περίοδο 8 μηνών. Αναλύοντας τα δεδομένα, οι συγγραφείς παρατήρησαν ότι τα συγκεντρωτικά στοιχεία που ελήφθησαν από τα smartphones μπορεί να αποτελούν δείκτες των Πέντε-Μεγάλων χαρακτηριστικών προσωπικότητας. Επιπλέον, οι συγγραφείς ανέπτυξαν μια αυτόματη μέθοδο, με την οποία συμπεραίνουν τον τύπο προσωπικότητας ενός χρήστη, χρησιμοποιώντας επιβλεπόμενη μάθηση. Η μέθοδος που παρουσιάζεται στην εργασία (Chittaranjan et al., 2011) αποδίδει 75.9% ακρίβεια. Τέλος, στα πλαίσια της εν λόγου εργασίας μελετάται η ανάλυση και ταξινόμηση των χαρακτηριστικών της προσωπικότητας με βάση δεδομένα που προέρχονται από smartphones. Στην εργασία (Jeung et al., 2008) παρουσιάζεται μια νέα προσέγγιση πρόβλεψης μελλοντικών θέσεων ενός αντικειμένου, επονομαζόμενη το υβριδικό μοντέλο πρόβλεψης (The Hybrid Prediction Model). Η συγκεκριμένη τεχνική εκτιμά τις μελλοντικές θέσεις με βάση πληροφορίες από πρότυπα κίνησης των αντικειμένων, καθώς και με βάση τις πρόσφατες κινήσεις των αντικειμένων. Συγκεκριμένα, τα 54

55 πρότυπα τροχιών ενός αντικειμένου που έχουν μορφές ad-hoc ανακαλύπτονται και στη συνέχεια, αναπροσαρμόζονται χρησιμοποιώντας μια νέα μέθοδο πρόσβασης, με σκοπό την αποδοτικότερη επεξεργασία ερωτημάτων. Επιπλέον, παρουσιάζονται δύο τεχνικές επεξεργασίας ερωτημάτων που είναι ικανές να δώσουν ακριβής προβλέψεις τόσο για ερωτήματα που αφορούν σύντομο χρονικό διάστημα όσο και για εκείνα απομακρυσμένου χρόνου. Το σχήμα 3.1 παρουσιάζει ένα παράδειγμα, όπου η Τζέην πάει στη δουλειά ακολουθώντας τη διαδρομή της συνεχούς γραμμής για να αποφύγει την καθημερινή κυκλοφοριακή συμφόρηση. Αν είναι γνωστό ότι η Τζέην επισκέπτεται συχνά το σημείο Β τη χρονική στιγμή t6 αφού περάσει από το Α τη στιγμή t4, τότε αν τώρα η Τζέην περνά από το σημείο A την χρονική στιγμή t4, τότε μπορεί κάποιος να συμπεράνει ότι η Τζέην είναι πιθανό να περάσει από το σημείο Β τη χρονική στιγμή t6 αντί να περάσει από το σημείο F2. Οι Orellana et al. χρησιμοποιούν κινούμενες διαδρομές, στους τομείς των φορέων και των ροών για να αναλύσουν κινήσεις ανθρώπων σε χώρους αναψυχής (Orellana et al., 2009). Συγκεκριμένα, παρουσιάζουν ένα νέο τύπο κίνησης, όπου η κίνηση είναι αποτέλεσμα της αλληλεπίδρασης των ατόμων, των ομάδων και του περιβάλλοντος. Η εφαρμογή αυτού του εννοιολογικού μοντέλου έδωσε τη δυνατότητα να αποκαλυφθούν πρότυπα αλληλεπίδρασης σε μια ομάδα παιδιών που συμμετείχαν σε ένα υπαίθριο παιχνίδι που βασιζόταν στην τεχνολογία της κινητής (mobile technology). Στην εργασία (Monreale et al., 2009), προτείνεται η τεχνική WhereNext, η οποία αποσκοπεί στην πρόβλεψη ενός ορισμένου επιπέδου ακριβείας της επόμενη θέσης ενός κινούμενου αντικειμένου. Η πρόβλεψη χρησιμοποιεί προηγούμενα πρότυπα κίνησης που ονομάζονται Πρότυπα Τροχιών, τα οποία αποτελούν μια συνοπτική απεικόνιση των συμπεριφορών των κινούμενων αντικειμένων ως ακολουθίες των περιοχών που επισκέπτονται συχνά. Ένα δέντρο απόφασης, επονομαζόμενο δέντρο T-προτύπων (T-pattern Tree), δημιουργείται και αξιολογείται χρησιμοποιώντας μια τυπική διαδικασία εκπαίδευσης και ελέγχου. Το δέντρο μαθαίνει χρησιμοποιώντας τα Πρότυπα Τροχιών που κατέχουν μια συγκεκριμένη περιοχή και μπορεί να χρησιμοποιηθεί για να προβλεφθεί η επόμενη θέση της νέας τροχιάς βρίσκοντας την καλύτερη αντίστοιχη διαδρομή στο δέντρο. 55

56 Σχήμα 3.1. Ανεπαρκής Πρόβλεψη Ένα παράδειγμα δέντρου T-προτύπων φαίνεται στο σχήμα 3.2. Στην εργασία (Monreale et al., 2009), τρεις διαφορετικές μέθοδοι καλύτερου ταιριάσματος προτείνονται για τη κατηγοριοποίηση ενός νέου κινούμενου αντικειμένου. Επίσης, μελετούνται εκτενώς οι επιπτώσεις τους στην ποιότητα πρόβλεψης. Η χρήση Προτύπων Τροχιών ως προγνωστικούς κανόνες έχει τις ακόλουθες συνέπειες: η μάθηση εξαρτάται από την κίνηση όλων των διαθέσιμων αντικειμένων σε μια συγκεκριμένη περιοχή, αντί για το ατομικό ιστορικό της πορείας του κάθε αντικειμένου το δέντρο περιέχει τις χωροχρονικές ιδιότητες που έχουν προκύψει από τα δεδομένα και έτσι μπορούν να καθοριστούν οι μέθοδοι ταιριάσματος που εξαρτώνται αυστηρά από τις ιδιότητες αυτών των κινήσεων. 56

57 Σχήμα 3.2. Παράδειγμα Δέντρου Τ-Προτύπων 3.2 Πραγματικά δεδομένα Τα διαθέσιμα δεδομένα που χρησιμοποιήθηκαν σε αυτή την εργασία συλλέχθηκαν τα έτη σε μία πόλη του Βελγίου και συγκεκριμένα στη Φλάνδρα, στα πλαίσια μιας μεγάλης σε κλίμακα έρευνας, η οποία διεξήχθη σε 2500 νοικοκυριά στη συγκεκριμένη περιοχή. Μια πιο ενδελεχής επεξεργασία για την έρευνα αυτή μπορεί να βρεθεί στην εργασία των Cools et. al. (2009) Περιγραφή δεδομένων Τα δεδομένα των κινούμενων αντικειμένων που χρησιμοποιήθηκαν στην παρούσα εργασία προέρχονται από δύο πηγές δεδομένων: τα ημερολόγια κίνησης και την αντίστοιχη έρευνα στην οποία χρησιμοποιήθηκαν PDAs (Προσωπικοί Ψηφιακοί Βοηθοί - Personal Digital Assistants) εξοπλισμένα με δέκτες GPS. Στην έρευνα των ημερολόγιων κίνησης οι χρήστες κατέγραψαν πληροφορίες για τις διαδρομές (trips) και το είδος των δραστηριοτήτων κατά τη διάρκεια μιας εβδομάδας, όπως για παράδειγμα τον τρόπο μεταφοράς, πληροφορίες σχετικά με τη δραστηριότητα, και ούτω καθεξής. Επίσης, καταγράφηκαν πληροφορίες για τον χρόνο της διαδρομής, δηλαδή την ώρα έναρξης της διαδρομής και την ώρα λήξης. 57

58 Ωστόσο, δεδομένου ότι τα ημερολόγια κίνησης, συχνά, συμπληρώνονται στο τέλος της κάθε ερευνητικής ημέρας, αυτό είναι απλώς μια προσέγγιση για την οποία η εγγύτητα καθορίζεται από τις δεξιότητες ανάκλησης του χρήστη. Σε ελάχιστους από αυτούς τους δόθηκαν PDAs τα οποία ήταν εξοπλισμένα με δέκτες GPS, που ονομάζονται παπαγάλοι - σύστημα PDA για την Καταχώριση και Καταγραφή Δραστηριότητας Προγραμματισμένων Ταξιδιών (PARROTS - Activity Registration and Recording of Travel Scheduling). Συνήθως οι συσκευές GPS συλλέγουν δεδομένα σε αρχεία καταγραφής μορφής GPS, στα οποία το γεωγραφικό μήκος, το γεωγραφικό πλάτος, μια χρονική σήμανση, καθώς και η ταχύτητα του ταξιδιού καταγράφονται σε μία δευτερόλεπτοπρος-δευτερόλεπτο βάση (second-to-second basis). Ομοίως, η συσκευή που χρησιμοποιήθηκε στη συγκεκριμένη έρευνα ήταν σε θέση να λάβει τις πληροφορίες της διαδρομής κατά τη διάρκεια μιας εβδομάδας. Επίσης, οι χρήστες ρωτήθηκαν και για περαιτέρω πληροφορίες, για παράδειγμα τον σκοπό του ταξιδιού και το μέσο μεταφοράς που χρησιμοποίησαν (Bellemans et al., 2008). Με τον όρο διαδρομή νοείται μια κίνηση του χρήστη από ένα σημείο Α σε ένα άλλο σημείο Β. Η έρευνα επικεντρώνεται σε στοιχεία από τις παραπάνω πηγές και αφορά 186 χρήστες Επεξεργασία δεδομένων Η σύγκριση των δύο πηγών από όπου προήλθαν τα δεδομένα (δηλαδή τα ημερολόγια κίνησης και τα αρχεία καταγραφής GPS) δείχνει μία αναντιστοιχία στην εγγραφή του χρόνου. Αυτή η αναντιστοιχία είναι πιθανό να οφείλεται σε ελλιπή δρομολόγια. Για τις περισσότερες διαδρομές, ανιχνεύθηκε μόνο μια μικρή απόκλιση στο χρόνο εγγραφής, η οποία μπορεί να οφείλεται σε σφάλματα στρογγυλοποίησης. Περίπου 5% των δεδομένων, ωστόσο, δείχνουν μεγάλες αποκλίσεις που εκτείνονται από μία ως και περισσότερες από δύο ώρες, τα συγκεκριμένα δεδομένα δεν συμπεριλαμβάνονται στο σύνολο ανάλυσης. Ο συνολικός αριθμός των μη επεξεργασμένων δεδομένων GPS είναι , δηλαδή κατά μέσο όρο εγγραφές ανά χρήστη. Τα εν λόγω δεδομένα καλύπτουν μια περίοδο 730 ημερών, από μέχρι και Κάθε εγγραφή GPS έχει έναν αναγνωριστικό αριθμό που δείχνει τη διαδρομή στην οποία ανήκει. Ο συνολικός αριθμός των διαδρομών είναι 3474, δηλαδή κατά μέσο όρο

59 ταξίδια ανά χρήστη. Κάθε εγγραφή GPS έχει ένα αναγνωριστικό εγκυρότητας («Α» για την έγκυρη εγγραφή και «V» για την μη έγκυρη εγγραφή), μία εγγραφή θεωρείται έγκυρη αν ο αριθμός των δορυφόρων είναι τουλάχιστον ίσος με 3, έτσι ώστε να εξασφαλίζεται η σταθερότητα του σήματος. Τα δεδομένα GPS υποβλήθηκαν σε επεξεργασία για την παραγωγή τροχιών (trajectories) ως εξής: Λαμβάνονται υπόψη μόνο οι έγκυρες εγγραφές GPS, οπότε ο αριθμός των διαθέσιμων δεδομένων αντιστοιχεί σε Στη συνέχεια, χρησιμοποιήθηκε αλγόριθμος, ο οποίος αναδιοργανώνει τις τροχιές που χρησιμοποιήθηκαν, με σκοπό να ομαδοποιηθούν οι εγγραφές ανά χρήστη σε τροχιές ανά χρήστη. Ο αλγόριθμος εξάγει 1709 τροχιές, οι οποίες αποτελούνται από δεδομένα. Από αυτές τις τροχιές μόνο 1698 ήταν έγκυρες (είχαν περισσότερες από μία εγγραφές GPS). Τα ημερολόγια κίνησης περιέχουν 881 διαδρομές για τους 186 χρήστες. Τα δεδομένα που προέρχονται από τα ημερολόγια κίνησης υποβλήθηκαν σε επεξεργασία για την παραγωγή σημασιολογικών τροχιών (semantic trajectories) ως εξής: Μία διαδρομή ημερολόγιου κίνησης θεωρείται ένα επεισόδιο MOVE, οπότε πριν και μετά το ταξίδι προστέθηκαν επεισόδια STOP. Οι σημασιολογικές τροχιές δημιουργούνται κάθε φορά που συναντάται ένας νέος χρήστης ή μια νέα μέρα (επίσης όταν υπάρχει ασυνέχεια μεταξύ των αριθμών των διαδρομών). Η παραπάνω διαδικασία έχει ως αποτέλεσμα τη δημιουργία 300 σημασιολογικών τροχιών. Συνδυάζοντας πληροφορίες από τα ημερολόγια κίνησης και από τις εγγραφές των GPS, για κάθε επεισόδιο δημιουργείται μια αντίστοιχη τροχιά (μια υπο-τροχιά). Ο συνολικός αριθμός των επεισοδίων είναι 2061 (881 επεισόδια MOVE και 1180 επεισόδια STOP ). Υπάρχουν 14 τύποι δραστηριοτήτων για τα επεισόδια STOP (προορισμός) και 10 τύποι δραστηριοτήτων για τα επεισόδια MOVE. Στο παρακάτω σχήμα 3.3, βλέπουμε πως ο αριθμός των διαδρομών κατανέμεται ανά δραστηριότητα για τα επεισόδια STOP. Τα ημερολόγια κίνησης δίνουν πληροφορίες για τον τόπο που έλαβε χώρα η δραστηριότητα. Οι προορισμοί των χρηστών κατηγοριοποιούνται σε 4 τύπους (Σπίτι, Εργασία/Σχολείο, Οικογένεια/Φίλοι/Γνωστοί, Άλλο). Στο σχήμα 3.4 φαίνεται η κατανομή των προορισμών των χρηστών για τα επεισόδια STOP. 59

60 Σχήμα 3.3. Δραστηριότητες Χρηστών Σχήμα 3.4. Σημεία ενδιαφέροντος χρηστών 60

61 3.3 Συναφής εφαρμογή Στην εργασία (Reumers et al., 2013) έγινε μια προσπάθεια εξαγωγής τύπων δραστηριοτήτων από δεδομένα GPS αναπτύσσοντας ένα δέντρο απόφασης βάση των ωρών έναρξης των δραστηριοτήτων και τις διάρκειες των δραστηριοτήτων. Χρησιμοποιήθηκαν δύο τύποι δεδομένων, δεδομένα που προέρχονται από ημερολόγια κίνησης και δεδομένα GPS. Οι συγγραφείς στο (Reumers et al., 2013) χρησιμοποίησαν το σύνολο δεδομένων που αναλύθηκε παραπάνω, δηλαδή τα δεδομένα που συγκεντρώθηκαν το 2006 και το 2007 στη Φλάνδρα του Βελγίου. Θεώρησαν ως μεταβλητές εισόδου του μοντέλου τους, τη διάρκεια και τον χρόνο έναρξης της δραστηριότητας με σκοπό να προβλέψουν τον τύπο της δραστηριότητας. Τα διαθέσιμα δεδομένα κατατάχθηκαν με τυχαίο τρόπο σε 3 σύνολα δεδομένων. Το σύνολο εκπαίδευσης αποτελείται από 8550 παρατηρήσεις (75%), ενώ το σύνολο αξιολόγησης αποτελείται από 2898 παρατηρήσεις (25%). Το σύνολο εκπαίδευσης χρησιμοποιήθηκε για να εκπαιδεύσει το μοντέλο και το σύνολο αξιολόγησης χρησιμοποιήθηκε για να συντονίσει το μοντέλο, π.χ. το κλάδεμα του δέντρου απόφασης. Επιπλέον, χρησιμοποιήθηκε ένα σύνολο ελέγχου, το οποίο αποτελείται από 290 παρατηρήσεις. Τα μεγαλύτερα ποσοστά ακριβείας παρατηρήθηκαν όταν το δέντρο απόφασης εμπεριείχε 18 φύλλα και τα δεδομένα εξόδου του αποτελούνταν από δραστηριότητες εντός και εκτός σπιτιού. Κατά συνέπεια, παράχθηκαν 18 κανόνες if-then. Το δέντρο απόφασης παρουσιάζεται στην εικόνα 3.5. Σύμφωνα με τη μεθοδολογία στο (Reumers et al., 2013) επιτεύχθηκε ακρίβεια ίση με 74% στο σύνολο εκπαίδευσης του δένδρου, 72.5% στο σύνολο αξιολόγησης και 76% στο σύνολο ελέγχου. Με βάση το δέντρο απόφασης, κατασκευάστηκε ένας πίνακας πιθανοτήτων. Τα μοντέλα που κατασκευάστηκαν υποδηλώνουν τη σημασία των πληροφοριών που αφορούν στον χρόνο, κατά τη διαδικασία του σημασιολογικού εμπλουτισμού. Η συμβολή της μελέτης των Reumers et. al. (2013) είναι ελπιδοφόρα δεδομένου ότι επιτρέπει στους ερευνητές να άγουν αυτόματα συμπεράσματα αποκλειστικά για τις δραστηριότητες των χρηστών χρησιμοποιώντας μόνο τον χρόνο έναρξης και τη διάρκεια των δραστηριοτήτων, που εξάγονται από δεδομένα GPS. 61

62 Σχήμα 3.5. Δέντρο απόφασης κατηγορίας δραστηριοτήτων (Reumers et al., 2013) 3.4 Προτεινόμενη μεθοδολογία Τα νευρωνικά δίκτυα με τη δυνατότητα τους να εξάγουν έννοιες και αποτελέσματα από περίπλοκα ή ανακριβή στοιχεία μπορούν να χρησιμοποιηθούν για να αναγνωρίσουν πρότυπα και να ανιχνεύσουν τάσεις που είναι σύνθετες για να παρατηρηθούν από άλλα υπολογιστικά συστήματα. Όπως ήταν αναμενόμενο, τα νευρωνικά δίκτυα έχουν ήδη χρησιμοποιηθεί σε προβλήματα πρόβλεψης χρησιμοποιώντας ως εισόδους δεδομένα που προέρχονται από ημερολόγια κίνησης. Στην παρούσα εργασία χρησιμοποιήθηκε το σύνολο κινούμενων αντικειμένων που προέρχεται από μία πόλη του Βελγίου και παρουσιάστηκε παραπάνω, έτσι ώστε να εκπαιδευτούν μοντέλα νευρωνικών δικτύων RBF και MLPs. Σε κάθε μία από τις εφαρμογές που παρουσιάζονται στο κεφάλαιο 4, χρησιμοποιήθηκαν διαφορετικές είσοδοι και έξοδοι για τα μοντέλα νευρωνικών δικτύων. Σε κάθε εφαρμογή ακολουθήθηκε διαφορετική διαδικασία επεξεργασίας για τα διαθέσιμα δεδομένα έτσι ώστε να εξαχθεί ένα σύνολο από ζεύγη εισόδου - εξόδου, το οποίο χωρίστηκε σε τρία διαφορετικά υποσύνολα δεδομένων. Το ένα υποσύνολο αποτελείται από το 50% των δεδομένων εισόδου - εξόδου και χρησιμοποιήθηκε για την εκπαίδευση του δικτύου. Το άλλο υποσύνολο αποτελείται από το 25% των παρατηρήσεων και χρησιμοποιήθηκε για την αξιολόγηση του δικτύου. Το τελευταίο υποσύνολο χρησιμοποιήθηκε για τον έλεγχο του δικτύου. Τα δεδομένα χωρίστηκαν 62

63 σε τρία σύνολα (εκπαίδευσης, αξιολόγησης και ελέγχου) με τυχαία σειρά, εκτός από τις 3 ελάχιστες και μέγιστες τιμές για κάθε είσοδο που συμπεριλήφθησαν στο σύνολο δεδομένων εκπαίδευσης. Κρατήθηκαν αυτές οι τιμές στο σύνολο δεδομένων εκπαίδευσης προκειμένου να είναι σίγουρο ότι το νευρωνικό δίκτυο δεν θα χρησιμοποιηθεί για προβλέψεις έξω από τα όρια των δεδομένων εκπαίδευσης. Αφού καθορίστηκαν οι μεταβλητές εισόδου και εξόδου του μοντέλου, οι μεταβλητές εισόδου κανονικοποιήθηκαν ως προς το εύρος τους, ώστε οι τιμές τους να βρίσκονται στο διάστημα [0 1]. Επίσης, ο αριθμός των εξόδων του μοντέλου είναι ίσος με τον αριθμό των κλάσεων των οποίων οι τιμές κυμαίνονται στο διάστημα [0 1]. Κάθε διάνυσμα εξόδου είναι επιθυμητό να ενεργοποιεί μία μόνο από τις εξόδους, δηλαδή μία έξοδος να γίνεται 1 και όλες οι άλλες 0. Σε περίπτωση που περισσότερες από μία εξόδους είναι ενεργοποιημένες (έχουν δηλαδή μη μηδενική τιμή), κάτι που συμβαίνει αρκετά συχνά, επιλέγεται η έξοδος που έχει μέγιστη τιμή. Τα μοντέλα των νευρωνικών δικτύων RBF εκπαιδεύτηκαν χρησιμοποιώντας τον αλγόριθμο των ασαφών μέσων (Sarimveis et al., 2002) ως τεχνική εκπαίδευσης και την τροποποιημένη συνάρτηση Thin Plate Spline ως συνάρτηση ενεργοποίησης (εξίσωση (26)). ( ) log( 1) (26) όπου υ είναι η ευκλείδεια απόσταση της διαφοράς του διανύσματος εισόδου και του διανύσματος των κέντρων του νευρώνα της κρυφής στοιβάδας. Τα μοντέλα των νευρωνικών δικτύων MLPs εκπαιδεύτηκαν χρησιμοποιώντας τον αλγόριθμο Levenberg-Marquardt, ο οποίος περιγράφεται στην εργασία (Hagan et al., 1994). Οι παράμετροι των νευρωνικών δικτύων, καθορίστηκαν βάση του συνόλου δεδομένων εκπαίδευσης. Έπειτα, το τελικό μοντέλο επιλέχτηκε χρησιμοποιώντας το σύνολο αξιολόγησης. Επιπλέον, χρησιμοποιήθηκε ένα ανεξάρτητο σύνολο ελέγχου, το οποίο δεν συμμετείχε σε καμία από τις διαδικασίες εκπαίδευσης ή αξιολόγησης, ούτως ώστε να ελεγχθεί η αξιοπιστία του μοντέλου. Στην περίπτωση των δικτύων RBF η επιλογή των μοντέλων έγινε βάση μιας μόνο παραμέτρου, τον αριθμό των ασαφών συνόλων. Προκειμένου να βρεθεί η βέλτιστη διαμέριση του χώρου των μεταβλητών εισόδου εξετάστηκαν τα ασαφή σύνολα στο διάστημα [5, 50]. 63

64 Στην περίπτωση των δικτύων MLPs, η αρχιτεκτονική που επιλέχθηκε να χρησιμοποιηθεί αποτελείται από δύο κρυφές στοιβάδες. Έπειτα, εξετάστηκαν όλοι οι δυνατοί συνδυασμοί των κόμβων όπου η κάθε μία από τις δύο κρυφές στοιβάδες μπορούσε να πάρει τιμές στο διάστημα [5, 40]. Τα αποτελέσματα αξιολογήθηκαν χρησιμοποιώντας έναν στατιστικό δείκτη, συγκεκριμένα την ακρίβεια επί τοις εκατό (percent accuracy), που υπολογίζεται σύμφωνα με την παρακάτω σχέση: Αριθμός επιτυχών προβλέψεων Ακρίβεια % = 100 Αριθμός συνολικών δεδομένων (27) Ο αλγόριθμος των Ασαφών Μέσων (Fuzzy Means Algorithm) Το κρίσιμο σημείο στο σχεδιασμό ενός νευρωνικού δικτύου RBF είναι η επιλογή του αριθμού των κέντρων και των τοποθεσιών τους. Ο πιο διαδεδομένος αλγόριθμος για την εύρεση των κέντρων βασίζεται στον αλγόριθμο k-means, ο οποίος παρουσιάστηκε παραπάνω. Τα κύρια μειονεκτήματα του αλγορίθμου είναι τα εξής: Ο αριθμός των νευρώνων της κρυφής στοιβάδας πρέπει να καθοριστεί από τον χρήστη. Αυτό έχει ως επακόλουθο την αναγκαιότητα χρήσης της διαδικασίας δοκιμής και σφάλματος έτσι ώστε να επιλεγεί ο βέλτιστος αριθμός των νευρώνων της κρυφής στοιβάδας. Η τεχνική αυτή αυξάνει τον υπολογιστικό χρόνο της διαδικασίας εκπαίδευσης. Κατά την επιλογή των κέντρων των κρυφών νευρώνων, απαιτούνται πολλά περάσματα από τα δεδομένα εκπαίδευσης. Αυτή η επαναληπτική διαδικασία αυξάνει τον υπολογιστικό χρόνο, ειδικότερα μάλιστα όταν ο αριθμός των δεδομένων εκμάθησης είναι πολύ μεγάλος. Εξαρτάται από μια τυχαία αρχική επιλογή των κέντρων. Αυτό έχει ως αποτέλεσμα για τα ίδια δεδομένα, για διαφορετικά τρεξίματα, ο αλγόριθμος να μας δίνει διαφορετικά κέντρα. Τα παραπάνω μειονεκτήματα καθιστούν ιδιαίτερα δύσκολη τη χρήση αυτών των τεχνικών εκπαίδευσης σε διάφορες εφαρμογές των νευρωνικών δικτύων RBF. 64

65 Προκειμένου να ξεπεραστούν τα προαναφερθέντα προβλήματα, χρησιμοποιήσαμε τον αλγόριθμο εκμάθησης των ασαφών μέσων (Sarimveis et al., 2002), ο οποίος παρουσιάζει τα παρακάτω πλεονεκτήματα: Δεν απαιτείται εκ των προτέρων καθορισμός του αριθμού των κόμβων της κρυφής στοιβάδας, αφού για δεδομένο αριθμό ασαφών συνόλων ο αλγόριθμος υπολογίζει μόνος του τη διάσταση της κρυφής στοιβάδας. Ο αλγόριθμος χρειάζεται μόνο ένα πέρασμα από τα δεδομένα εκπαίδευσης, με αποτέλεσμα να μειώνεται δραστικά ο υπολογιστικός χρόνος για την εκπαίδευση του δικτύου. Η μέθοδος έχει επαναληψιμότητα, αφού δεν εμπλέκεται η αρχική τυχαία επιλογή των κέντρων. Ο αλγόριθμος των ασαφών μέσων χρησιμοποιεί μία διαφορετική τεχνική επιλογής κέντρων η οποία βασίζεται στην ασαφή λογική. Η έννοια της ασαφούς λογικής εισήχθηκε από τον Lotfali Askar Zadeh (1965). Ο αλγόριθμος των ασαφών μέσων κάνοντας μόνο ένα πέρασμα από τα δεδομένα εκπαίδευσης επιλέγει τη δομή και τις παραμέτρους του δικτύου με βάση μία ασαφή διαμέριση του χώρου των μεταβλητών εισόδου. Επιπλέον, για μία συγκεκριμένη ασαφή διαμέριση του χώρου των μεταβλητών εισόδου, ο αλγόριθμος παράγει πάντα τον ίδιο αριθμό κέντρων, αφού τα κέντρα δεν επιλέγονται τυχαία. Ο αλγόριθμος των ασαφών μέσων έχει χρησιμοποιηθεί με επιτυχία σε μια σειρά εφαρμογών που συμπεριλαμβάνουν την εκτίμηση κρίσιμων παραμέτρων στην επιστήμη των υλικών (Afantitis et al., 2005, Alexandridis et al., 2012, Chondrodima, 2011), την αναγνώριση συστημάτων σε πραγματικό χρόνο (Alexandridis, 2003), τον αυτόματο έλεγχο βιομηχανικών διεργασιών (Alexandridis, 2005a), την επίλυση προβλημάτων επιλογής μεταβλητών (Alexandridis, 2005b), κ.α. Επίσης πρόσφατα παρουσιάστηκε μία παραλλαγή της μεθόδου των ασαφών μέσων που ονομάζεται μη συμμετρικός αλγόριθμος των ασαφών μέσων σε συνδυασμό με έναν μηχανισμό βελτιστοποίησης βασισμένο σε βελτιστοποίηση σμήνους σωματιδίων (Particle Swarm Optimization) (Alexandridis et al., 2013). Ο αλγόριθμος των σαφών μέσων διαμερίζει των χώρο κάθε μεταβλητής εισόδου σε έναν αριθμό ίσων μονοδιάστατων τριγωνικών ασαφών συνόλων. 65

66 Αποτέλεσμα αυτού του διαμερισμού είναι η δημιουργία ενός συνόλου πολυδιάστατων ασαφών υπόχωρων, όπου ο καθένας από αυτούς είναι υποψήφιος για να γίνει κέντρο του δικτύου RBF. Το τελικό σύνολο των κέντρων το συγκροτούν μόνο οι επιλεγμένοι ασαφείς υπόχωροι, οι οποίοι επιλέγονται έτσι ώστε να υπάρχει τουλάχιστον ένας ασαφής υπόχωρος που να ορίζει ένα μη μηδενικό πολυδιάστατο βαθμό σε κάθε διάνυσμα εισόδου. Η επιλογή είναι βασισμένη στην ιδέα της πολυδιάστατης συνάρτησης συμμετοχής (Nie, 1997), η οποία καθορίζει μια υπερσφαίρα στον χώρο των μεταβλητών εισόδου. Ο αντικειμενικός στόχος του αλγόριθμου των ασαφών μέσων είναι να επιλέξει ένα υποσύνολο των ασαφών υπόχωρων ως κέντρα RBF έτσι ώστε όλα τα στοιχεία εκπαίδευσης να καλύπτονται από μία τουλάχιστον υπερ-σφαίρα. Ο αλγόριθμος που είναι αρμόδιος για την επιλογή αυτού του υποσυνόλου περιγράφεται αναλυτικά από τους Sarimveis et al. (2002) Ο αλγόριθμος Levenberg-Marquardt Έχουν αναπτυχθεί διάφοροι αλγόριθμοι για την εκπαίδευση νευρωνικών δικτύων MLPs. Ένας από αυτούς είναι ο αλγόριθμος gradient descent, γνωστός και ως αλγόριθμος Back-Propagation, ο οποίος χρησιμοποιείται ευρέως λόγω της σταθερότητάς του αλλά συγκλίνει με αρκετά χαμηλή ταχύτητα. Ο αλγόριθμος Gauss- Newton, από την άλλη πλευρά, είναι ταχύτερος αλλά ασταθής. Ο αλγόριθμος Levenberg-Marquardt συνδυάζει τις δύο αυτές μεθόδους με τέτοιο τρόπο ώστε να χαρακτηρίζεται από σταθερότητα και ταχύτητα (Foresee & Hagan, 1997, Hagan et al., 1994, Haykin, 1999). Ο αλγόριθμος Levenberg-Marquardt (Hagan et al., 1994) είναι ένας γενικός αλγόριθμος βελτιστοποίησης που ελαχιστοποιεί συναρτήσεις τετραγωνικής μορφής και εφαρμόζεται γενικότερα και σε άλλα προβλήματα πέραν των νευρωνικών δικτύων. Η ενημέρωση των βαρών στο συγκεκριμένο αλγόριθμο γίνεται με τον ακόλουθο τύπο: T 1 T W W [ J J I] J e (28) όπου W: ο πίνακας που περιέχει όλα τα βάρη του δικτύου 66

67 J: ο πίνακας που έχει ως στοιχεία του τις πρώτες παραγώγους των σφαλμάτων του κάθε νευρώνα ως προς τα βάρη του δικτύου της ίδιας στοιβάδας e: το διάνυσμα που αποτελείται από τα σφάλματα του δικτύου για όλα τα δεδομένα εκπαίδευσης. Τόσο τα σφάλματα του δικτύου όσο και τα στοιχεία του πίνακα J για τη κρυφή στοιβάδα και τη στοιβάδα εισόδου υπολογίζονται με χρήση των ανάστροφων σημάτων λάθους. Επίσης, πρέπει να σημειωθεί ότι ο αλγόριθμος εκπαίδευσης δεν εξασφαλίζει ότι το σύστημα θα σταθεροποιηθεί στην κατάσταση που ελαχιστοποιεί απόλυτα τη συνάρτηση σφάλματος. Συμβαίνει συχνά το δίκτυο που εκπαιδεύεται με τον αλγόριθμο της ανάστροφης διάδοσης να εγκλωβίζεται σε κάποιο τοπικό ελάχιστο. Ο αλγόριθμος της εκπαίδευσης Levenberg Marquardt συνίσταται από τα εξής βήματα: 1. Αρχικοποίηση των βαρών και εκτίμηση του σφάλματος. 2. Ενημέρωση των βαρών σύμφωνα με την εξίσωση (28). 3. Εκτίμηση του σφάλματος χρησιμοποιώντας τα νέα βάρη. 4. Αν το τρέχον σφάλμα αυξάνεται ως αποτέλεσμα της ενημέρωσης βαρών, τότε η τελευταία ενημέρωση βαρών ακυρώνεται και ο συντελεστή μ πολλαπλασιάζεται με κάποιον παράγοντα. Επιστροφή στο βήμα Αν το τρέχον σφάλμα μειωθεί ως αποτέλεσμα της ενημέρωσης βαρών, τότε η τελευταία ενημέρωση βαρών επικυρώνεται και ο συντελεστής μ διαιρείται με τον ίδιο παράγοντα του βήματος Επιστροφή στο βήμα 2 με τα νέα βάρη μέχρι το σφάλμα να γίνει μικρότερο από μία ορισμένη τιμή. 67

68 ΠΡΟΒΛΕΨΗ ΣΕ ΗΜΕΡΟΛΟΓΙΑ ΚΙΝΗΣΗΣ ΜΕ ΧΡΗΣΗ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ Σε αυτό το κεφάλαιο παρουσιάζονται τέσσερις εφαρμογές όπου χρησιμοποιούνται οι δύο πιο διαδεδομένες αρχιτεκτονικές νευρωνικών δικτύων, RBF και MLPs, οι οποίες αναλύθηκαν στο κεφάλαιο 2. Εκπαιδεύτηκε ένας αριθμός μοντέλων νευρωνικών δικτύων χρησιμοποιώντας ως εισόδους δεδομένα που προήλθαν από μία πόλη του Βελγίου και αναλύθηκαν στο κεφάλαιο Εφαρμογή στην πρόβλεψη μελλοντικής θέσης κινούμενου αντικειμένου Από το σύνολο δεδομένων σημασιολογικών τροχιών του Βελγίου, αφαιρέθηκαν τα επεισόδια MOVE και τα ελλιπή δεδομένα και έτσι ήταν διαθέσιμο ένα σύνολο από 1165 ζεύγη εισόδου - εξόδου, το οποίο χωρίστηκε σε τρία διαφορετικά υποσύνολα δεδομένων, όπως παρουσιάστηκε στο κεφάλαιο 3.3. Ύστερα, εκπαιδεύθηκαν μοντέλα νευρωνικών δικτύων προκειμένου να προβλεφθεί η κατηγορία μελλοντικής θέσης του χρήστη, χρησιμοποιώντας ως εισόδους την κατηγορία θέσης έναρξης του χρήστη, τη διάρκεια και τον χρόνο έναρξης της δραστηριότητας. Οι κατηγορίες θέσης (θέσεις έναρξης και μελλοντικές θέσεις) του χρήστη προέκυψαν από την επεξεργασία των τιμών γεωγραφικού μήκους και πλάτους χρησιμοποιώντας τον αλγόριθμο k-means. Στην πρώτη περίπτωση επιλέχτηκε ο αριθμός των κλάσεων να είναι ίσος με 50 και στη δεύτερη περίπτωση επιλέχτηκε ο αριθμός των κλάσεων να είναι ίσος με 100. Τα σχήματα 4.1 και 4.2 παρουσιάζουν και για τα τρία σύνολα δεδομένων (εκπαίδευσης-αξιολόγησης-ελέγχου) τις τοποθεσίες των κλάσεων που έδωσε ο αλγόριθμος k-means (μαύροι μεγάλοι κύκλοι με x) σε σχέση με τις τιμές γεωγραφικού μήκους και πλάτους (μπλε μικρά στίγματα) στην πρώτη και στην δεύτερη περίπτωση, αντίστοιχα. 68

69 Σχήμα 4.1. Κλάσεις αλγορίθμου k-means Σχήμα 4.2. Κλάσεις αλγορίθμου k-means 69

70 4.1.1 Πρώτη περίπτωση: 50 κλάσεις Για λόγους σύγκρισης εκπαιδεύτηκαν δύο διαφορετικά νευρωνικά δίκτυα, ένα δίκτυο RBF και ένα δίκτυο MLP χρησιμοποιώντας τον αλγόριθμο των ασαφών μέσων και τον αλγόριθμο Levenberg-Marquardt, αντίστοιχα, όπως παρουσιάστηκε στο κεφάλαιο 3.3. Έτσι, τα μοντέλα είχαν 3 εισόδους και 50 εξόδους. Ο παρακάτω πίνακας συνοψίζει τα αποτελέσματα των τριών συνόλων δεδομένων για τα δύο διαφορετικά νευρωνικά δίκτυα χρησιμοποιώντας τον στατιστικό δείκτη ακρίβεια επί τοις εκατό. Επίσης, απεικονίζεται ο βέλτιστος αριθμός των κόμβων για τα δύο νευρωνικά και ο αριθμός των επιλεγμένων ασαφών συνόλων του δικτύου RBF. Παρατηρώντας τον πίνακα 1 φαίνεται ότι το μοντέλο των δικτύων RBF προβλέπει με μεγαλύτερη ακρίβεια την κατηγορία μελλοντικής θέσης του χρήστη. Επίσης, φαίνεται ότι τα δίκτυα RBF παρουσιάζουν μεγάλη διαφορά ανάμεσα στα ποσοστά πρόβλεψης του συνόλου εκπαίδευσης και των άλλων συνόλων. Η μεγάλη ακρίβεια που παρουσιάζει το σύνολο εκπαίδευσης οφείλεται στο φαινόμενο overfitting. Το φαινόμενο overfitting αποδίδεται στο υπερβολικό ταίριασμα με τα δεδομένα εκπαίδευσης. Το μοντέλο που παράγεται από τη διαδικασία εκπαίδευσης βάσει ενός συνόλου δεδομένων, ταιριάζει πολύ καλά στα δεδομένα εκπαίδευσης µε υψηλό βαθμό επιτυχίας (χρησιμοποιεί πολλές παραμέτρους και γίνεται πολύ ευέλικτο). Αυτό, όμως, μειώνει την ικανότητα γενίκευσης του μοντέλου, δηλαδή οι προβλέψεις που δίνει το συγκεκριμένο μοντέλο δεν είναι αποτελεσματικές σε καινούρια δεδομένα, διότι έχει γίνει πάρα πού ευέλικτο. Αυτό σημαίνει ότι ίσως και να έχει μοντελοποιήσει και τον θόρυβο των δεδομένων εκπαίδευσης. 70

71 Πίνακας 1. Αποτελέσματα για την πρόβλεψη κατηγορίας μελλοντικής θέσης χρήστη - 50 κλάσεις RBF MLP Τοπολογία Δικτύου Ασαφής Διαμέριση: 48 Κέντρα: 374 Κέντρα: [16 11] Σύνολο Εκπαίδευσης Ακρίβεια (%) Σύνολο Αξιολόγησης Ακρίβεια (%) Σύνολο Ελέγχου Ακρίβεια (%) Δεύτερη περίπτωση: 100 κλάσεις Ακολουθήθηκε η ίδια διαδικασία, όπως στην παραπάνω εφαρμογή, με τη μόνη διαφορά ότι εδώ, τα μοντέλα είχαν 3 εισόδους και 100 εξόδους. Επίσης, ο πίνακας 2 συνοψίζει τα αποτελέσματα των μοντέλων των νευρωνικών δικτύων χρησιμοποιώντας τον στατιστικό δείκτη ακρίβεια επί τοις εκατό. Είναι φανερό ότι τα μοντέλα δεν δίνουν καλές προβλέψεις. Η προσθήκη περισσότερων κλάσεων, σε σχέση με την προηγούμενη περίπτωση, χειροτερεύει τα αποτελέσματα. Η αιτία της κακής πρόβλεψης είναι ο μεγάλος αριθμός των κλάσεων των εξόδων των δικτύων, ο οποίος έχει ως αποτέλεσμα οι τοποθεσίες των κλάσεων να είναι πολύ κοντά η μία στην άλλη και έτσι ο αλγόριθμος να μη μπορεί να διαχωρίσει τις κλάσεις. Ακόμη, η μεγάλη ακρίβεια που παρουσιάζει το δίκτυο RBF στο σύνολο εκπαίδευσης οφείλεται στο φαινόμενο overfitting. 71

72 Πίνακας 2. Αποτελέσματα για την πρόβλεψη κατηγορίας μελλοντικής θέσης χρήστη κλάσεις RBF MLP Τοπολογία Δικτύου Ασαφής Διαμέριση: 50 Κέντρα: 364 Κέντρα: [11 8 ] Σύνολο Εκπαίδευσης Ακρίβεια (%) Σύνολο Αξιολόγησης Ακρίβεια (%) Σύνολο Ελέγχου Ακρίβεια (%) Εφαρμογή στην πρόβλεψη κατηγορίας δραστηριότητας κινούμενου αντικειμένου Στην παρακάτω εφαρμογή, προσεγγίστηκε το πρόβλημα πρόβλεψης κινούμενου αντικειμένου όπως οι συγγραφείς στην εργασία (Reumers et al., 2013). Θεωρήθηκαν ως μεταβλητές εισόδου η διάρκεια και ο χρόνος έναρξης της δραστηριότητας με σκοπό να προβλεφθεί ο τύπος της δραστηριότητας. Ο χρόνος έναρξης της δραστηριότητας είναι μία είσοδος που αφορά την ώρα, τα λεπτά και τα δευτερόλεπτα έναρξης. Επίσης, η έξοδος των μοντέλων, δηλαδή οι κατηγορίες των δραστηριοτήτων των χρηστών παρουσιάζονται στο σχήμα 3.3 του προηγούμενου κεφαλαίου. Κρατώντας μόνο τα επεισόδια STOP και αφαιρώντας τα ελλιπή δεδομένα, οι 1180 διαθέσιμες τιμές κατατάχθηκαν με τυχαίο τρόπο σε 3 σύνολα δεδομένων, όπως παρουσιάστηκε στο κεφάλαιο 3.3. Επίσης, για λόγους σύγκρισης εκπαιδεύτηκαν δύο διαφορετικά νευρωνικά δίκτυα, ένα δίκτυο RBF και ένα δίκτυο 72

73 MLP, όπως παρουσιάστηκε στο κεφάλαιο 3.3. Έτσι, τα μοντέλα μας είχαν 2 εισόδους και 14 εξόδους (μία για κάθε δραστηριότητα). Ο παρακάτω πίνακας συνοψίζει τα αποτελέσματα των τριών συνόλων δεδομένων για τα δύο διαφορετικά νευρωνικά δίκτυα χρησιμοποιώντας τον στατιστικό δείκτη ακρίβεια επί τοις εκατό. Επίσης, απεικονίζεται ο βέλτιστος αριθμός των κόμβων για τα δύο νευρωνικά και ο αριθμός των επιλεγμένων ασαφών συνόλων του δικτύου RBF. Παρατηρώντας τον πίνακα 3 βλέπουμε ότι τα αποτελέσματα είναι βελτιωμένα σε σχέση με τις προηγούμενες εφαρμογές και ειδικότερα στο σύνολο ελέγχου και τα δύο μοντέλα δίνουν ακρίβεια πάνω από 70%. Επίσης, το μοντέλο των δικτύων RBF προβλέπει καλύτερα τον τύπο δραστηριότητας των χρηστών. Ακόμη, φαίνεται ότι και στα δύο μοντέλα υπάρχουν διαφορές στα ποσοστά πρόβλεψης του συνόλου εκπαίδευσης και αξιολόγησης σε σχέση με το σύνολο ελέγχου. Αυτό οφείλεται στο τυχαίο ανακάτεμα των δεδομένων στα τρία διαφορετικά σύνολα. Επίσης, στο σχήμα 4.3 φαίνονται αναλυτικά οι προβλέψεις των δύο μοντέλων νευρωνικών δικτύων για την κάθε κλάση, ξεχωριστά για τα τρία σύνολα. Πίνακας 3. Αποτελέσματα για την πρόβλεψη τύπου δραστηριότητας χρήστη RBF MLP Τοπολογία Δικτύου Ασαφής Διαμέριση: 36 Κέντρα: 69 Κέντρα: [7 4] Σύνολο Εκπαίδευσης Ακρίβεια (%) Σύνολο Αξιολόγησης Ακρίβεια (%) Σύνολο Ελέγχου Ακρίβεια (%)

74 Σχήμα 4.3. Ποσοστά ακρίβειας πρόβλεψης κάθε κλάσης 74

75 4.3 Εφαρμογή στην πρόβλεψη κατηγορίας σημείου ενδιαφέροντος κινούμενου αντικειμένου Στην παρακάτω εφαρμογή, το μοντέλο νευρωνικών δικτύων εκπαιδεύθηκε προκειμένου να προβλεφθεί η κατηγορία του σημείου ενδιαφέροντος του χρήστη, δηλαδή η κατηγορία του τόπου όπου έλαβε χώρα η δραστηριότητα, χρησιμοποιώντας ως εισόδους το αναγνωριστικό (id) του επεισοδίου της τροχιάς και τον τύπο της δραστηριότητας για τα επεισόδια STOP. Οι δραστηριότητες των χρηστών παρουσιάζονται στο σχήμα 3.3 και οι κατηγορίες των σημείων ενδιαφέροντος φαίνονται στο σχήμα 3.4 του προηγούμενου κεφαλαίου. Αφαιρώντας τα επεισόδια MOVE και δεδομένα τα οποία ήταν ελλιπή, όσον αφορά στον τύπο της δραστηριότητας είχαμε στη διάθεσή μας ένα σύνολο από 1180 ζεύγη εισόδου - εξόδου, το οποίο χωρίστηκε σε τρία διαφορετικά υποσύνολα δεδομένων, όπως παρουσιάστηκε στο κεφάλαιο 3.3. Έτσι, τα μοντέλα μας είχαν 2 εισόδους και 4 εξόδους (μία για κάθε κατηγορία σημείου ενδιαφέροντος). Για λόγους σύγκρισης εκπαιδεύτηκαν δύο διαφορετικά νευρωνικά δίκτυα, ένα δίκτυο RBF και ένα δίκτυο MLP χρησιμοποιώντας τον αλγόριθμο των ασαφών μέσων και τον αλγόριθμο Levenberg-Marquardt, αντίστοιχα, όπως παρουσιάστηκε στο κεφάλαιο 3.3. Ο πίνακας 4 συνοψίζει τα αποτελέσματα των τριών συνόλων δεδομένων για τα δύο διαφορετικά νευρωνικά δίκτυα χρησιμοποιώντας τον στατιστικό δείκτη ακρίβεια επί τοις εκατό. Επίσης, απεικονίζεται ο βέλτιστος αριθμός των κόμβων για τα δύο νευρωνικά και ο αριθμός των επιλεγμένων ασαφών συνόλων του δικτύου RBF. Παρατηρώντας τον πίνακα 4, φαίνεται ότι τα αποτελέσματα είναι βελτιωμένα σε σχέση με τις προηγούμενες εφαρμογές. Επίσης, είναι φανερό ότι το δίκτυο RBF που εκπαιδεύτηκε με τον αλγόριθμο των ασαφών μέσων δίνει καλύτερα αποτελέσματα από το μοντέλο MLP και στα τρία σύνολα δεδομένων. Μάλιστα, παρατηρείται διαφορά στην ακρίβεια πρόβλεψης ανάμεσα στο μοντέλο RBF και στο μοντέλο MLP στο σύνολο ελέγχου, η οποία είναι ίση με ίση με 3.1%. Οι διαφορές στα ποσοστά πρόβλεψης του συνόλου εκπαίδευσης και αξιολόγησης σε σχέση με το σύνολο ελέγχου που υπάρχουν οφείλονται στο τυχαίο ανακάτεμα των δεδομένων στα τρία διαφορετικά σύνολα (εκπαίδευσης-αξιολόγησηςελέγχου). 75

76 Πίνακας 4. Αποτελέσματα για την πρόβλεψη κατηγορίας σημείου ενδιαφέροντος χρήστη RBF MLP Τοπολογία Δικτύου Ασαφής Διαμέριση: 47 Κέντρα: 69 Κέντρα: [32 14] Σύνολο Εκπαίδευσης Ακρίβεια (%) Σύνολο Αξιολόγησης Ακρίβεια (%) Σύνολο Ελέγχου Ακρίβεια (%) Στα σχήματα παρουσιάζονται οι πίνακες σύγχυσης (confusion matrices) για τα 3 σύνολα δεδομένων του δικτύου RBF. Συγκεκριμένα, στο σχήμα 4.4 παρουσιάζεται ο πίνακας σύγχυσης του συνόλου εκπαίδευσης του δικτύου RBF, στο σχήμα 4.5 παρουσιάζεται ο πίνακας σύγχυσης των δεδομένων αξιολόγησης και στο σχήμα 4.6 παρουσιάζεται ο πίνακας σύγχυσης του συνόλου ελέγχου. Επίσης, στα σχήματα 4.7, 4.8, 4.9 παρουσιάζονται οι πίνακες σύγχυσης για τα τρία σύνολα εκπαίδευσης, αξιολόγησης και ελέγχου του δικτύου MLP, αντίστοιχα. Η αρχή του πίνακα σύγχυσης είναι ότι αναγνωρίζει την φύση των σφαλμάτων, καθώς και την ποσότητά τους. Η διαδικασία ελέγχου του μοντέλου βασίζεται στον αριθμό των δεδομένων του συνόλου ελέγχου που προβλέπονται σωστά ή όχι από το μοντέλο. Οι στήλες του πίνακα σύγχυσης αντιστοιχούν στις πραγματικές κλάσεις εξόδου, ενώ οι γραμμές στις προβλεπόμενες. Η διαγώνιος του πίνακα σύγχυσης μας δείχνει τα ποσοστά των επιτυχημένων προβλέψεων. Επίσης, μέσω της στήλης που βρίσκεται δεξιότερα στον πίνακα, πληροφορούμαστε για τι πιθανότητες έχει το μοντέλο να προβλέπει σωστά μία 76

77 συγκεκριμένη κλάση (παρουσιάζεται με πράσινο χρώμα) και για το τι πιθανότητες έχει να μην προβλέπει σωστά μία κλάση (παρουσιάζεται με κόκκινο χρώμα). Ενώ, μέσω της γραμμής που βρίσκεται στο κάτω μέρος του πίνακα, πληροφορούμαστε για το τι πιθανότητες έχει το μοντέλο να προβλέπει σωστά μία συγκεκριμένη πραγματική τιμή (παρουσιάζεται με πράσινο χρώμα) και για το τι πιθανότητες έχει να προβλέπει εσφαλμένα μία συγκεκριμένη πραγματική τιμή (παρουσιάζεται με κόκκινο χρώμα). Για την καλύτερη οπτικοποίηση της σύγκρισης μεταξύ των δύο νευρωνικών δικτύων, παρουσιάζονται στο σχήμα 4.10 οι προβλέψεις των δύο μοντέλων για την κάθε κλάση, ξεχωριστά για τα τρία σύνολα. Παρατηρώντας το γράφημα στο σχήμα 4.10, είναι φανερό ότι και τα δύο νευρωνικά αδυνατούν να προβλέψουν σωστά τα δεδομένα που ανήκουν στη δεύτερη κλάση «Οικογένεια/Φίλοι/Γνωστοί». Αυτό οφείλεται στο γεγονός ότι η συγκεκριμένη κλάση έχει πολύ λίγα δεδομένα σε σχέση με τις άλλες τρείς κλάσεις, ποσοστό ίσο με 9% όλων των δεδομένων. Συγκεκριμένα, το νευρωνικό δίκτυο MLP το μεγαλύτερο ποσοστό σωστής πρόβλεψης που καταφέρνει είναι ίσο με 47.5% στο σύνολο εκπαίδευσης. Αντιθέτως, το μοντέλο RBF το μεγαλύτερο ποσοστό επιτυχίας που καταφέρνει είναι ίσο με 60%, επίσης, στο σύνολο εκπαίδευσης. Στα σύνολα εκπαίδευσης και αξιολόγησης το δίκτυο RBF σε σύγκριση με το δίκτυο MLP, προβλέπει με μεγαλύτερη ακρίβεια όλες τις κλάσεις εκτός από την κλάση «Εργασία/Σχολείο», όπου το RBF δίνει 73% και 78% ενώ το MLP 80% και 78.2%, αντίστοιχα. Επίσης, στο σύνολο ελέγχου, το δίκτυο RBF σε σύγκριση με το δίκτυο MLP, προβλέπει με μεγαλύτερη ακρίβεια όλες τις κλάσεις εκτός από την κλάση «Άλλο», όπου το RBF δίνει 68.3% ενώ το MLP 69.5%. Όσον αφορά στις προβλεπόμενες τιμές, το δίκτυο RBF σε σύγκριση με το δίκτυο MLP στο σύνολο εκπαίδευσης, δίνει μεγαλύτερη ακρίβεια σε όλες τις κλάσεις εκτός από την κλάση «Εργασία/Σχολείο», όπου το RBF δίνει 55.0% ενώ το MLP 60.9%. Επίσης, στο σύνολο ελέγχου, το δίκτυο RBF δίνει μεγαλύτερη ακρίβεια σε όλες τις κλάσεις σε σύγκριση με το δίκτυο MLP. 77

78 Σχήμα 4.4. Πίνακας Σύγχυσης του Συνόλου Εκπαίδευσης του Δικτύου RBF Σχήμα 4.5. Πίνακας Σύγχυσης του Συνόλου Αξιολόγησης του Δικτύου RBF 78

79 Σχήμα 4.6. Πίνακας Σύγχυσης του Συνόλου Ελέγχου του Δικτύου RBF Σχήμα 4.7. Πίνακας Σύγχυσης του Συνόλου Εκπαίδευσης του Δικτύου MLP 79