ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΤΕΧΝΩΝ ΗΧΟΥ ΚΑΙ ΕΙΚΟΝΑΣ. Πτυχιακή εργασία. είδωλα: Πρωτότυπο διαδραστικό ηχητικό παιχνίδι επαυξηµένης πραγµατικότητας

ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΤΕΧΝΩΝ ΗΧΟΥ ΚΑΙ ΕΙΚΟΝΑΣ Πτυχιακή εργασία είδωλα: Πρωτότυπο διαδραστικό ηχητικό παιχνίδι επαυξηµένης πραγµατικότητας Φοιτητής: Νίκος Μουστάκας Επιβλέπων καθηγητής: Ανδρέας Φλώρος Κέρκυρα Φεβρουάριος 2011

2

Συνοπτική Περίληψη Η χρήση του ήχου στα ηλεκτρονικά παιχνίδια αποτελεί κατά κύριο λόγο, δευτερεύον συστατικό αυτών, καθώς επικαλύπτεται σε µεγάλο βαθµό από την εικόνα. Με αυτή την εργασία επιτυγχάνεται η υλοποίηση ενός ηχητικού παιχνιδιού, στο οποίο ο ήχος διαµορφώνει την εξέλιξη του παιχνιδιού καθώς και τον χειρισµό του. Η πραγµατικότητα, «µπερδεύεται» µε τον εικονικό κόσµο του παιχνιδιού, παρέχοντας τη δυνατότητα σύνθεσης ενός επαυξηµένου κόσµου, ο οποίος γίνεται αντιληπτός από τον άνθρωπο αποκλειστικά και µόνο µε την αίσθηση της ακοής. Πρωταγωνιστές αυτού του παιχνιδιού, είναι ο παίκτης - άνθρωπος και τα «Είδωλα». Ο ήχος ουσιαστικά αποτελεί τον συνδετικό κρίκο µεταξύ των δύο αυτών πρωταγωνιστών, ενώ συγχρόνως αποτελεί και το αµφίδροµο µονοπάτι διάδρασης µεταξύ τους. Abstract The use of sound in the electronic games constitutes in the first place, secondary component of these, while overlaps to a great degree from the picture. With this work, is achieved the implementation of a sound game, in which the sound forms the peripeteia of game as well as his handling. The reality, «is tangled» with the virtual world of the game, providing the possibility of composition of an augmented world, which is exclusively become perceptible by the person with the sense of hearing. Protagonists of this game, are the player - person and the «Eidola». The sound substantially constitutes the conjunctive ring between this two protagonists, while simultaneously it constitutes also the bidirectional path of interaction with each other. 3

Πίνακας Περιεχομένων ΚΕΦΑΛΑΙΟ 1: Εισαγωγή. 8 1.1 Πεδίο Έρευνας, 8 1.2 Στόχος Εργασίας, 10 1.3 Οργάνωση Εργασίας, 10 ΚΕΦΑΛΑΙΟ 2: Θεωρία. 12 2.1 Αρχές Ακοής - Αμφιωτική Ακουστική (Binaural Hearing), 17 2.2 Εφαρμογές - παιχνίδια επαυξημένης ηχητικής πραγματικότητας, 24 2.3 Έννοια Διαδραστικής Οπτικοακουστικής Εγκατάστασης, 29 ΚΕΦΑΛΑΙΟ 3: Μεθοδολογία σχεδίασης και υλοποίησης. 32 3.1 Βιβλιογραφική έρευνα, 32 3.2 Μελέτη σεναρίου για ηχητικό παιχνίδι, 32 3.3 Σύστημα Επαυξημένης Ηχητικής Πραγματικότητας, 33 3.4 Πρωτόκολλο Επικοινωνίας, 36 3.5 Τεχνολογίες Head tracking, 40 3.6 Aρχιτεκτονική συστήματος «Είδωλα», 42 ΚΕΦΑΛΑΙΟ 4: Υλοποίηση. 47 4

4.1 Δημιουργία συστήματος επαυξημένης ηχητικής πραγματικότητας, 48 4.2 Μηχανή σύνθεσης πραγματικού χρόνου, 52 4.3 Γενικός Ελεγκτής Διάδρασης, 54 4.4 Ελεγκτής τροχιάς και ζωής «Ειδώλων», 55 4.5 Διαμόρφωση Επαυξημένου Δωματίου και Ελεγκτής Θέσης Ατόμου, 58 4.6 Ασύρματο φορητό σύστημα επικοινωνίας χρήστη - συστήματος, 62 4.7 Διαμόρφωση Χώρου, 64 4.8 Πρωτόκολλο Επικοινωνίας OSC, 68 4.9 Σύνθεση Ήχων, 68 ΚΕΦΑΛΑΙΟ 5: Συζήτηση - Συμπεράσματα. 70 5.1 Απλοποίηση παιχνιδιού, 70 5.2 Προγραμματιστικά προβλήματα, 70 5.3 Σύστημα Ηχητικής Ταυτοποίησης, 71 5.4 Αποτελέσματα Σκορ, 71 5.5 Προβλήματα ασύρματου φορητού συστήματος επικοινωνίας χρήστη - συστήματος, 71 5.6 Κατανόηση Ήχων, 72 5.7 Συμπεράσματα, 72 5.8 Προτάσεις για επιπλέον ανάπτυξη, 72 Βιβλιογραφία; 74 Παράρτημα Α Κώδικας Προγρμματισμού. 77 Παράρτημα Β Φωτογραφικό υλικό. 103 Παράρτημα Γ Δημοσιεύσεις. 106 5

6

κεφάλαιο 1 7

ΚΕΦΑΛΑΙΟ 1: Εισαγωγή Ο ήχος στις µέρες µας, εκπροσωπεί ένα από τα σηµαντικότερα συστατικά των βιντεοπαιχνιδιών. Αυτή η άποψη δεν ίσχυε σε προηγούµενα χρόνια. Ο ήχος σε πιο παλιά βίντεο παιχνίδια ήταν λιγότερο εκφραστικός και είχε λιγότερη σηµασία. Ήταν ένα συστατικό του παιχνιδιού που κατείχε συνοδευτικό ρόλο στο οπτικό µέρος του παιχνιδιού και κατά συνέπεια στον χειρισµό αυτού. Για παράδειγµα παιχνίδια όπως το γνωστό tetris [1], ο ήχος συµπληρώνει τα αποτελέσµατα του χειρισµού του παιχνιδιού, χωρίς όµως να είναι απαραίτητο στοιχείο για την επιτυχή ολοκλήρωση του παιχνιδιού. Δηλαδή η µη ύπαρξή του δεν θα εµπόδιζε την επιτυχή ολοκλήρωση του παιχνιδιού. Παρ' όλα αυτά, η σύνδεση του ήχου µε την εικόνα, δηµιουργεί το εικονικό περιβάλλον µέσα στο οποίο δηµιουργείται η όλη δράση του παιχνιδιού. Μέσα σε αυτό το εικονικό περιβάλλον, ο ήχος και η εικόνα δίνουν τα κατάλληλα µηνύµατα αποτελεσµάτων της διάδρασης του χρήστη µε το παιχνίδι. Η εικόνα δίνει τα οπτικά µηνύµατα τα οποία αποτελούν πρωταρχικό στοιχείο του χειρισµού του παιχνιδιού, και ο ήχος στέλνει τα ηχητικά µηνύµατα, τα οποία, µε τη σειρά τους δίνουν χρήσιµες πληροφορίες στον χρήστη, όπως, για παράδειγµα, ήχους εξόντωσης των αντιπάλων ή κάποιο επικείµενο κίνδυνο και δηµιουργία έντασης στις σκηνές του παιχνιδιού. Τα τελευταία χρόνια, επεκτάθηκε η χρήση του ήχου από στοιχειώδες συστατικό του παιχνιδιού και εισήχθηκε ένα νέο «πρότυπο», αυτό του ηχητικού παιχνιδιού (audio game) [2]. Σε αυτή την κατηγορία παιχνιδιών, ο ήχος λαµβάνει πρωταγωνιστικό ρόλο και είναι απαραίτητο στοιχείο για την επιτυχή ολοκλήρωση του σεναρίου. Συνεπώς, ο παίκτης θα πρέπει να αξιοποιεί τα ακουστικά ερεθίσµατα µε τον καλύτερο δυνατό τρόπο ώστε να µπορεί να αντεπεξέλθει στις απαιτήσεις του παιχνιδιού, γεγονός που συνεπάγεται την απαίτηση για υψηλή ακρίβεια και αυθεντικότητα σε θέµατα αναπαράστασης και αναπαραγωγής του ηχητικού πεδίου του παιχνιδιού. 1.1 Πεδίο Έρευνας Η συγκεκριµένη εργασία εντάσσεται στο ερευνητικό πεδίο της επαυξηµένης ηχητικής πραγµατικότητας [3]. Πιο συγκεκριµένα, αφορά στην υιοθέτησή της για την σχεδίαση και ανάπτυξη ενός πρωτότυπου ηχητικού παιχνιδιού. Πιο κάτω θα γίνει κατανοητή η έννοια της επαυξηµένης ηχητικής πραγµατικότητας σε σχέση µε την εικονική πραγµατικότητα. 8

Η επαυξηµένη πραγµατικότητα σαν φράση προήλθε από τον Tom Caudell το 1990 [4].. Το 1994, ο Milgram, ορίζει αυτήν σαν µέρος της αδιάσπαστης αλληλουχίας πραγµατικότητας-εικονικότητας [5] (εικ.1). Μέσα από αυτή την αλληλουχία, δηµιουργείται το συνεχές µικτής πραγµατικότητας. Το αριστερό µέρος του συνεχούς, αποτελείται από πραγµατικά αντικείµενα (πραγµατικό περιβάλλον), και τα αντικείµενα που µπορεί να δει το άτοµο στον πραγµατικό κόσµο µε την χρήση κάποιου βοηθητικού εξοπλισµού (επαυξηµένη πραγµατικότητα). Στο άλλο µέρος υπάρχει το εικονικό περιβάλλον αποτελούµενο από εικονικά αντικείµενα, όπως για παράδειγµα γραφικά αντικείµενα που φαίνονται από µια οθόνη, και η επαυξηµένη εικονικότητα όπου µέσα στο εικονικό περιβάλλον υπάρχει µικρή εµπλοκή του πραγµατικού περιβάλλοντος, όπως για παράδειγµα σε µια οθόνη αφής, το χέρι εισέρχεται στον εικονικό κόσµο µέσα από την αυξοµείωση της διάστασης γραφικών παραθύρων. εικόνα 1: Το συνεχές µικτής πραγµατικότητας Το 1997 ο Ronald T. Azuma ορίζει το πεδίο της επαυξηµένης πραγµατικότητας, µέσα από τα παρακάτω τρία χαρακτηριστικά [6]. Τα συστήµατα επαυξηµένης πραγµατικότητας συνδυάζουν το πραγµατικό µε το εικονικό στοιχείο, αλληλεπιδρούν σε πραγµατικό χρόνο, και είναι ενταγµένα µέσα σε περιβάλλον τριών διαστάσεων. Κατόπιν αρκετές έρευνες πραγµατοποιούνται, έχοντας σαν βάση τους τον ήχο και την επαυξηµένη ηχητική πραγµατικότητα µε χρήση σε διάφορες εφαρµογές. Η εφαρµογή Hear&There [7] αποτελεί ένα ενδεικτικό παράδειγµα εφαρµογής στην οποία ο χρήστης κινείται σε φυσικό χώρο και αφήνει ηχητικά αποτυπώµατα σε θέσεις αυτού µε την χρήση ειδικού εξοπλισµού. Επίσης, ένας αυτοµατοποιηµένος (ηχητικός) ταξιδιωτικός οδηγός [8], τοποθετεί τον ήχο σε ένα κόσµο βασισµένο στην πραγµατική θέση που βρίσκεται ο ακροατής. 9

1.2 Στόχος Εργασίας Στόχος της παρούσας εργασίας, είναι η σχεδίαση και ανάπτυξη ενός ηχητικού παιχνιδιού το οποίο να εκµεταλλεύεται τις όποιες δυνατότητες παρέχει η τεχνολογία επαυξηµένης ηχητικής πραγµατικότητας. Επιµέρους στόχος, αποτελεί η τεκµηρίωση της επαυξηµένης ηχητικής πραγµατικότητας ως µια νέα µορφή διαδραστικής έκφρασης και υποστήριξης πολύπλοκων σεναρίων παιχνιδιών. Παράλληλα θα διερευνηθούν οι παράγοντες από τους οποίους εξαρτάται η δηµιουργία ενός παιχνιδιού επαυξηµένης ηχητικής πραγµατικότητας και θα καταγραφούν τα όποια προβλήµατα συναντώνται. 1.3 Οργάνωση Εργασίας Την εργασία απαρτίζουν πέντε κεφάλαια. Το κεφάλαιο Εισαγωγή, Θεωρία, Μεθοδολογία σχεδίασης και υλοποίησης, Υλοποίηση, Συζήτηση-Συµπεράσµατα. Στο πρώτο κεφάλαιο, ορίζεται το πεδίο έρευνας στο οποίο εντάσσεται η εργασία καθώς και ο στόχος της. Στο δεύτερο κεφάλαιο, γίνεται αναφορά σε συγκεκριµένες έννοιες, και ορισµούς που χρησιµοποιεί η εργασία. Στο κεφάλαιο της µεθοδολογίας σχεδίασης και υλοποίησης, παρουσιάζεται ο σχεδιασµός της εργασίας καθώς και ο τρόπος που θα υλοποιηθεί αυτή. Στο τέταρτο κεφάλαιο, γίνεται εκτενή περιγραφή της υλοποίησης της εργασίας. Στο τελευταίο κεφάλαιο, καταγράφονται τα αποτελέσµατα της εργασίας που προέκυψαν κατά την υλοποίηση. 10

κεφάλαιο 2 11

ΚΕΦΑΛΑΙΟ 2: Θεωρία Σε αυτό το κοµµάτι της εργασίας θα δοθούν κάποιοι ορισµοί και κάποιες εξηγήσεις πάνω σε έννοιες που χρησιµοποιούνται. Η εικονική και επαυξηµένη ηχητική πραγµατικότητα, εγείρουν και οι δύο απαιτήσεις για αυθεντική σύνθεση του ηχητικού πεδίου σε δύο ή τρεις διαστάσεις αναλόγως µε την εκάστοτε εφαρµογή. Για την κάλυψη αυτών των απαιτήσεων υπάρχουν διαφορετικές τεχνολογίες και τεχνικές. Παρακάτω θα δοθούν κάποιες ενδεικτικές που θα µπορούσαν να υποστηρίξουν τέτοιες εφαρµογές. Στερεοφωνική αναπαραγωγή: Για την στερεοφωνική ηχογράφηση χρησιµοποιούνται δύο µικρόφωνα [9]. Για την αναπαραγωγή, χρησιµοποιούνται δύο ηχεία. Αυτά τα ηχεία τοποθετούνται µε τον ακροατή στις γωνίες ενός νοητού ισόπλευρου τριγώνου (εικ.2). Το τελικό ηχητικό αποτέλεσµα δίνει την ψευδαίσθηση της τρισδιάστατης κίνησης του ήχου στον χώρο µεταξύ των δύο ηχείων. Μειονεκτήµατα µιας τέτοιας τεχνικής είναι η αστάθεια που παρουσιάζουν οι φαινοµενικές θέσεις των ηχητικών πηγών ανάµεσα στα ηχεία. Επιπροσθέτως το σύστηµα είναι αρκετά ευάλωτο σε ενδεχόµενη περιστροφή του κεφαλιού όπως και σε ενδεχόµενη µετακίνηση της ηχητικής πηγής καθ' ύψος [10]. εικόνα 2: Στεροφωνική αναπαραγωγή από δύο ηχεία 12

Αµφιωτική τεχνολογία (binaural): Η αµφιωτική τεχνολογία βασίζεται στην χρήση µικροφώνων στη θέση των αυτιών του ακροατή, και αναπαραγωγή του καταγεγραµµένου ήχου από ακουστικά (εικ. 3). Για να επιτευχθεί η σωστή καταγραφή του ηχητικού πεδίου, χρησιµοποιείται κάποιο ανδρείκελο (dummy head) µε κάποιο σύστηµα µικροφώνων µέσα στο κανάλι του αυτιού (εικ.4) [11]. Με αυτό το σύστηµα επιτυγχάνονται και οι διάφορες µετρήσεις οι οποίες χρησιµοποιούνται για την επανασύνθεση ενός ηχητικού πεδίου. Αυτές οι µετρήσεις περιέχουν την καταγραφή των χρονικών διαφορών του ηχητικού σήµατος µεταξύ των δύο αυτιών καθώς και διαφορές στην ένταση. Επίσης, γίνεται χρήση ενός τρόπου µαθηµατικής µοντελοποίησης της επίδρασης του εξωτερικού πτερυγίου και της µορφολογίας του ανθρώπινου σώµατος στην συνολική «κρουστική απόκριση» που υφίσταται και µπορεί να µετρηθεί µεταξύ ενός ζεύγους ηχητικής πηγής και δέκτη εντός ενός ακουστικού χώρου. Το αποτέλεσµα αυτής της µοντελοποίησης είναι τα φίλτρα HRTF (Head Related Transfer Functions) [10] τα οποία είναι διαφορετικά για κάθε άνθρωπο. Αυτό οφείλεται στην διαφορετική µορφολογία που έχει το αυτί οι ώµοι και γενικά το σώµα στον κάθε άνθρωπο τα οποία επηρεάζουν το φάσµα των σηµάτων που φτάνουν στα δυο αυτιά. Το ιδανικό για τις εφαρµογές που χρησιµοποιούν την αµφιωτική τεχνολογία, είναι να γίνεται χρήση διαφορετικών φίλτρων για τον κάθε άνθρωπο πράγµα που απαιτεί διαφορετικές µετρήσεις για τον καθένα πράγµα εικόνα 3: Αµφιωτική αναπαραγωγή 13

εικόνα 4: Ανδρείκελο αµφιωτικής ηχογράφησης δύσκολο και απίθανο. Στην περίπτωση της αµφιωτικής τεχνολογίας, κατά την αναπαραγωγή, χρειάζεται η χρήση ισοστάθµισης στο κάθε κανάλι για τους λόγους ότι η µεµβράνη των ακουστικών δεν µπορεί να τοποθετηθεί στην ίδια θέση µε αυτή που τοποθετείται το µικρόφωνο στο τεχνητό κεφάλι., όπως και η απόκριση του συστήµατος αναπαραγωγής πρέπει να ακυρωθεί[10]. Αµφιωτική τεχνολογία µε χρήση ηχείων (Transaural): Σε αυτη την τεχνολογία, η αναπαραγωγή των ηχητικών σηµάτων που έχουν καταγραφεί µε αµφιωτική τεχνική, από δύο ηχεία [12]. Το σηµαντικό πρόβληµα που υπάρχει εγγυάται στο ότι ενώ µε την χρήση ακουστικών, το ηχητικό σήµα του κάθε καναλιού διοχετεύεται στο αντίστοιχο και µόνο ακουστικό κανάλι του ανθρώπου, µε τα ηχεία δεν συµβαίνει ο ίδιο καθώς δεν ύπαρχει αυτό ο διαχωρισµός (εικ.5). Αυτό το πρόβληµα της παραδιαφωνίας [13] (crosstalk) κατάλληλα φίλτρα ακύρωσης αυτής. Πιο αναλυτικά, γίνεται τροφοδότηση του αριστερού καναλιού από το δεξί το οποίο έχει υποστεί αναστροφή φάσης και έχει το κατάλληλη καθυστέρηση καθώς και φιλτράρισµα σύµφωνα µε τα HRTF χαρακτηριστικά που αντιπροσωπεύει η διαδροµή της παραδιαφωνίας [10]. Σηµαντικός περιορισµός αυτών των φίλτρων είναι το στενό εύρος ακουστικών θέσεων που µπορεί να πάρει ο ακροατής, καθώς η µετακίνηση µερικών εκατοστών από την σωστή θέση ακρόασης, µπορεί να έχει αποτέλεσµα τη µη λειτουργία των φίλτρων [10]. Τεχνολογία Wave Field Synthesis: Η καταγραφή του ηχητικού πεδίου γίνεται από συστοιχία µικροφώνων ενώ για την επανασύνθεση του χρειάζεται συστοιχία ηχείων (εικ.6) [14]. Ανταποκρίνεται µε µεγάλη πιστότητα στην αναπαραγωγή πολλών ηχητικών µε µεγάλη πιστότητα. Μειονέκτηµα αυτής της τεχνολογίας είναι η µη υποστήριξη του ήχου σε τρεις διαστάσεις [15]. 14

εκόνα 5: Σύστηµα Transaural εκόνα 6: Σύστηµα Wave Field Synthesis Τεχνολογία Ambisonics: Η τεχνολογία ambisonic είναι µια τεχνική ηχογράφησης, επεξεργασίας και αναπαραγωγής ηχητικού πεδίου. Αυτό επιτυγχάνεται µε την αποσύνθεση από το κεντρικό σηµείο του ηχητικού πεδίου σε σφαιρικές αρµονικές (ambisonic B-format) [12]. Στη συνέχεια το ηχητικό πεδίο θα επανασυνδεθεί µε τον υπολογισµών των συντελεστών των σφαιρικών αρµονικών για το κάθε ηχείο ξεχωριστά. Η λογική της λειτουργίας τους υποστηρίζει την συνεργασία όλων των 15

ηχείων για την δηµιουργία των χωρικών χαρακτηριστικών των εικονικών πηγών. Μπορεί να υποστηριχτεί η σύνθεση ηχητικού πεδίου δύο διαστάσεων αλλά και τριών. Ο ελάχιστος αριθµός ηχείων που χρειάζονται είναι τέσσερα καθώς υποστηρίζονται µόνο διατάξεις Ν-γωνο. Σε αυτή την τεχνολογία, καταγράφονται προβλήµατα λόγω παραδιαφωνίας και χρειάζονται φίλτρα ακύρωσής της. Επίσης η θέση ακρόασης είναι συγκεκριµένη και συνεπώς υπάρχει αδυναµία στην υποστήριξη εφαρµογών όπου υπάρχει κίνηση του ακροατή. εικόνα 7: Παραδείγµατα Ν-γωνων Ambisonics εικόνα 8: Μικρόφωνα ηχογράφησης Ambisonics Από τις παραπάνω τεχνολογίες, η αµφιωτική τεχνολογία αποτελεί την πλέον ρεαλιστική µεθοδολογία ηχητικής αναπαράστασης λόγω της επανασύνθεσης των σηµάτων που καταγράφουν τα αυτιά µας [11]. Επίσης µπορεί να υποστηρίξει µετακινήσεις του σηµείου ακρόασης (hot spot) του ακροατή. 16

2.1 Αρχές Ακοής - Αμφιωτική Ακουστική (Binaural Hearing) Μία από τις σηµαντικότερες αισθήσεις του ανθρώπου είναι η ακοή. Αισθητήριο όργανο της ακοής, αποτελεί το αυτί. Το αυτί περιλαµβάνει ένα σύνθετο µηχανισµό που επεξεργάζεται το ακουστικό σήµα που δέχεται ο άνθρωπος από το περιβάλλον. Σε αυτό το κεφάλαιο θα γίνει µια περιγραφή του βασικού αυτού µηχανισµού της ακοής. Κατόπιν, θα αναλυθεί η τεχνολογία της αµφιωτικής ακοής η οποία στηρίζεται στον παραπάνω µηχανισµό, καθώς και η άµεση σχέση της µε την χωρική ακοή (spatial hearing) για την δηµιουργία ενός αµφιωτικού συστήµατος εξοµοίωσης ενός ακουστικού περιβάλλοντος / χώρου. Το ανθρώπινο αυτί αποτελείται από τρία µέρη. Το εξωτερικό αυτί, το µέσο αυτί και το εσωτερικό αυτί. Παρακάτω θα γίνει ανάλυση αυτών των µερών και των λειτουργιών που επιτελούνται στο κάθε µέρος. Εξωτερικό αυτί: Αυτό το µέρος αποτελείται από τον έλικα, το πτερύγιο, το εξωτερικό ακουστικό κανάλι και τον λοβό. Η πρωταρχική λειτουργία του εξωτερικού αυτιού είναι η συλλογή των ηχητικών κυµάτων. Αυτό επιτυγχάνεται µε το (παραβολικό) σχήµα που έχει το εξωτερικό αυτί. Πιο συγκεκριµένα, το πτερύγιο συλλέγει και ενισχύει τους ήχους όπως επίσης και βοηθάει στον εντοπισµό της κατεύθυνσης των ηχητικών κυµάτων στον τρισδιάστατο χώρο. Στον εντοπισµό της κατεύθυνσης, το πτερύγιο είναι εκείνο το µέσο που προσδίδει την διαφοροποίηση στον ήχο που στέλνεται στον εγκέφαλο, δηλαδή αν προέρχεται από εµπρός ή από πίσω. Συνεπώς, ο εγκέφαλος αντιλαµβάνεται την διαφορά φάσης και έντασης µεταξύ των δύο σηµάτων [16]. Αφού συλλεχθεί ο ήχος από το εξωτερικό αυτί, θα οδηγηθεί µέσω του ακουστικού καναλιού στην τυµπανική µεµβράνη για να συνεχιστεί η επεξεργασία του. Μέσο αυτί: Στο µέσω αυτί γίνεται η µεταβίβαση των ακουστικών σηµάτων στο εσωτερικό αυτί. Δηλαδή η κύρια λειτουργία του είναι η διασφάλιση της µεταφοράς του ήχου από τον αέρα στα υγρά του κοχλία [17]. Αυτό επιτυγχάνεται µε την τυµπανική µεµβράνη και τα ακουστικά οστάρια (σφύρα, άκµονα, αναβολέας) (εικ.9). Πιο αναλυτικά, ο ήχος προσπίπτει στην τυµπανική µεµβράνη, στην οποία µεταβάλλεται σε δονήσεις. Οι δονήσεις της τυµπανικής µεµβράνης, θέτουν σε λειτουργία τα ακουστικά οστάρια τα οποία µε την σειρά τους, µεταφέρουν αυτή την µηχανική ταλάντωση στο εσωτερικό αυτί. Στο µεσαίο αυτί υπάρχει και η ευσταχιανή σάλπιγγα η οποία εξασφαλίζει την διαρκή ανανέωση του αέρα στην τυµπανική κοιλότητα καθώς επίσης και την ίδια πίεση του αέρα από τις δυο µεριές του τυµπανικού υµένα. 17

εικόνα 9: Ανατοµία του αυτιού Εσωτερικό αυτί: Το εσωτερικό αυτί περιέχει τα όργανα της ακοής και της ισορροπίας τα οποία υποδέχονται τα ακουστικά σήµατα. Βασικό όργανο αποτελεί ο κοχλίας (εικ.9). Οι δονήσεις των οσταρίων που περιγράφηκαν στην προηγούµενη παράγραφο, προκαλούν την µετατόπιση των υγρών του κοχλία. Αυτή η µετατόπιση των υγρών µεταφράζεται σε νευρικά ερεθίσµατα για τον εγκέφαλο. Επίσης είναι το όργανο που αναλύει τον ήχο σε όρους έντασης, χρόνου, και συχνότητας. Συνεπώς η λειτουργία του είναι καίριας σηµασίας για την αντίληψη του ήχου από τον εγκέφαλο. Η αµφιωτική τεχνολογία, προσπαθεί να προσοµοιώσει την λειτουργία του αυτιού και τον τρόπο που ακούει και αντιλαµβάνεται ο άνθρωπος τον κόσµο µε τα δύο αυτιά λαµβάνοντας υπόψη συγκεκριµένες παραµέτρους. Στην συγκεκριµένη εργασία, η αµφιωτική τεχνολογία, είναι υπεύθυνη για την προσοµοίωση εικονικών ηχητικών πηγών στον χώρο (χωρική ακοή). Ο εγκέφαλος όπως αναλύθηκε παραπάνω, µπορεί να καταλάβει διαφορές στην φάση και στην στάθµη του ήχου που συλλέγεται από το εξωτερικό αυτί. Σε αυτές τις διαφορές στηρίζεται η χωρική ακοή και πιο συγκεκριµένα η δυνατότητα προσδιορισµού της θέσης των ηχητικών πηγών στον χώρο. Αυτές οι διαφορές ορίζονται σαν διαφωνικές χρονικές διαφορές (ITD: interaural time differences) και διαφωνικές διαφορές στάθµης (ILD: interaural level differences) [17]. 18

Με τον όρο διαφωνικές, εννοείται ότι κάθε διαφορά είναι σχετική µεταξύ των δύο ακουστικών µορίων - αυτιών. Όπως φαίνεται στην εικόνα 10, τα ακουστικά σήµατα της ηχητικής πηγής δεν διανύουν την ίδια απόσταση για να φτάσουν στο κάθε αυτί. Το ένα σήµα διανύει µεγαλύτερη απόσταση συνεπώς κάνει και περισσότερο χρόνο να φτάσει στο αντίστοιχο αυτί. Επίσης υπάρχει εξασθένιση του σήµατος µέχρι να φτάσει από την ηχητική πηγή στο αυτί. Αυτό οφείλεται στην απόσβεση του ήχου µε το τετράγωνο της απόστασης καθώς και στην σκίαση αυτού από το κεφάλι.. Άρα, διαφορετική απόσταση των δύο αυτιών από την πηγή σηµαίνει και διαφορετική στάθµη του ήχου σε καθένα από αυτά. Στο σχήµα της εικόνας 11 παρουσιάζεται η χρονική διαφορά ανάµεσα στα δύο σήµατα της εικόνας 10 που γίνονται αντιληπτά από το αυτί καθώς και η διαφορά στην ηχητική στάθµη τους. εικόνα 10: εντοπισµός ηχητικής πηγής στον χώρο Σηµαντική παρατήρηση είναι ότι στις χαµηλές συχνότητες υπάρχει κύρια αντίληψη των χρονικών διαφορών ενώ αντίθετα στις υψηλές, υπάρχει η αντίληψη των διαφορών στην στάθµη. Η παραπάνω παρατήρηση στηρίζεται στην θεωρία του Rayleigh (duplex-theory) [11]. Ο Rayleigh υποστηρίζει πως υπάρχει ένας ανθρώπινος µηχανισµός εντοπισµού πηγών ήχου που χρησιµοποιεί τις ITD και ILD. Με την τοποθέτηση µιας ηχητικής πηγής από την µια µεριά του κεφαλιού (εικ.10), είναι εµφανής η ύπαρξη µίας διαφοράς στην απόσταση που έχει να διανύσει ο ήχος για να φτάσει στο κάθε αυτί. Αυτό θα προκαλέσει εξασθένηση και καθυστέρηση του µεταφερόµενου ήχου. Αυτές οι φασµατικές διαφορές οι οποίες σχετίζονται µε την κατεύθυνση και την συχνότητα, µεταφράζονται σε διαφορές στην στάθµη περίπου στα 6 dβ. Οι συχνότητες που επηρεάζονται είναι περίπου πάνω από τα 1.5 kηz ενώ οι χαµηλότερες συχνότητες διατηρούν το πλάτος τους [18]. 19

εικόνα11: Διάγραµµα ηχητικών σηµάτων που ελήφθησαν από τα αυτιά Η ITD ορίζει την διαφορά στον χρόνο που φτάνει το σήµα στα αυτιά. Οι συχνότητες στις οποίες παρατηρείται αυτή η διαφορά είναι κάτω από τα 1.5 kηz. Σε συχνότητες όπου το µήκος κύµατος του σήµατος είναι µεγαλύτερο από την απόσταση µεταξύ των αυτιών. Η διάµετρος ενός µέσου ανθρώπινου κεφαλιού είναι περίπου εικοσιένα εκατοστά, η οποία ανταποκρίνεται σε µια καθυστέρηση 630 µs σε ένα ηχητικό συµβάν που συµβαίνει στις 90 µοιρες σε σχέση µε την όψη (άξονα) του προσώπου και αντιστοιχίζεται περίπου στην συχνότητα των 1.5 kηz [18]. Αυτές τις διαφορές προσπαθεί να προσοµοιώσει η αµφιωτική τεχνολογία κατά την αναπαραγωγή του ήχου από ακουστικά. Με τη χρήση αυτών των διαφορών, µπορεί να γίνει µια περιορισµένη ηχητική απεικόνιση των πηγών στον χώρο. Αυτό οφείλεται στην αδυναµία της duplex-theory, καθώς για συγκεκριµένους γεωµετρικούς τόπους στον χώρο, οι ITD/ILD παραµένουν ίδιες, γεγονός που δεν εξηγεί την δυνατότητα που έχει ο άνθρωπος να αντιλαµβάνεται διαφορετική θέση ηχητικών πηγών στους τόπους αυτούς (εικ.12)[19]. 20

εικόνα 12: Η σφαιρική περιοχή υπολογισµού των ITD ILD (cone of confusion) Για την επίλυση του παραπάνω προβλήµατος, γίνεται χρήση των HRTF. Για την µέτρηση των HRTF σε έναν άνθρωπο απαιτείται συγκεκριµένη διαδικασία [20]. Χρειάζεται ένας ανηχοϊκός θάλαµος. Ο άνθρωπος τοποθετείται στο κέντρο. Στα αυτιά του τοποθετούνται ειδικά µικρόφωνα τύπου in-ear. Αυτός ο τύπος µικροφώνων µπορεί να τοποθετηθεί µέσα στο ακουστικό κανάλι του αυτιού πολύ κοντά στο τύµπανο. Στόχος είναι η όσο το δυνατόν κοντινότερη τοποθέτησή τους στο τύµπανο του αυτιού. Αυτό θα κάνει την µέτρηση να έχει µεγάλο ποσοστό πιστότητας. Για να γίνει η µέτρηση χρειάζεται µια ηχητική πηγή. Η θέση της ηχητικής πηγής δεν είναι σταθερή. Γίνεται µέτρηση της κρουστικής απόκρισής της µέσω των µικροφώνων σε συγκεκριµένες θέσεις στον χώρο. Γι' αυτές τις θέσεις γίνεται και η αντιστοίχηση των διαφορετικών κρουστικών αποκρίσεων για το κάθε αυτί. Όσο µεγαλύτερος αριθµός δειγµάτων ληφθεί, τόσο µεγαλύτερη πιστότητα θα έχει η τελική αναπαραγωγή µιας ηχητικής πηγής στον εικονικό χώρο. Οι κρουστικές αποκρίσεις που προκύπτουν, αν εφαρµοστούν σε ένα µονοφωνικό ηχητικό δείγµα, µπορούν να του δώσουν τα χαρακτηριστικά της θέσης του στον χώρο. Στο ενδεικτικό γράφηµα της εικόνας 13 φαίνεται η σχετική ένταση των συχνοτήτων του κάθε δείγµατος στο αζιµουθιακό επίπεδο. 21

Η βιβλιοθήκη των HRTF που χρησιµοποιήθηκε στην παρούσα εργασία, έχει δηµιουργηθεί µε ένα ανδρείκελο (dummy-head) µε το όνοµα KEMAR [21]. Για τις µετρήσεις έχει γίνει χρήση πολικών συντεταγµένων για τον λόγο ότι οι HRTF εξαρτώνται από την οριζόντια και κάθετη γωνία. Με την χρήση αυτών των 2 γωνιών, µπορεί να οριστεί η θέση της ηχητικής πηγής σε σχέση µε τον ακροατή. Οι µετρήσεις έχουν γίνει στην κάθετη γωνία ανά δέκα µοίρες ξεκινώντας από τις -10 µοίρες έως και τις 90. Στην οριζόντια γωνία αντίστοιχα, στο ύψος των -10, -20, 0, 10 και 20 µοιρών, η δειγµατοληψία έχει γίνει ανά 5 µοίρες από τις 0 έως τις 360 µοίρες. Στο ύψος των -30, -40, 30 και 40, η δειγµατοληψία έχει γίνει µε ρυθµό µεταξύ 6 και 7 µοιρών. Στο ύψος των 50 µοιρών, ο ρυθµός αυτός αλλάζει στις 8 µοίρες. Στο ύψος των 60 µοιρών η µεταβολή γίνεται µε ρυθµό 10 µοιρών. Ενώ στο ύψος των 70 και 80 µοιρών, µε ρυθµό 15 και 30 µοιρών αντίστοιχα. Τέλος, στις 90 µοίρες ύψος, έχει καταγραφεί ένα σηµείο. Η παραπάνω προσέγγιση δηµιουργεί αφύσικη µετακίνηση της ηχητικής πηγής λόγω της ελάχιστης ακουστής διαφοράς που είναι λιγότερη από πέντε µοίρες [22]. εικόνα 13: Γραφική απεικόνιση των HRTF στο αζιµούθιο Για την αντιµετώπιση αυτού του προβλήµατος, οι ηχητικές πηγές επιλέχτηκαν να µετακινούνται µε µικρή ταχύτητα για να υπάρχει µια πιο οµαλή ηχητική µετάβαση. Επιπροσθέτως µπορεί να γίνει χρήση τεχνικών παρεµβολής (interpolation) για απαλοιφή του παραπάνω προβλήµατος [22]. 22

Στην εικόνα 14 φαίνεται η αρχιτεκτονική ενός συστήµατος αµφιωτικής τεχνολογίας. Ένα τέτοιο σύστηµα έχει δύο κύριες βαθµίδες. Την πρώτη βαθµίδα αποτελεί η διαδικασία δηµιουργίας της HRTF βιβλιοθήκης. για την διαδικασία αυτή όπως περιγράφηκε και παραπάνω, χρειάζεται ένας ανηχοϊκός θάλαµος, ένα ανδρείκελο, τα µικρόφωνα που εφαρµόζονται στο ανδρείκελο, οι ηχητικές πηγές και το σύστηµα καταγραφής των κρουστικών αποκρίσεων και δηµιουργίας της HRTF βιβλιοθήκης. Η δεύτερη βαθµίδα αποτελείται από το σύστηµα αναπαραγωγής του ήχου και των χωρικών του χαρακτηριστικών. Αυτό το σύστηµα χρησιµοποιεί την HRTF βιβλιοθήκη που του έχει εισαχθεί, εφαρµόζοντάς την πάνω στον µονοφωνικό ήχο (ιδανικά είναι να είναι και ανηχοϊκός ώστε να έχει µόνο τα χωρικά χαρακτηριστικά που του εφαρµόζονται). Κατόπιν γίνεται η αναπαραγωγή του από ένα ζευγάρι ακουστικών, δίνοντας στον ακροατή την αίσθηση της θέσης της ηχητικής πηγής στον χώρο. εικόνα 14: Αρχιτεκτονική συστήµατος δηµιουργίας και εφαρµογής HRTF 23

2.2 Εφαρμογές - παιχνίδια επαυξημένης ηχητικής πραγματικότητας Ο Γερµανός ιστορικός Johan Huizinga, ορίζει το ρήµα «παίζω» ως µια αυτοπροαίρετη δραστηριότητα ή ασχολία που εκτελείται µέσα σε συγκεκριµένα σταθερά όρια χρόνου και µέρους, σύµφωνα µε κανόνες κοινά αποδεκτούς, αλλά απολύτως δεσµευτικούς έχοντας τον σκοπό τους, συνοδευόµενοι από αίσθηµα έντασης, χαράς, και συνείδησης ότι αυτό είναι «διαφορετικό» από την κανονική ζωή [23]. Αυτός ο ορισµός παρουσιάζει την ύπαρξη και τον σηµαντικό ρόλο των κανόνων στα παιχνίδια. Είναι κανόνες που δεν αµφισβητούνται και ορίζουν τον τρόπο παιξίµατος των παιχνιδιών. Σύµφωνα µε τον ορισµό επίσης σηµαντικό στοιχείο αποτελούν και η επιλογή που δίνεται στο κοινό ανάµεσα στο να παίξει ή όχι κάνοντας την ασχολία αυτή µη υποχρεωτική. Αυτές είναι οι βάσεις για την κατανόηση όλων των παιχνιδιών, και κατά συνέπεια και των παιχνιδιών υπολογιστών. Πιο αναλυτικά, ο Caillois, έχει δηµιουργήσει τέσσερις κατηγορίες παιχνιδιών µε βάση κοινωνιολογικά κριτήρια και το πως οργανώνονται οι κοινωνίες [24]. Αυτές είναι οι Agon (ανταγωνισµού), Alea (τύχης), Mimicry (µιµητισµού) και Ilinx (ιλίγγου). Σε αυτές τις κατηγορίες, υπάρχουν δύο υποκατηγορίες. Ο Caillois, πιστεύει πως υπάρχει άλλο ένα στοιχείο σηµαντικό µέσα σε αυτές τις κατηγορίες. Το παιχνίδι µπορεί να προσφέρει όχι µόνο ευχαρίστηση, αλλά µπορεί και να αξιοποιεί κάποιες δυνατότητες του συµµετέχοντα ή να αναπτύσσει ικανότητές του. Για αυτό το λόγο, ο Caillois δηµιουργεί ένα «βαρόµετρο» µεταξύ αυτών των δύο στοιχείων που τα ονοµάζει «Paidia» και «Ludus». Με τον όρο «Paideia» εννοεί τα παιχνίδια που περιέχουν το χαρακτηριστικό της φασαρίας του υπέρµετρου γέλιου χωρίς κανόνες, γενικά παιχνίδια που διακρίνονται στην µικρή ηλικία του παιδιού. Σαν «Ludus», ορίζονται τα παιχνίδια που έχουν κανόνες, χρειάζονται κάποια ικανότητα του παίκτη ή εκµεταλλεύονται κάποιο προσόν του. Τέτοια παιχνίδια µπορεί να είναι το σκάκι ή ακόµα και η ασχολία µε κάποιο παζλ πολλών κοµµατιών το οποίο χρειάζεται την ικανότητα της υποµονής. Τα δύο αυτά στοιχεία όπως έχει προελεγχθεί, αποτελούν ένα βαρόµετρο στις τέσσερις κατηγορίες του Caillois. Ένα παιχνίδι, µπορεί να περιέχει και τα δύο στοιχεία, άλλο σε µεγαλύτερο βαθµό και άλλο σε µικρότερο. Στο παρακάτω σχεδιάγραµµα (εικ.15), παρουσιάζονται κάποια ενδεικτικά παραδείγµατα. 24

Εικόνα 15: Σχεδιάγραµµα κατηγοριών παιχνιδιών του Caillois µε ενδεικτικά παραδείγµατα Όπως αναφέρθηκε και προηγουµένως, στην παρούσα εργασία σχεδιάστηκε και υλοποιήθηκε ένα ηχητικό παιχνίδι. Το ηχητικό παιχνίδι ακολουθεί και αυτό τις αρχές που περιγράφονται παραπάνω. Η διαφορά του µε άλλα παιχνίδια έγκειται στο χαρακτηριστικό του ήχου. Σε ένα ηχητικό παιχνίδι, τον κύριο λόγο τον έχει ο ήχος. Μπορεί να υπάρχει γραφικό περιβάλλον, αλλά µπορεί και όχι. Στο ηχητικό παιχνίδι ο χειρισµός του παιχνιδιού βασίζεται µόνο στον ήχο. Τις πληροφορίες που χρειάζεται ο παίκτης για τις επιλογές στον χειρισµό του παιχνιδιού, τις λαµβάνει από το ηχητικό πεδίο του παιχνιδιού. Αυτή η διάσταση των ηχητικών παιχνιδιών, επιτρέπει την υποστήριξη εφαρµογών που έχουν π.χ. σαν κοινό οµάδες ανθρώπων µε προβλήµατα στην όραση [25] ή ακόµα να προσφέρουν σηµαντική βοήθεια στην ανάπτυξη της ακουστικής αντίληψης των ατόµων. Για αυτό τον σκοπό, πολλά παραδοσιακά βιντεοπαιχνίδια έχουν επαυξηθεί µε συγκεκριµένες τεχνικές ήχου. Για παράδειγµα, χρησιµοποιούνται τεχνικές αµφιωτικής ακουστικής για την διεύθυνση και την απόσταση των κινούµενων στόχων σε ανθρώπους µε δυσκολία στην όραση [26]. Το παιχνίδι που υλοποιήθηκε σε αυτή την εργασία, ανήκει στην κατηγορία των ηχητικών παιχνιδιών. Το στοιχείο του ήχου µαζί µε το επαυξηµένο περιβάλλον µέσα στο οποίο εξελίσσεται η πλοκή του παιχνιδιού, δηµιουργεί ένα περιβάλλον µέσα στο οποίο ο χρήστης «ταυτίζεται» πλήρως µε τον πρωταγωνιστή του παιχνιδιού αφού ουσιαστικά αποτελεί µια πραγµατικότητα µέσα στον εικονικό κόσµο του παιχνιδιού. 25

Τα παιχνίδια επαυξηµένης ηχητικής πραγµατικότητας, αποτελούν µια ιδιαίτερη κατηγορία παιχνιδιών. Σε αντίθεση µε τα απλά ηχητικά παιχνίδια, ο φυσικός και υλικός χώρος του παιχνιδιού, δεν αποκλείεται, αλλά συµµετέχει στην δηµιουργία ολόκληρου του περιβάλλοντος του παιχνιδιού σαν οπτικό συστατικό αυτού. Σαν φυσικό χώρο εννοείται ο πραγµατικός χώρος που εξελίσσεται το παιχνίδι και σαν υλικός, τα υλικά αντικείµενα που τον περιβάλλουν. Πιο αναλυτικά, ο Roger Caillois, αναπτύσσει µια θεωρία σχετικά µε τον πραγµατικό χώρο και τον χώρο του παιχνιδιού. Ο χώρος του παιχνιδιού, αποτελεί ένα υποσύστηµα του πραγµατικού κόσµου. Για παράδειγµα, σε ένα φυσικό παιχνίδι όπως το τένις, ο χώρος του παιχνιδιού περιορίζεται µέσα στον πραγµατικό κόσµο. Δηλαδή, υπάρχουν τα όρια του γηπέδου (µαγικός κύκλος, εικ.16) σύµφωνα µε τους κανόνες του, και µέσα σε αυτό εξελίσσεται η διαδικασία του παιχνιδιού (εικ.16). Εκτός όµως από τα φυσικά παιχνίδια, υπάρχουν και τα παιχνίδια υπολογιστών που διεξάγονται µπροστά από µια οθόνη. Σε αυτά τα παιχνίδια διακρίνεται η προβολή του πραγµατικού κόσµου στον φανταστικό κόσµο του παιχνιδιού. Δηλαδή σε ένα βιντεοπαιχνίδι µε τένις, παρατηρείται η προβολή του φανταστικού κόσµου ο οποίος είναι αναπαράσταση του πραγµατικού κόσµου µαζί µε τα εικονικά όρια του παιχνιδιού (εικ.17). Στο σχήµα της εικόνας 7, σαν µαγικός κύκλος ορίζονται τα εικονικά όρια του παιχνιδιού που περιγράφηκε. εικόνα 16: Σχεδιάγραµµα θεωρίας Caillois για φυσικά παιχνίδι 26

εικόνα 17: Σχεδιάγραµµα θεωρίας Caillois για τον χώρο σε βιντεοπαιχνίδια Σε ένα παιχνίδι επαυξηµένης ηχητικής πραγµατικότητας, µπορεί να διαπιστωθεί η οµοιότητα που υπάρχει µε τα παιχνίδια φυσικού χώρου. Οµοίως και σε αυτό, υπάρχει ο πραγµατικός χώρος, µέσα στον οποίο υπάρχουν τα όρια του παιχνιδιού. Πρέπει να σηµειωθεί πως ο πραγµατικός χώρος περιέχει δύο συνιστώσες, την οπτική και την ηχητική. Στην περίπτωση του παιχνιδιού επαυξηµένης ηχητικής πραγµατικότητας, και τα δύο αυτά µέρη παίζουν σηµαντικό ρόλο κατά την δηµιουργία και αναπαραγωγή του παιχνιδιού. Αυτό συµβαίνει επειδή πρέπει να υπάρχει ο πλήρης έλεγχος του παιχνιδιού και των επιδράσεων του πραγµατικού χώρου που µπορεί να υπάρξουν, όπως επίσης να προβλέπονται τυχόν προβλήµατα που µπορεί να δηµιουργεί ο πραγµατικός κόσµος εφόσον δεν µπορεί να ελέγχεται σε ικανοποιητικό βαθµό. Για παράδειγµα ύπαρξη ήχων (θορύβων) του περιβάλλοντος που µπορούν να δηµιουργήσουν πρόβληµα στην αναπαραγωγή του παιχνιδιού. Συνεπώς, σε αντίθεση µε τα απλά ηχητικά παιχνίδια και βιντεοπαιχνίδια, στο παιχνίδι επαυξηµένης ηχητικής πραγµατικότητας, ο φυσικός - υλικός χώρος του παιχνιδιού, δεν αποκλείεται, αλλά συµµετέχει στην δηµιουργία ολόκληρου του περιβάλλοντος του παιχνιδιού σαν οπτικό συστατικό του περιβάλλοντος. Το παιχνίδι που περιγράφεται στην εργασία, αποτελείται από τα ακόλουθα συστατικά (εικ.18). α) το οπτικό περιβάλλον του πραγµατικού κόσµου το οποίο παρουσιάζει τον υλικό χώρο χειρισµού του παιχνιδιού. β) το ηχητικό συστατικό του πραγµατικού κόσµου το οποίο παρευρίσκεται µέσα στον υλικό χώρο του παιχνιδιού. γ) η εικονική ηχητική πληροφορία η οποία συντίθεται σε πραγµατικό χρόνο, επεξεργασµένη και αναπαραγόµενη σε τριών διαστάσεων χώρο. Ο µαγικός κύκλος συµβολίζει τα όρια του παιχνιδιού µέσα στον πραγµατικό κόσµο όπως έχει προελεγχθεί και παραπάνω στην θεωρία του Caillois. 27

εικόνα 18: Τα συστατικά του παιχνιδιού επαυξηµένης ηχητικής πραγµατικότητας µέσα στον χώρο Τα δύο πρώτα στοιχεία, είναι υπεύθυνα για την αναπαράσταση του οπτικού και ηχητικού περιβάλλοντος του παιχνιδιού, ενώ το τρίτο χρησιµοποιείται για την δυναµική αναπαραγωγή πληροφοριών που απαιτούνται για να πραγµατοποιηθεί ο επιθυµητός τρόπος χειρισµού του παιχνιδιού. Τα παραπάνω στοιχεία υλοποιήθηκαν και ενοποιήθηκαν µέσα σε µια διαδραστική οπτικοακουστική εγκατάσταση µε το όνοµα «Eidola» (Είδωλα). Με αυτή την λέξη, περιγράφεται η ιδέα των εικονικών ηχητικών πηγών(εικ.9). 28

εικόνα 19: Το λογότυπο της διαδραστικής οπτικοακουστικής εγκατάστασης «Eidola» 2.3 Έννοια Διαδραστικής Οπτικοακουστικής Εγκατάστασης Η έννοια του διαδραστικού έχει αρχίσει τα τελευταία χρόνια να µπαίνει στην καθηµερινή ζωή των σύγχρονων κοινωνιών. Σηµαντική συνιστώσα σε αυτή την εξέλιξη αποτελεί η ανάπτυξη των υπολογιστών και η ολοένα αυξανόµενη χρήση τους από το ευρύ κοινό. Παρακάτω θα αναλυθεί η έννοια της διάδρασης, υπό το πρίσµα εφαρµογών ψηφιακής τεχνολογίας και νέων µέσων. «Ένα κείµενο για να είναι διαδραστικό, πρέπει το άτοµο να παρεµβαίνει σε αυτό και να αλλάζει το κείµενο και τις εικόνες που βλέπει. Έτσι το κοινό στα νέα µέσα, γίνεται «χρήστης» από «παρατηρητής» που ήταν στον οπτικό πολιτισµό, κινηµατογράφος και τηλεόραση ή «αναγνώστης» λογοτεχνίας» [27]. Η παραπάνω άποψη περιγράφει την έννοια του διαδραστικού. Ταυτόχρονα όµως παρουσιάζει και την µεγάλη αλλαγή που έχει επέλθει στη σχέση κοινού και µέσων µε την εµφάνιση των νέων µέσων, τα οποία επιτρέπουν στον θεατή να ενεργεί ως χρήστης και να παίρνει αποφάσεις. Έτσι δίνεται στον χρήστη η δυνατότητα της επιλογής. Συνεπώς αυτή η λήψη αποφάσεων, οδηγεί τον θεατή - χρήστη στο τελικό επιθυµητό ή όχι αποτέλεσµα. 29

Σκοπός ενός διαδραστικού συστήµατος, είναι η υποβοήθηση του χρήστη για την επίτευξη στόχων σε ένα συγκεκριµένο πεδίο εφαρµογής [28]. Αυτή η υποβοήθηση, µπορεί να έχει διάφορες µορφές. Για παράδειγµα, στα «Είδωλα» όπως θα περιγραφεί και σε παρακάτω κεφάλαια, δίνεται στον χρήστη ο απαραίτητος εξοπλισµός για να µπορέσει να αντεπεξέλθει στους στόχους του παιχνιδιού ο οποίος αποτελείται από τον εξοπλισµό παρακολούθησης του εικονικού χώρου και από το όπλο εξόντωσης των αντιπάλων. Αυτός ο εξοπλισµός αποτελεί ένα κοµµάτι της διάδρασης του χρήστη µε τον υπολογιστή του παιχνιδιού. Η σύνθετη διάδραση µεταξύ του παίκτη και του παιχνιδιού είναι το λεγόµενο gameplay ή αλλιώς χειρισµός του παιχνιδιού [28]. Ο χειρισµός διαφέρει από παιχνίδι σε παιχνίδι. Υπάρχουν παιχνίδια που ο χειρισµός γίνεται από ένα χειριστήριο, αλλά και παιχνίδια τα οποία ο χρήστης τα χειρίζεται µε κινήσεις του σώµατός του. Στα «Είδωλα» έχει επιλεχτεί ένας ιδιαίτερος χειρισµός που στηρίζεται στον ήχο. Η πληροφορία του χειρισµού δίνεται µε την χρήση ακουστικών. Η ύπαρξη ενός κουµπιού - όπλου δίνει την επιλογή στον χρήστη να εξοντώσει ή όχι τον αντίπαλο. Με τον όρο εγκατάσταση, εννοείται ένα σύνολο δοµών µέσα σε ένα συγκεκριµένο χώρο µε συγκεκριµένες διαστάσεις. Αυτό το σύνολο των δοµών στην εγκατάσταση «Eidola», αποτελούν το κοµµάτι της διάδρασης και το οπτικοακουστικό µέρος. Το οπτικοακουστικό µέρος είναι εκείνο το οποίο για να γίνει αντιληπτό, γίνεται η χρήση των αισθήσεων της ακοής και της όρασης από τον χρήστη. Οι παραπάνω δοµές είναι αλληλένδετες η µη σωστή λειτουργία και των δύο µπορεί να επιφέρει δυσλειτουργία όλης της εγκατάστασης. Οι διαδραστικές οπτικοακουστικές εγκαταστάσεις, αποτελούν µια νέα µορφή πειραµατισµού. Μέσα από αυτές υλοποιούνται πολύπλοκα πειράµατα προσανατολισµένα προς τον άνθρωπο. Αυτά προϋποθέτουν διαδράσεις ανθρώπου-µηχανής. Πολλοί καλλιτέχνες, ασχολούνται µε αυτές σαν καλλιτεχνική έκφραση και προσέγγιση [29]. Παραδείγµατα τέτοιων εγκαταστάσεων αποτελεί η διαδραστική εγκατάσταση Dots [30] η οποία συνδιάζει το στοιχείο του ήχου µε την κίνηση του ατόµου στον χώρο. Επίσης η εγκατάσταση Ambistar [31], συνδιάζει κινήσεις του χεριού µε την µετακίνηση ενός εικονικού άστρου. Ένα ακόµη παράδειγµα, αποτελεί και η εγκατάσταση Elevator [32], η οποία µετατρέπει το συναίσθηµα του θυµού σε οπτικό αποτέλεσµα µέσα από την ηχητική αντίδραση του ακροατή. Τα «Είδωλα», αποτελούν µια καλλιτεχνική ηχητική εγκατάσταση µε επιπλέον το στοιχείο του παιχνιδιού. Η βάση του έργου όµως παραµένει ο ήχος ο οποίος µέσα από τον συνδιασµών τεχνολογιών επεξεργασίας του και αναπαράστασής του, δίνει το τελικό αισθητικό αποτέλεσµα στον θεατή. 30

κεφάλαιο 3 31

ΚΕΦΑΛΑΙΟ 3: Μεθοδολογία σχεδίασης και υλοποίησης 3.1 Βιβλιογραφική έρευνα Η βιβλιογραφική έρευνα πραγµατοποιήθηκε κυρίως σε επιστηµονικά άρθρα, βιβλία και κάποιες διαδικτυακές σελίδες. Έγινε εκτεταµένη έρευνα για το τι έχει γίνει πάνω στον όρο ηχητικό παιχνίδι, επαυξηµένη ηχητική πραγµατικότητα, και η χρήση αυτών των στοιχείων σε καλλιτεχνικές εγκαταστάσεις. 3.2 Μελέτη σεναρίου για ηχητικό παιχνίδι Το σενάριο, αποτελεί τον κορµό ανάπτυξης για όλα τα παιχνίδια. Είναι αυτό που περιλαµβάνει όλους τους κανόνες, και οριοθετεί την σχέση του χρήστη µε το παιχνίδι. Μέσα σε αυτό συµπεριλαµβάνονται και υπολογίζονται η οποιαδήποτε διάδραση υπάρχει ανάµεσα στο παιχνίδι και στον χρήστη. Τα πιο συνηθισµένα είδη παιχνιδιών που κυκλοφορούν, είναι τα εξής [1]: αθληµάτων, εξερεύνησης, δράσης, εξοµοίωσης, στρατηγικής, αινιγµάτων, ρόλων, διοίκησης, και αυτά που δεν ανήκουν σε καµία από τις παραπάνω κατηγορίες. Σύµφωνα µε αυτά τα είδη παιχνιδιών, δηµιουργήθηκε ένα τελικό σενάριο που θα ήταν εφικτό να υποστηριχτεί από ένα ηχητικό παιχνίδι επαυξηµένης πραγµατικότητας. Το τελικό σενάριο έχει στοιχεία από παιχνίδι ρόλων, αλλά συνδυάζει και το στοιχείο της εξερεύνησης και της δράσης, πράγµα που δεν το κάνει πιο σύνθετο αλλά αντιθέτως, πιο ενδιαφέρον. Παρακάτω, περιγράφεται αναλυτικά το σενάριο του ηχητικού παιχνιδιού που υλοποιήθηκε. Το σενάριο βασίζεται στην ύπαρξη ενός αριθµού αόρατων όντων που ζουν µέσα στο δωµάτιο του παιχνιδιού. Αυτά τα όντα ονοµάζονται «Είδωλα». Ο παίκτης του παιχνιδιού έχει την αποστολή να εισέλθει στο δωµάτιο και να αντιµετωπίσει όλα αυτά τα όντα που κινούνται στον χώρο ακολουθώντας µη γραµµικές τροχιές µέσα στον τρισδιάστατο χώρο. Για να το πετύχει αυτό ο παίκτης, πρέπει να πιέσει µια εικονική σκανδάλη (για παράδειγµα ένα συγκεκριµένο κουµπί), όταν η θέση του συµπίπτει (µέσα σε ένα σταθερό όριο ακρίβειας) µε την στιγµιαία θέση των ειδώλων πάνω στην τρισδιάστατη τροχιά που ακολουθούν. 32

Το σενάριο του παιχνιδιού συµπληρώνεται από ένα αριθµό αντικειµένων του πραγµατικού κόσµου που είναι τοποθετηµένα µέσα στον χώρο του παιχνιδιού. Αυτά τα αντικείµενα παράγουν ήχους συνεχόµενα, σε συγκεκριµένες χρονικές στιγµές ή µετά από κάποια διάδραση µε τον χρήστη. Η ύπαρξη αυτών των αντικειµένων κρίθηκε απαραίτητη στον υλικό χώρο του παιχνιδιού ώστε να συντεθεί ένα πιο φυσικό περιβάλλον και µια πιο φυσική ατµόσφαιρα παιχνιδιού, ενώ επίσης προσφέρουν ένα δευτερεύον τρόπο οπτικοακουστικής ανάδρασης στον χρήστη, βοηθώντας αυτόν/ αυτή, να καταλάβει τα πιθανά όρια των κινήσεων των «Ειδώλων». 3.3 Σύστημα Επαυξημένης Ηχητικής Πραγματικότητας Όπως ειπώθηκε παραπάνω, µια σηµαντική δυνατότητα που προσφέρει η αµφιωτική τεχνολογία, είναι η δηµιουργία συστηµάτων που εκµεταλλεύονται την χωρική ακοή. Μέσω της χωρικής ακοής γίνεται δυνατή η ανάπτυξη αµφιωτικών συστηµάτων εξοµοίωσης χώρου. Στο σχήµα της εικόνας 20, παρατίθεται ένα τυπικό αµφιωτικό σύστηµα εξοµοίωσης χώρου. Ένα τέτοιο σύστηµα αποτελείται από συγκεκριµένα µέρη τα οποία έχουν στόχο να µετατρέψουν τα ανηχοϊκά σήµατα εικονικών πηγών, σε αµφιωτικά σήµατα που δίνουν την αίσθηση της θέσης αυτών αλλά και του χώρου στον ακροατή. εικόνα 20: Αµφιωτικό σύστηµα εξοµοίωσης χώρου 33

Αρχικά, για να επιτευχθεί αυτός ο στόχος, θα πρέπει να µοντελοποιηθεί ο απαιτούµενος χώρος. Η µοντελοποίηση, προϋποθέτει την εισαγωγή δεδοµένων του περιβάλλοντος του συγκεκριµένου χώρου. Τα δεδοµένα αυτά αποτελούν, τα όρια των διάφορων επιφανειών που απαρτίζουν τον χώρο, τα δοµικά υλικά του χώρου και ο ειδικός συντελεστής απορρόφησης αυτών. Τα παραπάνω στοιχεία είναι αυτά που θα δώσουν ένα µέρος των χαρακτηριστικών του ήχου των πηγών ως προς τον ακροατή. Το επόµενο υποσύστηµα, είναι ο κατανεµητής των ηχητικών πηγών στον χώρο. Ο κατανεµητής, είναι ο υπεύθυνος για την συγκεκριµένη θέση που θα έχουν οι εικονικές ηχητικές πηγές στον χώρο καθώς και τα κατευθυντικά τους χαρακτηριστικά την όποια χρονική στιγµή απαιτηθεί. Κατόπιν, γίνεται η αµφιωτική εξοµοίωση του συστήµατος, ώστε να παραχθεί η κρουστική απόκριση. Η κρουστική απόκριση παρουσιάζει τα χαρακτηριστικά µετάδοσης του ήχου από την πηγή στον δέκτη. Η κρουστική απόκριση των πηγών, είναι διαφορετική για το κάθε ακουστικό κανάλι του ακροατή. Συνεπώς εξάγονται δύο διαφορετικές κρουστικές αποκρίσεις οι οποίες εφαρµόζονται στο κέντρο διασύνδεσης, στα ανηχοϊκά σήµατα της κάθε ηχητικής πηγής. Το τελικό ηχητικό αποτέλεσµα, µεταφέρεται στον ακροατή µέσω ενός ζεύγους ακουστικών τοποθετηµένο στο σωστό ακουστικό κανάλι του ακροατή. Παρακάτω, ακολουθεί η αρχιτεκτονική ενός συστήµατος εξοµοίωσης χώρου µε βάση το σύστηµα που περιγράφηκε παραπάνω. Ένα αµφιωτικό σύστηµα εξοµοίωσης χώρου (εικ.21), χρειάζεται τις ακόλουθες αρχικές εισόδους δεδοµένων: θέσεις, κατευθύνσεις, και κατευθυντικά χαρακτηριστικά των ηχητικών πηγών, θέσεις και κατευθύνσεις των ακροατών, θέσεις, διαστάσεις και κατευθύνσεις των τοίχων και άλλων ακουστικά σχετικών αντικειµένων (π.χ κοινό), και τα χαρακτηριστικά απορρόφησης και ανάκλασης, αντίστοιχα για τους τοίχους και άλλα σχετικά αντικείµενα [18]. Τα καταγεγραµµένα ανηχοϊκά σήµατα εισάγονται στο αµφιωτικό σύστηµα εξοµοίωσης χώρου. Μέσα σε αυτό το σύστηµα, γίνεται η επεξεργασία των σηµάτων λαµβάνοντας υπόψη συγκεκριµένες παραµέτρους του χώρου που έχει δηµιουργηθεί για το σύστηµα. Οι παράµετροι σχετίζονται µε δεδοµένα των πηγών όπως η θέση τους, όπως και µε τα υλικά και την γεωµετρία του χώρου που µεταφέρεται µέσα στο σύστηµα. Τα υλικά και η γεωµετρία του χώρου είναι αυτά τα στοιχεία που θα συντελέσουν στην ακουστική του χώρου και συνεπώς σε στοιχεία όπως η αντήχηση του. Επίσης είναι απαραίτητη και η ύπαρξη ενός συστήµατος εντοπισµό της θέσης του κεφαλιού του ατόµου στον χώρο. Αυτό το σύστηµα, έχει σκοπό την παροχή των δεδοµένων του στο αµφιωτικό σύστηµα, ώστε να επεξεργαστούν αυτά µε τα παραπάνω δεδοµένα και να δηµιουργηθεί το τελικό αµφιωτικό σήµα. Το αµφιωτικό σήµα που παράγεται από το σύστηµα, εισέρχεται σε έναν αντισταθµιστή, ώστε να γίνουν οι τελευταίες ρυθµίσεις στο ηχητικό σήµα. Ο αντισταθµιστής, είναι καλύτερο να παρέχεται από εξωτερική µονάδα ώστε να µην καταναλώνει επεξεργαστική ισχύ από το αµφιωτικό σύστηµα εξοµοίωσης χώρου, και συνεπώς καθυστερούν και οι υπολογισµοί του. 34

εικόνα 21: Αρχιτεκτονική συστήµατος εξοµοίωσης χώρου Όπως ειπώθηκε στο υποκεφάλαιο 2.2, η επαυξηµένη πραγµατικότητα είναι ένας σχετικά πρόσφατος όρος. Παρακάτω, θα εξεταστεί η επαυξηµένη πραγµατικότητα µε βάση ένα συγκεκριµένο στοιχείο, αυτό του ήχου. Πιο συγκεκριµένα θα αναλυθεί το πρότυπο της επαυξηµένης ηχητικής πραγµατικότητας. Πρέπει να επισηµανθεί πως υπάρχει σαφή διαφορά ανάµεσα στην επαυξηµένη και στην εικονική πραγµατικότητα. Στην επαυξηµένη, υπάρχει η πραγµατική συνιστώσα η οποία αναµιγνύεται µε την επαυξηµένη ενώ στην εικονική, υπάρχει µόνο το συνθετικό στοιχείο χωρίς την εµπλοκή του πραγµατικού περιβάλλοντος. Στην επαυξηµένη ηχητική πραγµατικότητα, οι φυσικοί ήχοι του περιβάλλοντος, µπορούν να εµπλουτιστούν µε συνθετικούς εικονικούς ήχους (ορίζονται και ως εικονικά ηχητικά αντικείµενα) [26]. Για να επιτευχθεί η παραπάνω διαδικασία, πρέπει να εξασφαλιστεί η ορθότητα της διαδικασίας του εµπλουτισµού (κυρίως σε όρους ακουστικής αυθεντικότητας και φυσικής αναπαραγωγής του τελικού αποτελέσµατος). Σε αυτό βοηθάει η χρήση της αµφιωτικής τεχνολογίας [18], όπου εφαρµόζεται στην εγγραφή του φυσικού ηχητικού περιβάλλοντος και στην χωρική αναπαραγωγή των εικονικών ηχητικών στοιχείων. 35

Στην εικόνα 22, παρουσιάζεται η αρχιτεκτονική ενός συστήµατος επαύξησης του ηχητικού σήµατος. Για την επίτευξη ενός τέτοιου συστήµατος, χρειάζεται αρχικά η τοποθέτηση στον ακροατή ενός ζευγαριού ακουστικών καθώς και µικροφώνων στο κάθε αυτί του. Τα µικρόφωνα αποτελούν µέρος του µηχανισµού καταγραφής του πραγµατικού περιβάλλοντος µε σκοπό την έπειτα χρήση του ληφθέντος ηχητικού σήµατος. Το σύστηµα επαύξησης ηχητικού σήµατος, αποτελεί το βασικό µέρος της επαύξησης. Μέσα σε αυτό το σύστηµα, καθορίζονται οι παράµετροι της επαύξησης, καθώς και δηµιουργείται το τελικό σήµα που προορίζεται για αναπαραγωγή. Σηµαντική λεπτοµέρεια κατά το στάδιο της επαύξησης, αποτελούν οι HRTF, τις οποίες το σύστηµα λαµβάνει υπόψη, ώστε να υπάρχει η κατάλληλη χωρική τοποθέτηση του επαυξηµένου ήχου στον πραγµατικό χώρο. Επιπροσθέτως, η ύπαρξη ενός αντισταθµιστή µεταξύ των ακουστικών και του συστήµατος επαύξησης, θα βοηθήσει στην περαιτέρω βελτίωση της ακουστότητας του τελικού σήµατος. εικόνα 22: Αρχιτεκτονική συστήµατος επαύξησης ηχητικού σήµατος 3.4 Πρωτόκολλο Επικοινωνίας Πρωτόκολλο επικοινωνίας στην πληροφορική, ορίζεται το σύνολο κανόνων και διαδικασιών που πρέπει να ισχύουν για την επίτευξη επικοινωνίας του υπολογιστή µε µια συσκευή ή ένα πρόγραµµα [13]. 36

Για την υλοποίηση του ηχητικού παιχνιδιού χρησιµοποιήθηκαν πάνω από ένα πρωτόκολλο επικοινωνίας για το λόγο ύπαρξης αρκετών συσκευών και λογισµικών τα οποία έπρεπε να συνυπάρχουν σε µια υπολογιστική µονάδα. Για την σύνδεση των λογισµικών στα «Είδωλα», χρησιµοποιήθηκε το πρωτόκολλο OSC (Open Sound Control). [33] Η επιλογή έγινε µε βάση τα ακόλουθα κριτήρια. Πρόκειται για ένα πρωτόκολλο επικοινωνίας το οποίο υποστηριζόταν από τα λογισµικά που χρησιµοποιήθηκαν. Ήταν αρκετά αξιόπιστο στην µεταφορά των εντολών. Υποστήριζε την µεταφορά πολλαπλών πακέτων µηνυµάτων καθώς και µεγάλο όγκο πληροφορίας. Η ταχύτητα µεταφοράς βέβαια εξαρτάται και από τον κεντρικό δίαυλο επικοινωνίας της υπολογιστικής µονάδας ο οποίος µπορεί να υπερφορτωθεί από την µεταφορά µεγάλου όγκου δεδοµένων δυσανάλογων των δυνατοτήτων του. Επίσης ήταν αρκετά ευέλικτο και εύκολο στον χειρισµό του χωρίς να υπάρχουν δυσλειτουργίες. Τα λογισµικά που συνδέονται µε το παραπάνω πρωτόκολλο, είναι το Processing [34] και το Pure Data[35]. Το Processing υποστηρίζει τον κεντρικό ελεγκτή διάδρασης ο οποίος στέλνει τα µηνύµατα διάδρασης του ανθρώπου µε το σύστηµα στον κεντρικό ελεγκτή ήχου ο οποίος υποστηρίζεται από το Pure Data. Στον πίνακα της εικόνας 23, εµφανίζεται η σηµατοδοσία που αναπτύχθηκε και χρησιµοποιήθηκε ανάµεσα στα δύο λογισµικά και ανάµεσα στο σύστηµα εντοπισµού της περιστροφής του κεφαλιού και του όπλου του χρήστη µε το Processing (κεντρικό ελεγκτή διάδρασης). Λόγω του αριθµού και της ταυτόχρονης αποστολής και λήψης των µηνυµάτων, παρατηρήθηκε πρόβληµα υπερφόρτωσης του διαύλου επικοινωνίας µεταξύ των δύο λογισµικών όπως και µεταξύ του συστήµατος εντοπισµού της περιστροφής του κεφαλιού και του όπλου. 37

εικόνα 23: Πίνακας πρωτοκόλλων επικοινωνίας λογισµικού Αυτή η υπερφόρτωση οδηγούσε σε µεγάλες καθυστερήσεις µετάδοσης και λήψης των δεδοµένων και κατά συνέπεια αδυναµία λειτουργίας του συστήµατος. Για την επίλυση αυτού του 38

προβλήµατος, αναπτύχθηκε ένα είδος σηµατοδοσίας ώστε να µην συµπίπτουν οι αποστολές των µηνυµάτων. Αυτό το σύστηµα αποτελείται από ενδείκτες µεταγωγής (flag) οι οποίοι δίνουν την εντολή να σταλούν τα µηνύµατα σε συγκεκριµένες χρονικές στιγµές. Για τον ορισµό αυτών, έχουν δηµιουργηθεί συγκεκριµένοι χειριστές. Ο χειριστής της κίνησης των «Ειδώλων», ο χειριστής του συστήµατος περιστροφής του κεφαλιού, ο χειριστής µηνυµάτων αναπαραγωγής των ήχων και ο χειριστής µηνυµάτων απενεργοποίησης (εξόντωσης) «Ειδώλων». Εκτός από το OSC, χρησιµοποιήθηκαν και κάποια πρωτόκολλα ασύρµατης µετάδοσης πληροφοριών. Πιο αναλυτικά, χρησιµοποιήθηκε κοινό πρωτόκολλο επικοινωνίας για το σύστηµα αναγνώρισης θέσης του κεφαλιού του χρήστη και για το όπλο που χρησιµοποιήθηκε, καθώς και τα δύο αυτά συστήµατα αποτελούσαν τµήµα του ίδιου χειριστηρίου. Η µετάδοση των δεδοµένων γινόταν στην συχνότητα των 2.4 GHz χωρίς ιδιαίτερα προβλήµατα. Το συγκεκριµένο σύστηµα χρησιµοποιούσε δικό του ποµπό και δέκτη. Η επικοινωνία µεταξύ αυτών των δύο συστηµάτων και του λογισµικού του ελεγκτή διάδρασης, γινόταν µε την χρήση µιας βιβλιοθήκης η οποία παρείχε έτοιµες εντολές χειρισµού των δύο συστηµάτων. Επίσης χρησιµοποιήθηκαν δύο ζευγάρια ποµπού - δέκτη για την ασύρµατη µετάδοση ήχου(εικ.24). Το πρώτο ζευγάρι που αφορούσε το κοµµάτι των ακουστικών του χρήστη, χρησιµοποιούσε τη συχνότητα των 2.4 GHz ενώ το δεύτερο ζευγάρι που έστελνε στο σήµα των µικροφώνων από τον χρήστη στην υπολογιστική µονάδα, χρησιµοποιούσε την συχνότητα των 864 MHz. Το πρώτο ζευγάρι φαινόταν να έχει ικανοποιητική λειτουργία. Το δεύτερο ζευγάρι, δεν ήταν τόσο σταθερό και υπήρχε κάποιες φορές πρόβληµα από παρεµβολές. εικόνα 24: Πίνακας πρωτοκόλλων επικοινωνίας ήχου 39

3.5 Τεχνολογίες Head tracking Η θέση του κεφαλιού, παίζει σηµαντικό ρόλο στον τρόπο που ακούει ο άνθρωπος στον πραγµατικό κόσµο. Οι κινήσεις του, διευκολύνουν στον εντοπισµό της προέλευσης του ήχου. Με τις κινήσεις του κεφαλιού, ο ακροατής, µπορεί να εστιάσει στην πηγή του ήχου ώστε να αντλήσει επιπλέον υποκειµενικά χαρακτηριστικά αυτού όπως για παράδειγµα σε µια οµιλία, να καταλάβει τις λέξεις ή το φύλο του οµιλητή. Σε εφαρµογές εικονικής και επαυξηµένης πραγµατικότητας, η θέση του κεφαλιού του θεατή, αποτελεί µια σηµαντική µεταβλητή του συστήµατος. Η όσο το δυνατόν καλύτερη προσέγγισή της, µπορεί να βελτιώσει την απόδοση του συστήµατος κάνοντάς αυτό πιο ρεαλιστικό φέρνοντάς αυτό πιο κοντά στις απαιτήσεις του δηµιουργού αλλά και του χρήστη. Η λειτουργία του συστήµατος του «head-tracking» επηρεάζει άµεσα τον χειρισµό του παιχνιδιού. Δηλαδή, έχοντας ένα προβληµατικό τέτοιο σύστηµα σε λειτουργία, µπορεί να αποτελέσει επιπλέον προβλήµατα στον χειρισµό της εφαρµογής και κατά συνέπεια, αδυναµία του χρήστη να καταφέρει την επιτυχή ολοκλήρωσή της. Η υιοθέτηση τέτοιων τεχνικών, µπορεί να βοηθήσει στην ελεύθερη κίνηση του ακροατή µέσα σε ένα εικονικό περιβάλλον, και να ξεπεραστεί έτσι το πρόβληµα προσανατολισµού που προκαλείται από το φαινόµενο «cone of confusion». Ένα ιδανικό σύστηµα «head tracking», έχει να αντιµετωπίσει τρία είδη κινήσεων του κεφαλιού. Αυτές οι κινήσεις θα περιγραφτούν παρακάτω (εικ.25). -Η κίνηση του κεφαλιού πάνω στον οριζόντιο άξονα η οποία καταγράφεται ως η γωνία µεταξύ µιας σταθερής διεύθυνσης (του βορρά) και της εκάστοτε διεύθυνσης του κεφαλιού έχοντας ωρολογιακή φορά και παίρνοντας τιµές που αντικατοπτρίζουν γωνία από 0 έως 360. -Η κίνηση του κεφαλιού στον κάθετο άξονα, µε αποτέλεσµα την ανύψωση αυτού ή την κάθοδο αυτού. -Η ελλειπτική κίνηση που εκτελεί το κεφάλι η οποία µεταφράζεται σε γωνία κλίσης αυτού και η οποία µετριέται σε µοίρες. 40

εικόνα 25: κινήσεις κεφαλιού Τα όρια των παραπάνω κινήσεων, εξαρτώνται από το εκάστοτε σύστηµα. Σηµαντική παράµετρος ενός τέτοιου συστήµατος, είναι η προσαρµοστικότητα που µπορεί να δείξει σε διαφορετικούς χρήστες ώστε να φέρει σε πέρας την αποστολή του. Επίσης, πρέπει να αναφερθεί πως στην πράξη, η δηµιουργία ενός συστήµατος εντοπισµού της θέσης του κεφαλιού, αποτελεί µια µεγάλη και συνεχή πρόκληση ειδικά όταν πρόκειται και για τις τρεις κινήσεις που αναφέρθηκαν. Τα συστήµατα που υπάρχουν στο εµπόριο, έχουν κατά κύριο λόγο σχέση µε παιχνίδια εξοµοίωσης. Το σύστηµα Track IR, είναι ένα ενδεικτικό σύστηµα που χρησιµοποιεί τον υπέρυθρο φωτισµό και τον αισθητήρα υπέρυθρου φωτός για τον υπολογισµό της θέσης του κεφαλιού [36]. Επίσης υπάρχουν συστήµατα που χρησιµοποιούν επιταχυντές (accelerometers) για την εύρεση της περιστροφής του κεφαλιού [37]. Άλλα συστήµατα πιο εξελιγµένα, στηρίζονται στην χρήση GPS (Γεωγραφικό Σύστηµα Πληροφοριών), το οποίο µπορεί να υποστηρίξει εφαρµογές που ο θεατής χρειάζεται να έχει πλήρη ελευθερία κίνησης στον χώρο [38]. Επιπροσθέτως, εκτός από την κίνηση του κεφαλιού, ένα τέτοιο σύστηµα, µπορεί να συµπεριλάβει και την εύρεση θέσης του ατόµου µέσα στον χώρο (εικ.26) αλλά και το ύψος που βρίσκεται το κεφάλι του ακροατή. Η διαδικασία εύρεσης θέσης του ακροατή σχετικά πιο απλή σε σχέση µε την καταγραφή των κινήσεων του κεφαλιού. Για την αναγνώριση της θέσης µπορεί να χρησιµοποιηθεί κάµερα η ακόµα και το Γεωγραφικό Σύστηµα Πληροφοριών (GPS) αν πρόκειται και για ανοιχτό χώρο. Για την εύρεση του ύψους, χρειάζεται κάποιο επιπλέον σύστηµα το οποίο θα µπορεί να υπολογίζει το ύψος του ακροατή, ένα τέτοιο σύστηµα θα µπορούσε να δέχεται τις τιµές του ύψους κατά την διάρκεια της αρχικοποίησης, παρ' όλα αυτά όµως, θα υπήρχε πρόβληµα στην εύρεση των τιµών σε περίπτωση µεταβολής του ύψους κατά την διάρκεια της εφαρµογής. 41

Σηµαντικό κοµµάτι της υλοποίησης του ηχητικού παιχνιδιού στον πραγµατικό του χώρο, αποτέλεσε το σύστηµα αναγνώρισης θέσης και κατεύθυνσης του κεφαλιού του χρήστη (head-tracking). Έγινε εκτεταµένη έρευνα πάνω σε τεχνολογίες που υπήρχαν µε σκοπό την τελική χρήση ενός ευέλικτου και όσο το δυνατόν ακριβούς συστήµατος αναγνώρισης. Παρακάτω γίνεται η συνοπτική παρουσίαση κάποιων τεχνικών. εικόνα 26: µεταβολή θέσης ακροατή 3.6 Aρχιτεκτονική συστήματος «Είδωλα» Η αρχιτεκτονική του συστήµατος του ηχητικού παιχνιδιού αποτελεί βασικό µέρος του παιχνιδιού καθώς µέσα από αυτήν αποτυπώνονται όλες οι διεργασίες που γίνονται κατά την διάρκεια της εφαρµογής του παιχνιδιού. Επίσης οριοθετούνται τα επί µέρους συστήµατα, και συνδέονται µεταξύ τους. Η σύνδεσή τους εξαρτάται από τον τύπο των δεδοµένων που θα ανταλλάσσονται µεταξύ των υποσυστηµάτων καθώς και τις υπολογιστικές πλατφόρµες που χρησιµοποιεί το κάθε υποσύστηµα. Στην σύνδεση περιλαµβάνονται τα πρωτόκολλα επικοινωνίας που χρησιµοποιούν τα υποσυστήµατα για την µεταξύ τους επικοινωνία, αλλά και το υλικό µέρος όπως καλώδια για ενσύρµατη σύνδεση ή ποµποδέκτες για ασύρµατη σύνδεση. Στο σχήµα της εικόνας 27 παρουσιάζεται το διάγραµµα της αρχιτεκτονικής του συστήµατος που δηµιουργήθηκε για το ηχητικό παιχνίδι «Είδωλα». 42

Η αρχιτεκτονική του παιχνιδιού (εικ.27), παρουσιάζει αρκετά πολύπλοκη µορφή. Όλο το σύστηµα αποτελείται από αρκετά υποσυστήµατα λογισµικού και υλικού, τα οποία συνδέονται µεταξύ τους. Τα κεντρικά υποσυστήµατα που έχουν δηµιουργηθεί είναι, ο µείκτης επαυξηµένης ηχητικής πραγµατικότητας, το υποσύστηµα αναγνώρισης θέσης του χρήστη, ο ελεγκτής κίνησης των «Ειδώλων», το υποσύστηµα εξουδετέρωσης και ελέγχου ζωής «Ειδώλων», το υποσύστηµα µοντελοποίησης του εικονικού κόσµου, το υποσύστηµα µοντελοποίησης του ηχητικού πεδίου και το δίκτυο ψηφιακής επεξεργασίας σήµατος. Η υλοποίηση του συστήµατος, έγινε µε την χρήση δύο λογισµικών. Χρειάστηκε η χρήση του Processing [34] και του Pure Data [35]. Όπως φαίνεται στο σχεδιάγραµµα της αρχιτεκτονικής του συστήµατος (εικ.27), τα υποσυστήµατα που έχουν δηµιουργηθεί στο λογισµικό του Processing, είναι τοποθετηµένα πάνω στην κίτρινη περιοχή, ενώ η πράσινη περιοχή, περιλαµβάνει τα υποσυστήµατα που έχουν αναπτυχθεί στο περιβάλλον του Pure Data. Επίσης, τα πρωτόκολλα επικοινωνίας που αναφέρονται σε προηγούµενο κεφάλαιο, αποκαθιστούν την επικοινωνία δεδοµένων µεταξύ τους. Πιο αναλυτικά, το υποσύστηµα του µείκτη επαυξηµένης πραγµατικότητας, αποτελείται αρκετά µικρότερα µέρη. Αυτά τα µέρη είναι, τα µικρόφωνα τα οποία είναι τοποθετηµένα στα αυτιά του θεατή, απ' όπου λαµβάνεται και ο ήχος του περιβάλλοντος. Ο ήχος του περιβάλλοντος αποτελεί το αναλογικό σήµα που µε ασύρµατο σύστηµα µεταφέρεται στο κεντρικό σύστηµα του µείκτη όπου γίνεται το µεγαλύτερο µέρος της επεξεργασίας του, και κατόπιν µεταφέρεται η συγκεκριµένη εντολή που απορρέει στο σύστηµα αναπαραγωγής των ήχων των ηχητικών πηγών των αντικειµένων του πραγµατικού κόσµου. Η όλη διαδικασία ολοκληρώνεται στο δίκτυο ψηφιακής επεξεργασίας σήµατος όπου στο σήµα εφαρµόζεται η κρουστική απόκριση του χώρου και οι κατάλληλες HRTF που έχουν προέλθει από το σύστηµα µοντελοποίησης του ηχητικού πεδίου. Το επόµενο υποσύστηµα που θα αναλυθεί είναι το υπεύθυνο για την αναγνώριση της θέσης του χρήστη στον χώρο. Πιο συγκεκριµένα, µε αυτό το σύστηµα εντοπίζεται η θέση του ατόµου µέσα στον χώρο, και η αζιµουθιακή γωνία κλήσης του κεφαλιού. Συνεπώς το σύστηµα ελέγχου θέσης ατόµου, στέλνει τρεις τιµές στον κεντρικό ελεγκτή διάδρασης. Οι δύο τιµές αφορούν τις καρτεσιανές συντεταγµένες της θέσης του ατόµου στον χώρο και η τρίτη τιµή είναι η γωνία κλίσης του κεφαλιού. Οι τιµές των συντεταγµένων λαµβάνονται στο σύστηµα ενσύρµατα ενώ η τιµή της γωνίας κλήσης, ασύρµατα. Αυτές οι τιµές εισάγονται στον κεντρικό ελεγκτή διάδρασης ώστε να ελεγχθούν και να σταλθούν στον κεντρικό ελεγκτή ήχου, όπου ανάλογα µε την θέση των εικονικών πηγών και των «Ειδώλων», θα δηµιουργηθεί η κατάλληλη ακουστική απόδοση ώστε να παραχθεί το τελικό ηχητικό αποτέλεσµα στο δίκτυο ψηφιακής επεξεργασίας σήµατος στα ακουστικά που φοράει ο χρήστης. 43

Το υποσύστηµα ελέγχου κίνησης των «Ειδώλων», είναι ένα αυτοµατοποιηµένο σύστηµα, το οποίο διαχειρίζεται την θέση τους. Μέσα σε αυτό το σύστηµα παράγονται οι κατάλληλες τιµές οι οποίες στέλνονται µε την χρήση πρωτοκόλλου OSC στο σύστηµα µοντελοποίησης του εικονικού κόσµου ώστε να δηµιουργήσει όλα εκείνα τα ηχητικά χαρακτηριστικά (HRTF, κρουστική απόκριση) για να παραχθεί ο τελικός ήχος των «Ειδώλων». εικόνα 27: αρχιτεκτονική συστήµατος «Είδωλα» 44

Το υποσύστηµα εξουδετέρωσης και ελέγχου ζωής των «Ειδώλων», είναι υπεύθυνο για το αποτέλεσµα που θα αποτυπωθεί στο τελικό σκορ. Για να επιτευχθεί η εξουδετέρωση ενός «Ειδώλου», χρειάζεται ένα όπλο. Το όπλο βρίσκεται στο χέρι του χρήστη και είναι συνδεδεµένο µε τον ελεγκτή ζωής ο οποίος ελέγχει αν πέτυχε τον στόχο του ώστε να τον απενεργοποιήσει ηχητικά και να τον χρεώσει στο σκορ. Η µοντελοποίηση του εικονικού κόσµου, αποτελεί το επόµενο υποσύστηµα που θα αναλυθεί. Μέσα σε αυτό, γίνεται η µοντελοποίηση του εικονικού χώρου, δίνοντας τις επιθυµητές διαστάσεις σε αυτόν όπως και τα επίπεδα αντήχησης που προκύπτουν από τα υλικά του χώρου. Έτσι µε αυτό τον τρόπο δηµιουργείται η κρουστική απόκριση του χώρου που θα χρησιµοποιηθεί για την αναπαραγωγή όλων των ηχητικών πηγών στον χώρο. Στην µοντελοποίηση ηχητικού πεδίου, γίνεται η σύνθεση όλων εκείνων των χαρακτηριστικών που θα έχει ο τελικός ήχος ώστε να προσοµοιάζεται η κίνησή του στον χώρο για κάθε χρονική στιγµή που του έχει οριστεί. Εξάγεται η κρουστική απόκριση της συγκεκριµένης χρονικής στιγµής για την συγκεκριµένη ηχητική πηγή που βρίσκεται σε συγκεκριµένη θέση, και κατόπιν το αποτέλεσµα αυτό θα χρησιµοποιηθεί στο δίκτυο της ψηφιακής επεξεργασίας σήµατος. Το δίκτυο ψηφιακής επεξεργασίας σήµατος, είναι το µέρος το οποίο σε κάθε ηχητική πηγή του συστήµατος, εφαρµόζονται τα ηχητικά χαρακτηριστικά που απορρέουν από τα προηγούµενα υποσυστήµατα και ακολούθως, το τελικό ηχητικό αποτέλεσµα µεταφέρεται ασύρµατα µέσα από τα ακουστικά, στα αυτιά του ακροατή. 45

κεφάλαιο4 46

ΚΕΦΑΛΑΙΟ 4: Υλοποίηση Το πρωτότυπο παιχνίδι επαυξηµένης ηχητικής πραγµατικότητας «Είδωλα», υλοποιήθηκε και παρουσιάστηκε στην οµώνυµη εγκατάσταση κατά την διάρκεια του 3ου φεστιβάλ οπτικοακουστικών τεχνών του τµήµατος Τεχνών Ήχου και Εικόνας του Ιονίου Πανεπιστηµίου τον Μάιο του 2009. Το διαδραστικό περιβάλλον των «Ειδώλων» εγκαταστάθηκε σε ένα δωµάτιο 4x4x3.5 µέτρα (εικ.28). Μια βιντεοκάµερα απαιτήθηκε για την στιγµιαία αναγνώριση της θέσης του συµµετέχοντα. Αυτή ήταν τοποθετηµένη στο κέντρο της οροφής χωρίς να είναι ορατή. ο κεντρικός υπολογιστής ήταν αποµονωµένος σε ένα µέρος της οροφής αφήνοντας το δωµάτιο χωρίς εµφανή καλώδια. Μια οθόνη LCD είχε τοποθετηθεί στην είσοδο της εγκατάστασης (εικ.29), παρουσιάζοντας το λογότυπο το παιχνιδιού και το σκορ. Παρακάτω θα παρουσιαστούν όλες οι λεπτοµέρειες της ανάπτυξης της τελικής εγκατάστασης του παιχνιδιού. Εικόνα 28: εσωτερικός χώρος εγκατάστασης «Είδωλα» 47

εικόνα 29: εξωτερική οθόνη εγκατάστασης «Είδωλα» 4.1 Δημιουργία συστήματος επαυξημένης ηχητικής πραγματικότητας Όπως έχει ήδη αναφερθεί, στην επαυξηµένη ηχητική πραγµατικότητα, υπάρχει ο πραγµατικός κόσµος και η επαύξησή του. Συνεπώς είναι δύο κόσµοι. Αυτοί οι δύο κόσµοι πρέπει να αναµιχθούν κατάλληλα για να προκύψει το ζητούµενο αποτέλεσµα. Αυτή το κοµµάτι του παιχνιδιού έχει αναλάβει το σύστηµα επαυξηµένης ηχητικής πραγµατικότητας. Στα «Είδωλα» υπάρχει ο κόσµος ο οποίος µπορούµε να δούµε και να ακούσουµε (χωρίς την χρήση εξοπλισµού), δηλαδή ο πραγµατικός κόσµος, και πίσω από αυτό τον κόσµο κρύβεται ένας άλλος εικονικός, που αποτελεί την επαύξηση του πραγµατικού. Ένας κόσµος που µπορεί να γίνει αντιληπτός µε τη χρήση κατάλληλου εξοπλισµού µέσω της αίσθησης της ακοής. Πιο αναλυτικά, στα «Είδωλα» ο πραγµατικός κόσµος αποτελείται από τα υλικά µέρη της εγκατάστασης και τους πραγµατικούς ήχους που υπάρχουν µέσα στην εγκατάσταση, οι οποίοι µπορεί να προκαλούνται από τον χρήστη ή να προϋπάρχουν. Ένα τέτοιο παράδειγµα µπορεί να είναι το άνοιγµα µιας ντουλάπας, και οι ήχοι που είδη υπάρχουν όπως ο ήχος από ένα ραδιόφωνο ή µια τηλεόραση. 48

Ο εικονικός κόσµος αντίστοιχα, για να γίνει αντιληπτός χρειάζεται τον κατάλληλο εξοπλισµό που έχει φτιαχτεί για την συγκεκριµένη εγκατάσταση. Με αυτό τον εξοπλισµό µπορούν να γίνουν αντιληπτοί οι ήχοι των Ειδώλων, καθώς και οι ήχοι που παραπέµπουν στα πραγµατικά αντικείµενα του περιβάλλοντος. Πιο αναλυτικά τέτοιοι ήχοι είναι το νερό που τρέχει και παραπέµπει στον νιπτήρα ή και ο ήχος από το άνοιγµα ντουλάπας που παραπέµπει στο έπιπλο της ντουλάπας. Αυτοί οι ήχοι δείχνουν την κινητικότητα των Ειδώλων και προκαλούνται µε τον ηχητικό ερεθισµό του συστήµατος από τους διάφορους ήχους της πραγµατικότητας. Ο τρόπος λειτουργίας αυτού του συστήµατος θα αναλυθεί παρακάτω. Συνεπώς ο µείκτης επαυξηµένης πραγµατικότητας έχει να διαχειριστεί δύο γεγονότα για τα οποία υπάρχουν διαφορετικά συστήµατα. Πιο αναλυτικά, το πρώτο γεγονός είναι η κίνηση των «Ειδώλων» στον επαυξηµένο κόσµο σε σχέση µε την θέση του παίκτη στον πραγµατικό. Αυτή η κίνηση δίνεται ηχητικά στον παίκτη, προσδιορίζοντάς σε αυτόν µέσω της χωρικής αντίληψης του, την θέση του κάθε «Ειδώλου» στον επαυξηµένο χώρο. Το δεύτερο γεγονός είναι η διαχείριση των υλικών αντικειµένων του πραγµατικού κόσµου και η ένταξή τους στον επαυξηµένο µε τη χρήση ενός συστήµατος ηχητικής ταυτοποίησης. Για το γεγονός αυτό, έχει δηµιουργηθεί ένα σύστηµα στο οποίο αρχικά γίνεται βαθµονόµηση (calibration) των υλικών αντικειµένων (εικ.30). Πιο συγκεκριµένα, γίνεται φυσική αµφιωτική εγγραφή των αντικειµένων του περιβάλλοντος µε την χρήση των µικροφώνων που είναι ενσωµατωµένα στο ζευγάρι ακουστικών επαυξηµένης ηχητικής πραγµατικότητας που χρησιµοποιούνται από τον παίκτη [39], ώστε τα ηχητικά δείγµατα να έχουν όλα τα χαρακτηριστικά του περιβάλλοντος (όπως αντήχηση) αλλά και των ίδιων των ακουστικών, αφού χρησιµοποιούνται και κατά την διάρκεια του παιχνιδιού. εικόνα 30: πίνακας τιµών βαθµονόµησης αντικειµένων συστήµατος ηχητικής ταυτοποίησης 49

Στη συνέχεια γίνεται φασµατική ανάλυση και παρατηρούνται ποιες συχνότητες σε κάθε αντικείµενο, παρουσιάζουν µεγάλη διαφοροποίηση στα πλάτη τους.. Στη συνέχεια ορίζονται στο σύστηµα ως παράµετροι, τα αποτελέσµατα που προκύπτουν. Στον πίνακα της εικόνας 30, εικόνα 31: γραφική απεικόνιση κατανοµής αντικειµένων στον χώρο παρουσιάζονται τα αντικείµενα που επιλέχτηκαν να λειτουργούν σαν πηγή εισόδου στο σύστηµα ταυτοποίησης. Αυτά τα αντικείµενα βρίσκονται διασκορπισµένα µέσα στον χώρο σε συγκεκριµένες θέσεις ώστε να υπάρχει αντιστοιχία αυτών µε τα εικονικά του συστήµατος (εικ.31). 50

Κατά την διάρκεια του παιχνιδιού, ο παίκτης κινείται µέσα στον χώρο. Το σχεδιάγραµµα της εικόνας 32 παρουσιάζει την λειτουργία του συστήµατος ταυτοποίησης. Τα µικρόφωνα που βρίσκονται στα ακουστικά του στο ύψος των αυτιών, λαµβάνουν τους συγκεκριµένους ήχους του εικόνα 32: αρχιτεκτονική συστήµατος ταυτοποίησης ήχων περιβάλλοντος. Για παράδειγµα πλησιάζοντας στην τηλεόραση, εισάγεται στο σύστηµα µέσω των µικροφώνων, ο ήχος της τηλεόρασης. Στη συνέχεια το σήµα προενισχύεται για να σταλεί µέσω ενός ποµπού στην κεντρική µονάδα επεξεργασίας. Στην κεντρική µονάδα επεξεργασίας υπάρχει ένας δέκτης ο οποίος λαµβάνει το σήµα, και ένας προενισχυτής το ενισχύει για να εισαχθεί στην κεντρική µονάδα. Στην κεντρική µονάδα γίνεται φασµατική ανάλυση του σήµατος, ώστε να προκύψει το πλάτος κάθε συχνότητάς του. Στον κεντρικό ελεγκτή γίνεται η επεξεργασία των αποτελεσµάτων της φασµατικής ανάλυσης και η σύγκριση αυτών µε τις παραµέτρους που έχουν δοθεί στο σύστηµα κατά την διάρκεια της βαθµονόµησης. Όπως φαίνεται στον πίνακα της εικόνας 30, έχουν επιλεχτεί εύρη συχνοτήτων από τα οποία προκύπτει ο µέσος όρος του πλάτους των συχνοτήτων που περιέχονται σε αυτά. Με την εξαγωγή του αποτελέσµατος, γίνεται αποστολή της εντολής αναπαραγωγής του ήχου του συγκεκριµένου ηχητικού αντικειµένου που πρόκειται να ενεργοποιηθεί. Η εντολή αυτή λαµβάνεται από το σύστηµα αναπαραγωγής ήχου και µε δεδοµένα 51

την θέση του ατόµου και τα χαρακτηριστικά του δωµατίου, εφαρµόζονται τα κατάλληλα φίλτρα στο κάθε κανάλι (αριστερό, δεξί) και παράγεται ο ήχος µε όλα τα χωρικά χαρακτηριστικά ώστε να αντιληφθεί ο παίκτης την θέση του αντικειµένου στον χώρο. Συνεπώς µε το άνοιγµα της ντουλάπας, παράγεται ήχος ο οποίος αναλύεται φασµατικά στο σύστηµα και από αυτή την ανάλυση και σε σχέση µε την βαθµονόµηση που έχει γίνει, παράγεται ο ήχος νερού µε τα χωρικά χαρακτηριστικά τα οποία τον τοποθετούν στην θέση του νιπτήρα και σε σχέση µε την θέση του παίκτη εκείνη την στιγµή. 4.2 Μηχανή σύνθεσης πραγματικού χρόνου Για την δηµιουργία του εικονικού ηχητικού κόσµου, έγινε χρήση µιας µηχανής σύνθεσης πραγµατικού χρόνου [40]. Αυτή η µηχανή συνθέτει τους απαιτούµενους ήχους των αντικειµένων που χρειάζεται το κεντρικό σύστηµα διάδρασης, δίνοντάς τους τα χωρικά χαρακτηριστικά που χρειάζονται. Αυτά τα χαρακτηριστικά εξαρτώνται από την θέση του συγκεκριµένου αντικειµένου στον χώρο σε σχέση µε την θέση του παίκτη σε αυτόν. Συνεπώς αυτή η µηχανή επιτρέπει την τοποθέτηση χωρικά των ηχητικών πηγών ώστε ο ακροατής να αντιλαµβάνεται την θέση τους στον χώρο. Οι ηχητικές πηγές που χρησιµοποιήθηκαν κατατάσσονται σε δύο κατηγορίες. Υπάρχουν οι ηχητικές πηγές που είναι ακίνητες στον χώρο και οι οποίες αντιπροσωπεύουν υλικά αντικείµενα του πραγµατικού χώρου, και υπάρχουν και εκείνες που µετακινούνται και αποτελούν τα «Είδωλα»του χώρου, και τα οποία εµφανίζονται µόνο στον εικονικό κόσµο. Στη µηχανή εισάγονται οι ήχοι µε την µορφή ηχητικών δειγµάτων και κατόπιν, εφαρµόζονται σε αυτούς, τα κατάλληλα φίλτρα για να αναπαραχθούν και να δώσουν στον παίκτη το ηχητικό τους στίγµα στον χώρο. Αναλυτικότερα, όπως φαίνεται στο σχεδιάγραµµα της εικόνας 33, η µηχανή σύνθεσης πραγµατικού χρόνου αποτελεί το κέντρο επεξεργασίας του τελικού ηχητικού αποτελέσµατος. Σε αυτήν εισάγονται συγκεκριµένα δεδοµένα και εξάγονται συγκεκριµένα ηχητικά αποτελέσµατα. 52

εικόνα 33: αρχιτεκτονική µηχανής σύνθεσης πραγµατικού χρόνου Ένα µέρος των δεδοµένων που εισάγονται αφορούν την δηµιουργία του επαυξηµένου χώρου, δηλαδή εισάγονται οι διαστάσεις αυτού, οι συντελεστές απορρόφησης των τοίχων, όπως και το επίπεδο αντήχησης. Ένα άλλο µέρος αφορούν συνιστώσες των ηχητικών πηγών. Αυτές οι συνιστώσες είναι ο συνολικός αριθµός των ηχητικών πηγών που ορίζεται αρχικά για την δηµιουργία αυτών µέσα στο σύστηµα, η τοποθέτησή τους στον χώρο, η οποία για τα επαυξηµένα αντικείµενα του πραγµατικού χώρου, οργανώνεται κατά την διάρκεια της βαθµονόµησης του συστήµατος, και εξαρτάται από τον χώρο της εγκατάστασης και την θέση τους στον πραγµατικό κόσµο, και για τα κινούµενα αντικείµενα («Είδωλα»), ρυθµίζεται από τον ελεγκτή τροχιάς που θα περιγραφτεί σε επόµενο κεφάλαιο, ώστε να µην ξεφεύγουν οι τροχιές τους από τις διαστάσεις του επαυξηµένου χώρου. Επίσης σε κάθε πηγή, υπάρχει µια µνήµη στην οποία φορτώνεται ο συγκεκριµένος ήχος που της αντιστοιχεί, ώστε να είναι στην διάθεση του συστήµατος διάδρασης για αναπαραγωγή όποτε ζητηθεί. Συστατικό µέρος της µηχανής σύνθεσης πραγµατικού χρόνου, αποτελεί η θέση του παίκτη στον επαυξηµένο χώρο. Η κίνηση του σε αυτό τον χώρο εξαρτάται από την µετατόπισή του στον πραγµατικό χώρο. Ο τρόπος εύρεσης των απαραίτητων µεταβλητών θα επεξηγηθεί σε επόµενο κεφάλαιο. Στην µηχανή σύνθεσης, εισάγονται οι µεταβλητές της θέσης του ακροατή, οι οποίες είναι τέσσερις και αντιπροσωπεύουν την θέση του κεφαλιού του στον 53

επαυξηµένο χώρο. Οι δύο πρώτες µεταβλητές, δίνουν το στίγµα του στον χώρο, και η τρίτη την γωνία περιστροφής του κεφαλιού του, για την οποία είναι υπεύθυνο ένα µηχανικό σύστηµα που θα περιγραφτεί σε επόµενο κεφάλαιο. Το ύψος του ατόµου δίνεται κατά την διάρκεια της βαθµονόµησης του συστήµατος. Τέλος, συντίθεται ο επαυξηµένος ήχος µε τα ηχητικά χαρακτηριστικά των ηχητικών αντικειµένων στις τρεις διαστάσεις του επαυξηµένου δωµατίου, δίνοντας στον παίκτη σηµαντική πληροφορία για την εξέλιξη του gameplay του παιχνιδιού. Πρέπει να σηµειωθεί πως για την τελική αναπαραγωγή του ήχου, χρειάζεται η µετατροπή του σε αµφιωτικό σήµα, δηλαδή η εφαρµογή των κατάλληλων τεχνικών ώστε να γίνει κατάλληλο το σήµα για να αναπαραχθεί από ακουστικά. 4.3 Γενικός Ελεγκτής Διάδρασης Ο γενικός ελεγκτής διάδρασης, είναι υπεύθυνος για όλες τις απαραίτητες διεργασίες που προκύπτουν κατά την διάρκεια της διάδρασης του χρήστη µε ένα ευρύ φάσµα αισθητήρων. Σε αυτό το µέρος του συστήµατος, γίνεται η δηµιουργία και η αποστολή των µηνυµάτων προς την µηχανή σύνθεσης πραγµατικού χρόνου. Πιο αναλυτικά, ο γενικός ελεγκτής διάδρασης, αποτελείται από τέσσερα υποσυστήµατα ελεγκτών (εικ.34). Κάθε ελεγκτής υλοποιεί µια συγκεκριµένη διεργασία. ο ελεγκτής τροχιάς «Ειδώλων», ρυθµίζει την κίνηση των «Ειδώλων» στον χώρο, παράγοντας τρεις µεταβλητές για κάθε «Είδωλο» που περιγράφουν την θέση του (υπό µορφή καρτεσιανών συντεταγµένων) και το ύψος του. Αυτές οι µεταβλητές µεταβιβάζονται στην µηχανή σύνθεσης πραγµατικού χρόνου µε την µορφή µηνυµάτων χρησιµοποιώντας το πρωτόκολλο επικοινωνίας OSC το οποίο θα αναλυθεί σε επόµενο κεφάλαιο. Ο ελεγκτής ζωής των «Ειδώλων» ελέγχει την διαδικασία «εξόντωσης» των «Ειδώλων» και την εµφάνιση του αποτελέσµατος στην εξωτερική οθόνη της εγκατάστασης. Από αυτή την διαδικασία, παράγεται το κατάλληλο µήνυµα σε περίπτωση εξόντωσης, και µεταφέρεται µε την χρήση OSC πρωτοκόλλου στην µηχανή σύνθεσης πραγµατικού χρόνου για την ηχητική παύση του συγκεκριµένου «Ειδώλου». Ο ελεγκτής ταυτοποίησης ήχων δέχεται το υλικό επεξεργασίας του από την πηγή εισόδου των µικροφώνων. Ο ήχος που εισέρχεται στα µικρόφωνα, µεταφέρεται ασύρµατα στον κεντρικό ελεγκτή διάδρασης για το λόγο ότι τα µικρόφωνα βρίσκονται στον φορητό εξοπλισµό του παίκτη. Ο ήχος εισέρχεται στον ελεγκτή ταυτοποίησης ήχων, όπου και πραγµατοποιούνται οι διεργασίες ταυτοποίησης (κεφ. 4.1). Το αποτέλεσµα των διεργασιών αποτελούν τα µηνύµατα που στέλνονται σε περίπτωση ταυτοποίησης στην µηχανή σύνθεσης πραγµατικού χρόνου µε σκοπό την αναπαραγωγή του ήχου της συγκεκριµένης ηχητικής πηγής. 54

Ο ελεγκτής θέσης ατόµου, ελέγχει την θέση του ατόµου σύµφωνα µε τα δεδοµένα που δέχεται από τους δύο αισθητήρες που είναι συνδεδεµένοι στο σύστηµα. Αυτοί οι αισθητήρες είναι η κάµερα και ο µηχανισµός του συστήµατος εντοπισµού περιστροφής του κεφαλιού. Από αυτή την επεξεργασία προκύπτουν δύο αποτελέσµατα. Το πρώτο αποτέλεσµα είναι οι συντεταγµένες της θέσης του ατόµου στον χώρο και το δεύτερο αποτέλεσµα είναι η τιµή της περιστροφής του κεφαλιού του παίκτη. Αυτά τα δύο αποτελέσµατα οµοίως µε τα παραπάνω, στέλνονται στην µηχανή σύνθεσης πραγµατικού χρόνου για την υλοποίηση του τελικού ακουστικού αποτελέσµατος. εικόνα 34: αρχιτεκτονική γενικού ελεγκτή διάδρασης 4.4 Ελεγκτής τροχιάς και ζωής «Ειδώλων» Τα «Είδωλα» µέσα στον χώρο δεν µένουν ακίνητα, αλλά µετακινούνται. Η κίνησή τους γίνεται αντιληπτή από την αλλαγή των χαρακτηριστικών του ήχου τους. Την κίνησή τους, και την συγκεκριµένη θέση που έχουν κάθε στιγµή στον χώρο, έχει αναλάβει ο ελεγκτής τροχιάς. 55

Ο ελεγκτής τροχιάς είναι ένας χρονοπρογραµµατιστής κίνησης ο οποίος ρυθµίζει την θέση των «Ειδώλων» σε πραγµατικό χρόνο µε συγκεκριµένη συχνότητα ανανέωσης των θέσεων η οποία έχει οριστεί στο σύστηµα. Στο σχήµα της εικόνας 35, διαγράφεται η τροχιά του κάθε «Ειδώλου» στον χώρο. Το κάθε «Είδωλο» επιλέχτηκε να εκτελεί τροχιά πάνω στο περίγραµµα ενός τετραγώνου αλλά σε διαφορετική µεταξύ τους θέση του χώρου. Για το κάθε «Είδωλο» ο χρονοπρογραµµατιστής κίνησης, εξάγει δύο µεταβλητές οι οποίες αποτελούν τις συντεταγµένες του κάθε «Ειδώλου» στο επαυξηµένο επίπεδο. Αυτές οι µεταβλητές µεταφέρονται µέσω του κεντρικού διαύλου επικοινωνίας στην µηχανή σύνθεσης πραγµατικού χρόνου για να τοποθετήσει «ακουστικά» το κάθε «Είδωλο» στον επαυξηµένο χώρο. εικόνα 35: τροχιές «Ειδώλων» 56

Ο ελεγκτής ζωής των «Ειδώλων», είναι υπεύθυνος για την ηχητική εξόντωση των «Ειδώλων» και την εµφάνιση του αποτελέσµατος στην εξωτερική οθόνη της εγκατάστασης. Ένα από τα µέρη αυτού του ελεγκτή είναι το όπλο εξόντωσης. Το όπλο εξόντωσης αποτελείται από ένα κουµπί το οποίο όταν πατηθεί, δίνει την εντολή ελέγχου της θέσης του ατόµου σε σχέση µε την θέση των «Ειδώλων», και αν είναι σχεδόν ίδια µε µια µικρή απόκλιση, τότε ο ελεγκτής ζωής των «Ειδώλων», δίνει την εντολή παύσης του «Ειδώλου» στην µηχανή σύνθεσης πραγµατικού χρόνου, και τυπώνει το αποτέλεσµα στην εξωτερική οθόνη (εικ.36). Το όπλο ενώνεται µε ένα καλώδιο πάνω στον φορητό εξοπλισµό που δίνεται στον παίκτη, και το σήµα του µεταφέρεται ασύρµατα στην κεντρική µονάδα (εικ.37). εικόνα 36: αρχιτεκτονική ελεγκτή ζωής εικόνα 57

εικόνα 37: όπλο εξόντωσης «Ειδώλων» 4.5 Διαμόρφωση Επαυξημένου Δωματίου και Ελεγκτής Θέσης Ατόμου Το εικονικό δωµάτιο µέσα στο οποίο συµβαίνει η δράση του παιχνιδιού, διαµορφώνεται κατάλληλα κατά την διάρκεια της βαθµονόµησης του συστήµατος. Οι ρυθµίσεις του εξαρτώνται από τον πραγµατικό χώρο, ώστε να δοθεί η ρεαλιστικότητα που χρειάζεται (εικ.38). Η αρχική διαµόρφωση επηρεάζει σε µεγάλο βαθµό την εξέλιξη του παιχνιδιού. Συνεπώς οι διαστάσεις που δίνονται ανταποκρίνονται στο πραγµατικό δωµάτιο. Αυτές οι διαστάσεις χρειάζεται να είναι αρκετά αντικειµενικές για το λόγο ότι από αυτές εξαρτώνται το σύστηµα εντοπισµού θέσης του ατόµου που θα περιγραφτεί παρακάτω, αλλά και το ακουστικό αποτέλεσµα που θα παραχθεί σε σχέση µε τον πραγµατικό χώρο. Το επίπεδο αντήχησης και οι συντελεστές απορρόφησης των τοίχων, αποτελούν πιο υποκειµενικά µεγέθη. Μπορεί να ρυθµιστούν ώστε να αντιπροσωπεύουν ακριβώς το δωµάτιο, ή µε τέτοιο τρόπο ώστε να δίνουν την αίσθηση ενός άλλου κόσµου διαφορετικού από τον πραγµατικό, µε την χρήση για παράδειγµα µεγαλύτερου επιπέδου αντήχησης. 58

εικόνα 38: συντελεστές διαµόρφωσης επαυξηµένου χώρου εικόνα 39: αρχιτεκτονική αναγνώρισης θέσης ατόµου Ο εντοπισµός της θέσης του ατόµου αποτελεί µια πολύπλοκη διαδικασία στην συγκεκριµένη εφαρµογή. Πιο συγκεκριµένα, το ζητούµενο είναι η θέση του κεφαλιού του παίκτη µέσα στην εγκατάσταση. Για τον λόγο αυτό χρησιµοποιήθηκαν δύο τύποι αισθητήρων (εικ.39). Ο πρώτος είναι µια κάµερα, η οποία εγκαταστάθηκε στο κέντρο της οροφής του δωµατίου, ώστε να καλύπτει η εικόνα της όλο τον χώρο. Η κάµερα συνδέθηκε ενσύρµατα µε την κεντρική µονάδα επεξεργασίας. Με την κάµερα λαµβάνονται οι συντεταγµένες του ατόµου µέσα στον πραγµατικό 59

χώρο οι οποίες είναι οι ίδιες και για τον επαυξηµένο αυτού. Για να επιτευχθεί αυτή λειτουργία, χρησιµοποιήθηκε µια βιβλιοθήκη [41] του προγραµµατιστικού περιβάλλοντος Processing [34] που υποστηρίζει τον κεντρικό ελεγκτή διάδρασης. Αυτή η βιβλιοθήκη λαµβάνει την εικόνα από την κάµερα καρέ-καρέ. Αυτά τα καρέ τα συγκρίνει µεταξύ τους ώστε να αντιληφθεί την κίνηση κάποιου κινούµενου αντικειµένου. Σε αυτό βοηθάει η αντίθεση της φωτεινότητας που δηµιουργείται µεταξύ του κινούµενου αντικειµένου και του υπόλοιπου χώρου. Για το λόγο αυτό χρησιµοποιήθηκε ένα λευκό καπέλο (εικ.40) ώστε να δηµιουργεί την ικανοποιητική αντίθεση µεταξύ του παίκτη και του χώρου που κινείται. Επίσης διαµορφώθηκαν κατάλληλα και τα αντικείµενα του χώρου ώστε να µην λαµβάνεται από την κάµερα κάποιο φωτεινό τους σηµείο που να δηµιουργεί κάποια αντίθεση µε το υπόλοιπο περιβάλλον. Από αυτή τη διαδικασία εξάγονται δύο τιµές. Αυτές οι τιµές αντικατοπτρίζουν την θέση του ατόµου στο δισδιάστατο επίπεδο οι οποίες µε την λειτουργία της αντιστοίχησης (mapping) στο προγραµµατιστικό περιβάλλον του Processing, µετατρέπονται σε τιµές κατάλληλες για να σταλούν στην µηχανή σύνθεσης πραγµατικού χρόνου. εικόνα 40: φορά ατόµου στην εγκατάσταση «Είδωλα» 60

Ο δεύτερος αισθητήρας που χρησιµοποιήθηκε, είναι ένας αναλογικός µοχλός όπου µετατρέπει την µηχανική κίνηση της περιστροφής του κεφαλιού σε αριθµητικές τιµές κατάλληλες για επεξεργασία από τον κεντρικό ελεγκτή θέσης (εικ.41). Ένα τέτοιο σύστηµα αναγνώρισης κίνησης του κεφαλιού, επιτρέπει την ελεύθερη κίνηση του κεφαλιού του συµµετέχοντα, χωρίς την αλλαγή των σχετικών θέσεων των ηχητικών πηγών και συνεπώς και ολόκληρης της χωρικής ακουστικής εντύπωσης. Σε εικόνα 41: σύστηµα αναγνώρισης περιστροφής κεφαλιού αυτό το σύστηµα όµως η κίνηση του κεφαλιού περιοριζόταν στην περιστροφή του κατά 45 µοίρες δεξιόστροφα, και 45 µοίρες αριστερόστροφα και συνεπώς δεν υποστηρίζεται η πλήρης περιστροφή του ατόµου. Ένας βασικό περιορισµός στις κινήσεις του συµµετέχοντα, είναι η σταθερή φορά που πρέπει να έχει ο συµµετέχοντας. Όπως φαίνεται και στην εικόνα 40, πρέπει να κοιτάζει τον τοίχο απέναντι του, και να µην αποκλίνει πέρα από το επιτρεπτό η περιστροφή του κεφαλιού του, ώστε το ηχητικό αποτέλεσµα που ακούει, να είναι αντιπροσωπευτικό για την θέση που βρίσκεται. Οι τιµές που µεταδίδονται ασύρµατα από τον µοχλό του συστήµατος, εισάγονται στον κεντρικό 61

ελεγκτή διάδρασης όπου γίνεται η αντιστοίχηση σε κλίµακα τιµών που είναι κατάλληλες για χρήση από την µηχανή σύνθεσης πραγµατικού χρόνου. Σε αυτό το σηµείο θέτεται και ο περιορισµός των 45 µοιρών, λόγω περιορισµένης κίνησης του µοχλού. 4.6 Ασύρματο φορητό σύστημα επικοινωνίας χρήστη - συστήματος Για την επικοινωνία του χρήστη µε το κεντρικό σύστηµα των «Ειδώλων» υλοποιήθηκε ένα φορητό σύστηµα το οποίο χρησιµοποιεί ασύρµατη επικοινωνία για την διασύνδεσή του µε την κεντρική µονάδα. Το φορητό σύστηµα αποτελείται από συγκεκριµένα µέρη (εικ.42). Πιο αναλυτικά, σε αυτό συνδέονται τα ακουστικά µετάδοσης του επαυξηµένου ήχου που προκύπτει από την µηχανή σύνθεσης πραγµατικού χρόνου, τα µικρόφωνα από τα οποία εισέρχεται το σήµα για το σύστηµα ηχητικής ταυτοποίησης, το κουµπί του όπλου εξόντωσης των «Ειδώλων» και ο µοχλός περιστροφής ο οποίος παρέχει την χρήσιµη πληροφορία της τιµής της περιστροφής του κεφαλιού. Επίσης µέρος του φορητού εξοπλισµού αποτελεί και το καπέλο που φοράει ο παίκτης για τον εντοπισµό της θέσης του. Ο εξοπλισµός εφαρµόζεται στην πλάτη του παίκτη (εικ.43) ενώ το σύστηµα εντοπισµού της περιστροφής του κεφαλιού, τοποθετείται µε την χρήση µιας λαστιχένιας λωρίδας γύρω από το κεφάλι του παίκτη (εικ.43) Αναλυτικότερα, τα ακουστικά, λαµβάνουν τον τελικό ήχο µε την χρήση ενός ζεύγους ποµπού δέκτη. Ο δέκτης είναι τοποθετηµένος στον φορητό εξοπλισµό και ο ποµπός στην κεντρική µονάδα. Η ασύρµατη επικοινωνία γίνεται στα 2.4 GHz και ακούγεται καθαρή µε µερικές παρεµβολές. Στον τελικό ήχο βοηθάει και η χρήση ενός προενισχυτή για την επιπλέον ενίσχυσή του. Τα µικρόφωνα λαµβάνουν τον ήχο του περιβάλλοντος και τα στέλνουν µέσο της σύνδεσής τους σε έναν ποµπό. Ο ποµπός εκπέµπει στα 864 ΜHz και εµφανίζει αρκετές παρεµβολές και όχι καθαρότητα στον ληφθέντα ήχο από τον δέκτη που είναι συνδεδεµένος στην κεντρική µονάδα του συστήµατος. Η έλλειψη στερεοφωνικού προενισχυτή δυσκολεύει επιπλέον την παραπέρα ενίσχυση του εισερχόµενου σήµατος. Ο µοχλός περιστροφής κεφαλιού, συνδέεται µε την µονάδα αποστολής κινήσεών του. Στην κεντρική µονάδα υπάρχει ένας δέκτης των µηνυµάτων που στέλνει. Η επικοινωνία γίνεται ασύρµατα στα 2.4 GHz. Η επικοινωνία παρουσιάζει µεγάλη σταθερότητα χωρίς να συναντά κολλήµατα. Κάποιες φορές κατά την διάρκεια χρήσης του µοχλού µε την περιστροφή του κεφαλιού, φαίνεται να επηρεάζεται η λήψη του σήµατος των ακουστικών. 62

εικόνα 42: αρχιτεκτονική φορητού συστήµατος χρήστη Το όπλο του χρήστη, αποτελείται από ένα διακόπτη µε το οποίο ενεργοποιείται αν πατηθεί. Η κατασκευή του είναι µικρή ώστε να χωράει στην παλάµη το χεριού. Με το πάτηµα του κουµπιού στέλνεται το µήνυµα στην µονάδα αποστολής κινήσεων του όπλου. Η µονάδα αποστολής κινήσεων του όπλου αναλαµβάνει να στείλει το µήνυµα στην κεντρική µονάδα, απ' όπου και λαµβάνεται αυτό µε την χρήση του δέκτη της. Η επικοινωνία πραγµατοποιείται στην συχνότητα των 2.4 GHz και προσφέρει αρκετά καλή ποιότητα επικοινωνίας χωρίς καθυστερήσεις και παρεµβολές στην µετάδοση. Η χρήση του κάποιες φορές, επηρέαζε την µετάδοση του δέκτη του ήχου στα ακουστικά. 63

Η τροφοδοσία του συστήµατος, γίνεται µε την χρήση αλκαλικών µπαταριών οποίες µπόρεσαν να προσφέρουν µέγιστη συνεχόµενη λειτουργία για 20 λεπτά. εικόνα 43: εφαρµογή φορητού συστήµατος στον άνθρωπο 4.7 Διαμόρφωση Χώρου Η υλοποίηση της εγκατάστασης «Είδωλα», πραγµατοποιήθηκε µέσα σε ένα δωµάτιο. Οι διαστάσεις του χώρου ήταν 4.20 µέτρα πλάτος και 3.80 µέτρα µήκος, ενώ το ύψος ήταν 3.90. Ο χώρος διαµορφώθηκε κατάλληλα ώστε να µπορεί να δώσει την εικόνα του µυστηρίου. Σε αυτό βοήθησε ο χρωµατισµός των τοίχων σε τέσσερις διαβαθµίσεις του γκρίζου, µία για κάθε τοίχο. Στο πάτωµα τοποθετήθηκε µια γκρι µοκέτα ώστε να υπάρχει µια ισορροπία µε το χρώµα των τοίχων αλλά και για να βοηθήσει στην εύρυθµη λειτουργία του συστήµατος εντοπισµού της θέσης του ακροατή µε την δηµιουργία επαρκούς αντίθεσης του λευκού καπέλου του παίκτη, και της επιφάνειας του πατώµατος. Επίσης ο φωτισµός ελαττώθηκε µε την χρήση υφάσµατος όπου κάλυψε όλη την οροφή, για να βοηθήσει στην δηµιουργία µιας πιο σκοτεινής ατµόσφαιρας δίνοντας την αίσθηση εγκατάλειψης του χώρου. 64

εικόνα 44: εσωτερικός χώρος εγκατάστασης Επίσης η ελάττωση του φωτισµού βοήθησε επιπλέον το σύστηµα εντοπισµού της θέσης του ατόµου, αφού αυτός ο λίγος φωτισµός αφάνισε κάποιες φωτεινές περιοχές του δωµατίου βοηθώντας το σύστηµα να λειτουργεί σωστά. Επίσης κάποια µέρη των αντικειµένων τα οποία συνέχιζαν να προκαλούν προβλήµατα στο σύστηµα εντοπισµού του παίκτη, καλύφθηκαν µε κατάλληλο τρόπο (χρήση χρώµατος) ή µετακινήθηκαν σε άλλη θέση µε λιγότερα προβλήµατα. Η κεντρική υπολογιστική µονάδα τοποθετήθηκε µε υψηλό σηµείο του δωµατίου ώστε να µην είναι εµφανής στον κόσµο. Ο χειρισµός της γινόταν ασύρµατα. Έξω από το δωµάτιο τοποθετήθηκε µια οθόνη, η οποία εµφανίζει το λογότυπο της εγκατάστασης καθώς και το σκορ του παίκτη. Η τελική διαµόρφωση του δωµατίου φαίνεται στις παρακάτω εικόνες. 65

εικόνα 45: εσωτερικός χώρος εγκατάστασης εικόνα 46: εξωτερικός χώρος εγκατάστασης 66

εικόνα 47: εσωτερικός χώρος εγκατάστασης εικόνα 48: εξωτερικός χώρος εγκατάστασης 67

4.8 Πρωτόκολλο Επικοινωνίας OSC Για την λειτουργία του παιχνιδιού χρειάζεται η επικοινωνία του κεντρικού ελεγκτή διάδρασης µε την µηχανή σύνθεσης πραγµατικού χρόνου. Η επικοινωνία επιτυγχάνεται µε την χρήση ενός διαύλου και ενός πρωτοκόλλου που οριοθετεί κάποιους κανόνες επικοινωνίας. Σε αυτή την περίπτωση, έγινε χρήση του πρωτοκόλλου OSC [42]. Το πρωτόκολλο αυτό είναι συµβατό µε το προγραµµατιστικό περιβάλλον του κεντρικού ελεγκτή διάδρασης (Processing), αλλά και µε το γραφικό περιβάλλον της µηχανής σύνθεσης πραγµατικού χρόνου (Pure Data). Στο Processing, χρησιµοποιήθηκε η βιβλιοθήκη OSCP5 [43] ενώ στο Pure Data η OSCX. Τα µηνύµατα που στέλνονται από τον ελεγκτή διάδρασης στην µηχανή σύνθεσης πραγµατικού χρόνου, είναι σε µορφή πακέτων, τα οποία ανοίγουν όταν φτάσουν στον προορισµό τους. Η ταυτόχρονη λήψη πολλαπλών πακέτων, δηµιουργεί πρόβληµα στην µεταφορά τους καθώς υπερφορτώνει το δίκτυο. Για την λύση αυτού του προβλήµατος, εφαρµόστηκε µια τεχνική ώστε να στέλνεται ένα πακέτο κάθε φορά µε συγκεκριµένη σειρά που έχει οριστεί στο σύστηµα. Έτσι το σύστηµα λειτουργεί χωρίς διακοπές και πιο γρήγορα. 4.9 Σύνθεση Ήχων Οι συνθετικοί ήχοι της εγκατάστασης «Είδωλα» οι οποίοι τοποθετούνται στο επαυξηµένο περιβάλλον, είναι δύο κατηγοριών. Είναι οι ήχοι που αντιπροσωπεύουν τα «Είδωλα» και οι ήχοι των αντικειµένων του πραγµατικού κόσµου. Για τους ήχους των «Ειδώλων» έγινε ηχογράφηση ανθρώπινων ψιθύρων. Ο ήχος των ψιθύρων επεξεργάστηκε στο πρόγραµµα επεξεργασίας ήχου Audacity[44]. Η επεξεργασία του ήχου είχε στόχο να δώσει ένα ύφος µυστηρίου στους ψιθύρους, δίνοντας την αίσθηση µιας άλλης γλώσσας επικοινωνίας των «Ειδώλων». Για τον ήχο των αντικειµένων του χώρου, έγινε ηχογράφηση αυτών από την εγκατάσταση µε την χρήση ενός αντιγραφικού. Οι τελικοί ήχοι δεν επεξεργάστηκαν παραπάνω, ώστε να παραπέµπουν εύκολα στα αντικείµενα που αντιπροσωπεύουν. Όλα τα δείγµατα ήταν µονοφωνικά, κατά την εισαγωγή τους στην µηχανή σύνθεσης πραγµατικού χρόνου, και την διαδικασία µετατροπής του σε αµφιωτικό σήµα αναλαµβάνει η ίδια η µηχανή. 68

κεφάλαιο 5 69

ΚΕΦΑΛΑΙΟ 5: Συζήτηση - Συμπεράσματα Εστιάζοντας σε κάποιες υποκειµενικές παρατηρήσεις που υλοποιήθηκαν κατά την διάρκεια της παρουσίασης, περισσότεροι από 50 χρήστες εισήλθαν στην εγκατάσταση και έπαιξαν (εικόνες). Στις περιπτώσεις όλων των χρηστών, η γενική εντύπωση ήταν ότι το περιβάλλον της εγκατάστασης ήταν κατάλληλο για την ακριβή αναπαραγωγή της ατµόσφαιρας του παιχνιδιού. Επιπλέον, ειδικά για το συστατικό του επαυξηµένου τρισδιάστατου ήχου, οι χρήστες που δεν ήταν σχετικοί µε αµφιωτική τεχνολογία, το βρήκαν αυτό εντυπωσιακό, ενώ οι έµπειροι χρήστες (και µερικοί προσκεκληµένοι ειδικοί στην τεχνολογία του ήχου) βρήκαν αυτό ρεαλιστικό και σωστό. Πρέπει να σηµειωθεί ότι η τελευταία κατηγορία χρηστών, κατάφεραν υψηλότερα σκορ, παρόµοιο αναµενόµενο αποτέλεσµα παρατηρείται και σε πολλά ψυχοακουστικά πειράµατα. 5.1 Απλοποίηση παιχνιδιού Η απλοποίηση του παιχνιδιού φαίνεται να χρειάζεται. Οι λιγότεροι εξοικειωµένοι χρήστες εµφάνισαν κάποιο πρόβληµα εξοικείωσης µε την λειτουργία του συστήµατος. Η δηµιουργία επιπέδων που θα µπορούσε να γίνει µε την χρήση διαφορετικών δωµατίων, θα µπορούσε να λειτουργήσει ως τρόπο συµφιλίωσης του χρήστη µε το παιχνίδι. Μια διαδικασία «εκπαίδευσης» της ακοής µέσα από µια σειρά επιπέδων δυσκολίας, φαίνεται χρήσιµη. Αυτή η διαδικασία εκπαίδευσης, θα περιλάµβανε για παράδειγµα µια πρώτη πίστα που ο παίκτης έχει να εξοντώσει ένα «Είδωλο» και θα του παρεχόταν και ένας ηχητικός ανιχνευτής, κάτι σαν ανιχνευτής που όσο πλησιάζει στο «Είδωλο» ο ήχος του να γίνεται πιο έντονος. Ενώ µετά από κάποιο επίπεδο, να χαλάει το σύστηµα αυτό και να πρέπει να συνεχίσει µόνο µε την ακοή των ήχων των «Ειδώλων». 5.2 Προγραμματιστικά προβλήματα Κατά την υλοποίηση του προγραµµατιστικού µέρους των παιχνιδιού, είχε να αντιµετωπιστεί ένα µεγάλο πρόβληµα. Ο αριθµός των µηνυµάτων που στελνόντουσαν ταυτόχρονα µεταξύ του κεντρικού ελεγκτή διάδρασης και της µηχανής σύνθεσης πραγµατικού χρόνου, ήταν αρκετά µεγάλος µε αποτέλεσµα το σύστηµα να υπερφορτώνεται και να κολλάει. Απ' ότι φάνηκε ο δίαυλος επικοινωνίας είχε κάποιες ανοχές. Για την επίλυση αυτού του προβλήµατος, χρησιµοποιήθηκε µια τεχνική δειγµατοληψίας των αποτελεσµάτων των διάφορων υποσυστηµάτων του ελεγκτή διάδρασης. Αυτή η δειγµατοληψία ρύθµιζε το πότε θα σταλεί κάθε µήνυµα, θέτοντας µε αυτό τον τρόπο µια σειρά στην αποστολή µηνυµάτων, χωρίς να γίνεται η υπερφόρτωση που είχε παρατηρηθεί. Τυχόν χρονικές διαφορές µεταξύ των ερεθισµάτων που δέχεται το σύστηµα και των αποτελεσµάτων που παρήγαγε, ήταν αµελητέες, αφού δεν γινόταν αντιληπτές από τον παίκτη. 70

5.3 Σύστημα Ηχητικής Ταυτοποίησης Το σύστηµα ταυτοποίησης ήχου αντιµετώπισε αρκετά προβλήµατα λειτουργίας. Αρχικά δεν υπήρχε διαθέσιµος στερεοφωνικός προενισχυτής για την σωστή λήψη του σήµατος από τα µικρόφωνα. Επίσης η φασαρία που υπήρχε στον χώρο, λόγω και των υπόλοιπων εγκαταστάσεων, δυσκόλευε στην λήψη των ήχων από τα πραγµατικά αντικείµενα. Επίσης, Χρειάζεται η υλοποίηση ενός πιο ευέλικτου συστήµατος βαθµονόµησης του συστήµατος ώστε να επιτυγχάνεται µεγαλύτερη ακρίβεια κατά την διάρκεια της ταυτοποίησης. 5.4 Αποτελέσματα Σκορ Η ύπαρξη του αποτελέσµατος που τυπωνόταν στην εξωτερική οθόνη, αποτέλεσε ένα θετικό στοιχείο της εγκατάστασης. Ήταν ο τρόπος σύγκρισης των παικτών. Επίσης έκανε τους παίκτες να θέλουν να ξαναπαίξουν ώστε να βελτιώσουν το αποτέλεσµα τους αυξάνοντας έτσι τον ανταγωνιστικό χαρακτήρα του παιχνιδιού. 5.5 Προβλήματα ασύρματου φορητού συστήματος επικοινωνίας χρήστη - συστήματος ο εξοπλισµός του χρήστη και η χρήση του ήταν αποδεκτά, µολονότι κατά κάποιο τρόπο εµπόδιζαν τις κινήσεις του ανθρώπου µέσα στην εγκατάσταση, ειδικά στο ξεκίνηµα της περιόδου λειτουργίας του παιχνιδιού. Παρ' όλα αυτά, το φορητό σύστηµα επικοινωνίας, αποτέλεσε θετικό στοιχείο, προσθέτοντας την αίσθηση ενός πραγµατικού εξοπλισµού για το περιβάλλον του παιχνιδιού. Η µη ύπαρξη καλωδίων σύνδεσης µε την κεντρική µονάδα, είχαν σκοπό την πιο εύκολη κίνηση του παίκτη στην εγκατάσταση. Σε αυτό το σύστηµα υπήρχαν προβλήµατα µε την ποιότητα των ποµπών και των δεκτών οι οποίοι επηρέαζαν την ποιότητα των ηχητικών σηµάτων. Εστιάζοντας στο θέµα της υλοποίησης, το πρόβληµα δηµιουργήθηκε µε την λειτουργία του πρωτοκόλλου του Bluetooth. Αυτό οφειλόταν στην ταυτόχρονη χρήση της συχνότητας των 2.4 GHz από τον ποµπό του συστήµατος αναγνώρισης θέσης του κεφαλιού και τον δέκτη του ακουστικού σήµατος του ακροατή, παρουσιάζοντας µερικές τεχνητές παραµορφώσεις (µικρά ηχητικά κενά εκποµπής και µερικά ακουστά «κλικ»). Παρόλα αυτά ο χειρισµός του παιχνιδιού δεν επηρεάστηκε. Επίσης υπήρχε πρόβληµα µε το χρόνο διάρκειας των µπαταριών καθώς ήταν αρκετά µικρός (περίπου 20 λεπτά). Παράλληλα µε την ελάττωση της ενέργειας των µπαταριών παρατηρούνταν πρόβληµα στην ασύρµατη µετάδοση. 71

Τα παραπάνω προβλήµατα µπορούν να λυθούν µε την χρήση καλύτερης ποιότητας ποµπών και δεκτών επικοινωνίας καθώς και µε την χρήση µεγαλύτερων επαναφορτιζόµενων µπαταριών οι οποίες να τροφοδοτούν όλο το φορητό σύστηµα. 5.6 Κατανόηση Ήχων Η κατανόηση των ήχων των φαντασµάτων από το κοινό, ήταν αρκετά καλή, δεν αντιµετωπίστηκαν προβλήµατα σοβαρά, ίσως µόνο λόγω των παρεµβολών όταν υπήρχαν. Παρ' όλα αυτά ήταν αρκετά ξεκάθαροι δίνοντας µε την ηχητική πληροφορία µόνο την αίσθηση για τον ήχο των «Ειδώλων». 5.7 Συμπεράσματα Η υλοποίηση ατής της εργασίας, δίνει τελικά στοιχεία γύρω από προβλήµατα της υλοποίησης ενός παιχνιδιού επαυξηµένης ηχητικής πραγµατικότητας. Επίσης ο στόχος της υποστήριξης ενός τέτοιου πολύπλοκου σεναρίου από µια τέτοια τεχνολογικά προηγµένη εφαρµογή, επιτυγχάνεται µε τον καλύτερο δυνατό τρόπο παρ' όλες τις τεχνικές δυσκολίες που έχουν κατονοµαστεί παραπάνω. Ένα ηχητικό παιχνίδι επαυξηµένης πραγµατικότητας, προσφέρει µεγάλο ενδιαφέρον στον παίκτη, χρησιµοποιεί επιπλέον γνωρίσµατα του παίκτη απ' ότι ένα βιντεοπαιχνίδι όπως την φαντασία του. Παρ' όλο τον σχετικά απλό χειρισµό του παιχνιδιού, η πλειονότητα των χρηστών δοκίµασαν να επεκτείνουν το σενάριο σύµφωνα µε την οπτικοακουστική αντίληψη που δηµιούργησαν κατά την διάρκεια της συµµετοχής τους. 5.8 Προτάσεις για επιπλέον ανάπτυξη Μια πρόταση για επιπλέον ανάπτυξη, έχει σχέση µε τον αριθµό των παικτών. Θα µπορούσε να εξελίσσεται το παιχνίδι µε την χρήση δύο παικτών, οι οποίοι είτε να είναι µια οµάδα και να αντιµετωπίζουν τα «Είδωλα», είτε να είναι αντίπαλοι, αναλαµβάνοντας ο ένας τον ρόλο του «Ειδώλου». Η τελευταία προσέγγιση θα προϋπόθετε την χρήση δύο όµοιων χώρων (δωµατίων) από τους οποίους ο ένας να παίζει το ρόλο του πραγµατικού και ο άλλος τον ρόλο του επαυξηµένου. Επίσης θα µπορούσε να γίνει υλοποίηση του παιχνιδιού σε φορητές συσκευές τύπου iphone, στις οποίες µπορεί να υποστηριχτεί και η αµφιωτική τεχνολογία. 72

73

Βιβλιογραφία 1. Oxland, K., GAMEplay and design. 2004, Harlow: Addison-Wesley. xiv, 333 p. 2. Friberg, J., et al., Audio games: new perspectives on game audio, in Proceedings of the 2004 ACM SIGCHI International Conference on Advances in computer entertainment technology. 2004, ACM: Singapore. p. 148-154. 3. Mikko Peltola, T. Lokki, and L. Savioja, Augmented Reality Audio for Location-based Games, in AES 35th. 2009: London, UK. 4. T. P. CAUDELL, D.W.M., Augmented Reality: An Application of Heads-Up Display Technology to Manual Manufacturing Processes, in International Conference on System Sciences. 1992. p. 73-80. 5. Paul Milgram; Haruo Takemura; Akira Utsumi; Fumio Kishino, Augmented Reality: A class of displays on the reality-virtuality continuum, in SPIE H. Das, Editor. 1994. p. 282. 6. Ronald T. Azuma, A Survey of Augmented Reality. In Presence: Teleoperators and Virtual Environments 1997. 6(4): p. 355-385. 7. Joseph Rozier, K. Karahalios, and J. Donath, Hear&There: An Augmented Reality System of Linked Audio, in ICAD 00. 2000: Atlanta, Georgia, USA 8. Benjamin B. Bederson, Audio Augmented Reality: A Prototype Automated Tour Guide, in CHI '95. 1995: Denver, Colorado, USA. p. 210-211. 9. Gerzon, M.A., Applications of Blumlein Shuffling to Stereo Microphone Techniques. JAES, 1994. Volume 42(Issue 6): p. 435-453. 10. Francis Rumsey, Spatial Audio. 1st ed. 2001, Great Britain: Focal Press. 11. Begault, D.R., 3-D sound for virtual reality and multimedia. 1994, Boston: AP Professional. xv, 293 p. 12. Gardner, W.G., 3-D audio using loudspeakers. The Kluwer international series in engineering and computer science ;. 1998, Boston, Mass.: Kluwer Academic. x, 154 p. 13. Λεξικό Τεχνολογίας και Επιστηµών,. 2005, Σταφυλίδης. 14. M.Boone, D.d.V.a.M., WAVE FIELD SYNTHESIS AND ANALYSIS USING ARRAY TECHNOLOGY, in IEEE Workshop on Applications of Signal Processing to Audio and Acoustics. 1999: New Paltz, New York. 15. Alfredo Fernandez Franco, S.M., Lise Pesqueux, Mathieu Rouaud, and M.O. Sørensen, Sound Reproduction by Wave Field Synthesis, in Institute of Electronic Systems - Department of Acoustics. 2004, Aalborg University: Aalborg. p. 130. 16. Everest F. Alton, The Master Handbook of Acoustics. 1994: Tziolas. 17. Jeroen Breebaart; Christof Faller, Spatial Audio Processing. 2008: Wiley-Interscience. 18. Jens Blauert, Spatial Hearing - Revised Edition: The Psychophysics of Human Sound Localization. 1996: The MIT Press, Rev Sub edition (October 2, 1996). 19. Mills, A.W., Auditory localization. Foundations of Modem Auditory Theory, 1972. Vol. 1I/8. 20. M. Guldenschuh, A. Sontacchi, and F. Zotter, HRTF modelling in due consideration variable torso reflections, in Acoustics 2008: Paris. 21. Bill Gardner and Keith Martin. HRTF Measurements of a KEMAR Dummy-Head Microphone. 1994; Available from: http://sound.media.mit.edu/resources/kemar.html. 22. Tsakostas Christos and F. Andreas, Real-Time Spatial Representation of Moving Sound Sources, in AES 127th. 2007: New York, USA. 23. Johan Huizinga, HOMO LUDENS, a study of the play element in culture 1955, Boston: Beacon Press. 74

24. Salen, K. and E. Zimmerman, The game design reader : a Rules of play anthology. 2006, Cambridge, Mass.: MIT Press. xxx, 924 p. 25. Kevin Bierre; Jonathan Chetwynd; Barrie Ellis; D. Michelle Hinn; Stephanie Ludi; Thomas Westin, Game Not Over: Accessibility Issues in Video Games, in HCII '05. 2005: Las Vegas, Nevada, USA. 26. Miikka Tikander; Matti Karjalainen; Ville Riikonen, An Augmented Reality Audio Headset, in DAFx '08. 2008: Espoo, Finland. 27. Jon Dovey, Game Cultures: Computer Games as New Media. 2006: Open University Press. 28. Abowd Gregory D.; Beale Russell; Dix Alan J.; Finlay Janet E., Επικοινωνία ανθρώπου - υπολογιστή. 2007: Μ. Γκιούρδας. 29. David Birchfield; David Lorig; Kelly Phillips, Sustainable: a dynamic, robotic, sound installation, in NIME '05. 2007: Vancouver, BC, Canada. 30. Nikolaos Grigoriou, et al., dots: an Audio Entertainment Installation using Visual and Spatialbased Interaction, in Audiomostly 2008. 2008: Pitea, Sweden. 31. Grigoriou, N., Ambistar, in Audio & Visual Arts. 2009, Ionio University: Corfu. 32. BasillisPsarras, A. Floros, and M. Strapatsakis, Elevator: Emotional Tracking using Audio/ visual Interaction, in AES 126th. 2009: Munich, Germany. 33. Open Sound Control. Available from: http://opensoundcontrol.org. 34. Processing. Available from: http://processing.org/. 35. Pure Data. Available from: http://puredata.info/. 36. NaturalPoint. Track Ir. [cited 2011 30/1]; Available from: http://www.naturalpoint.com/ trackir/. 37. Carlo Alberto Avizzano; Patrizio Sorace; Damaso Checcacci; Massimo Bergamasco, A Navigation Interface Based on Head Tracking by Accelerometers, in IEEE RO-MAN 2004. 2004: Kurashiki, Okayama, JAPAN. 38. Jacque Joffrion, JohnRaquet, and DouglasS.Brungartis, SONICBOON, in Insidegnss. 2006. 39. Miikka Tikander, Sound Quality of an Augmented Reality Audio Headset, in DAFx 05. 2005: Madrid, Spain. 40. Noisternig M.; Musil T.; Sontacchi A.; Höldrich R, 3D Binaural Sound Reproduction using a Virtual Ambisonic Approach, in VECIMS 2003. 2003: Lugano, Switzerland. 41. Blob detection. 20/1/11]; Available from: http://v3ga.net/processing/blobdetection/. 42. Open Sound Control. 21/1/2011]; Available from: http://opensoundcontrol.org/. 43. OSCP5. 21/1/2011]; Available from: http://www.sojamo.de/libraries/oscp5/. 44. Audacity. 21/1/2011]; Available from: http://audacity.sourceforge.net/. 75

76

Παράρτημα Α Κώδικας Προγρμματισμού import ddf.minim.signals.*; import ddf.minim.*; import ddf.minim.analysis.*; import ddf.minim.effects.*; import processing.video.*; import blobdetection.*; import oscp5.*; import ddf.minim.*; import procontroll.*; import java.io.*; import interfascia.*; GUIController c; IFButton b1; IFLabel l; int x = 600; PFont fonta; PImage eidolascreen; ControllIO controll; ControllDevice device; ControllStick stick; ControllButton button; Minim minim; AudioPlayer deadsound; AudioPlayer gameover; AudioInput microphones; FFT fft; float ampsixnotitas5; float ampsixnotitas6; 77

float ampsixnotitas7; float ampsixnotitas8; float ampsixnotitas9; float ampsixnotitas10; float fantasma0x = 30; float fantasma0y = 150; float fantasma1x = 90; float fantasma1y = 400; float fantasma2x = 130; float fantasma2y = 40; float fantasma3x = 200; float fantasma3y = 50; FantasmataUpLimitXPos[]; float FantasmataUpLimitYPos[]; float FantasmataDownLimitXPos[]; float FantasmataDownLimitYPos[]; float curx[]; float cury[]; boolean IsAlive[]; float xanthropospd; float yanthropospd; int eidolo_dead = 0; int startingtime; float vathmologia = 0; float draw_stepx[]; float draw_stepy[]; OscP5 oscp5; // a NetAddress contains the ip address and port number of a remote location in the network. NetAddress myremotelocation; /* NetAddress player1location; NetAddress player2location; NetAddress player3location;*/ 78

NetAddress player4location; NetAddress player5location; NetAddress player6location; NetAddress player7location; NetAddress player8location; NetAddress player9location; NetAddress player10location; NetAddress myremotehead; NetAddress fantasmalocation[]; NetAddress fantasmadeadlocation[]; NetAddress fantasmadeadlocationstop[]; NetAddress aralocationstop[]; int MAX_FANTASMATA = 4; int MAX_ARA=6; int OscFlagController = -1; int HeadTrackingController = -1; int HEAD_TRACKING_POWER_RESOLUTION = 4; // 4 for 1 second int player_controller = -1; //int motion_controller = -1; int OscDeadController = -1; Capture cam; BlobDetection theblobdetection; PImage img; boolean newframe=false; boolean player1 = true; boolean player2 = true; boolean player3 = true; boolean player4 = true; boolean player5 = false; boolean player6 = false; boolean player7 = false; boolean player8 = false; boolean player9 = false; boolean player10 = false; 79

// ================================================== // setup() // ================================================== void setup() {! // Size of applet! size(640, 480);! // Capture! cam = new Capture(this, 640, 480, 4); eidolascreen = loadimage("eidolascreen.jpg"); framerate(4); // create a new instance of oscp5. // 12000 is the port number you are listening for incoming osc messages. oscp5 = new OscP5(this,12000); //headrotation = new OscP5(this,6000); // create a new NetAddress. a NetAddress is used when sending osc messages // with the oscp5.send method. myremotelocation = new NetAddress("127.0.0.1",11002); myremotehead = new NetAddress("127.0.0.1",13000); fantasmadeadlocation = new NetAddress[MAX_FANTASMATA]; fantasmadeadlocation[0] = new NetAddress("127.0.0.1",9000); fantasmadeadlocation[1] = new NetAddress("127.0.0.1",9001); fantasmadeadlocation[2] = new NetAddress("127.0.0.1",9002); fantasmadeadlocation[3] = new NetAddress("127.0.0.1",9003); fantasmadeadlocationstop = new NetAddress[MAX_FANTASMATA]; fantasmadeadlocationstop[0] = new NetAddress("127.0.0.1",9400); fantasmadeadlocationstop[1] = new NetAddress("127.0.0.1",9401); fantasmadeadlocationstop[2] = new NetAddress("127.0.0.1",9402); fantasmadeadlocationstop[3] = new NetAddress("127.0.0.1",9403); aralocationstop = new NetAddress[MAX_ARA]; aralocationstop[0] = new NetAddress("127.0.0.1",9404); aralocationstop[1] = new NetAddress("127.0.0.1",9405); aralocationstop[2] = new NetAddress("127.0.0.1",9406); aralocationstop[3] = new NetAddress("127.0.0.1",9407); aralocationstop[4] = new NetAddress("127.0.0.1",9408); 80

aralocationstop[5] = new NetAddress("127.0.0.1",9409); player5location = new NetAddress("127.0.0.1",9004); player6location = new NetAddress("127.0.0.1",9005); player7location = new NetAddress("127.0.0.1",9006); player8location = new NetAddress("127.0.0.1",9007); player9location = new NetAddress("127.0.0.1",9008); player10location = new NetAddress("127.0.0.1",9009); fantasmalocation = new NetAddress[MAX_FANTASMATA]; fantasmalocation[0] = new NetAddress("127.0.0.1",11003); fantasmalocation[1] = new NetAddress("127.0.0.1",11004); fantasmalocation[2] = new NetAddress("127.0.0.1",11005); fantasmalocation[3] = new NetAddress("127.0.0.1",11006); // Define maximum trace limits FantasmataUpLimitXPos = new float[max_fantasmata]; FantasmataUpLimitYPos = new float[max_fantasmata]; FantasmataDownLimitXPos = new float[max_fantasmata]; FantasmataDownLimitYPos = new float[max_fantasmata]; draw_stepx = new float[max_fantasmata]; draw_stepy = new float[max_fantasmata]; IsAlive = new boolean[max_fantasmata]; // Define fantasmata initial positions curx = new float[max_fantasmata]; cury = new float[max_fantasmata]; // with the plug method of oscp5 you can automatically forward // incoming osc messages with a specific address pattern (3rd parameter in the plug method) // and a specific typetag (typetag=parameters of plugged method) to a // specific method (2nd parameter) in your sketch. oscp5.plug(this,"test","/test"); // headrotation.plug(this,"headrotation","wiimotecircle");! // BlobDetection 81

! // img which will be sent to detection (a smaller copy of the cam frame);! img = new PImage(80,60);! theblobdetection = new BlobDetection(img.width, img.height);! theblobdetection.setposdiscrimination(true);! theblobdetection.setthreshold(0.2f); // will detect bright areas whose luminosity > 0.2f; minim = new Minim(this); minim.debugon(); microphones = minim.getlinein(minim.stereo, 512); fft = new FFT(microphones.bufferSize(), microphones.samplerate()); deadsound = minim.loadfile("ixos_dead.aif", 2048); gameover = minim.loadfile("ixos_game_over.aif", 2048); //joystick controll = ControllIO.getInstance(this); device = controll.getdevice("logitech Cordless RumblePad 2"); device.printsticks(); stick = device.getstick("rz z"); stick.settolerance(0.1f); button = device.getbutton("11"); //fill(0); rectmode(center); // boolean player1 = true; //print (player10); c = new GUIController (this); b1 = new IFButton ("Start", 550, 440, 40, 17); b1.addactionlistener(this); 82

c.add (b1); fonta = loadfont("ziggurat-htf-black-32.vlw"); textfont(fonta, 20); StartSession(); } void actionperformed (GUIEvent e) { if (e.getsource() == b1) { } StartSession(); } // ================================================== // captureevent() // ================================================== void captureevent(capture cam) {! cam.read();! newframe = true; } // ================================================== // draw() // ================================================== void draw() { //image(eidolascreen, 0, 0, 640, 480 ); //background(); //fantasmata kiniseis kai koumpi eksoudeterosis // float fantasma1xpd; //float fantasma1ypd; 83

//float fantasma2xpd; // float fantasma2ypd; //float fantasma3xpd; // float fantasma3ypd; // float fantasma4xpd; // float fantasma4ypd; OscFlagController = OscFlagController + 1; if (OscFlagController == MAX_FANTASMATA + 1) { OscFlagController = 0; } HeadTrackingController = HeadTrackingController + 1; if (HeadTrackingController == HEAD_TRACKING_POWER_RESOLUTION) { HeadTrackingController = 0; } player_controller = player_controller + 1; if ( player_controller == 2) { player_controller = 0; } OscDeadController = OscDeadController + 1; if ( OscDeadController == 3) { OscDeadController = 0; } for (int i = 0; i < MAX_FANTASMATA ; i++) { FantasmaTrace(i); } 84

if ( OscFlagController!= MAX_FANTASMATA ) { SendOscMessage(OscFlagController, fantasmalocation[oscflagcontroller]); } //fantasma dead system float fantasmastoxosx; float fantasmastoxosy; if (OscDeadController == 2) { for (int j = 0; j<max_fantasmata ; j++ ) { fantasmastoxosy = map(curx[j], 0, 640, 1.9, -1.9); fantasmastoxosx = map(cury[j], 0, 480, 2.1, -2.1); fantasma_dead (j, fantasmastoxosx, fantasmastoxosy, fantasmadeadlocation[j], fantasmadeadlocationstop[j]); } } // end fantasmata kiniseis kai koumpi eksoudeterosis //vathmologia //int seconds = millis()/ 1000; { vathmologia = eidolo_dead *100 ; //println (vathmologia); // text("your score is", 40, 200); text(vathmologia, 550, 30); //text(vathmologia, 160, 300); //println (eidolo_dead); //println (seconds); 85

} if (eidolo_dead == 4){ vathmologia = eidolo_dead; } println (vathmologia); text("you win, your score is", x, 200); text(vathmologia, x, 380); //text(vathmologia, 160, 300); gameover.play(); //end vathmologia //head rotation if ( HeadTrackingController == 0) { if(button.pressed()){ //fill(255,0,0); } else { //fill(0); } float x = stick.getx() + width/2; float y = stick.gety() + height/2; float xmoires; //println (x); // xmoires = map(x,321,319,-70,70); xmoires = map(x,321,319,0,0); //println (xmoires); OscMessage headoscmessage = new OscMessage("/hR"); 86

headoscmessage.add((float)xmoires); oscp5.send(headoscmessage, myremotehead); if(x > width + 20 x < - 20 y > height + 20 y < - 20) { stick.reset(); } } //rect(x,y,20,20); //end head rotation! if (newframe && (OscFlagController == MAX_FANTASMATA) )! {!! newframe=false;!! image(cam,0,0,width,height);!! img.copy(cam, 0, 0, cam.width, cam.height,!!! 0, 0, img.width, img.height);!! fastblur(img, 2);!! theblobdetection.computeblobs(img.pixels);!! drawblobsandedges(false,false);! } /**{ background(0); stroke(255); // draw the waveforms for(int i = 0; i < microphones.buffersize() - 1; i++) { line(i, 50 + microphones.left.get(i)*50, i+1, 50 + microphones.left.get(i+1)*50); line(i, 150 + microphones.right.get(i)*50, i+1, 150 + microphones.right.get(i+1)*50); } }**/ //ARA MIXER INTERACTION 87

if( player_controller ==1) { //stroke(255); fft.forward(microphones.mix); for(int i = 0; i < fft.specsize(); i++) // {line(i, height, i, height - fft.getband(i)*4);} // fill(255); //ampsixnotitas= fft.getfreq(440); ampsixnotitas5= fft.calcavg(100, 102); ampsixnotitas6= fft.calcavg(150, 152); ampsixnotitas7= fft.calcavg(50, 52); ampsixnotitas8= fft.calcavg(1000, 1002); ampsixnotitas9= fft.calcavg(70, 72); ampsixnotitas10= fft.calcavg(900, 902); if ( ampsixnotitas5 > 8.5) { //boolean player5 = true; OscMessage myoscmessage = new OscMessage("/player5"); myoscmessage.add((true)); oscp5.send(myoscmessage, player5location); // print (player5); } if (ampsixnotitas6 > 3.5) { // boolean player6 = true; OscMessage myoscmessage = new OscMessage("/player6"); myoscmessage.add((true)); oscp5.send(myoscmessage, player6location); //print (player6); } 88

if (ampsixnotitas7 > 8.0) { //boolean player7 = true; OscMessage myoscmessage = new OscMessage("/player7"); myoscmessage.add((true)); oscp5.send(myoscmessage, player7location); //print (player7); } if (ampsixnotitas8 > 4.0) { //boolean player8 = true; OscMessage myoscmessage = new OscMessage("/player8"); myoscmessage.add((true)); oscp5.send(myoscmessage, player8location); //print (player8); } if (ampsixnotitas8 > 5.0) { //boolean player9 = true; OscMessage myoscmessage = new OscMessage("/player9"); myoscmessage.add((true)); oscp5.send(myoscmessage, player9location); //print (player9); } if (ampsixnotitas10 > 4.9) { //boolean player10 = true; OscMessage myoscmessage = new OscMessage("/player10"); myoscmessage.add(true); oscp5.send(myoscmessage, player10location); //print (player10); } 89

//END ARA MIXER INTERACTION } } // ================================================== // drawblobsandedges() // ================================================== void drawblobsandedges(boolean drawblobs, boolean drawedges) { image(eidolascreen, 0, 0, 640, 480 );! nofill();! Blob b;! EdgeVertex ea,eb;! for (int n=0 ; n<theblobdetection.getblobnb() ; n++)! {!! b=theblobdetection.getblob(n);!! if (b!=null)!! {!!! // Edges!!! if (drawedges)!!! {!!!! strokeweight(3);!!!! stroke(0,255,0);!!!! for (int m=0;m<b.getedgenb();m++)!!!! {!!!!! ea = b.getedgevertexa(m);!!!!! eb = b.getedgevertexb(m);!!!!! if (ea!=null && eb!=null)!!!!!! line(!!!!!!! ea.x*width, ea.y*height,!!!!!!! eb.x*width, eb.y*height!!!!!!! );!!!! } 90

!!! }!!! // Blobs!!! if (drawblobs)!!! {!!!! strokeweight(1);!!!! stroke(255,0,0);!!!! rect(!!!!! b.xmin*width,b.ymin*height,!!!!! b.w*width,b.h*height!!!!! );!!! } //thesi anthropou ston xoro /*motion_controller = motion_controller + 1; if (motion_controller == motion_controller + 1) { motion_controller = 0; }*/ //if ( motion_controller == 0) { float xkentro; float ykentro; // create a new OscMessage with an address pattern, in this case /test. OscMessage myoscmessage = new OscMessage("/test"); xkentro = ((b.xmin + b.xmax) / 2); ykentro = ((b.ymin + b.ymax) / 2); xanthropospd = map(xkentro, 0, 1, 1.8, -1.8); yanthropospd = map(ykentro, 0, 1, 2, -2); // println (xanthropospd); //print (yanthropospd); // add a value (a float) to the OscMessage 91

myoscmessage.add((float)xanthropospd); myoscmessage.add((float) yanthropospd); // send the OscMessage to a remote location specified in mynetaddress oscp5.send(myoscmessage, myremotelocation); } //end thesi antropou ston xoro!! } } } // ================================================== // Super Fast Blur v1.1 // by Mario Klingemann // <http://incubator.quasimondo.com> // ================================================== void fastblur(pimage img,int radius) { if (radius<1){ return; } int w=img.width; int h=img.height; int wm=w-1; int hm=h-1; int wh=w*h; int div=radius+radius+1; int r[]=new int[wh]; int g[]=new int[wh]; int b[]=new int[wh]; int rsum,gsum,bsum,x,y,i,p,p1,p2,yp,yi,yw; int vmin[] = new int[max(w,h)]; int vmax[] = new int[max(w,h)]; int[] pix=img.pixels; int dv[]=new int[256*div]; 92

for (i=0;i<256*div;i++){ } dv[i]=(i/div); yw=yi=0; for (y=0;y<h;y++){ rsum=gsum=bsum=0; for(i=-radius;i<=radius;i++){ p=pix[yi+min(wm,max(i,0))]; rsum+=(p & 0xff0000)>>16; gsum+=(p & 0x00ff00)>>8; bsum+= p & 0x0000ff; } for (x=0;x<w;x++){ r[yi]=dv[rsum]; g[yi]=dv[gsum]; b[yi]=dv[bsum]; if(y==0){ vmin[x]=min(x+radius+1,wm); vmax[x]=max(x-radius,0); } p1=pix[yw+vmin[x]]; p2=pix[yw+vmax[x]]; rsum+=((p1 & 0xff0000)-(p2 & 0xff0000))>>16; gsum+=((p1 & 0x00ff00)-(p2 & 0x00ff00))>>8; bsum+= (p1 & 0x0000ff)-(p2 & 0x0000ff); yi++; } yw+=w; } for (x=0;x<w;x++){ rsum=gsum=bsum=0; yp=-radius*w; for(i=-radius;i<=radius;i++){ yi=max(0,yp)+x; 93

rsum+=r[yi]; gsum+=g[yi]; bsum+=b[yi]; yp+=w; } yi=x; for (y=0;y<h;y++){ pix[yi]=0xff000000 (dv[rsum]<<16) (dv[gsum]<<8) dv[bsum]; if(x==0){ vmin[y]=min(y+radius+1,hm)*w; vmax[y]=max(y-radius,0)*w; } p1=x+vmin[y]; p2=x+vmax[y]; rsum+=r[p1]-r[p2]; gsum+=g[p1]-g[p2]; bsum+=b[p1]-b[p2]; } } yi+=w; } void SendOscMessage(int fantasmaid, NetAddress fantasmalocation) { float fantasmaxpd = map(curx[fantasmaid],0,640,2,-2); float fantasmaypd = map(cury[fantasmaid],0,480,1.8,-1.8); } OscMessage fantasmaoscmessage = new OscMessage("/f"+fantasmaID); fantasmaoscmessage.add((float)fantasmaxpd); fantasmaoscmessage.add((float)fantasmaypd); oscp5.send(fantasmaoscmessage, fantasmalocation); //troxia eidola void FantasmaTrace(int fantasmaid) { 94

float cy = cury[fantasmaid]; float cx = curx[fantasmaid]; if ( cy == FantasmataDownLimitYPos[fantasmaID] && cx == FantasmataDownLimitXPos[fantasmaID] ) { draw_stepy[fantasmaid] = 0; draw_stepx[fantasmaid] = -2; } if ( cy == FantasmataUpLimitYPos[fantasmaID] && cx == FantasmataUpLimitXPos [fantasmaid] ) { draw_stepy[fantasmaid] = 0; draw_stepx[fantasmaid] = 2; } if ( cx == FantasmataDownLimitXPos[fantasmaID] && cy == FantasmataUpLimitYPos [fantasmaid] ) { draw_stepy[fantasmaid] = 2; draw_stepx[fantasmaid] = 0; } if ( cx == FantasmataUpLimitXPos[fantasmaID] && cy == FantasmataDownLimitYPos [fantasmaid] ) { draw_stepy[fantasmaid] = -2 ; draw_stepx[fantasmaid] = 0; } /*if (cx > maxy && cy > maxy ) { draw_stepy = -10; draw_stepx = 0; } 95

if ( cy < maxx && cx > cy ) { draw_stepx = -10; draw_stepy = 0; }*/ cx = cx + draw_stepx[fantasmaid]; cy = cy + draw_stepy[fantasmaid]; curx[fantasmaid] = cx; cury[fantasmaid] = cy; if (fantasmaid == 0) { //println("x = " + cx + "y = " + cy + " stepx = " + draw_stepx[fantasmaid] + " stepy = " + draw_stepy[fantasmaid]); } } void fantasma_dead (int fantasmaid, float fantasmaidxpd, float fantasmaidypd, NetAddress fantasmadeadlocation, NetAddress fantasmadeadlocationstop ) { if(button.pressed() && IsAlive[fantasmaID] == true && xanthropospd > fantasmaidxpd - 0.25 && xanthropospd < fantasmaidxpd+0.25 && yanthropospd > fantasmaidypd - 0.25 && yanthropospd < fantasmaidypd+0.25) { fill(255,0,0); // boolean player[id] = false; OscMessage startdeadoscmessage = new OscMessage("/ player"+fantasmaid); startdeadoscmessage.add(false); oscp5.send(startdeadoscmessage, fantasmadeadlocation); +"s"); OscMessage deadoscmessage = new OscMessage("/p"+fantasmaID 96

deadoscmessage.add(true); oscp5.send(deadoscmessage, fantasmadeadlocationstop); println ("/p"+fantasmaid+"s"); eidolo_dead = eidolo_dead+1; deadsound.play(); IsAlive[fantasmaID]=false; } } void StartSession() { FantasmataDownLimitXPos[0] = 180; FantasmataDownLimitYPos[0] = 180; FantasmataDownLimitXPos[1] = 280; FantasmataDownLimitYPos[1] = 280; FantasmataDownLimitXPos[2] = 350; FantasmataDownLimitYPos[2] = 350; FantasmataDownLimitXPos[3] = 400; FantasmataDownLimitYPos[3] = 200; for (int i =0 ; i < MAX_FANTASMATA ; i++) { draw_stepx[i] = 0; draw_stepy[i] = 0; IsAlive[i] = true; } curx[0] = 100; cury[0] = 100; curx[1] = 200; cury[1] = 200; curx[2] = 250; cury[2] = 250; curx[3] = 210; cury[3] = 100; 97

FantasmataUpLimitXPos[0] = curx[0]; FantasmataUpLimitYPos[0] = cury[0]; FantasmataUpLimitXPos[1] = curx[1]; FantasmataUpLimitYPos[1] = cury[1]; FantasmataUpLimitXPos[2] = curx[2]; FantasmataUpLimitYPos[2] = cury[2]; FantasmataUpLimitXPos[3] = curx[3]; FantasmataUpLimitYPos[3] = cury[3]; OscMessage player1oscmessage = new OscMessage("/player1"); player1oscmessage.add((true)); oscp5.send(player1oscmessage, fantasmadeadlocation[0]); //print (player1); //boolean player2 = true; OscMessage player2oscmessage = new OscMessage("/player2"); player2oscmessage.add((true)); oscp5.send(player2oscmessage, fantasmadeadlocation[1]); //print (player2); // boolean player3 = true; OscMessage player3oscmessage = new OscMessage("/player3"); player3oscmessage.add((true)); oscp5.send(player3oscmessage, fantasmadeadlocation[2]); //print (player3); //boolean player4 = true; OscMessage player4oscmessage = new OscMessage("/player4"); player4oscmessage.add((true)); oscp5.send(player4oscmessage, fantasmadeadlocation[3]); //print (player4); //boolean player5 = false; OscMessage player5oscmessage = new OscMessage("/p4s"); player5oscmessage.add(true); oscp5.send(player5oscmessage, aralocationstop[0]); // print (player5); 98

//boolean player6 = false; OscMessage player6oscmessage = new OscMessage("/p5s"); player6oscmessage.add(true); oscp5.send(player6oscmessage, aralocationstop[1]); //print (player6); //boolean player7 = false; OscMessage player7oscmessage = new OscMessage("/p6s"); player7oscmessage.add(true); oscp5.send(player7oscmessage, aralocationstop[2]); //print (player7); //boolean player8 = false; OscMessage player8oscmessage = new OscMessage("/p7s"); player8oscmessage.add(true); oscp5.send(player8oscmessage, aralocationstop[3]); //print (player8); //boolean player9 = false; OscMessage player9oscmessage = new OscMessage("/p8s"); player9oscmessage.add(true); oscp5.send(player9oscmessage, aralocationstop[4]); //print (player9); //boolean player10 = false; OscMessage player10oscmessage = new OscMessage("/p9s"); player10oscmessage.add(true); oscp5.send(player10oscmessage, aralocationstop[5]); 99

//startingtime = millis(); vathmologia = 0; } 100

101

102

Παράρτημα Β Φωτογραφικό υλικό 103

104

105

Παράρτημα Γ Δημοσιεύσεις!!"#$%&'()$(**+$()&,%-$*./! 0%(1*(.$%(&234*+ 7872& 2+*5*(.*#&3.&.6*&789.6&0%(1*(.$%(& 8::;&<-.%=*+&;>78&?*@&A%+BC&?AC&D,!&!"#$%&%#'($&)$)"*($+,-.#-)*,-$"&.#$/##-$(#0#1)#2$,-$)"#$/&(*($,3$&$(4/5*))#2$&/()'&1)$&-2$#6)#-2#2$%'#1*($)"&)$"&.#$/##-$%##'$ '#.*#7#2$/8$&)$0#&()$)7,$94&0*3*#2$&-,-85,4($'#.*#7#'(:$!"*($1,-.#-)*,-$%&%#'$"&($/##-$'#%',241#2$3',5$)"#$&4)",';($&2.&-1#$ 5&-4(1'*%)<$7*)",4)$#2*)*-=<$1,''#1)*,-(<$,'$1,-(*2#'&)*,-$/8$)"#$>#.*#7$?,&'2:$!"#$@AB$)&C#($-,$'#(%,-(*/*0*)8$3,'$)"#$1,-)#-)(:$ @22*)*,-&0$%&%#'($5&8$/#$,/)&*-#2$/8$(#-2*-=$'#94#()$&-2$'#5*))&-1#$),$@42*,$A-=*-##'*-=$B,1*#)8<$DE$A&()$FG -2 $B)'##)<$H#7$ I,'C<$H#7$I,'C$JEJDKLGKGE<$MB@N$&0(,$(##$777:&#(:,'=:$@00$'*=")($'#(#'.#2:$>#%',241)*,-$,3$)"*($%&%#'<$,'$&-8$%,')*,-$)"#'#,3<$ *($-,)$%#'5*))#2$7*)",4)$2*'#1)$%#'5*((*,-$3',5$)"#!"#$%&'(!#)!*+,!-$./#!0&1/&,,%/&1!2#3/,*45!!"#$%&'()*(+*,-.&/,"0-()123-*,-#(4-&%",5( )1#"$67&3-(8.$,$,59-(!"#$%&$'()$*'+&#&', -(./012&'(3%$1$' 4 -(&/0(!"#$%&$'(5(61"7$1"$'(8&/2%%$9$*%$' : (, (;29+<($=(.*0"$>"'*&%(.1+'-(?$/"&/(@/">21'"+A-(B$1=*-(CD,EE-(6122F2( /"#$'<&>EGH7I&"%<F$I! 4( ;29+<($=(.*0"$>"'*&%(.1+'-(?$/"&/(@/">21'"+A-(B$1=*-(CD,EE-(6122F2( =%$1$'H"$/"$<71! :! ;29+<($=(.*0"$>"'*&%(.1+'-(?$/"&/(@/">21'"+A-(B$1=*-(CD,EE-(6122F2! #&/2H"$/"$<71! ):;<4)=<( -$16,&*,.!%,'(/*4!'$./#!%,7%,8,&*8!'!&,9!*%,&.!/&!./1/*'(!*,3+&#(#14!*+'*!,&%/3+,8!*+,!%,'(!'3#$8*/3!,&:/%#&6,&*! 9/*+! 84&*+,8/;,.! 8#$&.! 7%#.$3,.! <4! :/%*$'(! 8#$&.! #<=,3*85! >&! *+,! #*+,%! +'&.?! '&! '$./#@1'6,! /8! <'8,.! #&(4! #&! '$./<(,!),,.<'3A!%'*+,%!*+'&!#&!:/8$'(5!B&!*+/8!9#%A?!'&!'$./#@1'6,!7%#*#*47,!/8!7%,8,&*,.!9+/3+!*'A,8!'.:'&*'1,!#)! *+,!3+'%'3*,%/8*/38!#)!'$16,&*,.!%,'(/*4!'$./#!)#%!%,'(/;/&1!6#%,!3#67(,C!'$./#@1'6,!83,&'%/#85!D+,!7%#*#*47,!9'8! %,'(/;,.!'8!'&!'$./#:/8$'(!/&*,%'3*/:,!/&8*'(('*/#&?!'((#9/&1!*+,!)$%*+,%!/&:#(:,6,&*!#)!*+,!7+48/3'(!1'6,!87'3,!'8!*+,! 8,3#&.'%4! 3#67#&,&*! )#%! 3#&8*%$3*/&1! *+,! 1'6,! '6</,&*!,&:/%#&6,&*5! -! 8,E$,&3,! #)! *,8*8! +'8! 8+#9&! *+'*! *+,! 7%#7#8,.!7%#*#*47,!3'&!,))/3/,&*(4!8$77#%*!3#67(,C!1'6,!83,&'%/#8!7%#:/.,.!*+'*!*+,!&,3,88'%4!'.:'&3,.!/&*,%'3*/#&! 7'*+8!'%,!':'/('<(,5!!!"( #$%&'()*%#'$+ B*!/8!9,((@A&#9&!*+'*!8#$&.!%,7%,8,&*8!#&,!#)!*+,!6#8*! /67#%*'&*! 3#67#&,&*8! #)! '! :/.,#! 1'6,?! 8/&3,! /*8! /&*,1%'*/#&! 9/*+! *+,! :/8$'(! #$*7$*! 3#&8*%$3*8! *+,! 1'6,! F:/%*$'(G! 9#%(.?! 9+/(,! /&! 6'&4! 3'8,8! /*! %,'(/;,8! )$&.'6,&*'(! /&*,%'3*/#&! 7'*+8! 9/*+! *+,!$8,%5! 0C*,&./&1! *+,! 8#$&.! 9,/1+*! '8! '! )$&.'6,&*'(! 1'6,! 3#67#&,&*?!.$%/&1!*+,!('8*!4,'%8?!*+,!3#&3,7*!#)!*+,!'$./#@1'6,!9'8! /&*%#.$3,.5! B&! '&! '$./#@1'6,?! *+,%,! /8! &#! 1%'7+/3'(!,&:/%#&6,&*5! B&8*,'.?! *+,! 1'6,@7('4! /8! <'8,.! #&(4! #&! '$./#?! '((#9/&1! '! &$6<,%! #)! 87,3/)/3! 7$%7#8,! '77(/3'*/#&8! *#! <,! 8$77#%*,.?! 8$3+! '8! *+,! '</(/*4! *#! <,! 7('4,.! <4! :/8$'((4! /67'/%,.! +$6'&8! HIJ5! D#9'%.8! *+/8! '/6?! '! &$6<,%! #)! (,1'34! :/.,#@1'6,8! +':,! <,,&! %,3,&*(4! '$16,&*,.!9/*+! 87,3/)/3! '$./#! *,3+&/E$,8?! )#%!,C'67(,! /&! #%.,%! *#! 7%#:/.,! /&)#%6'*/#&! '<#$*! *+,!./%,3*/#&! '&.! *+,!./8*'&3,! #)! 6#:/&1! *'%1,*8! *#! <(/&.! 106

!"#$%&'&$()%(&*+((!!"#!$"%&'()%*+%,#-.%#/%.0"%12-"-3%.0"-"%2456#7248,"+."5% 82,"% -1"+296#-% 29"% +#.% 1#,!$612."53% 2$$#:6+8%.0"69% 252!.2.6#+%4-6+8%9"$2.6;"$<%-6,!$"%94$"-%2+5%1#+56.6#+-)% =2-"5% #+%.0"% 2>#;"% 1#+-65"92.6#+-3% 6+%.06-% :#9?3%.0"% 9"1"+.$<% 6+.9#541"5% ><% #.0"9% 9"-"2910"9-% @48,"+."5% A"2$6.<% @456#% B@A@C% 1#+1"!.% &D(% 6-% ",!$#<"5% /#9% 9"2$6E6+8% 2+% 6+."921.6;"3% 248,"+."5% 9"2$6.<7>2-"5% 82,"%!9#.#.<!"%B#9%2+%F@A@782,"G3%2%."9,%:0610%.#%.0"%>"-.% #/%.0"% 24.0#9-%?+#:$"58"% :2-% +#.%!9";6#4-$<% 6+.9#541"5C)% H0"%!49!#-"% /#9% "I!"96,"+.2$$<% 5",#+-.92.6+8%.0"% 2>#;"% 82,"%!9#.#.<!"% 6-%.#% 6+6.62."%.0"% 6+;"-.682.6#+% #+%.0"% /#$$#:6+8%.#!61J% 12+% @A@%!9#;65"%.0"% +"1"--29<% /92,":#9?% /#9% "//616"+.$<% 9"2$6E6+8% 1#,!$612."5% 2+5K#9% 25;2+1"5% 2456#7>2-"5% 82,"%-1"+296#-L% *+% 1#+.9256-.6+1.6#+% :6.0% 2456#782,"-% 2+5% /#9% -!"16/61% 9"2-#+-%.02.% :6$$% >"% "I!$26+"5% $2."9% 6+%.06-%."I.3%.0"% +2.492$7!0<-612$%-!21"%#/%.0"%82,"%6-%+#.%"I1$45"5%2+5%!29.616!2."-% 6+%.0"% 1#+-.941.6#+% #/%.0"% 1#,!$"."% 82,"% "+;69#+,"+.% 2-% 6.-% ;6-42$% F2,>6"+.G% 1#,!#+"+.)% M#9"% -!"16/612$$<3%.0"%!9#!#-"5%@A@782,"%!9#.#.<!"%1#+-6-.-% #/%.0"% /#$$#:6+8% 1#,!#+"+.-% 2C%.0"% 9"2$% :#9$5% ;6-42$% "+;69#+,"+.% :0610% 9"!9"-"+.-%.0"% 82,"7!$2<%!0<-612$% -!21"% >C%.0"% 9"2$% :#9$5% -#4+5% 1#,!#+"+.% :0610% 6-%!9"-"+.% :6.06+%.0"% 82,"%!0<-612$% -!21"% 2+5% 1C%.0"% ;69.42$% 2456#% 6+/#9,2.6#+% :0610% 6-% -<+.0"-6E"5% 6+% 9"2$7.6,"3%!9#1"--"5% 2+5% 9"!9#541"5% 6+%.09""% 56,"+-6#+2$% -!21")% N9#,%.0"% 2>#;"% 1#,!#+"+.-3%.0"% /69-.%.:#% 29"% 9"-!#+-6>$"% /#9% 9"!9"-"+.6+8%.0"% F2,>6"+.G% 2456#;6-42$% "+;69#+,"+.% #/%.0"% @A@782,"3% :06$"%.0"%.0695% #+"% 6-% 4-"5% /#9% 5<+2,612$$<% 9"!9#5416+8%.0"% 6+/#9,2.6#+% 9"O469"5%/#9%9"2$6E6+8%.0"%5"-69"5%82,"7!$2<)%% N#9%.0"%!49!#-"-% #/%.0"% 1499"+.% :#9?3%.0"% 2>#;"%.09""% 1#,!#+"+.-% :"9"% 9"2$6E"5% 2+5% 6+."892."5% :6.06+% 2+% 6+."921.6;"% 2456#;6-42$% 6+-.2$$2.6#+%."9,"5% FP65#$2G3% 2% Q9""?%:#95%4-"5%/#9%5"-196>6+8%.0"%1#+1"!.%#/%21#4-.61% -#4+5%-#491"%6,28"-%B-""%N68)%RC)%*+%8"+"92$3%6+."921.6;"% 2456#;6-42$% 6+-.2$$2.6#+-% 9"!9"-"+.% 2% +":% /#9,% /#9% "I!"96,"+.6+8% :6.0% 2+5% 9"2$6E6+8% 1#,!$"I% 04,2+7 #96"+."5% "I!"96,"+.-%.02.%,#-.% 1#,,#+$<% 6+;#$;"% 04,2+7,2106+"% 6+."921.6#+-3% :06$"%.0"<% 29"% 2$-#% ",!$#<"5% ><%,#5"9+% 29.6-.-% 2-% +":% 29.6-.61% "I!9"--6#+% 2!!9#210"-%&S(3%&T()% H0"% 9"-.% #/%.0"%!2!"9% 6-% #982+6E"5% 2-% /#$$#:6+8J% *+% U"1.6#+% '3% 2% >96"/% #;"9;6":% #/% @A@% /4+52,"+.2$-% 6-%!9"-"+."53% /#14-6+8%,26+$<% #+%."10+6O4"-% 2!!$6"5% /#9% 9"2$6E6+8% @A@% "+;69#+,"+.-)% V"I.3%.0"% 2+2$<.61% 5"-196!.6#+% #/%.0"% FP65#$2G% @A@782,"% 6-%!9#;65"5% 6+%,#-.)/%)0(1)&*2%3(,#02"(4&.) U"1.6#+%D3%/#$$#:"5%><%2%>96"/%2+2$<-6-%#/%.0"%/4+1.6#+2$% 2+5%>"02;6#92$%#>-"9;2.6#+-%,25"%5496+8%2+%6+-.2$$2.6#+% "I06>6.6#+%BU"1.6#+%SC)%N6+2$$<3%U"1.6#+%T%1#+1$45"-%.06-% :#9?% 2+5% 211"+.-% /49.0"9% "+02+1","+.-%.02.%,2<% >"% 6+."892."5%6+%/4.49"%@A@%82,"-)% N6849"%R%H0"%FP65#$2G%6+-.2$$2.6#+%$#8#%!"( #$#%&'()#*+(,#-.% H0"% @A@% 1#+1"!.% 6-% >2-"5% #+%.0"% /21.%.02.% 2% +2.492$% -#4+5% "+;69#+,"+.% 12+% >"% "+9610"5% :6.0% -<+.0".613% ;69.42$%-#4+5-%B2$-#%."9,"5%2-%;69.42$%2456#%#>W"1.-C%&X()% *+%#95"9%.#%"+-49"%.02.%.0"%2>#;"%"+9610,"+.%!9#1"--%6-% 211492."% B,26+$<% 6+%."9,-% #/% 21#4-.61% 24.0"+.616.<% 2+5% +2.492$% 9"!9"-"+.2.6#+% #/%.0"% /6+2$% 248,"+."5% -#4+5% "+;69#+,"+.C%>6+2492$%."10+#$#8<%&Y(%6-%",!$#<"5%/#9%2C% 9"1#956+8%.0"% +2.492$% -#4+5% "+;69#+,"+.% 2+5% >C% -!2.62$$<%9"!9"-"+.6+8%.0"%;69.42$%2456#%1#,!#+"+.-)%% H0"%+2.492$%"+;69#+,"+.%>6+2492$%9"1#956+8%6-%.<!612$$<%!"9/#9,"5% 4-6+8% 6+7"29%,619#!0#+"-% 6+."892."5% :6.06+% 2+%@A@%0"25-".%&Z()%H0"%,619#!0#+"%-68+2$-%29"%596;"+%.#%2+%@A@%,6I"93%:0610%6-%9"-!#+-6>$"%/#9%,6I6+8%.0",% :6.0%.0"% >6+2492$% 9"!9"-"+.2.6#+% #/%.0"% ;69.42$% -#4+5% #>W"1.)%N#9%"//"1.6;"%@A@%,6I"9%9"2$6E2.6#+-3%2%+4,>"9% #/%6--4"-%02;"%.#%>"%1#+-65"9"53%-410%2-%"O42$6E2.6#+%.#% 1#99"1.%.0"%1#$#92.6#+%124-"5%><%.0"%$"2?28"%.09#480%.0"% @A@%0"25-".%2+5%102+8"5%9"-#+2+1"-%6+%.0"%1$#-"5%"297 12+2$% &[()% @556.6#+2$$<3% 0"257.921?6+8% 9"!9"-"+.-% 2% 0680$<79"O469"5% 5",2+53% -6+1"% 6.% 2$$#:-%.0"% /9""%,#;","+.% #/%.0"% 04,2+%!29.616!2+.% K% 4-"93% :6.0#4.% 102+86+8%.0"%9"$2.6;"%!#-6.6#+%#/%.0"%-#4+5%-#491"-%2+5% 0"+1"%.0"% #;"92$$% -!2.62$% 2456>$"% 6,!9"--6#+)% H#:295-%.06-% 26,3% 2% +4,>"9% #/% 0"257.921?6+8%."10+6O4"-% 02;"% >""+%2$9"25<%!9#!#-"5%&R\(%2+5%",!$#<"5%/#9%9"2$6E6+8% >#.0%;69.42$%2+5%248,"+."5%9"2$6.<%2!!$612.6#+-%&RR()% %!"#$%&'()$*+,-.,(/+,0$1.2$3+450$130$6#!0$&778$9:(+;.4$8<%&$ =>?.$&$+@$A$ 107

!"#$%&'&$()%(&*+((!!"#$%&'#()*+,- (./0*+"$- 1*&2- '../- #(.34&*(4-4*/35#&*.+- &"(2+*63"4- #54.- */7'.8"4- &2"- 4.3+$- 5.(#5*9#&*.+- "::*(*"+(;-.:- 23/#+4<- /#*+5;- 0;- #55.1*+,- &2"-(#7&3'"-.:-4/#55-3+(.+4(*.34-2"#$-/.8"/"+&4=->2"- */75"/"+&#&*.+-.:- 43(2- #- :3+(&*.+#5*&;- '#*4"4-2*,2% 63#5*&;<- &*/"%8#';*+,-!"#$%?"5#&"$- >'#+4:"'- @3+(&*.+4- A!?>@B- *+&"'7.5#&*.+- *443"4<- 1*&2- '"5#&*8"- 2*,2- (./73&#&*.+#5-5.#$=-C+-.'$"'-&.-.8"'(./"-&2*4-7'.05"/<- #- 7'"8*.345;- 7305*42"$- 1.')- 2#4-7'.7.4"$- #- 8*'&3#5- #/0*4.+*(- #77'.#(2- :.'- (#'';*+,-.3&- 0*+#3'#5-4.3+$- '"7'.$3(&*.+-*+-'"#5%&*/"-DEFG=- H$$*&*.+#5-74;(2.#(.34&*(-"I7"'*/"+&4-2#8"-(.+4*$"'"$- &2"- 23/#+- JK- 4.3+$- 5.(#5*9#&*.+- 7"':.'/#+("- #4- #- :3+(&*.+-.:-&2"-#9*/3&2-L-"5"8#&*.+-#+,5"4<-#4-1"55-#4-:.'- $*::"'"+&- 8*'&3#5-4.3+$-.0M"(&4- $*4&'*03&*.+- &;7"4- A&;7*(#55;- '#+$./- #+$- '",35#'- DEJGB=- >2"-.3&(./"-.:- 43(2- "8#53#&*.+4-42.35$- #54.- 0"- (#'":355;- (.+4*$"'"$- 12"+-$"4*,+*+,-H?H-"+8*'.+/"+&4=-!"( #$%#%&'()*$*+,*-')%.'$./'0) 5+6+( 4&.)($7)/&82"(&/0(#$)8()9#2:.)/%( H4- *&- 1#4-7'"8*.345;- /"+&*.+"$<- :.'- &2"- *+*&*#&*8"- 73'7.4"4-.:- &2"- (3''"+&- 1.')- &2"- H?H%,#/"- 75#;- (./75"I*&;- 1#4- $"(*$"$- &.- 0"- #4-5.1- #4-7.44*05"=- >2"-,#/"- 7'.&.&;7"- 4("+#'*.- "/75.;"$- 2"'"- 1#4-0#4"$-.+- &2"-7'"4"+("-.:-#-+3/0"'-.:-*+8*4*05"-('"#&3'"4-&2#&-5*8"- 1*&2*+- &2"-,#/"- '../=- >2"4"- ('"#&3'"4- #'"- +#/"$- NO*$.5#P=- >2"- 75#;"'-.:- &2"- H?H%,#/"- 2#4-,.&- &2"- /*44*.+-&.-"+&"'-&2"-'../-#+$-$":"#&-#55-&2"4"-('"#&3'"4- &2#&- #'"- /.8*+,- #'.3+$- :.55.1*+,- +.+%5*+"#'- &'#("4-1*&2*+-&2"-JK-47#("=-C+-.'$"'-&.-$.-4.<-&2"-75#;"'-2#4-&.- 7355-#-8*'&3#5-&'*,,"'-A*="=-7'"44-#-47"(*:*(-03&&.+B-12"+- 2*4L2"'-7.4*&*.+-(.*+(*$"4-A1*&2*+-#-:*I"$-#((3'#(;-5*/*&B- 1*&2-&2"-NO*$.5#P-*+4&#+&#+".34-7.4*&*.+-.+-&2"-JK%&'#("- &2";-:.55.1=- >2"-,#/"- 4("+#'*.- *4-430- 4"'8"$- 0;- #- +3/0"'-.:- '"#5% 1.'5$-.0M"(&4-5.(#&"$- 1*&2*+- &2"-,#/"- 47#("=- >2"4"-.0M"(&4- #'"- #54.- 7'.$3(*+,- 4.3+$4- (.+&*+3.345;<- #&- '",35#'- &*/"- *+4&#+("4-.'- 37.+- 34"'- *+&"'#(&*.+=- >2"- 7'"4"+("-.:- &2"4"-.0M"(&4- *+-&2"-,#/"-72;4*(#5-47#("- 1#4-:.3+$-&.-0"-+"("44#';-*+-.'$"'-&.-(./7.4"-#-/.'"- +#&3'#5-,#/"- "+8*'.+/"+&- #+$- #&/.472"'"<- 12*5"- &2";- #54.-.::"'-#-4"(.+$#';-:""$0#()-#3$*.8*43#5-7#&2-&.-&2"- 34"'<-2"57*+,-2*/L2"'-&.-$"&"'/*+"-&2"-7.44*05"-NO*$.5#P- /.8"/"+&- 0.3+$#'*"4=- C&- 42.35$- 0"- +.&"$- &2#&- &2"- 8.53/"-.:-&2"4"-.0M"(&4-(.+4&'#*+-&2"-/.8"/"+&-.:-&2"- NO*$.5#P- ('"#&3'"4<- :.'(*+,- &2"/- &.- (2#+,"- &2"*'- /.8"/"+&-&'#("=-H-$"&#*5"$-5*4&-.:-&2"-'"#5%1.'5$-.0M"(&4-,#-.)/%)0(1)&*2%3(,#02"(4&.) 4"5"(&"$- $3'*+,- &2*4-1.')- 1*55-0"- 7'.8*$"$- *+- &2"- +"I&- Q"(&*.+=- C+-.'$"'- &.- 75#;- NO*$.5#P- &2"- 34"'- 2#4- &.- 1"#'- &2"- #77'.7'*#&"-"63*7/"+&-A@*,=-FB=->2*4-"63*7/"+&-(.+4*4&4-.:-#+-H?H-1*'"5"44-2"#$4"&<-12*(2<-#4-*&-1#4-$"4('*0"$- *+- Q"(&*.+- F<- *4- '"47.+4*05"- :.'- &2"- *+%"#'- '"(.'$*+,-.:- &2"- +#&3'#5- "+8*'.+/"+&- #4-1"55- #4- &2"- '"7'.$3(&*.+-.:- &2"- 4;+&2"4*9"$- 0*+#3'#5-4.3+$-.0M"(&4=- >2"- H?H- 2"#$4"&- #3$*.- &'#+4/*&&"'- #+$- '"("*8"'- #'"-.7"'#&*+,- *+- &2"- '#+,"-.:- F=RS!9<- #55.1*+,- 2*,2-63#5*&;- #3$*.- &'#+4/*44*.+4=- @*,3'"-F->2"-NO*$.5#P-34"'-"63*7/"+&- >2"- H?H- 2"#$4"&- *4- *+&",'#&"$- 1*&2- #- 2"#$%&'#()*+,- 4;4&"/-7'.&.&;7"-$"8"5.7"$-34*+,-#-/.$*:*"$-(./73&"'- M.;4&*()-(.+4&'3(&*.+-#77'.7'*#&"5;-#775*"$-.+-&2"-0#()- 7#'&-.:- &2"- 23/#+- 2"#$<- #4- *&- *4-42.1+- *+- @*,=- J=- >2"- #+,5"- #((3'#(;- 8#53"4-.0&#*+"$- :'./- &2"- 2"#$%&'#()*+,- 7'.&.&;7"- "I(""$"$- &2"- '"63*'"/"+&4-.:- &2"- (3''"+&- 1.')<-0"*+,-*+-&2"-'#+,"-.:-+"#'5;-2#5:-#-$",'""-*+-0.&2- "5"8#&*.+-#+$-#9*/3&2-75#+"4=->2"-2"#$%&'#()*+,-.3&73&- #+,5"-8#53"4-1"'"-&'#+4/*&&"$-&.-#-("+&'#5-(.+&'.55"'-8*#- #- 1*'"5"44- T53"&..&2- #4;+(2'.+.34-5*+)=- H:&"'- #- 4"63"+("-.:- &2.'.3,2- &"4&4<- *&- 1#4- :.3+$- &2#&- &2"- T53"&..&2-7'.&.(.5-(#+-(./75"&"5;-4#&*4:;-&2"-0#+$1*$&2- #+$-5#&"+(;-'"63*'"/"+&4-:.'-'"#5%&*/"-&'#+4/*44*.+4-.:- &2"- 2"#$%&'#()*+,- $#&#=- U.'".8"'<- &2"- T53"&..&2-5*+)- 1#4- #54.- '"47.+4*05"- :.'- #4;+(2'.+.345;- &'#+4/*&&*+,- &2"- *+:.'/#&*.+- &2#&- (.''"47.+$4- &.- &2"-34"'- 03&&.+- A.'- &'*,,"'B-7'"44-"8"+&=-- @*,3'"-J->2"-$"8"5.7"$-2"#$%&'#()*+,-4;4&"/- - -!"#$%&'()$*+,-.,(/+,0$1.2$3+450$130$6#!0$&778$9:(+;.4$8<%&$ =>?.$@$+A$B$ 108

!"#$%&'&$()%(&*+((!!"#$ %&'(#$ )#*+,-&#)$.*#,$ #/.-01#23$ 4%*$ &%33#,5$ '0#,%3#)6$ 4-3"$ %$ 350-+%7$,#8+"%,9#$ 3-1#$ -23#,(%7$ -2$ 3"#$,%29#$':$;$"'.,*<$ 5+6+( 4&.)(78"%"%37)(&89:2%)9%#8)( =-9.,#$ >$ -77.*3,%3#*$ 3"#$ %,+"-3#+3.,#$ ':$ 3"#$?@-)'7%A$ BCB89%1#$ 0,'3'350#<$ D3$ 1%-275$ +'2*-*3*$ ':$ 3"#$.*#,$ #/.-01#23$ )#*+,-&#)$ -2$ 3"#$ 0,#(-'.*$ 0%,%9,%0"$ E-2)-+%3#)$ "#,#$ %*$ 3"#$ 4-,#7#**$ *5*3#1F6$ %$ +'11'2$ +'10.3#,$ *5*3#1$ #G#+.3-29$ %77$ 3"#$ 2#+#**%,5$ *':34%,#$ 1').7#*$ %2)$ %$ )-9-3%7$ +%1#,%<$ D3$ *"'.7)$ &#$ 2'3#)$ "#,#$ 3"%3$ %77$ 3"#$ +'23,'7$ %2)$ *-92%7$ 0,'+#**-29$ 1#3"')*$,#/.-,#)$ :',$ -107#1#23-29$ 3"#$ @-)'7%$ 0,'3'350#$ %,+"-3#+3.,#$4#,#$,#%7-H#)$-2$*':34%,#<$,#-.)/%)0(1)&*2%3(,#02"(4&.) +F$%$*'.2)$*523"#*-*$1').7#$4"-+"$0,').+#*$3"#$(-,3.%7$ *'.2)$ '&O#+3*$ 3"%3$ +',,#*0'2)$ 3'$ #%+"$ '2#$ ':$ 3"#$?@-)'7%A$ +,#%3.,#*<$ =',$ 3"#$ 0.,0'*#*$ ':$ 3"-*$ 4',J6$ %$ 2.1&#,$ ':$ *'.2)$ *523"#*-*$ 3#+"2-/.#*$ 4#,#$ 3#*3#)$ :',$ *#7#+3-29$ 3"#$ 1'*3$ %00,'0,-%3#$ '2#$ -2$ 3#,1*$ ':$ '03-1-H-29$3"#$%&-7-35$':$3"#$.*#,$3'$)-*+,-1-2%3#$3"#1$-2$ 3"#$ PQ$ *0%+#$ %2)$ -2$ 3"#$ :,#/.#2+5$ )'1%-2<$ )F$!"#$?@-)'7%A$ 1'(#1#23$ 3,%+#$ *+"#).7#,6$ 4"-+"$ -*$,#*0'2*-&7#$ :',$ %79',-3"1-+%775$ 1'(-29$ 3"#$?@-)'7%A$ +,#%3.,#*$ -2$ 3",##$ )-1#2*-'2*6$ 3%J-29$ -23'$ %++'.23$ 3"#$ 0,#*#2+#$ %2)$ 3"#$ &'.2)%,-#*$ ':$3"#$,#%784',7)$'&O#+3*$ 3"%3$ #G-*3$ 4-3"-2$ 3"#$ 9%1#$ #2(-,'21#23<$!"#$ +'11.2-+%3-'2$&#34##2$%77$3"#$%&'(#$*':34%,#$1').7#*$ 4%*$,#%7-H#)$.*-29$3"#$4#77$J2'42$R0#2$L'.2)$S'23,'7$ ERLSF$0,'3'+'7$TU>V<$!"( #$%&'$'()*)#+(,*(-,.'/0&)/, $!"#$?@-)'7%A$ BCB89%1#$ 0,'3'350#$ -2*3%77%3-'2$ 4%*$,#%7-H#)$ %2)$ )#1'2*3,%3#)$ ).,-29$ 3"#$ P,) $ %22.%7$ %.)-'(-*.%7$ :#*3-(%7$ ',9%2-H#)$ &5$ 3"#$ )#0%,31#23$ ':$ B.)-'(-*.%7$B,3*6$D'2-%2$W2-(#,*-35$'2$I%56$MXXY<$!"#$?@-)'7%A$ -23#,%+3-(#$ #2(-,'21#23$ 4%*$ -2*3%77#)$ -2$ %$,''1$ 4-3"$ )-1#2*-'2*$ #/.%7$ 3'$ >G>GP<Z$ 1#3#,*<$ B$ (-)#'8+%1#,%$,#/.-,#)$ :',$ )#3#+3-29$ 3"#$ -2*3%23%2#'.*$ 0%,3-+-0%23$0'*-3-'2$4%*$"-))#2$%2)$07%+#)$%3$3"#$+#23#,$ ':$3"#$,'':<$!"#$1%-2$+'10.3#,$4%*$%7*'$-2*3%77#)$-2$%2$ -*'7%3#)$ 0%,3$ ':$ 3"#$ -22#,$,'':$ *3,.+3.,#6$ %77'4-29$ %$ +%&7#8:,##$ (-#4$ ':$ 3"#$ -2*3%77%3-'2<$ B2$ [SQ$ 1'2-3',$ E=-9<$ ZF$ 4%*$ 07%+#)$ 2#G3$ 3'$ 3"#$ -2*3%77%3-'2$ #23,%2+#6$ )-*07%5-29$3"#$?@-)'7%A$7'9'$%2)$3"#$3'3%7$%+"-#(#)$.*#,$ *+',#<$ =-9.,#$>$!"#$?@-)'7%A$0,'3'350#$%,+"-3#+3.,#$ I',#$ *0#+-:-+%7756$ 3"#$ *':34%,#$ 1').7#*$ )#(#7'0#)$ ).,-29$3"-*$4',J$%,#$3"#$:'77'4-29K$%F$!"#$BCB$1-G#,6$ +'1&-2#)$ 4-3"$ %$,''18%+'.*3-+*$ %2%75*-*$ *.&81').7#$ :',$+%7+.7%3-29$3"#$%00,'0,-%3#$,''1$-10.7*#$,#*0'2*#*<$ B*$#G07%-2#)$-2$L#+3-'2$M6$3"-*$1').7#$-*$,#*0'2*-&7#$:',$ 0,').+-29$ 3"#$ :-2%7$ %.91#23#)$ &-2%.,%7$ *-92%7$ *#23$ 3'$ 3"#$.*#,6$3%J-29$-23'$%++'.23$3"#$,#7%3-(#$0'*-3-'2*$':$3"#$?@-)'7%A$+,#%3.,#*$%2)$3"#$,''1$%+'.*3-+$0,'0#,3-#*$&F$%$.*#,$ 0'*-3-'2$ )#3#+3-'2$ 1').7#$ 3"%3$ #G3,%+3*$ 3"#$ -2*3%23%2#'.*$.*#,$ 0'*-3-'2$ :,'1$ 3"#$ (-)#'$ *-92%7$ '&3%-2#)$ &5$ 3"#$ )-9-3%7$ +%1#,%<$!"#$ -2*3%23%2#'.*$.*#,$ 0'*-3-'2$ -*$ %$ *-92-:-+%23$ 0%,%1#3#,6$ 2'3$ '275$ :',$ 3"#$ 9%1#807%5$ -38*#7:$ E%*$ -3$ 4%*$ 1#23-'2#)$ 0,#(-'.*756$ 3"#$.*#,$ +%2$ )#:#%3$ %2$?@-)'7%A$ +,#%3.,#$ 4"#2$ "-*N"#,$ 0'*-3-'2$ +'-2+-)#*$ 4-3"$ -3*$ 0'*-3-'2F6$ &.3$ %7*'$ :',$ )#3#,1-2-29$3"#$-2*3%23%2#'.*$,''1$-10.7*#$,#*0'2*#*<$ =-9.,#$Z$!"#$[SQ$1'2-3',$*+,##2$ =-9.,#$\$-77.*3,%3#*$3"#$,#%784',7)$'&O#+3*$07%+#)$4-3"-2$ 3"#$ -2*3%77%3-'2$ *0%+#$ :',$ 3"#$ 0.,0'*#*$ ':$ 3"#$?@-)'7%A$ 0,'3'350#$)#1'2*3,%3-'2<$!"#$*#7#+3-'2$':$3"#*#$'&O#+3*$ 4%*$&%*#)$'2$3"#-,$-2:7.#2+#$3'$3"#$'(#,%77$%31'*0"#,#$ ':$ 3"#$ 9%1#$ %2)$ 3"#-,$,#7#(%2+#$ 3'$ 3"#$ 9%1#807%5<$ I',#'(#,6$ 3"#$ -10%+3$ ':$ 3"#*#$ '&O#+3*$ %*$ 3"#$ 0,-2+-0%7$ (-*.%7$ +'10'2#23$ ':$ 3"#$ 9%1#$ 4%*$ #2:',+#)$ &5$ %00,'0,-%3#$ +'7',-29$ %2)$ 7-9"3-29$ ':$ 3"#$ -2*3%77%3-'2$,''1<$!"#$#G%+3$07%+#1#23$':$3"#*#$'&O#+3*$-2$PQ$*0%+#$ $!"#$%&'()$*+,-.,(/+,0$1.2$3+450$130$6#!0$&778$9:(+;.4$8<%&$ =>?.$@$+A$B$ 109

!"#$%&'&$()%(&*+((!!"#$ %&'(#)&%&*$ (+),$ )-&$ #,.)!"%&$ /,*01&#$ 2(3&3$ )-&$ 45(*,1"6$ )%"7&$ /,8&/&+)$ #7-&*01&%$ "+*$ )-&$ %,,/$ "7,0#)(7$ "+"19#(#$ /,*01&:$ "+*$!"#$ +,)$ "11,!&*$ ),$ ;&$ 7-"+'&*$*0%(+'$)-&$*&/,+#)%")(,+$#&##(,+3$,#-.)/%)0(1)&*2%3(,#02"(4&.) <,70#(+'$,+$ #,/&$ #0;@&7)(8&$,;#&%8")(,+#$,;)"(+&*$ *0%(+'$)-&$45(*,1"6$B%,),)9B&$*&/,+#)%")(,+J$/,%&$)-"+$ QR$0#&%#$&+)&%&*$)-&$(+#)"11")(,+$"+*$B1"9&*$2<('3$S:3$T+$ "11$ 0#&%$ 7"#&#$ )-&$ '&+&%"1$ (/B%&##(,+$!"#$ )-")$ )-&$ (+#)"11")(,+$ &+8(%,+/&+)$!"#$ #0()";1&$.,%$ "770%")&19$ %&B%,*07(+'$ )-&$ '"/&?B1"9$ ")/,#B-&%&3$ U,%&,8&%J$ &#B&7("119$.,%$)-&$"0'/&+)&*$VW$#,0+*$7,/B,+&+)J$)-&$ 0#&%#$ )-")$!&%&$ +,)$."/(1("%$!()-$ ;(+"0%"1$ )&7-+,1,'9$.,0+*$()$."#7(+")(+'J$!-(1&$&IB&%(&+7&*$0#&%#$2"+*$#,/&$ (+8()&*$"0*(,$)&7-+,1,'9$&IB&%)#:$.,0+*$()$%&"1(#)(7$"+*$ "770%")&3$T)$#-,01*$;&$/&+)(,+&*$-&%&$)-")$)-&$1"))&%$0#&%$ 7")&',%9$"7-(&8&*$-('-&%$#7,%&#J$"$!&11$&IB&7)&*$%&#01)$ "1#,$,;#&%8&*$(+$/"+9$B#97-,"7,0#)(7$&IB&%(/&+)#3$ $ <('0%&$=$>1"7&/&+)$,.$)-&$%&"1?!,%1*$,;@&7)#$0#&*$ A-&$"(/$,.$*&/,+#)%")(+'$)-&$45(*,1"6$'"/&$B%,),)9B&$!"#$ )!,.,1*C$ ":$ ),$ B%&1(/(+"%(19$ (+8&#)('")&$ )-&$ &..(7(&+79$,.$DED$"#$"$'1,;"1$/&"+$"+*$.%"/&!,%F$.,%$ %&"1(G(+'$ 7,/B1(7")&*$ "+*H,%$ "*8"+7&*$ "0*(,?;"#&*$ '"/&$ #7&+"%(,#$ "+*$ ;:$ *0&$ ),$ )-&$,8&%"11$ #9#)&/$ 7,/B1&I()9J$),$(+*(7")&$"+*$,8&%7,/&$"11$)-&$*(..(701)(&#$ (/B,#&*$ ;9$ )-&$ (/B1&/&+)")(,+$ "+*$ (+)&'%")(,+$,.$ "11$ )-&$ #,.)!"%&$ "+*$ -"%*!"%&$ /,*01&#$ (+8,18&*$ 2#07-$ "#$ )-&$ B%&#&+7&$,.$ &1&7)%,/"'+&)(7$ (+)&%.&%&+7&J$ -&")$ *(##(B")(,+$"+*$#,0+*$(#,1")(,+:3$ <,70#(+'$,+$ (/B1&/&+)")(,+$ (##0&#J$ "$ )9B(7"1$ &I"/B1&$,.$"$B%,;1&/$%"(#&*$(#$)-&$&/B1,9/&+)$,.$)-&$K10&),,)-$ B%,),7,1C$ D$ /"@,%$ *%"!;"7F$,.$ 0#(+'$ ()$.,%$ )-&$ )%"+#/(##(,+$,.$)-&$-&"*?)%"7F(+'$,0)B0)$"#$!&11$"#$)-&$ )%(''&%$ B%&##$ &8&+)$!"#$ )-&$ 7,+70%%&+)$ 0#"'&$,.$ )-&$ L3MNOG$.%&P0&+79$ ;"+*$ ;9$ )-&$ "0*(,$ )%"+#/(##(,+H%&7&B)(,+$&P0(B/&+)J$!-(7-$(/B,#&*$#,/&$ "0*(;1&$*(#),%)(,+#$ "%)(."7)#$2)9B(7"119$ (+$ )&%/#$,.$ #-,%)$ "0*(,$)%"+#/(##(,+$'"B#$"+*$%&1")(8&$B1"9;"7F$471(7F#6:3$ O,!&8&%J$*0%(+'$)-&$45(*,1"6$*&/,+#)%")(,+$()$;&7"/&$ &8(*&+)$)-")$)-&$B&%7&B)0"1$1&8&1$,.$)-&#&$*(#),%)(,+#$!"#$ 1,!$ 2B%,;";19$ ;&7"0#&$,.$ )-&$.%&P0&+79?-,BB(+'$ K10&),,)-$)%"+#/(##(,+$"+*$%&)%"+#/(##(,+$/&7-"+(#/#$ &/B1,9&*:$"+*$()$*(*$+,)$"..&7)$)-&$'"/&?B1"93$ <('0%&$S$5(*,1"$DED?'"/&$*&/,+#)%")(,+$ DB"%)$.%,/$ )-&$ B,#()(8&$ /&"+$ '&+&%"1$ (/B%&##(,+J$ )-&$.,11,!(+'$,;#&%8")(,+#$"+*$)%&+*#$!&%&$,;)"(+&*C$":$A-&$ 0#&%$ &P0(B/&+)$,+?;,*9$ (+#)"11")(,+$ "+*$ 0#"'&$!"#$.,0+*$),$;&$"77&B)";1&J$"1)-,0'-$()$#,/&-,!$%&#)%(7)&*$ )-&$-0/"+$/,8&/&+)#$2"+*$B"%)(701"%19$!"1F(+':$!()-(+$ )-&$ (+#)"11")(,+J$ &#B&7("119$ ")$ )-&$ 8&%9$ ;&'(++(+'$,.$ "$ '"/&$#&##(,+$;:$*&#B()&$)-&$%&1")(8&19$#(/B1&$'"/&?B1"9J$ )-&$ /"@,%()9$,.$ )-&$ 0#&%#$ )%(&*$ ),$ &I)&+*$ )-&$ #7&+"%(,$ "77,%*(+'$ ),$ )-&$ '&+&%"1$ "0*(,?8(#0"1$ B&%7&B)(,+$ )-&9$ 7%&")&*$ *0%(+'$ )-&(%$ B"%)(7(B")(,+3$ D.)&%$ "$ +0/;&%$,.$ *(#70##(,+#$!()-$ )-&#&$ B1"9&%#J$ ()$!"#$ 7,+710*&*$ )-")$ )-(#$ #7&+"%(,$ &I)&+#(,+$!"#$ %"(#&*$ ;9$ )-&$ 7,/B1&I()9$ "+*$ -"%/,+(7$ (+)&'%()9$,.$ )-&$ "0*(,$ "+*$ 8(#0"1$ "0'/&+)&*$ &+8(%,+/&+)$ )-")$ )%(''&%&*$ )-&$ B1"9&%#X$ (/"'(+")(,+$7:$)-&$B%&#&+)")(,+$,.$)-&$#7,%&$,+$)-&$YZW$ /,+(),%$ &+-"+7&*$ )-&$ 7,/B&)()(8&$ 7-"%"7)&%$,.$ )-&$ '"/&C$ /"+9$ 0#&%#$ B1"9&*$ /,%&$ )-"+$,+7&$ (+$,%*&%$ ),$ (/B%,8&$)-&(%$#7,%&3$A-&$1"))&%$,;#&%8")(,+$*&+,)&#$)-&$ %"B(*$"*"B)")(,+$,.$)-&$/"@,%()9$,.$)-&$0#&%#HB1"9&%#$),$ )-&$"0'/&+)&*$&+8(%,+/&+)J$!-(7-$"11,!&*$"77&B)(+'$()$ "#$"+$"*8"+7&*$)9B&$,.$"$7,/B0)&%$'"/&3$ $!"#$%&'()$*+,-.,(/+,0$1.2$3+450$130$6#!0$&778$9:(+;.4$8<%&$ =>?.$@$+A$B$ 110

!"#$%&'&$()%(&*+((!!"( #$%#&'()$%(*!"#$ %&'#()*#+'$ +',#-.$ /0$ &--/,+.&,#$ '&1&.+2$ +3'&/$.#4"-/2/1&#($+-'$4/-4#).(5$(34"$+($6317#-.#'$8#+2&.9$ 63'&/$:686;$&($)*/,&(&/-&-1$-#%$0/*7($/0$+))2&4+.&/-(<$!"&($%/*=$*#)*#(#-.($+-$&-&.&+.&,#$)*/)/(+2$%"&4"$+&7($./$ 4/7>&-#$ 686$ %&."$."#$ +3'&/?1+7#($ 4/-4#).5$ &-$ /*'#*$./$+22/%$."#$'#,#2/)7#-.$/0$+',+-4#'$1+7#?)2+9$ (4#-+*&/($ %"#*#$ (/3-'$ *#)*#(#-.($."#$ 03-'+7#-.+2$ 7#'&+$ 4/7)/-#-.<$ @-$ /*'#*$./$ +((#(($ (#,#*+2$ &7)2#7#-.+.&/-$ &((3#($ +-'$ />.+&-$ +$ 7#+(3*#$ /0$."#$ #00#4.&,#-#(($ /0$."#$ +>/,#$.#4"-/2/19$ 4/7>&-+.&/-5$ +-$ 686?1+7#$)*/./.9)#$%+($*#+2&A#'$.#*7#'$+($BC&'/2+D5$ %"&4"$ #7)2/9($ 7/(.$ /0$."#$ 686$.#4"-&E3#($ +-'$ 7#."/'($)*/)/(#'$+2*#+'9$&-$."#$2&.#*+.3*#<$@.$%+($("/%-$."+.$."#$ '#,#2/)7#-.$ /0$ 686?1+7#($ &($ +$ '#7+-'&-1$.+(=5$(&-4#$&.$*#E3&*#($."#$#00&4&#-.$&-.#1*+.&/-$/0$(#,#*+2$ '&00#*#-.$(3>?(9(.#7($+-'$7/'32#(<$F-$."#$/."#*$"+-'5$."#$ '#7/-(.*+.&/-$/0$."#$ BC&'/2+D$686?1+7#$ "+($ +2(/$ )*/,#'$."+.$ 686?1+7#($ *#)*#(#-.$ +$,#*9$ &-.#*#(.&-1$ +2.#*-+.&,#$0/*$+3'&/,&(3+2$+-'$1+7#$&-'3(.*9<$ @.$&($."#$+3."/*(G$-#+*$03.3*#$&-.#-.&/-$./$03*."#*$#H)2/&.$."#$ '#*&,#'$ *#(32.($ +-'$ 4/-423(&/-($ /0$."&($ %/*=$ 0/*$ '#,#2/)&-1$7/*#$4/7)2&4+.#'$686?1+7#($>9$)*/,&'&-1$ 7/*#$02#H&>2#$7#+-($/0$3(#*$&-.#*+4.&/-<$!9)&4+2$03*."#*$ '#,#2/)7#-.($ 4+-$ &-423'#$ 7/>&2#$ 686?1+7#($.+=&-1$ )2+4#$&-$)+*.&+229?4/-.*/22#'$/3.'//*$#-,&*/-7#-.(<$ +"(,-.-,-%#-(* IJK$ L<$ M&#**#5$ N<$ O"#.%9-'5$ M<$ C22&(5$ P<$ Q<$ R&--5$ S$ T3'&$+-'$!<$U#(.&-5$BV+7#$W/.$F,#*X$644#((&>&2&.9$ @((3#($ &-$ Y&'#/$ V+7#(D5$ @-$ Z*/4<$ /0$."#$ [*'$ @-.#*-+.&/-+2$ O/-0#*#-4#$ /-$ \-&,#*(+2$ 644#(($ &-$ R37+-?O/7)3.#*$ @-.#*+4.&/-5$ T+%*#-4#$ C*2>+37$ :]^^_;<$ I]K$ P<$ Q/00+.$ +-'$ P<$ O+**5$ B\(&-1$ +3'&/$ +&'($./$ +317#-.$1+7#($./$>#$)2+9+>2#$0/*$>2&-'$)#/)2#D5$@-$ Z*/4<$ /0$."#$ 63'&/Q/(.29$ ]^^`$ O/-0#*#-4#$ /-$ @-.#*+4.&/-$%&."$S/3-'5$Z&.#+5$S%#'#-5$F4.<$]^^`<$ I[K$ 6<$ Ra*7a$ #.$ +2<5$ B6317#-.#'$ *#+2&.9$ +3'&/$ 0/*$ 7/>&2#$ +-'$ %#+*+>2#$ +))2&+-4#(D5$ N/3*-+2$ /0$."#$ 63'&/$ C-1<$ S/4<5$ Y/2<$ _]5$ W/$ b5$ N3-#$ ]^^c5$ ))<$ bj`?b[d<$,#-.)/%)0(1)&*2%3(,#02"(4&.) I_K$ S<$M/H#*5$e6*.$!"+.$Z3.($g/3$&-$."#$Z&4.3*#5$T&=#$@.$ /*$W/.e5$W#%$g/*=$!&7#(5$6)*&2$]f5$]^^_<$ IbK$ Q<$!&=+-'#*5$Q<$L+*h+2+&-#-$+-'$Y<$8&&=/-#-5$B6-$ 6317#-.#'$8#+2&.9$63'&/$R#+'(#.5D$&-$Z*/4<$/0$."#$ JJ." $@-.<$O/-0<$/-$P&1&.+2$63'&/$C00#4.($:P6iH?^`;5$ C()//5$i&-2+-'5$S#).<$Jjc5$]^^`<$ IfK$ N<$M2+3#*.5$BS)+.&+2$R#+*&-1D$:*#,&(#'$#'&.&/-;5$!"#$ Q@!$Z*#((5$O+7>*&'1#5$Q+((+4"3(#..(5$Jddf<$ I`K$ Q<$!&=+-'#*5$ BS/3-'$ k3+2&.9$ /0$ +-$ 6317#-.#'$ 8#+2&.9$ 63'&/$ R#+'(#.D5$ @-$ Z*/4<$ /0$."#$ `." $@-.<$ O/-0<$/-$P&1&.+2$63'&/$C00#4.($:P6iH?^_;5$Q+'*&'5$ S)+&-5$S#).<$]^^_<$ IdK$ Y<$8&&=/-#-5$Q<$!&=+-'#*$+-'$Q<$L+*h+2+&-#-5$B6-$ 6317#-.#'$ 8#+2&.9$ 63'&/$ Q&H#*$ +-'$ CE3+2&A#*D5$ 63'&/$ C-1<$ S/4<$ J]c." $O/-,#-.&/-5$67(.#*'+75$ Q+95$]^^`<$ IJ^K$P<$M#1+32.$+-'$Q<$U#-A#25$BP&*#4.$O/7)+*&(/-$/0$."#$ @7)+4.$ /0$ R#+'$!*+4=&-15$ 8#,#*>#*+.&/-$ +-'$ @-'&,&'3+2&A#'$R#+'?8#2+.#'$!*+-(0#*$i3-4.&/-($/-$."#$S)+.&+2$Z#*4#).&/-$/0$+$Y&*.3+2$S/3-'$S/3*4#D5$ N/3*-+2$ /0$."#$ 63'&/$ C-1<$ S/4<5$ Y/2<$ cd5$ W/$ J^5$ F4.<$]^^J<$ IJJK$Z<$S.+7)025$B['#S/3-'M/H$j$6$S4+2+>2#5$Z2+.0/*7$ @-'#)#-'#-.$ [P$ S/3-'$ S9(.#7$ 0/*$ Y&*.3+2$ +-'$ 6317#-.#'$ 8#+2&.9$ 6))2&4+.&/-(D5$ @-$ Z*/4<$ /0$ C\8FV86ZR@OS$]^^[5$]^^[<$ IJ]K$Q<$ W/&(.#*-&-15$!<$ Q3(&25$ 6<$ S/-.+44"&$ +-'$ 8<$ Rl2'*&4"5$B[P$M&-+3*+2$S/3-'$8#)*/'34.&/-$3(&-1$ +$ Y&*.3+2$ 67>&(/-&4$ 6))*/+4"D5$ @-<$ Z*/4<$ /0$ @-.#*-+.&/-+2$S97)/(&37$/-$Y&*.3+2$C-,&*/-7#-.(5$ R37+-?O/7)3.#*$ @-.#*0+4#($ +-'$ Q#+(3*#7#-.$ S9(.#7($:YCO@QS$]^^[;5$S%&.A#*2+-'5$N329$]^^[<$ IJ[K$N<$S/'-&=5$S<$!/7+A&45$8<$V*+((#.5$6<$P3#-(#*$+-'$ Q<$M&22&-1"3*(.5$BS)+.&+2$S/3-'$T/4+2&A+.&/-$&-$+-$ 6317#-.#'$ 8#+2&.9$ C-,&*/-7#-.D5$ @-$ Z*/4<$ /0$."#$ FAOR@G^b5$ W/,#7>#*$ ]]?]c5$ ]^^b5$ S9'-#95$ 63(.*+2&+<$ IJcK$"..)Xmm/)#-(/3-'4/-.*/2</*1$:2+(.$,&(&.#'$N329$][*'$5$ ]^^d;<$ IcK$ P<$M&*4"0&#2'5$P<$T/*&15$+-'$L<$Z"&22&)(5$eW#.%/*=$ P9-+7&4($ &-$ S3(.+&-+>2#X$ +$ */>/.&4$ (/3-'$ &-(.+22+.&/-e5$F*1+-&A#'$S/3-'5$J^5$]^^_5$))<$]bf? ]fc<$!"#$%&'()$*+,-.,(/+,0$1.2$3+450$130$6#!0$&778$9:(+;.4$8<%&$ =>?.$@$+A$@$ 111

Audio in Multimodal Applications By Francis Rumsey Staff Technical Writer INTRODUCTION A papers session held last year at the 127th Convention in New York, Audio in Multimodal Applications, highlighted the ways in which audio interacts with other sensory inputs such as visual and tactile ones. Interactive applications for audio within medical environments, games, and installations were discussed, along with novel approaches to spatialization and stereo image correction for displays. LISTENING WITHIN AND WITHOUT YOU Inspired by research in the visual domain, Santoro et al. looked into the cognitive performance of individuals when listening to sounds inside and outside their heads in paper 7865, Listening within You and without You: Center-Surround Listening in Multimodal Displays. They define center sounds as those perceived within you and surround sounds as those perceived without you, which is slightly different from the terminology normally employed with loudspeaker surround sound. Spatialized auditory displays that use binaural stimulation based on HRTFs (headrelated transfer functions) can present either the same sound to each ear (known as diotic presentation) or different sounds to each ear (so-called dichotic presentation). The former tends to give rise to sounds perceived inside the head and the latter to sounds that are more externalized. When investigating these they were interested in the speed of decisions related to stimuli of each type, and in comparing the difference between stimuli presented together and separately. One of the primary motivators for the study was the idea that there is evidence of parallel processing in the visual field for images in the focal or central area of vision and images in the peripheral area. In other words, it is suggested that the brain can attend to activity in these regions independently and simultaneously. While the auditory sense has generally been assumed to have relatively uniform performance in all directions for external free-field sources, it is possible that one might exploit center versus surround listening for the processing of independent information connected to unrelated tasks. The authors therefore attempted to compare the results of a dual auditory task with a dual visual task. In the dual auditory task listeners were asked to speak one of three similar words presented over a headset in the center mode and to identify the direction of one of three pink noise bursts presented left, right. or on the line of sight in the surround mode. Surround mode stimuli were panned using HRTFs based on the KEMAR manikin. In the dual visual task, subjects were required to speak a word presented at a central point in the visual field or locate a large diamond-shaped object presented in the left, right, or upper visual periphery. The tasks were undertaken by five university students who were told that both speedy and accurate performance was required and that they should attend to both tasks equally. Since the response method was spoken for one mode and manual (push button) for the other, it was possible to evaluate situations in which either one or both responses were required together. Overall conclusions suggested that a manual button press can be done faster than a verbalization response and that responses to auditory stimuli were faster than the corresponding responses to visual stimuli, no matter what the mode of presentation. The authors determined interference times, which are the difference in response times between concurrent center/surround presentations and separate presentations (the time penalty for trying to do two tasks at once). The increase in performance time in the dual mode averaged 51 ms, while the highest value was 200 ms. It was found that for some individuals dual tasks could be performed with very little additional time compared with the single tasks (interference times of 10 to 20 ms), suggesting the possibility of independent cognitive processing for center and surround stimuli. Overall there was less interference for auditory stimuli than for visual ones, leading the authors to propose the consideration of the auditory sense as a strong candidate for inclusion in the design of human interfaces for decision support systems. MULTIMODAL AURALIZATION USING AN AUDIO-TACTILE DISPLAY Abercrombie and Braasch analyze the factors influencing the design of an audio-tactile display for conducting experiments on the dual modalities of hearing and vibration sensing. Their paper, A Method for Multimodal Auralization of Audio-Tactile Stimuli from Acoustic and Structural Measurements (paper 7867), shows how it is necessary to measure source and environment conditions independently. In the case of their system, the audio signal from a musical source can be recorded using a Head Acoustics dummy head and the structural vibration generated by the source is recorded using an accelerometer. In order to decouple the musical instrument J. Audio Eng. Soc., Vol. 58, No. 3, 2010 March 191 112

!"#$%&$'&(")*$+%#,)&!--)$.,*$%'/ the display is as important as, for example, the calibration of a critical listening room. An electrodynamic shaker is used, similar to that used in experiments by others on whole-body vibrations in cars, known as the Buttkicker LFE. One of the problems with audio tactile displays is that the vibration platform on which the listener sits can also radiate sound energy when it is moving, and the actuating mechanism can make some noises Fig. 1. Configuration of a system for capturing as well. For controlled sound and vibration information from a musical experiments one would instrument (double bass in this case), using a dummy head and accelerometer. The platform is wish to isolate the variables decoupled from the floor using a spring/damper involved, so the authors combination. (Figs. 1 and 2 courtesy Abercrombie propose to use closed-ear and Braasch) headphones for audio from the supporting floor, an isolation replay (Sennheiser HD280) because of platform is used that is designed to their high levels of sound isolation. ensure that vibrations above the instruin conclusion, we find that tactile ment s fundamental frequency of 41 Hz signals in real environments vary are not affected by the floor structure. widely between listener positions in The basic configuration is shown in the room, much more than the correfig. 1. A parameter known as accelersponding acoustic conditions. It is said ance is measured for the structural envithat a listener who walks across a ronment within which the instrument is single floor construction may experiplayed. Essentially this is measured by ence up to 26 db difference in hitting the floor at a point where the frequency-weighted acceleration instrument would be played and then response to the same source. Tactile measuring the acceleration output at the signals tend to lag audio signals with point where the listener would be situdelays of up to 74 ms. ated. A laser doppler vibrometer is suspended from a step-ladder with a MUSICAL BIOFEEDBACK FOR bungee cord and the output is time-intebreathing REGULATION grated using postprocessing. A fremusical biofeedback was studied by quency range of 35 to 100 Hz is considsiwiak et al. and reported in Catch ered feasible (and fulfils the Your Breath Musical Biofeedback for requirements for whole-body vibration Breathing Regulation (paper 7870). standards), although extension above Motivated by the challenge of capturing this range will be needed for future useful data in medical 4D-CT (fourresearch on structural radiation of dimensional computational tomograsound. phy) scans, the authors looked for ways Tactile signals are reproduced using of steadying a patient s breathing using a motion platform made of two layers musical tempo and harmonic rhythm. of 20-mm plywood laminated together Apparently breathing irregularity is one and supported by a frame, as shown in main reason why patient scans can be Fig. 2. Challenges are associated with disrupted, leading to poor quality the avoidance of resonances and bendimages. This can be particularly imporing waves in the platform, and this can tant when imaging human lungs in be compensated to some extent by caliorder to diagnose lung cancer, as patient brating it in the frequency domain. The nervousness can interfere with the authors claim that attention to the imaging process. In the prototype develfrequency response of the tactile part of oped by the authors, breathing is moni192 Fig. 2. Prototype vibration platform used for an audio-tactile display tored by a camera and a reflective cube that optically scans the chest motion. A musical accompaniment is synchronized to the breathing rate, which adapts continuously so that the accompaniment and principal parts of the music align in a harmonious way when the patient s breathing aligns with a target breathing pattern. Results were good, providing a 55% reduction in respiratory variations and a 70% reduction in period variations. Artistic applications of the system were also attempted in public spaces such as an art museum, conference center, and trade fair. They also plan to examine the potential for use with 4D PET imaging in the medical domain, as well as to investigate whether or not the system can be useful in methods used to promote relaxation and reduce blood pressure. They also mention potential applications in training young musicians. AN AUGMENTED REALITY AUDIO GAME PROTOTYPE Augmented reality audio (ARA) is the term coined for systems that integrate natural sound and reproduced sound so as to enhance or complement natural listening. Synthetic or reproduced sounds can be heard along with natural sounds, usually using binaural technology and headphones, in such a way that the natural sounds are either elecj. Audio Eng. Soc., Vol. 58, No. 3, 2010 March 113

!"#$%&$'&(")*$+%#,)&!--)$.,*$%'/ tronically mixed with the artificial ones or that the headphones are acoustically transparent to natural sounds. In Eidola: An Interactive Augmented Reality Audio-Game Prototype (paper 7872), Moustakas et al. show how ARA can be used to introduce 3-D audio into game play that does not rely on computer-generated visual information. Eidola is effectively an audiobased game in which the player has to enter a room and defeat a number of creatures that move within a 3-D space. In order to provide some markers and boundaries, as well as a more natural game environment, within the game room are placed a number of real physical objects, which emit sounds themselves and constrain the movement of the virtual creatures by their sound volume. An ARA headset worn by the player is equipped with wireless audio reception operating in the 2.4-GHz range, as well as head-tracking based on a modified computer joystick, as shown in Fig. 3. The output of the head-tracker was relayed back to the central controller using a Bluetooth link, which was found to have adequate bandwidth and latency for real-time transmission of the data, as well as carrying information about the user s trigger. Head tracking was used to measure movements of the user s head for use in accurate binaural rendering, and a video camera was used to identify the user s absolute position in the room. In-ear phones are combined with miniature microphones that are intended to capture natural sounds binaurally, so that they can be mixed Fig. 3. Head-tracking system used in the Eidola ARA game (Figs. 3 and 4 courtesy Moustakas et al.) J. Audio Eng. Soc., Vol. 58, No. 3, 2010 March Fig. 4. Architecture of the prototype Eidola ARA game system with the synthetic sounds of the game. The architecture of the prototype system is shown in Fig. 4. Demonstrations and basic tests of the game prototype revealed that users generally found the installation environment suitable for creating a gameplay atmosphere, while the binaural technology was found to be realistic and accurate by experienced listeners. The scores of experienced listeners were found to be higher than those who were unfamiliar with binaural technology. Having to wear the equipment was acceptable but slightly restricted movement, particularly walking and at the start of the session. Players appeared to adapt quite rapidly to the augmented environment and accepted it as an advanced type of computer game. LOUDSPEAKERS FOR LARGE FLAT DISPLAYS A problem with large flat displays is that it s hard to get a good stereo image for listeners in various positions when you have loudspeakers mounted on the sides of the display. The image may be adequate for listeners seated in the hot spot, when a strong phantom center can be formed, but for those off to one side the image quickly shifts into the nearest loudspeaker. The main reason for this is the relatively small time delay between the channels needed to shift the image to one side in conventional stereo (not much more than one millisecond), which can be introduced if a listener is only a foot or two off center. In A Loudspeaker Design to Enhance the Sound Image Localization on Large Flat Displays (paper 7866), Nava et al. attempt to remedy this situation for an immersive teleconferencing system known as t-room by introducing a physical means of modifying the radiation pattern of loudspeakers using rigid barriers attached to the side of large displays. This acts to modify the level of sound reaching a listener s ears according to his position, as shown in Fig. 5. Rather like earlier time level trading loudspeaker designs introduced in the past, such as Canon s Wide Imaging Stereo, a listener closer to the right-hand loudspeaker will experience an attenuated version of that loudspeaker s output 193 114

!"#$%&$'&(")*$+%#,)&!--)$.,*$%'/ compared with a listener in the center, at least at high frequencies. The polar pattern is such that it favors listeners on the opposite side of the listening position range to the loudspeaker. In this case it is suggested that Listener A, for example, will experience an earlier sound from the right loudspeaker, which would normally result in the image being shifted to that side, but this is somewhat compensated by the reduction in level caused by the physical barrier. Simulated and measured results suggested that the design was indeed achieving an effect similar to the one intended, with a frequency-dependent polar pattern that favored the opposite side to the sounding loudspeaker. It was noted that the dimensions of the structure will affect the frequency range over which the effect is most prominent, presumably needing to be fairly large to have a significant effect at low frequencies. Listening tests using panned noise bursts at five different locations from left to right, panned using a combination of time and level difference between the channels, suggested that listeners in the three positions shown in Fig. 6 perceived images in the intended positions, although the correlation between intended and perceived positions was found to be highest in the central listening position. A prototype display employing this arrangement was constructed using a real 65-inch LCD panel and six loudspeakers with rigid barriers, as well as additional loudspeakers top and bottom to improve the low-frequency response. A video representation of a person talking while moving around was aligned with the sound image of the voice using stereoscopic video cameras to track the position of the mouth. The authors suggest that the perception of sound images is as good as that obtained with conventional loudspeaker for those sitting at the center, while those off center are able to localize the images almost as well. WAVEFIELD SYNTHESIS IN INTERACTIVE SOUND INSTALLATIONS Wavefield synthesis has the potential to create focused sources, that is virtual sound images with an almost holo194 a b Fig. 5a. Loudspeaker configuration to enhance the localization of sound images on flat panels. 5b. Dimensions of the experimental prototype. (Figs. 5 and 6 courtesy Nava et al.) phonic character, which can be located in front of a loudspeaker array and remain in a constant position when listeners move. This aspect of its capability was used by Leslie et al. in their interactive sound installation known as GrainStick, which was a collaboration between the composer Pierre Jodlowski and the European project SAME (Sound and Music for Everyone Everyday Everywhere Everyway), and discussed in paper 7871, Wavefield Synthesis for Interactive Sound Installations. Image spatialization of virtual percussive instruments was controlled using the gestures of one or more people tracked by means of a sixcamera ARtrack motion camera system. Nintendo Wii controllers were used to record the acceleration of users gestures in order to enable the identification of kick gestures that could be used to hit virtual percussive instruments. The instruments thus hit Fig. 6. Listener and sound-image positions for a listening experiment to localize sounds were rendered by the WFS system at the point in space where the user had gestured, so that the sounds appear to follow the user s hand. One of the virtual percussion instruments concerned was a form of synthetic rainstick, created by triggering small sound samples from a corpus based on the angle between the controllers. The authors explain that the resulting effect is one of a naturalfeeling and sounding recreation of small grains spilling from one side of a container to another, which are being rendered as focal sources using the WFS system. The rendered grains travel along the length of the WFS array as they tumble from one end to the other in the virtual instrument, integrating synthesis control with spatialization control, they say. A photograph of two users playing with the system is shown in Fig. 7. They can collaborate in controlling the virtual rainstick, the authors suggest, tipping it in various ways and spreading the sound grains and percussive sounds across the soundfield. Customized filters designed by IRCAM enabled the creation of focal sources with a controlled radiation pattern and apparent directivity, under the control of three computers driving a total of 48 loudspeakers spaced 15 cm apart on 12 multiactuator panels. The total array length was 7.2 meters. The system was designed by Sonic J. Audio Eng. Soc., Vol. 58, No. 3, 2010 March 115

!"#$%&$'&(")*$+%#,)&!--)$.,*$%'/ interactive systems is gaining a greater degree of success as research moves forward the boundaries of multimodal technology. Fig. 7. Two users collaborate in controlling a spatialized virtual instrument. Wavefield synthesis panel loudspeakers are shown in the background. (Courtesy Leslie et al.) Emotion, and position and directivity information from the handheld controllers were sent using UDP messages to the networked computers. In the setup shown in Fig. 7, focal sources could be rendered within a specified region bounded by the ends of the array and some meters in front of the array. A limiting factor is that the focal sources have to be between the array and the listeners they cannot be further out into the room beyond the listener for a system with only a linear array on one side. A primary advantage of this type of rendering approach, the authors claim, lies in the fact that sources remain stable as listeners move around. In this way installations and system designs can be made allocentric, which means that they are designed around a common coordinate system. This is different from more traditional forms of rendering that are inherently egocentric, or based on the subject s head position as a reference point for the coordinate system. CONCLUSION Novel approaches to spatialization coupled with motion tracking, biofeedback, or tactile information provide new ways to integrate reproduced sound with human activity. It may be possible, it seems, for the brain to process different spatial audio streams concurrently, leading to the potential for use in information display systems using more than one spatial modality. There is the potential for therapeutic applications of audio as well as implementation in new forms of entertainment or art. The seamless integration hoped for between spatialized visual and auditory information in J. Audio Eng. Soc., Vol. 58, No. 3, 2010 March Editor s note: The papers reviewed in this article, and all AES papers, can be purchased online at <www.aes.org/ publications/preprints/search.cfm> and <www.aes.org/journal/search.cfm>. AES members also have free access to past technical review articles such as this one and other tutorials from AES conventions and conferences at <www.aes.org/tutorials/>. Prism Sound is now a global sales & support agent for: Loudspeaker design and analysis solutions electronic test, acoustic test......integrated $#"!#"! "! "!! #" "!! "! "! "! "! "!! "#" "! "!!!! "! "! " "! " "!!! "! "! " "!!!!!!! " " # #!!!! "! "!!" " "! #!! "! " dscope Series III analog and digital audio analyzers #! #! " 195 116