ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ ΥΠΟΛΟΓΙΣΤΙΚΑ ΜΑΘΗΜΑΤΙΚΑ ΠΛΗΡΟΦΟΡΙΚΗ ΣΤΗΝ ΕΚΠΑΙΔΕΥΣΗ ΚΑΤΕΥΘΥΝΣΗ: ΤΕΧΝΟΛΟΓΙΕΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΙ ΕΠΙΚΟΙΝΩΝΙΩΝ ΣΤΗΝ ΕΚΠΑΙΔΕΥΣΗ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΘΕΜΑ: «Χρήση εικονικών χαρακτήρων (avatars) σε εκπαιδευτικό περιβάλλον εικονικής πραγματικότητας» Επιβλέπων καθηγητής Χ. Ζαγούρας Ευάγγελος Δ. Κοτσιφάκος Ιανουάριος 2008

2 Η παρούσα μελέτη έγινε με αφορμή τη διπλωματική εργασία μου στα πλαίσια του μεταπτυχιακού προγράμματος «Υπολογιστικά Μαθηματικά και Πληροφορική στην Εκπαίδευση» με κατεύθυνση στις «Τεχνολογίες Πληροφορικής και Επικοινωνιών στην Εκπαίδευση» του τήματος Μαθματικών του Πανεπιστημίου Πατρών. Επιβλέπων της διπλωματικής μου εργασίας ήταν ο κ. Παναγιώτης Πιντέλας τον οποίο και ευχαριστώ για τη δυνατότητα που μου προσέφερε να ασχοληθώ με τον πολύ ενδιαφέροντα τομέα της Εικονικής Πραγματικότητας καθώς και για τις πολύτιμες συμβουλές του. Επίσης ευχαριστώ τον κ. Χαράλαμπο Ζαγούρα ο οποίος ανέλαβε την επίβλεψη της διπλωματικής μου εργασίας κατά το τελευταίο στάδιο εκπόνησής της. Τέλος, δε θα μπορούσα να παραβλέψω να ευχαριστήσω πολύ τον κ. Ιωάννη Μεσσήνη, υποψήφιο Διδάκτορα του Παιδαγωγικού τμήματος Δημοτικής Εκπαίδευσης του Πανεπιστημίου Ιωαννίνων, για την πολύτιμη βοήθεια του και κυρίως για τη συμπαράσταση του και την στήριξη που μου παρείχε καθ όλα τα στάδια της συνεργασίας μας για την εκπόνηση της παρούσας διπλωματικής εργασίας.

3 Περιεχόμενα Περίληψη...6 Κεφάλαιο 1 Εικονική Παραγματικότητα Εισαγωγή Ορισμός της Εικονικής Πραγματικότητας Ιστορία της Εικονικής Πραγματικότητας Η Εικονική Πραγματικότητα στην Επιστημονική Φαντασία Ταξινόμηση της τεχνολογίας της Εικονικής Πραγματικότητας Συστήματα immersive VR Εικονικά περιβάλλοντα εμβύθισης Virtual Environment Generator Η κεντρική μονάδα Συσκευές απεικόνισης (Display devices) Συστήματα ανίχνευσης θέσης και προσανατολισμού Συστήματα ηχητικών περιβάλλοντων Συστήματα απτικών κιναισθητικών περιβάλλοντων Συστήματα non-immersive ή desktop VR Μή εμβυθιστικά εικονικά περιβάλλοντα Projection-based systems Mirror Worlds Εικονική Αλληλεπίδραση Απτική Διασύνδεση και Εικονικός Κόσμος Χρήση της Απτικής Διασύνδεσης Γυαλιά Εμβύθισης - Κράνος (Head-Mounted Display, HMD) Boom, στερεοσκοπικά γυαλιά και άλλες εναλλακτικές οθόνες Σύστημα Αυτόματου Εικονικού Περιβάλλοντος Σπηλαίου (CAVE) Γάντια αλληλεπίδρασης Cyber Glove Γιλέκο Αλληλεπίδρασης Εικονικής Πραγματικότητας (Interactor VR Vest) Καρέκλα Εικονικής Πραγματικότητας (Intensor VR Chair) Συνεργασιακά ή διαμοιραζόμενα εικονικά περιβάλλοντα Προοπτικές για το μέλλον 40 Κεφάλαιο 2 Εφαρμογές της Εικονικής Πραγματικότητας Εφαρμογές της Εικονικής Πραγματικότητας Απεικόνιση συστημάτων πληροφοριών Μοριακή μοντελοποίηση Ιατρική Προσομοίωση Αξιολόγηση αρχιτεκτονικού σχεδιασμού Αξιολόγηση βιομηχανικού σχεδιασμού VR για ανθρώπους με ειδικές ανάγκες Προσομοίωση πτήσης Βιομηχανία άμυνας Η βιομηχανία της διασκέδασης...52 Κεφάλαιο 3 Η Εικονική Πραγματικότητα στην εκπαίδευση Η Εικονική Πραγματικότητα στην Εκπαίδευση Παραδείγματα εφαρμογών στη διδασκαλεία επιστημών Εικονικά περιβάλλοντα στη διδασκαλία της Ιστορίας Το project 450 π.χ Πείραμα και εφαρμογή ΕΠ για την υποστήριξη της διδασκαλία μαθήματος Χημείας Β Γυμνασίου Σχεδιασμός πειράματος και εφαρμογής Χρησιμοτητα της εικονικής πραγματικότητας στην εκπαίδευση...68

4 3.6 Πλεονεκτήματα της χρήσης ΕΠ στην Εκπαίδευση...68 Κεφάλαιο 4 Εκπαίδευση στην αντιμετώπιση σεισμών Εισαγωγή Μέτρα προστασίας από το σεισμό Εκπαίδευση στην αντιμετώπιση σεισμού με χρήση VR Προσωμοίωση σεισμών και εικονική πραγματικότητα Αντικείμενο / στόχοι του έργου Σεισμόπολις Περιγραφή κέντρου Σεισμόπολις Σεισμική τράπεζα Εικονική πραγματικότητα και αλληλεπίδραση Πληροφόρηση και εκπαίδευση Αναμενόμενα αποτελέσματα Η Εικονική Πραγματικότητα στην Ελλάδα Το μέλλον της Εικονικής Πραγματικότητας...85 Κεφάλαιο 5 Το Εικονικό περιβάλλον της σχολικής αίθουσας και οι εικονικοί χαρακτήρες Εισαγωγή Η δημιουργία του εικονικού περιβάλλοντος Η παρουσίαση της εικονικής αίθουσας Φωτισμός της εικονικής αίθουσας Οι κάμερες της αίθουσας Τα αντικείμενα της αίθουσας Συμπεριφορά του εικονικού χαρακτήρα στην εικονική αίθουσα Εισαγωγή του εικονικού χαρακτήρα Εισαγωγή κινούμενης εικόνας στον εικονικό χαρακτήρα Διατήρηση του εικονικού χαρακτήρα πάνω στο πάτωμα Εισαγωγή μηχανισμού για διαχείρηση συγκρούσεων Δήλωση αντικειμένων ώς εμπόδια Ενεργοποίηση της κάμερας από την αρχή της σκηνής Δυναμικά εναλασσόμενες κάμερες Αποθήκευση και εξαγωγή του περιεχομένου Συμπεριφορά του εικονικού χαρακτήρα στο εικονικό περιβάλλον χωρίς τη χρήση πληκτρολογίου Δημιουργία του σεισμού Κατασκευή διαδρομής την οποία θα ακολουθήσει ο εικονικός χαρακτήρας χωρίς τη χρήση πληκτρολογίου Κίνηση αντικειμένου (object) του εικονικού περιβάλλοντος Συμπεράσματα, Μελλοντική εργασία Βιβλιογραφία...128

5

6 Η δομή της εργασίας Στο Κεφάλαιο 1, Εικονική Πραγματικότητα, δίνεται ο ορισμός της εικονικής πραγματικότητας και περιγράφονται τα χαρακτηριστικά του εικονικού κόσμου. Επίσης παρουσιάζεται η ιστορία της εικονικής πραγματικότητας μέχρι σήμερα. Στη συνέχεια παρουσιάζεται η αρχιτεκτονική και οι κατηγορίες συστημάτων καθώς και ο κυριότερος εξοπλισμός που απαιτείται για τη δημιουργία των εικονικών κόσμων. Στο Κεφάλαιο 2, Εφαρμογές της εικονικής πραγματικότητας, παρουσιάζονται οι τομείς στους οποίους έχει εφαρμογή η εικονική πραγματικότητα όπως εκπαίδευση, ψυχαγωγία, ιατρική προσομοίωση, προσομοίωση πτήσης, βιομηχανία άμυνας κλπ. Στο Κεφάλαιο 3, Η εικονική πραγματικότητα στην εκπαίδευση, περιγράφονται οι λόγοι για τους οποίους η χρήση τεχνολογιών εικονικής πραγματικότητας αποτελεί σημαντικό βοήθημα στην εκπαιδευτική διαδικασία. Ενδεικτικά παρουσιάζονται κάποια εκπαιδευτικά περιβάλλοντα που έχουν αναπτυχθεί για τη διδασκαλία μαθημάτων και κάποια θετικά συμπεράσματα όσον αφορά τη μάθηση από αυτά. Στο Κεφάλαιο 4, Εκπαίδευση στην αντιμετώπιση σεισμών, περιγράφονται κάποια μέτρα αντιμετώπισης των σεισμών και αναφέρονται κάποιες τεχνικές αντιμετώπισης που έχουν αναπτυχθεί σε φυσικά περιβάλλοντα. Αναφέρεται η αναγκαιότητα εισαγωγής περιβαλλόντων εικονικής πραγματικότητας στην εκπαίδευση για την προσομοίωση τέτοιων φαινομένων και τα πλεονεκτήματα που παρέχουν έναντι των άλλων τεχνικών. Επίσης αναφέρονται ορισμένα εικονικά περιβάλλοντα που έχουν υλοποιηθεί για το σκοπό αυτό. Στο Κεφάλαιο 5, Το Εικονικό περιβάλλον της σχολικής αίθουσας και οι εικονικοί χαρακτήρες, παρουσιάζεται η εικονική αίθουσα με τα αντικείμενά της και τους εικονικούς χαρακτήρες που αναπτύχθηκαν καθώς και ο τρόπος καθορισμού συμπεριφοράς μεταξύ αυτών. Αναφέρονται οι τεχνικές λεπτομέρειες δημιουργίας και ο προγραμματισμός των παραπάνω μοντέλων έτσι ώστε να δημιουργηθούν τα animations του εικονικού χαρακτήρα. Παρουσιάζεται η διαδικασία της σεισμικής δραστηριότητας και οι τεχνικές διαχείρησης του εικονικού χαρακτήρα (avatar) με τη χρήση του πληκτρολογίου αλλά και χωρίς αυτό μέσω προγραμματισμένων κινήσεων. Τέλος παρατίθεται η σχετική βιβλιογραφία που χρησιμοποιήθηκε στην εργασία. 5

7 Περίληψη Τα περιβάλλοντα εικονικής παραγματικότητας είναι ένα κατάλληλο μέσο προκειμένου κάποιος να μπορέσει να εκπαιδευτεί και να εξασκηθεί εκ του ασφαλούς σε καταστάσεις που στον πραγματικό κόσμο θα ήταν δύσκολο και ίσως επικίνδυνο για αυτόν που εκπαιδεύεται αλλά και για όσους άλλους εμπλέκονται στην εκπαιδευτική διαδικασία. Μία τέτοια κατάσταση είναι και η εκδήλωση σεισμικής δραστηριότητας σε μία σχολική τάξη. Στόχος της συγκεκριμένης διπλωματικής εργασίας είναι η δημιουργία ενός εκπαιδευτικού εικονικού περιβάλλοντος για την προσομοίωση του φαινομένου του σεισμού και η χρήση εικονικών χαρακτήρων (avatars) για την δημιουργία ενός ρεαλιστικού σεναρίου που θα λάβει χώρα μέσα στο εικονικό περιβάλλον. Στα πλαίσια της συγκεκριμένης διπλωματικής εργασίας ορίζεται η έννοια της εικονικής πραγματικότητας, περιγράφονται τα συστήματα εικονικής πραγματικότητας καθώς και ο εξοπλισμός hardware ο οποίος είναι απαραίτητος για τη δημιουργία και χρήση εφαρμογών εικονικής πραγματικότητας. Επίσης περιγράφονται οι εφαρμογές της σε όλες της φάσεις και τους τομείς της ζωής μας καθώς και η υπάρχουσα κατάσταση στον Ελλαδικό χώρο. Για το εικονικό περιβάλλον που έχει δημιουργηθεί με τη χρήστη του 3D Studio Max, που είναι μια εικονική τάξη, περιγράφονται τα αντικείμενα που υπάρχουν σε αυτή καθώς και ο τρόπος εξαγωγής αυτής και των αντικειμένων της σε κατάλληλο λογισμικό εικονικής πραγματικότητας Virtools προκειμένου να καθοριστεί η περαιτέρω συμπεριφορά τους. Επιπλέον δίνεται έμφαση στην εισαγωγή εικονικών χαρακτήρων (avatars), στο εικονικό περιβάλλον που έχει δημιουργηθεί. Περιγράφεται αναλυτικά η εισαγωγή του εικονικού χαρακτήρα στο περιβάλλον της εικονικής τάξης καθώς και τρόποι και τεχνικές όσον αφορά τη συμπεριφορά των εικονικών χαρακτήρων με τη βοήθεια των animations. Δίνεται η δυνατότητα στο χρήστη να ελέγξει ο ίδιος και να καθορίσει της κινήσεις του εικονικού χαρακτήρα μέσα στο εικονικό περιβάλλον και να τον κινεί μέσα στον εικονικό χώρο όπως θα συνέβαινε στην πραγματικότητα. Ακόμα, έχει δημιουργηθεί ένα συμβάν σεισμού όπου συγκεκριμένος εικονικός χαρακτήρας αντιδρά λάθος κατά τη διάρκεια του φυσικού φαινομένου με στόχο η συγκεκριμένη αντίδραση να είναι παράδειγμα προς αποφυγή σε αυτούς που το παρακολουθούν (μαθητές) και να εξοικιωθούν με το ενδεχόμενο εκδήλωσης σεισμού στην τάξη. Γίνεται προσπάθεια απομυθοποίησης του φαινομένου του σεισμού με ευχάριστο και ασφαλή τρόπο. 6

8 ΚΕΦΑΛΑΙΟ 1 Ο ΕΙΚΟΝΙΚΗ ΠΡΑΓΜΑΤΙΚΟΤΗΤΑ 7

9 Κεφάλαιο 1 ο Εικονική Πραγματικότητα 1.1 Εισαγωγή Η Εικονική Πραγματικότητα ή Virtual Reality (VR), δεν είναι παρά μια τεχνολογία η οποία υποστηρίζει τη δημιουργία μίας διαφορετικής μορφής interface σε ένα υπολογιστικό σύστημα. Ποιό όμως είναι το όφελος πίσω από τη χρησιμοποίηση ενός VR interface; Η μεγάλη σημασία αυτού του interface έγκειται στο ότι ο χρήστης καλείται να αλληλοεπιδράσει με το σύστημα μέσω πράξεων, κινήσεων και εκτιμήσεων που μοιάζουν με τις καθημερινές του ενέργειες, στο πραγματικό του περιβάλλον, και όχι μέσω της πληκτρολόγησης εντολών, ή του πρoτύπου mousepointer-window. Ο άνθρωπος είναι ιδιαίτερα επιδέξιος σε τέτοιες πραγματικές, ενστικτώδεις ενέργειες, λόγω του ότι τις πράττει κατά τη διάρκεια όλης του της ζωής. Είναι δηλαδή επιδέξιος στην αναγνώριση μορφών, μοτίβων και διατάξεων στο πραγματικό περιβάλλον, και στην κίνηση και αλληλεπίδραση με τρισδιάστατα αντικείμενα στον αληθινό χώρο. Μια VR εφαρμογή μπορεί να εκμεταλλευτεί αυτή την επιδεξειότητα με την τρισδιάστατη απεικόνιση πληροφοριών τις οποίες ο χρήστης βιώνει σε πραγματικό χρόνο, κινούμενος γύρω τους. Κάτι τέτοιο μπορεί να αποδειχθεί ιδιαίτερα χρήσιμο για εκτιμήσεις σε εξαιρετικά πολύπλοκα συστήματα πληροφοριών. Η εικονική πραγματικότητα, επομένως, δεν είναι παρά ένα interface ανθρώπουυπολογιστή που βιώνεται από τον άνθρωπο με τρόπο φυσικό και ενστικτώδη. Ο όρος Εικονική Πραγματικότητα χρησιμοποιήθηκε για πρώτη φορά από τον Jaron Lanier το Ο Lanier είναι ένας από τους πρωτοπόρους της Εικονικής Πραγματικότητας και ιδρυτής της εταιρείας VPL Research (από τη φράση Virtual Programming Languages) η οποία ανέπτυξε μερικά από τα πρώτα συστήματα τη δεκαετία του Η Εικονική Πραγματικότητα χρησιμοποιεί ηλεκτρονικούς υπολογιστές, για να δημιουργήσει και να προσομοιώσει υπαρκτά ή μη περιβάλλοντα, απο τα οποία ο χρήστης έχει την ψευδαίσθηση ότι περιβάλλεται και στα οποία μπορεί να κινηθεί ελεύθερα, αλληλεπιδρώντας παράλληλα με τα αντικείμενα που περιλαμβάνουν, όπως θα έκανε και στον πραγματικό κόσμο. Η εικονική πραγματικότητα (ΕΠ) παρουσιάζει στο χρήστη ένα χώρο εργασίας που του δίνει την αίσθηση ότι η πληροφορία που παρουσιάζεται από τον Η/Υ συμπεριφέρεται όπως τ' αντικείμενα του πραγματικού κόσμου [Χαρίτος & Μαρτάκος 1999, Μπιλάλης κ.ά. 2001]. Η οθόνη του Η/Υ δεν αποτελεί πλέον ένα παράθυρο του κόσμου. Ο χρήστης αισθάνεται ότι βρίσκεται «μέσα» στον Η/Υ. Μπορεί ν' αλληλεπιδράσει με τα στοιχεία του εικονικού κόσμου, να μετακινηθεί μέσα σ' αυτόν και να τον αλλάξει. Πρόκειται για έναν «εικονικό κόσμο», έναν κόσμο δηλ. χωρίς υλική σύσταση, μια τεχνητή τρισδιάστατη απεικόνιση που δημιουργείται μέσω των τεχνολογιών τρισδιάστατων γραφικών, κίνησης και εξομοίωσης ενός ισχυρού ηλεκτρονικού υπολογιστή και που επιτρέπει στον χρήστη να αλληλεπιδρά μ' αυτόν τον εικονικό κόσμο μέσω πράξεων, κινήσεων και εκτιμήσεων που μοιάζουν με τις καθημερινές του ενέργειες στο πραγματικό του περιβάλλον. Με άλλα λόγια, η εικονική πραγματικότητα είναι μια αλληλεπίδραση (interface) ανθρώπου-μηχανής, που βιώνεται από τον άνθρωπο με τρόπο φυσικό και ενστικτώδη. 8

10 Κεφάλαιο 1 ο Εικονική Πραγματικότητα Για να είναι όσο πιο πετυχημένη γίνεται η εμβύθιση ενός χρήστη σε ένα περιβάλλον Εικονικής Πραγματικότητας, είναι σημαντικό να απομονωθεί ο χρήστης και οι αισθήσεις του απο το πραγματικό κόσμο, επικαλύπτοντας τα ερεθίσματα του πραγματικού κόσμου με αντίστοιχα εικονικά, φτιαγμένα απο το σύστημα της Εικονικής Πραγματικότητας. Απο τις πέντε (ή μήπως εφτά) αισθήσεις, οι πιο σημαντικές κατα φθίνουσα σειρά είναι η όραση, η ακοή και η αφή. Έτσι είναι πρωταρχικής σημασίας ένα σύστημα Εικονικής Πραγματικότητας να παρέχει στερεοσκοπική εικόνα, δηλαδή δύο εικόνες απο διαφορετική οπτική γωνία, μία για κάθε μάτι του χρήστη, έτσι ώστε να δημιουργηθεί η αίσθηση του βάθους στο χώρο. Παράλληλα η ύπαρξη στέρεοσκοπικού ήχου βοηθάει το χρήστη να κατανοεί τι γίνεται γύρω του στον εικονικό χώρο που τον περιβάλλει με πολύ φυσικό τρόπο, ενώ ταυτόχρονα αποκλείει τον χρήστη απο τους ήχους του πραγματικού κόσμου, οι οποίοι θα μπορούσαν να καταστρέψουν την εικονική του εμπειρία. Τέλος η αφή, μπορεί να χρησιμοποιηθεί με κατάλληλες συσκευές είτε για να μπορεί ο χρήστης να νιώθει τον κόσμο, π.χ. να ακουμπά ένα αντικείμενο και να νιώθει αντίσταση, είτε για να καθοδηγήσουμε το χρήστη διευκολύνοντάς τον στην εκτέλεση κάποιων συγκεκριμένων ενεργειών, π.χ. μοντελοποίηση τρισδιάστατων αντικειμένων. Αν όλα τα παραπάνω συνδιαστούν και με την ανίχνευση των κίνησεων του χρήστη με κατάλληλες συσκευές ανίχνευσης, έτσι ώστε το εικονικό περιβάλλον να συμπεριφέρεται όπως και το πραγματικό, τότε η όλη εμπειρία που θα αποκτήσει ο χρήστης μπορεί να είναι άκρως ρεαλιστική. Το κύριο πλεονέκτημα από τη χρήση αλληλεπίδρασης ΕΠ με τον Η/Υ είναι ότι ο χρήστης μπορεί να αλληλεπιδρά με το σύστημα χρησιμοποιώντας ενέργειες και κινήσεις που μοιάζουν με τις καθημερινές του δραστηριότητες [Χαρίτος & Μαρτάκος, 1999]. Οι άνθρωποι είμαστε πολύ καλοί στην αναγνώριση προτύπων, και στην αλληλεπίδραση με τρισδιάστατα αντικείμενα του πραγματικού χώρου, πράγμα το οποίο μπορεί ν' αποδειχθεί πολύ χρήσιμο σε περιπτώσεις που χρειάζεται να ληφθούν αποφάσεις από πολύπλοκα πληροφοριακά συστήματα. 1.2 Ορισμός της Εικονικής Πραγματικότητας Επειδή δεν υπάρχει κάποιος συγκεκριμένος και αυστηρός ορισμός για τον όρο Εικονική Πραγματικότητα, δίνονται παρακάτω κάποιοι απο τους επικρατέστερους. Ο ίδιος ο όρος βέβαια είναι αντιφατικός και οδηγεί σε παρεξηγήσεις και σε πολύωρες φιλοσοφικές συζητήσεις. Ο πατέρας του όρου Jaron Lanier, έδωσε τον εξής ορισμό το 1989: "Ένα αλληλεπίδραστικό, τρισδιάστατο περιβάλλον, φτιαγμένο από υπολογιστή, στο οποίο μπορεί κάποιος να εμβυθιστεί". 9

11 Κεφάλαιο 1 ο Εικονική Πραγματικότητα Απο εκεί και έπειτα, δόθηκαν ποικίλοι ορισμοί, μερικοί απο τους οποίους δίνονται παρακάτω: "Η Εικονική Πραγματικότητα, αποτελεί ένα όρο που έχει γίνει πρόσφατα γνωστός αλλά και από τους πλέον διαδεδομένους στο χώρο των υπολογιστών, ο οποίος μεταφέρει το χρήστη ή τους χρήστες, σε ένα συνθετικό, τεχνητό, εικονικό και φτιαγμένο από υπολογιστή περιβάλλον." M.Krueger (1991). "Αλληλεπιδραστικά γραφικά πραγματικού χρόνου (real-time) με τρισδιάστατα μοντέλα, συνδυασμένα με μια τεχνολογία απεικόνισης η οποία δίνει τη δυνατότητα στο χρήστη για εμβύθιση στον μοντελοποιημένο κόσμο και τη δυνατότητα για απευθείας χειρισμό." Fuchs, H., Bishop, et al. (1992). "Η ψευδαίσθηση της συμμετοχής σε ένα συνθετικό περιβάλλον αντί για την εξωτερική παρατήρηση ενός τέτοιου περιβάλλοντος. Η Εικονική Πραγματικότητα βασίζεται σε τρισδιάστατες, στερεοσκοπικές μονάδες απεικόνισης, με ανιχνευτή της κίνησης του κεφαλιού, του χεριού ή του σώματος και στερεοσκοπικό ήχο. Η Εικονική Πραγματικότητα είναι μια εμπειρία εμβύθισης που χρησιμοποιεί όλες τις αισθήσεις." Gigante, M. (1993). "Η Εικονική Πραγματικότητα αναφέρεται σε αλληλεπιδραστικά, πολυ-αισθητικά, βασισμένα στη όραση, τρισδιάστατα, περιβάλλοντα εμβύθισης, δημιουργημένα από υπολογιστή, καθώς και ο συνδυασμός των τεχνολογιών που απαιτούνται για την ανάπτυξη τέτοιων περιβαλλόντων." Cruz-Neira, C. (1993). "Μπορεί να οριστεί σαν ένας νέος τρόπος επικοινωνίας μεταξύ ανθρώπου και μηχανής. Ένα από τα χαρακτηριστικά του είναι η υιοθέτηση συσκευών απεικόνισης και αλληλεπίδρασης των ανθρώπινων αισθήσεων. Στερεοσκοπικά συστήματα απεικόνισης, δίνουν τη εντύπωση πραγματικής χωρικής αντίληψης των τρισδιάστατων εικόνων οι οποίες παράγονται από τον υπολογιστή. Επιπλέον, η αίσθηση του ότι είσαι εμβυθισμένος σε ένα εικονικό περιβάλλον, δυναμώνει με τη χρήση συσκευών όπως το γάντι (data glove), το οποίο επιτρέπει πιο φυσική και ενστικτώδη απευθείας αλληλεπίδραση." Ellis, S. R. (1994). "Ένα υπολογιστικό σύστημα το οποίο χρησιμοποιείται για τη δημιουργία εικονικών κόσμων, στους οποίους ο χρήστης έχει την εντύπωση της ύπαρξης του σε αυτούς και επιπλέον έχει την ικανότητα να πλοηγηθεί και να χειριστεί τα αντικείμενά τους." C.Manetta, & Blade R. (1995). "Η Εικονική Πραγματικότητα είναι τα από τον υπολογιστή φτιαγμένα, τρισδιάστατα, εξομοιωμένα περιβάλλοντα τα οποία απαντώνται σε πραγματικό χρόνο (real-time), καθώς τα διαχειρίζεται ο χρήστης." Mills, S., Noyes, J. (1999). 10

12 Κεφάλαιο 1 ο Εικονική Πραγματικότητα "Βασικά είναι μία διεπαφή, η οποία συνδυάζει διαφορετικά τεχνικά συστήματα με σκοπό να δώσει τη δυνατότητα στον χρήστη να αλληλεπιδράσει σε πραγματικό χρόνο με μία εφαρμογή για την απεικόνιση (visualization), την περιγραφή της κίνησης (animation), την παραγωγή (generation) και την μεταβολή (modification) τρισδιάστατων δεδομένων, δημιουργημένων από υπολογιστή τα οποία βλέπει στερεοσκοπικά. Ένας όρος που περικλείει τα πάντα και περιγράφει την τεχνολογία και όλο το πεδίο γενικότερα." VIEW of the future Project (2001). "Η εξομοίωση ενός πραγματικού ή φανταστικού περιβάλλοντος, το οποίο μπορεί να το βιώσει ο χρήστης οπτικά στις τρείς διαστάσεις του πλάτους, ύψους και βάθους και το οποίο μπορεί επιπροσθέτως να παρέχει μια αλληλεπιδραστική οπτική εμπειρία με κίνηση σε πραγματικό χρόνο (real-time) με ήχο και πιθανώς και απτικές ή άλλες μορφές ανάδρασης." Whatis.com full reference (2003). "Ένα μέσο το οποίο αποτελείται από αλληλεπιδραστικές εξομοιώσεις με υπολογιστή, οι οποίες 'αισθάνονται' την θέση και τις ενέργειες του χρήστη, και αντικαθιστούν ή επαυξάνουν την ανάδραση σε μία ή παραπάνω αισθήσεις, δίνοντας το αίσθημα της πνευματικής εμβύθισης ή παρουσίας στην εξομοίωση (ένας εικονικός κόσμος)." Sherman, W. R., Craig, A., B. (2003). Άλλοι παρόμοιοι όροι περιλαμβάνουν 'τεχνητή πραγματικότητα' (Myron Krueger, δεκαετία 1970), 'κυβερνοχώρος' (William Gibson, 1984), και πιο πρόσφατα, 'εικονικοί κόσμοι' and 'εικονικά περιβάλλοντα' (δεκαετία 1990) [Beier, 2001]. Τελευταία στην επιστημονική κοινότητα αποφεύγεται η χρήση του όρου Εικονική Πραγματικότητα λόγω της αντιφατικότητάς του και χρησιμοποιείται ο όρος Εικονικό Περιβάλλον, Virtual Environment στα αγγλικά, (αγγλική συντομογραφία VE). 1.3 Ιστορία της Εικονικής Πραγματικότητας ( Η ιστορία της Εικονικής Πραγματικότητας, ξεκινά απο τις πρώτες στιγμές που ο άνθρωπος θέλησε να εκφραστεί, περίπου χρόνια π.χ., με τις προϊστορικές ζωγραφιές σε σπηλιές, όπως το σπήλαιο Λασκώ στη νότια Γαλλία αλλά και με τα διάφορα θρησκευτικά τελετουργικά, που προσπαθουσαν να αγκαλιάσουν όλες τις ανθρώπινες αισθήσεις και να προκαλέσουν δέος και θαυμασμό. Τέτοια παραδείγματα εμβύθισης στην ιστορία της τέχνης υπάρχουν πάρα πολλά. Σε αυτά συμπεριλαμβάνονται το αρχαίο ελληνικό δράμα και τα Διονύσια. Επίσης κατα τον 5ο αιώνα π.χ., όπου γίνονται οι πρώτες ιστορικές αναφορές στην τέχνη απο τον Πλάτωνα και τους σύγχρονούς του, δίνεται ιδιαίτερη προσοχή στη δραματική χρήση της προοπτικής στα σκηνικά των έργων του Αισχύλου και του Σοφοκλή. Μάλιστα ένας απο τους πιο καινοτόμους σκηνογράφους, ο Αγάθαρχος, έγραψε σημειώσεις για το πώς χρησιμοποιούσε ο ίδιος την προοπτική σύγκλιση, οι οποίες ενέπνευσαν πολλούς Έλληνες γεωμέτρες εκείνης της εποχής να αναλύσουν μαθηματικά το μετασχηματισμό προβολής. Δυστυχώς δεν έχουν διασωθεί αρχαία 11

13 Κεφάλαιο 1 ο Εικονική Πραγματικότητα ελληνικά σκίτσα ή ζωγραφιές που χρησιμοποιούν την προοπτική, αλλά μπορούμε ίσως να πάρουμε μια γεύση απο τα Ρωμαϊκά αντίγραφα, φτιαγμένα μάλλον απο Έλληνες ζωγράφους στην Πομπηία του πρώτου αιώνα μ.χ. Φαίνεται ότι οι Έλληνες και Ρωμαίοι ζωγράφοι έφταναν σε ένα πολύ υψηλό επίπεδο τρισδιάστατου ρεαλισμού στα έργα τους χρησιμοποιώντας τη διαίσθησή τους, παρά σχεδιάζοντας τα πάντα απο την αρχή με ακρίβεια. Θα πρέπει να φτάσουμε στο 14ο αιώνα, στη Φλωρεντία, όπου ο Giotto di Bondone ανακάλυψε εντελώς ξαφνικά ένα διαισθητικό τρόπο για την προβολή 3Δ προοπτικής σε μια 2Δ επιφάνεια, όπως είναι ο καμβάς. Η μέθοδος αυτή βασίζεται στην οργάνωση των αντικειμένων και των σχέσεων τους σαν να υπάρχει ένα και μοναδικό σημείο θέασης, πράγμα που δημιουργεί μια αίσθηση βάθους. Δεν είναι τυχαίο άλλωστε το γεγονός ότι θεωρείται ο ιδρυτικής της Δυτικής ζωγραφικής. Η επόμενη εξέλιξη στον τομέα της Εικονικής Πραγματικότητας, έρχεται το 1778, όταν ο Σκωτζέζος ζωγράφος Robert Barker ζωγράφισε μια άποψη της πόλης του Εδιμβούργου 360 μοιρών. Ο καμβάς ύψους περίπου 3 μέτρων τοποθετήθηκε σε ένα κυκλικό δωμάτιο με διάμετρο περίπου 18 μέτρα. Οι θεατές εισέρχονταν στο κέντρο του δωματίου και βρίσκονταν περικυκλωμένοι απο τη σκηνή. Ο Barker αρχικά ονόμασε την εφεύρεσή του 'la nature á coup d' oeil', αλλά σε διαφημίσεις του 1791 για μια αντίστοιχη ζωγραφιά για το Λονδίνο, χρησιμοποίησε τον όρο 'Πανόραμα', απο τις ελληνικές λέξεις παν και όραμα. Στα μέσα του 18ου αιώνα, η νέα τεχνολογία της φωτογραφίας γίνεται δημοφιλής, δίνοντας τη δυνατότητα στον άνθρωπο για πρώτη φορά στην ιστορία του να παίρνει και να ξαναδημιουργεί πιστά αντίγραφα εικόνων, γεωγραφικών τόπων, ανθρώπων ή γεγονότων. Το 1833 o Wheatstone, επινόησε τη στερεοσκοπική οθόνη, η οποία επέτρεπε τη θέαση στερεοσκοπικών εικόνων, δίνοντας έτσι στο θεατή μια αίσθηση του βάθους. Ο David Brewster επεξεργάστηκε ακόμα περισσότερο την εφεύρεση αυτή το 1844, πράγμα που έκανε δυνατή την δημιουργία ενός προϊόντος ευρείας κατανάλωσης με το όνομα Viewmaster στα μέσα του 19ου αιώνα. To 1929 o Edward Link κατασκευάζει τον πρώτο απλό μηχανικό εξομοιωτή πτήσης, για την εκπαίδευση πιλότων σε εσωτερικούς χώρους και μακριά από πραγματικά αεροπλάνα. Το 1946 κατασκευάζεται ο πρώτος ηλεκτρονικός υπολογιστής, με την ονομασία ENIAC, από το πανεπιστήμιο της Πενσυλβάνια, για τον αμερικάνικο στρατό. Στη δεκαετία του 1950 ο Αμερικανός κινηματογραφιστής Morton Heilig προτείνει "το σινεμά του μέλλοντος", το οποίο θα περικυκλώνει το θεατή με αισθήσεις φτιαγμένες από μηχανήματα και θα μεταφέρει τους θεατές σε μια άλλη διάσταση. Το Sensorama που κατασκευάζεται από τον ίδιο το 1956, προσφέρει μια βόλτα με μοτοσυκλέτα στους δρόμους του Μανχάταν. Χρησιμοποιούνται 3Δ γραφικά, στερεοσκοπικός ήχος και δονητές. Ο χρήστης του μπορεί επίσης να νοιώσει τον αέρα να τον χτυπάει στο πρόσωπο και να μυρίσει αρώματα της πόλης, όπως γιασεμί και ιβίσκο. Τελικά όμως το Sensorama αποδεικνύεται πολύ επαναστατικό για την εποχή του και αποτυγχάνει. 12

14 Κεφάλαιο 1 ο Εικονική Πραγματικότητα Το 1961 οι μηχανικοί της εταιρίας Philco Comeau και Bryan δημιουργούν ένα HMD (Head Mounted Display) με την ονομασία Headsight TV Surveillance System απομακρυσμένης παρακολούθησης, με ανίχνευση της κίνησης του κεφαλιού. Για να το επιτύχουν αυτό χρησιμοποιούν ένα ειδικά κατασκευσμένο ηλεκτρομαγνητικό σύστημα. Το HMD αυτό χρησιμοποιήθηκε για την απομακρυσμένη παρακολούθηση επικίνδυνων καταστάσεων. To 1963 o διδακτορικός φοιτητής του MIT Ivan Sutherland εισάγει τα αλληλεπιδραστικά γραφικά μέσω υπολογιστή με την εφαρμογή του Sketchpad. Η συγκεκριμένη εφαρμογή χρησιμοποιεί ένα ελαφρύ στυλό για την επιλογή αντικειμένων, παράλληλα με τη χρήση του πληκτρολογίου. Ο ίδιος το 1965 κάνει τα πρώτα βήματα στο να συνδυάσει τους υπολογιστές και τη δημιουργία Εικονικών Κόσμων με την εργασία του "The ultimate display". Στην εργασία αυτή ουσιαστικά περιγράφει ένα δωμάτιο, όπου τα πάντα ελέγχονται από τον υπολογιστή και όλες οι ενέργειες του χρήστη μέσα σε αυτό έχουν τον ίδιο αντίκτυπο που θα είχαν και στον πραγματικό κόσμο. Όπως αναφέρει και ο ίδιος "It is a looking glass into a mathematical wonderland". Το 1967, o Fred Brooks επιρεασμένος από την εργασία του Sutherland, ξεκινάει το project GROPE, που έχει σαν στόχο να εξερευνήσει τη χρήση απτικής αλληλεπίδρασης για να βοηθήσει τους βιοχημικούς να "αισθανθούν" τις αλληλεπιδράσεις μεταξύ μορίων πρωτεΐνης. Το 1968, ο Sutherland κατασκευάζει το Sword of Damocles (Σπαθί του Δαμοκλή), ένα HDM το οποίο πήρε το όνομα του από το γεγονός ότι κρεμόταν από το ταβάνι [Beier 2001, Χαρίτος & Μαρτάκος, 1999]. Χρησιμοποιούσε καθοδικές λυχνίες, είχε μηχανική ανίχνευση της κίνησης του κεφαλιού και πρόβαλλε εικόνες πάνω στον πραγματικό κόσμο. Το εύρος πεδίου του ήταν 40 μοίρες και ο χρήστης μπορούσε να δει σε πραγματικό χρόνο, αντικείμενα σε wireframe μορφή να προβάλλονται πάνω στον πραγματικό κόσμο. Την ίδια χρονιά ο ίδιος και o David Evans ιδρύουν την εταιρία Evans and Sutherland Computer Corp. (E&S), η οποία ασχολείται με συστήματα οπτικοποίησης τα οποία χρησιμοποιούνται στο στρατό, σε εμπορικούς εξομοιωτές καθώς και σε πλανητάρια και αλληλεπιδραστικά θέατρα. Η εταιρία αυτή εξακολουθεί να υπάρχει! Tο 1972, η εταιρία Atari προσφέρει στο ευρύ κοινό αλληλεπιδραστικά γραφικά πραγματικού χρόνου, με το παιχνίδι Pong. Η ίδια εταιρία στη συνέχεια θα συγκεντρώσει στους κόλπους της πολλούς μελλοντικούς πρωτοπόρους της Εικονικής Πραγματικότητας, όπως είναι οι Alan Kay, Fisher, Bricken, Foster, Laurel, Walser, Robinett και Zimmerman. Το 1974 ο Myron Krueger δημιουργεί τα πρωτοποριακά του έργα, Metaplay και Videoplace, όπου εξερευνά τις δυνατότητες της αλληλεπίδρασης με τη βοήθεια υπολογιστή. Δημιουργούνται έτσι αλληλεπιδραστικά καλλιτεχνικά περιβάλλοντα, σχεδιασμένα με τέτοιο τρόπο ώστε να δίνουν στους χρήστες τους τη δυνατότητα ελευθερίας επιλογής και προσωπικής έκφρασης. 13

15 Κεφάλαιο 1 ο Εικονική Πραγματικότητα Το 1976 κατασκευάζεται το GROPE II, από τους P. J. Kilpatrick και Fred Brooks, το οποίο παρείχε force feedback (ανάδραση δύναμης) και χρησιμοποιούσε μηχανικούς βραχίονες, για να μεταφερθούν οι κινήσεις των χεριών των χημικών που χρησιμοποιούσαν το σύστημα, στα άτομα φαρμάκων και να μεταβάλλουν τη συμπεριφορά τους. Το 1977 οι Tom Defanti και Daniel Sandim, βασιζόμενοι σε μια ιδέα του Rich Sayre κατασκεύασαν ένα απλό, ελαφρύ γάντι που χρησιμοποιούσε οπτικούς αισθητήρες για να αναγνωρίζει την κάμψη των δακτύλων. Ακολούθησαν το Digital Data Entry Glove, από τα εργαστήρια της Bell και το Dataglove από την εταιρεία VPL Research. Η ίδια εταιρεία ανέπτυξε μεταξύ άλλων το EyePhone, ένα κράνος με έγχρωμη οθόνη, το AudioSphere, ένα σύστημα αναπαραγωγής τρισδιάστατου ήχου σε πραγματικό χρόνο και το Issac, ένα σύστημα παραγωγής εικόνας σε πραγματικό χρόνο (Λέπουρας, Πλατής). Το 1992 στο Πανεπιστήμιο του Illinois στο Chicago εφευρέθηκε η ιδέα ενός δωματίου στους τοίχους του οποίου προβαλλόταν στερεοσκοπικά εικόνες ώστε να δίνεται η αίσθηση του βάθους. Το δωμάτιο ονομάστηκε CAVE και υλοποιήθηκε από τους Carolina-Cruz-Neira, Dan Sandin, και Tom DeFanti. Αυτό εμβύθιζε τους χρήστες στον εικονικό κόσμο καθώς περιβαλλόντουσαν από εικόνες που κάλυπταν το οπτικό τους πεδίο (Λέπουρας, Πλατής 2006). Εικόνα

16 Κεφάλαιο 1 ο Εικονική Πραγματικότητα Σε αντίθεση με το παρελθόν, το οποίο ήταν γεμάτο υποσχέσεις οι οποίες τελικά ποτέ δεν πραγματοποιήθηκαν γιατί οι τεχνολογίες και οι συνθήκες που επικρατούσαν δεν ήταν αρκετά ώριμες, το μέλλον της Εικονικής Πραγματικότητας υπόσχεται μια συνεχή ανάπτυξη σε πιο στέρεες και λιγότερο ουτοπικές βάσεις. Πλέον η βιομηχανία αρχίζει να βρίσκει πρακτικές εφαρμογές στη χρήση των Εικονικών Περιβαλλόντων, όπως είναι η σχεδίαση αυτοκινήτων ή η εκπαίδευση αστροναυτών, και μαζί με τα διάφορα κρατικά ερευνητικά προγράμματα προσφέρουν μια σταθερή χρηματοδότηση για την έρευνα και την ανάπτυξη τέτοιων συστημάτων, καθώς και την εύρεση νέων εφαρμογών τους. Μάλιστα τελευταία γίνονται προσπάθειες να συγκεντρωθεί όλη η γνώση που έχει συσσωρευτεί διάσπαρτη σε ερευνητικά ιδρύματα και εταιρείες που ασχολούνται με την Εικονική Πραγματικότητα, με σκοπό την κατανόηση των αναγκών τέτοιων περιβαλλόντων καθώς και την ανάπτυξη οδηγιών για τη σχεδίαση και υλοποίησή τους. Τέλος δεν πρέπει να ξεχνάμε ότι η συνεχής ανάπτυξη της τεχνολογίας, δίνει τη δυνατότητα για αναβάθμιση της ποιότητας της εμβύθινσης που μπορεί να γίνει αντιληπτή από το χρήστη, μέσω της βελτίωσης των συσκευών εισόδου και εξόδου, ενώ παράλληλα μειώνεται και το κόστος αυτών των συσκευών, που τουλάχιστον μέχρι τώρα είναι απαγορευτικό για το μέσο χρήστη. Έτσι θα λέγαμε ότι δεν θα αργήσει η μέρα που η Εικονική Πραγματικότητα θα βρεθεί σε κάθε σπίτι, ιδιαίτερα αν υποστηριχθεί από τον τομέα της ψυχαγωγίας και των παιχνιδιών. 1.4 Η Εικονική Πραγματικότητα στην Επιστημονική Φαντασία Πολλά βιβλία και ταινίες επιστημονικής φαντασίας δημιούργησαν χαρακτήρες "παγιδευμένους στην Εικονική Πραγματικότητα". Η πρώτη μοντέρνα δουλειά που χρησιμοποίησε αυτή την ιδέα είναι η νουβέλα Simulacron-3 γραμμένη απο τον Daniel F. Galouye, η οποία χρησιμοποιήθηκε στη Γερμανία για το σενάριο της τηλεοπτικής σειράς Welt am Draht ("Ο κόσμος σε ένα Σύρμα"). Η πρώτη ταινία μαζικής αποδοχής του Hollywood που εξερευνούσε αυτή την ιδέα ήταν η ταινία TRON του Steven Lisberger. Στη συνέχεια ακολούθησαν οι ταινίες Total recall 1990, Johnny Mnemonic 1992, Lawnmower man 1992, The 13th floor 1999 και existenz Οι πιο γνωστές ταινίες όμως με αναφορά στην Εικονική Πραγματικότητα είναι οι ταινίες των αδερφών Wachowski, The Matrix (1999), The Matrix Reloaded (2003) και The Matrix Revolutions (2003). Η κωμωδία National Lampoon's Last Resort ήταν σημαντική στο ότι παρουσίαζε την Εικονική Πραγματικότητα και την πραγματικότητα να αλληλοκαλύπτονται, και μερικές φορές να είναι δύσκολο να τις ξεχωρίσεις. Επίσης, η βρετανική κωμωδία Red Dwarf για πολλά επεισόδια χρησιμοποιούσε την ιδέα ότι η ζωή (ή τουλάχιστον η ζωή της σειράς αυτής) είναι ένα παιχνίδι Εικονικής Πραγματικότητας. Αυτή η ιδέα χρησιμοποιήθηκε επίσης και στο Spy Kids 3-D: Game Over. Το Hack επικεντρώνεται γύρω απο ένα παιχνίδι Εικονικής Πραγματικότητας. 15

17 Κεφάλαιο 1 ο Εικονική Πραγματικότητα Ωστόσο, στην πραγματικότητα είναι εύκολο να διακρίνεις την Εικονική Πραγματικότητα απο την πραγματικότητα. Οι εικόνες δεν είναι ιδιαίτερα ρεαλιστικές, υπάρχει χρονική καθυστέρηση στην ανταπόκριση του συστήματος στις κινήσεις του χρήστη, και επιπλέον τις περισσότερες φορές αισθήσεις όπως η αφή, η οσμή και η γεύση δεν δέχονται ερεθίσματα απο τον εικονικό κόσμο. Άλλα βιβλία επιστημονικής φαντασίας έχουν προάγει την Εικονική Πραγματικότητα σαν μια μερική αντικατάσταση της μιζέριας της πραγματικότητας, με την έννοια ότι ένας άπορος στον πραγματικό κόσμο μπορεί να είναι βασιλιάς σε ένα σύστημα Εικονικής Πραγματικότητας ή σαν ένα τρόπο για την δημιουργία φαντασμαγορικών εικονικών κόσμων στους οποίους οι άνθρωποι ζούν, παίζουν και κοινωνικοποιούνται. Ένα απο τα καλύτερα παραδείγματα και των δύο ιδεών είναι η νουβέλα του Neal Stephenson με τον τίτλο Snow Crash. Ωστόσο, το 2003, ο Stephenson παραδέχτηκε στο περιοδικό Wired ότι το Snow Crash ήταν μια "αποτυχημένη προφητεία". Στο παιχνίδι ρόλων Mage: The Ascension, υπάρχει μια μυστική μαγική κοινότητα με το όνομα Virtual Adepts η οποία παρουσιάζεται ότι δημιούργησε την Εικονική Πραγματικότητα. Ο απόλυτος στόχος αυτής της κοινότητας είναι η μετακίνηση τους στην Εικονική Πραγματικότητα, αλλάζοντας το πραγματικό τους σώμα με ένα καλύτερο εικονικό. 1.5 Ταξινόμηση της τεχνολογίας της Εικονικής Πραγματικότητας Για την καλύτερη παρουσίαση του που βρίσκεται η τεχνολογία VR είναι αναγκαία κάποια μορφή ταξινόμησης. Η ταξινόμηση θα γίνει σε σχέση με τον τρόπο με τον οποίο ο χρήστης αντιλαμβάνεται το VE. Αυτός ο τρόπος είναι πρωταρχικά εξαρτημένος απο τις input devices, οι οποίες του παρέχουν τις απεικονίσεις πληροφοριών. Κατά προέκταση γίνεται και διαχωρισμός ανάλογα με το βαθμό εμβύθισης (immersion) του χρήστη στο τεχνητό περιβάλλον. Ένα σύστημα εικονικής πραγματικότητας (ΕΠ) αποτελείται από τα συστατικά που φαίνονται στο παρακάτω σχήμα: Σχήμα 1 Συστατικά στοιχεία ενός συστήματος εικονικής πραγματικότητας 16

18 Κεφάλαιο 1 ο Εικονική Πραγματικότητα Σύστημα απεικόνισης (viewer) / τρισδιάστατη σκηνή: Αυτά τα δυο στοιχεία συνδέονται στενά αφού η επιλογή του τρισδιάστατου περιβάλλοντος απεικόνισης ως 3D viewer υποδηλώνει μια τρισδιάστατη υλοποίηση του σκηνικού (3D scene). Η τρισδιάστατη σκηνή λαμβάνει συνεισφορές από ένα τρισδιάστατο μοντέλο του εδάφους και τρισδιάστατες απεικονίσεις των αντικειμένων του πραγματικού κόσμου. Και τα δυο μαζί αποτελούν την τρισδιάστατη μηχανή απεικόνισης (3D player engine). Μοντέλο εδάφους: μια γεωγραφική βάση δεδομένων του εδάφους σε τρισδιάστατη μορφή. Τρισδιάστατα μοντέλα του πραγματικού κόσμου Συσκευές εισόδου ΕΠ Συσκευές εξόδου ή απεικόνισης ΕΠ Οι χρήστες βλέπουν έναν τρισδιάστατο εικονικό κόσμο στις συσκευές εξόδου εικονικής πραγματικότητας και μπορούν ν' αλληλεπιδράσουν μ' αυτόν μέσω συσκευών εισόδου εικονικής πραγματικότητας. Ένα σύστημα απεικόνισης (viewer) περιέχει μια τρισδιάστατη σκηνή η οποία αποτελείται από τρισδιάστατα μοντέλα και (πιθανώς) από ένα μοντέλο του περιβάλλοντος που καθοδηγεί τις συσκευές εισόδου και εξόδου. Η τρισδιάστατη σκηνή είναι μια δυναμική δομή δεδομένων η οποία περιέχει όλη την πληροφορία που η εφαρμογή εικονικής πραγματικότητας πρόκειται να δείξει στο χρήστη. Τα τρισδιάστατα μοντέλα περιγράφουν τις κλάσεις των ορατών αντικειμένων της τρισδιάστατης σκηνής. Το μοντέλο του περιβάλλοντος περιγράφει το τοπίο σε τρισδιάστατη μορφή και η μηχανή απεικόνισης το απεικονίζει. Έτσι ανάλογα με τη συσκευή οπτικής απεικόνισης μπορούμε να κατατάξουμε τις εικονικές πραγματικότητες στις ακόλουθες κατηγορίες [Χαρίτος & Μαρτάκος, 1999]: 1. immersive VR (Εμβυθισμένη ΕΠ), όταν ο χρήστης εμβυθίζεται στο περιβάλλον μέσω ενός ειδικού κράνους Head Mounted Display (HMD), 2. desktop VR (Επιτραπέζια ΕΠ), όταν χρησιμοποιείται απλά μια μονοσκοπική ή στερεοσκοπική οθόνη και η τρισδιάστατη απεικόνιση επιτυγχάνεται μέσω ειδικών γυαλιών, 3. projection-based VR (Προβολική ΕΠ), όταν η απεικόνιση δίνεται μέσω μονοσκοπικής ή στερεοσκοπικής προβολής από πολλαπλές οθόνες που κυκλώνουν το χρήστη και τέλος 4. mirror worlds (Κατοπτρικοί κόσμοι), όταν το VR σύστημα παρουσιάζει στον χρήστη κάποια απεικόνιση του εαυτού του μέσα στο εικονικό περιβάλλον, με την οποία αλληλεπιδρά σε πραγματικό χρόνο. Η παραπάνω κατηγοριοποίηση αντιστοιχίζεται στην ταξινόμηση που φαίνεται στο Σχήμα 2. Η εμβυθισμένη ΕΠ αντιστοιχεί στην πλήρη εμβύθιση (full immersion), η επιτραπέζια ΕΠ στην μη εμβύθιση (non immersion) και η προβολική ΕΠ στη μερική εμβύθιση (partial immersion). 17

19 Κεφάλαιο 1 ο Εικονική Πραγματικότητα Σχήμα 2 Κατηγοριοποίηση των συσκευών απεικόνισης εξόδου [ Traill et al., 1997] Τα μοναδικά χαρακτηριστικά της εμβυθισμένης ΕΠ περιγράφονται περιληπτικά ακολούθως [Beier, 2001]: Θέαση, η οποία γίνεται με την κίνηση του κεφαλιού, παρέχει μια φυσική διεπαφή για πλοήγηση στον τρισδιάστατο χώρο και επιτρέπει δυνατότητες όπως κοίταγμα τριγύρω, περίπατος, ακόμα και αεροπορική πορεία (flythrough) στα εικονικά περιβάλλοντα. Στερεοσκοπική θέαση αυξάνει την αίσθηση του βάθους και του χώρου. Ο εικονικός κόσμος αναπαρίσταται σε πλήρη αναλογία και συσχετίζεται με τις ανθρώπινες αναλογίες. Ρεαλιστικές αλληλεπιδράσεις με εικονικά αντικείμενα μέσω γαντιών και παρόμοιων συσκευών επιτρέπουν στον χειρισμό και τον έλεγχο των εικονικών κόσμων. Η πειστική αυταπάτη της πλήρους εμβύθισης στον εικονικό κόσμο μπορεί να αυξηθεί με ακουστικές, απτικές και άλλες μη οπτικές τεχνολογίες. Δικτυακές εφαρμογές επιτρέπουν διαμοιραζόμενα εικονικά περιβάλλοντα. Η επιλογή ενός από τα πιό πάνω είδη συστημάτων για μια συγκεκριμένη εφαρμογή, εξαρτάται εξ ολοκλήρου από τη μορφή αλληλεπίδρασης του χρήστη με το σύστημα, που υπαγορεύεται από αυτή η εφαρμογή. Μια εναλλακτική μορφή ταξινόμησης συστημάτων εικονικής πραγματικότητας είναι σε: συστήματα για ένα χρήστη (Single-user VEs) πολυχρηστικά δικτυωμένα συστήματα (multi-user, collaborative, distributed VEs) 18

20 Κεφάλαιο 1 ο Εικονική Πραγματικότητα Συστήματα immersive VR Εικονικά περιβάλλοντα εμβύθισης Σε ένα immersive VR σύστημα ο χρήστης απομονώνεται από το πραγματικό περιβάλλον και βυθίζεται σε ένα τεχνητό, απεικονιστικό περιβάλλον, με το οποίο αλληλοεπιδρά με τρόπους όμοιους με αυτούς που ενεργεί στο πραγματικό. Απαραίτητη προϋπόθεση για την εμβύθιση (immersion) του χρήστη είναι η χρήση ενός Head Mounted Display (HMD), το οποίο τον απομονώνει από την παραγματικότητα ενώ συγχρόνως του δημιουργεί την ψευδαίσθηση του τεχνητού, τρισδιάστατου περιβάλλοντος. Αυτή η ψευδαίσθηση επιτυγχάνεται με τη βοήθεια δύο μικροσκοπικών οθονών, οι οποίες προβάλλουν σε αληθινό χρόνο πάνω στο μάτι του χρήστη τις γραφικές απεικονίσεις του τεχνητού περιβάλλοντος, που θα έβλεπε το κάθε μάτι, αν αυτός πραγματικά βρισκόταν μέσα στο τεχνητό περιβάλλον. Εικόνα 1-2 Οι κινήσεις του κεφαλιού του χρήστη εισάγονται στο σύστημα απο κατάλληλους ανιχνευτές κίνησης/προσανατολισμού, και αντίστοιχα ορίζουν τις απόψεις (viewpoints) του περιβάλλοντος, που θα απεικονίσει το σύστημα, για να συντηρηθεί η ψευδαίσθηση. Πέρα από την υποτιθέμενη μεταβολή θέσης του βλέμματος του χρήστη μέσα στο VE, υπάρχει η δυνατότητα κίνησης στις τρείς διαστάσεις χωρίς τους περιορισμούς των φυσικών νόμων, τηλεμεταφοράς και αλληλεπίδρασης με τα διάφορα αντικείμενα που συνθέτουν το περιβάλλον, μέσω διάφορων συσκευών εισόδου (input devices). Παρακάτω θα δούμε με μεγαλύτερη λεπτομέρεια τα συστατικά που είναι απαραίτητα για τη δημιουργία ενός συστήματος immersive VR. 19

21 Κεφάλαιο 1 ο Εικονική Πραγματικότητα Virtual Environment Generator Η κεντρική μονάδα Ο Roy Kalawsky στο βιβλίο του The science of Virtual Reality and Virtual Environments (1993) ονομάζει την κεντρική μονάδα ενός immersive VR συστήματος : Virtual Environment Generator. Στην κεντρική αυτή μονάδα διακρίνουμε: Ένα υποσύστημα γραφικών που φέρει σε πέρας την σχεδίαση των πολυγώνων που συνθέτουν το εικονικό περιβάλλον (Virtual Environment VE), σε πραγματικό χρόνο, Μια βάση δεδομένων που περιγράφει γεωμετρικά το τρισδιάστατο VE, δηλαδή τα αντικείμενα που το συνθέτουν, τις κινήσεις, τη συμπεριφορά και τις άλλες ιδιότητές τους, Το τμήμα του hardware που τρέχει την εφαρμογή και υπολογίζει την άποψη του VE που θα απεικονισθεί, τη θέση, τον προσανατολισμό και τη συμπεριφορά των αντικειμένων του VE, σαν αποτέλεσμα της εισόδου που δέχεται λόγω της αλληλεπίδρασης με τον χρήστη. Πιό συγκεκριμένα, το υποσύστημα γραφικών χρησιμοποιεί τη βάση δεδομένων, μεταφράζοντας τις αφηρημένες αριθμητικές αναπαραστάσεις σε κατάλληλα σκιασμένα πολύγωνα, τα οποία συνθέτουν μια εικόνα. Η ακολουθία από εικόνες που σχεδιάζονται σε πραγματικό χρόνο, εναλλάξ σε κάθε μια απο τις δύο οθόνες του HMD, συντηρεί την τρισδιάστατη ψευδαίσθηση της πραγματικότητας. Για να γίνει όμως κάτι τέτοιο, είναι απαραίτητο το σύστημα να επανασχεδιάζει την εικόνα του VE τουλάχιστον φορές ανάδευτερόλεπτο για κάθε μάτι. Η γεννήτρια του VE (Virtual Environment Generator) χρειάζεται να έχει ιδιαίτερα μεγάλη υπολογιστική δύναμη, αλλά και ειδική αρχιτεκτονική που να ευνοεί την διαδικασία της σχεδίασης σε πραγματικό χρόνο. Για αυτό το λόγο, συνήθως χρησιμοποιούνται multi-processor συστήματα, όπου είτε: Οι επεξεργαστές δουλεύουν παράλληλα, ισομοιράζοντας το φόρτο εργασίας, είτε Ένας κεντρικός επεξεργαστής ελέγχει άλλους, ειδικευμένους επεξεργαστές, οι οποίοι αναλαμβάνουν εργασίες όπως: σχεδίαση γραφικών, δημιουργία τρισδιάστατου ήχου και επεξεργασία δεδομένων εισόδου/εξόδου. Η απόδοση τέτοιων συστημάτων εκτιμάται κυρίως ανάλογα με τον αριθμό πολυγώνων (z-buffered) που σχεδιάζουν ανά δευτερόλεπτο. Ο αριθμός των εικόνων (frames) που σχεδιάζει το σύστημα μέσα σε ένα δευτερόλεπτο ονομάζεται framerefresh rate. Αυτός ο ρυθμός είναι άμεσα εξαρτημένος από την πολυπλοκότητα του VE (τόσο από άποψη οπτική όσο και σε επίπεδο συμπεριφορών), δηλαδή από το μέγεθος της βάσης δεδομένων που το περιγράφει. 20

22 Κεφάλαιο 1 ο Εικονική Πραγματικότητα Για την πληρέστερη αντίληψη του τρισδιάστατου, στο VE, επιστρατεύονται ειδικές τεχνικές σχεδίασης, σε επίπεδο hardware, όπως: Gouraud ή Phong Shading, antialiasing, texture mapping, specular lighting, καθώς και ειδικα εφέ (π.χ. προσομοίωση ομίχλης). Η χρήση αυτών των τεχνικών παρέχει στο χρήστη περισσότερες ενδείξεις για ορθή αντίληψη βάθους μέσα στο VE, αλλά αυξάνει σημαντικά το φόρτο εργασίας του συστήματος, έχοντας σαν αποτέλεσμα συνήθως την αντίστοιχη μείωση του frame-refresh rate Συσκευές απεικόνισης (Display devices) Απαραίτητη προυπόθεση για την εμβύθιση (immersion) του χρήστη σε ενα VE είναι η χρήση ενός Head Mounted Display (HMD), σαν συσκευή απεικόνισης των οπτικών πληροφοριών που δημιουργεί το σύστημα. Η λειτουργία του HMD βασίζεται στην τοποθέτηση μιας (monoscopic) ή δύο (stereoscopic) μικροσκοπικών οθονών σε ελάχιστη απόσταση από τα μάτια του χρήστη, οι οποίες με τη βοήθεια κατάλληλων φακών του δίνουν την ψευδαίσθηση οτι πραγματικά βρίσκεται μέσα στο περιβάλλον που απεικονίζουν. Η εμβύθιση επιτυγχάνεται λόγω του οτι ένα μεγάλο μέρος του οπτικού πεδίου (field of view) του χρήστη καλύπτεται από την απεικόνιση και λόγω της απομόνωσης απο το πραγματικό περιβάλλον, μέσω του κράνους. Όταν ο χρήστης κινεί το κεφάλι του για να εξετάσει καλύτερα το VE, κάθε κίνηση του κεφαλιού αντιστοιχεί σε ανάλογη μεταβολή της άποψης (viewpoint) του VE που σχεδιάζεται στις οθόνες του HMD. Οι βασικές τεχνολογίες που χρησιμοποιούνται για την κατασκευή των οθονών ενός HMD είναι: Cathode Ray Tubes (CRT): όμοια τεχνολογία με αυτή μιας οικιακής τηλεόρασης, θεωρείται η καλύτερη επιλογή από άποψη ανάλυσης, ευκρίνειας και κοντράστ της εικόνας. Τα μειονεκτήματα τέτοιων HMD είναι το μεγάλο βάρος, η υψηλή τους τιμή και η πιθανότητα πρόκλησης προβλήματος υγείας στον χρήστη, λόγω ακτινοβολίας. Liquid Crystal Displays (LCD): οι οθόνες αυτές έχουν μικρότερο βάρος, μικρότερες απαιτήσεις σε ισχύ ρεύματος, στοιχίζουν πολύ λιγότερο και δεν παρουσιάζουν κανένα κίνδυνο για την υγεία του χρήστη. Η ανάλυση εικόνας που προσφέρουν όμως είναι πολύ χαμηλή και το refresh rate τους αργό. Η τεχνολογία TFT έχει βελτιώσει σημαντικά την ποιότητα εικόνας τέτοιων displays, αλλά το κόστος είναι αρκετά υψηλό. Άλλες, λιγότερο διαδεδομένες τεχνολογίες απεικόνισης, που χρησιμοποιούνται σε HMD είναι: το light pipe, δηλαδή ενα σύστημα που χρησιμοποιεί μια δεσμίδα από παραλληλισμένες ίνες fiber optics για να μεταφέρει μια εικόνα, και να την προβάλλει στο μάτι, μέσω μιας σειράς φακών. Η ανάλυση είναι ιδιαίτερα υψηλή αλλά και το κόστος πάρα πολύ μεγάλο. 21

23 Κεφάλαιο 1 ο Εικονική Πραγματικότητα Virtual Retinal Laser Scanner, είναι μια τεχνολογία που αναπτύσσεται στο γνωστό (για την έρευνα σε VR) Human Interface Technology Laboratory (HIT Lab) του Πανεπιστημίου της Washington στο Seattle. Στο σύστημα αυτό, μιας χαμηλής ισχύος ακτίνα laser χρησιμοποιείται για να σχεδιαστεί μια εικόνα κατευθείαν στον αμφιβληστροειδή χιτώνα του ματιού. Η ανάλυση και το refresh rate δείχνουν να είναι υψηλά, αλλά η τεχνολογία αυτή βρίσκεται ακόμα σε τελείως πειραματικό στάδιο. Μολονότι αυτή η μέθοδος παρουσιάζει μερικά σχεδόν αξεπέραστα προβλήματα στην ανάπτυξή της, η πιθανή επιτυχημένη εφαρμογή της στο απώτερο μέλλον, δείχνει να προσεγγίζει, περισσότερο από οποιαδήποτε άλλη, την ολοκληρωτική εμβύθιση στο VE. Για εφαρμογές που δεν είναι αναγκαία η ολική εμβύθιση, υπάρχει η λύση της απεικόνισης μέσω του Head Coupled Display (HCD). Το HCD είναι μια κινητή, διοπτρική συσκευή απεικονισης, η οποία στηρίζεται στο άκρο ενός αρθρωτού βραχίονα, έτσι ώστε το όλο σύστημα να διευκολύνει την κίνηση στο χώρο με όλους τους δυνατούς τρόπους. Ο χρήστης απλά πλησιάζει τους φακούς της συσκευής, όταν θέλει να εισχωρήσει στο VE και κινεί το HCD με τη βοήθεια του χεριού του προς την επιθυμητή κατεύθυνση. Αυτή η μέθοδος απεικόνισης γλυτώνει το χρήστη από μερικά από τα δεινά των HMD και είναι σίγουρα ιδανική για εφαρμογές όπου χρειάζεται εναλλαγή μεταξύ immersive και desktop καταστάσεων. Πάντως, με τη χρήση HCD η κίνηση περιορίζεται από τις διαστάσεις του βραχίονα και η αίσθηση της εμβύθισης είναι μικρότερη από εκείνη που προσφέρει ένα καλό HMD. Πρέπει επίσης να αναφερθούν τα Head Up Displays (HUDs) τα οποία δίνουν τη δυνατότητα στο χρήστη να εμβυθίζεται σε έναν εικονικό κόσμο όταν στρέψει το βλέμμα του προς τα επάνω, ενώ συγχρόνως του επιτρέπουν να έχει οπτική επαφή με το περιβάλλον του εάν κοιτάξει προς τα κάτω. Αυτά τα HMDs χρησιμεύουν σε εφαρμογές που ο χρήστης πρέπει να διατηρεί συγχρόνως οπτική επαφή με τον πραγματικό και τον εικονικό κόσμο και να εναλάσσεται μεταξύ των δύο κατ επιλογή του. Ένα παράδειγμα τέτοιας εφαρμογής είναι η εκπαίδευση σε εικονικές εγχειρήσεις. Η οπτική επαφή με το εξωτερικό περιβάλλον διατηρείται και στην περίπτωση των διάφανων HMDs τα οποία χρησιμοποιούνται σε εφαρμογές ενισχυμένης πραγματικότητας (Augmented Reality). Σε αυτές τις περιπτώσεις, ο χρήστης δύναται να βλέπει τον πραγματικό χώρο γύρω του γιατί το HMD δεν τον απομονώνει από αυτό, αλλά μπορεί να βλέπει συγχρόνως να προβάλλονται μπροστά στο οπτικό του πεδίο τρισδιάστατα γραφικά τα οποία μπορεί να τον βοηθούν στο να φέρει σε πέρας κάποια λειτουργία εργαζόμενος σε πραγματικό περιβάλλον Συστήματα ανίχνευσης θέσης και προσανατολισμού (Position orientation tracking systems) Για να διατηρηθεί η ψευδαίσθηση της εμβύθισης στο VE είναι αναγκάιο να δίνεται συνεχώς η εντύπωση ότι το VE, που εικονικά περιβάλλει το χρήστη, παραμένει σταθερό. Πρέπει λοιπόν οι πραγματικές κινήσεις του χρήστη να συμπιπτουν με τις εικονικές κινήσεις του βλέμματος και του σώματος του μέσα στο VE, και επομένως με την αντίστοιχη άποψη (viewpoint) του VE που θα απεικονίσει το σύστημα. Αυτό 22

24 Κεφάλαιο 1 ο Εικονική Πραγματικότητα σημαίνει ότι το σύστημα πρέπει να ανιχνεύει συνεχώς και με συχνότητα μεγαλύτερη από το frame rate της γεννήτριας γραφικών, τη θέση και τον προσανατολισμό του κεφαλιού, άλλων μέρων του σώματος, ή και άλλων αντικειμένων που κινούνται μέσα στον τρισδιάστατο, πραγματικό χώρο. Για παράδειγμα, κάποιος πομπός τοποθετείται πάνω στο HMD και εκπέμπει κάποια σήματα, τα οποία ανιχνεύονται από κατάλληλα τοποθετημένους δέκτες, καταγράφοντας έτσι την θέση και τον προσανατολισμό του HMD μέσα στο χώρο. Στη συνέχεια, τα δεδομένα που προκύπτουν από την ανίχνευση αποκωδικοποιούνται, εισέρχονται στο κεντρικό σύστημα, και λειτουργούν σαν παράμετροι για την δημιουργία της οπτικοακουστικής απεικόνισης του VE, που αντιλαμβάνεται ο χρήστης, αφού ορίζουν την εικονική κίνηση του μέσα στο τεχνητό περιβάλλον. Υπάρχουν τέσσερις βασικές κατηγορίες τεχνολογιών για ανίχνευση θέσης και προσανατολισμού: 1. Ηλεκτρομηχανικά συστήματα: ένα τέτοιο σύστημα χρησιμοποιήθηκε στο πρώτο HMD από τον Ivan Sutherland το 1968, και στο οποίο ένας ιδιαίτερα αρθρωτός βραχίονας, αναρτημένος από την οροφή του εργαστηρίου (ο οποίος ονομάστηκε με χιουμοριστική διάθεση Δαμόκλειος Σπάθη), διάβαζε τις κινήσεις του κεφαλιού και ενημέρωνε το σύστημα. Όμοια τεχνολογία αλλά σε πιό εξελιγμέμη μορφή χρησιμοποιούν τα HCD (BOOM, Cyberface) που περιγράφηκαν παραπάνω. Τα συστήματα αυτά προσφέρουν μεγάλη ακρίβεια και ελάχιστη καθυστέρηση, αλλά περιορίζουν ιδιαίτερα την κίνηση του χρήστη. 2. Ηλεκτρομαγνητικά συστήματα: κατασκευάστηκαν για πρώτη φορά από την Polhemus Navigations Systems και αποτελούν την πιό διαδεδομένη μέθοδο ανίχνευσης, σήμερα. Φορτίζοντας κατάλληλα τοποθετημένα στο χώρο πηνία με εναλλασσόμενο ρεύμα δημιουργούνται τρία μαγνητικά πεδία, που αντιστοιχούν στους τρείς άξονες συντεταγμένων x,y,z του τρισδιάστατου χώρου. Η κίνηση τριών άλλων πηνίων (που βρίσκονται τοποθετημένα πάνω στο HMD και αντιστοιχούν πάλι στους τρείς άξονες x,y,z) μέσα από τα τρία αυτά μαγνητικά πεδία, δημιουργεί ηλεκτρικά ρεύματα, η μεταβολή των οποίων αποκωδικοποιείται και δίνει πληροφορίες για την αλλαγή θέσης και προσανατολισμού του HMD. Το σύστημα αυτό παρουσιάζει καθυστέρηση και συχνά σφάλματα λόγω της ευαισθησίας του σε υλικα με υψηλή αγωγιμότητα (π.χ. μεταλλικές επιφάνειες), που μπορεί να βρίσκονται στο χώρο. Το πρόβλημα αυτών των σφαλμάτων περιορίζεται με τη χρήση συστημάτων συνεχούς ρεύματος (σαν τα Bird, Flock of Birds και ERT της Ascension Technology). 3. Συστήματα ηχητικής ανίχνευσης: και αυτή η μέθοδος δοκιμάστηκε για πρώτη φορά από τον Sutherland το Ένας ή περισσότεροι μοφομετατροπείς που βρίσκονται πάνω στο κινούμενο αντικείμενο (π.χ. HMD) εκπέμπουν υπερήχους, που προσλαμβάνονται απο ένα σύνολο κατάλληλα τοποθετημένων δεκτών (μορφομετατροπέων). Καταγράφοντας είτε την χρονική διάρκεια του ακουστικού κύματος (time-of-flight method), είτε τη 23

25 Κεφάλαιο 1 ο Εικονική Πραγματικότητα διαφορά φάσης του ακουστικού σήματος (phase-coherent method), μπορεί να υπολογιστεί η αλλαγή θέσης και προσανατολισμού του κινούμενου αντικειμένου στο χώρο. Τέτοια συστήματα χρησιμοποιούνται στο Logitech head tracker και στο PowerGlove της Mattel. Τα συστήματα αυτά προσφέρουν σχετική ακρίβεια εκτίμησης. Για την αποφυγή σφάλματος όμως είναι αναγκαία η απομόνωση του χώρου από άλλα ηχητικά σήματα και η αποφυγή παρεμβολής οποιασδήποτε επιφανείας μεταξύ του πομπού και του δέκτη του ηχητικού σήματος. 4. Οπτικά συστήματα: στην πιό απλή τους μορφή, αυτά τα συστήματα κάνουν χρήση μίας (ή περισσοτέρων) μικρής φωτεινής πηγής και ενός συνόλου από βιντεοκάμερες, οι οποίες διοχετεύουν με video σήμα κατάλληλους αισθητήρες εικόνας, οι οποίοι ανιχνεύουν τις σχετικές μεταβολές θέσης και προσανατολισμού του κινουμένου αντικειμένου ώς προς τον ανιχνευτή. Τα συστήματα αυτά είναι ιδιαίτερα ακριβή, σε σχέση με ηλεκτρομαγνητικά συστήματα. Έχουν όμως ανάγκη περιβαλλόντων με ειδικές συνθήκες φωτισμού, απομόνωσης απο το εξωτερικό περιβάλλον και αποφυγής εμποδίων μεταξύ της φωτεινής πηγής και των συσκευών ανίχνευσης του φωτός Συστήματα ηχητικών περιβάλλοντων Είναι αναγκαίο να τονισθεί η σημασία της ηχητικής επικοινωνίας του VR συστήματος με τον χρήστη. Ο άνθρωπος έχει την ιδιαίτερη ικανότητα της αναγνώρισης ενός συγκεκριμένου ήχου ανάμεσα σε ένα σύνολο από ήχους και του προσδιορισμού της θέσης της ηχητικής πηγής στον τρισδιάστατο χώρο. Είναι ακόμα γεγονός ότι ο άνθρωπος μπορεί να αντιλαμβάνεται και να επεξεργάζεται οπτικές και ηχητικές πληροφορίες, συγχρόνως, με την ίδια επιδεξιότητα. Τα συστήματα ηχητικά περιβαλλόντων εκμεταλλεύονται αυτές τις ανθρώπινες ικανότητες, με στόχο να ενισχυθεί η εμπειρία της αλληλεπίδρασης σε ένα VE με ηχητικές ενδείξεις, οι οποίες συμπληρώνουν κατάλληλα το οπτικό περιβάλλον. Η ηχητική επικοινωνία του χρήστη με το σύστημα μπορεί να γίνει μέσω: 1. ηχητικής χωροθέτησης στις τρείς διαστάσεις, 2. αναγνώρισης της φωνής από το σύστημα (voice recognition) ή 3. συνθετικής ομιλίας από το σύστημα. Επειδή οι περιπτώσεις (2) και (3) έχουν περισσότερο να κάνουν με άλλους τομείς της πληροφορικής, θα γίνει αναφορά μόνο στην περίπτωση (1). Ένα παράδειγμα συστήματος τρισδιάστατης ηχητικής χωροθέτησης είναι ο Convolvotron, το οποίο αποτελείται από δύο κάρτες επέκτασης για IBM-compatible υπολογιστές. Πρόκειται για ένα σύστημα επεξεργασίας ήχου, το οποίο με τη βοήθεια του ισχυρού digital signal processor που διαθέτει, φιλτράρει και μεταβάλλει (convolves) ένα αναλογικό ήχο, τοποθετώντας τον σε μία συγκεκριμένη θέση στον εικονικό τρισδιάστατο χώρο του VE. Το Convolvotron μπορεί να προσομοιώσει μέχρι τέσσερεις ανεξάρτητες ηχητικές πηγές, κινούμενες ή στατικές. Το τελικό αποτέλεσμα ακούει ο χρήστης μέσω stereo ακουστικών. Το σύστημα δέχεται είσοδο 24