ΠΟΛΥΤΡΟΠΙΚΕΣ ΙΕΠΑΦΕΣ (MULTIMODAL INTERFACES) Μαρία Φούσκη

Transcript

1 ΠΟΛΥΤΡΟΠΙΚΕΣ ΙΕΠΑΦΕΣ (MULTIMODAL INTERFACES) Μαρία Φούσκη

2 ΕΠΙΚΟΙΝΩΝΙΑ ΑΝΘΡΩΠΟΥ-ΥΠΟΛΟΓΙΣΤΗ ΥΠΟΛΟΓΙΣΤΗ Πραγµατοποιείται µέσω της ιεπαφής χρήστη υπολογιστή, η οποία επιτρέπει: Στο χρήστη να µεταφέρει εντολές προς την εφαρµογή. Στην εφαρµογή να πληροφορεί το χρήστη για τα αποτελέσµατα των ενεργειών του. Η πλειοψηφία των ιεπαφών επιτρέπει στο χρήστη να επικοινωνεί µε την εφαρµογή µέσω του πληκτρολογίου και του ποντικιού και τον πληροφορεί για τα αποτελέσµατα των ενεργειών του µέσω της οθόνης.

3 ΠΟΛΥΤΡΟΠΙΚΕΣ ΙΕΠΑΦΕΣ: ΟΡΙΣΜΟΣ Συνδυάζουν δύο ή περισσότερους τρόπους (modes) εισόδου από την πλευρά του χρήστη. Παράγουν πολυµεσική έξοδο στην οποία τόσο η επιλογή του περιεχοµένου όσο και ο τρόπος παρουσίασης του προσαρµόζονται δυναµικά µε βάση τις ανάγκες του εκάστοτε χρήστη.

4 ΛΟΓΟΙ ΕΝ ΙΑΦΕΡΟΝΤΟΣ ΓΙΑ ΤΙΣ ΠΟΛΥΤΡΟΠΙΚΕΣ ΙΕΠΑΦΕΣ Υποστηρίζουν περισσότερο ευέλικτους, διαφανείς, αποτελεσµατικούς και δυναµικούς τρόπους επικοινωνίας Ανθρώπου Υπολογιστή. Επεκτείνουν τις δυνατότητες των υπολογιστικών συστηµάτων ανταποκρινόµενες στις τεχνολογικές προκλήσεις και επιτρέποντας την ανάπτυξη πιο ελκυστικών και λειτουργικών εφαρµογών. Η εκµάθηση και η χρήση τους είναι πιο εύκολη. Βοηθούν στη χρήση Η/Υ από άτοµα µε ειδικές ανάγκες. Η περαιτέρω εξέλιξή τους αναµένεται να προσεγγίσει την ανθρώπινη αισθητηριακή αντίληψη.

5 ΕΞΕΛΙΞΗ ΠΟΛΥΤΡΟΠΙΚΩΝ ΙΕΠΑΦΩΝ Αναπτύχθηκαν ραγδαία την τελευταία 15ετία. Ιδιαίτερη πρόοδος σηµειώθηκε στην ανάπτυξη υλικού και λογισµικού που απαιτείται για την υποστήριξή τους, καθώς και τεχνικών για την επίτευξη παράλληλης εισόδου. Σήµερα το εύρος των εφαρµογών τους ποικίλλει από συστήµατα χαρτογράφησης και εικονικής πραγµατικότητας, έως συστήµατα αναγνώρισης, συναλλαγών µέσω Internet και ιατρικά συστήµατα.

6 ΠΑΡΑ ΕΙΓΜΑΤΑ ΠΡΩΙΜΩΝ ΠΟΛΥΤΡΟΠΙΚΩΝ ΙΕΠΑΦΩΝ Οι πρώτες πολυτροπικές διεπαφές συνδύαζαν κατά κύριο λόγο οµιλία και κινήσεις των χεριών µέσω κάποιας συσκευής κατάδειξης (touchpad, οθόνη αφής, ποντίκι). Χαρακτηριστικά παραδείγµατα αποτελούν τα παρακάτω συστήµατα: Put that there Σύστηµα σχεδίασης. Παρείχε τη δυνατότητα στους χρήστες να διαχειριστούν δισδιάστατα αντικείµενα (σχήµατα). CUBRICON Σύστηµα εκτέλεσης αποστολών. Είχε τη δυνατότητα αναγνώρισης φυσικής γλώσσας και αναπτύχθηκε για στρατιωτικούς σκοπούς. Georal Τουριστικό πληροφοριακό σύστηµα. Shoptalk Σύστηµα βιοµηχανικής παραγωγής.

7 ΣΥΓΧΡΟΝΕΣ ΠΟΛΥΤΡΟΠΙΚΕΣ ΙΕΠΑΦΕΣ Βασίζονται σε δύο παράλληλες εισόδους ικανές να µεταφέρουν µεγάλη ποσότητα σηµασιολογικής πληροφορίας. Οι πιο ώριµες τεχνολογίες αφορούν δύο κατηγορίες συστηµάτων: 1. Συστήµατα που συνδυάζουν οµιλία µε σύνθετες κινήσεις που προέρχονται από γραφίδα (pen)( pen). 2. Συστήµατα που συνδυάζουν οµιλία µε κινήσεις των χειλιών, βελτιώνοντας την απόδοση των κλασσικών συστηµάτων αναγνώρισης οµιλίας µόνο µέσω του ήχου. Και στις δύο κατηγορίες η χρήση του πληκτρολογίου και του ποντικιού έχει στις περισσότερες περιπτώσεις εγκαταληφθεί.

8 Quick Set (1994) Συνεργατικό σύστηµα που χρησιµοποιεί πολυτροπική διεπαφή (speech/pen) για την εκτέλεση εργασιών χαρτογράφησης. Η διεπαφή παρουσιάζει το χάρτη µιας συγκεκριµένης περιοχής µαζί µε οντότητες που ανήκουν σε αυτή. Ο χρήστης µπορεί να σηµειώσει στο χάρτη χρησιµοποιώντας σηµεία, γραµµές και περιοχές. Ο χρήστης µπορεί να χρησιµοποιήσει τη γραφίδα για να δηµιουργήσει ι νέες οντότητες ενώ παράλληλα κάνοντας χρήση της οµιλίας µπορεί να τις ονοµατίσει. Μία εκδοχή του συστήµατος υλοποιηµένη σε Java δηµιουργήθηκε για τον Παγκόσµιο Ιστό.

9 HCWP (Human-Centric Word Processor) - IBM Σύστηµα επεξεργασίας κειµένου που δέχεται είσοδο µέσω υπαγόρευσης σε πραγµατικό χρόνο. Μετά την υπαγόρευση ο χρήστης µπορεί να επεξεργαστεί το κείµενο µε τη χρήση γραφίδας και φωνητικών εντολών. Παραδείγµατα φωνητικών εντολών αποτελούν η διαγραφή και η υπογράµµιση του κειµένου. Για τη διάκριση της φωνητικής υπαγόρευσης από τη φωνητική εντολή µπορεί να χρησιµοποιηθεί ειδικός διακόπτης στο µικρόφωνο.

10 PVA (Portable Voice Assistant) - BBN Φορητό σύστηµα που µπορεί να χρησιµοποιηθεί στο περιβάλλον του σπιτιού, του γραφείου ή του αυτοκινήτου, επιτρέποντας στο χρήστη του να µεταφέρει πληροφορίες σε ένα δίκτυο ή να ανακτήσει πληροφορίες από ένα δίκτυο. Μία µικρή φορητή συσκευή που διαθέτει γραφίδα και µικρόφωνο και έχει δυνατότητα ασύρµατης σύνδεσης στο Internet, επιτρέπει το ξεφύλλισµα καταλόγων προϊόντων και την εκτέλεση παραγγελιών. Ανάλογα µε το περιβάλλον ο χρήστης µπορεί να χρησιµοποιήσει είτε το σύστηµα αναγνώρισης οµιλίας είτε τη γραφίδα.

11 Field Medic Information System - NCR Χρησιµοποιείται για ιατρικούς σκοπούς. Μειώνει στο ελάχιστο την καταγραφή των στοιχείων που απαιτούνται για την φροντίδα ή την κατάσταση της υγείας του ασθενούς. ίνει τη δυνατότητα ηλεκτρονικής αποστολής των στοιχείων που συλλέχθηκαν. Μία µικρή φορητή συσκευή σε συνδυασµό µε ακουστικά και µικρόφωνο επιτρέπει την φωνητική καταγραφή (FMA).( Η συσκευή αυτή επικοινωνεί ασύρµατα µε µία δεύτερη (FMC)( FMC),, η οποία µε τη χρήση γραφίδας επιτρέπει την επεξεργασία των πληροφοριών που καταγράφηκαν φωνητικά. Παρέχει τη δυνατότητα ανάκτησης του ιστορικού του ασθενούς και προσθήκης νέων στοιχείων.

12 MATCH (Multimodal Access To City Help) Οδηγός πόλης και σύστηµα πλοήγησης που επιτρέπει στον χρήστη να έχει πρόσβαση σε πληροφορίες που αφορούν αξιοθέατα, εστιατόρια, µνηµεία, συγκοινωνίες, τηλέφωνα και διευθύνσεις. Λειτουργεί είτε σε µικρό φορητό υπολογιστή είτε σε κιόσκι πληροφόρησης. Ο χρήστης µπορεί να δώσει φωνητική είσοδο σε φυσική γλώσσα ή/ και ι να συνδυάσει τη χρήση γραφίδας.

13 Πολυτροπική ιεπαφή για IPTV

14 ΣΗΜΕΡΙΝΗ ΠΡΑΓΜΑΤΙΚΟΤΗΤΑ ΜΕΛΛΟΝΤΙΚΕΣ ΚΑΤΕΥΘΥΝΣΕΙΣ Έλλειψη εργαλείων για την ανάπτυξη λογισµικού για πολυτροπικές διεπαφές. Υψηλή πολυπλοκότητα ανάπτυξης τέτοιων εργαλείων. Η ανάπτυξη τέτοιων εργαλείων θα συµβάλλει στην περαιτέρω εξέλιξη των πολυτροπικών διεπαφών. Ανάπτυξη µετρικών συστηµάτων και τεχνικών για την αξιολόγηση της ποιότητας των πολυτροπικών διεπαφών. ιενέργεια µελετών για τη συµπεριφορά των χρηστών κατά την αλληλεπίδρασή τους µε πολυτροπικές διεπαφές. Στην κατεύθυνση αυτή δηµιουργήθηκε το ΕΜΜΕΤ (Extensible( Multimodal Environment Toolkit).

15 EMMET ΣΤΟΧΟΙ 1. Οι προγραµµατιστές να εξερευνήσουν τη σχεδίαση διεπαφών που στηρίζονται στην αναγνώριση οµιλίας και τη χρήση γραφίδας, χωρίς να απαιτείται να κατανοήσουν τις λεπτοµέρειες των χαµηλότερων επιπέδων στα οποία υλοποιούνται η αναγνώριση οµιλίας και κινήσεων. 2. Η διευκόλυνση της γρήγορης διανοµής και δοκιµής των πρωτοτύπων πολυτροπικών διεπαφών µέσω του Web. 3. Η παροχή ενός ενσωµατωµένου συλλέκτη δεδοµένων που θα επιτρέψει στους προγραµµατιστές να αντλούν στατιστικά χρήσης των πολυτροπικών διεπαφών µετά από κάθε χρήση των εφαρµογών τους.

16 ΑΛΛΕΣ ΠΡΟΣΠΑΘΕΙΕΣ Στην ίδια κατεύθυνση µε το έργο ΕΜΜΕΤ, έγινε και µία σειρά άλλων προσπαθειών. Ενδεικτικά αναφέρονται οι παρακάτω: CAIP Center for Advanced Information Processing (Rutgers University). AMBIENTE Workspaces of the future ιεπαφή STAR. W3C World Wide Web Consortium

17 ΣΥΜΠΕΡΑΣΜΑΤΑ (1) Οι πολυτροπικές διεπαφές βρίσκονται σε πολύ πρώιµο στάδιο ανάπτυξης, παραµένοντας κατά κύριο λόγο διτροπικές. Τεχνολογίες που σχετίζονται µε κάποιες από τις ανθρώπινες αισθήσεις όπως η γεύση, η ακοή και η αφή είτε δεν περιλαµβάνονται καθόλου είτε δεν αντιπροσωπεύονται επαρκώς. Ο σχεδιασµός / ανάπτυξη νέων τύπων πολυτροπικών διεπαφών θα εξαρτηθεί από τις γνώσεις που θα αποκτηθούν και θα οδηγήσουν στην τυποποίηση της χρήσης συνδυασµένης εισόδου από τον άνθρωπο χρήστη.

18 ΣΥΜΠΕΡΑΣΜΑΤΑ (2) Ο επιτυχής σχεδιασµός απαιτεί καθοδήγηση από τις επιστήµες που µελετούν την ανθρώπινη αντίληψη και των τρόπο παραγωγής ανθρώπινων συµπεριφορών. Για την ευρεία διάδοση απαιτείται η ανάπτυξη πολυτροπικών αρχιτεκτονικών περισσότερο γενικών και ευέλικτων, οι οποίες µόλις τα τελευταία χρόνια άρχισαν να αναπτύσσονται. Οι πολυτροπικές διεπαφές του µέλλοντος θα δέχονται πολλαπλή είσοδο από ετερογενείς πηγές, τις οποίες θα µπορούν να συνδυάζουν για την παραγωγή της απαιτούµενης πληρφορορίας. Θα προσφέρουν καλύτερη ισορροπία εισόδου/εξόδου δίνοντας στους χρήστες µεγαλύτερη εκφραστική δύναµη. Σήµερα, βρίσκονται στη φάση που µόλις έχουν αρχίσει να µοντελοποιούν την ανθρωπίνου τύπου αντίληψη και αίσθηση.

19 Πηγές 1. Robbins, A.C. 2006, Extensible Multimodal Environment Toolkit (EMMET): A Toolkit for prototyping and Remotely Testing Speech and a Gesture Based Multimodal Interfaces. 2. Branco,, P. 2001, Challenges for Multimodal Interfaces. 3. Oviat,, S. 2004, Multimodal Interfaces. 4. Oviat,, S., Coulston,, R. & Lunsford, R. 2004, When do we interact Multimodally?? Cognitive Load and Multimodal Communication Patterns. 5. AT & T Knowledge Ventures 2007, Multimodal Interfaces