υναµική σύνθεση νοηµάτων µε χρήση εικονικού βοηθού για την υποστήριξη της διδασκαλίας γλώσσας σε κωφούς µαθητές Eλένη Ευθυµίου eleni_e@ilsp.gr Οµάδα Υποστηρικτικών Τεχνολογιών Ινστιτούτο Επεξεργασίας Λόγου
η Γλωσσική Τεχνολογία ενσωµατώνει στα πληροφορικά συστήµατα την ανθρώπινη γνώση για τη γλώσσα επιτρέπει και στοχεύει στην επικοινωνία ανθρώπου-µηχανής στο επίπεδο επικοινωνίας ανθρώπου µε άνθρωπο
Επεξεργασία Φυσικής Γλώσσας: γραµµατική προσέγγιση στατιστική προσέγγιση συνδυασµός γραµµατικών + στατιστικών µεθόδων
απαραίτητη προϋπόθεση: γλωσσικοί πόροι: > λεξικά µε συντακτική και σηµασιολογική πληροφορία > ηλεκτρονικά σώµατα κειµένων
Υποστηρικτικές Τεχνολογίες στο πλαίσιο της Γλωσσικής Τεχνολογίας Έρευνα και εφαρµογές στο χώρο των Τεχνολογιών Φωνής -Σύνθεση Φωνής και -Αναγνώριση Οµιλίας Έρευνα και εφαρµογές στο χώρο της Ανάλυσης και Επεξεργασίας Φυσικής Γλώσσας -Ανάπτυξη εφαρµογών νοηµατικής γλώσσας
η µοντελοποίηση νοηµατικής γλώσσας απαιτεί: ανάλυση δεδοµένων νοηµατικής γλώσσας δηµιουργία ψηφιακών γλωσσικών πόρων παραγωγή αναπαραστάσεων νοηµατικών συντακτικών δοµών κωδικοποίηση των πόρων µε βάση τουλάχιστον τα φωνολογικά χαρακτηριστικά των νοηµατικών γλωσσών
Ελληνική Νοηµατική Γλώσσα (ΕΝΓ) Φωνολογία νοήµατος: Χειροµορφή: βασικό συστατικό κάθε νοηµατικής γλώσσας Θέση άρθρωσης του νοήµατος Προσανατολισµός και κίνηση της παλάµης Στάση/κίνηση σώµατος Έκφραση προσώπου
Χειροµορφές της ΕΝΓ:
Λεξικογράφηση της ΕΝΓ: υποδοµή NOΗMA: Η 1η προσπάθειαγιατηδηµιουργία επαναχρησιµοποιήσιµων πόρων στην ΕΝΓ µε προϊόντα: Ψηφιακό σώµα νοηµατικών κειµένων αφήγησης & Β µε περιεχόµενο το βασικό λεξιλόγιο της ΕΝΓ. ίγλωσσο (ΕΝΓ-ελληνικά) πολυµεσικό λεξικό 3,000 ληµµάτων για το βασικό λεξιλόγιο της ΕΝΓ Παιδικό πολυµεσικό λεξικό της ΕΝΓ. Ανάπτυξη βασικής γλωσσολογικής έρευνας, µεθοδολογιών για τη δηµιουργία γλωσσικών πόρων και µηχανισµών αξιολόγησης περιεχοµένου και διεπαφών.
Ηχρησιµοποίηση βιντεο-ληµµάτων οδήγησε στην ανάπτυξη πολυµεσικών λεξικών για την ιδασκαλία της ΕΝΓ καθώς και για την Κατάρτιση σε ΕΝΓ
δείγµα βιντεο-λήµµατος της ΕΝΓ
Ορολογικό λεξικό για την κατάρτιση σε Η/Υ: οθόνη αλφαβητικής αναζήτησης.
Εκπαιδευτικά Εργαλεία και Καθολική Πρόσβαση: e-εκπαίδευση στην ΕΝΓ
e-εκπαίδευση για όλους Απαίτηση για Καθολική Πρόσβαση στις Τεχνολογίες της ΚτΠ Οι παραδοσιακές δραστηριότητες επικοινωνίας χρήστη-υπολογιστή -π.χ. πρόσβαση σε πληροφορίες on-line, e- επικοινωνία, ηλεκτρονικές βιβλιοθήκες, e-εκπαίδευση, τηλε-εργασία, κλπ- πρέπει να επανασχεδιαστούν / προσαρµοστούν ώστε να επιτρέπουν πρόσβαση από όλους τους χρήστες.
Η Καθολική Πρόσβαση αποτελεί ποιοτικό στόχο για την ΚτΠ. Σχεδίαση για Όλους στην ΚτΠ: αρχιτεκτονικές που βασίζονται σε συστηµατικές προσπάθειες για την υλοποίηση µεθοδολογιών, αρχών σχεδίασης και εργαλείων στο επίπεδο της αρχικής πρόβλεψης.
Σχεδίαση Προσβάσιµης Πλατφόρµας Μία προσβάσιµη πλατφόρµα πρέπει να ενσωµατώνει τεχνικές για την Επικοινωνία Ανθρώπου Μηχανής όπως: Σύνθεση και αναγνώριση οµιλίας Ευρεία χρήση εικονικού νοηµατιστή & ιαδικασίες για απλοποίηση πληκτρολογίου και πλοήγηση µε την βοήθεια διακοπτών. για την υποστήριξη όλων των πιθανών χρηστών. Ηπερίπτωσήµας: η ανάπτυξη τεχνολογίας που επιτρέπει σε έναν εικονικό νοηµατιστή να µεσολαβεί µεταξύ δασκάλου και µαθητή για την παρουσίαση εκπαιδευτικού περιεχοµένου στην ΕΝΓ.
Για τους σκοπούς e-εκπαίδευσης στην ΕΝΓ Χρησιµοποιούνται τεχνολογίες τρισδιάστατου ροµποτικού µοντέλου (avatar) & εµψύχωσης (animation) µε χρήση ηλεκτρονικών γλωσσικών πόρων της ΕΝΓ για τη δηµιουργία και ανανέωση εκπαιδευτικού υλικού στην ΕΝΓ. Πεδίο εφαρµογής: διδασκαλία της γραµµατικής της ΕΝΓ σε µαθητές των πρώτων τάξεων του ηµοτικού. Η ίδια τεχνολογία µπορεί να επιτρέπει στους κωφούς µαθητές να προσπελαύνουν υλικό στη γραπτή ελληνική γλώσσα, υπό την µορφή νοηµατισµένης περίληψης. Εργαλείο εναρµονισµένο µε τις αρχές της Καθολικής Πρόσβασης και της Σχεδίασης για Όλους, στο πλαίσιο της ΚτΠ.
Η χρήση τρισδιάστατου ροµποτικού µοντέλου: επιτρέπει τη µετατροπή γραπτού κειµένου σε νοηµατικές φράσεις => το βίντεο, ο παραδοσιακός τρόπος για την αναπαράσταση της γλωσσικής πληροφορίας οιασδήποτε νοηµατικής γλώσσας, αντικαθίσταται από ένα εργαλείο δυναµικής µετατροπής κειµένου σε νοήµατα.
Κατανεµηµένη επικοινωνία πραγµατικού χρόνου και πρόσβαση σε όλα τα κείµενα: η εικονική τάξη στο ιαδίκτυο συνδυασµένη µε έναν εικονικό νοηµατιστή της ΕΝΓ. Οι παραδοσιακές on-line γλωσσικές ασκήσεις περιορίζονταν σε ασκήσεις µε κείµενο (π.χ. κρεµάλα, συµπλήρωσε την πρόταση, ασκήσεις πολλαπλής επιλογής, ). Στην περίπτωση διδασκαλίας ΝΓ, off-line περιβάλλοντα περιείχαν ασκήσεις που έκαναν εκτεταµένη χρήση ακίνητης εικόνας και βίντεο.
Παραδοσιακά µέσα διδασκαλίας ΝΓ: κείµενο εικόνες βίντεο παντοµίµα νοηµατισµός προφορικών Ελληνικών & περιγραφή γραπτών λέξεων µε χρήση δακτυλικού αλφαβήτου. Τρέχοντα τεχνολογικά µέσα: ζωντανό βίντεο (τηλεδιάσκεψη) ανθρωπόµορφος εικονικός δάσκαλος Συνδυασµοί των µέσων διδασκαλίας δηµιουργούν οµάδες ασκήσεων που εξυπηρετούν ποικίλους εκπαιδευτικούς στόχους.
Εκπαιδευτικά σενάρια σε µια πλατφόρµα διδασκαλίας ΕΝΓ: προσεγγίσεις που καλύπτουν: Παθητική συµµετοχή, που δηλώνεται µέσω του ελέγχου κατανόησης (κατάδειξη αντικειµένων από τους µαθητές). Ενεργητική συµµετοχή: αποκρίσεις µαθητών που δηµιουργούν νέα γλωσσικά στοιχεία.
Πλαίσιο έρευνας Εθνικό έργο ΣΥΝΕΝΝΟΗΣΗ (ΗΜ-44) µε στόχο την ανάπτυξη εικονικού νοηµατιστή ΕΝΓ για την υποστήριξη της εκπαίδευσης των κωφών µαθητών και αντικείµενο τη διδασκαλία της γραµµατικής της ΕΝΓ Οµάδα στόχος: κωφοί µαθητές των πρώτων τάξεων του ηµοτικού.
Η απαίτηση για µετατροπή εκπαιδευτικού περιεχοµένου σε ΕΝΓ, ακολουθεί τις επίσηµες οδηγίες για την διδασκαλία στα σχολεία Κωφών. ΕΝΓ: η µητρική γλώσσα της Κοινότητας των Κωφών στην Ελλάδα, επίσηµη γλώσσα του Ελληνικού Κράτους: Ν.2817/2002. Εποµένως, βασική γλώσσα για την εκπαίδευση. Οδηγίες ΕΕ για την προσβασιµότητα στην πληροφορία στην ειδική εκπαίδευση Περιβάλλοντα τηλε-εκπαίδευσης παρόντα στην καθηµερινή σχολική πραγµατικότητα.
Η ΕΝΓ µελετάται ως προς τα γραµµικά & µηγραµµικά συστατικά της. Κάθε νόηµα περιγράφεται: χειροµορφή θέση κίνηση προέλευση αριθµός χεριών & χρήση άλλων υποχρεωτικών στοιχείων Πρότυπα/κίνηση στόµατος Κίνηση κεφαλής & Κίνηση ωµικής ζώνης
Επιπλέον χαρακτηριστικά: Ικανότητα νοηµατισµού γραµµάτων του γραπτού αλφαβήτου µε χρήση του δακτυλικού αλφάβητου: χρήσιµη τεχνική σε περιπτώσεις όπως: κύρια ονόµατα, ακρώνυµα, ειδική ορολογία ή γενικούς όρους για τους οποίους δεν υπάρχει συγκεκριµένο νόηµα. Αρθρωτή αρχιτεκτονική: δυνατότητα κατά την σχεδίαση του περιεχοµένου να κτίζονται ακολουθίες νοηµάτων από µεµονωµένα νοήµατα.
Τεχνολογικά χαρακτηριστικά Scripting: STEP (Scripting Technology for Embodied Persona) Πλεονέκτηµα: διαχωρισµός της περιγραφής της µεµονωµένης κίνησης και νοηµάτων από την περιγραφή της γεωµετρίας και ιεραρχίας του τρισδιάστατου ροµποτικού µοντέλου (avatar); Αποτέλεσµα: µπορεί να τροποποιηθεί ο ορισµός οποιασδήποτε κίνησης, χωρίς την ανάγκη µοντελοποίησης από την αρχή του εικονικού νοηµατιστή. Avatars: συµβατά µε τοπρότυποh-anim Σελίδα HTML: µεγιστοποίηση προσβασιµότητας. Η σελίδα περιέχει ενσωµατωµένα αντικείµενα VRML που αναπαριστούν το avatar και περιέχουν αναφορές στην µηχανή STEP και το σχετικό JavaScript περιβάλλον επικοινωνίας.
Είσοδος: γραπτό ελληνικό κείµενο το οποίο µετατρέπεται σε νοήµατα ΕΝΓ & παρουσιάζεται στην οθόνη.
εικονικός νοηµατιστής
Γλωσσολογική Γνώση Συστήµατος Λεξιλογικά και συντακτικά στοιχεία ΕΝΓ ιάκριση: µονο-νοηµατικές & πολύ-νοηµατικές µονάδες. Μονο-νοηµατικές µονάδες : Ελεύθερα νοήµατα Περιλαµβάνοντα ως ανεξάρτητα τµήµατα της γνώσης του συστήµατος εσµευµένα νοήµατα Περιλαµβάνονται ως δοµικά συστατικά σχηµατισµού νοηµάτων που τροφοδοτούν την γεννήτρια νοηµάτων σε συνδυασµό µε άλλα νοήµατα
Βιβλιοθήκη φωνολογικών χαρακτηριστικών της δηµιουργίας νοηµάτων Λίστα χειροµορφών της ΕΝΓ Θέσεις δηµιουργίας των νοηµάτων Προσανατολισµός παλάµης & Κίνηση χεριών
Επαύξηση ώστε να περιλαµβάνονται χαρακτηριστικά για: Πρότυπα στόµατος, Εκφράσεις προσώπου Κίνηση σώµατος, που συνήθως δηλώνουν µη-γραµµικά στοιχεία των νοηµατικών γλωσσών Οι πολύ-νοηµατικές µονάδες παράγονται από α) ελεύθερα νοήµατα ή β) συνδυασµό ελευθέρων και δεσµευµένων νοηµάτων µε στόχο την δηµιουργία σύνθετων νοηµάτων, σύµφωνα µε τους κανόνες της µορφολογίας ή τη δηµιουργία νοηµατικών φράσεων.
Γλωσσικοί Πόροι: - λεξιλόγιο (µε επισήµανση HamNoSys) - υπολογιστική γραµµατική (µε επισήµανση ELAN) Συνδυασµός των πόρων => δηµιουργία οποιασδήποτε νοηµατικής φράσης.
Μετατροπέας Κειµένου σε ΕΝΓ: ένα επεκτάσιµο εργαλείο. Προβλέπεται: Επαύξηση βιβλιοθήκης έτσι ώστε να υποστηρίζει δοµικά στοιχεία εκτός των χεριών, µε στόχο τον φυσικότερο νοηµατισµό. Εµπλουτισµός της γλωσσολογικής γνώσης του συστήµατος, που θα οδηγήσει σε καλύτερη δυνατότητα αναπαράστασης. Η µηχανή µετατροπής ελληνικού κειµένου-σε-ενγ µπορεί να ενσωµατωθεί σε ποικιλία περιβαλλόντων όπως διδασκαλία ελληνικής γλώσσας σε κωφούς µαθητές άλλων τάξεων, διδασκαλία της ΕΝΓ σε ακούοντες µαθητές, επαγγελµατική κατάρτιση σε ΕΝΓ, κλπ. Εργαλείο που υποστηρίζει την πρόσβαση από κωφά άτοµα στο ηλεκτρονικό περιεχόµενο.
Παρόµοια έργα διεθνώς: VISICAST, SignSynth, esign, Thetos, http://www.leidenuniv.nl/hil/sign-lang/sl-sites.html#technical http://www.sign-lang.uni-hamburg.de/quellen/default.html http://www.fhs-hagenberg.ac.at/mtd/projekte/fff/3dsign
ευχαριστώ για την προσοχή σας!