Τ.Ε.Ι. ΑΝΑΤΟΛΙΚΗΣ ΜΑΚΕΔΟΝΙΑΣ & ΘΡΑΚΗΣ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ

Transcript

1 Τ.Ε.Ι. ΑΝΑΤΟΛΙΚΗΣ ΜΑΚΕΔΟΝΙΑΣ & ΘΡΑΚΗΣ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ Εκπονήθηκε από τους : Μεταξάκης Γεώργιος Ταγγοζίδης Παναγιώτης Α.Ε.Μ.: 2459 Α.Ε.Μ.: 1959 Επιβλέπων Καθηγητής : Δρ. Ελευθέριος Μωυσιάδης Καβάλα, Οκτώβριος 2013

2 ΠΕΡΙΛΗΨΗ Η παρούσα πτυχιακή έχει ως σκοπό την σχεδίαση και υλοποίηση ενός λογισμικού που θα ενημερώνει με την χρήση φωνητικής αναγνώρισης ένα excel αρχείο με βαθμολογίες φοιτητών. Μετά από κάθε εξεταστική ή εξέταση προόδου, οι εκπαιδευτικοί έχουν πολλά γραπτά για να διορθώσουν και να μεταφέρουν στο κατάλληλο excel βαθμολογιών των βαθμό του κάθε φοιτητή. Μέχρι τώρα η διαδικασία μεταφοράς του βαθμού στο excel αρχείο, όταν υπάρχουν πολλά γραπτά, δεν είναι καθόλου εύκολο για τον εκπαιδευτικό. Πρέπει να ανοίγει το excel, να ψάχνει έναν-έναν τον φοιτητή είτε με τον αριθμό μητρώου είτε με το ονοματεπώνυμο και στην κατάλληλη στήλη να συμπληρώνει τον βαθμό. Η ιδέα της πτυχιακής αυτής είναι να βοηθήσει τους εκπαιδευτικούς σε αυτό το δύσκολο κομμάτι χρησιμοποιώντας την φωνητική αναγνώριση. Ο εκπαιδευτικός θα επιλέγει το αρχείο βαθμολογιών, θα φορτώνει το πρόγραμμα και στην συνέχεια αντί να ψάχνει τον φοιτητή από το αρχείο, θα διαβάζει από το γραπτό απλώς τον αριθμό μητρώου. Ύστερα, το λογισμικό θα το αντιστοιχεί με τον εκάστοτε φοιτητή και τέλος ο εκπαιδευτικός θα εκφέρει τον βαθμό. Για την υλοποίηση του λογισμικού χρησιμοποιήθηκε η γλώσσα προγραμματισμού Java και περιβάλλον εργασίας τον Eclipse IDE σε λειτουργικό σύστημα Windows 7 x64. Για το λογισμικό έγινε χρήση των βιβλιοθηκών cmusphinx4 (φωνητική αναγνώριση), jexcel (επεξεργασία excel αρχείων), freetts (παραγωγός τεχνικής ομιλίας στα αγγλικά), pesto TTS (παραγωγός τεχνικής ομιλίας στα ελληνικά) επίσης χρησιμοποιήθηκαν τα Google Hangouts, για την επικοινωνία των σπουδαστών που υλοποίησαν την πτυχιακή και του Google code ως SVN, για την αποθήκευση και συγχρονισμό του κώδικα μεταξύ των σπουδαστών. Η υλοποίηση που έγινε για την παρούσα πτυχιακή εργασία, κατέληξε σε ένα καλό αποτέλεσμα, το οποίο ανταποκρίνεται ικανοποιητικά σε όλες τις απαιτήσεις που είχαν αρχικά τεθεί. Η φωνητική αναγνώριση του λογισμικού θα μπορούσε να βελτιστοποιηθεί με την χρησιμοποίηση ενός ακουστικού μοντέλου για την ελληνική γλώσσα. Σελίδα 2 από 59

3 ΠΡΟΛΟΓΟΣ Η συγκεκριμένη πτυχιακή εργασία αφορά την σχεδίαση και υλοποίηση ενός βοηθητικού εργαλείου για τους εκπαιδευτικούς. Εκπονήθηκε από τους Γεώργιο Μεταξάκη και Παναγιώτη Ταγγοζίδη στο πλαίσιο των προπτυχιακών σπουδών, που πραγματοποιήθηκαν στο τμήμα Μηχανικών Πληροφορικής στο Τεχνολογικό Εκπαιδευτικό Ίδρυμα Ανατολικής Μακεδονίας και Θράκης. Θα θέλαμε να ευχαριστήσουμε όλους τους καθηγητές που είχαμε στο ΤΕΙ, για τις γνώσεις αλλά και τα ερεθίσματα για μάθηση που μας προσέφεραν, τους φίλους μας για την συμπαράσταση και την βοήθεια στον έλεγχο του λογισμικού και του βιβλίου αλλά και για την στήριξή τους. Θέλουμε να ευχαριστήσουμε και τον επιβλέπων καθηγητή Δρ. Μωυσιάδη Ελευθέριο για την κατανόηση και την υποστήριξη κατά την διάρκεια της πτυχιακής εργασίας. Σεβασμό και ιδιαίτερες ευχαριστίες οφείλω στους φίλους Σηφάκη Κωνσταντίνο, Μπρατάνη Δημήτριο, Αθανασόπουλο Νικόλαο, Κομποθανάση Νίκη, Σταματάκη Γεώργιο, Σολακάκη Κωνσταντίνο και Παντατοσάκη Ζαχαρία για την στήριξη και βοήθεια που έδωσαν ο καθένας από όπου μπορούσε. Τέλος, ευχαριστούμε τις οικογένειές μας για την συμπαράσταση και την βοήθεια που προσέφεραν. Σελίδα 3 από 59

4 ΠΕΡΙΕΧΟΜΕΝΑ ΠΕΡΙΛΗΨΗ... 2 ΠΡΟΛΟΓΟΣ... 3 ΠΕΡΙΕΧΟΜΕΝΑ... 4 ΠΕΡΙΕΧΟΜΕΝΑ Εικόνων... 6 ΠΕΡΙΕΧΟΜΕΝΑ Διαγραμμάτων ροής... 6 ΚΕΦΑΛΑΙΟ 1 - Εισαγωγή... 7 ΚΕΦΑΛΑΙΟ 2 Εμβαθύνοντας Σκοπός έρευνας Θέμα έρευνας Στόχος υλοποίησης Συναφείς έρευνες - εργασίες Η φωνητική αναγνώριση του iphone Ο βοηθητικός οδηγός Sherpa Ο βοηθητικός οδηγός της Google KΕΦΑΛΑΙΟ 3 Αρχεία Excel Εισαγωγή Βιβλιοθήκες που ελέχθησαν Επεξήγηση βιβλιοθήκης Επιλογή βιβλιοθήκης KΕΦΑΛΑΙΟ 4 Παραγωγοί τεχνικής ομιλίας Εισαγωγή Βιβλιοθήκες που ελέχθησαν Επεξήγηση βιβλιοθήκης Επιλογή βιβλιοθήκης ΚΕΦΑΛΑΙΟ 5 Φωνητική αναγνώριση Εισαγωγή Βιβλιοθήκες που ελέχθησαν Επεξήγηση βιβλιοθήκης Βασικές έννοιες της ομιλίας Διαδικασία φωνητικής αναγνώρισης Μοντέλα Σελίδα 4 από 59

5 5.3.4 Χρήση σε άλλη γλώσσα Δημιουργία φωνητικού λεξικού Δημιουργία μοντέλου γλώσσας Δημιουργία ακουστικού μοντέλου Ακουστικά μοντέλα από την ομάδα Voxforge ΚΕΦΑΛΑΙΟ 6 Ασφάλεια ΚΕΦΑΛΑΙΟ 7 Εργαλεία που χρησιμοποιήθηκαν Google Hangout Google code IDE Eclipse Microsoft Visio Microsoft Word ΚΕΦΑΛΑΙΟ 8 Διαγράμματα Ροής Δεδομένων Διάγραμμα Ροής MAIN Διάγραμμα Ροής Loop Διάγραμμα Ροής κατάστασης αναμονής Α Διάγραμμα Ροής κατάστασης αναμονής Β ΚΕΦΑΛΑΙΟ 9 Συμπεράσματα Αποτελέσματα Προτάσεις για βελτίωση ΠΑΡΑΡΤΗΜΑ Α ΕΓΧΕΙΡΙΔΙΟ ΧΡΗΣΗΣ Α.1 Για τον χρήστη Α.2 Για τον διαχειριστή ΠΑΡΑΡΤΗΜΑ Β ΛΕΞΙΚΟ ΔΕΔΟΜΕΝΩΝ ΠΑΡΑΡΤΗΜΑ Γ ΑΠΑΙΤΗΣΕΙΣ ΠΑΡΑΡΤΗΜΑ Δ ΠΡΟΔΙΑΓΡΑΦΕΣ ΠΑΡΑΡΤΗΜΑ Ε ΚΩΔΙΚΑΣ Αναφορές Σελίδα 5 από 59

6 ΠΕΡΙΕΧΟΜΕΝΑ Εικόνων Εικόνα 1 Κυματομορφή δύο λέξεων Εικόνα 2 Έξι επαναλήψεις του αριθμού ένα Εικόνα 3 Εφαρμογή συλλογής ηχογραφήσεων voxforge Εικόνα 4 Εφαρμογή συλλογής ηχογραφήσεων voxforge Εικόνα 5 HDD Key form Εικόνα 6 εγγραφής Εικόνα 7 ολοκλήρωση εγγραφής Εικόνα 8 Κεντρική φόρμα Εικόνα 9 Φόρμα σπουδαστών Εικόνα 10 generatelicenceconsole Εικόνα 11 generatelicensegui ΠΕΡΙΕΧΟΜΕΝΑ Διαγραμμάτων ροής Αρχείο γραμματικής Main loop standbymodea standbymodeb Σελίδα 6 από 59

7 ΚΕΦΑΛΑΙΟ 1 - Εισαγωγή Η πτυχιακή αυτή έχει σαν στόχο την δημιουργία λογισμικού που θα ενημερώνει με την χρήση φωνητικής αναγνώρισης ένα αρχείο excel με βαθμολογίες φοιτητών. Κεφάλαιο 1: Το πρώτο κεφάλαιο είναι το κεφάλαιο εισαγωγής και γίνεται μία μικρή αναφορά στο τι περιέχει το κάθε κεφάλαιο που ακολουθεί. Κεφάλαιο 2: Στο δεύτερο κεφάλαιο αναλύεται ο σκοπός της έρευνας, το θέμα της έρευνας, στόχοι υλοποίηση αλλά και διάφορες συναφείς εργασίες στα πλαίσια της φωνητικής αναγνώρισης. Κεφάλαιο 3: Στο τρίτο κεφάλαιο γίνεται μία αναλυτική αναφορά, ανάλυση των βιβλιοθηκών επεξεργασίας αρχείων excel και τις δυνατότητες που παρέχουν στον προγραμματιστή. Κεφάλαιο 4: Στο τέταρτο κεφάλαιο αναλύονται οι βιβλιοθήκες παραγωγής τεχνικής ομιλίας, τι προσφέρουν οι συγκεκριμένες βιβλιοθήκες αλλά και πως λειτουργούν. Κεφάλαιο 5: Στο πέμπτο κεφάλαιο αναλύεται το σημαντικότερο κομμάτι της πτυχιακής εργασίας που είναι η φωνητική αναγνώριση, αναλύεται η βιβλιοθήκη CMU sphinx που χρησιμοποιήθηκε αλλά και πως γίνεται η λειτουργία της φωνητικής αναγνώρισης. Στο συγκεκριμένο κεφάλαιο υπάρχει εκτενής αναφορά στο πως θα χρησιμοποιήσει κάποιος προγραμματιστής την συγκεκριμένη βιβλιοθήκη σε άλλη γλώσσα πέρα της Αγγλικής. Κεφάλαιο 6: Στο έκτο κεφάλαιο αναλύονται διάφοροι μέθοδοι ασφάλειας λογισμικού και η μέθοδος που χρησιμοποιήθηκε. Κεφάλαιο 7: Στο έβδομο κεφάλαιο γίνεται μία μικρή αναφορά στα εργαλεία που χρησιμοποιήθηκαν για την πτυχιακή αυτή. Κεφάλαιο 8: Στο όγδοο κεφάλαιο παρουσιάζονται μερικά από τα σημαντικότερα διαγράμματα ροής της εργασίας, τα οποία είναι τα Main, loop, κατάσταση αναμονής Α, κατάσταση αναμονής Β. Κεφάλαιο 9: Στο ένατο κεφάλαιο της πτυχιακής εργασίας γίνεται η αναφορά για τα συμπεράσματα που αποκομίσθηκαν από την σχεδίαση και την δημιουργία του λογισμικού αλλά και γενικά της πτυχιακής εργασίας. Παράρτημα Α : Στο παράρτημα Α υπάρχει το εγχειρίδιο χρήσης για τον χρήστη αλλά και για τον διαχειριστή του συστήματος των κωδικών. Σελίδα 7 από 59

8 Παράρτημα Β : Στο παράρτημα Β υπάρχει ένα λεξικό δεδομένων, με διάφορες έννοιες που ίσως είναι μη κατανοητές για τον αναγνώστη της συγκεκριμένης πτυχιακής και θελήσει κάποια διευκρίνηση. Παράρτημα Γ : Στο παράρτημα Γ αναλύεται σε μορφή πίνακα οι αρχικές απαιτήσεις του συστήματος. Παράρτημα Δ : Στο παράρτημα Δ αναλύονται σε μορφή πινάκων οι προδιαγραφές του συστήματος. Παράρτημα Ε : Στο παράρτημα Ε υπάρχουν κάποια μικρά δείγματα του κώδικα όπως και διαδικτυακός σύνδεσμος για την μεταφόρτωση των αρχείων του κώδικα. Σελίδα 8 από 59

9 ΚΕΦΑΛΑΙΟ 2 Εμβαθύνοντας 2.1 Σκοπός έρευνας Ο σκοπός της συγκεκριμένης πτυχιακής εργασίας είναι να σχεδιαστεί και να υλοποιηθεί ένα λογισμικό, ένα εργαλείο για τους εκπαιδευτικούς στην διαδικασία της καταχώρησης και της μεταβολής των βαθμολογιών των φοιτητών. Σκοπός της πτυχιακής εργασίας είναι να παρέχει στον χρήστη ευχρηστία και ικανοποιητική ταχύτητα κατά την διάρκεια της διαδικασίας αυτής. Με την χρήση φωνητικού ελέγχου, ο εκπαιδευτικός θα έχει ευχρηστία και θα κερδίσει σε ταχύτητα κατά την διάρκεια της καταχώρησης και της μεταβολής των βαθμολογιών. Χωρίς την χρήση του φωνητικού ελέγχου ο εκπαιδευτικός θα πρέπει να αναζητεί συνεχώς στο αρχείο των βαθμολογιών τον εκάστοτε φοιτητή ώστε να κάνει την μεταβολή, καταχώρηση της βαθμολογίας του. Μία διαδικασία κάθε άλλο παρά εύχρηστη και αρκετά χρονοβόρα. 2.2 Θέμα έρευνας Το πιο σημαντικό κομμάτι της έρευνας ήταν ο φωνητικός έλεγχος, λιγότερα σημαντικά κομμάτια, αλλά όχι αδιάφορα ήταν για την επεξεργασία των αρχείων βαθμολογιών και παραγώγους τεχνητής ομιλίας (speech synthesizer) για την εκφορά του ονοματεπώνυμου και του κάποιων κειμένων ανάδρασης. Στα πλαίσια της συγκεκριμένης πτυχιακής εργασίας επιλέχθηκε να γίνει χρήση έτοιμων βιβλιοθηκών φωνητικού ελέγχου, επεξεργασίας αρχείων excel, παραγωγούς τεχνητής ομιλίας. 2.3 Στόχος υλοποίησης Ο στόχος της συγκεκριμένης πτυχιακής εργασίας είναι να δημιουργηθεί ένα αξιόπιστο εργαλείο για τους εκπαιδευτικούς, που θα έχουν την δυνατότητα με την χρήση φωνητικού ελέγχου θα ενημερώνουν ένα αρχείο excel βαθμολογιών. Το προαναφερόμενο αρχείο excel θα έχει τέτοια γραμμογράφηση ώστε σε κάθε γραμμή του θα υπάρχουν τα στοιχεία βαθμολογίας ενός φοιτητή. Το προτεινόμενο λογισμικό θα διαθέτει επιλογή «Ρυθμίσεις» όπου θα καθορίζεται η στήλη που περιέχει τον Αριθμό Μητρώου, η στήλη που περιέχει το ονοματεπώνυμο και η στήλη που θα ενημερώνεται με την βαθμολογία. Στις ρυθμίσεις θα καθορίζεται επίσης η αποδεκτή κλίμακα βαθμολογίας, π.χ ή 0..20, κλπ. Στην κεντρική οθόνη του προτεινόμενου λογισμικού θα δίνεται η δυνατότητα επιλογής ενός αρχείου excel. Το επιλεγόμενο αρχείο θα ανοίγει σε ειδικό παράθυρο και αμέσως το λογισμικό θα τίθεται σε κατάσταση αναμονής για φωνητική αναγνώριση. Την κατάσταση αυτή ονομάζουμε κατάσταση αναμονής Α. Ο εκπαιδευτικός που είναι ο βασικός χρήστης αυτής της εφαρμογής θα εκφέρει τον αριθμό μητρώου του φοιτητή για τον οποίο επιθυμεί να καταχωρήσει βαθμολογία. Το λογισμικό θα αποκρίνεται επισημαίνοντας (πχ αλλάζοντας το Σελίδα 9 από 59

10 χρώμα) την γραμμή με τον αντίστοιχο αριθμό μητρώου και εκφέροντας το ονοματεπώνυμο του αντίστοιχου φοιτητή. Στην συνέχεια, το λογισμικό θα τίθεται σε κατάσταση αναμονής Β όπου θα περιμένει από τον χρήστη να εκφέρει τον βαθμό ή να πατήσει escape. Εφόσον, το λογισμικό αναγνωρίσει βαθμό εντός των ορίων της αποδεκτής κλίμακας θα ενημερώνει το κατάλληλο κελί και στην συνέχεια θα τίθεται στην κατάσταση αναμονής Α. Αν πατηθεί escape θα τίθεται σε κατάσταση αναμονής Α άμεσα. Από την κατάσταση αναμονής Α θα μπορεί επίσης να διαφύγει εφόσον δεχθεί escape. Το πρόγραμμα θα λειτουργεί δωρεάν το πρώτο έτος της εγκατάστασης, αλλά αν ο χρήστης μείνει ευχαριστημένος και θα θέλει να το χρησιμοποιεί για μεγαλύτερο διάστημα θα πρέπει να αγοράσει την εφαρμογή και να χρησιμοποιήσει εδικό κωδικό. Η περιγραφόμενη εφαρμογή αναμένεται να είναι πολύ χρήσιμη για μεγάλο πλήθος εκπαιδευτικών όλων των βαθμίδων της εκπαίδευσης. 2.4 Συναφείς έρευνες - εργασίες Μετά από έρευνα στο διαδίκτυο βρέθηκαν αρκετές εφαρμογές που χρησιμοποιούν την φωνητική αναγνώριση, σε πολλές διαφορετικές κατηγορίες εφαρμογών. Μερική λίστα κατηγοριών : Σε αυτοκίνητα o OnStar (1) o Ford Sync (2) Σε ηλεκτρονικά παιχνίδια o Tom Clancy's EndWar (3) o Lifeline (4) Βοηθητικοί οδηγοί κινητών τηλεφώνων o Siri (5) o Sherpa (6) o Google Now (7) o Dragon Mobile Assistant (8) Στην υγεία Στον στρατό Σε αυτοματισμούς σπιτιού Η φωνητική αναγνώριση του iphone Το Siri είναι μία εφαρμογή για κινητά τηλέφωνα με λειτουργικό ios5 (λειτουργικό έξυπνων κινητών τηλεφώνων από την Apple) και νεότερη έκδοση. Με την συγκεκριμένη εφαρμογή έχεις την δυνατότητα να χρησιμοποιήσεις την φωνή σου για διάφορες χρήσεις όπως : Σελίδα 10 από 59

11 Αποστολή μηνυμάτων Προγραμματισμό συναντήσεων Αναζήτηση πληροφοριών για διάφορα θέματα Κλήση επαφής ή αριθμού Και άλλες υπηρεσίες του τηλεφώνου ή και του διαδικτύου Ο βοηθητικός οδηγός Sherpa Το Sherpa είναι μία εφαρμογή για κινητά τηλέφωνα με λειτουργικό Android (Λειτουργικό έξυπνων κινητών τηλεφώνων από την Google). Το Sherpa είναι μία έξυπνη εφαρμογή βοηθητικού οδηγού για έξυπνα κινητά τηλέφωνα που μαθαίνει τι αρέσει και προτιμάει ο χρήστης της. Μερικές από τις δυνατότητες που προσφέρει το Sherpa στον χρήστη της είναι : Απαντάει σε διάφορες ερωτήσεις π.χ. «Who is Obama?». Παίζει μουσική χωρίς να την κατεβάζει στο κινητό. Ψάχνει και βρίσκει εστιατόρια ή άλλα μαγαζιά κοντά στον χρήστη ανάλογα το αίτημα του χρήστη. Ενημερώνει για τον καιρό. Μαθαίνει και θυμάται τις προσωπικές σχέσεις π.χ. «Call my Dad». Πραγματοποιεί μεταφορές χρημάτων μέσω Paypal Ο βοηθητικός οδηγός της Google Το Google Now είναι μία εφαρμογή για κινητά τηλέφωνα με λειτουργικό Android ή ios. Το Google Now είναι ένας έξυπνος προσωπικός βοηθός για κινητά τηλέφωνα ανεπτυγμένο από την Google. Μερικές από τις δυνατότητες που προσφέρει το Google Now είναι : Ενημέρωση για γενέθλια, συναυλίες και άλλα συμβάντα που μπορεί να ενδιαφέρουν τον χρήστη. Ενημέρωση για ταινίες Ενημέρωση για νέα μουσικά άλμπουμ, βιβλία, ηλεκτρονικά παιχνίδια, επεισόδια σειρών. Υπενθυμίσεις βάση ώρας/τοποθεσίας/συμβάν. Μεταφράσεις. Ενημέρωση για τον καιρό. Ενημέρωση για πτήσεις. Κράτηση αεροπορικών εισιτηρίων. Κράτηση δωματίου σε ξενοδοχείο. Κράτηση εισιτηρίου σε συμβάντα. Μερικοί από τους συνεργάτες του Google Now είναι οι : Για πτήσεις : Σελίδα 11 από 59

12 o AirBerlin o easyjet o Emirates o Japan Airlines Για κρατήσεις σε ξενοδοχεία : o Booking.com o Hotel.de o Gala Hotels o HotelClub o LastMinute.com Για συμβάντα o DemandForce o Digitick o StubHub o Ticketfly Σελίδα 12 από 59

13 KΕΦΑΛΑΙΟ 3 Αρχεία Excel 3.1 Εισαγωγή Στο κεφάλαιο αυτό θα γίνει μία αναφορά στις βιβλιοθήκες που ελέχθησαν για την επεξεργασία των αρχείων Excel, για τις βιβλιοθήκες που επιλέχθηκαν, αλλά και για την λειτουργία της συγκεκριμένης βιβλιοθήκης. 3.2 Βιβλιοθήκες που ελέχθησαν Οι βιβλιοθήκες που ελέχθησαν για την συγκεκριμένη λειτουργία του λογισμικού είναι οι : jexcel API (9) Apache POI (10) OpenXLS (11) JXLS (12) xlsql (13) 3.3 Επεξήγηση βιβλιοθήκης Μία βιβλιοθήκη επεξεργασίας αρχείων excel παρέχει διάφορες δυνατότητες στον προγραμματιστή, οι δυνατότητες που προσφέρει μία βιβλιοθήκη επεξεργασίας αρχείων excel είναι : 1. Δημιουργία/επεξεργασία αρχείων excel 2. Δημιουργία/επεξεργασία των φύλλων εργασίας του αρχείου 3. Δημιουργία/επεξεργασία των κελιών του φύλου εργασίας 4. Μορφοποιήσεις : Αλλαγή γραμματοσειράς Αλλαγή μεγέθους χαρακτήρων Αλλαγή χρώματος των χαρακτήρων Αλλαγή χρώματος στο φόντο των κελιών Δημιουργία Περιγραμμάτων Δημιουργία σκιάσεων 5. Αντιγραφή διαγραμμάτων 3.4 Επιλογή βιβλιοθήκης Η βιβλιοθήκη που επιλέχθηκε για χρήση ήταν η jexcel API, που είναι μία βιβλιοθήκη ανοιχτού κώδικα για την γλώσσα προγραμματισμού Java, ώστε ο προγραμματιστής να μπορεί να γράφει και να τροποποιεί αρχεία Excel δυναμικά. Η συγκεκριμένη βιβλιοθήκη προτιμήθηκε έναντι των υπολοίπων, επειδή ήταν η πιο εύχρηστη βιβλιοθήκη και φυσικά και με τις περισσότερες δυνατότητες. Δεύτερη σε επιλογή ήταν η Apache POI που είχε τις ίδιες δυνατότητες, αλλά συγκριτικά με την jexcel API ήταν πιο δύσχρηστη για τον προγραμματιστή. Σελίδα 13 από 59

14 Οι υπόλοιπες βιβλιοθήκες που ελέχθησαν είτε είχαν λιγότερες δυνατότητες, είτε ήταν πιο δύσχρηστες για τον προγραμματιστή. Σελίδα 14 από 59

15 KΕΦΑΛΑΙΟ 4 Παραγωγοί τεχνικής ομιλίας 4.1 Εισαγωγή Στο κεφάλαιο αυτό θα γίνει μία αναφορά στις βιβλιοθήκες που ελέχθησαν για τους παραγωγούς τεχνικής ομιλίας, για τις βιβλιοθήκες που επιλέχθηκαν, αλλά και για την λειτουργία της συγκεκριμένης βιβλιοθήκης. 4.2 Βιβλιοθήκες που ελέχθησαν Οι βιβλιοθήκες που ελέχθησαν για την συγκεκριμένη λειτουργία του λογισμικού είναι οι : freetts (14) pesto TTS (15) espeak (16) Praat (17) 4.3 Επεξήγηση βιβλιοθήκης Η λειτουργία μίας βιβλιοθήκης παραγωγής τεχνική ομιλίας είναι να δημιουργεί τεχνική ομιλία από ένα κείμενο. Η διαδικασία παραγωγής τεχνικής ομιλίας από κείμενο έχουν τα εξής σημαντικά βήματα: 1. Ανάλυση της δομής του κειμένου. Γίνεται επεξεργασία του κειμένουεισόδου ώστε να προσδιοριστούν που υπάρχουν διαφορετικοί παράγραφοι και προτάσεις. Στις περισσότερες γλώσσες μάλιστα τα σημεία στίξης εξετάζονται σε αυτό το στάδιο. 2. Κείμενο προ-επεξεργασίας. Αναλύεται το κείμενο εισόδου για ειδικές δομές της γλώσσας. Για κάθε γλώσσα, απαιτείται ειδική αντιμετώπιση για συντομογραφίες, ακρωνύμια, ημερομηνίες, ώρες, αριθμούς, νομισματικά ποσά, διευθύνσεις ηλεκτρονικού ταχυδρομείου και πολλές άλλες μορφές. Το αποτέλεσμα αυτών των δύο πρώτων βημάτων, είναι μία προφορική μορφή του γραπτού κειμένου. Ακολουθούν δύο παραδείγματα των διαφορών μεταξύ γραπτής μορφής και προφορικής. Γραπτή : St. Matthew's hospital is on Main St. Προφορική : Saint Matthew's hospital is on Main Street Γραπτή : Βάλε 20 στον λογαριασμό Προφορική : Βάλε είκοσι ευρώ στον λογαριασμό πενήντα πέντε χιλιάδες τριακόσια εβδομήντα τέσσερα. Τα υπόλοιπα βήματα μετατρέπουν το προφορικό κείμενο σε ομιλία. Σελίδα 15 από 59

16 3. Μετατροπή κείμενου σε φθόγγους. Μετατρέπει κάθε γράμμα του κειμένου στους αντίστοιχους φθόγγους. Ένας φθόγγος είναι μία βασική μονάδα του ήχου σε μία γλώσσα. 4. Ανάλυση εκφοράς. Γίνεται επεξεργασία στην δομή της πρότασης, των λέξεων και των φθόγγων για να καθοριστεί η κατάλληλη εκφορά για την πρόταση. Ώστε η τεχνική ομιλία να είναι όσο πιο κοντά στην φυσική. 5. Παραγωγός κυματομορφής. Χρησιμοποιεί τους φθόγγους και τις πληροφορίες από την ανάλυση εκφοράς ώστε να δημιουργήσει κυματομορφή ήχου για κάθε πρόταση. Οι παραγωγοί τεχνικής ομιλίας μπορεί να κάνουν λάθη σε όλα τα παραπάνω βήματα, αλλά αν γίνει σωστή ρύθμιση των παραμέτρων από τον προγραμματιστή μπορούν να ελαττωθούν αυτά τα λάθη. (18) 4.4 Επιλογή βιβλιοθήκης Για την καλύτερη αλληλεπίδραση του χρήστη με το λογισμικό χρειαζόταν να μπορεί το λογισμικό να εκφωνήσει διάφορα κείμενα, π.χ. το ονοματεπώνυμο του φοιτητή, είτε στα Ελληνικά είτε στα Αγγλικά. Για αυτή την λειτουργία επιλέχθηκαν δύο βιβλιοθήκες η μία βιβλιοθήκη λειτουργεί με την ελληνική γλώσσα και η άλλη με την αγγλική γλώσσα. Για την αγγλική γλώσσα επιλέχθηκε η βιβλιοθήκη freetts η οποία είναι μία βιβλιοθήκη αναπτυγμένη εξ ολοκλήρου στην γλώσσα προγραμματισμού Java και μία από τις αρχαιότερες βιβλιοθήκες στο είδος της. Για την ελληνική γλώσσα επιλέχθηκε μία παρόμοια βιβλιοθήκη η pesto TTS που είναι ένα μικρό και ευέλικτο σύστημα σύνθεσης ομιλίας για τα ελληνικά αλλά και για τα αγγλικά. Το pesto TTS είναι ένα ελληνικό εργαλείο που διατίθεται δωρεάν για μη-εμπορικούς σκοπούς ή με πολύ χαμηλό κόστος για εμπορική αξιοποίηση. Στο λογισμικό θα μπορούσε να χρησιμοποιηθεί μόνο η βιβλιοθήκη pesto TTS, αφού έχει την δυνατότητα σύνθεσης ομιλίας στην αγγλική γλώσσα, αλλά η ποιότητα που προσέφερε δεν ήταν τόσο ικανοποιητική όσο της freetts, για αυτό τον λόγο επιλέχθηκαν και οι δύο βιβλιοθήκες. Οι υπόλοιπες βιβλιοθήκες ήταν μόνο για την αγγλική γλώσσα και δεν είχαν τόσο ικανοποιητικό αποτέλεσμα όσο η freetts. Σελίδα 16 από 59

17 ΚΕΦΑΛΑΙΟ 5 Φωνητική αναγνώριση 5.1 Εισαγωγή Στο κεφάλαιο αυτό θα γίνει μία αναφορά στις βιβλιοθήκες που ελέχθησαν για την φωνητική αναγνώριση, για την βιβλιοθήκη που επιλέχθηκε, αλλά και για την λειτουργία της συγκεκριμένης βιβλιοθήκης. 5.2 Βιβλιοθήκες που ελέχθησαν Οι βιβλιοθήκες που ελέχθησαν για την συγκεκριμένη λειτουργία του λογισμικού είναι οι : CMU Sphinx4 (19) ispeech (20) SAPI (21) Speech To Text API (22) 5.3 Επεξήγηση βιβλιοθήκης Η φωνητική αναγνώριση ήταν το δυσκολότερο πρόβλημα της πτυχιακής εργασίας και έπρεπε να βρεθεί ένα αξιόπιστο εργαλείο να χρησιμοποιηθεί για την δουλειά αυτή. Δυστυχώς δεν υπάρχει κάτι ολοκληρωμένο για την ελληνική γλώσσα, αλλά η βιβλιοθήκη CMU Sphinx4 (19) του Carnegie Mellon University που επιλέχθηκε, έχει την δυνατότητα να επεξεργαστεί και να δουλέψει και σε άλλες γλώσσες. Η συγκεκριμένη βιβλιοθήκη είναι ανοιχτού κώδικα και η πιο γνωστή και αξιόπιστη βιβλιοθήκη φωνητικής αναγνώρισης. Σημαντικό στοιχείο των βιβλιοθηκών φωνητικής αναγνώρισης είναι η βάση δεδομένων που έχουν και χρησιμοποιούν για την σύγκριση με την φωνή. Ο κυριότερος λόγος που επιλέχθηκε η συγκεκριμένη βιβλιοθήκη ήταν, ότι παρείχε την δυνατότητα να δουλέψει και σε ελληνική γλώσσα κάτι που δεν υπήρχε σε άλλες βιβλιοθήκες Βασικές έννοιες της ομιλίας Για να γίνει ευκολότερα αντιληπτή η ομιλία, αλλά γενικά και ο ήχος υπάρχει η δυνατότητα μετατροπής σε κυματομορφή. Όλα τα προγράμματα επεξεργασίας ήχων βασίζονται στην επεξεργασία αυτών των κυματομορφών (23), παράδειγμα τέτοιου προγράμματος είναι το Audacity στην οικογένεια λειτουργικών Windows. Με το συγκεκριμένο πρόγραμμα μπορούμε να παρατηρήσουμε και μία ήδη ηχογραφημένη ομιλία, όχι μόνο να την επεξεργαστούμε. Η ομιλία όμως είναι ένα σύνθετο φαινόμενο. Οι άνθρωποι σπάνια καταλαβαίνουν πως παράγεται και γίνεται αντιληπτή. Η τυπική αντίληψη είναι ότι η ομιλία είναι χτισμένη με λέξεις και η κάθε λέξη αποτελείται από φθόγγους. Ομιλία όμως είναι Σελίδα 17 από 59

18 κάτι πιο σύνθετο. Ομιλία είναι μία δυναμική διαδικασία χωρίς να διακρίνονται τα ξεχωριστά μέρη. Βέβαια ανάμεσα στις λέξεις υπάρχουν κάποια κενά, που είναι σχετικά εύκολο να τα δει κάποιος σε μία κυματομορφή, αυτό φαίνεται και στην Εικόνα 1 που είναι η κυματομορφή της φράσης «ένα δύο». Εικόνα 1 Κυματομορφή δύο λέξεων Η ομιλία είναι μία συνεχής ροή ήχου, μία ακολουθία καταστάσεων, όπου σταθερές καταστάσεις ήχων αναμειγνύονται με μη-σταθερές (δυναμικές) καταστάσεις ήχων. Σαν σταθερές καταστάσεις θεωρούνται οι φθόγγοι, αλλά σαν μη-σταθερές θεωρούνται οι διάφοροι ήχοι, θόρυβοι, που μπορεί να υπάρχουν. Σε αυτή την ακολουθία καταστάσεων, μπορεί κάποιος να καθορίσει περισσότερο ή λιγότερο παρόμοιες κατηγορίες ήχων ή φθόγγων. Οι λέξεις είναι κατανοητό να κατασκευαστούν από φθόγγους, αλλά αυτό δεν είναι η μόνη αλήθεια. Οι ακουστικές ιδιότητες της κυματομορφής που αντιστοιχεί σε ένα φθόγγο μπορεί να διαφοροποιούνται ανάλογα το ύφος του λόγου, τον ομιλητή και άλλους παραμέτρους του λόγου. Ακολουθεί παράδειγμα κυματομορφής έξι επαναλήψεων του αριθμού ένα από διαφορετικά άτομα. Εικόνα 2 Έξι επαναλήψεις του αριθμού ένα Παρατηρώντας την παραπάνω κυματομορφή, μπορεί να γίνει εύκολα αντιληπτό ότι μία λέξη ενώ είναι ίδια, οι ακουστικές της ιδιότητες είναι τελείως διαφορετικές. Χωρίς να διακρίνονται κοινά χαρακτηριστικά ούτε για τους φθόγγους που αποτελείται η λέξη, αλλά ούτε για την λέξη την ίδια. Σελίδα 18 από 59

19 5.3.2 Διαδικασία φωνητικής αναγνώρισης Ο συνήθης τρόπος για να αναγνωριστεί η ομιλία είναι να ληφθεί η κυματομορφή της, να χωριστεί στα κενά σημεία ανάμεσα από τις λέξεις και να γίνει προσπάθεια αναγνώρισης σε κάθε λέξη. Για να γίνει αυτή η αναγνώριση, λαμβάνονται όλοι οι πιθανοί συνδυασμοί λέξεων, από την βάση της βιβλιοθήκης και συγκρίνονται με τον ήχο της ομιλίας και επιλέγεται η λέξη που ταιριάζει καλύτερα. Υπάρχουν τρία πολύ σημαντικά πράγματα σε αυτή την διαδικασία : 1. Η έννοια των χαρακτηριστικών. Η ομιλία χωρίζεται σε πλαίσια συνήθως των 10 χιλιοστών του δευτερολέπτου και αντιπροσωπεύονται από αριθμούς. Στη συνέχεια, για κάθε πλαίσιο εξάγονται 39 αριθμοί που αντιπροσωπεύουν την ομιλία. Στην πραγματικότητα εξάγονται 13 MFCC (24) για το κάθε πλαίσιο μαζί και τα δύο παράγωγα αυτόν (D και DD) και καταλήγει στο σύνολο των 39 (25). Αυτό το σύνολο των πλαισίων, ονομάζεται διάνυσμα χαρακτηριστικών. Ο τρόπος δημιουργίας του πλαισίου γίνεται με την χρήση των θεωριών DCT και CMS (26) (27) (28) βέβαια γίνεται ακόμα έρευνα πάνω σε αυτό το κομμάτι. 2. Η έννοια του μοντέλου. Τα μοντέλα αναφέρονται αναλυτικά στο κεφάλαιο Μοντέλα, μοντέλο περιγράφεται ένα μαθηματικό αντικείμενο που συγκεντρώνει χαρακτηριστικά του προφορικού λόγου. Στην πράξη, για το μοντέλο ήχου κάποιου φθόγγου είναι ένα Gaussian μείγμα τριών τιμών. Για να τεθεί απλά, είναι ένα πιθανό διάνυσμα χαρακτηριστικών. 3. Η διαδικασία ταύτισης. Δεδομένου ότι θα πάρει τεράστιο χρόνο για να συγκριθούν όλα τα διανύσματα χαρακτηριστικών με όλα τα πιθανά μοντέλα, η αναζήτηση συχνά βελτιστοποιείται. Σε οποιοδήποτε σημείο της αναγνώρισης, διατηρούνται τα βέλτιστα πρότυπα που ταιριάζουν καλύτερα και αναπτύσσονται με την πάροδο του χρόνου, για την δημιουργία μίας βάσης δεδομένων με τα βέλτιστα πρότυπα για να μην γίνεται σύγκριση για ήδη εξετασμένα πρότυπα στα επόμενα πλαίσια ομιλίας Μοντέλα Ανάλογα με την δομή του λόγου, για την αναγνώριση της ομιλίας συνδυάζονται τρία μοντέλα σε ένα εργαλείο. Τα τρία μοντέλα αυτά είναι τα : 1. Το ακουστικό μοντέλο που περιέχει ακουστικές ιδιότητες, για κάθε φθόγγο. Το μοντέλο χωρίζεται σε δύο κατηγορίες: a. Στις ακουστικές ιδιότητες που δημιουργήθηκαν από τα πιο πιθανά διανύσματα χαρακτηριστικών για κάθε φθόγγο. Σελίδα 19 από 59

20 b. Και στις ακουστικές ιδιότητες που δημιουργήθηκαν από το σύνολο των φθόγγων την συγκεκριμένης γλώσσας που ανήκει το μοντέλο. 2. Το μοντέλο φωνητικού λεξικού που περιέχει έναν πίνακα αντιστοίχησης λέξεων με φθόγγους. Αυτός ο πίνακας δεν είναι πολύ αποτελεσματικός, αλλά είναι αρκετά ικανοποιητικός τις περισσότερες φορές (Περισσότερα στο κεφάλαιο Δημιουργία φωνητικού λεξικού). Βέβαια το μοντέλο φωνητικού λεξικού δεν είναι η μόνη μορφή χαρτογράφησης από τα λόγια στους φθόγγους. Μπορεί να γίνει και με κάποιον αλγόριθμό μηχανικής μάθησης σαν τον HMM (29). 3. Το μοντέλο γλώσσας χρησιμοποιείται για να περιοριστεί η έρευνα των λέξεων. Ορίζει πια λέξη θα μπορούσε να ακολουθεί, σύμφωνα με κάποιες πιθανότητες για τις επόμενες λέξεις και βοηθά να περιοριστεί σημαντικά η διαδικασία ταύτισης. (30) Χρήση σε άλλη γλώσσα Για να γίνει η χρήση της παραπάνω βιβλιοθήκης, σε κάποια άλλη γλώσσα πέρα της Αγγλικής, πρέπει να επιλεχθεί αν υπάρχει κατάλληλο ακουστικό μοντέλο για την συγκεκριμένη γλώσσα. Αν δεν υπάρχει ακουστικό μοντέλο και υπάρχει μεγάλος όγκος δεδομένων, μπορεί να γίνει δημιουργία μοντέλου γλώσσας. Αν δεν υπάρχει ούτε μοντέλο, αλλά ούτε αρκετός όγκος δεδομένων, τότε επιλέγεται η δημιουργία φωνητικού λεξικού για την επιλεγμένη γλώσσα. Στο λογισμικό αυτό μη έχοντας αρκετά δεδομένα για την δημιουργία ακουστικού μοντέλου, επιλέχθηκε η δημιουργία φωνητικού λεξικού για τις λέξεις που χρειαζόμασταν να αποκωδικοποιήσουμε Δημιουργία φωνητικού λεξικού Η αναπαράσταση των λέξεων στο φωνητικό λεξικό βασίζεται στο σύνολο συμβόλων του ARPAbet (31), σύνολο συμβόλων που είναι ανεπτυγμένο για χρήση φωνητικής αναγνώρισης. Το σύνολο των φθόγγων που χρησιμοποιούνται είναι 39. Το σύνολο συμβόλων του ARPAbet είναι μία αναπαράσταση φθόγγων που αναπτύχθηκε από την ARPA (32)(πλέον DARPA), στα πλαίσια ενός έργου για την κατανόηση της ομιλίας ( ) (33). Αντιστοιχεί κάθε φθόγγο της αγγλικής γλώσσας με μία διακριτή ακολουθία χαρακτήρων ASCII. (34) Απόσπασμα συνόλου συμβόλων ARPAbet : Φθόγγος Παράδειγμα Αναπαράσταση AE at AE T AH hut HH AH T Σελίδα 20 από 59

21 AW cow K AW AY hide HH AY D B be B IY CH cheese CH IY Z ER hurt HH ER T IY eat IY T K key K IY Για να γίνει η δημιουργία ενός φωνητικού λεξικού υπάρχουν διάφορα εργαλεία, αυτά τα εργαλεία έχουν ικανοποιητική απόδοση όταν είναι να χρησιμοποιηθούν για μία αγγλική λέξη, όταν όμως είναι να χρησιμοποιηθούν για λέξης άλλης γλώσσας δεν είναι και τόσο ακριβή. Επίσημο εργαλείο δημιουργίας λεξικού είναι το lmtool (35) όπου του δίνεις ένα αρχείο κειμένου με τις λέξεις που επιθυμείς να σου δημιουργήσει το λεξικό και σου επιστρέφει το κατάλληλο λεξικό. Παράδειγμα λεξικού από lmtool : μηδέν ένα δύο τρία τέσσερα πέντε M IH D AH N EH N AH D AY OW T R AY AH T EH S AH R AH P EH N T Άλλα παρόμοια είναι τα LOGIOS (36), lmtool (τελευταία έκδοση) (37) και lmtool προχωρημένη έκδοση (38). Υπάρχει βέβαια και το CMU Pronouncing Dictionary (39) που μπορεί να χρησιμοποιηθεί για μία μόνο λέξη κάθε φορά. Η επόμενη προσπάθεια για την δημιουργία του λεξικού ήταν να γίνει μετατροπή των λέξεων του λεξικού στο διεθνές φωνητικό αλφάβητο (IPA (40)) και μετά να γίνει μετατροπή στο ARPAbet. Παράδειγμα λεξικού μετά από μετατροπή σε IPA και μετά σε ARPAbet : μηδέν ένα δύο τρία τέσσερα πέντε M IY DH EH N EH N AH DH IY AO T R IY AA T EH S EH R AA P EH N D EH Μη έχοντας καλά αποτελέσματα, σε κάποιες λέξεις, με το λεξικό που δημιουργήθηκε με τους δύο παραπάνω τρόπους επιλέχθηκε να δημιουργηθεί ένα λεξικό με χειροκίνητο τρόπο. Βρέθηκαν λέξεις που κομμάτια τους ή ολόκληρες ακούγονται σαν κάποιες από τις ελληνικές που θέλαμε να χρησιμοποιήσουμε, τις επιλέγαμε και παίρναμε το Σελίδα 21 από 59

22 φωνητικό τους κομμάτι και το δίναμε στην ελληνική λέξη που θέλαμε να χρησιμοποιήσουμε. Π.χ. Για την δημιουργία της λέξης «Μηδέν» επιλέχτηκαν οι λέξεις «me» και «then» της αγγλικής γλώσσας. Μετά από περίπου 25 ώρες πειραμάτων από 2 χρήστες επιλέχθηκε το λεξικό που χρησιμοποιεί το λογισμικό. Ακολουθεί παράδειγμα του λεξικού. Παράδειγμα χειροκίνητου λεξικού : μηδέν ένα δύο τρία τέσσερα πέντε M IY DH EH N AE N AH DH IY OW T ER IY AH T EH S IH R AH P EH D EY Αν συγκριθούν τα δύο παραδείγματα λεξικών μπορούν να παρατηρηθούν αρκετές διαφορές μεταξύ τους. Ανάλυση ελληνικού λεξικού που χρησιμοποιήθηκε σύμφωνα με το λεξικό που υπήρχε στην βιβλιοθήκη CMU Sphinx : Λέξη Αναπαράσταση Αγγλικές λέξεις μηδέν M IY DH EH N ΜΕ+ΤΗΕΝ ένα AE N AH AN+(HYSTERIC)A(L) δύο DH IY OW (TRUSTWOR)THY+(WR)O(BEL) τρία T ER IY AH TREE+(HYSTERIC)A(L) τέσσερα T EH S IH R AH (SEP)TE(MBER)+SERUM πέντε P EH D EY PED(AL)+(TH)E έξι EH K S IY (S)EXY εφτά EH F T AH EFTA οκτώ AO K T AO OCT+O(CT) εννιά EH N Y AH (B)ENYA(MIN) δέκα DH EH K AH THE+KA κόμμα K OW M AH (TA)COMA επόμενο EH P AH M EH N OW EP(ICENTER)+OME(N)+O(MEN) αποθήκευση AE P AH TH IY K AH F S IY (P)AP+O(MEN)+(APA)THY+ CA(N)+(E)F(TA)+SEE ακύρωση AE K IY R AH S IY (SLOV)AKI(A)+(ARISTOC)RACY Ακολουθούν οι δοκιμές που έγιναν ώστε να επιλεχθεί το παραπάνω λεξικό Μηδέν o Επιλογή 1 η «M IY DH EH N» Ποσοστό επιτυχίας : 95% o Επιλογή 2 η «M IH D AH N» Ποσοστό επιτυχίας : 60% o Επιλογή 3 η «M IY DH EH N» Ποσοστό επιτυχίας : 95% Σελίδα 22 από 59

23 Ένα o Επιλογή 1 η «AE N AH» Ποσοστό επιτυχίας : 100% o Επιλογή 2 η «EH N AH» Ποσοστό επιτυχίας : 90% o Επιλογή 3 η «EH N AA» Ποσοστό επιτυχίας : 85% Δύο o Επιλογή 1 η «DH IY OW» Ποσοστό επιτυχίας : 100% o Επιλογή 2 η «D AY OW» Ποσοστό επιτυχίας : 50% o Επιλογή 3 η «DH IY AO» Ποσοστό επιτυχίας : 90% Τρία o Επιλογή 1 η «T ER IY AH» Ποσοστό επιτυχίας : 100% o Επιλογή 2 η «T R AY AH» Ποσοστό επιτυχίας : 10% o Επιλογή 3 η «T R IY AA» Ποσοστό επιτυχίας : 85% Τέσσερα o Επιλογή 1 η «T EH S IH R AH» Ποσοστό επιτυχίας : 90% o Επιλογή 2 η «T EH S AH R AH» Ποσοστό επιτυχίας : 70% o Επιλογή 3 η «T EH S EH R AA» Ποσοστό επιτυχίας : 85% Πέντε o Επιλογή 1 η «P EH D EY» Ποσοστό επιτυχίας : 85% o Επιλογή 2 η «P EH N T» Ποσοστό επιτυχίας : 20% o Επιλογή 3 η «P EH N D EH» Ποσοστό επιτυχίας : 60% Έξι o Επιλογή 1 η «EH K S IY» Ποσοστό επιτυχίας : 100% o Επιλογή 2 η «EΥ K S IY» Ποσοστό επιτυχίας : 65% o Επιλογή 3 η «EH K S IY» Ποσοστό επιτυχίας : 100% Σελίδα 23 από 59

24 Εφτά o Επιλογή 1 η «EH F T AH» Ποσοστό επιτυχίας : 80% o Επιλογή 2 η «EH P T AH» Ποσοστό επιτυχίας : 70% o Επιλογή 3 η «EH F T AA» Ποσοστό επιτυχίας : 75% Οκτώ o Επιλογή 1 η «AO K T AO» Ποσοστό επιτυχίας : 85% o Επιλογή 2 η «AA K T OW» Ποσοστό επιτυχίας : 60% o Επιλογή 3 η «AO K T AO» Ποσοστό επιτυχίας : 85% Εννιά o Επιλογή 1 η «EH N Y AH» Ποσοστό επιτυχίας : 95% o Επιλογή 2 η «EH N IY AH» Ποσοστό επιτυχίας : 85% o Επιλογή 3 η «EH N IY AA» Ποσοστό επιτυχίας : 90% Δέκα o Επιλογή 1 η «DH EH K AH» Ποσοστό επιτυχίας : 100% o Επιλογή 2 η «D AH K AA» Ποσοστό επιτυχίας : 80% o Επιλογή 3 η «DH EH K AA» Ποσοστό επιτυχίας : 90% Κόμμα o Επιλογή 1 η «K OW M AH» Ποσοστό επιτυχίας : 80% o Επιλογή 2 η «K AA M AH» Ποσοστό επιτυχίας : 20% o Επιλογή 3 η «K AO M AA» Ποσοστό επιτυχίας : 75% Επόμενο o Επιλογή 1 η «EH P AH M EH N OW» Ποσοστό επιτυχίας : 80% o Επιλογή 2 η «AH P AA M AH N OW» Ποσοστό επιτυχίας : 40% o Επιλογή 3 η «EH P AO M EH N AO» Ποσοστό επιτυχίας : 70% Σελίδα 24 από 59

25 Αποθήκευση o Επιλογή 1 η «AE P AH TH IY K AH F S IY» Ποσοστό επιτυχίας : 90% o Επιλογή 2 η «AE P AH TH AH K Y UW S IY» Ποσοστό επιτυχίας : 60% o Επιλογή 3 η «AA P AO TH IY K EH F S IY» Ποσοστό επιτυχίας : 80% Ακύρωση o Επιλογή 1 η «AE K IY R AH S IY» Ποσοστό επιτυχίας : 90% o Επιλογή 2 η «AH K IH R AH S IY» Ποσοστό επιτυχίας : 80% o Επιλογή 3 η «AA K IY R AO S IY» Ποσοστό επιτυχίας : 85% Τα τεστ έγιναν από 5 άτομα με 20 επαναλήψεις ανά άτομο, σαν 1 η επιλογή εμφανίζεται η επιλογή που χρησιμοποιήθηκε, σαν 2 η επιλογή η επιλογή που δημιουργήθηκε από το εργαλείο lmtool και σαν 3 η από την μετατροπή σε IPA και μετά σε ARPAbet επιλογή που δημιουργήσαμε Δημιουργία μοντέλου γλώσσας Για την δημιουργία ενός μοντέλου γλώσσας χρειάζεται το εργαλείο cmuclmtk ή για κάποιο απλό μοντέλο γλώσσας μπορεί να γίνει και η χρήση του εργαλείου lmtool που αναλύθηκε στο κεφάλαιο Δημιουργία φωνητικού λεξικού για την δημιουργία ενός λεξικού. Για την δημιουργία του μοντέλου γλώσσας θα πρέπει να συλλεχτούν ή έστω να δημιουργηθούν κείμενα που να αντιπροσωπεύουν όλους, ή έστω όσους περισσότερους γίνεται, τους πιθανούς συνδυασμούς που μπορεί να χρησιμοποιήσει ο χρήστης στην φωνητική αναγνώριση, το βέλτιστο είναι να υπάρχει μία φράση ανά γραμμή. Στα πλαίσια της συγκεκριμένης εφαρμογής δημιουργήθηκε ένα προσωρινό αρχείο κειμένου με όλους τους συνδυασμούς με αριθμούς από το (μέχρι και για εξαψήφιο Αριθμό Μητρώου) και τους συνδυασμούς των ψηφίων 0-9 με τις εντολές «Επόμενο», «Ακύρωση», «Κόμμα», «Αποθήκευση», σε κάθε γραμμή υπήρχε διαφορετικός συνδυασμός λέξεων. Το προσωρινό αρχείο κειμένου χρησιμοποιήθηκε στο εργαλείο lmtool και δημιουργήθηκε το μοντέλο γλώσσας που είναι ένα αρχείο κειμένου με κατάληξη.lm. Στο αρχείο του μοντέλου γλώσσας υπάρχουν όλες οι λέξεις που υπήρχαν στο προσωρινό αρχείο κειμένου και όλοι οι πιθανοί συνδυασμοί δύο και τριών λέξεων. Δίπλα από κάθε συνδυασμό υπάρχει και ένας αριθμός βαρύτητας, για το πόσο συχνά εμφανίζεται στο κείμενο ο συγκεκριμένος συνδυασμός. Σελίδα 25 από 59

26 Στην συνέχεια θα πρέπει να μετατρέψουμε το αρχείο κειμένου με κατάληξη.lm σε αρχείο δυαδικής μορφής.dmp που απαιτεί το Sphinx. Για κάνουμε αυτή την μετατροπή θα χρειαστούμε το εργαλείο sphinx_lm_convert που υπάρχει στο sphinxbase. Το sphinxbase είναι ένα σύνολο εργαλείων από την CMU Sphinx που παρέχετε δωρεάν και μπορεί να κατεβάσει οποιοσδήποτε από την ιστοσελίδα τους. Ο τρόπος χρήσης του εργαλείου είναι απλή, από την γραμμή εντολών τρέχουμε το εργαλείο sphinx_lm_convert και ακολουθούν οι παράμετροι -i όνομα_μοντέλου.lm και -o όνομα_μοντέλου.dmp το sphinx_lm_convert και το αρχείο.lm μας πρέπει να είναι στον ίδιο φάκελο. Παράδειγμα : sphinx_lm_convert -i model.lm -o model.dmp Για την διαδικασία ταύτισης εκτός του μοντέλο γλώσσας χρησιμοποιείται και το αρχείο γραμματικής. Το αρχείο γραμματικής χρησιμοποιεί το πρότυπο Java Speech Grammar Format (41) και με κάποιους απλούς κανόνες διαχωρίζει τους πιθανούς συνδυασμούς φράσεων. Μερικά από τα χαρακτηριστικά που χρησιμοποιεί είναι τα: Ο τελεστής < > που ορίζει έναν κανόνα Η δυνατότητα ύπαρξης ενός κανόνα μέσα σε άλλον Ο τελεστής της άλγεβρας bool OR Ο τελεστής ομαδοποίησης "(...)". Ο προαιρετικός τελεστής ομαδοποίησης "[...]". Αν θεωρήσουμε ότι βρισκόμαστε στην κατάσταση που το σύστημα αναγνωρίζει τον βαθμό οι δυνατότητες που έχουμε είναι οι: Βαθμός από 0 έως 9, μετά κόμμα και μετά βαθμό από 0 έως 9 Βαθμός από 0 έως 9, μετά επόμενο Βαθμός από 0 έως 9, μετά ακύρωση Ακύρωση Αποθήκευση Δέκα Τα παραπάνω κομμάτι στο αρχείο γραμματικής παρουσιάζονται έτσι : <bathmos> =ten (<numbers09> point <numbers09>) (<numbers09> next ) cancel ; Αναλυτικά όλο το αρχείο γραμματικής που χρησιμοποιήθηκε φαίνεται στο Διάγραμμα Ροής 1 Αρχείο γραμματικής Σελίδα 26 από 59

27 Όπου sil και /sil υποδηλώνουν την αρχή και το τέλος της ηχογράφησης. Μία-μία εντολή Ακύρωση αριθμός από 0 έως 9 Αποθήκευση Ολόκληρο ΑΕΜ sil αριθμός από 0 έως 9 αριθμός από 0 έως 9 αριθμός από 0 έως 9 αριθμός από 0 έως 9 /sil Κομμάτι βαθμού Δέκα αριθμός από 0 έως 9 κόμμα αριθμός από 0 έως 9 αριθμός από 0 έως 9 επόμενο Ακύρωση Διάγραμμα Ροής 1 Αρχείο γραμματικής Δημιουργία ακουστικού μοντέλου Η δημιουργία ακουστικού μοντέλου χρειάζεται όταν: θέλεις να δημιουργήσεις ακουστικό μοντέλο για συγκεκριμένη γλώσσα/διάλεκτο, ή χρειάζεσαι εξειδικευμένο μοντέλο για συγκεκριμένο λεξιλόγιο, και έχεις αρκετά δεδομένα να επεξεργαστείς : o Μία ώρα ηχογραφήσεων για απλό έλεγχο από έναν ομιλητή (για λεξιλόγιο μικρότερο από 10 λέξεις). o Πέντε ώρες ηχογραφήσεων από διακόσους ομιλητές για απλό έλεγχο από πολλούς ομιλητές (για λεξιλόγιο μικρότερο από 10 λέξεις) o Δέκα ώρες ηχογραφήσεων για αρκετό έλεγχο από έναν ομιλητή ( για λεξιλόγιο μεγαλύτερο από 100 λέξεις) o Πενήντα ώρες ηχογραφήσεων από διακόσους ομιλητές για αρκετό έλεγχο από πολλούς ομιλητές (για λεξιλόγιο μεγαλύτερο από 100 λέξεις) και έχεις γνώσεις φωνητικής δομής της γλώσσας Σελίδα 27 από 59

28 και έχεις χρόνο να δημιουργήσεις το μοντέλο και να βελτιστοποιήσεις τις παραμέτρους (1-2 μήνες) Οι ηχογραφήσεις (δεδομένα) που θα συλλεχτούν πρέπει έχουν τον ίδιο ρυθμό δειγματοληψίας π.χ. MS WAV στα 16 khz 16 bit mono. Πρέπει επίσης η κάθε ηχογράφηση να μην είναι πάνω από 30 δευτερόλεπτα, αλλά ούτε κάτω από 5 δευτερόλεπτα. Ακόμα πρέπει να δημιουργηθεί ένα φωνητικό λεξικό για τις λέξεις που υπάρχουν στις ηχογραφήσεις (42). Για την δημιουργία του μοντέλου θα χρειαστούν διάφορα αρχεία, το οποία είναι τα παρακάτω: το_όνομα_του_μοντέλου.dic Το αρχείο του φωνητικού λεξικού που έχουμε δημιουργήσει. το_όνομα_του_μοντέλου.phone Το αρχείο με τους φθόγγους που χρησιμοποιήθηκαν σε μορφή ARPAbet. το_όνομα_του_μοντέλου.lm.dmp Το μοντέλο γλώσσας σε δυαδική μορφή το_όνομα_του_μοντέλου.filler Ένα αρχείο κειμένου που περιέχει διάφορες μορφές ήχων του χώρου ώστε να αποφεύγονται κατά την φωνητική αναγνώριση. Υπάρχουν αντίστοιχα αρχεία για αντιγραφή στα έτοιμα μοντέλα του CMU Sphinx Παράδειγμα αρχείου: <s> SIL </s> SIL <sil> SIL +um+ ++um++ +noise+ ++noise++ ++breath++ +breath+ Όπου SIL θεωρούνται σιγάσεις. το_όνομα_του_μοντέλου_train.fileids Στο συγκεκριμένο αρχείο υπάρχει μία λίστα από όλα τα αρχεία ηχογραφήσεων με συγκεκριμένη σειρά που θα χρησιμοποιηθεί στο επόμενο αρχείο. το_όνομα_του_μοντέλου_train.transcription Στο συγκεκριμένο αρχείο υπάρχει σε μορφή κειμένου (με λέξεις από το φωνητικό λεξικό, ή ήχου του χώρου) τι υπάρχει σε κάθε αρχείο ηχογράφησης ώστε να γίνει η αποκωδικοποίηση. Στο συγκεκριμένο αρχείο ΠΡΕΠΕΙ η σειρά των αρχείων να είναι η ίδια με το αρχείο.fileids το_όνομα_του_μοντέλου_test.fileids Ίδιο με το _train αλλά για δοκιμή. το_όνομα_του_μοντέλου_test.transcription Ίδιο με το _train αλλά για δοκιμή. Σελίδα 28 από 59

29 Τα παραπάνω αρχεία θα πρέπει να είναι σε έναν φάκελο με όνομα π.χ. ETC και σε έναν φάκελο με όνομα WAV θα πρέπει να είναι οι ηχογραφήσεις, οι δύο παραπάνω φακέλου θα πρέπει να είναι σε έναν φάκελο με όνομα π.χ. MODEL. Εφόσον έχει ολοκληρωθεί η δημιουργία των παραπάνω αρχείων και η συλλογή των ηχογραφήσεων θα χρειαστεί να υπάρχουν οι γλώσσες προγραμματισμού python,perl στον υπολογιστή που θα γίνει η δημιουργία του ακουστικού μοντέλου και το SphinxTrain. Το SphinxTrain είναι ένα σύνολο εργαλείων από την CMU Sphinx που παρέχετε δωρεάν και μπορεί να κατεβάσει οποιοσδήποτε από την ιστοσελίδα τους. Το SphinxTrain και ο φάκελος με όνομα MODEL θα πρέπει να βρίσκονται στον ίδιο φάκελο με όνομα π.χ. TRAIN. Ο χρήστης θα πρέπει από γραμμή εντολών να πάει στον φάκελο TRAIN και να τρέξει την εντολή : python../sphinxtrain/scripts/sphinxtrain t MODEL setup Στην συνέχεια θα πρέπει να μετακινηθεί στον φάκελο ETC και να επεξεργαστεί το αρχείο με όνομα sphinx_train.cfg Ακολουθούν διάφορες μεταβλητές από το αρχείο sphinx_train.cfg και η τιμή που πρέπει να έχουν. $CFG_WAVFILES_DIR = "$CFG_BASE_DIR/wav"; $CFG_WAVFILE_EXTENSION = 'wav'; $CFG_WAVFILE_TYPE = 'mswav'; $CFG_DICTIONARY = "$CFG_LIST_DIR/$CFG_DB_NAME.dic"; $CFG_RAWPHONEFILE = "$CFG_LIST_DIR/$CFG_DB_NAME.phone"; $CFG_FILLERDICT = "$CFG_LIST_DIR/$CFG_DB_NAME.filler"; $CFG_LISTOFFILES = "$CFG_LIST_DIR/${CFG_DB_NAME}_train.fileids"; $CFG_TRANSCRIPTFILE = "$CFG_LIST_DIR/${CFG_DB_NAME}_train.transcription" $CFG_HMM_TYPE = '.cont.'; $CFG_WAVFILE_SRATE = ; $CFG_NUM_FILT = 40; Σελίδα 29 από 59

30 $CFG_LO_FILT = ; $CFG_HI_FILT = ; $DEC_CFG_DICTIONARY = "$DEC_CFG_BASE_DIR/etc/$DEC_CFG_DB_NAME.dic"; $DEC_CFG_FILLERDICT = "$DEC_CFG_BASE_DIR/etc/$DEC_CFG_DB_NAME.filler"; $DEC_CFG_LISTOFFILES = "$DEC_CFG_BASE_DIR/etc/${DEC_CFG_DB_NAME}_test.fileids"; $DEC_CFG_TRANSCRIPTFILE = "$DEC_CFG_BASE_DIR/etc/${DEC_CFG_DB_NAME}_test.transcription"; $DEC_CFG_RESULT_DIR = "$DEC_CFG_BASE_DIR/result"; $DEC_CFG_LANGUAGEMODEL_DIR = "$DEC_CFG_BASE_DIR/etc"; $DEC_CFG_LANGUAGEMODEL = "$DEC_CFG_LANGUAGEMODEL_DIR/model.lm.DMP"; Επίσης θα πρέπει να τροποποιηθούν οι μεταβλητές $CFG_FINAL_NUM_DENSITIES και $CFG_N_TIED_STATES ανάλογα με το μέγεθος του λεξικού και τo πλήθος των ωρών των ηχογραφήσεων σύμφωνα με τον πίνακα που ακολουθεί: Λεξιλόγιο Ώρες ηχογραφήσεων NUM_DENSITIES TIED_STATES Εφόσον καταχωρηθούν σωστά οι μεταβλητές το επόμενο βήμα είναι να τρέξει η παρακάτω εντολή από την γραμμή εντολών : python../sphinxtrain/scripts/sphinxtrain run Ο χρήστης θα ενημερωθεί στο παράθυρο της γραμμής εντολών άμα το αποτέλεσμα ήταν επιτυχής Ακουστικά μοντέλα από την ομάδα Voxforge Βέβαια αξίζει να αναφερθεί η προσπάθεια που κάνει η ομάδα του voxforge (43), μία προσπάθεια για την δημιουργία ακουστικών μοντέλων με Σελίδα 30 από 59

31 άδεια ανοιχτού κώδικα για διάφορες γλώσσες. Μάλιστα δεν παρέχει στους προγραμματιστές μόνο το ακουστικό μοντέλο, αλλά και όλα τα αρχεία που χρειάστηκαν για να το δημιουργήσει, δίνοντας έτσι την δυνατότητα στον κάθε έναν προγραμματιστή να βασιστεί στο συγκεκριμένο ακουστικό μοντέλο και να το βελτιστοποιήσει σύμφωνα με τις δικές του επιλογές. Η συγκεκριμένη ομάδα έχει ήδη δημιουργήσει ακουστικά μοντέλα για διάφορες γλώσσες και εξειδικευμένες διαλέκτους γλωσσών, όπως στα : Αγγλικά ΗΠΑ Ισπανικά Ρώσικα Γερμανικά Αγγλικά Ηνωμένο Βασίλειο Ολλανδικά Κινέζικα Για την συλλογή των ηχογραφήσεων που χρειάζεται έχει δημιουργηθεί μία Java εφαρμογή. Στην αρχή έχει κάποιες επιλογές ανάλογα με το άτομο που κάνει τις ηχογραφήσεις όπως : Όνομα χρήστη Γένος Ηλικιακή ομάδα Προφορά διαλέκτου Τύπος μικροφώνου Στην συνέχεια στο αριστερό κομμάτι της εφαρμογής εμφανίζονται δέκα διαφορετικές φράσεις, επιλεγμένες τυχαία από μία βάση δεδομένων. Στα δεξιά υπάρχουν οι επιλογές για εγγραφή τις κάθε έκφρασης αλλά και στην συνέχεια αναπαραγωγή για να επιβεβαιώσει ο χρήστης ότι η ηχογράφηση έγινε κανονικά. Ακολουθεί η Εικόνα 3 της εφαρμογής. Σελίδα 31 από 59

32 Εικόνα 3 Εφαρμογή συλλογής ηχογραφήσεων voxforge Στο υπόλοιπο κομμάτι της εφαρμογής, υπάρχει ένα πλαίσιο όπου φαίνεται η κυματομορφή της ηχογράφησης που έχει επιλεχτεί να ακούσει ο χρήστης, όπως και κάποιες πληροφορίες για την εφαρμογή και την voxforge, υπάρχει και φυσικά η δυνατότητα της αποστολής των ηχογραφήσεων στον server της ομάδας αυτής. Ακολουθεί η Εικόνα 4 με το υπόλοιπο μέρος της εφαρμογής. Σελίδα 32 από 59

33 Εικόνα 4 Εφαρμογή συλλογής ηχογραφήσεων voxforge 2 Σελίδα 33 από 59

34 ΚΕΦΑΛΑΙΟ 6 Ασφάλεια Ο τρόπος που επιλέχθηκε για την ασφάλεια του λογισμικού είναι για την μη- ανάγκη του χρήστη να έχει συνεχείς πρόσβαση στο διαδίκτυο. Χρησιμοποιείται ένας ειδικός κωδικός για την λειτουργία του λογισμικού που επαληθεύεται κάθε φορά που τρέχει η εφαρμογή τοπικά. Για την δημιουργία του συγκεκριμένου κωδικού θα πρέπει ο χρήστης να έχει πρόσβαση στο διαδίκτυο από όπου θα κατεβάσει κιόλας το αρχείο της εφαρμογής. Ο κωδικός δημιουργείται από τους διαχειριστές του συστήματος μετά από αίτημα του χρήστη. Κωδικός χρειάζεται και για την δωρεάν έκδοση της εφαρμογή αλλά και για την μη-δωρεάν. Η αρχική ιδέα για την ασφάλεια της εφαρμογής, ήταν να εγκατασταθεί ένας διακομιστής που θα συνδέεται μαζί του το λογισμικό κάθε φορά που εκκινείτε. Έτσι θα μπορούσε να επαληθεύει τον χρήστη, αλλά ο χρήστης αναγκαζόταν να έχει συνεχής πρόσβαση στο διαδίκτυο. Ο κωδικός που δημιουργείτε (δωρεάν και μη) έχει κωδικοποιημένα στοιχεία του χρήστη όπως : το όνομα χρήστη που επιθυμεί, την ημερομηνία αίτησης του κωδικού, ένα ειδικό κείμενο κωδικοποίησης, ώστε να γίνεται ο διαχωρισμός δωρεάν και μη και τον σειριακό κωδικό του σκληρού δίσκου που θα εγκατασταθεί και θα λειτουργεί το λογισμικό. Με την χρήση του σειριακού κωδικού του σκληρού δίσκου στον κωδικό της εφαρμογής, βελτιστοποιείται η ασφάλεια, μιας και ο συγκεκριμένος κωδικός δεν θα μπορεί να χρησιμοποιηθεί σε άλλον υπολογιστή. Για την ευκολία του χρήστη, έχει δημιουργηθεί ένα εργαλείο που εμφανίζει τον σειριακό αριθμό του σκληρού που επιθυμεί να εγκαταστήσει το πρόγραμμα. Επίσης έχει δημιουργηθεί ένα εργαλείο για τον διαχειριστή των κωδικών του λογισμικού, δίνοντας σαν παραμέτρους στην εφαρμογή το όνομα χρήστη, την ημερομηνία, αν είναι δωρεάν ή όχι και τον σειριακό αριθμό του σκληρού δημιουργείται ένα αρχείο με τον κωδικό που πρέπει να αποσταλθεί στον χρήστη. Κάθε φορά που εκκινείτε το λογισμικό, αναζητεί το αρχείο με τον κωδικό του χρήστη και κάνει ταυτοποίηση με τον χρήστη σύμφωνα με τις παραμέτρους της εφαρμογής και τον σκληρό. Αν το αρχείο δεν υπάρχει, ή για κάποιο λόγο το λογισμικό έχει μεταφερθεί σε άλλο σκληρό, ή ο δωρεάν κωδικός έχει λήξει θα ενημερωθεί ο χρήστης με κατάλληλο μήνυμα για εισαγωγή νέου κωδικού. Σελίδα 34 από 59

35 Αν ένας εκπαιδευτικός έχει δύο υπολογιστές, στο γραφείο και στο σπίτι, θα πρέπει να αγοράσει δύο φορές το λογισμικό. Σελίδα 35 από 59

36 ΚΕΦΑΛΑΙΟ 7 Εργαλεία που χρησιμοποιήθηκαν 7.1 Google Hangout Το Google hangout είναι ένα πρόγραμμα της Google για επικοινωνία με φωνή, εικόνα και κείμενο που χρησιμοποιήθηκε από τους σπουδαστές της πτυχιακής για την επικοινωνία και την αλλαγή απόψεων για τα θέματα της πτυχιακής. 7.2 Google code Το Google code είναι ένα εργαλείο της Google για την φιλοξενία «project», επίσης παρείχε δυνατότητα SVN. Με αυτό το εργαλείο υπήρχε η δυνατότητα να βλέπουν και οι δύο προγραμματιστές τις αλλαγές που έχουν γίνει κατά καιρούς στον κώδικα, αλλά ακόμα και να γυρίσουν σε μία παλαιότερη έκδοση του κώδικα. 7.3 IDE Eclipse Το IDE Eclipse είναι μία από τις δύο καλύτερες εφαρμογές(netbeans η άλλη) ανάπτυξης λογισμικού για την γλώσσα προγραμματισμού Java που είχε επιλεχθεί ότι θα χρησιμοποιηθεί για την πτυχιακή εργασία. Το λογισμικό αυτό είχε την δυνατότητα σύνδεσης σε SVN και βοήθησε αρκετά για την εργασία. 7.4 Microsoft Visio Η εφαρμογή της Microsoft χρησιμοποιήθηκε για την δημιουργία των διαγραμμάτων ροής του λογισμικού στο στάδιο της σχεδίασης. 7.5 Microsoft Word Η εφαρμογή της Microsoft χρησιμοποιήθηκε για την συγγραφή του βιβλίου της πτυχιακής εργασίας Σελίδα 36 από 59

37 ΚΕΦΑΛΑΙΟ 8 Διαγράμματα Ροής Δεδομένων 8.1 Διάγραμμα Ροής MAIN Αρχή Αρχικοποίηση εμφάνισης Φόρτωμα αρχείου γλώσσας Έλεγχος κλειδιού Επικύρωση κλειδιού ναι Όχι Αρχικοποίηση μεταβλητών και φόρμων Κλειδί οκ; loop Διάγραμμα Ροής 2 Main Σελίδα 37 από 59

38 8.2 Διάγραμμα Ροής Loop Αρχή Κατάσταση αναμονής Α ΟΧΙ ΑΕΜ οκ; Κατάσταση αναμονής Β Διάγραμμα Ροής 3 loop Σελίδα 38 από 59

39 8.3 Διάγραμμα Ροής κατάστασης αναμονής Α Αρχή ΟΧΙ Πλήθος ΑΕΜ < αποδεκτό πλήθος ΑΕΜ ΝΑΙ Εύρεση γραμμής φοιτητή «διάβασμα» ψηφίου ΑΕΜ ΝΑΙ ψηφίο = -2 ; ΟΧΙ ΝΑΙ Ψηφίο = -1 ; Γραμμή φοιτητή = -1 ; αποθήκευση ΟΧΙ ΟΧΙ Επιλογή γραμμής στον πίνακα ΑΕΜ οκ ΑΕΜ μη οκ ΑΕΜ += ψηφίο Τέλος Διάγραμμα Ροής 4 standbymodea Σελίδα 39 από 59

40 8.4 Διάγραμμα Ροής κατάστασης αναμονής Β Αρχή Διάβασμα βαθμού ΝΑΙ βαθμός = -2 ; ΟΧΙ Αποθήκευση Βαθμός!= -1 ΝΑΙ ΟΧΙ Ενημέρωση βαθμού Τέλος Διάγραμμα Ροής 5 standbymodeb Σελίδα 40 από 59

41 ΚΕΦΑΛΑΙΟ 9 Συμπεράσματα Φτάνοντας στο τέλος αυτής της πτυχιακής εργασίας θα ήταν σωστό να γίνει μία αναφορά επιγραμματικά στις καταστάσεις όπως εξελίχθηκαν κατά την εκπόνησή της. Τα θετικά σημεία της πτυχιακής αυτής είναι οι γνώσεις που αποκομίσθηκαν στην γλώσσα προγραμματισμού Java, αλλά φυσικά και στις επιμέρους εφαρμογές και βιβλιοθήκες που χρησιμοποιήθηκαν για να εκπονηθεί η συγκεκριμένη εργασία. Ίσως το πιο σημαντικό θετικό σημείο είναι η επιτυχής συνεργασία, μέσω ειδικών εργαλείων, για την σχεδίαση και υλοποίηση της εργασίας από τους δύο φοιτητές, ενώ βρίσκονταν σε διαφορετικές γεωγραφικές θέσεις εντός Ελλάδος. 9.1 Αποτελέσματα Οι αρχικές ιδέες που είχαν τεθεί ως στόχοι τηρήθηκαν και το αποτέλεσμα είναι η επιτυχής σχεδίαση και υλοποίηση ενός λογισμικού που έχει την δυνατότητα με την χρήση φωνητικού ελέγχου να αναβαθμίσει τις βαθμολογίες φοιτητών. Αυτό έχει σαν αποτέλεσμα ο χρήστης του να κερδίζει χρόνο, από μία λειτουργία που θα του ήταν πολύ χρονοβόρα. Για την ακρίβεια του συστήματος δημιουργήθηκε ένα χρονοβόρο πείραμα που καλύπτει όλους τους πιθανούς συνδυασμούς που μπορεί να χρησιμοποιήσει ο χρήστης, αν το πλήθος των ψηφίων του ΑΕΜ είναι 4 όλοι οι πιθανοί συνδυασμοί για τον Αριθμό Ειδικού Μητρώου όλοι οι πιθανοί συνδυασμοί μεταξύ ενός αριθμού και μίας από τις 4 εντολές που είχε το σύστημα (Επόμενο, Αποθήκευση, Κόμμα, Ακύρωση) Ο συνολικός αριθμός των φράσεων που χρησιμοποιήθηκαν σε αυτό το πείραμα ήταν και διήρκησε 25 ώρες περίπου. Η διεξαγωγή του παραπάνω πειράματος έγινε κάτω από ιδανικές συνθήκες και ο μέσος όρος του ποσοστού λάθος υπολογίστηκε στο 22% για την Ελληνική γλώσσα. Σαν ιδανικές συνθήκες θεωρείται ένα γραφείο χωρίς εξωτερικό θόρυβο, αλλά ούτε και εσωτερικό θόρυβο. Ένα παράδειγμα εσωτερικού θορύβου του γραφείου μπορεί να θεωρηθεί ο ανεμιστήρας ψύξης ενός φορητού υπολογιστή. Επίσης θεωρείται βέλτιστο να χρησιμοποιείται εξωτερικό μικρόφωνο και όχι κάποιο ενσωματωμένο σε κάμερα ή το ενσωματωμένο του φορητού υπολογιστή. Το ποσοστό λάθος στην Αγγλική γλώσσα είναι σαφώς μικρότερο και υπολογίστηκε περίπου στο 10%. Σελίδα 41 από 59