Αλληλεπίδραση με εφαρμογές ήχου Μπλιάτσιου Χριστίνα Ηλεκτρολόγος Μηχανικός & Μηχανικός Υπολογιστών ΑΠΘ Καθηγήτρια Πληροφορικής
Περιεχόμενα Η θεωρία του ήχου Ψηφιακός ήχος Οήχοςσταπολυμέσα Τεχνολογίες ήχου Αλληλεπίδραση με ήχο
Η φυσική του ήχου Ο ήχος παράγεται όταν δονείται ένα αντικείμενο Αυτές οι δονήσεις παράγουν ηχητικά κύματα Όταν τα ηχητικά κύματα φθάνουν στο αυτί μετατρέπονται σε σήματα που ερμηνεύονται από τον εγκέφαλό μας
Χαρακτηριστικά του ήχου Ελληνικό Ανοικτό Πανεπιστήμιο Αντικειμενικά χαρακτηριστικά Συχνότητα Η συχνότητα έχει να κάνει με το πόσο γρήγορα ή αργά πάλλεται το σώμα που προκαλεί τον ήχο. Ένταση Η ένταση καθορίζεται από το πλάτος της δόνησης. Όσο μεγαλύτερο το πλάτος, τόσο ισχυρότερα ακούγεται ο ήχος. Η φυσικήμονάδαμέτρησης της έντασης του ήχου είναι το decibels (db). Υποκειμενικά χαρακτηριστικά Ακουστικότητα Η ακουστικότητα έχει σχέση με την ένταση του ήχου (ήχος με ίδια ένταση θα έχει μικρότερη ακουστικότητα για ένα άτομο με προβληματική ακοή) Ύψος Το ύψος συνδέεται με την συχνότητα του ήχου. Ανάλογα με το ύψος διακρίνουμε τους ήχους σε οξείς (μεγάλης συχνότητας) και βαρείς (μικρής συχνότητας) Χροιά Η χροιά αναφέρεται στους σύνθετους ήχους και εξαρτάται από τους απλούς ήχους που αποτελούν το σύνθετο.
Συχνότητα ήχου Ο άνθρωπος μπορεί να ακούσει ήχους από 20Hz μέχρι 22.050Hz (22,05 khz). (Έγχορδα) (Πνευστά)
Εγγραφή ήχου Το μικρόφωνο μετατρέπει τις δονήσεις του αέρα σε ηλεκτρικά σήματα, τα οποία ή θα μετατραπούν σε μαγνητικά καθώς θα εγγραφούν αναλογικά σε μαγνητοταινία ή θα ψηφιοποιηθούν και θα εγγραφούν ψηφιακά αναλογικό ηλεκτρικό σήμα
Πολυκάναλος ήχος Το μυαλό αντιλαμβάνεται την πηγή ενός ήχου βάσει των διαφορών ανάμεσα στα σήματα που λαμβάνει το αριστερό και δεξί αυτί. Αν πανομοιότυπα σήματα φτάσουν και στα 2 αυτιά τότε ο εγκέφαλος το μεταφράζει σαν η πηγή να βρίσκεται ακριβώς μπροστά. στερεοφωνικός ήχος δύο κανάλια με διαφορετική ηχητική πληροφορία τρισδιάστατος ήχος δύο στερεοφωνικές έξοδοι οι οποίες μπορούν να οδηγηθούν σε τέσσερα ηχεία που αν διαταχθούν περιμετρικά δίνουν την ψευδαίσθηση ότιοήχοςέρχεταιπράγματιαπόόλεςτιςδιαστάσεις
Ψηφιοποίηση ήχου Πηγή Ηλεκτρικό σήμα Αναλογικό σήμα Δειγματοληψία 11011010 00011101 01010101 11101010 Κβάντωση Κβαντωμένο σήμα Κωδικοποίηση Κωδικοποιημένο σήμα
Συχνότητα δειγματολειψίας Ελληνικό Ανοικτό Πανεπιστήμιο Σύμφωνα με το θεώρημα του Nyquist για να μπορέσει να ξαναδημιουργηθεί το αναλογικό σήμα χωρίς απώλειες η συχνότητα δειγματοληψίας πρέπει να είναι τουλάχιστο διπλάσια από τη μέγιστη συχνότητα Οι ακουστικές συχνότητες κυμαίνονται από 20Hz ως 22.05 khz Η συχνότητα δειγματοληψίας έπρεπε να είναι πάνω από 44,1kHz Όμως συνήθως είναι 11,025 khz, 22,05 khz, ή 44,1 KHz Η συχνότητα της φωνής είναι από 200 Hz ως 8 khz Η συχνότητα δειγματοληψίας έπρεπε να είναι πάνω από 16 khz Συνήθως χρησιμοποιούνται 4 khz ως 11 khz
Κβάντωση Με τη διαδικασία της κβάντωσης το πλάτος του σήματος δεν παίρνει συνεχείς τιμές αλλά διακριτές. Ανάλογα με τις στάθμες κβάντωσης που χρησιμοποιούνται προκύπτει ο αριθμός των bits που χρησιμοποιούνται για την αποθήκευση κάθε δείγματος, άρα το μέγεθος δείγματος (sampling size) 256 επίπεδα κβάντισης = 2 8, άρα 8 bits το μέγεθος του δείγματος 65.536 επίπεδα κβάντισης = 2 16, άρα 16 bits το μέγεθος του δείγματος
Μέγεθος των αρχείων ήχου Ελληνικό Ανοικτό Πανεπιστήμιο = συχνότητα δειγματοληψίας (Hz) Hz) x μέγεθος δείγματος (bits) x διάρκεια (sec) 44100Hz x 16bit x 60sec = 42.336.000bits = 529.2000bytes = = 5.168 KB = 5,046 MB Για στερεοφωνικό ήχο 2 x 5,046 MB = 10,09 MB
Συμπίεση αρχείων ήχου Μη-απωλεστικοί αλγόριθμοι Απωλεστικοί ψυχο-ακουστικά μοντέλα βάση των οποίων απορρίπτονται ήχοι που ούτως ή άλλως δεν γίνονται αντιληπτοί από τον άνθρωπο MPEG και AC3 Οι σημαντικότερες μέθοδοι συμπίεσης αρχείων ήχου στηρίζονται στο φαινόμενο της ακουστικής σκίασης (auditory masking) Σήμα κυρίαρχου ήχου Πλάτος Περιοχή ήχων παραπλήσιας συχνότητας και χαμηλότερης έντασης που δεν γίνονται αντιληπτοί από το ανθρώπινο αυτί Συχνότητα
Πρότυπα συμπίεσης MPEG-1 - MPEG-1 1 Audio Layer I (4:1 με 384 kbps για στερεοφωνικό ήχο) - MPEG-1 1 Audio Layer II (6:1 8:1 με 256 192 kbps για στερεοφωνικό ήχο) - MPEG-1 1 Audio Layer III ή MP3 (10:1 12:1 με 128 112 kbps για στερεοφωνικό ήχο) MPEG-2 - Υποστηρίζει πολυκάναλη ηχητική κωδικοποίηση και αποτελεί τη βάση του DVD Video MPEG-4 - Προσφέρει μεγαλύτερες συμπίεσεις στηριζόμενο στην τεχνιτή νοημοσύνη και σε άλλες τεχνικές
Πρότυπα συμπίεσης ήχου Ελληνικό Ανοικτό Πανεπιστήμιο WMA (Windows Media Audio) Βασίζεται στις ίδιες βασικές συμπίεσης με το MP3 με άριστη ποιότητα αναπαραγωγής και με μεγαλύτερη ακόμη συμπίεση στα 64 kbps (τα τραγούδια που είναι προστατευμένα δεν μπορούν να μεταδοθούν ελεύθερα). MP3 PRO Είναι η εξέλιξη του MP3 και μπορεί να προσφέρει την ίδια ποιότητα με το MP3 στο μισό μέγεθος των αρχείων. RA (Real Audio) Προορίζεται για την άμεση αναπαραγωγή ήχων μέσω του διαδικτύου χωρίς να προηγείται το κατέβασμα των αρχείων ήχου στο σκληρό δίσκο με ποιότητα σχεδόν σαν του CD. AC3 Dolby Digital Το πρότυπο που υποστηρίζει κωδικοποίηση/αποκωδικοποίηση πολυκάναλου ήχου (6 κανάλια) για τον οικιακό κινηματογράφο.
Ήχος MIDI Ελληνικό Ανοικτό Πανεπιστήμιο (Musical Instrument Digital Interface) Δημιουργείται από ηλεκτρονικά μουσικά όργανα (Synthesizers) Πληροφορίες που καταγράφονται: Ο χρόνος που έμεινε πατημένο το πλήκτρο Η ένταση με την οποία πατήθηκε Ηνότα Το όργανο που παρήγαγε τη νότα
Επεξεργασία ήχου Βασικές δυνατότητες των προγραμμάτων επεξεργασίας ήχου: εισαγωγή ήχου ρύθμιση έντασης και συχνότητας αλλαγή επιπέδων κβάντωσης αλλαγή χρονικής διάρκειας μείξη ήχων απαλοιφή θορύβου εισαγωγή διαφόρων εφέ συμπίεσης Προγράμματα επεξεργασίας ήχου κυματομορφής Audio editor Pro Blaze media Pro Sound Forge Gold Wave
Ο ήχος στο διαδίκτυο Download Το αρχείο κατεβαίνει ολόκληρο στον Η/Υ του χρήστη μετά ξεκινά η αναπαραγωγή Αν κατέβει μια φορά μπορεί να «παίζει» πολλές φορές Μεγάλος χρόνος για το «κατέβασμα» Απαιτήσεις σε μνήμη RAM Streaming Το αρχείο παίζει ενώ ταυτόχρονα κατεβαίνει από το δίκτυο Υπάρχει τυχαία προσπέλαση στο αρχείο Δεν απαιτείται μεγάλη μνήμη RAM Απαιτούνται ευρυζωνικά δίκτυα
Ο ήχος στα πολυμέσα Οήχοςμπορείναλειτουργείσυμπληρωματικάωςπροςτακείμενα, τις φωτογραφίες και το βίντεο. Διακρίνεται σε ήχο: Περιεχομένου Αφηγήσεις Εκφωνήσεις οδηγιών Ηχητικά ντοκουμέντα (συνεντεύξεις, μαρτυρίες) Μουσική ως μέρος του αντικειμένου παρουσίασης Περιβάλλοντος Ηχητικά εφέ Μουσική επένδυση Ο ήχος είναι κυρίαρχο στοιχείο της εφαρμογής Η φωνή στην τηλεδιάσκεψη Απευθείας μετάδοση μουσικής (ιντερνετικό ραδιόφωνο) Ένα μουσικό κονσέρτο Εφαρμογές για την εκμάθηση μουσικής
Οήχοςωςσυμπληρωματικόστοιχείο Δεν απαιτείται υψηλή ποιότητα ήχου Τα αρχεία ήχου θα πρέπει να είναι μικρά Προσεκτική χρήση για αποφυγή σύγχυσης Λάθος επιλογή μπορεί να κάνει, κυρίως τους ήχους περιβάλλοντος, κουραστικούς
Ο ήχος ως κυρίαρχο στοιχείο Ελληνικό Ανοικτό Πανεπιστήμιο Απαιτείται υψηλή ποιότητα ήχου Απαιτούνται ευρυζωνικά δίκτυα Μεγάλη μνήμη RAM στον υπολογιστή Ο ήχος και η εικόνα θα πρέπει να είναι συγχρονισμένα
Τεχνολογίες ήχου Μετατροπή ομιλίας σε κείμενο (speech-to-text) Ένα ηχητικό αρχείο μετατρέπεται σε αρχείο κειμένου Αναγνώριση ομιλίας Με βάση διάφορα χαρακτηριστικά της ανθρώπινης ομιλίας αναγνωρίζεται η ταυτότητα του ομιλητή Μετατροπή κειμένου σε ομιλία (text-to-speech) Ένα αρχείο κειμένου μετατρέπεται σε ηχητικό αρχείο
Αλληλεπίδραση με ήχο Εκμεταλλεύεται τις τεχνολογίες speech-to-text, textto-speech Τεχνολογίες συγχρονισμού εικόνας - ήχου Βοηθά ανθρώπους με προβλήματα ακοής ή όρασης Βοηθά ανθρώπους με προβλήματα αναλφαβητισμού Χρησιμοποιείται επίσης για λόγους ψυχαγωγίας
Αλληλεπίδραση με ήχο Οι screen readers είναι λογισμικά που προσδιορίζουν και μετατρέπουν σε ήχο οτιδήποτε εμφανίζεται στην οθόνη. Συστήματα/συσκευές προειδοποιήσεων (light signaler alerts), που παρακολουθούν τα ηχητικά μηνύματα, και τα μετατρέπουν σε οπτικά (π.χ. όταν ο χρήστης λαμβάνει ένα νέο email) Λογισμικά που επιτρέπουν την εισαγωγή δεδομένων, εντολών ή και ολόκληρων κειμένων μέσω ομιλίας
Εφαρμογή αλληλεπίδρασης με ήχο Το λογισμικό Ultra Hal Assistant χρησιμοποιείται στην αλληλεπίδραση με τον υπολογιστή. Απαντά ηχητικά παίρνοντας ως είσοδο τόσο κείμενο όσο και ήχο. Λειτουργεί σαν ψηφιακή γραμματέας και βοηθά επίσης στην πλοήγηση στο Διαδίκτυο. Λειτουργεί μόνο στα αγγλικά.
Εφαρμογή αλληλεπίδρασης με ήχο Τρισδιάστατοι χάρτες για χρήση σε εφαρμογές απτικής εικονικής πραγματικότητας για τυφλούς με χρήση και ηχητικών αρχείων
Εφαρμογή αλληλεπίδρασης με ήχο ΗΙστοσελίδαSitePal δίνει τη δυνατότητα εκφώνησης οποιασδήποτε φράσης σε πολλές γλώσσες, και στα ελληνικά, από διάφορους χαρακτήρες. Μπορούν να δημιουργηθούν βίντεο που θα ενσωματωθούν σε άλλες σελίδες. http://vhss-d.oddcast.com/admin/sitepalv5.php
Εφαρμογή αλληλεπίδρασης με ήχο Εφαρμογή όπου ο χρήστης δημιουργεί το δικό του οπτικοακουστικό έργο http://www.isaidif.net/
Βιβλιογραφία Δημητριάδης, Πομπόρτσης & Τριανταφύλλου (2004), Τεχνολογία Πολυμέσων Θεωρία και πράξη, Τζιόλας, Αθήνα Οικονόμου Δάφνη, Διαδραστικά Πολυμέσα, 2006 Κόκκας Δημήτρης, Τα δομικά στοιχεία εικόνα, ήχος, video, 2004 Computer Science CS033a, Multimedia and Communication, Lecture #12,Intro to Sound Nahrstedt Klara, Digital Audio Representation, 2009 audio-editing-software-review.toptenreviews.com/ www.audioeditorpro.com www.fhw.gr/fhw/ vivliothmmy.ee.auth.gr Δαμιανός Γ., Θέματα προσβασιμότητας σε Web, www2.aegean.gr www.sitepal.com www.zabaware.com/assistant/ vhss-d.oddcast.com/admin/sitepalv5.php www.acapela.tv/fish.html http://www.liaworks.com/category/theprojects/
Αλληλεπίδραση με εφαρμογές ήχου Μπλιάτσιου Χριστίνα Επιβλέπων καθηγητής: Στυλιαράς Γεώργιος