Εξάλειψη αντήχησης από ηχητικά σήματα με υποκειμενικά / ψυχοακουστικά κριτήρια Θωμάς Ζαρούχας Διπλ. Ηλ/γος Μηχανικός thozar@wcl.ee.upatras.gr Παναγιώτης Χατζηαντωνίου Δρ. Ηλ/γος Μηχανικός hagianto@wcl.ee.upatras.gr Ιωάννης Μουρτζόπουλος Αν. Καθηγητής mourjop@wcl.ee.upatras.gr ΠΕΡΙΛΗΨΗ Η αναπαραγωγή ηχητικών σημάτων σε κλειστούς χώρους με αντήχηση συνοδεύεται από την παρουσία παραμορφώσεων που επηρεάζουν αρνητικά την ηχητική ποιότητα. Στην εργασία αυτή θα παρουσιαστεί μια μέθοδος για την μείωση των παραμορφώσεων αυτών, με βάση ψυχοακουστικά κριτήρια. Για το σκοπό αυτό ένα κατάλληλο Υπολογιστικό Μοντέλο Ακουστικής Επικάλυψης (ΥΜΑΕ) (Computational Auditory Masing Model - CAMM) χρησιμοποιείται, το οποίο περιγράφει επιτυχώς διάφορες πτυχές της επεξεργασίας ενός ηχητικού σήματος από το σύστημα ακοής. Ηχογραφημένα σήματα σε διαφορετικούς χώρους με διαφορετικές ακουστικές ιδιότητες καθώς και τα αντίστοιχα σήματα εξόδου θα παρουσιαστούν, αποδεικνύοντας την ικανότητα της μεθόδου αυτής να περιορίσει τις παραμορφώσεις λόγω αντήχησης. Suppressing reverberation from audio signals using perceptual criteria ABSTRACT The reproduction of audio signals in reverberant rooms introduces audible distortions which generally degrade the overall audio quality. A novel signaldependent approach is followed here for suppressing distortions due to reverberation based on perceptual criteria. A Computational Auditory Masing Model (CAMM) is employed which efficiently emulate various aspects of the monaural signal processing of the auditory system. Audio signals recorded in rooms with different acoustical properties and the corresponding post-processed signals will be presented, indicating the effectiveness of the proposed method to model and suppress the perceived distortions due to reverberation.
Εισαγωγή Οι ιδιότητες των ακουστικών συστημάτων, όπως οι χώροι ακρόασης, εισάγουν σημαντικό ποσοστό αντήχησης στα ακουστικά σήματα κατά την αναπαραγωγή τους μέσα σε αυτούς. Η αντήχηση αυτή περιγράφεται συνήθως από μια, εξαρτώμενη των ακουστικών συστημάτων (system-depended), προσέγγιση και από τις αντίστοιχες γραμμικές συναρτήσεις απόκρισης αυτών των συστημάτων (π.χ. σχέσεις εισόδου/εξόδου που χρησιμοποιούν τη Συνάρτηση Μεταφοράς Χώρου). Μια τέτοια προσέγγιση έχει τη σημασία της, ειδικά για υλοποιήσεις που βασίζονται στην Ψηφιακή Επεξεργασία Σήματος και που ανάλογα με την εκάστοτε εφαρμογή, μπορούν να διαμορφώσουν, να συνθέσουν ή να καταστείλουν μερικώς την αντήχηση [-3]. Εντούτοις, η ακουστική αντίληψη της αντήχησης χώρων είναι ένα σύνθετο φαινόμενο, που επηρεάζεται από ένα πλήθος, εξαρτημένων από το σήμα (signal-depended), παραγόντων (π.χ. χρόνο-συχνοτικές αλλοιώσεις, καθυστερήσεις, ηχητική στάθμη, κατευθυντικότητα) όπως έχει περιγραφεί πρόσφατα από το Χωρικό Μοντέλο Επικάλυψης [4,5,6]. Στην τρέχουσα περίοδο, υπάρχει ένα σημαντικό χάσμα μεταξύ της αντικειμενικής (εξαρτώμενης από το σύστημα) προσέγγισης και οποιασδήποτε εξαρτώμενης από το σήμα (βασιζόμενη σε αντιληπτικά κριτήρια), προσέγγισης για την ανάλυση τέτοιων φαινομένων. Διάφορες, εξαρτώμενες από το σήμα, (εκ των υστέρων) επεξεργασίες για την μείωση της αντήχησης προτάθηκαν στο παρελθόν στις δημοσιευμένες εργασίες [7,8]. Τα χαρακτηριστικά των ηχητικών σημάτων χρησιμοποιήθηκαν, επίσης, στη δημιουργία του μοντέλου περιβάλλουσας της αντήχησης, που εισήχθηκε από τις εργασίες [9,0]. Στη συνέχεια, η ερευνητική εργασία που έγινε κυρίως από την επιστημονική κοινότητα της Τεχνολογίας Ομιλίας οδήγησε στη χρησιμοποίηση παρόμοιων προσεγγίσεων για τον περιορισμό της αντήχησης σε χώρους ακρόασης. Στην παρούσα εργασία, περιγράφεται μια πρώτη προσπάθεια χρησιμοποίησης ενός Υπολογιστικού Μοντέλου Ακουστικής Επικάλυψης (Computational Auditory Masing Model, CAMM) [,2] για να περιγράψει τις αντιληπτές παραμορφώσεις, λόγω αντήχησης, στα ακουστικά σήματα. Το παρόν μοντέλο δίνει μια απλουστευμένη έκδοση της αρχής της Χωρικής Επικάλυψης (Room Masing) και υιοθετεί δεδομένα ενός καναλιού (μονοφωνικά) χρησιμοποιώντας ως εισόδους το ακουστικό σήμα της πηγής και το αντίστοιχο σήμα με αντήχηση. Ως εκ τούτου η μέθοδος μπορεί να σχετίζεται εννοιολογικά με παρόμοια οριζόμενα κριτήρια όπως τα NMR και PAQM [3,4] και επίσης με το ορισμένο στο πεδίο του χρόνου ακουστικό μοντέλο που περιγράφεται στην επιστημονική εργασία [5]. Σύμφωνα με την προτεινόμενη προσέγγιση, είναι δυνατό να εντοπιστούν στο σήμα από τις υπολογιζόμενες "εσωτερικές αναπαραστάσεις", περιοχές («χάρτες») χρόνου/συχνότητας με σημαντική παραμόρφωση λόγω της αντήχησης. Η παρούσα εργασία επεξηγεί επίσης μια νέα προσέγγιση για την τροποποίηση αυτών των περιοχών χρόνου/συχνότητας των ακουστικών σημάτων, με χρήση κατάλληλων συναρτήσεων επεξεργασίας προκειμένου να παραχθεί μία έκδοση «εξαλειμμένης αντήχησης» του παραμορφωμένου σήματος. Το παρόν κείμενο οργανώνεται ως εξής: Στην ενότητα, αναλύεται εν συντομία το Υπολογιστικό Μοντέλο Ακουστικής Επικάλυψης (ΥΜΑΕ) και παρουσιάζεται η χρήση του στη διαδικασία της «εξάλειψης αντήχησης». Στις ενότητες 2 και 3 περιγράφονται η μοντελοποίηση και η επεξεργασία των παραμορφώσεων λόγω
αντήχησης, κατά την έννοια της ακουστικής αντίληψης. Στην ενότητα 4 αποτελέσματα της επεξεργασίας των ηχητικών σημάτων θα παρουσιασθούν. Συμπεράσματα και μελλοντικές προεκτάσεις θα επισημανθούν στην ενότητα 5.. Το Υπολογιστικό Μοντέλο Ακουστικής Επικάλυψης (ΥΜΑΕ) Το Υπολογιστικό Μοντέλο Ακουστικής Επικάλυψης (ΥΜΑΕ) που χρησιμοποιήθηκε στην παρούσα εργασία, περιγράφει επιτυχώς διάφορες πτυχές της επεξεργασίας των ηχητικών σημάτων από το ανθρώπινο ακουστικό σύστημα [,2]. Η βασική υπόθεση στην οποία βασίζεται το ΥΜΑΕ (βλ. Σχήμα.) είναι η Συμπίεση Εξαρτώμενη Σήματος (ΣΕΣ) (Signal Dependent Compression, SDC), βάση της οποίας το ανθρώπινο ακουστικό σύστημα επιτελεί μια συμπίεση στο πλάτος του σήματος εισόδου, της οποίας τα χαρακτηριστικά εξαρτώνται από την χρονική εξέλιξη του σήματος. Σχήμα. Δομικό διάγραμμα του Υπολογιστικού Μοντέλου Ακουστικής Επικάλυψης Με βάση το ΥΜΑΕ, τα σήματα εισόδου εισάγονται σε ένα στάδιο προεπεξεργασίας το οποίο αποτελείται από μια υβριδική τράπεζα φίλτρων η οποία περιγράφει τη συχνοτική ανάλυση που επιτελείται στη βασική μεμβράνη, από μια διάταξη ανόρθωσης και ένα χαμηλοδιαβατό φίλτρο, τα οποία αναφέρονται στη μετατροπή (μηχανική σε ηλεκτρική) που υλοποιείται στα τριχοειδή κύτταρα (inner hair cells). Τα σήματα που προκύπτουν από την παραπάνω επεξεργασία οδηγούνται στο ΣΕΣ στάδιο (όπου παράλληλα υλοποιείται και μια χρονική ολοκλήρωση) και στην συνέχεια σε μια διαδικασία απόφασης όπου με την χρήση κατάλληλων κατωφλίων ορίζεται αν η υπολογισθείσα παραμόρφωση είναι υποκειμενικά σημαντική. Για την επιτυχή μοντελοποίηση της αντήχησης σε διάφορους χώρους, μια υβριδική τράπεζα φίλτρων χρησιμοποιήθηκε, η οποία διαχωρίζει το ακουστικό εύρος συχνοτήτων σε 39 περιοχές. Οι πρώτες 8 περιοχές καλύπτουν περιοχή συχνοτήτων 0~690Hz με εύρος 86.25 Hz, ενώ για τις υπόλοιπες περιοχές το εύρος συχνοτήτων είναι αντίστοιχο με αυτό της τράπεζας φίλτρων που χρησιμοποιείται στο πρότυπο MPEG- (ISO/IEC 72-3) για την κωδικοποίηση ηχητικών δεδομένων [6].
x x z z Σχήμα.2 Υποκειμενική εκτίμηση παραμορφώσεων Η υποκειμενική εκτίμηση των παραμορφώσεων λόγω αντήχησης, με τη χρήση του ΥΜΑΕ, επιτυγχάνεται ως εξής (βλ. Σχήμα.2) : x n, Ως είσοδος στο ΥΜΑΕ χρησιμοποιείται το ανηχωικό ηχητικό σήμα ( ) καθώς και το αντίστοιχο ηχογραφημένο σήμα x, παρέχοντας ως έξοδο τις αντίστοιχες «εσωτερικές αναπαραστάσεις» z ( n ) και z ανά συχνοτική περιοχή. Οι «εσωτερικές αναπαραστάσεις» χρησιμοποιούνται σε κατάλληλες Διαδικασίες Απόφασης (ΔΑ). Η βασική αρχή στην οποία βασίζονται οι ΔΑ είναι η Just Noticeable Difference (JND), όπου ουσιαστικά υπολογίζεται η διαφορά των παραπάνω «εσωτερικών αναπαραστάσεων», εξασφαλίζοντας τη δυνατότητα προσδιορισμού χρονο-συχνοτικών περιοχών με σημαντική υποκειμενική παραμόρφωση λόγω αντήχησης. 2. Μοντελοποίηση παραμορφώσεων λόγω αντήχησης Ένα σχηματικό διάγραμμα το οποίο αναφέρεται στην παραπάνω μέθοδο φαίνεται στο Σχήμα 2.. x x z D Δ x x Σχήμα 2. Διαδικασία ανάλυσης για τον προσδιορισμό της παραμέτρου D ( n ) Είσοδος στην υβριδική τράπεζα φίλτρων είναι το ανηχωικό x( n ) σήμα και το αντίστοιχο ηχητικό σήμα x με αντήχηση, όπως μπορεί να καταγραφεί σε οποιοδήποτε κλειστό χώρο με τη χρήση παντοκατευθυντικού μικροφώνου. Τα x n οδηγούνται στο σήματα από τις αντίστοιχες συχνοτικές περιοχές x ( n ) και ( ) ΥΜΑΕ το οποίο παρέχει τις αντίστοιχες «εσωτερικές αναπαραστάσεις» z ( ) z n και
z. Ο υπολογισμός της διαφοράς των «εσωτερικών αναπαραστάσεων» πραγματοποιείται σε μια Διαδικασία Απόφασης βάση της ακόλουθης σχέσης Δ n = z n z n (2.) ( ) ( ) ( ) Με τη χρήση ενός κατάλληλου συνόλου κατωφλίων υπολογίζεται η παρακάτω παράμετρος D =Δ T (2.2) η οποία υποδεικνύει την ένταση των παραμορφώσεων λόγω αντήχησης (πάνω από το προκαθορισμένο κατώφλι) στο πεδίο χρόνου-συχνότητας. Για τη βελτιστοποίηση των τιμών των κατωφλίων είναι δυνατό να χρησιμοποιηθεί η Συνάρτηση Μεταφοράς Χώρου. 3. Ελαχιστοποίηση παραμορφώσεων λόγω αντήχησης Λαμβάνοντας υπόψη τις παραμέτρους D ( ) n, είναι εφικτή η ελαχιστοποίηση των υποκειμενικά σημαντικών παραμορφώσεων λόγω αντήχησης. Κατάλληλες συναρτήσεις κέρδους/τροποποίησης είναι δυνατό να ορισθούν με τη χρήση ενός κατάλληλου γραμμικού μετασχηματισμού I {}., { } G D Η χρήση των παραπάνω συναρτήσεων G ( ) σημάτων x φαίνεται στο Σχήμα 3.2. D =I (3.3) n, για την τροποποίηση των x x 2 G xˆ xˆ 2 x xˆ xˆ x Σχήμα 3.2 Διαδικασία σύνθεσης σημάτων με υποκειμενικά μικρότερη αντήχηση Τα σήματα ˆx ( n ) οδηγούνται σε μια τράπεζα σύνθεσης (λαμβάνοντας υπόψη τις σχετικές καθυστερήσεις) δημιουργώντας το σήμα ˆx( n ), στο οποίο η xˆ
παραμόρφωση είναι υποκειμενικά μικρότερη. Σήμα με υποκειμενικά μικρότερη παραμόρφωση παρουσιάζεται στο Σχήμα 3.3. Σχήμα 3.2 Απεικόνιση της παραμέτρου D ( ) Πλάτος 0-0 - 0 - n στο πεδίο χρόνου-συχνότητας 0 2000 24000 36000 Δείγματα Σχήμα 3.3 (a)τμήμα ανηχωικού σήματος, (b) αντίστοιχο τμήμα ηχογραφημένου σήματος στο χώρο 3, (c) επεξεργασμένο σήμα Πρέπει να σημειωθεί ότι η μέθοδος δεν αποσκοπεί στο να ανασυνθέσει το ηχογραφημένο ηχητικό σήμα στην αρχική του μορφή (ανηχωικό), αλλά να περιορίσει υποκειμενικά τις παραμορφώσεις λόγω αντήχησης. 4. Αποτελέσματα Μετρήσεις πραγματοποιήθηκαν έχοντας ως αναφορά μονοφωνικά ηχητικά σήματα, με ευκρίνεια κβαντισμού 6 bit και συχνότητα δειγματοληψίας 4400Hz. Οι ηχογραφήσεις πραγματοποιήθηκαν σε 3 χώρους με διαφορετικές ακουστικές ιδιότητες, όπως φαίνεται στον Πίνακα. Τα αντίστοιχα επεξεργασμένα ηχητικά (a) (b) (c)
δείγματα μπορούν να αποκτηθούν από την δικτυακή διεύθυνση http://www.wcl.ee.upatras.gr/audiogroup/demos. Η απεικόνιση της παραμέτρου D ( n ) για το χώρο 3 και για συγκεκριμένες συχνοτικές περιοχές φαίνεται στο Σχήμα 3.2. Στο Σχήμα 3.3 παρουσιάζονται το επεξεργασμένο σήμα ˆx σε σύγκριση με το ηχογραφημένο και το ανηχωικό σήμα. Από άτυπες δοκιμές ακρόασης επιβεβαιώνεται ότι η προτεινόμενη μέθοδος μπορεί να μοντελοποιήσει επιτυχώς την αντιληπτή αντήχηση και μπορεί να επιτύχει μείωση της, ανεξαρτήτως χώρου και θέσης ακρόασης. Πιστεύεται ότι η απόδοση της μεθόδου για αυτού του είδους επεξεργασίες, υπερβαίνει την απόδοση των υπαρχουσών μεθόδων αποσυνέλιξης. Χώρος Πίνακας 4. Ιδιότητες χώρων ηχογράφησης Διαστάσεις ΜxΠxΥ(m) RT (sec) Τύπος 7.5x4.60x2.90 0.368 Εργαστήριο 2 0.20x7.05x2.65. 3 60x42x3.8 6.4 Αίθουσα διδασκαλίας Κλειστό γήπεδο 5. Συμπεράσματα Η παρούσα μελέτη δείχνει ότι η πρόσφατη πρόοδος που έχει επιτευχθεί στην προσομοίωση της ακουστικής επικάλυψης δημιουργεί ευοίωνες προοπτικές για τη χρήση της στην περιγραφή και επεξεργασία των αντιληπτών αποτελεσμάτων της αντήχησης. Αυτή η προσέγγιση αποκλίνει σημαντικά από τις κυρίαρχες, εξαρτώμενες του συστήματος, μεθόδους που χρησιμοποιούνται σε πολλές εφαρμογές DSP για την αντιμετώπιση προβλημάτων αυτής της κατηγορίας, ακολουθώντας μια τεχνική εξαρτώμενη του σήματος. Τα προφανή πλεονεκτήματα μιας τέτοιας προσέγγισης είναι, ότι τα γνωστά προβλήματα που παρουσιάζονται στις ακριβείς μετρήσεις της Συνάρτησης Μεταφοράς Χώρου μπορούν να αποφευχθούν και επίσης μπορεί να επιτευχθεί η επεξεργασία των καθυστερημένων παραμορφώσεων λόγω αντήχησης σε μια μεγαλύτερη κλίμακα, δεδομένου ότι μόνο οι, από πλευράς ακουστικής αντίληψης, σημαντικές περιοχές του σήματος επηρεάζονται μετά από την επεξεργασία. Στην παρούσα φάση, η παραπάνω μέθοδος βασίζεται σε μονοωτικές ιδιότητες επικάλυψης και χρησιμοποιεί μια απλουστευμένη εκδοχή της πολυδιάστατης αρχής της Χωρικής Επικάλυψης (Room Masing) αλλά αναμένεται να συμπληρωθεί από κατάλληλες επεκτάσεις για να χειριστεί διάφορες παραμέτρους του σήματος (χρονικές καθυστερήσεις, διαφορές στάθμης, κ.λ.π) που διαμορφώνονται κατά την διάδοση του στους χώρους ακρόασης.
6. Αναφορές [] M. R. Schroeder, B. F. Logan, Colorless Artificial Reverberation, Journal of the Audio Engineering Society, Vol. 9, p. 92, (96). [2] S. T. Neely, J. B. Allen, Invertibility of a Room Impulse Response, Journal of the Acoustical Society of America, Vol. 66, pp. 65-69, (979). [3] J. N. Mourjopoulos, Digital Equalization of Room Acoustics, Journal of the Audio Engineering Society, Vol. 42, No, pp. 884-900, (994). [4] J. Blauert Spatial Hearing: The Psychophysics of Human Localization (Revised Edition), The MIT press, USA-Cambridge (997). [5] J. M. Buchholz, J. Mourjopoulos, J. Blauert, Room Masing: Understanding and Modeling the Masing of Room Reflections, 0 th AES Convention, Amsterdam, (200). [6] R. H. Bolt, A. D. MacDonald, Theory of Speech Masing by Reverberation, Journal of the Acoustical Society of America, Vol. 2(6), pp. 577-580, (949). [7] J. L. Flanagan, R. C. Lummis, Signal Processing to Reduce Multipath Distortions in Small Rooms, Journal of the Audio Engineering Society, Vol. 47, pp. 475-48, (970). [8] J. B. Allen, D. A. Berley, J. Blauert, Multimicrophone Signal Processing Technique to Remove Room Reverberation from Speech Signals, Journal of the Acoustical Society of America, Vol. 64(2), pp. 92-95, (977). [9] T. Langhams, H. W. Strube, Speech Enhancement by Nonlinear Multiband Envelope Filtering, IEEE, in Proc. ICASPP, (982). [0] J. Mourjopoulos, J. K. Hammond, Modeling and Enhancement of Reverberant Speech using an Envelope Convolution Method, IEEE, in Proc. ICASSP, (983). [] J. M. Buchholz, J. Mourjopoulos, A Computational Auditory Masing Model Based on Signal-Dependent Compression. I. Model Description and Performance Analysis, Acta Acustica United with Acustica, Vol. 90, pp.873-886, (2004). [2] J. M. Buchholz, J. Mourjopoulos, A Computational Auditory Masing Model Based on Signal-Dependent Compression. II. Model Simulations and Analytical Approximations, Acta Acustica United with Acustica, Vol. 90, pp.887-900, (2004). [3] J. Herre, E. Eberlein, H. Schott, K. Brandenburg, Advanced Audio Measurement System using Psychoacoustic Properties, 92 nd AES Convention, March, (992). [4] J. G. Beerends, J. A. Stemerdin, A Perceptual Audio Quality Measure Based on a Psychoacoustic Sound Representation, Journal of the Audio Engineering Society, Vol. 40, No 2, pp. 963-978, (992). [5] D. J. M. Robinson, M. J. Hawsford, Time-Domain Auditory Model for the Assessment of High-quality Coded Audio, 07 th AES Convention, September (999). [6] ISO/IEC 72-3, Coding of Moving Pictures and Associated Audio for Digital Storage Media at up to about.5 Mbit/s, Part 3: Audio