Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ: ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΠΛΗΡΟΦΟΡΙΑΣ ΕΡΓΑΣΤΗΡΙΟ ΕΝΣΥΡΜΑΤΗΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΑΣ Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών Παπαδόπουλου Τηλέμαχου του Θεοδώρου Αριθμός Μητρώου: 6826 Θέμα Υλοποίηση Μεθόδων Αφαίρεσης Θορύβου από Ηχογραφήσεις Επιβλέπων Ιωάννης Μουρτζόπουλος Αριθμός Διπλωματικής Εργασίας: Πάτρα, Οκτώβρης 2014

2 ΠΙΣΤΟΠΟΙΗΣΗ Πιστοποιείται ότι η Διπλωματική Εργασία με θέμα Υλοποίηση Μεθόδων Αφαίρεσης Θορύβου από Ηχογραφήσεις Του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Παπαδόπουλου Τηλέμαχου του Θεοδώρου Αριθμός Μητρώου: 6826 Παρουσιάστηκε δημόσια και εξετάστηκε στο Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών στις.../../ Ο Επιβλέπων Ο Διευθυντής του Τομέα

3 Ιωάννης Μουρτζόπουλος Καθηγητής Νικόλαος Φακωτάκης Καθηγητής Αριθμός Διπλωματικής Εργασίας: Θέμα: Υλοποίηση Μεθόδων Αφαίρεσης Θορύβου από Ηχογραφήσεις Φοιτητής: Παπαδόπουλος Τηλέμαχος Επιβλέπων: Ιωάννης Μουρτζόπουλος Περίληψη Στην παρούσα διπλωματική εργασία παρουσιάζεται αρχικά η θεωρία της ψηφιακής επεξεργασίας σημάτων, βάσει της οποίας δημιουργήθηκαν οι τέσσερις αλγόριθμοι αποθορυβοποίησης ηχητικών σημάτων που μελετήθηκαν. Συγκεκριμένα μελετήθηκε η γραμμική φασματική αφαίρεση, ο αλγόριθμος Boll, ο αλγόριθμος Berouti και ο αλγόριθμος του Τσουκαλά, στον οποίο έγιναν και κάποιες τροποποιήσεις για βελτιστοποίηση της ποιότητας του αποθορυβοποιημένου σήματος. Πραγματοποιήθηκαν μετρήσεις SNR, NMR για τέσσερις διαφορετικές τιμές SNR ενθόρυβου σήματος: -5, 0, 5 και 10 db. Το ενθόρυβο σήμα δημιουργήθηκε τεχνητά από ένα καθαρό σήμα ομιλίας σε ανηχοϊκό περιβάλλον με την χρήση λευκού θορύβου. Μέσω των μετρήσεων αυτών έγινε μια σύγκριση της απόδοσης των αλγορίθμων.

4 Πίνακας περιεχομένων ΚΕΦΑΛΑΙΟ 1 - ΕΙΣΑΓΩΓΗ... 4 Εισαγωγικό κείμενο και γενική διάρθρωση της εργασίας... 4 ΚΕΦΑΛΑΙΟ 2 - ΘΕΩΡΙΑ Εισαγωγή Ο Μετασχηματισμός Fourier Ο Διακριτός Μετασχηματισμός Fourier (DFT) Ο Ταχύς Μετασχηματισμός Fourier (FFT) Ο Μετασχηματισμός Fourier Κατά Τμήματα (Short Time Fourier Trasnform (STFT)) Ο Αλγόριθμος Επικάλυψης Άθροισης (Overlap-add) Παράθυρο Ανάλυσης Λευκός Θόρυβος Εισαγωγή Μαθηματική Ανάλυση Μέθοδοι μέτρησης της ποιότητας της ομιλίας Ψυχοακουστική Εισαγωγή Σύστημα Ακοής Το φαινόμενο της επικάλυψης (Masking) (α) Φασματική Επικάλυψη (β) Χρονική Επικάλυψη Ψυχοακουστικά Μοντέλα (α) Ψυχοακουστικό Μοντέλο (β) Ψυχοακουστικό Μοντέλο Γραμμική Φασματική Αφαίρεση Βασικές αρχές φασματικής αφαίρεσης Μειονεκτήματα της φασματικής αφαίρεσης

5 2.9 Αλγόριθμος Boll Υπολογισμός Μέσου Όρου Πλατών Half wave διόρθωση Μείωση απομένων (μουσικού) θορύβου Επιπλέον μείωση μουσικού θορύβου σε περιόδους ησυχίας Αλγόριθμος Berouti Αλγόριθμος Τσουκαλά ΚΕΦΑΛΑΙΟ 3 ΥΛΟΠΟΙΗΣΗ ΑΛΓΟΡΙΘΜΩΝ ΑΠΟΘΟΡΥΒΟΠΟΙΗΣΗΣ Γενική μορφή αλγορίθμων αποθορυβοποίησης Εκτίμηση θορύβου και ανίχνευση ομιλίας Ανιχνευτής δραστηριότητας ομιλίας φασματικής απόστασης (Spectral Distance Voice Activity Detectror VAD) Ο Αλγόριθμος του Boll Ο Αλγόριθμος του Berouti Ψυχοακουστικά Μοντέλα Ψυχοακουστικό Μοντέλο Ψυχοακουστικό Μοντέλο Αλγόριθμος καταστολής ακουστού θορύβου (Τσουκαλάς) ΚΕΦΑΛΑΙΟ 4 ΜΕΤΡΗΣΕΙΣ ΕΙΣΑΓΩΓΗ ΠΑΡΟΥΣΙΑΣΗ ΜΕΤΡΗΣΕΩΝ Γραμμική Αφαίρεση (α) Απεικόνιση σημάτων στο πεδίο του χρόνου (β) Απεικόνιση σημάτων στο πεδίο της συχνότητας Αφαίρεση Boll (α) Απεικόνιση σημάτων στο πεδίο του χρόνου (β) Απεικόνιση σημάτων στο πεδίο της συχνότητας Αφαίρεση Berouti

6 4.2.3(α) Απεικόνιση σημάτων στο πεδίο του χρόνου (β) Απεικόνιση σημάτων στο πεδίο της συχνότητας Αφαίρεση Τσουκαλά με αρχική εκτίμηση από το ενθόρυβο σήμα (α) Απεικόνιση σημάτων στο πεδίο του χρόνου (β) Απεικόνιση σημάτων στο πεδίο της συχνότητας Αφαίρεση Τσουκαλά με αρχική εκτίμηση το καθαρό σήμα (α) Απεικόνιση σημάτων στο πεδίο του χρόνου (β) Απεικόνιση σημάτων στο πεδίο της συχνότητας Συγκεντρωτικοί Πίνακες και Γραφικές Παραστάσεις Συγκεντρωτικός Πίνακας SNR (για διαφορετικά SNR ενθόρυβου σήματος) Γραφική Παράσταση Πίνακα SNR (για διαφορετικά SNR ενθόρυβου σήματος) Συγκεντρωτικός Πίνακας NMR (για διαφορετικά SNR ενθόρυβου σήματος) Γραφική Παράσταση Πίνακα NMR (για διαφορετικά SNR ενθόρυβου σήματος) Γράφημα SNR για αλγόριθμο Τσουκαλά με διαφορετική αρχική εκτίμηση Γράφημα ΝΜR για αλγόριθμο Τσουκαλά με διαφορετική αρχική εκτίμηση 67 ΚΕΦΑΛΑΙΟ 5 ΣΥΜΠΕΡΑΣΜΑΤΑ ΠΑΡΑΡΤΗΜΑ Α Κώδικας αλγορίθμων και συναρτήσεων που χρησιμοποιούν ΠΑΡΑΡΤΗΜΑ Β Περιεχόμενα του συνοδευτικού CD ΒΙΒΛΙΟΓΡΑΦΙΑ

7 ΚΕΦΑΛΑΙΟ 1 ΕΙΣΑΓΩΓΗ Με την εξέλιξη της τεχνολογίας, η χρήση ηχητικών σημάτων ολοένα και αυξάνεται. Μπορεί να την συναντήσουμε στον τομέα των τηλεπικοινωνιών, στην επικοινωνία ανθρώπου μηχανής, όπως για παράδειγμα αναγνώριση ομιλίας αντί για χρήση κωδικών σε πρόσβαση ιδιωτικών χώρων, σε εφαρμογές ανακατασκευής μουσικών αρχείων τα οποία έχουν ηχογραφηθεί με παλιά μέσα κτλ. Είναι λοιπόν μείζονος σημασίας τα ηχητικά σήματα να έχουν υψηλή ποιότητα, είτε για την λειτουργικότητα τέτοιων συστημάτων, είτε για την ανάγκη του ανθρώπου για ποιοτική μουσική ηχητικά και πιο ευδιάκριτη ομιλία σε περίπτωση κάποιας κακής ηχογράφησης. Η συγκεκριμένη διπλωματική εργασία, αφορά την μελέτη και εφαρμογή κάποιων από τους πιο βασικούς αλγορίθμους αποθορυβοποίησης ηχητικών σημάτων, και του αλγορίθμου του Διονυσίου Τσουκαλά που δημιουργήθηκε το 1997 στην διδακτορική διατριβή του, ο οποίος δίνει πολύ καλά αποτελέσματα. Όλοι οι αλγόριθμοι της διπλωματικής εργασίας έχουν υλοποιηθεί στο πρόγραμμα MATLAB, το οποίο είναι ένα βασικό εργαλείο στα χέρια ενός μηχανικού, μιας και οι επεκτάσεις του προγράμματος είναι ατέλειωτες. Συγκεκριμένα χρησιμοποιήθηκε το Signal Processing Toolbox που αφορά την ψηφιακή επεξεργασία σημάτων. Σε αυτό το σημείο είναι σημαντικό να γίνει μια αναφορά στον τρόπο διάρθρωσης της εργασίας: Στο 2 ο κεφάλαιο αναπτύσσεται η θεωρία που βασίζονται οι αλγόριθμοι που χρησιμοποιήθηκαν στην διπλωματική. Συγκεκριμένα, αρχικά αναλύονται κάποια βασικά στοιχεία της ψηφιακής επεξεργασίας σημάτων, όπως ο Fast Fourier Transform, o STFT και τα επικαλυπτόμενα παράθυρα, και έπειτα αναλύονται με κάποιο μαθηματικό υπόβαθρο οι αλγόριθμοι της γραμμικής φασματικής αφαίρεσης, του Boll,του Berouti και του Τσουκαλά. Στο 3 ο κεφάλαιο εξηγείται με λογικά διαγράμματα η υλοποίηση των παραπάνω αλγορίθμων, και γίνεται μια αναλυτική περιγραφή του αλγορίθμου που εφαρμόστηκε στην διπλωματική με βήματα. Στο 4 ο κεφάλαιο παρουσιάζονται οι μετρήσεις που πραγματοποιήθηκαν με σκοπό την σύγκριση της απόδοσης των διαφορετικών αλγορίθμων, αλλά και του ίδιου αλγόριθμου σε διαφορετικά SNR ενθόρυβου σήματος και δίνονται οι αντίστοιχες γραφικές παραστάσεις των μεγεθών που μετρήθηκαν (SNR, NMR). Στο 5 ο κεφάλαιο αναλύονται τα συμπεράσματα που προέκυψαν από την διεξαγωγή των μετρήσεων, και την διαδικασία της διπλωματικής, καθώς και δίνονται κάποιες προτάσεις για βελτίωση. Στο παράρτημα Α παρουσιάζεται ο κώδικας σε MATLAB των αλγορίθμων που εφαρμόστηκαν και των συναρτήσεων που χρησιμοποι. Πιο συγκεκριμένα, παρατίθενται τα εκάστοτε scripts που αντιστοιχούν στα m-files του περιβάλλοντος MATLAB. Στο παράρτημα Β δίδονται τα περιεχόμενα του συνοδευτικού CD της διπλωματικής εργασίας. 4

8 ΘΕΩΡΙΑ ΚΕΦΑΛΑΙΟ Εισαγωγή Ο Διακριτός Μετασχηματισμός Fourier (ΔΜF) είναι ο πρακτικός τρόπος υπολογισμού του συχνοτικού περιεχομένου μιας πεπερασμένης ακολουθίας. Ο ΔΜF και ειδικότερα η γρήγορη μορφή του, ο FFT, αποτελούν μια από τις σημαντικότερες ανακαλύψεις της επεξεργασίας σημάτων.[6] 2.2 Ο Μετασχηματισμός Fourier Ο Διακριτός Μετασχηματισμός Fourier (DFT) Οι ηλεκτρονικοί υπολογιστές δεν μπορούν να χειριστούν την εξίσωση ανάλυσης του μετασχηματισμού Fourier για σήματα διακριτού χρόνου: 1 jkω 1 0 n jk (2 π N ) n ak = x[ n] e = x[ n] e (2.2.1) N n= N N n= N διότι είναι μια συνεχής συνάρτηση της ανεξάρτητης μεταβλητής ω. Έτσι, ο μετασχηματισμός Fourier διακριτού χρόνου καθίσταται αδόκιμος για χρήση από ένα υπολογιστικό σύστημα. Σε τέτοια συστήματα χρησιμοποιούμε μια εναλλακτική μορφή του μετασχηματισμού Fourier που ονομάζεται Διακριτός Μετασχηματισμός Fourier (Discrete Fourier Transform - DFT). O DFT αντιστοιχεί σε δείγματα του Μετασχηματισμού Fourier, τα οποία ισαπέχουν κατά συχνότητα. [9] Οι εξισώσεις σύνθεσης και ανάλυσης του Διακριτού Μετασχηματισμού Fourier είναι οι εξής: N 1 1 k x[ n] = X[ k] WN [ n] N όπου: N 1 n= 0 k= 0 k X[ k] = x[ n] W [ n] N 2π j kn k kn N N [ ] N (2.2.2) (2.2.3) W n = W = e (2.2.4) Το μέγεθος Ν αποτελεί το μήκος του Διακριτού Μετασχηματισμού Fourier. Μπορεί να είναι ίσο με τη διάρκεια Μ του σήματος x[n], αλλά μπορεί να είναι και μεγαλύτερο (Ν > Μ) για να επιτευχθεί καλύτερη ικανότητα διάκρισης συχνοτήτων (frequency resolution). Σε αυτή τη περίπτωση τα υπόλοιπα N-M δείγματα της x[n] λαμβάνονται ως μηδενικά (zero padding). Ως ευκρίνεια διάκρισης συχνοτήτων ορίζεται το μέγεθος: Fs 1 1 F = = = (2.2.5) N NT D s 5

9 όπου D η συνολική διάρκεια της ακολουθίας (σε sec), F s η συχνότητα δειγματοληψίας, T s η περίοδος δειγματοληψίας και Ν το μήκος του DFT. Όσο μικρότερο είναι το μέγεθος ΔF, τόσο αυξάνει η ικανότητα του DFT να διακρίνει μεταξύ συχνοτήτων της x[n] που βρίσκονται η μία κοντά στην άλλη. Η ανεξάρτητη μεταβλητή k είναι ο δείκτης που αναφέρεται στη συχνοτική συνιστώσα (ή φασματική ζώνη - frequency bin) με συχνότητα: 2π k ω k =, 0 k N 1 (2.2.6) N Έτσι τα δείγματα που προκύπτουν από τον διακριτό μετασχηματισμό Fourier αντιστοιχούν σε συχνότητες, κλάσματα της συχνότητας δειγματοληψίας. Όπως και ο Μετασχηματισμός Fourier, έτσι και ο DFT ορίζεται για ακολουθίες πεπερασμένης διάρκειας. Είναι και ο ίδιος μια ακολουθία και ως τέτοια χρησιμοποιείται για την υλοποίηση μιας πληθώρας από σημαντικούς αλγορίθμους ψηφιακής επεξεργασίας σήματος. Το τμήμα του φάσματος που εκτείνεται από το ω > π είναι το αντεστραμμένο είδωλο του τμήματος του φάσματος για συχνότητες 0 < ω < π. Ο μετασχηματισμός Fourier δηλαδή είναι άρτια συμμετρικός. Για ω= π, λαμβάνουμε τη μέγιστη συχνότητα που διαχειρίζεται το σύστημα ψηφιακής επεξεργασίας σήματος χωρίς να γίνει aliasing. Συνεπώς η χρήσιμη πληροφορία του φάσματος βρίσκεται για τιμές του k στο διάστημα 0 < k < Ν / 2. Για k > Ν/2 συναντάται το αντεστραμμένο είδωλο του φάσματος για k < Ν/2. Δηλαδή για να αναπαρασταθούν σε ένα αριθμητικό σύστημα υπολογιστή οι ωφέλιμες συχνότητες από 0 < F < F max αρκούν οι πρώτες Ν/2 φασματικές ζώνες του DFT.[9] Το σύνολο των ιδιοτήτων που ισχύουν για τον Μετασχηματισμό Fourier ισχύει και για τον Διακριτό Μετασχηματισμό Fourier, με την προϋπόθεση ότι όλα τα μεγέθη έχουν μετασχηματιστεί με το ίδιο μήκος Ν έτσι ώστε να αντιστοιχούν σε όλα οι ίδιες συχνότητες ω k Ο Ταχύς Μετασχηματισμός Fourier (FFT) Σε πρακτικές εφαρμογές, η πολυπλοκότητα του DFT, δηλαδή ο αριθμός των πράξεων που απαιτούνται, καθορίζει και τον χρόνο που απαιτείται για αυτή την υλοποίηση καθώς και τον εξοπλισμό σε υλικό - λογισμικό στη φάση του σχεδιασμού. Αυτό το γεγονός λειτούργησε ως κίνητρο, για να ερευνηθούν τρόποι με τους οποίους μπορεί να μειωθεί η πολυπλοκότητά του. Ο ΔΜF την περίπτωση που το Ν είναι δύναμη του 2 μπορεί να υλοποιηθεί με ένα πολύ αποδοτικό τρόπο, με αποτέλεσμα η αντίστοιχη υπολογιστική πολυπλοκότητα να μειωθεί δραματικά από την τιμή Ο(Ν^2). Ο αντίστοιχος ΔΜF είναι γνωστός σαν Ταχύς Μετασχηματισμός Fourier (Fast Fourier Transform (FFT)) και προτάθηκε από τους Cooley και Tukey το 1965.[6] Προσέχοντας την εξίσωση ανάλυσης του DFT (2.2.3), φαίνεται ότι για τον υπολογισμό κάθε μιας από τις Ν τιμές X[k] χρειάζονται Ν πολλαπλασιασμοί και Ν-1 προσθέσεις. Άρα για το σύνολο των τιμών (δειγμάτων) του DFT, χρειάζονται Ν 2 πολλαπλασιασμοί και Ν(Ν-1) προσθέσεις. Εάν η ακολουθία x[n] είναι μιγαδική, όλες 6

10 αυτές οι πράξεις είναι επίσης μιγαδικές και το συνολικό τους πλήθος είναι της τάξης του Ν 2. Με τη χρήση μαθηματικών χειρισμών της εξίσωσης έχει καταστεί δυνατό, να παραχθούν αλγόριθμοι, όχι προσεγγίσεις, οι οποίοι στηρίζονται στον υπολογισμό πολλών DFT μικρότερου μήκους από Ν σημεία. Τα αποτελέσματα όλων αυτών των μικρότερων DFT συνδυάζονται κατάλληλα, ώστε να παράγουν τον DFT N σημείων. Αυτή η αναγωγή του DFT σε πολλούς DFT μικρότερου μήκους έχει γίνει μέχρι σήμερα με πάρα πολλούς τρόπους. Σε όλους αυτούς γίνεται αναφορά με το συλλογικό όνομα Ταχύς Μετασχηματισμός Fourier (Fast Fourier Transform - FFT), λόγω της μείωσης των πράξεων που επιτυγχάνουν και, επομένως, του χρόνου που απαιτείται για την υλοποίησή τους. Στις περισσότερες εκδοχές του FFT γίνεται εκμετάλλευση σειράς kn χαρακτηριστικών ιδιοτήτων της βασικής μιγαδικής εκθετικής W N ποσότητας (αλγόριθμοι πεταλούδας) που περιγράφουμε στην εξίσωση και που είναι γνωστή στη διεθνή βιβλιογραφία με το όνομα μικρός παράγοντας (twiddle factor). Οι πλέον γνωστοί αλγόριθμοι FFT θεωρούν ότι το Ν είναι μια ακέραια δύναμη του 2 (Ν = 2 Μ ) και μειώνουν τις πράξεις, ώστε η πολυπλοκότητα να γίνει ανάλογη του: N log 2 N (2.2.7) Στον παρακάτω πίνακα 2.1 φαίνεται το κέρδος σε ταχύτητα που επιτυγχάνεται με την χρησιμοποίηση του FFT, έναντι του DFT. Στο σχήμα 2.1 δίνεται πιο παραστατική αυτή η διαφορά: N N 2 Nlog 2 (N) N 2 /Nlog 2 (N) , , , , , , , , , , ,18 Πίνακας 2.1: Ο αριθμός πράξεων που απαιτούνται από τον DFT, τον FFT και ο λόγος τους ως συνάρτηση του μήκους Ν 7

11 Αριθμός πράξεων DFT FFT Σχήμα 2.1: Ο αριθμός των πράξεων που απαιτούνται από τον DFT και τον FFT ως συνάρτηση του μήκους Ν N Ο Μετασχηματισμός Fourier Κατά Τμήματα (Short Time Fourier Transform (STFT)) Με την εισαγωγή του διακριτού μετασχηματισμού Fourier λύθηκε το πρόβλημα χειρισμού του φάσματος με τη βοήθεια ηλεκτρονικού υπολογιστή, που οφειλόταν στη συνεχή συνάρτηση της εξίσωσης ανάλυσης του μετασχηματισμού Fourier, μέσω της διακριτοποίησης σε συγκεκριμένες ισαπέχουσες συχνότητες του φάσματος και δημιουργώντας, αυτή τη φορά, μια νέα ακολουθία στο πεδίο της συχνότητας. Επίσης με την εισαγωγή του γρήγορου μετασχηματισμού Fourier περιορίστηκε δραστικά ο χρόνος εκτέλεσης του αλγορίθμου, έτσι ώστε να επιτευχθούν καλύτερα αποτελέσματα σε ζητήματα ταχύτητας. Τα παραπάνω εργαλεία αρκούν για την ανάλυση ενός σήματος - συστήματος διακριτού χρόνου στο πεδίο της συχνότητας, ενός πεπερασμένης διάρκειας σήματος. Στην περίπτωση όμως του πραγματικού χρόνου όπου η ροή πληροφορίας είναι συνεχής, το τέλος των σημάτων δεν είναι γνωστό, ούτε υπάρχει η πολυτέλεια αναμονής να τελειώσουν. Το σύστημα ψηφιακής επεξεργασίας του σήματος πρέπει να δίνει αποτελέσματα στην έξοδο, με τον ίδιο ρυθμό που τα δεδομένα εμφανίζονται στην είσοδο. Το ερώτημα που προκύπτει λοιπόν είναι αν μπορεί να χρησιμοποιηθεί η ανάλυση Fourier χωρίς να είναι γνωστό το μήκος του σήματος. Την απάντηση σε αυτό το ερώτημα δίνει ο Μετασχηματισμός Fourier κατά τμήματα. 8

12 Ας υποθέσουμε λοιπόν πως έχουμε ένα σήμα στον πραγματικό χρόνο το οποίο εκτυλίσσεται. Με τον STFT δεν χρειάζεται να περιμένουμε για το τέλος του σήματος, αλλά επιλέγουμε ένα τμήμα διάρκειας Μ δειγμάτων. Όταν εμφανιστεί και το Μ-οστό δείγμα στην είσοδο του υπολογιστή, τα Μ δείγματα θεωρούνται ως μπλοκ, των οποίων υπολογίζεται ο διακριτός Μετασχηματισμός Fourier. Εκτελείται ο επιθυμητός αλγόριθμος στο πεδίο της συχνότητας και στη συνέχεια γίνεται υπολογισμός του αντίστροφου διακριτού μετασχηματισμού Fourier, βγάζοντας τα αποτελέσματα στην έξοδο. Η λεπτομερής διαδικασία είναι αρκετά πιο περίπλοκη αφού κάποιο τμήμα της πληροφορίας είναι απαραίτητο να επικαλυφθεί ή να αντικατασταθεί από το επόμενο μπλοκ δεδομένων. Τις σημαντικότερες μεθόδους υπολογισμού του μετασχηματισμού Fourier κατά τμήματα αποτελούν η μέθοδος Επικάλυψης Διατήρησης (Overlap Save) και η μέθοδος Επικάλυψης Πρόσθεσης (Overlap Add). Σκοπός είναι η καθυστέρηση που γίνεται λόγω μετασχηματισμού Fourier και εκτέλεσης του επιθυμητού αλγορίθμου, να είναι πάντοτε μικρότερη της περιόδου δειγματοληψίας, ώστε να μπορεί να σταθεί το σύστημα σε πραγματικό χρόνο. Επίσης, ένα από τα βασικά χαρακτηριστικά του STFT είναι ότι σταθερή ανάλυση. Ο αριθμός των Μ δειγμάτων (που είναι και το πλάτος του παραθύρου που εφαρμόζεται) ορίζει την ποιότητα της απεικόνισης του σήματος. Ένα μεγάλο παράθυρο δίνει καλή ανάλυση συχνότητας (τα συχνοτικά στοιχεία που είναι κοντά μεταξύ τους, απομακρύνονται και γίνονται πιο ευδιάκριτα) αλλά η απεικόνιση στον χρόνο χειροτερεύει. Ένα μικρό παράθυρο κάνει το ακριβώς αντίθετο. Η ισορροπία στην οποία κινούνται αυτές οι 2 μεταβλητές σχετίζονται εν μέρει με την αρχή της απροσδιοριστίας του Heisenberg. Πολλές φορές θέλουμε να απεικονίσουμε τον ήχο σε ένα φάσμα, το οποίο εξελίσσεται με τον χρόνο. Γνωρίζουμε ότι αυτός είναι ο τρόπος που το μυαλό αντιλαμβάνεται τον ήχο. Με την εξάπλωση των ψηφιακών υπολογιστών, τα φάσματα αυτά υπολογίζονται χρησιμοποιώντας τον STFT, που είναι απλά μια ακολουθία του FFT μέσα στον χρόνο. Μας δίνεται λοιπόν η δυνατότητα να απεικονίσουμε κατανομές χρόνου- συχνότητας-πλάτους σε ένα τρισδιάστατο φάσμα.[10] Ο συνήθης μαθηματικός ορισμός του STFT είναι: (2.2.8) όπου x(n) : το σήμα εισόδου την χρονική στιγμή n w(n) : συνάρτηση παραθύρου μήκους Μ (π.χ. Hanning) X m (ω) : DFT των δεδομένων που έχουν περάσει από το παράθυρο R : μέγεθος ολίσθησης παραθύρων (hop size), σε σημεία 9

13 Παρακάτω φαίνονται 2 παραδείγματα φασμάτων για τα οποία έχει χρησιμοποιηθεί ο STFT για να παραχθούν: Σχήμα 2.2 Ασπρόμαυρο Φάσμα Συχνότητας χρόνου - έντασης Στο παραπάνω σχήμα φαίνονται 3 μεταβλητές. Ο χρόνος στον οριζόντιο άξονα, οι συχνότητες στον κάθετο, και η ένταση κάθε συχνότητας, από την πυκνότητα των μαύρων οριζόντιων γραμμών. Στο επόμενο σχήμα φαίνεται πάλι ένα φάσμα χρόνου-συχνότητας-έντασης το οποίο είναι πιο ευκρινές, διότι είναι τρισδιάστατο. Στον δεξί άξονα φαίνεται ο χρόνος σε ms, στον οριζόντιο φαίνεται η διαβάθμιση των συχνοτήτων, και στον κάθετο φαίνεται η ένταση κάθε συχνότητας σε κάθε χρονική στιγμή. Για μεγαλύτερη ευκρίνεια, έχει δοθεί και μια τέταρτη διάσταση αυτή του χρώματος- η οποία μας δίνει μια καλύτερη εικόνα για την ένταση (με ελάχιστες τιμές τις μπλε και μέγιστες τις κόκκινες). Σχήμα 2.3 Έγχρωμο Φάσμα Συχνότητας - χρόνου - έντασης 10

14 2.3 Ο Αλγόριθμος επικάλυψης - Άθροισης (Overlap add) Για να ανακτήσουμε ένα σήμα, από το πεδίο της συχνότητας, στο πεδίο του χρόνου, χρειαζόμαστε τον αντίστροφο μετασχηματισμό Fourier κατά τμήματα (ISTFT). Αυτός ο μετασχηματισμός χρησιμοποιεί τον αλγόριθμο επικάλυψης - Άθροισης (Overlap add) για να επανασυνθέσουμε τα επικαλυπτόμενα παράθυρα που δημιουργήθηκαν με τον STFT.[9] Αρχικά το μήκος των μπλοκ δεδομένων εισόδου είναι L δείγματα και το μήκος των DFTs και IDFTs είναι N = L + M 1. Κάθε μπλοκ δεδομένων συμπληρώνεται με Μ 1 μηδενικά (zero padding) και κατόπιν υπολογίζεται ο DFT του. Έτσι τα μπλοκ δεδομένων μπορούν να αναπαρασταθούν ως εξής: Χ1(n) = { x(0), x(1),....., x(l 1), 0, 0,...., 0} (2.3.1) M 1 μηδενικά Χ2(n) = {x(l),x(l + 1),...., x(2l 1), 0, 0,...., 0} (2.3.2) M 1 μηδενικά Χ3(n) = {x(2l),...., x(3l 1), 0, 0,...., 0} (2.3.3) M 1 μηδενικά Οι δυο Ν μήκους DFTs (φίλτρου και μπλοκ δεδομένων) πολλαπλασιάζονται μεταξύ τους με αποτέλεσμα: Y m(k) = H(k)X m(k) k = 0, 1,....., N 1 (2.3.4) Η εφαρμογή του αντίστροφου μετασχηματισμού (IDFT) έχει σαν αποτέλεσμα μπλοκ δεδομένων με μήκος N που είναι ελεύθερα από aliasing μιας και το μήκος των DFTs και IDFTs είναι N = L + M 1 και οι ακολουθίες αυξάνονται στα Ν δείγματα κάθε φορά, συμπληρώνοντας με μηδενικά κάθε μπλοκ. Μιας και κάθε μπλοκ δεδομένων συμπληρώνεται με Μ 1 μηδενικά, τα τελευταία Μ 1 δείγματα από κάθε μπλοκ πρέπει να επικαλυφτούν και να προστεθούν στα M 1 αρχικά δείγματα του επόμενου παραθύρου. Γι αυτό και η μέθοδος πήρε το όνομα «επικάλυψης πρόσθεσης» (Overlap add). Αυτή η επικάλυψη και πρόσθεση έχει σαν αποτέλεσμα μια ακολουθία εξόδου της μορφής: y(n) = {y1(0), y1(1),...., y1(l - 1), y1(l), + y2(0), y1(l + 1) + y2(1),...., y1(n - 1) + y2(m - 1), y2(m),...} (2.3.5) Η παραθυροποίηση αυτή των δεδομένων εισόδου και η «μίξη» των μπλοκ εξόδου μεταξύ τους παρουσιάζονται στο σχήμα 2.4: 11

15 Σχήμα 2.4:Σχηματική απεικόνιση του αλγόριθμου επικάλυψης πρόσθεσης (Overlap - add). 2.4 Παράθυρο Ανάλυσης Το πρώτο και σημαντικότερο βήμα για τη διαδικασία μετατροπής ενός σήματος από το πεδίο του χρόνου στο πεδίο της συχνότητας είναι η παραθυροποίηση του. Η τελευταία αποτελεί τη διαδικασία εκλογής ενός αριθμού δειγμάτων από το σήμα και τον πολλαπλασιασμό τους με μια συνάρτηση παραθύρου w(n). Ο αριθμός δειγμάτων που προκύπτει σε κάθε βήμα της διαδικασίας καθορίζεται από το μέγεθος του παραθύρου. Το τελευταίο αποτελεί μια σημαντική παράμετρο κυρίως αν ληφθεί υπ όψιν ότι ο αριθμός των συχνοτικών δειγμάτων που θα δώσει ο DFT στην έξοδό του αντιστοιχεί στο μισό του αριθμού των δειγμάτων στην είσοδό του, διεσπαρμένα στη μισή συχνότητα δειγματοληψίας. Πιο συγκεκριμένα το μέγεθος της συνάρτησης του παραθύρου σχετίζεται με τον τρόπο με τον οποίο το σήμα αναπαρίσταται-καθορίζει αν θα υπάρχει καλή ανάλυση συχνότητας ή καλή χρονική ανάλυση. Έτσι όσο πιο μεγάλο είναι το παράθυρο στο χρόνο τόσο καλύτερη ανάλυση συχνότητας θα έχουμε. Ταυτόχρονα όμως θα έχουμε κακή χρονική ανάλυση. Αυτό το φαινόμενο είναι γνωστό ως εναλλαγή ανάλυσης χρόνου εναντίον συχνότητας (time vs. frequency resolution trade off). Θα μπορούσε κανείς να ισχυριστεί ότι ένας τρόπος για να πάρει καλύτερη συχνοτική ανάλυση θα ήταν να προστεθούν μηδενικά στο παραθυροποιημένο σήμα έτσι ώστε να προκύπτει μεγαλύτερος FFT (Fast Fourier Transform).Αυτή η διαδικασία είναι γνωστή ως zero-padding και εκφράζει μια παρεμβολή (interpolation) στο πεδίο συχνότητας. Εν τούτοις όταν προστεθούν μηδενικά πριν από την εφαρμογή του DFT δεν αυξάνεται η ικανότητα διάκρισης δύο γειτονικών ημίτονων, αυξάνεται όμως η ανάλυση συχνότητας προσθέτοντας ενδιάμεσα παρεμβεβλημένα συχνοτικά bins. Ένας άλλος λόγος που χρησιμοποιείται το zero 12

16 padding είναι το ότι για να εφαρμοστεί ο FFT χρειάζεται το παράθυρο να έχει μήκος κάποια δύναμη του 2. Έτσι αν το παράθυρο που έχουμε δεν είναι δύναμης του 2, προσθέτουμε ίσο αριθμό μηδενικών αριστερά και δεξιά από το παράθυρο, ώστε ο συνολικός αριθμός σημείων να είναι δύναμη του 2.[12] Το είδος του παραθύρου που θα χρησιμοποιηθεί έχει πολύ σημαντική επίδραση στη συχνοτική αναπαράσταση που θα προκύψει. Υπάρχουν διάφοροι τύποι παραθύρων και οι πιο γνωστοί από αυτούς φαίνονται στο Σχήμα 2.5 μαζί με την απόκριση συχνότητάς τους. Στο σημείο αυτό είναι σημαντικό να σημειωθεί ότι ένας πολλαπλασιασμός στο πεδίο του χρόνου (όπως αυτός μεταξύ του σήματος και της συνάρτησης παραθύρου) ισοδυναμεί με τη συνέλιξη στο πεδίο της συχνότητας. των Fourier μετασχηματισμών των σημάτων. Αυτό φαίνεται στο Σχήμα 2.6 για ένα ημιτονικό σήμα και ένα παράθυρο Hamming. Σχήμα 2.5. Διάφοροι τύποι παραθύρων και η απόκριση συχνότητάς τους 13

17 Σχήμα 2.6 Συνέλιξη των φασμάτων ενός ημιτόνου και ενός παραθύρου Hamming Δυο χαρακτηριστικά του μετασχηματισμού του παραθύρου στο πεδίο της συχνότητας σχετίζονται με το αν η συγκεκριμένη συνάρτηση παραθύρου είναι χρήσιμη ή όχι: α) το εύρος του κυρίως λοβού και β) η σχέση πλάτους μεταξύ του κυρίου και του δευτερεύοντος λοβού. Το εύρος ζώνης του κυρίως λοβού εκφράζεται σε bins (συχνοτικά δείγματα spectral samples) και σε σύνδεση με το μέγεθος του παραθύρου καθορίζει την ικανότητα διάκρισης δύο ημιτονοειδών κορυφών. Η ακόλουθη σχέση εκφράζει τη σχέση που θα έπρεπε να έχουν το μέγεθος του παραθύρου σε samples Μ, το εύρος ζώνης του κυρίως λοβού Β και η συχνότητα δειγματοληψίας f s ώστε να είναι δυνατή η διάκριση δύο ημιτονοειδών με συχνότητες fkκαι k 1 f + : s M B f k+ 1 f k f (2.4.1) H σχέση πλάτους μεταξύ του κυρίου και του δευτερεύοντος λοβού εκφράζει το ποσοστό παραμόρφωσης που θα λάβει η ημιτονοειδής κορυφή από γειτονικούς λοβούς. Τώρα, αφού το φάσμα ενός block ή frame έχει υπολογιστεί, το παράθυρο ανάλυσης πρέπει να κινηθεί στην επόμενη θέση πάνω στην κυματομορφή ώστε να χρησιμοποιήσει το επόμενο σύνολο δειγμάτων. Η απόσταση μεταξύ των κέντρων δύο συνεχόμενων παραθύρων είναι γνωστή ως μέγεθος ολίσθησης παραθύρου (window slide ή hop size).αν το μέγεθος αυτό είναι μικρότερο από το μέγεθος του παραθύρου, τότε θα υπάρξει κάποιο ποσοστό επικάλυψης (overlap), που σημαίνει ότι κάποια δείγματα θα χρησιμοποιηθούν παραπάνω από μια φορά στη διαδικασία ανάλυσης. Γενικότερα, όσο μεγαλύτερο είναι το ποσοστό επικάλυψης τόσο πιο ομαλές θα είναι οι μεταβολές του φάσματος από frame σε frame, αυτό όμως είναι μια υπολογιστικά χρονοβόρα διαδικασία. Ο τύπος του παραθύρου και το μέγεθος ολίσθησης πρέπει να είναι τέτοια ώστε η περιβάλλουσα που προκύπτει να αθροίζεται σε μια σταθερά, σύμφωνα με την εξίσωση: 14

18 A ( ) ( ) w m = w n m const (2.4.2) n= Μια μέτρηση της διαφοράς του A w από τη σταθερά είναι η σχέση: d w max m[ Aw ( m)] min m[ Aw ( m)] = 100 (2.4.3) max [ A ( m)] Αυτή η σχέση αναφέρεται ως η διαφόριση πλάτους του παράγοντα επικάλυψης (overlap factor) και η απαίτηση είναι να είναι ίση ή μικρότερη από το ένα τοις εκατό (1%).[9] m w 2.5 Λευκός Θόρυβος Εισαγωγή Ο θόρυβος που παρουσιάζει την ιδιότητα του επίπεδου φάσματος ονομάζεται λευκός θόρυβος (white noise), σε αντιστοιχία με το λευκό φώς το οποίο σε κάθε περιοχή Δf του φάσματος, παρουσιάζει την ίδια ενέργεια. Στο πρόγραμμα που υλοποιήθηκε για την αποθορυβοποίηση σημάτων ομιλίας, χρησιμοποιείται λευκός θόρυβος, διαφορετικών εντάσεων, για να δημιουργηθεί το ενθόρυβο σήμα.[7] Μαθηματική Ανάλυση Στην πράξη, σε κάθε πρόβλημα μέτρησης ή πρόβλημα διαβίβασης πληροφορίας, π.χ. σε μια τηλεπικοινωνιακή ζεύξη ή κατά τις μετρήσεις που γίνονται σε ένα ερευνητικό πρόγραμμα, έχουμε συνήθως να κάνουμε με πολύ ασθενή ηλεκτρικά σήματα. Η μέτρηση των σημάτων αυτών γίνεται πάντα με μια αβεβαιότητα που είναι συμφυής στα φυσικά φαινόμενα και στις φυσικές δομές και εμποδίζει την ανάδειξη του κύριου φαινομένου ή της πληροφορίας. Η χρονικά εξαρτημένη αβεβαιότητα στις φυσικές παραμέτρους αναφέρεται γενικά σαν θόρυβος. Ο θόρυβος είναι μια εντελώς ακανόνιστη διακύμανση που μπαίνει μαζί με την πληροφορία στην είσοδο της μετρητικής διάταξης ή που γεννιέται μέσα στην ίδια τη διάταξη ή στο κανάλι διαβίβασης της πληροφορίας. Η πιο απλή μορφή θορύβου είναι ο λεγόμενος λευκός θόρυβος. Η διακριτή διεργασία {wt} καλείται μία καθαρώς τυχαία ή λευκός θόρυβος (white noise) αν οι τυχαίες μεταβλητές wt αποτελούν μία ακολουθία αμοιβαία ανεξαρτήτων μεταβλητών με την ίδια κατανομή. Από τον ορισμό προκύπτει ότι η μέση τιμή και η διασπορά είναι σταθερές και ότι η αυτοδιασπορά δίνεται από τη σχέση γ(k) = cov{w t, w t+k } = 0 για k= 1, 2,... (2.5.1) Καθώς η μέση τιμή και η αυτοδιασπορά είναι ανεξάρτητες από το χρόνο, η διεργασία είναι δευτέρας τάξεως στάσιμη. Στην πραγματικότητα είναι επίσης και αυστηρώς στάσιμη. Ο συντελεστής αυτοσυσχέτισης δίνεται από τη σχέση: 15

19 r( k)= { 1 0 αν k=0 αν k= ± 1, ± 2,... (2.5.2) Το φάσμα ισχύος του λευκού θορύβου είναι σταθερό και δεν εξαρτάται από τις τιμές της συχνότητας. H χρονοσειρά λευκού θορύβου w(i), i=1,2,..n, που χρησιμοποιήθηκε στα πειράματα παράχθηκε από γεννήτρια τυχαίων αριθμών, έχει Γκαουσσιανή κατανομή, με μέση τιμή ίση με το μηδέν (0) και διασπορά ίση με ένα (1). Επίσης επειδή είναι και γραμμικός θόρυβος λόγω της κατανομής επειδή κάθε Γκαουσσιανό σήμα είναι και γραμμικό άρα και η χρονοσειρά θορύβου w(i) είναι γραμμική. 2.6 Μέθοδοι μέτρησης της ποιότητας της ομιλίας Οι αντικειμενικές μέθοδοι μέτρησης της ποιότητας της ομιλίας είναι οι πλέον χρησιμοποιούμενες επειδή υλοποιούνται εύκολα, γρήγορα και χωρίς κόστος. Αν και δεν έχουν μεγάλη αξιοπιστία, χρησιμοποιούνται ευρύτατα, κυρίως για τη σύγκριση συστημάτων ομιλίας (πχ. Ενθόρυβη και αποθορυβοποιημένη ομιλία από διαφορετικές τεχνικές) παρά για την εξαγωγή ενός απόλυτου δείκτη ποιότητας.[5] Οι αντικειμενικές μέθοδοι μπορούν να χωριστούν σε κατηγορίες ανάλογα με το πεδίο εφαρμογής τους, για παράδειγμα το πεδίο του χρόνου, της συχνότητας ή παραμέτρων. Οι μέθοδοι αυτές μετράνε την διαφορά δύο σημάτων από τα οποία το ένα είναι σήμα αναφοράς ενώ το άλλο είναι το υπό εκτίμηση (ή υπό μέτρηση ή τεστ) σήμα. Στην περίπτωση της αποθορυβοποίησης σήμα αναφοράς είναι το καθαρό σήμα ομιλίας ενώ υπό εκτίμηση σήμα είναι το ενθόρυβο σήμα (πριν την αποθορυβοποίηση) ή το αποθορυβοποιημένο σήμα (μετά την εφαρμογή της τεχνικής). [5] Το πιο παλιό κριτήριο που χρησιμοποιήθηκε στην εργασία αυτή είναι ο Λόγος Σήματος προς Θόρυβο (Signal to Noise Ratio, SNR), ο οποίος μετράει το ποσοστό του θορύβου στο ενθόρυβο σήμα ή της παραμόρφωσης σε σχέση με το σήμα αναφοράς. Δίνεται από τη σχέση: N 1 2 [ x( n) ] n= 0 SNR = 10log 10 ( db) N 1 (2.6.1) 2 [ x( n) f ( n) ] n= 0 όπου x(n) είναι το σήμα αναφοράς, f(n) το υπό μέτρηση σήμα που μπορεί να είναι είτε το ενθόρυβο σήμα y(n) ή το αποθορυβοποιημένο x(n) και Ν το μήκος (σε δείγματα) του σήματος. Η ίδια σχέση χρησιμοποιείται και για τον υπολογισμό του θορύβου που στα πλαίσια της εργασίας προστέθηκε τεχνητά στο σήμα ομιλίας, με την διαφορά ότι ο παρονομαστής της εξ. (2.6.1) αντικαθίσταται από το σήμα του θορύβου d(n) και η σχέση χρησιμοποείται για να δώσει ένα συντελεστή με τον οποίο θα πολλαπλασιαστεί το σήμα θορύβου πριν την πρόσθεση του με το σήμα ομιλίας, δηλαδή: 16

20 λ = N 1 2 x ( n) n= 0 SNR N d ( n) n= 0 (2.6.2) όπου λ είναι η σταθερά με την οποία θα πολλαπλασιαστεί το σήμα θορύβου έτσι ώστε να προκύψει το επιθυμητό SNR μετά την πρόσθεση. Ο SNR είναι ασυσχέτιστος με υποκειμενικές μεθόδους. Μια βελτιωμένη έκδοση του είναι ο Τμηματικός Λόγος Σήματος προς Θόρυβο (Segmental Signal to Noise Ratio, SSNR), ο οποίος αποτελεί άθροιση του SNR για βραχύχρονα πλαίσια του σήματος και παρουσιάζει πολύ μεγαλύτερη συσχέτιση με υποκειμενικές μεθόδους. Δίνεται από τη σχέση: ik+ K [ w( n ik) x( n) M ] 10 n= ik SSNR = log 10 ( db) ik+ K 1 M 2 i= 0 w( n ik) ( x( n) f ( n) ) n= ik (2.6.3) όπου Μ είναι ο συνολικός αριθμός των βραχύχρονων πλαισίων του σήματος ομιλίας, Κ το μήκος του κάθε τμήματος, και w(n) μια συνάρτηση παραθύρου μήκους Κ. Πρόσφατα έχουν προταθεί κριτήρια που βασίζονται σε μοντέλα του μηχανισμού ακοής. Τα κριτήρια αυτά μετράνε κάποια μορφή παραμόρφωσης που γίνεται αντιληπτή ή ακουστή στον ακροατή. Κατά συνέπεια χρησιμοποιούν μεγέθη τα οποία αντιπροσωπεύουν ενδιάμεσες και εσωτερικές αναπαραστάσεις του σήματος από το μηχανισμό ακοής. Από τα κριτήρια αυτά στην εργασία χρησιμοποίηθηκε ο Λόγος Θορύβου προς Επικάλυψη (Noise to Mask Ratio, NMR) ο οποίος στηρίζεται στο φαινόμενο επικάλυψης που λαμβάνει χώρα στο εσωτερικό αυτί. Λόγω αυτής της ταυτόχρονης φασματικής επικάλυψης, συνιστώσες θορύβου κάτω από ένα ορισμένο όριο (το κατώφλι επικάλυψης) δεν γίνονται αντιληπτές και κατά συνέπεια δεν συνεισφέρουν σε ακουστές παραμορφώσεις (το φαινόμενο σχολιάζεται αναλυτικά στο επόμενο κεφάλαιο). Ο NMR μετράει το λόγο του θορύβου που υπάρχει σε ένα σήμα προς το κατώφλι επικάλυψης που δημιουργεί το σήμα αυτό. Μια προτεινόμενη μορφή του δίνεται από τη σχέση: M 1 k 2 10 B lh 1 D( k, i) NMR = log 10 ( db) M i= 0 B b= 1 k= k C ( ) lb btb i (2.6.4) όπου D(k,i) είναι οι φασματικές συνιστώσες του θορύβου, Tb ( i) το κατώφλι επικάλυψης για την φασματική περιοχή b και το i παράθυρο δεδομένων. C b ο αριθμός των φασματικών συνιστωσών ανά φασματική περιοχή, και k, k lb lh οι ακραίες συνιστώσες ανά φασματική περιοχή.[5] Στην διπλωματική αυτή ο NMR υπολογίστηκε μέσω εξωτερικού εκτελέσιμου αρχείου (ΝΜR.exe). Ουσιαστικά το αρχείο αυτό υπολογίζει τον Segmental NMR με προκαθορισμένο παράθυρο 1024 frames και στην συνέχεια δίνει τον μέσο όρο ως τιμή NMR. 17

21 2.7 Ψυχοακουστική [8] Εισαγωγή Η ψυχοακουστική (Psychoacoustics) αποτελεί τον κλάδο της ακουστικής, ο οποίος μελετά τον υποκειμενικό τρόπο με τον οποίο το ανθρώπινο σύστημα ακοής αντιλαμβάνεται τους διάφορους ήχους, συμπεριλαμβανόμενης της ομιλίας και της μουσικής (συνειδητοποίηση της ηχητικής πληροφορίας σε γνωστικό επίπεδο). Ερευνά τη σχέση που υπάρχει μεταξύ των ακουστικών γεγονότων και τον τρόπο που το αυτί τα αντιλαμβάνεται, και ο εγκέφαλος τα επεξεργάζεται. Το φαινόμενο της επικάλυψης (masking), που είναι μείζον στον κλάδο της ψυχοακουστικής, λαμβάνει χώρα όταν ένας εξασθενημένος μεν, αντιληπτός δε, ήχος (maskee), καθίσταται μη ακουστός, όταν δρα ταυτόχρονα με αυτόν, ένας πιο δυνατός ήχος (masker) Σύστημα Ακοής Η ικανότητα της ακοής, εκτός από την διάδοση και την διάθλαση ακουστικών κυμάτων, σχετίζεται και με τον τρόπο που το ακουστικό κύμα θα διαβιβαστεί στο μυαλό, μέσω των νευρικών κυττάρων. Το εύρος συχνοτήτων που μπορεί να ακούσει το ανθρώπινο αυτί κυμαίνεται από 20Hz μέχρι 20 KHz, με ανάλυση 2Hz. Αυτό σημαίνει ότι συχνοτικές αλλαγές μικρότερες από 2Hz, σε ένα ακουστικό σήμα, δε γίνονται αντιληπτές από τον άνθρωπο. Το αυτί αντιλαμβάνεται αλλαγές σε ηχητική πίεση (SPL) και συχνότητα. Οι μηχανικές και ηλεκτρικές τάσεις που προκαλούν οι ήχοι, κωδικοποιούνται από τα νευρικά κύτταρα, σε ηλεκτρικά ρεύματα. Αυτά τα ρεύματα επεξεργάζεται ο εγκέφαλος και τα μετατρέπει στο αίσθημα της ακοής που έχουμε. Πειράματα και μετρήσεις με ήχους σε διάφορες συχνότητες, έχουν οδηγήσει στην καμπύλη του Απόλυτου Ορίου Ακουστότητας (ΑΟΑ), σύμφωνα με την οποία το αυτί εμφανίζει τη μέγιστη ευαισθησία σε τιμές 1kHz 5 khz. Για συχνότητα δειγματοληψίας του wav αρχείου ίση με 44.1 khz, προκύπτει η παρακάτω γραφική παράσταση του Απόλυτου Ορίου Ακουστότητας: 18

22 Σχήμα 2.7 Απόλυτο κατώφλι ακουστότητας (44.1 khz) Η βασική μεμβράνη του αυτιού λειτουργεί σαν αναλυτής φάσματος του σήματος, διαιρώντας το σήμα σε διαφορετικές ζώνες συχνοτήτων. Αυτό συμβαίνει γιατί διαφορετικές περιοχές σημεία της μεμβράνης, ταλαντώνονται και συντονίζονται σε διαφορετικές συχνότητες, ανάλογα με το πάχος τους (το πάχος της μεμβράνης δεν είναι ομοιόμορφο αλλά μεταβάλλεται χωρικά). Οι ζώνες συχνοτήτων λοιπόν ονομάζονται κρίσιμες ζώνες και παίζουν πολύ βασικό ρόλο στο φαινόμενο της επικάλυψης. Πρακτικά, η κάθε κρίσιμη ζώνη αντιστοιχεί σε μια σταθερή περιοχή στη βασική μεμβράνη του αυτιού και σε μια αντίστοιχη περιοχή συχνοτήτων από την οποία διεγείρεται. Για τον άνθρωπο υπάρχουν 25 κρίσιμες ζώνες που καλύπτουν συχνότητες έως 24 khz. Η αναλυτική ικανότητα φάσματος του αυτιού είναι καλύτερη στις περιοχές των χαμηλότερων συχνοτήτων. Η σχέση μεταξύ της θέσης των σημείων της βασικής μεμβράνης που ταλαντώνονται και της συχνότητας του ήχου που προκαλεί την ταλάντωση δεν είναι γραμμική, αντιθέτως προσεγγίζει πιο πολύ τη λογαριθμική. Π.χ. οι συχνότητες 2, 4 και 8 khz μπορεί να αντιστοιχούν σε τρία σειριακά σημεία της μεμβράνης, που απέχουν ίδια απόσταση το ένα από το άλλο! Η κλίμακα που συσχετίζει τη θέση του σημείου που ταλαντώνεται πάνω στη βασική μεμβράνη με τη συχνότητα, λέγεται κλίμακα Bark. Για να μετατρέψουμε μια συχνότητα f από Hz στην κλίμακα Bark χρησιμοποιούμε την ακόλουθη σχέση: Bark = 13*arctan( f)+3.5*arctan((f/7500)2 Η κλίμακα Bark είναι πιο κατάλληλη για την αναπαράσταση των διαφορετικών περιοχών του συστήματος ακοής, από την κλίμακα Hz, διότι αντιπροσωπεύει ακριβείς θέσεις πάνω στη βασική μεμβράνη, εισάγοντας μια γραμμική συσχέτιση μεταξύ των περιοχών της βασικής μεμβράνης και των γεγονότων που συμβαίνουν όταν ένα κύμα προσκρούει σε κάποια από αυτές. 19

23 Σχήμα 2.8 Θέση συχνοτήτων πάνω στην βασική μεμβράνη Στον παρακάτω Πίνακα 2.2, φαίνεται η σχέση της κλίμακας Bark με τα Hz. Οι κρίσιμες ζώνες έχουν σταθερό πλάτος 100 Hz για κεντρικές συχνότητες έως 500 Hz, το οποίο αυξάνεται όσο η κεντρική συχνότητα αυξάνει. Πίνακας Συχνότητες κρίσιμων ζωνών Το φαινόμενο της επικάλυψης (Masking) Επικάλυψη ονομάζεται το φαινόμενο κατά το οποίο δεν μπορούμε να ακούσουμε κάποιον ήχο, εξαιτίας της ύπαρξης κάποιου άλλου. Υπάρχουν δύο είδη επικαλύψεων στο ανθρώπινο σύστημα ακοής. Η φασματική επικάλυψη και η χρονική επικάλυψη (α) Φασματική επικάλυψη Έστω ότι ταυτόχρονα με ένα ήχο συχνότητας f, δρα ακόμα ένας ήχος κοντινής συχνότητας αλλά χαμηλότερης έντασης. Η μεμβράνη στο εσωτερικό του αυτιού ξεκινά να ταλαντώνεται με την εμφάνιση του πρώτου ήχου. Ο δεύτερος ήχος θα 20

24 προκαλούσε ταλάντωση στην ίδια περιοχή της μεμβράνης με τον πρώτο. Όμως η μεμβράνη δεν έχει ακόμα επέλθει σε κατάσταση ηρεμίας. Συνεπώς, ανεξάρτητα από το πόσο συγκεντρωμένος είναι ο ακροατής, δεν θα ακούσει τον δεύτερο ήχο, γιατί δεν θα προκληθεί καμία μεταβολή στην ταλάντωση της μεμβράνης. Το φαινόμενο αυτό ονομάζεται φασματική επικάλυψη, και είναι αυτό στο οποίο βασιζόμαστε στην επεξεργασία ηχητικών σημάτων για αποθορυβοποίηση όταν θέλουμε να απορρίψουμε περιττή πληροφορία, χωρίς ιδιαίτερη παραμόρφωση. Είναι φαινόμενο που εμφανίζεται, όταν δρουν παράλληλα δύο ήχοι κοντινών συχνοτήτων διαφορετικών ηχητικών πιέσεων, με αποτέλεσμα ο δυνατότερος ήχος (masker) να επικαλύπτει τον πιο αδύναμο (maskee). Η επικάλυψη είναι εντονότερη, όταν οι ήχοι βρίσκονται σε κοντινές συχνότητες και εξασθενεί όσο απομακρύνονται συχνοτικά. Ανάλογα με τη συχνότητα, μπορεί να οριστεί ένα ακουστικό κατώφλι επικάλυψης (Auditory Masking Threshold, AMT) και ήχοι που βρίσκονται κάτω από αυτό, όπως παραμορφώσεις και θόρυβος, δε θα γίνονται αντιληπτοί. Εάν δεν υπάρχει masker, ο ήχος είναι αντιληπτός στο ανθρώπινο αυτί, αν η ηχητική του πίεση είναι υψηλότερη από το απόλυτο κατώφλι ακουστότητας (β) Xρονική επικάλυψη Στο ακόλουθο σχήμα φαίνεται η απόκριση ενός συνόλου τριχωτών κυττάρων του αυτιού σε ένα ηχητικό σήμα μικρής και μεγαλύτερης χρονικής διάρκειας. Σχήμα 2.9 Απόκριση Τριχωτών Κυττάρων σε δύο ήχους διαφορετικού διαστήματος Μπορούμε να παρατηρήσουμε τρία σημαντικά χαρακτηριστικά: Πρώτον, τα τριχωτά κύτταρα είναι πιο ευαίσθητα στο ξεκίνημα των ήχων. Δεύτερον, υπάρχει ένα πεπερασμένο χρονικό διάστημα, το οποίο είναι απαραίτητο για την ανάκτηση της πλήρους ευαισθησίας των κυττάρων μετά από μια διέγερση. Τρίτον, η διάρκεια αυτού του διαστήματος έχει άμεση εξάρτηση με τη διάρκεια του ήχου που προκάλεσε τη διέγερση. Τα γεγονότα αυτά προκαλούν το φαινόμενο της χρονικής επικάλυψης. Αν εμφανιστεί ένας ήχος κατά τη διάρκεια της επαναφοράς, τα τριχωτά κύτταρα μπορεί να μην μπορέσουν να τον καταγράψουν, συνεπώς μπορεί να μην τον ακούσουμε. H χρονική επικάλυψη εμφανίζεται, λοιπόν, όταν δρουν δύο ήχοι με μια μικρή χρονική διαφορά μεταξύ τους. Το ισχυρότερο σήμα θα επικαλύψει το χαμηλότερο, ακόμα και αν το χαμηλότερο εμφανιστεί νωρίτερα (pre masking). 21

25 2.7.4 Ψυχοακουστικά Μοντέλα Ένα ψυχοακουστικό μοντέλο αναλύει το ηχητικό σήμα και υπολογίζει την επικάλυψη που θα εισάγεται από κάθε σημείο, ως συνάρτηση της συχνότητας. Σε αυτή τη διπλωματική έχουν μελετηθεί και χρησιμοποιηθεί δύο ψυχοακουστικά μοντέλα. Το Ψυχοακουστικό Μοντέλο 1 και το Ψυχοακουστικό Μοντέλο 2, με μακράν καλύτερη απόδοση αυτή του δεύτερου μοντέλου (α) Ψυχοακουστικό Μοντέλο 1 Η διαδικασία που ακολουθεί το Ψυχοακουστικό Μοντέλο 1 είναι η εξής: Υπολογίζει τον FFT του σήματος που πρόκειται να επεξεργαστούμε στο πεδίο της συχνότητας. Προσδιορίζει το SPL του σήματος σε κάθε υποπεριοχή. Καθορίζει το απόλυτο κατώφλι ακουστότητας που δίνεται από πίνακες, ανάλογα με την συχνότητα δειγματοληψίας του wav αρχείου εισόδου. Βρίσκει τις τονικές και μη τονικές συνιστώσες του σήματος. Αυτό γίνεται για τον υπολογισμό του κατωφλιού επικάλυψης αφού η τονικότητα η μη, επηρεάζει την ικανότητα επικάλυψης. Πιο αναλυτικά, βρίσκονται τα τοπικά μέγιστα σε κάθε κρίσιμη ζώνη και έπειτα εξάγονται οι τονικές (ημιτονοειδής μορφή) ή μη τονικές συνιστώσες. Έπειτα αποθηκεύονται τα τοπικά μέγιστα που είναι τονικές συνιστώσες. Σε κάθε κρίσιμη ζώνη εξάγεται ένα μη τονικό στοιχείο που η τιμή του υπολογίζεται προσθέτοντας τις τιμές ισχύος των υπολειπόμενων φασματικών γραμμών. Έτσι βρίσκεται η SPL της ολικής μη τονικής συνιστώσας κάθε κρίσιμης ζώνης, όπου και αποθηκεύεται. Επιλέγει μεταξύ τονικών και μη τονικών στοιχείων. Αρχικά προσδιορίζει αν τα τονικά η μη τονικά στοιχεία έχουν πλάτος μεγαλύτερο του απόλυτου κατωφλιού ακουστότητας, και φυσικά κρατάει αυτά που ακούγονται. Έπειτα όταν δύο τονικά στοιχεία βρίσκονται σε μια κρίσιμη ζώνη σε απόσταση μεταξύ τους μικρότερη από 0.5 Bark τότε διατηρείται το στοιχείο με την μεγαλύτερη τιμή ισχύος και το άλλο διαγράφεται από τον πίνακα τονικών στοιχείων που έχουμε δημιουργήσει στο προηγούμενο βήμα. Όλα τα στοιχεία εξετάζονται ανά δύο ανάλογα με την θέση τους στον πίνακα. Υπολογίζει τα μεμονωμένα κατώφλια επικάλυψης. Υπολογίζει το Ολικό κατώφλι επικάλυψης αθροίζοντας τις ισχύς των μεμονωμένων κατωφλιών επικάλυψης και του Απόλυτου κατωφλιού επικάλυψης. 22

26 2.7.4(β) Ψυχοακουστικό Μοντέλο 2 Η διαδικασία που ακολουθεί το Ψυχοακουστικό Μοντέλο 2 είναι η εξής: Καθορισμός κρίσιμων περιοχών Υπολογισμός της εξίσωσης διασποράς Υπολογισμός του μοτίβου διέγερσης Υπολογισμός του κέρδους DC λόγω της εξίσωσης διασποράς Υπολογισμός του πόσο ομαλό είναι το φάσμα Υπολογισμός του συντελεστή τονικότητας Υπολογισμός του κατωφλιού επικάλυψης, κανονικοποίηση Επαναφορά στην γραμμική κλίμακα συχνότητας από Bark 23

27 2.8 Γραμμική Φασματική Αφαίρεση Βασικές αρχές φασματικής αφαίρεσης Ο αλγόριθμος φασματικής αφαίρεσης είναι ένας από τους πρώτους και πιο συχνά χρησιμοποιημένους αλγορίθμους ιστορικά για το πρόβλημα της αποθορυβοποίησης. Βασίζεται σε μια απλή αρχή, στο ότι μπορούμε να εκτιμήσουμε το φάσμα ενός καθαρού (χωρίς θόρυβο) σήματος, παίρνοντας μια εκτίμηση του φάσματος θορύβου, από το φάσμα του ενθόρυβου σήματος. Η εκτίμηση του φάσματος θορύβου υπολογίζεται και ανανεώνεται τις περιόδους που απουσιάζει το σήμα, και υπάρχει μόνο θόρυβος. Για να γίνει αυτή η διαδικασία πρέπει να υποθέσουμε πως ο θόρυβος είναι στατικός, η αργά μεταβαλλόμενος και ότι το φάσμα του θορύβου δεν αλλάζει σημαντικά ανάμεσα στις περιόδους ανανέωσης και επανυπολογισμού του. Το βελτιωμένο σήμα μετά την διαδικασία αποθορυβοποίησης, βρίσκεται υπολογίζοντας τον αντίστροφο διακριτό μετασχηματισμό Fourier του φάσματος του εκτιμώμενου σήματος, χρησιμοποιώντας την φάση του ενθόρυβου σήματος.[3] Το μειονέκτημα αυτής της απλής μεθόδου είναι ότι πρέπει να βρεθεί μια χρυσή τομή μεταξύ μεγάλης και μικρής αφαίρεσης του θορύβου. Στην πρώτη περίπτωση υπάρχει κίνδυνος παραμόρφωσης και να χαθεί κάποια πληροφορία ομιλίας, ενώ στην δεύτερη να παραμείνει θόρυβος. Επίσης η γραμμική αφαίρεση, λέγεται γραμμική διότι το βάρος με το οποίο γίνεται η αποθορυβοποίηση, είναι παντού ίδιο. Αυτό έχει ως αποτέλεσμα να γίνεται μεγαλύτερη αφαίρεση σε βάρος της ποιότητας του προκύπτων σήματος, αφού θα υπάρξει και μεγαλύτερη παραμόρφωση. Υπάρχουν πολλές μέθοδοι, κάποιες εκ των οποίων θα εξετάσουμε, όπου έχουν προταθεί για μείωση και σε μερικές περιπτώσεις εξαφάνιση της αλλοίωσης της ομιλίας που εισάγεται μέσα από την φασματική αφαίρεση. [3] Παρακάτω εξηγείται η διαδικασία της γραμμικής φασματικής αφαίρεσης με εξισώσεις. Έστω y(n) το ενθόρυβο σήμα εισόδου που αποτελείται από το καθαρό x(n) και το σήμα προσθετικού θορύβου d(n). y(n)=x(n)+d(n) (2.8.1) Η ίδια εξίσωση στο πεδίο της συχνότητας γίνεται μέσω του μετασχηματισμού Fourier: Υ(ω)=Χ(ω)+D(ω) (2.8.2) Mπορούμε να εκφράσουμε το Υ(ω) σε πολική μορφή: j y ( ) Y ( ω) = Υ ( ω) e φ ω (2.8.3) Όπου Y(ω) είναι το μέτρο του φάσματος και φy ( ω ) είναι η φάση του φάσματος σήματος με θόρυβο. Το φάσμα του θορύβου D(ω) μπορεί επίσης να εκφραστεί συναρτήσει του j d ( ) μέτρου και της φάσης D( ω) = D( ω) e φ ω. Για να βρούμε το μέτρο του φάσματος θορύβου D(ω), υπολογίζουμε την μέση τιμή του όταν απουσιάζει η ομιλία από το ενθόρυβο σήμα. (πχ σε παύσεις ομιλίας). Η φάση του θορύβου αντικαθίσταται από την φάση του ενθόρυβου σήματος μιας και η φάση δεν επηρεάζει την καταληπτότητα ομιλίας (μπορεί όμως να επηρεάσει την ποιότητα της ομιλίας σε ένα βαθμό). Κάνοντας λοιπόν αντικαταστάσεις στην εξίσωση παίρνουμε την εκτίμηση του καθαρού σήματος: 24

28 ˆ j ( ) ˆ y Χ ( ω) = [ Y ( ω) D( ω) ] e φ ω (2.8.4) όπου D ˆ ( ω) είναι η εκτίμηση του μέτρου του φάσματος θορύβου που δημιουργήθηκε κατά την διάρκεια απουσίας ομιλίας. Το σύμβολο ^ χρησιμοποιείται για να δηλώσουμε το εκτιμώμενο φάσμα ή την εκτιμώμενη παράμετρο που μας ενδιαφέρει. Παίρνοντας τον αντίστροφο μετασχηματισμό Fourier του Χ ˆ ( ω) προκύπτει το βελτιωμένο σήμα ομιλίας. Η θεμελιώδης αρχή της φασματικής αφαίρεσης συνοψίζεται από την εξίσωση και συνίσταται στα εξής βήματα: Υπολόγισε το μέτρο του φάσματος της ομιλίας με θόρυβο μέσω του FFT Κράτα μια εκτίμηση του φάσματος του θορύβου όταν η ομιλία απουσιάζει Αφαίρεσε το μέτρο του φάσματος θορύβου από το μέτρο του φάσματος του σήματος με θόρυβο (εξού και το όνομα φασματική αφαίρεση) Υπολόγισε τον αντίστροφο μετασχηματισμό Fourier του φάσματος διαφοράς (χρησιμοποιώντας την φάση του θορύβου) για να παραχθεί το βελτιωμένο σήμα ομιλίας. Πρέπει να σημειώσουμε ότι το μέτρο φάσματος του βελτιωμένου σήματος, Χ ˆ ( ω) = Y ( ω) Dˆ ( ω), μπορεί να είναι αρνητικό λόγω ανακριβειών στον υπολογισμό του φάσματος του θορύβου. Το μέτρο του φάσματος όμως δεν μπορεί να είναι αρνητικό. Πρέπει να διασφαλίσουμε λοιπόν ότι το Χˆ ( ω) είναι πάντα μη αρνητικό όταν γίνεται η αφαίρεση των δυο φασμάτων. Μία λύση γι αυτό είναι να διορθώσουμε half-wave την διαφορά του φάσματος, δηλαδή να θέσουμε τα αρνητικά φασματικά στοιχεία στο μηδέν όπως φαίνεται παρακάτω: ( ) ˆ ( ) ( ) ˆ ˆ Υ ω D ω αν Y ω > D( ω) X ( ω) = 0αλλού (2.8.5) Η διαδικασία αυτή της διόρθωσης είναι μόνο ένας από τους πολλούς τρόπους που μπορούμε να διασφαλίσουμε μη αρνητικά Χ ˆ ( ω). Η προηγούμενη απόρροια του αλγόριθμου φασματικής αφαίρεσης μπορεί εύκολα να επεκταθεί στο πεδίο της ισχύος διότι σε μερικές περιπτώσεις είναι καλύτερα να δουλεύουμε με φάσματα ισχύος αντί για φάσματα ενέργειας. Για να πάρουμε το βραχυχρόνιο φάσμα ισχύος του σήματος ομιλίας με θόρυβο, πολλαπλασιάζουμε το Y(ω) στην εξίσωση με το συζυγές του Y*(ω). Έτσι η γίνεται: Υ(ω) ² = Χ(ω) ² + D(ω) ² + Χ(ω)D*(ω) + X*(ω)D(ω) = X(ω) ² + D(ω) ² + 2Re {X(ω)D*(ω)} (2.8.6) Επειδή οι όροι D(ω) ², Χ(ω)D*(ω), και X*(ω)D(ω) δεν μπορούν να παρθούν άμεσα, προσεγγίζονται ως Ε{ D(ω) ²}, Ε{ Χ(ω)D*(ω)} και Ε{ X*(ω)D(ω)}, όπου το E{} υποδεικνύει τον τελεστή εκτίμησης. 25

29 Τυπικά το Ε{ D(ω) ²} υπολογίζεται κατά την διάρκεια απουσίας ομιλίας και 2 σημειώνεται ως Dˆ ( ω ). Αν υποθέσουμε ότι το d(n) είναι κατά μέσο όρο μηδέν (zero mean) και δεν συσχετίζεται με το καθαρό σήμα x(n), τότε οι όροι Ε{ Χ(ω)D*(ω)} και Ε{X*(ω)D(ω)} τείνουν στο μηδέν. Έτσι χρησιμοποιώντας τις προηγούμενες υποθέσεις, η εκτίμηση του φάσματος ισχύος του καθαρού σήματος προκύπτει: ˆ 2 2 ˆ 2 X ( ω) = Υ( ω) D( ω) (2.8.7) Η προηγούμενη εξίσωση περιγράφει τον αλγόριθμο αφαίρεσης φάσματος 2 ισχύος. Όπως και πριν, το Xˆ ( ω ) δεν είναι σίγουρα θετικό, αλλά μπορεί να διορθωθεί με την μέθοδο half-wave. Το βελτιωμένο σήμα τελικά προκύπτει από τον 2 υπολογισμό του αντίστροφου μετασχηματισμού Fourier του Xˆ ( ω ) (αυτό 2 προκύπτει από την τετραγωνική ρίζα του Xˆ ( ω ), χρησιμοποιώντας την φάση του σήματος ομιλίας με θόρυβο. Η εξίσωση μπορεί να γραφτεί στην ακόλουθη μορφή: όπου ˆ ( ) 2 X ω = Η²(ω) Υ(ω) ² (2.8.8) Dˆ ( ω ) ² Η ( ω ) = 1 (2.8.9) Υ ( ω ) ² Το Η(ω) είναι γνωστό ως η συνάρτηση μεταφοράς του συστήματος, στα πλαίσια της θεωρίας γραμμικών συστημάτων. Στην βελτίωση ομιλίας, αναφερόμαστε στο Η(ω) ως συνάρτηση κέρδους ή συνάρτηση καταστολής. Το Η(ω) όπως βλέπουμε στην εξίσωση είναι πραγματικός αριθμός και κατ αρχήν είναι πάντα θετικός παίρνοντας τιμές στο εύρος 0 Η( ω) 1. Αρνητικές τιμές προκύπτουν κάποιες φορές εξαιτίας ανακριβών υπολογισμών του φάσματος του θορύβου. Το Η(ω) ονομάζεται και συνάρτηση καταστολής γιατί παρέχει την ποσότητα καταστολής (ή ελάττωσης, αφού 0 Η( ω) 1) που εφαρμόζεται στο φάσμα ισχύος του θορύβου Υ(ω) ² σε μια δεδομένη συχνότητα για να προκύψει το βελτιωμένο φάσμα ισχύος ˆ 2 X ( ω ). Το σχήμα της συνάρτησης καταστολής είναι μοναδικό για ένα συγκεκριμένο αλγόριθμο βελτίωσης ομιλίας. Γι αυτό τον λόγο συχνά συγκρίνουμε διαφορετικούς αλγόριθμους μέσω της σύγκρισης των συναρτήσεων καταστολής. Το γεγονός ότι το Η(ω) παίρνει πραγματικές τιμές υποδηλώνει ότι το h(n) (o αντίστροφος μετασχηματισμός Fourier του) είναι ομαλά συμμετρικός γύρω από το μηδέν και έτσι όχι αιτιώδης (noncausal). Μια πιο γενικευμένη έκδοση του αλγόριθμου φασματικής αφαίρεσης δίνεται από τον τύπο: ˆ p p ( ) ( ) ˆ p X ω = Υ ω D( ω) (2.8.10) όπου p είναι ο εκθέτης της ισχύος, με p=1 αποδίδεται η φασματική αφαίρεση ενεργείας, και με p=2 αποδίδεται ο αλγόριθμος της φασματικής αφαίρεσης ισχύος. Η γενική μορφή του αλγόριθμου φασματικής αφαίρεσης φαίνεται στο γράφημα Eίναι σημαντικό να σημειώσουμε ότι οι εξισώσεις και είναι μόνο προσεγγιστικές λόγω της παρουσίας των διασταυρούμενων όρων. Οι όροι αυτοί στην εξίσωση είναι μηδέν μόνο από στατιστικής άποψης, υποθέτοντας ότι οι υπολογισμοί πραγματοποιούνται χρησιμοποιώντας επαρκή δεδομένα και υποθέτοντας ότι τα σήματα είναι στάσιμα. Τα σήματα ομιλίας όμως δεν είναι στάσιμα. Στις 26

30 περισσότερες εφαρμογές το σήμα ομιλίας επεξεργάζεται σε μια βάση frame-by-frame χρησιμοποιώντας παράθυρα 20-30msec) και οι διασταυρούμενοι όροι δεν είναι απαραίτητα μηδενικοί. Σχήμα 2.10 Γενική μορφή του αλγόριθμου φασματικής αφαίρεσης Μειονεκτήματα της φασματικής αφαίρεσης Ένα από τα μειονεκτήματα της φασματικής αφαίρεσης είναι ότι δημιουργείται αυτό που ονομάζουμε στην βιβλιογραφία μουσικό θόρυβο και δημιουργείται ως εξής. Για την διασφάλιση ενός μη αρνητικού φάσματος, χρησιμοποιούμε την διόρθωση half-wave που αναφέρθηκε πρωτύτερα (θέτουμε τις αρνητικές τιμές ίσες με μηδέν). Αυτή ομως η μη γραμμική επεξεργασία των αρνητικών τιμών, έχει ως αποτέλεσμα να υπάρχουν μικρές, απομονωμένες κορυφές στο φάσμα που συμβαίνουν σε τυχαίες περιοχές συχνοτήτων για κάθε πλαίσιο (frame). Στο πεδίο του χρόνου, αυτές οι κορυφές ηχούν παρόμοια με τόνους με συχνότητες που αλλάζουν τυχαία από frame σε frame, που είναι δηλαδή τόνοι που ενεργοποιούνται κ απενεργοποιούνται στον ρυθμό της ανάλυσης πλαισίου ( κάθε 20 με 30 msec). Αυτός ο τύπος θορύβου που εισάγεται από την διορθωτική διαδικασία half-wave περιγράφεται ως τιτίβισμα με τονική ποιότητα είναι λοιπόν ο μουσικός θόρυβος (musical noise). Όταν δεν υπάρχει ομιλία (όταν δηλαδή η ισχύς του θορύβου είναι συγκρίσιμη με την ισχύ του σήματος ομιλίας) ο μουσικός θόρυβος είναι πιο χαρακτηριστικός. Κάποιες φορές αυτός ο μουσικός θόρυβος μπορεί να είναι πιο ενοχλητικός στον ακροατή σε σχέση με τις αρχικές διαστρεβλώσεις που οφείλονται από τον παρεμβαλλόμενο θόρυβο. [3] 27

31 Ένα άλλο μειονέκτημα, σχετικά μικρότερης σημασίας, είναι το ότι η χρήση της φάσης του θορύβου, παράγει μια τραχύτητα στην ποιότητα της συντιθέμενης ομιλίας. Η φάση του ενθόρυβου σήματος δεν επεξεργάζεται προτού συνδυαστεί με το τροποποιημένο φάσμα για να αναπαραχθεί το αποθορυβοποιημένο σήμα στον χρόνο. Αυτό γίνεται γιατί η παρουσία θορύβου στην πληροφορία της φάσης δεν συνεισφέρει πολύ στην ελάττωση της ποιότητας ομιλίας. Αν και αυτό ισχύει σε υψηλά SNR (>5 d B), σε χαμηλά SNR (<0 d B) το φάσμα του θορύβου μπορεί να οδηγήσει σε μια αισθητή τραχύτητα στο σήμα ομιλίας, συνεισφέροντας έτσι στην μείωση της ποιότητας ομιλίας. Η εκτίμηση της φάσης της καθαρής ομιλίας είναι μια δύσκολη διαδικασία και αυξάνει σημαντικά την πολυπλοκότητα του αλγόριθμου. Η φάση του ενθόρυβου σήματος είναι σχεδόν αμετάβλητη, ειδικά για υψηλά SNR, και εν γένει η χρησιμοποίηση αυτής της φάσης είναι μια αποδεκτή πρακτική στην ανακατασκευή του αποθορυβοποιημένου σήματος ομιλίας.[3] H αντιμετώπιση λοιπόν του μουσικού θορύβου είναι πολύ πιο κρίσιμη από την εύρεση μεθόδων για την διατήρηση της αρχικής φάσης. Γι αυτόν τον λόγο έχει γίνει μεγάλη προσπάθεια για την εύρεση μεθόδων μείωσης του μουσικού θορύβου. Πριν όμως αναλύσουμε τις μεθόδους αυτές, είναι σημαντικό να επισημάνουμε μερικούς από τους παράγοντες που συνεισφέρουν στον μουσικό θόρυβο: 1. Μη γραμμική επεξεργασία των αρνητικών αφαιρούμενων φασματικών στοιχείων. 2. Ανακριβής εκτίμηση του φάσματος του θορύβου. Αφού το φάσμα του θορύβου δεν μπορεί να ληφθεί άμεσα, είμαστε αναγκασμένοι να χρησιμοποιήσουμε μια μέση προσέγγιση του θορύβου. Έτσι υπάρχουν μερικές σημαντικές αποκλίσεις στο εκτιμώμενο φάσμα θορύβου και στο πραγματικό περιεχόμενο θορύβου που είναι παρόν στο στιγμιαίο φάσμα ομιλίας. Η αφαίρεση αυτών των ποσοτήτων έχει ως αποτέλεσμα την παρουσία απομονωμένων υπολειμματικών επιπέδων θορύβου μεγάλης διασποράς. 3. Μεγάλη διασπορά στους υπολογισμούς των φασμάτων του θορύβου και του σήματος με θόρυβο. Οι περισσότεροι αλγόριθμοι χρησιμοποιούν εκτιμητές φάσματος περιοδικού τύπου, οι οποίοι είναι γνωστό ότι έχουν μεγάλη διακύμανση ακόμα και όταν χρησιμοποιούνται παράθυρα μεγάλης διάρκειας. 4. Μεγάλη ευμεταβλητότητα στην συνάρτηση καταστολής ή κέρδους. Υπάρχει ένα ισοζύγιο μεταξύ της ποσότητας της μείωσης του θορύβου και της διαστρέβλωσης που εισάγεται στην ομιλία. Είναι εξαιρετικά δύσκολο να ελαχιστοποιηθεί ο μουσικός θόρυβος χωρίς να επηρεαστεί το σήμα ομιλίας με κάποιο τρόπο. Στη συνέχεια θα αναλυθούν κάποιες μέθοδοι που έχουν προταθεί για την μείωση του μουσικού θορύβου και συνεπώς της βελτίωσης της λειτουργίας του απλού αλγόριθμου φασματικής αφαίρεσης. 28

32 2.9 Αλγόριθμος Boll [1] Ο Αλγόριθμος του Boll χρησιμοποιεί την μέθοδο της φασματικής αφαίρεσης που περιγράφηκε πιο πάνω, με κάποιες βελτιώσεις οι οποίες είναι: Υπολογισμός Μέσου Όρου Πλατών Half-wave διόρθωση Μείωση απομένων (μουσικού) θορύβου Επιπλέον μείωση απομένων θορύβου κατά τη διάρκεια περιόδων που δεν υπάρχει ομιλία Υπολογισμός Μέσου Όρου Πλατών Εφόσον το φασματικό σφάλμα ισούται με την διαφορά του φάσματος θορύβου και του μέσου όρου του, ο τοπικός υπολογισμός του μέσου όρου των πλατών του φάσματος μπορεί να χρησιμοποιηθεί για να μειωθεί αυτό το σφάλμα. Παίρνοντας λοιπόν τον μέσο όρο των πλατών του ενθόρυβου φάσματος καταλήγουμε στην εξίσωση Η λογική πίσω από αυτό τον υπολογισμό είναι ότι το φασματικό σφάλμα ισούται κατά προσέγγιση με την εξίσωση = (2.9.1) = (2.9.2) όπου e(ω) το φασματικό σφάλμα, ο μέσος όρος του φάσματος του καθαρού σήματος, ο μέσος όρος του αθροίσματος των φασματικών πλατών του θορύβου για κάθε frame, και μ(ω) ο μέσος όρος του φασματικού πλάτους του θορύβου. Συνεπώς η μέση τιμή δειγμάτων του φασματικού πλάτους του θορύβου συγκλίνει με το μέσο όρο, όσο περισσότερα είναι τα δείγματα στον υπολογισμό του αθροίσματος Half-wave διόρθωση Η Half-wave διόρθωση όπως εξηγήθηκε και παραπάνω, είναι η εκμηδένιση αρνητικών φασματικών στοιχείων. ( ) ˆ ( ) ( ) ˆ ˆ Υ ω D ω αν Y ω > D( ω) X ( ω) = (2.9.3) 0αλλού Το πλεονέκτημα αυτής της διόρθωσης είναι ότι το κατώτερο επίπεδο του θορύβου μειώνεται κατά μ(ω). Επίσης συναφείς ήχοι θορύβου χαμηλής διακύμανσης, επί της ουσίας εξαλείφονται. Το μειονέκτημα αυτής της διόρθωσης εμφανίζεται στην περίπτωση που το άθροισμα του θορύβου και της ομιλίας σε μια συχνότητα ω είναι μικρότερο από το μ(ω). Τότε η πληροφορία ομιλίας σε αυτή τη συχνότητα αφαιρείται με ανακόλουθο τρόπο, μειώνοντας πιθανόν την καταληπτότητα του επεξεργασμένου σήματος. 29

33 2.9.3 Μείωση απομένων (μουσικού) θορύβου Ο απομένων θόρυβος μετά την half-wave διόρθωση έχει πλάτος μεταξύ του μηδέν και μιας μέγιστης τιμής η οποία μετράται όταν δεν υπάρχει ομιλία στο σήμα. Στο πεδίο του χρόνου ο απομένων θόρυβος ακούγεται σαν άθροισμα γεννητριών τόνων με τυχαίες θεμελιώδεις συχνότητες που ανοιγοκλείνουν με ρυθμό περίπου 20ms. Στις περιόδους του σήματος όπου υπάρχει ομιλία ο απομένων θόρυβος ακούγεται στις συχνότητες που δεν υπερκαλύπτεται από την ομιλία. Για να αντιμετωπιστεί αυτό το φαινόμενο σε μια συγκεκριμένη συχνότητα για παράδειγμα, εφόσον το πλάτος του απομένων θορύβου διακυμαίνεται τυχαία σε κάθε πλαίσιο (frame), μπορεί να κατασταλεί, αντικαθιστώντας την τρέχουσα τιμή του με την ελάχιστη τιμή του, που επιλέγεται από τα γειτονικά πλαίσια. Αυτή η ελάχιστη τιμή λαμβάνεται μόνο όταν το πλάτος του φάσματος του αποθορυβοποιημένου σήματος είναι μικρότερο από το μέγιστο του απομένων θορύβου σε περιόδους που δεν υπάρχει ομιλία. Πιο συγκεκριμένα η εξίσωση τροποποιήθηκε ως εξής: ( ) ˆ ( ) ( ) ˆ ( ) max ˆ ( ) ˆ Υi ω D ω αν Yi ω D ω > D ω X i ( ω) = min ˆ j= i 1, i, i+ 1 X j ( ω) αλλού (2.9.4) όπου Xˆ i ( ω ) υποδηλώνει το βελτιωμένο φάσμα που υπολογίζεται στο πλαίσιο i, και Dˆ ( ω ) είναι το φάσμα του θορύβου που λαμβάνεται κατά την διάρκεια απουσίας ομιλίας. Η βασική ιδέα της εξίσωσης είναι να διατηρηθεί η πληροφορία εφόσον το τρέχον πλαίσιο είναι ένα κομμάτι χαμηλής ενέργειας (πχ. ένα κομμάτι χωρίς ομιλία), αλλιώς να χρησιμοποιηθεί μία καλύτερη εκτίμηση του θορύβου αν αρκετά διαδοχικά πλαίσια δεν περιέχουν ομιλία. Το βασικό μειονέκτημα αυτής της προσέγγισης είναι ότι απαιτεί πρόσβαση σε μελλοντικό ενισχυμένο φάσμα, και μια τέτοια προσέγγιση μπορεί να μην είναι εφικτή για υλοποίηση πραγματικού χρόνου Επιπλέον μείωση μουσικού θορύβου σε περιόδους ησυχίας Η σχέση ενέργειας μεταξύ του Χ ˆ ( ω) και του μ(ω) μπορεί να μας δείξει αν υπάρχει ομιλία η όχι σε κάποιο πλαίσιο. Εάν δεν υπάρχει ομιλία τότε το Χ ˆ ( ω) θα ισούται με τον θόρυβο που απομένει μετά την half-wave διόρθωση και την μείωση απομένων μουσικού θορύβου. Εμπειρικά έχει βρεθεί ένα μέτρο το οποίο ανιχνεύει τις περιοχές όπου απουσιάζει η ομιλία και δίνεται από τον τύπο: =20! $ # "# %& ' )# % ( *+ (2.9.5) Όταν το Τ είναι μικρότερο από -12dB τότε θεωρείται πως δεν υπάρχει ομιλία στο συγκεκριμένο πλαίσιο. Για να υπάρχει καλύτερη ποιότητα στο αποθορυβοποιημένο σήμα, έχει παρατηρηθεί ότι πρέπει να υπάρχει μια ισορροπία ανάμεσα στην ενέργεια του θορύβου που υπερκαλύπτεται από την ομιλία και στο 30

34 θόρυβο σε περιοχές που δεν υπάρχει ομιλία. Εάν μηδενίσουμε τον θόρυβο σε περιοχές που δεν υπάρχει ομιλία τότε ο θόρυβος κατά τη διάρκεια της ομιλίας πολλαπλασιάζεται. Αν δεν κάνουμε τίποτα συμβαίνει το αντίθετο. Mια λογική, αλλά σε καμία περίπτωση ιδανική, εξασθένιση του σήματος, όταν το Τ<-12dB είναι τα - 30dB. Επομένως: Όπου 20log 10 (c) = -30dB, επομένως c = 0.03 (2.9.6) 2.10 Αλγόριθμος Berouti [3,2] Ο Berouti πρότεινε μια διαφορετική προσέγγιση που δεν απαιτεί πρόσβαση σε μελλοντική πληροφορία. Η μέθοδος του συνίσταται στην αφαίρεση μιας υπερεκτίμησης του φάσματος ισχύος του θορύβου ενώ αποφεύγεται τα προκύπτοντα φασματικά στοιχεία να πάνε κάτω από μία προκαθορισμένη ελάχιστη τιμή (φασματικό δάπεδο). Η τεχνική αυτή είχε την ακόλουθη μορφή: ( ) ² ˆ ( ) ² ( ) ² ( ) max ˆ ˆ Υi ω α D ω αν Yi ω > α + β D( ω) ² X i ( ω) ² = β Dˆ ( ω) ² αλλού (2.10.1) όπου α είναι ο παράγοντας υπεραφαίρεσης, -1, και β είναι παράμετρος του φασματικού δαπέδου 0/0 1. Ο βασικός λόγος που χρησιμοποιούμε τον παράγοντα υπεραφαίρεσης και το φασματικό δάπεδο αναλύεται στην συνέχεια. Όταν αφαιρούμε την εκτίμηση του φάσματος θορύβου από το φάσμα της ενθόρυβης ομιλίας, παραμένουν κορυφές στο φάσμα. Κάποιες από αυτές τις κορυφές είναι ευρυζωνικές (περικλείουν μία ευρεία σειρά συχνοτήτων), ενώ άλλες είναι στενής ζώνης και εμφανίζονται σαν καρφιά στο φάσμα. Για να μειώσουμε λοιπόν το μέγεθος των ευρυζωνικών κορυφών, υπεραφαιρούμε το φάσμα του θορύβου πχ. χρησιμοποιώντας α>1, και σε μερικές περιπτώσεις να τις εξουδετερώσουμε. Αυτό όμως από μόνο του δεν είναι αρκετό επειδή οι βαθιές κοιλάδες που περιβάλλουν τις κορυφές παραμένουν στο φάσμα. Για αυτό τον λόγο χρησιμοποιείται το φασματικό δάπεδο (spectral floor) ώστε να «γεμίσει» τις φασματικές κοιλάδες και πιθανόν να καλύψει τις παραμένουσες κορυφές με την γειτνίαση φασματικών στοιχείων συγκρίσιμης τιμής. Οι κοιλάδες μεταξύ των κορυφών δεν είναι πια βαθιές όταν β>0 συγκριτικά με όταν β=0. Ο Berouti βρήκε ότι η ομιλία που επεξεργάστηκε σύμφωνα με την εξίσωση είχε λιγότερο μουσικό θόρυβο από αυτήν που επεξεργάστηκε σύμφωνα με την Οι δυο παράμετροι α και β προσφέρουν μεγάλη ελαστικότητα στον αλγόριθμο φασματικής αφαίρεσης. Η παράμετρος β ελέγχει την ισορροπία μεταξύ του απομείναντος θορύβου και του αντιληπτού μουσικού θορύβου. Αν η παράμετρος φασματικού δαπέδου β είναι πολύ μεγάλη, τότε ο απομένων θόρυβος θα είναι ακουστός αλλά ο μουσικός θόρυβος 31

35 δεν θα είναι αντιληπτός. Αντίστροφα, αν το β είναι πολύ μικρό ο μουσικός θόρυβος θα γίνει ενοχλητικός αλλά ο απομένων θόρυβος θα μειωθεί έντονα. Στο Σχήμα 2.11 φαίνεται το αποτέλεσμα της αλλαγής της τιμής β στο φάσμα για μια δεδομένη τιμή του α. Σχήμα 2.11 Επίδραση της αλλαγής της τιμής της παραμέτρου b φασματικού δαπέδου για δεδομένη τιμή του α Η παράμετρος α επηρεάζει το πόσο διαστρεβλώνεται φασματικά η ομιλία, μετά από την αφαίρεση στην εξίσωση Αν το α είναι πολύ μεγάλο τότε το σήμα που προκύπτει θα διαστρεβλωθεί έντονα σε σημείο που θα υπάρχει πρόβλημα με την καταληπτότητα. Το Σχήμα 2.12 δείχνει το πώς αλλάζει η τιμή α στο φάσμα για μια δεδομένη τιμή του β. Έχει δειχθεί πειραματικά ότι για την καλύτερη μείωση θορύβου με τον ελάχιστο μουσικό θόρυβο, το α θα πρέπει να είναι μικρό για υψηλά SNR πλαίσια (δηλαδή όταν η ομιλία είναι παρούσα) και μεγάλο για χαμηλά SNR πλαίσια (πχ για τμήματα χαμηλής ενέργειας ή κατά την διάρκεια παύσεων). Ο Berouti πρότεινε ότι η παράμετρος α θα πρέπει να ποικίλει από πλαίσιο σε πλαίσιο σύμφωνα με την εξίσωση: α = α SNR 5dB SNR 20dB (2.10.2) όπου α 0 είναι η επιθυμητή τιμή του α στα 0 db SNR, και το SNR είναι το βραχυχρόνιο SNR υπολογισμένο σε κάθε πλαίσιο. 32

36 Σχήμα 2.12 Επίδραση της αλλαγής της τιμής της παραμέτρου υπεραφαίρεσης α για μία δεδομένη τιμή της b Να σημειώσουμε εδώ ότι αυτό δεν είναι το πραγματικό SNR αφού δεν έχουμε πρόσβαση στο καθαρό σήμα. Είναι μια a posteriori εκτίμηση του SNR υπολογισμένη βάσει του λόγου της ισχύος της θορυβώδους ομιλίας προς την ισχύ του εκτιμώμενου θορύβου. Το Σχήμα 2.13 δείχνει το διάγραμμα της τιμής α σαν συνάρτηση του a posteriori SNR. 33

37 Σχήμα 2.13 Γραφική παράσταση του παράγοντα υπεραφαίρεσης α συναρτήσει του SNR Το αποτέλεσμα της παραμέτρου α στο φάσμα φαίνεται αν σχεδιάσουμε τις ελαττωμένες καμπύλες σαν συνάρτηση του SNR για διαφορετικές τιμές του α. Αυτές οι καμπύλες μας δίνουν το ποσό της ελάττωσης (σε db) που συμβαίνει από τον αλγόριθμο της φασματικής αφαίρεσης. Για να πάρουμε τις καμπύλες καταστολής (ή ελάττωσης) πρέπει πρώτα να εκφράσουμε την συνάρτηση στην μορφή: Xˆ ( ω) = Η( ω) Υ ( ω) (2.10.3) όπου Η(ω) μπορεί να θεωρηθεί ως ένα χρονικά μεταβαλλόμενο φίλτρο. Από την εξίσωση το H(ω) δίνεται από τον τύπο: Υ( ω) ² α Dˆ ( ω) ² H ( ω) = ( ) Υ( ω) ² 1/ 2 (2.10.4) Η προηγούμενη εξίσωση μπορεί επίσης να γραφτεί: γ ( ω) α H ( ω) ( ) γ ( ω) 1/ 2 = (2.10.5) όπου γ(ω) είναι το a posteriori SNR στην συχνότητα ω και ορίζεται: Υ( ω) ² γ ( ω) = Dˆ (2.10.6) ( ω) ² Η γραφική παράσταση 2.15 παρουσιάζει το Η(ω) σαν συνάρτηση του γ(ω) για διαφορετικές τιμές της παραμέτρου α. Περισσότερη ελάττωση εφαρμόζεται αυξανόμενα για μεγαλύτερες τιμές του α. Έτσι για παράδειγμα αν το a posteriori SNR είναι 8dB στην συχνότητα ω, τότε η ελάττωση που θα επιτευχθεί με α=1 θα είναι 34

38 -0.74 db, με α=3 θα είναι -2.8 db, και με α=5 θα είναι -6.8 db. Όσο αυξάνεται λοιπόν το α, αυξάνεται και η ελάττωση που εφαρμόζουμε στο σήμα. Οι καμπύλες ελάττωσης της γραφικής παράστασης 2.13 επίσης μας λένε πότε συμβαίνει η «δαπεδοποίηση» (flooring). Αν α=5 για παράδειγμα, τότε το φασματικό flooring γίνεται όταν το a posteriori SNR είναι μικρότερο από 7dB. Αν α=3, συμβαίνει όταν είναι 5 db, και αν α=1, γίνεται όταν είναι μικρότερο από 0 db. Αυτό δείχνει ότι το φασματικό flooring συμβαίνει πιο συχνά όταν το α είναι μεγάλο συγκριτικά με το όταν το α είναι μικρό. Αυτό το συνεχόμενο φασματικό flooring του ενισχυμένου φάσματος συνεισφέρει σε διαστρέβλωση ομιλίας. Άλλος ένας παράγοντας είναι η ανομοιόμορφη κατανομή των τιμών γ(ω) στο φάσμα. Είναι δυνατό για παράδειγμα σε ένα δεδομένο πλαίσιο τα στοιχεία χαμηλών συχνοτήτων να ελλατωθούν κατά 7 db, ενώ αυτά των υψηλών κατά 1 db. Για να καθοριστούν οι ιδανικές τιμές των α και β, εκτελέστηκαν εκτεταμένα πειράματα από τον Berouti. Η συνάρτηση στην εξίσωση που φαίνεται στο σχήμα 2.14 βρέθηκε να δουλεύει αρκετά καλά με το καλύτερο α 0 να βρίσκεται στην περιοχή από 3 έως 6. Η παράμετρος β βρέθηκε να εξαρτάται από την τιμή του a posteriori SNR. Για υψηλά επίπεδα θορύβου (SNR = -5 db), πρότεινε ότι το β πρέπει να είναι από 0.02 μέχρι 0.06 ενώ για χαμηλά επίπεδα θορύβου ( SNR 0 db), από μέχρι Συστήνεται ένα παράθυρο ανάλυσης 25-35msec. Η χρησιμοποίηση παραθύρου μικρότερου των 20msec οδήγησε σε τραχιά ποιότητα ομιλίας. Σχήμα 2.14 Καμπύλες εξασθένησης του αλγόριθμου φασματικής αφαίρεσης για διαφορετικές τιμές του παράγοντας υπεραφαίρεσης α 35

39 2.11 Αλγόριθμος Τσουκαλά [5,4] Η βασική αρχή αυτού του αλγορίθμου, και αυτό που τον κάνει να έχει εξαιρετικά αποτελέσματα, είναι η συμπίεση μόνο φασματικών συνιστωσών που συνεισφέρουν σε αντιληπτό θόρυβο. Αυτές οι συνιστώσες υπολογίζονται εφαρμόζοντας το Ακουστικό Κατώφλι Επικάλυψης (ΑΜΤ) της ομιλίας που συμβολίζεται με 2(3,5 όπου k ο φασματικός και i ο χρονικός δείκτης αντίστοιχα. Το ΑΜΤ καθορίζει ένα κατώφλι κάτω από το οποίο φασματικές συνιστώσες είναι μηακουστές εξαιτίας του σήματος ομιλίας. Παρακάτω εξηγείται η λειτουργία και οι αρχές αυτού του αλγορίθμου. Έστω ότι 6 (3,5 και 7 6 (3,5 είναι τα φάσματα ισχύος του καθαρού και του ενθόρυβου σήματος θορύβου αντίστοιχα, και 6 (3,5 το φάσμα ισχύος του θορύβου. Οι ακουστές συνιστώσες ενός σήματος μπορούν να εκφραστούν με χρήση της συνάρτησης max { }, δηλαδή από το μέγιστο του φάσματος ισχύος και του κατωφλιού επικάλυψης ανά φασματική συνιστώσα. Το φάσμα που προκύπτει είναι το Ακουστό (η Αντιληπτό) Φάσμα Ομιλίας και μπορεί να δειχτεί ότι η ανακατασκευή του σήματος με αυτή την ποσότητα μπορεί να οδηγήσει σε ισοδύναμο με το καθαρό σήμα από ακουστικής απόψεως. Τα Ακουστά φάσματα της ενθόρυβης και της καθαρής ομιλίας 8 9 (3,5 και 8 : (3,5 αντίστοιχα, ορίζονται από τις παρακάτω σχέσεις: 8 9 (3,5=;<=>7 6 (3,5,(3,5?=@ 7 6(3,5,A 7 6 (3,5 (3,5 (3,5,A 7 6 (3,5/(3,5 B (2.11.1) 8 : (3,5=;<=> 6 (3,5,(3,5?=@ 6(3,5,A 6 (3,5 (3,5 (3,5,A 6 (3,5/(3,5 B (2.11.2) όπου 2(3,5 είναι το ακουστικό κατώφλι επικάλυψης. Επομένως, το Ακουστό Φάσμα του προσθετικού θορύβου 8 C (3,5, (δηλαδή των φασματικών συνιστωσών που εκλαμβάνονται σαν θόρυβος από το μηχανισμό ακοής), μπορεί να εκφραστεί σαν την διαφορά των Ακουστών Φασμάτων ενθόρυβης και καθαρής ομιλίας όπως φαίνεται παρακάτω: 8 C (3,5=8 9 (3,5 8 : (3,5 (2.11.3) Ο σκοπός του αλγορίθμου του Τσουκαλά είναι να αναγνωρίσει και να αφαιρέσει αυτόν τον θόρυβο. Οι διαφορά μεταξύ του ακουστού θορύβου 8 C (3,5 και της απλής διαφοράς μεταξύ ενθόρυβης και καθαρής ομιλίας είναι η μείωση της δυναμικής περιοχής και της τάξης των φασματικών συνιστωσών. Εφόσον λοιπόν τροποποιούμε μόνο επιλεγμένες συνιστώσες του ενθόρυβου σήματος με στόχο τη συμπίεση του ακουστού θορύβου, εισάγεται τελικά λιγότερη παραμόρφωση στο σήμα ομιλίας, ενώ υποκειμενικά (στο ανθρώπινο αυτί) υπάρχει η ίδια συμπίεση θορύβου. Αυτό είναι και το σημαντικότερο πλεονέκτημα του αλγορίθμου του Τσουκαλά. 36

40 Μια πιο λεπτομερής έκφραση για το 8 C (3,5 προκύπτει από την αντικατάσταση των εξισώσεων και στην εξίσωση : G 7 6(3,5 6 (3,5,H,A 7 6 (3,5 2(3,5 I,J 6 (3,5 2(3,5 (K O E7 6 (3,5 2(3,5,H,A 7 6 (3,5 2(3,5 I,J 6 (3,5/2(3,5 (KKE 8 C (3,5= F2(3,5 6 (3,5,H,A 7 6 (3,5/2(3,5 I,J 6 (3,5 2(3,5 (KKK E D 0, H,A 7 6 3,5<23,5 I,J 6 3,5<23,5 KL M EN (2.11.4) Μελετώντας την παραπάνω εξίσωση παρατηρούμε τα εξής: 1. Ο κλάδος (Ι) μπορεί να είναι θετικός, αρνητικός η μηδέν ανάλογα με τις σχετικές στάθμες των 7 6 3,5 και 6 3,5. 2. Ο κλάδος (ΙΙ), είναι πάντα θετικός ή μηδέν όπως φαίνεται από τις σχετικές συνθήκες. Σε αυτή την περίπτωση προφανώς υπάρχει ακουστός θόρυβος που πρέπει να αφαιρεθεί. 3. Ο κλάδος (ΙΙΙ), είναι πάντα αρνητικός η μηδέν, επομένως σε αυτή την περίπτωση δεν υπάρχει ακουστός θόρυβος και καμία μετατροπή δεν χρειάζεται. 4. Ο κλάδος (ΙV), είναι εξ ορισμού μηδέν. Επομένως, αντικείμενο του αλγορίθμου είναι να τροποποιήσει το φάσμα της θορυβώδους ομιλίας 7 6 3,5 έτσι ώστε το φάσμα του ακουστού θορύβου, 8 C 3,5 να γίνει αρνητικό ή μηδέν. Με τον τρόπο αυτό ο θόρυβος που απομένει μετά την φασματική τροποποίηση, δεν θα είναι ακουστός. Έστω λοιπόν ότι το φάσμα ισχύος του σήματος με θόρυβο 7 6 3,5 τροποποιείται φασματικά και παράγει το ενισχυμένο φάσμα ομιλίας 6 3,5. Τότε το τροποποιημένο φάσμα ακουστού θορύβου 8P C 3,5, πρέπει να ικανοποιεί την ακόλουθη συνθήκη: όπου Ν είναι το μέγεθος του FFT. 8P C 3, R 1 (2.11.5) Για την φασματική τροποποίηση ο Τσουκαλάς έχει επιλέξει μια παραμετρική συνάρτηση (όπως φαίνεται παρακάτω) η οποία επιτρέπει μεγάλη ευελιξία στον έλεγχο του κέρδους που εφαρμόζεται σε κάθε φασματική συνιστώσα. 7 S(T,U) 6 (3,5) 6 (3,5)=, S(T,U) (3,5)+7 S(T,U) 6 (3,5) 7 6(3,5) (2.11.6) όπου,(3,5) και A(3,5) παράμετροι που αλλάζουν στον χρόνο και στην συχνότητα, που θεωρούνται ότι είναι θετικές. Η παράμετρος,(3,5) είναι ένα κατώφλι κάτω από το οποίο όλες οι φασματικές συνιστώσες συμπιέζονται ισχυρά. Η παράμετρος A(3,5) ελέγχει το ρυθμό της συμπίεσης. 37

41 Συνδυάζοντας τις εξισώσεις , , και , αντικαθιστώντας το 7 6 (3,5 με το 6 (3,5, και λαμβάνοντας υπόψη ότι μόνο οι κλάδοι (Ι) και (ΙΙ) πρέπει να τροποποιηθούν, καταλήγουμε στις ακόλουθες σχέσεις: 7 S(T,U 6 (3,5, S(T,U (3,5+7 S(T,U 6 (3,5 7 6(3,5 6 (3.5 0 H,A ,5 K 7 ST,U 6 3,5, ST,U 3,5+7 ST,U 6 3,5 7 63, H,A 6 3.5<23,5 KK (2.11.7) Ο υπολογισμός των παραμέτρων,3,5και A3,5 δεν είναι επιθυμητό να γίνει για κάθε φασματική συνιστώσα k αφού έτσι η εκτίμηση θα εξαρτάται υπερβολικά από τις συγκεκριμένες φασματικές συνιστώσες της καθαρής ομιλίας. Οι Κρίσιμες Περιοχές είναι ικανές για τον ορισμό των ακουστικά σημαντικών φασματικών περιοχών. Γι αυτό προτείνεται οι παράμετροι,3,5 και A3,5 να έχουν σταθερή τιμή για συγκεκριμένες φασματικές περιοχές ανάλογες των Κρίσιμων Περιοχών (Critical Bands). Είναι φανερό, ότι για συγκεκριμένες συχνότητες k μέσα σε κάθε κρίσιμη περιοχή b, αντιστοιχούν μέγιστες τιμές του,3,5 που προκύπτει από τον τύπο Αν k i μια τέτοια συχνότητα που παράγει ένα μέγιστο για τον κλάδο (Ι) της εξίσωσης και k ii παράγει ένα μέγιστο για τον κλάδο (ΙΙ), τότε αυτές οι μέγιστες τιμές, που έστω ότι συμβολίζονται με α Ic (b,i) και α ΙΙc (b,i) θα δίνονται από τις σχέσεις: < YZ [,5=7 6 3 Y,5\ ]^T _,U 1a d Sb (c,u), εάν e `^T _,U 6 (3,5) (3,5) (I) 38,3 fc 3 3 gc (2.11.8) < YYZ ([,5)=7 6 (3 YY,5)h ]^(T,U) 1j d Sb (c,u), εάν e i(t,u) 6 (3,5)<(3,5) (II) Προφανώς η μοναδική λύση α c (b,i) μέσα στην κρίσιμη περιοχή b θα δίνεται από την σχέση: < Z ([,5)=;<=k< YZ ([,5),< YYZ ([,5)l=m < YZ([,5), 5n < YZ ([,5) < YYZ ([,5) < YYZ ([,5), 5n < YZ ([,5)<< YYZ ([,5) (2.11.9) Ο συντελεστής που προκύπτει από αυτή τη σχέση για κάθε κρίσιμη περιοχή χρησιμοποιείται στην για την αποθορυβοποίηση του φάσματος ισχύος. Για να απλοποιήσει τα πράγματα ο Τσουκαλάς διάλεξε να προσαρμόσει το < Z ([,5) για μια σταθερή τιμή του A([,5). Η προκύπτουσα λύση για το ιδανικό < Z ([,5) είχε το μειονέκτημα ότι εξαρτιόταν σε μια καλή εκτίμηση ολόκληρου του φάσματος καθαρής ομιλίας. Έτσι επιλέχθηκε να εκτιμηθεί το φάσμα κάθε κρίσιμης ζώνης του καθαρού σήματος ομιλίας. Αυτό μείωσε την διαστατικότητα του προβλήματος από την ανάγκη για εκτίμηση Ν συχνοτικών στοιχείων σε εκτίμηση Β στοιχείων κρίσιμης ζώνης (Β=22 για 16-kHz συχνότητα δειγματοληψίας, και Β=18 για τηλεφωνική ομιλία). Επειδή στην πραγματικότητα δεν έχουμε το καθαρό σήμα ομιλίας η μουσικής, αλλά μόνο το ενθόρυβο, πριν εφαρμόσουμε την μέθοδο του Τσουκαλά, κάνουμε μια αρχική εκτίμηση του καθαρού μέσω κάποιου από τους προαναφερθέντες

42 αλγορίθμους (Boll ή Berouti) είτε χρησιμοποιούμε τον τύπο της φασματικής αφαίρεσης από όπου περνάμε το ενθόρυβο σήμα, και βάσει του σήματος που προκύπτει, υπολογίζουμε το κατώφλι ακουστικής συγκάλυψης, και μετά εφαρμόζουμε την εξίσωση φασματικής αφαίρεσης στο σήμα που προέκυψε από τον αλγόριθμο Boll ή Berouti. Έτσι λοιπόν προτάθηκαν δύο λύσεις για την εκτίμηση της παραμέτρου,(3,5 στην αρχική εκτίμηση. Η μία βασίζεται στην εκτίμηση του φασματικού ελαχίστου μέσα σε κάθε κρίσιμη ζώνη, και η άλλη στην εκτίμηση των κατωφλιών ακουστικής συγκάλυψης (αυτή που εφαρμόστηκε και στην διπλωματική εργασία). Η λύση του φασματικού ελαχίστου είχε την μορφή: < o ([,5=h 6Z ([+ 6oUp ([,5j\ και η λύση του κατωφλιού (ΑΜΤ) είχε την μορφή: u q^b (c a `^rst (c,u vb (w,s ( ) u q^b (c < x ([,5=h 6Z ([+2([,5jh j vb (w,s ( ) i(c,u όπου Db ( i ) είναι η εκτίμηση του φάσματος θορύβου στην i-στη κρίσιμη ζώνη, Β είναι ο αριθμός των κρίσιμων ζωνών, 6oUp ([,5 είναι το ελάχιστο του φάσματος καθαρής ομιλίας μέσα στην b ζώνη, και 2([,5 είναι το εκτιμώμενο κατώφλι συγκάλυψης της b ζώνης. Παρακάτω περιγράφεται η συνολική μέθοδος του Τσουκαλά με βήματα για ευκολία στην κατανόηση: Βήμα 1: Πάρε το φάσμα ισχύος 7 6 (3,5 του ενθόρυβου σήματος χρησιμοποιώντας SFFT. Αποθήκευσε την φάση του φάσματος αυτού. Βήμα 2: Εκτέλεσε αφαίρεση φάσματος ισχύος (Boll, Berouti ή ) για την απόκτηση της πρώτης εκτίμησης του καθαρού φάσματος ισχύος, 6 (3,5. Βήμα 3: Εκτίμησε τα κατώφλια συγκάλυψης (ΑΜΤ) χρησιμοποιώντας το φάσμα που προέκυψε στο Βήμα 2. Βήμα 4: Τροποποίησε το ενθόρυβο φάσμα ισχύος 7 6 (3,5 σύμφωνα με την εξίσωση και , χρησιμοποιώντας τις τιμές κατωφλίων που αποκτήθηκαν στο Βήμα 3. Βήμα 5: Υπολόγισε τον αντίστροφο SFFT του μέτρου του φάσματος που εκτιμήθηκε στο βήμα 4 χρησιμοποιώντας την φάση του φάσματος ενθόρυβης ομιλίας. Κάποιες βελτιώσεις και διαφοροποιήσεις έχουν εισαχθεί στην μέθοδο για καλύτερα αποτελέσματα οι οποίες θα αναλυθούν στο κεφάλαιο της υλοποίησης. ` 39

43 ΚΕΦΑΛΑΙΟ 3 ΥΛΟΠΟΙΗΣΗ ΑΛΓΟΡΙΘΜΩΝ ΑΠΟΘΟΡΥΒΟΠΟΙΗΣΗΣ 3.1 Γενική μορφή αλγορίθμων αποθορυβοποίησης Τα βασικά βήματα που ακολουθούνται από τους αλγορίθμους αποθορυβοποίησης φαίνονται στο παρακάτω διάγραμμα. Είσοδος του ηχητικού σήματος Ανίχνευση τμημάτων θορύβου / αρχικής σιωπής Short Time Fourier Transform Αφαίρεση θορύβου Ανακατασκευή του σήματος Σχ. 3.1 Γενικό Λογικό διάγραμμα αλγορίθμων αποθορυβοποίησης 40

44 3.2 Εκτίμηση θορύβου και ανίχνευση ομιλίας / ησυχίας Μία από τις βασικότερες μεθόδους βελτίωσης ενός αλγορίθμου αποθορυβοποίησης είναι η εύρεση των περιοχών στις οποίες υπάρχει ή απουσιάζει ομιλία (και συνεπώς υπάρχει μόνο θόρυβος). Για να γίνει αυτό απαιτείται ένας αξιόπιστος ανιχνευτής ομιλίας/ησυχίας ο οποίος μπορεί να είναι καθοριστικός παράγοντας για την απόδοση του όλου συστήματος. Ο ανιχνευτής βρίσκει τα πλαίσια (frames) της ενθόρυβης ομιλίας που περιέχουν μόνο θόρυβο. Τα πλαίσια με παύσεις της ομιλίας ή σκέτου θορύβου είναι βασικά για την εκτίμηση του θορύβου. Αν δεν είναι ακριβής η ανίχνευση ομιλίας/ησυχίας τότε η ομιλία επιβαρύνεται με ηχώ και απομένων θόρυβος συνήθως παρουσιάζεται στο βελτιωμένο σήμα. Προτείνεται μια άλλη πολύ ισχυρή και ακριβής μέθοδος που δεν απαιτεί ρητή ταξινόμηση ομιλίας/παύσης, και στην οποία η εκτίμηση του θορύβου λαμβάνεται από την ομαλοποιημένη εκτίμηση ισχύος του ενθόρυβου σήματος. Το μόνο μειονέκτημα της μεθόδου είναι η πολυπλοκότητα και η σχετικά μεγάλη απαίτηση μνήμης. Έτσι η προσέγγιση αυτή είναι ελαφρώς τροποποιημένη στην συνέχεια για να γίνει λιγότερο πολύπλοκη. Στην αναθεωρημένη μέθοδο, για κάθε υπο-ζώνη, ένα παράθυρο χρόνου ορίζεται πάνω στο οποίο προκύπτουν τα ελάχιστα στατιστικά. Το παράθυρο είναι αρκετά μεγάλο για να γεφυρώσει τις κορυφές στο φάσμα ισχύος της ομιλίας αλλά μικρό αρκετά ώστε να ακολουθεί τον μη στατικό τύπο του θορύβου. Η υπόθεση εδώ είναι ότι οι κοιλάδες του φάσματος εξαρτώνται από το επίπεδο του θορύβου και μπορούν να χρησιμοποιηθούν για την απόκτηση της εκτίμησης του μολυσματικού θορύβου. Αφού αυτές οι μέθοδοι δεν απαιτούν καμία ανίχνευση δραστηριότητας ομιλίας, παρουσιάζουν καλύτερη απόδοση στην μείωση του θορύβου σε ρευστό λόγο (χωρίς πολλές παύσεις) Ανιχνευτής δραστηριότητας ομιλίας φασματικής απόστασης (Spectral Distance Voice Activity Detector) O ανιχνευτής δραστηριότητας ομιλίας φασματικής απόστασης χρησιμοποιείται από τους αλγόριθμους Boll και Berouti που δοκιμάστηκαν στα πλαίσια της διπλωματικής και η υλοποίηση του σε κώδικα Matlab δίνεται στο Παράρτημα A.4. Οι όροι που εμπλέκονται εδώ επεξηγούνται στην συνέχεια: Σήμα (Signal) είναι το μέτρο του φάσματος των τρεχόντων πλαισίων, που φέρει την ετικέτα του θορύβου ή ομιλίας. Θόρυβος (Noise) είναι η εκτίμηση του μέτρου φάσματος του θορύβου. Μετρητής θορύβου (Νoise counter) είναι ο αριθμός των αμέσως προηγούμενων πλαισίων θορύβου. Περιθώριο θορύβου (Νoise margin) (προεπιλεγμένη τιμή 3) είναι το κατώτατο όριο φασματικής απόστασης 41

45 Απόλυση (Hangover) (προεπιλεγμένη τιμή 8) είναι ο αριθμός των τμημάτων θορύβου μετά από τα οποία η Σημαία Ομιλίας (Speech Flag) γίνεται μηδέν (reset). Σημαία Θορύβου (Noise Flag) τίθεται ένα αν το τμήμα έχει την ετικέτα θορύβου. Απόσταση (Dist) είναι η μέση φασματική απόσταση. Η ανάλυση κάθε όρου δίνεται παρακάτω: Σήμα είναι το φάσμα των τρεχόντων πλαισίων του σήματος εισόδου, που δίνεται σαν είσοδος στο VAD (Voice Activity Detector), και το οποίο παίρνει την ετικέτα της ομιλίας ή του θορύβου. Το περιθώριο θορύβου είναι ρυθμισμένο και σταθερό στο 3, που είναι η κατώτατη τιμή για σύγκριση με το SNR του τρέχοντος πλαισίου. Η φασματική απόσταση υπολογίζεται χρησιμοποιώντας τον τύπο του SNR Φασματική Απόσταση = log 10( signal ) log 10( noise) (3.1) Ο μέσος όρος της φασματικής απόστασης είναι η τιμή Απόσταση (Dist). Aυτή η Dist τιμή είναι η πραγματική SNR τιμή του τρέχοντος πλαισίου. Αυτή η τιμή συγκρίνεται με το περιθώριο θορύβου και αν αυτή η τιμή είναι μικρότερη από το περιθώριο θορύβου τότε η Σημαία Θορύβου Noise Flag τίθεται 1 και ο Μετρητής Θορύβου Νοιse Counter) αυξάνεται κατά 1. Αν η τιμή Dist είναι μεγαλύτερη από το περιθώριο θορύβου τότε η Σημαία Θορύβου τίθεται 0 και ο Μετρητής Θορύβου γίνεται μηδέν (reset). Αν η τιμή του Μετρητή Θορύβου είναι μεγαλύτερη από την Περίοδο Απόλυσης - Ηangover period τότε η Σημαία ομιλίας γίνεται μηδέν και αν έχουμε το αντίστροφο τότε τίθεται ένα η Σημαία Ομιλίας. 3.3 Ο αλγόριθμος του Boll O αλγόριθμος του Βoll είναι ένας από τους πρώτους αλγορίθμους που χρησιμοποιήθηκαν για φασματική αφαίρεση (προτάθηκε τον Απρίλη του 1979). Μειώνει τον στατικό θόρυβο από σήματα ομιλίας αφαιρώντας τον φασματικό θόρυβο που υπολογίστηκε κατά την διάρκεια απουσίας ομιλίας. Συμπληρωματικές διεργασίες εφαρμόζονται για να μειωθεί ο απομένων θόρυβος μετά την αφαίρεση οι οποίες είναι: Υπολογισμός Μέσου Όρου Πλατών Half-wave διόρθωση Μείωση απομένων (μουσικού) θορύβου Επιπλέον μείωση απομένων θορύβου κατά τη διάρκεια περιόδων που δεν υπάρχει ομιλία Ο αλγόριθμος του Boll δίνει καλύτερα αποτελέσματα για Φασματική Αφαίρεση Ενέργειας, αντί Ισχύος, μιας και στη δεύτερη το ποσό της παραμόρφωσης είναι πολύ μεγαλύτερο, και ο μουσικός θόρυβος ενοχλητικός. Η υλοποίηση του σε κώδικα Matlab δίνεται στο Παράρτημα A.6. 42

46 Το λογικό διάγραμμα του αλγόριθμου του Boll που αποτελεί ουσιαστικά την υλοποίηση της γραμμικής φασματικής αφαίρεσης με κάποιες μικροβελτιώσεις παρουσιάζεται στην συνέχεια: Είσοδος ενθόρυβου σήματος STFT Υπολογισμός μέτρου φάσματος Υπολογισμός μέσου όρου πλατών Ανίχνευση ομιλίας / ησυχίας (VAD) Αφαίρεση εκτίμησης Αποκατάσταση με χρήση ημικύματος (Half-wave rectification) Μείωση απομένωντα θορύβου Εξασθένιση σήματος κατά τη διάρκεια απουσίας ομιλίας ISTFT (χρήση φάσης ενθόρυβου σήματος) Έξοδος αποθορυβοποιημένου σήματος Σχ. 3.2 Αλγόριθμος Βoll 43

47 3.4 O αλγόριθμος του Berouti Στον αλγόριθμο Berouti η αφαίρεση του φάσματος θορύβου γίνεται χρησιμοποιώντας ένα παράγοντα υπεραφαίρεσης (α), όπου α>1 και ποικίλει από πλαίσιο σε πλαίσιο. Το δεύτερο στοιχείο αυτού του αλγορίθμου είναι το φασματικό δάπεδο (spectral floor) το οποίο λειτουργεί ως κατώτατο όριο για τα φασματικά στοιχεία του σήματος προς επεξεργασία. Ο αλγόριθμος Berouti, όπως και ο αλγόριθμος Boll, δίνει καλύτερα αποτελέσματα για Φασματική Αφαίρεση Ενέργειας, αντί Ισχύος, μιας και στη δεύτερη ο απομένων θόρυβος είναι περισσότερος. Η υλοποίηση του σε κώδικα Matlab δίνεται στο Παράρτημα A.7. Το λογικό διάγραμμα της μεθόδου Berouti παρουσιάζεται παρακάτω: Είσοδος ενθόρυβου σήματος STFT Υπολογισμός Μέτρου - Φάσης φάσματος Υπολογισμός SNR Υπολογισμός παράγοντα α Φασματική αφαίρεση (μη γραμμική) Σύγκριση με κατώφλι και δαπεδοποίηση ISTFT (φάση ενθόρυβου σήματος) Έξοδος αποθορυβοποιημένου σήματος Σχ. 3.3 Μέθοδος Berouti (Φασματική Αφαίρεση με χρήση Φασματικού Δαπέδου) 44

48 3.5 Ψυχοακουστικά Μοντέλα Τα Ψυχοακουστικά Μοντέλα είναι κρίσιμης σημασίας για τον αλγόριθμο του Τσουκαλά, διότι αναλύουν το ηχητικό σήμα και υπολογίζουν την επικάλυψη που θα εισάγεται από κάθε σημείο, ως συνάρτηση της συχνότητας. Έτσι μπορούμε να αναγνωρίσουμε ποια πληροφορία είναι ακουστή και ποια όχι, από το ανθρώπινο αυτί. Συνεπώς επεξεργαζόμαστε μόνο την πληροφορία που είναι ακουστή, και επομένως έχουμε πολύ λιγότερη παραμόρφωση Ψυχοακουστικό Μοντέλο 1 Παρακάτω παρουσιάζεται το λογικό διάγραμμα του Ψυχοακουστικού Μοντέλου 1: Υπολογισμός του FFTγια επεξεργασία στο πεδίο της συχνοτητας Προσδιορισμός του SPL του σήματος σε κάθε υποπεριοχή Καθορισμός του Απόλυτου κατωφλιού ακουστότητας Εύρεση τονικών και μη τονικών συνιστωσών του σήματος Επιλογή μεταξύ τονικών και μη τονικών συνιστωσών του σήματος Υπολογισμός μεμονωμένων κατωφλιών επικάλυψης Καθορισμός του ολικού κατωφλιού επικάλυψης Σχ. 3.4 Ψυχοακουστικό Μοντέλο 45

49 3.5.2 Ψυχοακουστικό Μοντέλο 2 Η υλοποίηση του σε κώδικα Matlab δίνεται στο Παράρτημα A.10 Παρακάτω παρουσιάζεται το λογικό διάγραμμα του Ψυχοακουστικού Μοντέλου 2 το οποίο και δίνει τα καλύτερα αποτελέσματα, που παρουσιάζονται στο επόμενο κεφάλαιο των μετρήσεων: Καθορισμός κρίσιμων περιοχών Υπολογισμός της εξίσωσης διασποράς Υπολογισμός του μοτίβου διέγερσης Υπολογισμός του κέρδους DCλόγω της εξίσωσης διασποράς Υπολογισμός του πόσο ομαλό είναι το φάσμα Υπολογισμός του συντελεστή τονικότητας Υπολογισμός του κατωφλιού επικάλυψης, κανονικοποίηση Επαναφορά στην γραμμική κλίμακα συχνότητας από Bark Σχ. 3.5 Ψυχοακουστικό Μοντέλο 2 46

50 3.6 Αλγόριθμος καταστολής ακουστού θορύβου (Τσουκαλάς) [4,5] Το γενικό λογικό διάγραμμα του αλγόριθμου καταστολής του ακουστού θορύβου (Audible Noise Suppression algorithm) δίνεται παρακάτω: Σχ. 3.6 Γενικό Λογικό Διάγραμμα Αλγόριθμου Τσουκαλά Η εξαγωγή παραμέτρων γίνεται με 3 διαφορετικούς τρόπους όπως φαίνεται στο διάγραμμα Η πρώτη προσέγγιση γίνεται με χρήση του καθαρού σήματος και γίνεται καθαρά για λόγους επικύρωσης της μεθόδου. Η δεύτερη βασίζεται στο στατιστικό μοντέλο για την εκτίμηση των ελαχίστων φασματικών στοιχείων (Mέθοδος Ελαχίστου Minima Μethod). Η τρίτη και τελευταία προσέγγιση είναι αυτή που υλοποιήθηκε από τον αλγόριθμο που χρησιμοποιήθηκε στην διπλωματική. Ονομάζεται μέθοδος κατωφλίου και βασίζεται στον εκτιμητή καθαρού σήματος ΑΜΤ (Audible Masking Threshold Ακουστικό Κατώφλι Συγκάλυψης). 47

51 Σχ. 3.7 Λογικό διάγραμμα της εξαγωγής παραμέτρων Η υλοποίηση του σε κώδικα Matlab δίνεται στο Παράρτημα A.8 Παρακάτω περιγράφεται αναλυτικά ο αλγόριθμος του Τσουκαλά σε βήματα, όπως εφαρμόστηκε στην Διπλωματική εργασία με όλες τις αλλαγές, ή βελτιώσεις που εισάχθηκαν, για καλύτερο ακουστικό αποτέλεσμα. Τα πρώτα 2 βήματα αναφέρονται στην εφαρμογή του αλγορίθμου για τις δοκιμές και τις μετρήσεις που πάρθηκαν. 1. Διαβάζουμε το καθαρό ηχητικό σήμα (x) που έχει δημιουργηθεί σε ανηχοϊκό περιβάλλον. 2. Δημιουργούμε το ενθόρυβο σήμα (s) με το επιθυμητό SNR από την συνάρτηση SNR_Set. 3. Στο ενθόρυβο σήμα (s) εφαρμόζεται ο STFT από την συνάρτηση stft με μήκος παραθύρου W=2048 σημεία, ίσο με το μήκος Ν του FFT, με hop-size R=0.5*W και είδος παραθύρου w=hanning( W, periodic ). Ο STFT δίνει ως αποτέλεσμα ένα πίνακα (N/2+1)*(nframes), όπου nframes είναι ο αριθμός των πλαισίων (frames) που δημιουργούνται, και N/2+1 ο αριθμός των δειγμάτων κάθε πλαισίου, ο οποίος είναι μισός από το μέγεθος του FFT μιας και ο FFT 48

52 είναι άρτια συνάρτηση. Όλη η διαδικασία της φασματικής αφαίρεσης από εδώ και στο εξής γίνεται προφανώς στο πεδίο της συχνότητας. 4. Όπως φάνηκε στο τέλος η μέθοδος έχει καλύτερα αποτελέσματα χρησιμοποιώντας αφαίρεση φάσματος Ισχύος αντί Ενέργειας, οπότε χρειάζεται να υψώσουμε στο τετράγωνο το φάσμα του ενθόρυβου σήματος που βγήκε από τον STFT και παίρνουμε τον πίνακα Y2. Γι αυτό χρησιμοποιούμε τον συντελεστή Gamma που παίρνει τιμές 1 ή 2 ανάλογα με το αν κάνουμε αφαίρεση φάσματος Ενέργειας η Ισχύος, αντίστοιχα. 5. Λαμβάνουμε την αρχική εκτίμηση του θορύβου από τα πρώτα 0,25 sec του σήματος, στα οποία και απουσιάζει το σήμα και υπάρχει μόνο θόρυβος. Αυτή η αρχική εκτίμηση λαμβάνεται από τον πίνακα Y2, από τα πλαίσια που αντιστοιχούν στα πρώτα 0,25 sec του σήματος, μέσω των οποίων δημιουργούμε ένα πλαίσιο D, μήκους Ν/2+1, από τον μέσο όρο τους. 6. Εφαρμόζουμε τον αλγόριθμο Berouti σε 2048 σημεία, με Gamma=2, δηλαδή εκτελείται φασματική αφαίρεση Ισχύος. Έξοδος είναι ο πίνακας X ίδιων διαστάσεων με τον Υ2.Επιλέγουμε Gamma=2 γιατί αφήνοντας περισσότερο θόρυβο στην αρχική εκτίμηση, όταν το σήμα θα περάσει από τον αλγόριθμο του Τσουκαλά, ο μουσικός θόρυβος θα είναι πολύ λιγότερος, έχοντας έτσι σημαντικά καλύτερο αποτέλεσμα. (Για φασματική αφαίρεση ο Berouti αφήνει περισσότερο θόρυβο). 7. Τώρα θα υπολογίσουμε την αρχική εκτίμηση του σήματος που θα εισαχθεί στον αλγόριθμο του Τσουκαλά. Για κάθε πλαίσιο λοιπόν βρίσκουμε το ακουστικό κατώφλι επικάλυψης (ΑΜΤ) μέσω του ψυχοακουστικού μοντέλου 2 που εφαρμόζεται από την συνάρτηση maskii. Το αποτέλεσμα είναι ένα διάνυσμα μήκους N/2+1 που ονομάζουμε Τ. 8. Βρίσκουμε τον συντελεστή alpha = D + D 2 /T (τύπος ) o οποίος θα χρειαστεί αργότερα στην φασματική αφαίρεση. Το alpha είναι διάνυσμα μήκους Ν/ Βρίσκουμε τον μέσο όρο του alpha για κάθε φασματική περιοχή. Βρέθηκε πειραματικά ότι ο μέσος όρος στο στάδιο της αρχικής εκτίμησης, αντί για το μέγιστο, δίνει καλύτερα αποτελέσματα, μιας και αφήνει λίγο περισσότερο θόρυβο, ο οποίος αφαιρείται μετά στον αλγόριθμο του Τσουκαλά. 10. Εφαρμόζουμε τον τύπο της φασματικής αφαίρεσης με το alpha που βρήκαμε στο βήμα 9 και συντελεστή n=0.9 (πειραματικά βρέθηκε αυτή η τιμή για καλύτερο αποτέλεσμα). 11. Εφαρμόζεται Αφαίρεση Μουσικού θορύβου. Αυτό γίνεται ως εξής. Επειδή παρουσιάζονται κάποιες κορυφές στο φάσμα του X οι οποίες έχουν εξαιρετικά χαμηλές τιμές, ειδικά στις υψηλές συχνότητες από τις οποίες αποτελείται ως επί το πλείστον ο μουσικός θόρυβος, βρίσκουμε ποια στοιχεία του φάσματος, έχουν τόσο χαμηλές τιμές, και τα αντικαθιστούμε με τον μέσο όρο μεταξύ του ενθόρυβου σήματος και του ΑΜΤ, πολλαπλασιασμένο με ένα συντελεστή, ο οποίος θα δώσει αποτέλεσμα, μεγαλύτερης τάξης μεγέθους, από τα υπερβολικά χαμηλά στοιχεία, έτσι ώστε να ανέβουν 20 η 40 db από τα -100 για παράδειγμα. 49

53 12. Έπειτα παρατηρήθηκε ότι το σήμα υπολείπεται σε υψηλές συχνότητες, οπότε εφαρμόστηκε ένα φίλτρο με μορφή όπως το πρώτο μισό του παραθύρου hanning (ανοδική δηλαδή αλλά όχι γραμμική). Αυτό το κέρδος δίνεται στις υψηλές συχνότητες για ένα πιο φυσικό αποτέλεσμα στην χροιά της ομιλίας για παράδειγμα, αν το σήμα είναι ομιλίας, η για ενίσχυση στα πρίμα των μουσικών οργάνων αν το σήμα είναι μουσικής. 13. Γίνεται ανανέωση του σήματος θορύβου, λαμβάνοντας με την ίδια διαδικασία τα frame που αντιστοιχούν στα πρώτα 0.25 sec. Αυτή τη φορά παίρνουμε το μέγιστο κάθε frame, αντί για το μέσο όρο επειδή προτιμούμε να αφήσουμε λίγο περισσότερο θόρυβο στην αρχική εκτίμηση, ο οποίος θα αφαιρεθεί από τον αλγόριθμο του Τσουκαλά με μεγαλύτερη ακρίβεια και καλύτερα αποτελέσματα. 14. Η διαδικασία από το Βήμα 7 μέχρι εδώ, επαναλαμβάνεται για k=3 φορές, ώστε να δοθεί καλύτερη αρχική εκτίμηση στον αλγόριθμο του Τσουκαλά. Έχει βρεθεί πειραματικά ότι 4 φορές (μαζί και αυτή του Berouti), είναι ο ιδανικός αριθμός επαναλήψεων για την εύρεση αρχικής εκτίμησης, μιας και μέχρι την τέταρτη φορά υπάρχει αισθητή βελτίωση στο NMR του σήματος. Από εκεί και πέρα δεν υπάρχει κάποια αισθητή βελτίωση. 15. Έχοντας λοιπόν το φάσμα της αρχικής εκτίμησης Χ, εφαρμόζουμε τον αλγόριθμο του Τσουκαλά, βρίσκοντας αρχικά το ακουστικό κατώφλι επικάλυψης Τ για κάθε frame του Χ, μέσω της συνάρτησης maskii. 16. Έπειτα υπολογίζουμε τον συντελεστή α (alpha) από τον τύπο όπου εδώ είναι και όλη η ουσία της εφαρμογής του αλγορίθμου Τσουκαλά, γιατί αυτός ο συντελεστής θα κρίνει κατά βάσει το μέγεθος της φασματικής αφαίρεσης που θα εφαρμοστεί. 17. Παίρνουμε τη μέγιστη τιμή του alpha για κάθε κρίσιμη περιοχή, σε αντιδιαστολή με το μέσο όρο που πάρθηκε στην αρχική εκτίμηση, γιατί έτσι έχουμε ως αποτέλεσμα λιγότερο μουσικό θόρυβο. 18. Επιλέγεται n=1.5 πειραματικά ως βέλτιστη τιμή 19. Γίνεται η φασματική αφαίρεση Ισχύος από τον τύπο που μας δίνει το φάσμα res Εφαρμόζεται αφαίρεση του απομένοντος μουσικού θορύβου με τον ίδιο τρόπο του βήματος Παίρνουμε τον ISTFT (Inverse Short Time Fourier Trasnform) του res2 χρησιμοποιώντας την συνάρτηση OverlapAdd2, χρησιμοποιώντας την φάση του ενθόρυβου σήματος, για την ανακατασκευή του ενθόρυβου σήματος από το πεδίο της συχνότητας στο πεδίο του χρόνου. Παρακάτω φαίνεται το λογικό διάγραμμα του αλγορίθμου του Τσουκαλά όπως εφαρμόστηκε στην διπλωματική εργασία. 50

54 Εσαγωγή ενθόρυβου σήματος (s) STFT (s) Φάσμα Ισχύος: Y2 Αρχική Εκτίμηση Θορύβου: D Berouti (s) for k=1:3 Ακουστό κατώφλι επικάλυψης: Τ alpha = D + D^2 / T Μέσος όρος του alpha για κάθε κρίσιμη περιοχη n=1.1 Φασματική αφαίρεση - τύπος Μείωση Μουσικού θορύβου Ενίσχυση υψηλών συχνοτήτων Ανανέωση θορύβου D Αρχική Εκτίμηση 51