Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ: ΕΡΓΑΣΤΗΡΙΟ Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών Πίππος Γεώργιος του Αντρέα Αριθμός Μητρώου: 7444 Θέμα «Μέθοδος Επεξεργασίας Σήματος για Τρισδιάστατη Ηχητική Αναπαραγωγή» Επιβλέπων Καθηγητής Μουρτζόπουλος Ιωάννης Αριθμός Διπλωματικής Εργασίας: Πάτρα, Μάιος 2014

2 ΠΙΣΤΟΠΟΙΗΣΗ Πιστοποιείται ότι η Διπλωματική Εργασία με θέμα «Μέθοδος Επεξεργασίας Σήματος για Τρισδιάστατη Ηχητική Αναπαραγωγή» Του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Γιώργου Πίππου του Αντρέα Αριθμός Μητρώου: 7444 Παρουσιάστηκε δημόσια και εξετάστηκε στο Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών στις.../../ Ο Επιβλέπων Καθηγητής Ιωάννης Μουρτζόπουλος Ο Διευθυντής του Τομέα Καθηγητής Νικόλαος Φακωτάκης Αριθμός Διπλωματικής Εργασίας:

3 Θέμα: «Επεξεργασία Σήματος για Δημιουργία Τρισδιάστατου Ήχου» Φοιτητής: Πίππος Γιώργος Επιβλέπων: Καθηγητής Ιωάννης Μουρτζόπουλος Περίληψη Στα πλαίσια της διπλωματικής αυτής, έγινε ανάλυση και υλοποίησης της κωδικοποίησης αμφοιωτικών παραμέτρων (BCC-Binaural Cue Coding). Οι αλγόριθμοι της κωδικοποίησης BCC και γενικά όλες οι συναρτήσεις που χρησιμοποιήθηκαν έγιναν στο περιβάλλον της MATLAB. Για τη διαδικασία και για τον έλεγχο των αλγορίθμων έγινε χρήση στερεοφωνικών σημάτων τα οποία κωδικοποιήθηκαν σε μονοφωνικά. Στόχος της κωδικοποίησης ήταν να επιτευχθεί γρήγορη μίξη και εξαγωγή των παραμέτρων του στερεοφωνικού σήματος και ταυτόχρονα όσο το δυνατό πιο πειστική επαναδημιουργία του σήματος. Για αυτό τον λόγο στην προσπάθεια δημιουργίας προγράμματος με γρήγορη απόκριση, η κωδικοποίηση έγινε, τόσο στο πεδίο του χρόνου όσο και στο πεδίο της συχνότητας.

4

5 Πρόλογος Η παρούσα διπλωματική εργασία, εκπονήθηκε στην Ομάδα Τεχνολογίας Ήχου και Ακουστικής, του Εργαστηρίου Ενσύρματης Τηλεπικοινωνίας, του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών, στο Πανεπιστήμιο Πατρών. Η ιδέα της διπλωματικής αυτής ανήκει στον καθηγητή μου Ι. Μουρτζόπουλο, το οποίο και θα ήθελα να ευχαριστήσω για την εμπιστοσύνη που έδειξε στο πρόσωπό μου, την άριστη καθοδήγησή και επίβλεψή του καθ όλη τη διάρκεια υλοποίησης και συγγραφής της διπλωματικής. Θέλω να ευχαριστήσω ιδιαίτερα την Ελευθερία Γεωργαντή για την πολύτιμη βοήθειά της, τις υποδείξεις της και ιδιαίτερα την υπομονή της και για τις αμέτρητες ώρες που με ανεχόταν στο skype συζητώντας και διαφωνώντας. Ευχαριστώ επίσης και τα υπόλοιπα μέλη της ομάδας Τεχνολογίας Ήχου, που όποτε χρειάστηκε ήταν πρόθημα να βοηθήσουν και να απαντήσουν οποιαδήποτε απορία μου, Χαράλαμπο Παπαδάκο και τον Γαβριήλ Καμάρη. Τέλος θέλω να ευχαριστήσω τους γονείς μου, τη φίλη μου Στάλω και τους φίλους μου Δημήτρη, Αντρέα και Γιώργο για τη ψυχολογική υποστήριξη όταν τα πράγματα δεν πήγαιναν καλά και για την χαρά τους και την επιπλέον ώθηση που μου έδιναν σε κάθε επιτυχία. Πάτρα, Ιούνιος 2014 Γιώργος Πίππος I

6 II

7 III Στους γονείς μου

8 Περιεχόμενα Κεφάλαιο 1: Εισαγωγή Γενικά... 1 Κεφάλαιο 2: Θεωρία Εισαγωγή Αναπαράσταση Σημάτων στη Συχνότητα Χωρική Ακουστική Εισαγωγή Χωρική Ακουστική Αντίληψη Ενδο-ωτικές Παράμετροι Ενδο-καναλικές Παράμετροι Κωδικοποίηση Αμφιωτικών Παραμέτρων Εισαγωγή Δημιουργία Καναλιού Μετάδοσης (Down-mixing to one channel): Υπολογισμός Χωρικών Παραμέτρων: Κρουστική Απόκριση Χώρου Εισαγωγή Μέτρηση Κρουστικής Απόκρισης Κεφάλαιο 3: Υλοποίηση Εισαγωγή Δημιουργία Μπάντων Συχνοτήτων Εισαγωγή Τράπεζα Φίλτρων Μετασχηματισμός STFT Αντίστροφος Μετασχηματισμός STFT: Κωδικοποίηση Αμφιωτικών Παραμέτρων Εισαγωγή: Υπολογισμός καναλιού μετάδοσης: Υπολογισμός Χωρικών Παραμέτρων (Spatial Cues): Υπολογισμός στο Πεδίο του Χρόνου IV

9 Υπολογισμός στο Πεδίο της συχνότητας Επαναδημιουργία Καναλιών: Τροποποίηση Παραμέτρων Σήματος Εισαγωγή: Αλλαγή Γωνίας Ακουστικού Γεγονότος: Αλλαγή Απόστασης Ακουστικού Γεγονότος: Αλλαγή Ακουστικού Περιβάλλοντος Κεφάλαιο 4: Αποτελέσματα Εισαγωγή Έλεγχος Συναρτήσεων STFT και istft Συνάρτηση Υπολογισμού Παραμέτρων Ενδο-καναλική διαφορά στάθμης: Ενδο-καναλική Διαφορά Χρόνου Άφιξης: Ενδο-καναλική Συνάφεια: Συνάρτηση Αποκωδικοποίησης-Δημιουργία Σήματος Έλεγχος Τράπεζας Φίλτρων Έλεγχος Σημάτων Επεξεργασία στο χρόνο Επεξεργασία στη Συχνότητα Συμπεράσματα Μελλοντική εργασία Παράρτημα Α Παράρτημα Β Κατάλογος Σχημάτων Βιβλιογραφία V

10 Κεφάλαιο 1: Εισαγωγή Κεφάλαιο 1 : Εισαγωγή 1.1 Γενικά Ο ήχος, από φυσικής άποψης, είναι μια δόνηση που μεταδίδεται με τη βοήθεια ενός μέσου, όπως ο αέρας ή το νερό, σαν ένα μηχανικό εγκάρσιο κύμα. Η μηχανική αυτή δόνηση, που όταν αρχίσει να αναλύεται σε μαθηματικές εξισώσεις γίνεται δυσνόητή για τους περισσότερους, αποτελεί ένα εξαιρετικά σημαντικό κομμάτι στη ζωή του ανθρώπου. Μέσω του ήχου, ο άνθρωπος επικοινωνεί με άλλους ανθρώπους, ψυχαγωγείται, προειδοποιείται για τυχόν κίνδυνους και αναμφίβολα μια ζωή χωρίς ήχο για τον άνθρωπο, είναι κάτι που κανένας δεν θα μπορούσε να φανταστεί. Η κωδικοποίηση ήχου, είναι μια διαδικασία τροποποίησης της αναπαράστασης του ηχητικού σήματος, κάνοντας το έτσι, πιο κατάλληλο για μετάδοση και αποθήκευση. Παρόλο που σήμερα η χωρητικότητα των καναλιών και των δικτύων είναι αρκετά μεγάλη και ο ρυθμός μετάδοσης των ηχητικών αρχείων δεν αποτελεί ιδιαίτερο πρόβλημα, εν τούτοις η κωδικοποίηση ηχητικών σημάτων παραμένει σημαντική. Μέσω της κωδικοποίησης, μπορεί να επιτευχθεί σημαντική μείωση του ρυθμού μετάδοσης των σημάτων, αποδοτικότερη αποθήκευση τους και παράλληλα μετάδοση τους σε δίκτυα που ακόμα το εύρος ζώνης τους είναι περιορισμένο. Η κωδικοποίηση Αμφιωτικών Παραμέτρων (Binaural Cue Coding), η οποία θα αναλυθεί στη συνέχεια της εργασίας αυτής, είναι μια αποτελεσματική τεχνική κωδικοποίησης, η οποία εκμεταλλεύεται χωρική πληροφορία, όπως είναι η ενδο-καναλική διαφορά στάθμης (ICLD), η ενδο-καναλική διαφορά (ICTD) χρόνου και η ενδο-καναλική συνάφεια (ICC), για να μειώσει το απαιτούμενο για την αποστολή του σήματος, εύρος ζώνης. Στα επόμενα κεφάλαια της εργασίας αυτής, θα γίνει παρουσίαση της μεθοδολογίας κωδικοποίησης Αμφιωτικών Παραμέτρων και ο τρόπος που υλοποιήθηκε. Στο κεφάλαιο 2 της εργασίας θα παρουσιαστούν κάποια θεωρητικά στοιχεία τα οποία είναι απαραίτητα για την κατανόηση της 1

11 Κεφάλαιο 1: Εισαγωγή εργασίας. Θα γίνει ανάλυση της φιλοσοφίας που ακολουθεί η κωδικοποίηση, ο τρόπος που υλοποιείται, καθώς επίσης και κάποια βασικά στοιχεία ακουστικής. Στη συνέχεια στο κεφάλαιο 3 της εργασίας θα παρουσιαστεί ο τρόπος με τον οποίο υλοποιήθηκε η εργασία. Θα παρουσιαστεί ο τρόπος λειτουργίας των συναρτήσεων, τα μπλοκ διαγράμματα της κωδικοποίησης, όπως επίσης και κάποιοι τρόποι με τους οποίους μπορεί να τροποποιηθεί η ακουστική εικόνα που δημιουργείται στον ακροατή. Τέλος, στο κεφάλαιο 4 θα παρουσιαστούν τα αποτελέσματα της εργασίας αυτής, όπου στο πρώτο μέρος της θα παρουσιαστούν, με τη χρήση σχεδιαγραμμάτων, η σωστή λειτουργία των συναρτήσεων που δημιουργήθηκαν και στο τέλος η σωστή λειτουργία της κωδικοποίησης, όπως και κάποια γενικά συμπεράσματα που εξάχθηκαν για την κωδικοποίηση. 2

12 Κεφάλαιο 2: Θεωρία Κεφάλαιο 2 : Θεωρία 2.1 Εισαγωγή Στο κεφάλαιο αυτό θα γίνει συνοπτική παρουσίαση της απαραίτητης θεωρίας για την κατανόηση της εργασίας αυτής. Στο υποκεφάλαιο 2.2 θα γίνει παρουσίαση της διαδικασίας αναπαράστασης των σημάτων στο πεδίο της συχνότητας. Στη συνέχεια στο υποκεφάλαιο 2.3 θα γίνει επεξήγηση όρων όπως είναι η χωρική ακουστική και οι χωρικές παράμετροι, οι οποίες είναι απαραίτητες για την κατανόηση της φιλοσοφίας της τεχνικής κωδικοποίησης BCC. Ακολούθως, στο υποκεφάλαιο 2.4 θα γίνει παρουσίαση της κωδικοποίησης BCC, στην φιλοσοφία της οποίας βασίζεται και η εργασία αυτή. Ενώ στο τελευταίο υποκεφάλαιο γίνεται ανάλυση των βασικών στοιχείων υπολογισμού της κρουστικής απόκρισης ενός χώρου. 2.2 Αναπαράσταση Σημάτων στη Συχνότητα Η κυμματομορφή ενός σήματος είναι η χρονική αναπαράσταση των διακυμάνσεων ενός σήματος και αποτελεί την μορφή που μπορεί να γίνει αντιληπτή, να αναπαραχθεί και να διαδοθεί [1]. Για να παρθεί η συχνοτική πληροφορία ενός σήματος, χρειάζεται το σήμα να μεταφερθεί από το πεδίο του χρόνου στο πεδίο της συχνότητας. Ο βασικός τρόπος για την μεταφορά αυτή είναι ο μετασχηματισμός Fourier ο οποίος ορίζεται σύμφωνα με τη Σχέση 2.1 (2.1) όπου τα και είναι οι αναπαραστάσεις του σήματος στο πεδίο του χρόνου και στο πεδίο της συχνότητας αντίστοιχα. Για την πραγματοποίηση της αντίθετης μεταφοράς, δηλαδή από το 3

13 Κεφάλαιο 2: Θεωρία πεδίο της συχνότητας στο πεδίο του χρόνου, χρειάζεται να εφαρμοστεί ο αντίθετος μετασχηματισμός Fourier, ο οποίος ορίζεται ως (2.2) Όλα αυτά ισχύουν όταν ο μετασχηματισμός γίνεται για συνεχές σήματα. Για ψηφιακά σήματα, ο μετασχηματισμός από το πεδίο του χρόνου στο πεδίο της συχνότητας μπορεί να γίνει με τη χρήση του διακριτού μετασχηματισμού Fourier (Digital Fourier Transform- DFT), ο οποίος δίνεται σύμφωνα με τη Σχέση 2.3: [ ] [ ] (2.3) όπου τα [ ] και [ ] είναι οι διακριτές αναπαραστάσεις του σήματος στο πεδίο του χρόνου και στο πεδίο της συχνότητας αντίστοιχα. Όπως και ο FT, έτσι και ο DFT έχει τον αντίστοιχο, αντίστροφο μετασχηματισμό ο οποίος ορίζεται ως: [ ] [ ] (2.4) Με τη χρήση του DFT, μπορεί να αναπαρασταθεί το σήμα στο πεδίο της συχνότητας. Όμως, για την επεξεργασία ενός σήματος απαιτείται ανάλυση και στο πεδίο του χρόνου και στο πεδίο της συχνότητας. Η ανάλυση και στα δύο πεδία μπορεί να επιτευχθεί με τη χρήση του μετασχηματισμού Fourier μικρής διάρκειας (Short-Time Fourier Transform - STFT). Κατά τον μετασχηματισμό STFT, το διακριτό σήμα μοιράζεται σε πλαίσια επικαλυπτόμενα μεταξύ τους με ίσο μήκος 2M δειγμάτων. Συνήθως το ποσοστό επικάλυψης των πλαισίων είναι το 50% του μήκους τους, πραγματοποιώντας, κάθε φορά, μετατόπιση μήκους Μ δειγμάτων από το ένα πλαίσιο στο επόμενο. Η διαδικασία κωδικοποίησης και αποκωδικοποίησης με τη χρήση του STFT φαίνεται στο Σχήμα 2.1. Σχήμα 2.1: (a) Η διαδικασία της κωδικοποίησης με τη χρήση του STFT. (b) Η διαδικασία της αποκωδικοποίησης με τη χρήση του istft. 4

14 Κεφάλαιο 2: Θεωρία Στην υλοποίηση που παρουσιάζεται, το σήμα στο πεδίο του χρόνου παραθυροποιείται σε πλαίσια, ανάλογα του μεγέθους του παραθύρου. Τα πλαίσια του σήματος που δημιουργούνται, μετασχηματίζονται με τη χρήση του μετασχηματισμού DFT, ο οποίος δίνεται από τη Σχέση 2.3. Μετά την όποια επεξεργασία, για να γυρίσει το σήμα στο πεδίο του χρόνου, θα πρέπει να ακολουθηθεί η αντίθετη διαδικασία. Έτσι, στο σήμα που βρίσκεται στο πεδίο της συχνότητας θα πρέπει να εφαρμοστεί ο idft (Σχέση 2.4) και να γυρίσει στο πεδίο του χρόνου. Στο πεδίο του χρόνου τα σήματα θα πρέπει να τοποθετηθούν και πάλι επικαλυπτόμενα, το ένα πάνω στο άλλο, σύμφωνα με το ποσοστό επικάλυψης που έγινε και η κωδικοποίηση. Έτσι, δημιουργείται ξανά το αρχικό σήμα που κωδικοποιήθηκε. 2.3 Χωρική Ακουστική Εισαγωγή Ο τρόπος που ο άνθρωπος αντιλαμβάνεται τους ήχους είναι όμοιος με τον τρόπο με τον οποίο αντιλαμβάνεται και την οπτική εικόνα. Όπως κάθε αντικείμενο που είναι ορατό αποτελεί ένα κομμάτι της οπτικής εικόνας, έτσι και κάθε ήχος που είναι ακουστός αποτελεί κομμάτι της ακουστικής εικόνας του ανθρώπου. Κάθε πηγή ήχου που αποτελεί κομμάτι της ακουστικής εικόνας, ονομάζεται ακουστικό αντικείμενο. Όταν η ακουστική εικόνα συντίθεται, τις περισσότερες φορές, οι κατευθύνσεις που αντιστοιχούνται σε κάθε ακουστικό αντικείμενο, αντιστοιχούν στις πραγματικές κατευθύνσεις των πηγών στο χώρο. Αυτό γίνεται εφικτό λόγω των ακουστικών παραμέτρων που χαρακτηρίζουν τη θέση της πηγής και το σήμα της Χωρική Ακουστική Αντίληψη Για να μπορέσει να κατανοηθεί πως το ακουστικό σύστημα, διακρίνει την κατεύθυνση μια πηγής, θα πρέπει να ληφθούν υπόψη οι ιδιότητες των σημάτων στην είσοδο των ακουστικών καναλιών. Τα σήματα στην είσοδο των ακουστικών καναλιών δεν είναι ίδια με τα αρχικά σήματα. Αυτό συμβαίνει γιατί τα αρχικά σήματα υπόκεινται σε χρονο-συχνοτικές αλλαγές (κάποιου είδους φιλτράρισμα) λόγω της φυσιολογίας του εξωτερικού αφτιού και της θέσης της πηγής σε σχέση με τον ακροατή. Τα φίλτρα τα οποία μοντελοποιούν τη διαδρομή του σήματος από την πηγή στις εισόδους των ακουστικών καναλιών σε ανηχωικές συνθήκες αναφέρονται και ως HRTF (Head Related [2]Transfer Function) [3] [4]. Το Σχήμα 2.2 απεικονίζεται ένα απλό σενάριο όπου το σήμα της πηγής διαδίδεται οριζόντια στις δύο ακουστικές εισόδους χωρίς ανακλάσεις. Λόγω της θέσης της πηγής, στις δύο ακουστικές εισόδους αντιστοιχούν δύο διαφορετικές συναρτήσεις HRTF. Εάν η θέση της πηγής ή η θέση του ακροατή αλλάξει, τότε θα πρέπει να χρησιμοποιηθούν καινούριες συναρτήσεις HRTF για την μοντελοποίηση των σημάτων κατά την είσοδό τους στα ακουστικά κανάλια. Λόγω της γωνίας φ, που βρίσκεται η πηγή, οι αποστάσεις d1-d2, που αντιστοιχούν στις αποστάσεις της πηγής από τα ακουστικά κανάλια, διαφέρουν. Εξ αιτίας του διαφορετικού μήκους των διαδρομών διαφέρουν επίσης και οι χρόνοι άφιξης των σημάτων στις ακουστικές εισόδους. Η πιο απλή σχέση που περιγράφει τις διαφορές των διαδρομών αυτών προτάθηκε από τον Hornbostel [5] και δίνεται ακολούθως: όπου το k περιγράφει την απόσταση ανάμεσα στα δύο μικρόφωνα τα οποία μοντελοποιούν τις ακουστικές εισόδους. Η Σχέση 2.5 δεν υπολογίζει την απόσταση που εισάγει το καμπύλο τμήμα 5 (2.5)

15 Κεφάλαιο 2: Θεωρία του κεφαλιού ενώ επιπρόσθετα δεν λαμβάνει υπόψη την ακουστική σκίαση που δημιουργεί το κεφάλι του ακροατή. Έχουν προταθεί διάφορες βελτιωμένες εκδόσεις της Σχέσης 2.5, οι οποίες και λαμβάνουν υπόψη και την καμπύλη απόσταση αλλά και την ακουστική σκίαση της κεφαλής [2]. Σχήμα 2.2: (a) Μοντελοποίηση των διαφορετικών διαδρομών από την πηγή στις ακουστικές εισόδους με τη χρήση συναρτήσεων HRTF. (b) Συσχέτιση της γωνίας φ με τις αποστάσεις d1 και d2 και η δημιουργία διαφορετικών χρόνων άφιξης Ενδο-ωτικές Παράμετροι Οι διάφορες θέσεις που μπορεί να βρίσκεται η πηγή του σήματος, όπως περιγράφτηκε και πιο πάνω, δημιουργούν διαφορετικούς δρόμους μέχρι τα ακουστικά κανάλια. Οι διαφορετικοί δρόμοι δημιουργούν αναπόφευκτα διαφορετικούς χρόνους άφιξης του σήματος στα ακουστικά κανάλια. Η διαφορά των χρόνων άφιξης του ηχητικού σήματος στις δύο ακουστικές εισόδους, καθορίζουν την ενδο-ωτική χρονική διαφορά (Inter-aural Time Difference, ITD) [2]. Αντίστοιχα η θέση του ακουστικού αντικειμένου δημιουργεί ακουστική σκίαση, η οποία επηρεάζει τη στάθμη του σήματος που φτάνει στα ακουστικά κανάλια. Σχήμα 2.3: (a) Στις υψηλές συχνότητες, επειδή το μήκος κύματος του σήματος είναι μικρό, παρατηρείται έντονα το φαινόμενο της ακουστικής σκίασης. (b) Στις χαμηλές συχνότητες αντίθετα, επειδή το μήκος κύματος είναι μεγάλο, το φαινόμενο τις της ακουστικής σκίασης δεν επηρεάζει σχεδόν καθόλου. Η διαφορά της έντασης του σήματος που φτάνει στις ακουστικές εισόδους διαμορφώνουν την ενδοωτική διαφορά στάθμης (Inter-aural Level Difference, ILD) [2]. Όπως φαίνεται και στο Σχήμα 2.3 η ακουστική σκίαση, που δημιουργείται λόγω της θέση της πηγής του σήματος, είναι επίσης ανάλογη του συχνοτικού περιεχομένου του σήματος και επηρεάζει περισσότερο τις υψηλές συχνότητες. Το μήκος κύματος λ δίδεται από τη Σχέση 2.6 και για ένα ημίτονο με συχνότητα 6kHz είναι ίσο με 5cm ενώ για ένα ημίτονο με συχνότητα 200Hz είναι 1.7m. Έτσι γίνεται κατανοητό γιατί σε ένα σήμα με υψηλή συχνότητα, όπως αυτό που παρουσιάζεται στο Σχήμα 2.3 (α), το φαινόμενο τις ακουστικής σκίασης, είναι πιο έντονο από ένα σήμα χαμηλής (2.6) 6

16 Κεφάλαιο 2: Θεωρία συχνότητας, Σχήμα 2.3 (β), όπου η ακουστική σκίαση του κεφαλιού δεν επηρεάζει σχεδόν καθόλου. Γίνεται έτσι εμφανές ότι οι παράμετροι ILD και ITD είναι ιδιότητες των ακουστικών σημάτων και παρέχουν στο ακουστικό σύστημα την απαραίτητη πληροφορία για τον προσδιορισμό της κατεύθυνσης της πηγής. Στην περίπτωση αναπαραγωγής των σημάτων μέσω ακουστικών, τα σήματα μπορούν να θεωρηθούν ισοδύναμα με αυτά που μεταφέρονται από την πηγή στους ηλεκτροδυναμικούς μετατροπείς των ακουστικών. Οπότε είναι εφικτή η ανεξάρτητη αξιολόγηση των παραμέτρων ILD και ITD με χρήση ακουστικών σε κατάλληλες πειραματικές διατάξεις. Σχήμα 2.4: Πειραματική διάταξη για την δημιουργία σημάτων για την αριστερή και δεξιά ακουστική είσοδο με συγκεκριμένο ITD και ILD [6] Στη Σχήμα 2.5 παρουσιάζονται τα γεγονότα όπως τα αντιλαμβάνεται ο ακροατής για διαφορετικές τιμές των ILD και ITD [2] βάσει της πειραματικής διάταξης που παρουσιάζεται στο Σχήμα 2.4. Εάν τα σήματα έχουν την ίδια χρονική καθυστέρηση (ITD=0) και την ίδια στάθμη (ILD=0), τότε τα σήματα είναι συναφή και το ακουστικό γεγονός εντοπίζεται στο κέντρο, ανάμεσα στις δύο ακουστικές εισόδους (Περιοχή 1). Αυξάνοντας την ηχητική στάθμη σε μία πλευρά, για παράδειγμα προς τα δεξιά, το ηχητικό γεγονός μετατοπίζεται αντίστοιχα (Περιοχή 2). Εάν έχουμε ηχητικό σήμα μόνο από τη μία πλευρά, για παράδειγμα την αριστερή, τότε το ηχητικό γεγονός περιορίζεται στην πλευρά που αναπαράγεται το σήμα (Περιοχή 3). Εκτός από την παράμετρο ILD, μπορεί να χρησιμοποιηθεί με αντίστοιχο τρόπο και η παράμετρος ITD για τον έλεγχο της θέσης του ακουστικού γεγονότος. Σχήμα 2.5: (a) Καθορισμός της θέσης του ακουστικού γεγονότος, όπως προκύπτει από τις παραμέτρους ILD και ITD. (b) Το εύρος του ακουστικού γεγονότος αυξάνει, καθώς μειώνεται η παράμετρος IC μέχρι να δημιουργηθούν δύο διακριτά ακουστικά γεγονότα (Περιοχή 4) [6]. 7

17 Κεφάλαιο 2: Θεωρία Εκτός από τις παραμέτρους ILD και ITD, χρησιμοποιείται επίσης και μια τρίτη παράμετρος, η οποία αποτελεί μία μέτρηση του βαθμού ομοιότητας ανάμεσα στα δύο σήματα στις ακουστικές εισόδους. Η παράμετρος αυτή αναφέρεται ως ενδο-ωτική συνάφεια (Inter-aural Coherence, IC) [2]. Στην εργασία του ο Faller, [6] [7] [8],ορίζει την IC ως τη μέγιστη απόλυτη τιμή της κοινωνικοποιημένης συνάρτησης ετεροσυσχέτισης και δίνεται από τη Σχέση 2.7: { } (2.7) όπου η καθυστέρηση d [-1, 1] ms. Η παράμετρος IC, έχει περιοχή τιμών από το 0 έως το 1, όπου για ανεξάρτητα σήματα IC=0 ενώ για παρόμοια σήματα IC= Ενδο-καναλικές Παράμετροι Για συστήματα αναπαραγωγής που βρίσκονται σε απόσταση (για παράδειγμα ένα ζευγάρι ηχείων), τα ITD, ILD και IC εξαρτώνται από τα χαρακτηριστικά του σήματος, αλλά ταυτόχρονα και από τις HRTFs των δύο πηγών (τη θέση των πηγών και του ακροατή). Για αυτό το λόγο, εισήχθηκε ο όρος των ενδο-καναλικών παραμέτρων, οι οποίες είναι αντίστοιχες με τη ενδο-ωτικές παραμέτρους που αναπτύχθηκαν στο Οι ενδο-καναλικές παράμετροι περιγράφουν τη διαφορά χρόνου, στάθμης και συνάφειας των σημάτων μεταξύ των καναλιών και αναφέρονται αντίστοιχα ως ενδο καναλική χρονική διαφορά (Inter-Channel Time Difference, ICTD), ενδο-καναλική διαφορά στάθμης (Inter Channel Level Difference, ICLD) και ενδο-καναλική συνάφεια (Inter-Channel Coherence, ICC) [6] [7]. Προφανώς, για την αναπαραγωγή του σήματος μέσω ακουστικών, οι παράμετροι ITD, ILD και IC είναι (ιδανικά) ταυτόσημες με τις παραμέτρους ICTD, ICLD και ICC. Στο Σχήμα 2.4 απεικονίζονται οι θέσεις των αντιληπτών ακουστικών γεγονότων για διαφορετικές τιμές της παραμέτρου ICLD για δύο ηχητικές πηγές [Blauert (1997)]. Όπως είναι αναμενόμενο, για εντοπιστεί το ακουστικό γεγονός στο κέντρο των δύο ηχείων, δηλαδή στη θέση 1 στο Σχήμα 2.6 (a), χρειάζεται τα σήματα να είναι ίδια (δηλαδή να έχουν ICC=0), να έχουν την ίδια ηχητική στάθμη (ICLD=0) και την ίδια χρονική καθυστέρηση (ICTD=0). Αυξάνοντας την ηχητική στάθμη σε μία εκ των δύο θέσεων, το ακουστικό γεγονός μετατοπίζεται προς την αντίστοιχη θέση (Η θέση 2 στο Σχήμα 2.6(a) αντιστοιχεί σε αύξηση της στάθμης του δεξιού ηχείου). Σχήμα 2.6: (a) Η θέση του ακουστικού γεγονότος καθορίζεται από την τιμή που έχουν οι παράμετροι ICLD και ICTD. (b) Το εύρος του ακουστικού γεγονότος αυξάνεται καθώς μειώνεται η παράμετρος ICC [6]. Σε αναλογία με τα προηγούμενα, στην περίπτωση που είναι ενεργό μόνο το ένα από τα δύο ηχεία (για παράδειγμα το αριστερό), τότε το ακουστικό γεγονός μετατοπίζεται στη θέση 3 στο Σχήμα 2.6(a). Ακολουθώντας την ίδια λογική, μετατόπιση του ακουστικού γεγονότος μπορεί να επιτευχθεί με τη τροποποίηση της παραμέτρου ICTD. Επίσης, όπως τα ICLD και ICTD έχουν την ίδια συμπεριφορά με τα ILD και ITD, έτσι και το ICC είναι ανάλογο του IC. Έτσι, όταν το ICC=1, τότε 8

18 Κεφάλαιο 2: Θεωρία ένα κεντρικό ακουστικό γεγονός είναι αντιληπτό (θέση 1, Σχήμα 2.6(b)), ενώ καθώς το ICC μειώνεται, το εύρος του ακουστικού γεγονότος αυξάνεται (θέσεις 2-3, Σχήμα 2.6(b)) Κωδικοποίηση Αμφιωτικών Παραμέτρων Εισαγωγή Η κωδικοποίηση αμφιωτικών παραμέτρων (Binaural Cue Coding - BCC) είναι μια αποτελεσματική τεχνική κωδικοποίησης Spatial Audio. Σκοπός της κωδικοποίησης είναι η μείωση του εύρους ζώνης που απαιτείται για την μετάδοση στερεοφωνικού και πολυκαναλικού ήχου. Σχήμα 2.7: Στο σχήμα 2.4 παρουσιάζεται η υλοποίηση της κωδικοποίησης αμφιωτικών παραμέτρων. Ένας αριθμός από κανάλια μπαίνουν στον κωδικοποιητή όπου γίνεται το Down-Mixing και η εξαγωγή των ενδοκαναλικών παραμέτρων του σήματος. Στον αποκωδικοποιητή ακολουθείται η αντίστροφη διαδικασία, χρησιμοποιώντας το κανάλι μετάδοσης και τις ενδοκαναλικές παραμέτρους για να δημιουργήσει τα αρχικά κανάλια του σήματος. Ο μεγάλος βαθμός μείωσης του εύρους ζώνης του σήματος, που μερικές φορές μπορεί να φτάσει και σε ποσοστό 80%, επιτυγχάνεται μέσω της αποτελεσματικής κωδικοποίησης του σήματος. Με τη χρήση της τεχνικής του Down-Mixing, τα κανάλια του σήματος εισόδου κωδικοποιούνται δημιουργώντας ένα μονοφωνικό ή ένα στερεοφωνικό σήμα, το οποίο μεταδίδεται αντί των αρχικών καναλιών. Επιπρόσθετα, υπολογίζονται οι χωρικές παράμετροι του σήματος (ενδοκαναλικές διαφορές του σήματος), οι οποίες συνοδεύουν το σήμα μετάδοσης. Στο δέκτη, με τη χρήση της τεχνικής Up-Mixing, το αρχικό σήμα μπορεί να κατασκευαστεί ξανά βάσει του σήματος που μεταδόθηκε και των παραμέτρων. Έτσι, για παράδειγμα, αντί για τα έξι κανάλια ενός πολυφωνικού σήματος (σήμα 5.1), είναι δυνατή η αποστολή ενός καναλιού και πέντε ομάδες ακουστικών παραμέτρων (μια ομάδα για κάθε κανάλι), με αποτέλεσμα το, απαιτούμενο για μετάδοση, εύρος ζώνης να μειώνεται κατά πολύ Δημιουργία Καναλιού Μετάδοσης (Down-mixing to one channel): Η δημιουργία του καναλιού μετάδοσης μέσω της τεχνικής Down-Mixing είναι το πρώτο από τα δύο κομμάτια της κωδικοποίησης BCC. Είναι σημαντικό κατά τη διαδικασία του Down-Mixing, στο σήμα που θα δημιουργηθεί να εμπεριέχονται οι συνιστώσες όλων των καναλιών εισόδου, έτσι ώστε να μην χάνεται πληροφορία από τα κανάλια. Θα μπορούσε το σήμα μετάδοσης να δημιουργηθεί με άθροιση των καναλιών εισόδου. Όμως μια απλή άθροιση των σημάτων είναι πιθανόν να δημιουργήσει ενίσχυση ή εξασθένηση των σημάτων, πράγμα που ισοδυναμεί με σήμα μετάδοσης με μεγαλύτερη ή μικρότερη ισχύ από την συνολική ισχύ των καναλιών εισόδου. Για να 9

19 Κεφάλαιο 2: Θεωρία αντιμετωπισθεί το φαινόμενο αυτό και να διατηρηθεί η συνολική ισχύς του σήματος, το σήμα που δημιουργείται από την άθροιση των καναλιών πολλαπλασιάζεται με ένα συντελεστή κέρδους e(k) σύμφωνα με τη Σχέση 2.8 (2.8) Όπου τα κανάλια του σήματος, ο συνολικός αριθμός των καναλιών και e(k) ο συντελεστής κέρδους. Ο συντελεστής κέρδους, είναι ίσος με την τετραγωνική ρίζα του λόγου των ισχύων των καναλιών του σήματος και της ισχύος του αθροίσματος των σημάτων και δίδεται από την Σχέση 2.9 (2.9) όπου το είναι η ισχύς του κάθε καναλιού ενώ η ισχύς του αθροίσματος των καναλιών. ` Σχήμα 2.8: Στις δύο πρώτες σειρές παρουσιάζονται τα σήματα x 1 (n) και x 2 (n) και τα φάσματά τους, ενώ στην τρίτη σειρά το άθροισμα των x 1 (n) και x 2 (n) (με λεπτή γραμμή) και το εξομαλυμένο άθροισμα των x 1 (n) και x 2 (n) (με την χοντρή γραμμή). Για να γίνει κατανοητή η χρησιμότητα του συντελεστή κέρδους, στο Σχήμα 2.8 παρουσιάζονται το φάσμα και το πλάτος δύο σημάτων στις πρώτες δύο γραμμές, και του σήματος που δημιουργείται κατά την απλή άθροιση τους και την άθροισή τους όταν πολλαπλασιάζονται με τον συντελεστή κέρδους στην τρίτη γραμμή [9] Υπολογισμός Χωρικών Παραμέτρων: Το δεύτερο μέρος της διαδικασίας κωδικοποίησης, είναι το κομμάτι υπολογισμού των ακουστικών παραμέτρων των καναλιών. Όπως αναφέρθηκε και προηγουμένως, υπάρχουν 3 παράμετροι που 10

20 Κεφάλαιο 2: Θεωρία πρέπει να υπολογιστούν, η ενδο-καναλική διαφορά στάθμης (ICLD), η ενδο-καναλική διαφορά χρόνου (ICTD) και η ενδο-καναλική συνάφεια (ICC). Αντί της ICTD, μερικές φορές είναι πιο βολικό, αναλόγως της τεχνικής που χρησιμοποιείται για τον χωρισμό του σήματος σε μπάντες συχνοτήτων, να υπολογίζεται η ενδο-καναλική διαφορά φάσης (ICPD). Πρώτη παράμετρος που θα υπολογιστεί είναι η ICLD. Η ICLD είναι ίση με το λογάριθμο του λόγου της ισχύος του ενός καναλιού προς την ισχύ του άλλου και δίνεται από τη Σχέση 2.10 ICLD[dΒ]: (2.10) Για τις άλλες δύο παραμέτρους, ICTD και ICC, που απομένουν να υπολογιστούν, χρειάζεται να υπολογιστεί η κανονικοποιημένη ετεροσυσχέτιση των 2 καναλιών. Η συνάρτηση κανονικοποιημένης ετεροσυσχέτισης δεν κάνει τίποτα περισσότερο από το να υπολογίζει την ετεροσυσχέτιση των δύο σημάτων μεταξύ τους και στη συνέχει να κανονικοποιεί τα αποτελέσματά της στη μονάδα. Άρα, η συνάρτηση θα επιστρέφει τιμές μεταξύ [0-1]. Η συνάρτηση κανονικοποιημένης ετεροσυσχέτισης δίνεται από τη Σχέση 2.11 όπου: (2.11) Όταν υπολογιστεί η, μπορούν να υπολογιστούν πλέον και οι άλλες 2 ενδο-καναλικές παράμετροι. Η παράμετρος ICC είναι ίση με το μέγιστο της απόλυτης τιμής που επιστρέφει η, δηλαδή είναι ίση με την μέγιστη ομοιότητα των δύο καναλιών ενώ η παράμετρος ICTD είναι ίση με το σημείο το οποίο εμφανίζεται η μέγιστη ομοιότητα. Ο υπολογισμός της ICC και της ICTD γίνεται χρησιμοποιώντας τη Σχέση 2.12 και τη Σχέση 2.13 αντίστοιχα. ICC: (2.12) ICTD[samples]: (2.13) Πρέπει να σημειωθεί ότι ζεύγη σημάτων που βρίσκονται εκτός φάσης δεν μπορούν να αναπαρασταθούν με αυτές τις παραμέτρους όπως ορίζονται. Επίσης, αξίζει να σημειωθεί ότι για να ληφθεί πρακτική τιμή για το ICTD χρειάζεται να αφαιρεθεί από την τιμή που υπολογίστηκε το μήκος του παραθύρου που χρησιμοποιείται για την ανάλυση 1. 1 Η συνάρτηση κανονικοποιημένης ετεροσυσχέτισης θα επιστρέψει ένα διάνυσμα με μήκος ίσο με το άθροισμα των μηκών των σημάτων που συγκρίθηκαν (δηλαδή με μήκος ίσο με 2 φορές το μήκος του παραθύρου). Εάν για παράδειγμα χρησιμοποιηθούν παράθυρα των 512 σημείων με το ένα σήμα να καθυστερεί του άλλου κατά 10 σημεία, τότε η συνάρτηση ετεροσυσχέτισης θα επιστρέψει ένα διάνυσμα με 1023 σημεία και το μέγιστο σημείο της θα είναι είτε στο σημείο 502 είτε στο σημείο 522, αναλόγως με το σήμα που καθυστερεί. Εάν από το σημείο του μεγίστου αφαιρεθεί το μήκος του παραθύρου, η διαφορά θα δώσει αποτέλεσμα -10 ή 10 αναλόγως πάντα του παραθύρου που καθυστερεί. 11

21 2.5 Κρουστική Απόκριση Χώρου Κεφάλαιο 2: Θεωρία Εισαγωγή Στη θεωρία επεξεργασίας σήματος, σύμφωνα με το [10], κρουστική απόκριση ονομάζεται η έξοδος ενός συστήματος όταν δοθεί ως είσοδος σ αυτό μια κρουστική συνάρτηση δ(t). Θεωρώντας ένα χώρο ως ένα σύστημα, με αντίστοιχη χρήση μιας κρουστικής συνάρτησης, θα μπορούσε να μετρηθεί η κρουστική απόκριση του χώρου. Η κρουστική απόκριση του χώρου αποτελεί την ταυτότητα του χώρου (για το σημείο αναπαραγωγής του σήματος δ(t) και το σημείο ηχογράφησης) και δείχνει τον τρόπο που αντιδρά ο χώρος όταν αναπαραχθεί ένα σήμα από τη θέση αναπαραγωγής του ήχου Μέτρηση Κρουστικής Απόκρισης Παρόλο που η μέτρηση της κρουστικής απόκρισης δεν αποτελεί μέρος της εργασίας αυτής, θεωρείται σκόπιμο να γίνει μια σύντομη αναφορά στη μεθοδολογία και στα μέσα που χρησιμοποιούνται για να μετρηθεί η κρουστική απόκριση κάποιου χώρου. Ιδανικά, για να υπάρξει η κρουστική απόκριση είναι απαραίτητο το σύστημα να διεγερθεί μέσω μιας κρουστικής συνάρτησης. Κρουστική συνάρτηση (ή δέλτα του Dirac) είναι μια γενικευμένη συνάρτηση, στην οποία όλες οι τιμές της είναι ίσες με μηδέν εκτός από το μηδέν που έχει τιμή άπειρο (Σχήμα 2.9). Σχήμα 2.9: Η συνάρτηση δ(t), δέλτα του Dirac. Οι τιμές της συνάρτησης είναι ίσες με μηδέν εκτός από τη τιμή της στο μηδέν. Επειδή όμως δεν υπάρχει τέτοια πραγματική συνάρτηση, που να παρέχει δηλαδή όλη την ενέργεια της σε μία χρονική στιγμή, για τον υπολογισμό της κρουστικής απόκρισης χώρων γίνεται χρήση άλλων συναρτήσεων. Η ISO [11] προτείνει τη χρήση της ψευδοτυχαίας ακολουθίας μεγίστου μήκους (MLS) προτείνοντας ταυτόχρονα τα ακόλουθα: Η πηγή και το μικρόφωνο να είναι όσο το δυνατό πιο κατευθυντικά,. Θα πρέπει να παρθούν πολλαπλές μετρήσεις χρησιμοποιώντας στο τέλος το μέσο όρο ώστε να μειώνεται το σφάλμα. Το μικρόφωνο θα πρέπει να τοποθετηθεί σε απόσταση μεγαλύτερη του ¼ του μικρότερου μήκους κύματος, από την κοντινότερη επιφάνεια ανάκλασης. 12

22 Κεφάλαιο 2: Θεωρία Η ελάχιστη απόσταση πομπού-δέκτη d θα πρέπει να είναι τουλάχιστο ίση με τη Σχέση 2.14, όπου V είναι ο όγκος του δωματίου, c η ταχύτητα του ήχου και RT ο αναμενόμενος χρόνος αντήχησης. d[m] (2.14) Όπως μπορεί να γίνει κατανοητό, η μέτρηση της κρουστικής απόκρισης ενός χώρου δεν αποτελεί πολύπλοκη διαδικασία. Με μια απλή διαδικασία αναπαραγωγής-ηχογράφησης μπορεί να μετρηθεί, να υπολογιστεί και να αποθηκευτεί, σε μια βιβλιοθήκη κρουστικών, ώστε να μπορεί να χρησιμοποιηθεί στο μέλλον. Το μόνο που πρέπει να τονισθεί ξανά είναι ότι η μέτρηση μιας κρουστικής απόκρισης ενός χώρου αφορά μόνο τις θέσεις για τις οποίες πραγματοποιείται η διαδικασία μέτρησης της κρουστικής, δηλαδή για τις θέσεις που βρίσκεται τοποθετημένο το μεγάφωνο και το μικρόφωνο. Για διαφορετικά ζεύγη θέσεων μεγαφώνου/μικροφώνου, ακόμη και μέσα στον ίδιο χώρο, οι σχετικές μετρήσεις των αποκρίσεων θα παρουσιάζουν διαφορές. 13

23 Κεφάλαιο 3: Υλοποίηση Κεφάλαιο 3 : Υλοποίηση 3.1 Εισαγωγή Σε αυτό το κεφάλαιο γίνεται η παρουσίαση της υλοποίησης της μεθόδου BCC (Binaural Cue Coding), η οποία περιγράφεται στο Υποκεφάλαιο 2.4. Στο υποκεφάλαιο 3.2 γίνεται παρουσίαση και ανάλυση των δύο κύριων τεχνικών που χρησιμοποιούνται για τη δημιουργία μπάντων συχνοτήτων. Στη συνέχεια και στο υποκεφάλαιο 3.3 θα γίνει ανάλυση της κωδικοποίησης BCC που πραγματοποιήθηκε για τον υπολογισμό του καναλιού αποστολής και των χωρικών παραμέτρων ενός στερεοφωνικού σήματος και θα περιγραφεί η διαδικασία ανασύνθεσης του σήματος για τη δημιουργία του αρχικού σήματος. Τέλος στο Υποκεφάλαιο 3.4 παρουσιάζονται τρόποι τροποποίησης της ακουστικής εικόνας. 3.2 Δημιουργία Μπάντων Συχνοτήτων Εισαγωγή Όλη η διαδικασία κωδικοποίησης που πραγματοποιείται στη BCC, όπως και σε άλλες παρόμοιες τεχνικές (Parametric Stereo [9] [12]) και γενικά στην επεξεργασία σημάτων ήχου, απαιτεί το σήμα να είναι χωρισμένο σε μπάντες συχνοτήτων, επιτυγχάνοντας έτσι και χρονική και συχνοτική ανάλυση του σήματος την ίδια στιγμή. Οι δύο πιο διαδεδομένοι τρόποι με τους οποίους μπορεί να πραγματοποιηθεί η διαδικασία αυτή είναι με τη χρήση μιας Τράπεζας Φίλτρων ή με τη χρήση του Μετασχηματισμού STFT. Θα πρέπει να σημειωθεί ότι η απόκριση τόσο της Τράπεζας Φίλτρων όσο και του μετασχηματισμού STFT πρέπει να προσεγγίζει την απόκριση συχνότητας του ανθρώπινου ακουστικού συστήματος [1]. 14

24 3.2.1 Τράπεζα Φίλτρων Κεφάλαιο 3: Υλοποίηση Η Τράπεζα Φίλτρων είναι ένας πίνακας από ζωνοδιαβατά φίλτρα, τα οποία δημιουργούν από το σήμα εισόδου, σήματα διαφορετικών συνιστωσών, ανάλογα με την κεντρική συχνότητα του κάθε φίλτρου. Με τον τρόπο αυτό επιτυγχάνεται χρονο-συχνοτική ανάλυση του σήματος, η οποία είναι απαραίτητη για την επεξεργασία ηχητικών σημάτων. Κατά την υλοποίηση της τράπεζας φίλτρων, έγινε προσπάθεια όπως η απόκριση της τράπεζας είναι όσο το δυνατό πιο επίπεδη έτσι ώστε να μην ενισχύει ή να αποσβένει κάποιες συχνότητες του σήματος. Για τον σχεδιασμό των φίλτρων χρησιμοποιήθηκε η συνάρτηση fir1, η οποία υπάρχει στο περιβάλλον της MATLAB. Η συνάρτηση δέχεται ως ορίσματα, τον αριθμό των συντελεστών που θα έχει το φίλτρο, και ένα διάνυσμα με τα όρια συχνότητας του φίλτρου και επιστρέφει ένα διάνυσμα με τους συντελεστές του φίλτρου. Στα πλαίσια της εργασίας αυτής, υλοποιήθηκε μια τράπεζα φίλτρων με 11 φίλτρα οκτάβας, με το πρώτο φίλτρο να ξεκινά από τα 16Ηz-32Hz και το τελευταίο από τα 16kHz-32kHz. Όλη η υλοποίηση έγινε μέσα σε μία επαναληπτική δομή, ενώ οι συντελεστές του φίλτρου αποθηκεύτηκαν σε ένα πίνακα δύο διαστάσεων. Τα αποτελέσματα του ελέγχου της απόκρισης συχνότητας της τράπεζας φίλτρων θα παρουσιαστούν στη συνέχεια Μετασχηματισμός STFT Η ανάγκη γρήγορης επεξεργασίας του σήματος και εξαγωγής των ακουστικών παραμέτρων, οδήγησε στην ανάπτυξη τεχνικών επεξεργασίας σήματος όχι στο πεδίο του χρόνου, όπως γίνεται με τη χρήση της τράπεζας φίλτρων, αλλά στο πεδίο της συχνότητας. Για τη μεταφορά του σήματος από το πεδίο του χρόνους στο πεδίο της συχνότητας, χρειάζεται η χρήση του μετασχηματισμού Fourier μικρής διάρκειας (Short-time Fourier Transform STFT), που αναλύθηκε στο Υποκεφάλαιο 2.2. Η χρήση του μετασχηματισμού προϋποθέτει την επιλογή του μεγέθους του παραθύρου, που θα γίνει η ανάλυση, και το βήμα των παραθύρων του σήματος, όπου το βήμα των παραθύρων του σήματος δείχνει το ποσοστό επικάλυψης των παραθύρων. Για εφαρμογές επεξεργασίας ηχητικού σήματος, ένα τυπικό ποσοστό επικάλυψης είναι στο 50% του μεγέθους του παραθύρου. (Για παράδειγμα παράθυρα 512 τιμών το βήμα του παραθύρου είναι 256 σημεία). Με τη χρήση του μήκους του αρχείου, του μήκους του παραθύρου και του βήματος του παραθύρου, υπολογίζεται ο αριθμός των παραθύρων που θα χρειαστούν ώστε να αναλυθεί ολόκληρο το σήμα. Η κωδικοποίηση STFT στην εργασία αυτή επιτυγχάνεται με τη χρήση της συνάρτησης stft, της οποίας ο κώδικας παρουσιάζεται στο Παράρτημα Α.2. Η συνάρτηση δέχεται ως ορίσματα το σήμα, το μήκος, τον αριθμό των παραθύρων και το μήκος του βήματος. Με βάση το μήκος του παραθύρου (Α ) και τον αριθμό των παραθύρων (Β ) δημιουργείται ένας πίνακας ΑxB, ο οποίος συμπληρώνεται με τις τιμές του σήματός. Κατά τη διαδικασία συμπλήρωσης του πίνακα, γίνεται χρήση μιας επαναληπτικές δομής, όπου, σε κάθε κύκλο της Α (όπου Α το μήκος του παραθύρου που έχει επιλεγεί), στοιχεία του σήματος προστίθενται στην αντίστοιχη γραμμή του πίνακα. Στον αμέσως επόμενο κύκλο, θα προστεθούν, στην επόμενη γραμμή του πίνακα, τα επόμενα Α στοιχεία, με βάση το βήμα των παραθύρων. Αυτή η διαδικασία συνεχίζεται μέχρι να αναλυθεί όλο το σήμα 2 2. (Για παράδειγμα, βρισκόμαστε στην αρχή του σήματος και χρησιμοποιούνται παράθυρα μήκους 512 σημείων με επικάλυψη 256 σημείων. Το πρώτο παράθυρο θα είναι από το σημείο 1 μέχρι το σημείο 512του σήματος. Στη συνέχεια το δεύτερο παράθυρο θα αρχίζει 256 σημεία μετά την αρχή του πρώτου παραθύρου, δηλαδή από το σημείο 256 του σήματος και θα έχει και αυτό μήκος 512 σημείων, δηλαδή θα τελειώνει στο σημείο 768.) 15

25 Κεφάλαιο 3: Υλοποίηση Όταν ολόκληρο το σήμα διαιρεθεί σε επιμέρους τμήματα, ο γρήγορος μετασχηματισμός Fourier εφαρμόζεται σε ολόκληρο το πίνακα. Το αποτέλεσμά του μετασχηματισμού επιστρέφει στο κυρίως πρόγραμμα και αποθηκεύεται σε μια μεταβλητή για να χρησιμοποιηθεί στη συνέχεια κατά τους υπολογισμούς. Η ίδια διαδικασία επαναλαμβάνεται και για το δεύτερο κανάλι του στερεοφωνικού σήματος Αντίστροφος Μετασχηματισμός STFT: Η αποκωδικοποίηση του σήματος προϋποθέτει τη μετάβαση του σήματος από το πεδίο της συχνότητας στο πεδίο του χρόνου, ούτως ώστε να μπορεί να σταλεί στα μεγάφωνα για να αναπαραχθεί και να γίνει ακουστό. Ο μετασχηματισμός αυτός από το ένα πεδίο στο άλλο, μπορεί να επιτευχθεί με τη χρήση του αντίστροφου μετασχηματισμού STFT. Ο istft, χρησιμοποιεί τον πίνακα φάσματος, που δημιουργήθηκε μετά την επεξεργασία του σήματος, για να δημιουργήσει τα αρχικά κανάλια του σήματος. Η συνάρτηση που υλοποιεί τον istft, στην εργασία αυτή, ονομάζεται istft και ο κώδικας της παρουσιάζεται στο Παράρτημα Α.3. Η συνάρτηση παίρνει σαν ορίσματα τον πίνακα με το συχνοτικό περιεχόμενο των παραθύρων του σήματος και το μήκος του παραθύρου και το μήκος του βήματος που χρησιμοποιήθηκαν στην συνάρτηση STFT. Με τη χρήση της συνάρτησης ifft, υπολογίζεται ο αντίστροφος μετασχηματισμός Fourier του πίνακα επιστρέφοντας τον πίνακα στο πεδίο χρόνου. Σε αυτό το σημείο, ο πίνακας δεν περιέχει πραγματικές τιμές, επομένως το περιεχόμενό του δεν είναι ακόμα ακουστό, αλλά το πραγματικό μέρος των στοιχείων του πίνακα αντιστοιχεί στο πλάτος του σήματος στο χρόνο. Για να μπορέσει να δημιουργηθεί το αρχικό σήμα, από το οποίο και προήλθε ο πίνακας, θα πρέπει τα στοιχεία του πίνακα να τοποθετηθούν σε ένα διάνυσμα λαμβάνοντας υπόψη το ποσοστό επικάλυψης που χρησιμοποιήθηκε στον STFT. Η διαδικασία δημιουργίας του διανύσματος μπορεί να επιτευχθεί με τη χρήση μιας δομής επανάληψης. Για παράδειγμα, σε αντιστοιχία με το παράδειγμα κωδικοποίησης, για μια κωδικοποίηση που χρησιμοποιούνται παράθυρα μήκους 512 τιμών και με ποσοστό επικάλυψης 50%, η πρώτη σειρά του πίνακα θα ξεκινήσει από το σημείο 1 του διανύσματος, ενώ η δεύτερη σειρά του πίνακα από το σημείο 256 του διανύσματος. Τέλος, όπως αναφέρθηκε προηγουμένως, οι τιμές του πίνακα δεν είναι πραγματικές, έτσι με τη χρήση της συνάρτησης real υπολογίζεται το πραγματικό μέρος των τιμών του διανύσματος και το διάνυσμα του σήματος που δημιουργείται είναι ίσο με το διάνυσμα του αρχικού σήματος που κωδικοποιήθηκε. Όταν υπολογιστεί το διάνυσμα, αυτό επιστρέφει στο κυρίως πρόγραμμα και η διαδικασία επαναλαμβάνεται για τον δεύτερο πίνακα που αντιστοιχεί στο δεύτερο κανάλι του στερεοφωνικού σήματος. 3.3 Κωδικοποίηση Αμφιωτικών Παραμέτρων Εισαγωγή: Κατά την κωδικοποίηση αμφιωτικών παραμέτρων (BCC), όπως εξηγήθηκε και στο Υποκεφάλαιο 2.4, με εκμετάλλευση της χωρικής πληροφορίας, μεταξύ των καναλιών, τα αρχικά κανάλια μπορούν να δημιουργηθούν ξανά στο δέκτη στέλνοντας μόνο ένα μονοφωνικό ή στερεοφωνικό σήμα που να περιέχει όλη την πληροφορία των καναλιών εισόδου και κάποιας συνοδευτικής πληροφορίας. Στο υποκεφάλαιο αυτό θα παρουσιαστεί η υλοποίησης της κωδικοποίησης BCC για ένα στερεοφωνικό σήμα, όπως πραγματοποιήθηκε στα πλαίσια αυτής της διπλωματικής. Στο υποκεφάλαιο θα περιγραφεί η διαδικασία down-mix σε ένα μονοφωνικό σήμα. Στο υποκεφάλαιο θα παρουσιαστεί ο τρόπος υπολογισμού των παραμέτρων στο πεδίο της 16

26 Κεφάλαιο 3: Υλοποίηση συχνότητας και στο πεδίο του χρόνου. Τέλος στο υποκεφάλαιο θα παρουσιαστεί η διαδικασία αποκωδικοποίησης που εφαρμόστηκε Υπολογισμός καναλιού μετάδοσης: Το κανάλι μετάδοσης είναι το μοναδικό ηχητικό σήμα που μεταδίδεται στην κωδικοποίηση BCC. Για να μπορούν να δημιουργηθούν ξανά τα αρχικά κανάλια από το σήμα, αυτό θα πρέπει να περιέχει την πληροφορία όλων των καναλιών, όπως εξηγήθηκε προηγουμένως. Το διάγραμμα κωδικοποίησης ενός στερεοφωνικού σήματος παρουσιάζεται στο Σχήμα 3.1. Στο σχήμα φαίνεται ότι τα δύο κανάλια προστίθενται και στη συνέχεια το αποτέλεσμά τους πολλαπλασιάζεται με τον συντελεστή, σύμφωνα με τις Σχέσεις 2.8 και 2.9. Σχήμα 3.1: Τα δύο κανάλια ενός στερεοφωνικού καναλιού αθροίζονται και στη συνέχεια πολλαπλασιάζονται με το συντελεστή κέρδους (e(k)). Ο συντελεστής είναι ανάλογος της ισχύος των επιμέρους σημάτων και της ισχύος του σήματος που δημιουργήθηκε από την άθροιση των καναλιών. Εάν το αρχικό σήμα αποτελείται από περισσότερα κανάλια, τότε για την δημιουργία του σήματος μετάδοσης, θα πρέπει να αθροιστούν όλα τα αρχικά σήματα και στη συνέχεια να πολλαπλασιαστεί το άθροισμά τους με τον αντίστοιχο συντελεστή κέρδους. Στο Σχήμα 3.2 παρουσιάζεται αναλυτικά όλη η διαδικασία δημιουργίας του καναλιού μετάδοσης. Η MATLAB δεν επιτρέπει την πρόσθεση δύο διανυσμάτων με διαφορετικό μήκος. Για αυτό το λόγο, πριν την επεξεργασία, υπολογίζεται το μήκος των δύο διανυσμάτων και προστίθενται μηδενικά στο τέλος του μικρότερου διανύσματος. Στη συνέχεια, τα δύο κανάλια αθροίζονται δημιουργώντας το σήμα X12. Το σήμα X12 είναι το σήμα μέσω του οποίου θα υπολογιστεί ο συντελεστής κέρδους με τον οποίο θα πολλαπλασιαστεί, δημιουργώντας έτσι το κανάλι μετάδοσης. Ακολούθως, υπολογίζεται η ισχύς των δύο καναλιών του σήματος και του σήματος Χ12, και με τις ισχύεις των τριών σημάτων που υπολογίστηκαν, και σύμφωνα με τη Σχέση 2.9, υπολογίζεται ο συντελεστής κέρδους. Το γινόμενο του σήματος X12 με το συντελεστή κέρδους αποτελεί το σήμα μετάδοσης. 17

27 Κεφάλαιο 3: Υλοποίηση Σχήμα 3.2: Αναλυτικά η διαδικασία της κωδικοποίησης ενός στερεοφωνικού σήματος στο κανάλι μετάδοσης Υπολογισμός Χωρικών Παραμέτρων (Spatial Cues): Στη αρχική προσέγγιση της αμφιωτικής κωδικοποίησης [7], η διαδικασία κωδικοποίησης και αποκωδικοποίησης γινόταν στο πεδίο του χρόνου με τη χρήση φίλτρων και της συνάρτησης της συνέλιξης 3. Όμως, οι ανάγκη για γρήγορη κωδικοποίηση οδήγησε στην εύρεση τρόπων, ώστε να επιτυγχάνεται η κωδικοποίηση και αποκωδικοποίηση του σήματος στο πεδίο της συχνότητας [13]. Οι μεθοδολογίες υλοποίησης της κωδικοποίησης στο πεδίο του χρόνου (Υποκεφάλαιο ) και στο πεδίο της συχνότητας (Υποκεφάλαιο ) θα περιγραφούν στη συνέχεια Υπολογισμός στο Πεδίο του Χρόνου Για τον υπολογισμό των χωρικών παραμέτρων στο πεδίο του χρόνου, χρησιμοποιήθηκε η συνάρτηση Spatial Cues, της οποίας ο κώδικας παρουσιάζεται στο Παράρτημα Α.4. Η συνάρτηση αυτή, της οποίας το διάγραμμα φαίνεται στο Σχήμα 3.3, παίρνει ως ορίσματα τα δύο κανάλια του σήματος και επιστρέφει τις 3 χωρικές παραμέτρους σε διανύσματα, με μήκος ίσο με τον αριθμό των παραθύρων που χρειάζονται για να κωδικοποιηθεί το σήμα. Κάθε τριάδα παραμέτρων που 3 Η διαδικασία κωδικοποίησης στο χρόνο παρουσιάζεται στο Παράρτημα Β, στο τέλος της εργασίας. Η όλη διαδικασία παρόλο που λειτουργούσε σωστά, δεν υλοποιήθηκε λόγο της μεγάλης καθυστέρησης που υπήρχε κατά την κωδικοποίηση και αποκωδικοποίηση. 18

28 Κεφάλαιο 3: Υλοποίηση υπολογίζονται, αντιστοιχούν σε ένα συγκεκριμένο παράθυρο του σήματος. Για παράδειγμα το τρίτο στοιχείο στα τρία διανύσματα των παραμέτρων αντιστοιχούν στο τρίτο παράθυρο του σήματος. Σχήμα 3.3: Από τα δύο κανάλια του στερεοφωνικού καναλιού, δημιουργούνται, μετά από επεξεργασία, οι χωρικές Παράμετροι. Το διάγραμμα υπολογισμού των ενδο-καναλικών παραμέτρων από ένα στερεοφωνικό σήμα, παρουσιάζεται στο Σχήμα 3.4. Τα δύο κανάλια μπαίνουν ως είσοδος στη συνάρτηση και αφού τεθεί αρχική τιμή σε ένα μετρητή, τότε, με τη χρήση μιας επαναληπτικής δομής, υπολογίζονται οι παράμετροι για όλα τα παράθυρα του σήματος. Σχήμα 3.4: Αναλυτικά η διαδικασία εξαγωγής των ενδο-καναλικών παραμέτρων από ένα στερεοφωνικό σήμα. Όσο ο μετρητής είναι μικρότερος από το συνολικό αριθμό των παραθύρων, τότε θα υπάρχει ακόμα διαθέσιμο σήμα για το οποίο θα πρέπει να υπολογιστούν παράμετροι. Έτσι, βάσει του μετρητή, επιλέγεται το τμήμα των καναλιών για τα οποία θα υπολογιστούν οι ακουστικές παράμετροι σύμφωνα με τη σχέση: 19

29 Κεφάλαιο 3: Υλοποίηση (3.1) όπου και το τμήμα του δεξιού και αριστερού καναλιού που θα συγκριθούν, το δεξί και αριστερό κανάλι, το μέγεθος του παραθύρου και ο μετρητής των παραθύρων. Πρώτη παράμετρος που υπολογίζεται είναι η ενδο-καναλική διαφορά στάθμης, η οποία και υπολογίζεται σύμφωνα με την Σχέση Για τον υπολογισμό της διαφοράς στάθμης, υπολογίζεται η ισχύς του παραθύρου των δύο καναλιών και στη συνέχεια υπολογίζεται ο λόγος των ισχύων σε db. Δηλαδή, υπολογίζεται ο λόγος της ισχύος του ενός καναλιού προς την ισχύ του άλλου καναλιού, και στη συνέχεια υπολογίζεται ο λογάριθμος με βάση το 10 του λόγου τους. Επειδή συγκρίνονται οι ισχύεις των δύο καναλιών, ο λογάριθμος πολλαπλασιάζεται με 10 (x10) αντί του 20. Για τον υπολογισμό των άλλων δύο παραμέτρων, δηλαδή ICTD και της ICC, χρειάζεται να υπολογιστεί η κανονικοποιημένη συνάρτηση ετεροσυσχέτησης των δύο καναλιών σύμφωνα με τη Σχέση Ακολούθως, με τη χρήση της συνάρτησης max της MATLAB, μπορεί να βρεθεί το σημείο στο οποίο τα δύο σήματα μοιάζουν περισσότερο 4. Έτσι, η μέγιστη τιμή της που θα επιστρέψει η συνάρτηση max θα είναι ίση με την παράμετρο ICC του παράθυρου των καναλιών που εξετάζεται, ενώ η θέση που συναντήθηκε το μέγιστο σημείο μείον το μήκος του παραθύρου που χρησιμοποιήθηκε, δίνει την παράμετρο ICTD. Με τους υπολογισμούς που αναλύθηκαν, υπολογίστηκαν οι παράμετροι για ένα από τα παράθυρα των δύο καναλιών σε μία από τις μπάντες του σήματος. Ο δείκτης i, που δείχνει τον αριθμό των παραθύρων, αυξάνεται κατά ένα για να προχωρήσει στο επόμενο παράθυρο και η διαδικασία αυτή επαναλαμβάνεται μέχρι να υπολογιστούν οι τιμές των παραμέτρων για όλα τα παράθυρα και για όλες τις μπάντες των καναλιών. Οι ενδο-καναλικές παράμετροι, όπως αναφέρθηκε και πιο πάνω, υπολογίζονται σε περιοχές συχνοτήτων. Με αυτό τον τρόπο, για κάθε ζευγάρι παραθύρων των δύο καναλιών δεν υπολογίζεται μία τριάδα ενδο-καναλικών παραμέτρων (ICLD, ICTD και ICC), αλλά υπολογίζεται μία τριάδα παραμέτρων για την κάθε μπάντα συχνοτήτων του. Αυτό επιβαρύνει τη διαδικασία κωδικοποίησης, αφού, αντί να υπολογίζονται 3 παράμετροι για κάθε παράθυρο, υπολογίζονται συνολικά 33 (11 μπάντες συχνοτήτων). Επιπρόσθετα, επιβαρύνεται λόγω του φιλτραρίσματος του σήματος, αλλά παρέχει μεγαλύτερη ευκρίνεια στους υπολογισμούς. Επίσης, η ευκρίνεια των υπολογισμών μπορεί να αλλάξει χρησιμοποιώντας μικρότερα και μεγαλύτερα παράθυρα Υπολογισμός στο Πεδίο της συχνότητας Η επεξεργασία του ήχου στο πεδίο της συχνότητας [14], όπως αναφέρθηκε και προηγουμένως, είναι μια ανάγκη που προέκυψε λόγω της καθυστέρησης που προκύπτει κατά την επεξεργασία των σημάτων στο χρόνο. Για να περάσουν τα σήματα στο πεδίο της συχνότητας, χρησιμοποιείται η συνάρτηση stft που αναλύθηκε στο υποκεφάλαιο 3.2. Η συνάρτηση stft επιστρέφει δύο πίνακες πανομοιότυπους με τους πίνακες που κατασκευάζονται κατά την ανάλυση του σήματος στο χρόνο, οι οποίοι, όμως, είναι στο πεδίο της συχνότητας. Για 4 Η συνάρτηση max μπορεί να επιστρέψει δύο τιμές, τη μέγιστη τιμή του διανύσματος, αλλά και το σημείο του διανύσματος που βρέθηκε η τιμή αυτή. 20

30 Κεφάλαιο 3: Υλοποίηση την ανάλυση στο πεδίο της συχνότητας, χρησιμοποιήθηκε η συνάρτηση SpatialCuesF, η οποία αναλύεται στο Παράρτημα A.6. Η συνάρτηση δέχεται ως ορίσματα τους πίνακες των 2 καναλιών και επιστρέφει τα 3 διανύσματα των ενδο-καναλικών παραμέτρων. Ο υπολογισμός της ενδο-καναλικής διαφοράς στάθμης και της ενδο-καναλικής συνάφειας είναι πανομοιότυπες με τον υπολογισμό τους στο πεδίο του χρόνου. Η ενδο-καναλική διαφορά στάθμης υπολογίζεται σύμφωνα με τη Σχέση 3.2 ενώ η ενδο-καναλική συνάφεια υπολογίζεται σύμφωνα με τη Σχέση 3.3 [14], όπου τα και είναι τα φάσματα των δύο καναλιών και k και q είναι οι δείκτες του χρόνου και της συχνότητας αντίστοιχα. ΔL[dΒ]: (3.2) C: ( ) (3.3) Αντίθετα με τις δύο προηγούμενες ενδο-καναλικές παραμέτρους, ο υπολογισμός της ενδοκαναλικές διαφοράς χρόνου διαφέρει στο πεδίο της συχνότητας. Η παράμετρος αυτή υπολογίζεται έμμεσα, μέσω του υπολογισμού της διαφοράς της φάσης των δύο καναλιών, η οποία υπολογίζεται σύμφωνα με τη Σχέση 3.4. ΔP[rad]: (3.4) Η διαφορά φάσης μπορεί να συσχετιστεί άμεσα με τη διαφορά στο χρόνο, μέσω της Σχέσης 3.5, βάσει του μεγέθους του παραθύρου που χρησιμοποιήθηκε για τον υπολογισμό της διαφοράς φάσης. ΔΤ[points]: (3.5) Η διαδικασία υπολογισμού επαναλαμβάνεται έως ότου να υπολογιστούν οι παράμετροι για όλα τα παράθυρα του σήματος. Όπως και στις άλλες περιπτώσεις, όλη η διαδικασία λαμβάνει χώρο σε μια επαναληπτική δομή Επαναδημιουργία Καναλιών: Το τελευταίο στάδιο της κωδικοποίησης είναι η επαναδημιουργία των αρχικών καναλιών. Όπως είναι φυσικό η επαναδημιουργία λαμβάνει χώρο στο δέκτη. Ο δέκτης λαμβάνει είτε μέσω της μετάδοσης είτε από τη μονάδα αποθήκευσης, το κανάλι μετάδοσης (υπολογίστηκε στο υποκεφάλαιο 3.3.2) και τη χωρική πληροφορία (υπολογίστηκε στο υποκεφάλαιο 3.3.3). Στόχος του δέκτη, μέσω της αποκωδικοποίησης, είναι η δημιουργία καναλιών, όσο το δυνατό πιο όμοια με τα αρχικά κανάλια του σήματος. Η διαδικασία αποκωδικοποίηση του σήματος ή επαναδημιουργίας των αρχικών καναλιών περιγράφεται πιο κάτω. Η επαναδημιουργία των καναλιών γίνεται με τη χρήση της συνάρτησης ispatialcues (Παράρτημα Α.5). Η συνάρτηση ispatialcues δέχεται ως είσοδο πέντε παραμέτρους και επιστρέφει τα δύο κανάλια του στερεοφωνικού σήματος του δέκτη. Οι πέντε παράμετροι που χρειάζονται είναι το κανάλι μετάδοσης, οι τρεις ενδο-καναλικές παράμετροι και το μέγεθος του παραθύρου που χρησιμοποιήθηκε κατά της κωδικοποίηση. 21

31 Κεφάλαιο 3: Υλοποίηση Σχήμα 3.5: Οι τρείς χωρικές παράμετροι χρησιμοποιούνται για τον υπολογισμό των A, B και C. Ακολούθως τα A, B και C χρησιμοποιούνται για τον υπολογισμό των a1 και a2. Τα τελευταία πολλαπλασιάζουν το κανάλι εκπομπής και παράγουν τα 2 κανάλια. Όπως φαίνεται και στο Σχήμα 3.5, με τη χρήση των τριών χωρικών παραμέτρων υπολογίζονται τα Α, Β και C, ακολούθως τα a 1 και a 2, με τα οποία και πολλαπλασιάζεται το κανάλι μετάδοσης για να δημιουργηθούν τα δύο αρχικά κανάλια. Τέλος, για να ληφθεί υπόψη και η διαφορά χρόνου, προστίθεται ο κατάλληλος αριθμός μηδενικών στα πλαίσια. Πιο αναλυτικά, η διαδικασία της αποκωδικοποίησης φαίνεται στο Σχήμα 3.6. Η επεξεργασία γίνεται σε παράθυρα ανάλογα των παραθύρων που χρησιμοποιήθηκαν για την κωδικοποίηση. Για κάθε ένα από τα παράθυρα, χρειάζεται να ληφθούν υπόψη οι χωρικές παραμέτροι που αναφέρονται στο παράθυρο αυτό. Έτσι, δημιουργείται ένας βρόχος, ο οποίος και επαναλαμβάνεται για όλα τα παράθυρα του σήματος. Σε κάθε κύκλο του βρόχου, βάσει των ενδο-καναλικών παραμέτρων υπολογίζονται τα A, B και C σύμφωνα με τις Εξισώσεις 3.6 (3.6) Στη συνέχεια, με τη χρήση των Α, Β και C σύμφωνα με τις Εξισώσεις 3.7, υπολογίζονται τα α 1 και α 2. (3.7) Τα α 1 και α 2, πολλαπλασιασμένα με το κανάλι μετάδοσης, σύμφωνα με τις Εξισώσεις 3.8, σχηματίζουν το παράθυρο για το δεξί και αριστερό κανάλι αντίστοιχα. Τα παράθυρα και των δύο καναλιών πολλαπλασιάζονται με ένα παράθυρο Hamming ίσου μήκους με το μήκος των παραθύρων, ώστε οι απότομες αλλαγές στα σημεία που κόβεται το σήμα να γίνονται λιγότερο ακουστές. (3.8) 22

32 Κεφάλαιο 3: Υλοποίηση Σχήμα 3.6: Αναλυτικά η διαδικασία αποκωδικοποίησης του καναλιού μετάδοσης και των ενδο-καναλικών παραμέτρων σε δύο κανάλια. Μέχρι το σημείο αυτό έχουν δημιουργηθεί δύο κανάλια, στα οποία όμως δεν λήφθηκε υπόψη η παράμετρος ICTD. Για να ληφθεί υπόψη, χρειάζεται, μέσω της επεξεργασίας, το κάθε παράθυρο του ενός καναλιού να καθυστερεί του αντίστοιχου παραθύρου του άλλου, τόσο όση και η διαφορά χρόνου. Αυτό δεν μπορεί να γίνει προσθέτοντας μηδενικά στο ένα ή στο άλλο παράθυρο. Για να υλοποιηθεί η διαφορά χρόνου στην κωδικοποίηση, πριν αρχίσει οποιαδήποτε επεξεργασία στη συνάρτηση, αρχικοποιήθηκαν τα 2 κανάλια ως 2 διανύσματα με μήκος ίσο με το μήκος του καναλιού μετάδοσης συν το μήκος του καναλιού κωδικοποίησης. Αναλόγως της τιμής της ICTD σε κάθε κύκλο, τα δύο παράθυρα προστίθενται σε διαφορετική θέση στα διανύσματα του σήματος. 5 Με αυτό τον τρόπο, δεν δημιουργούνται κενά ή ακολουθίες με μηδενικά στο σήμα οι οποίες προκαλούν αλλοιώσεις, ενώ ταυτόχρονα δεν αποκόπτονται κομμάτια του παραθύρου ώστε να χάνονται κομμάτια από την πληροφορία. Με κάθε τέλος του βρόχου, ο μετρητής αυξάνεται και η διαδικασία αυτή επαναλαμβάνεται μέχρι να υπολογιστούν όλα τα παράθυρα του καναλιού μετάδοσης. 3.4 Τροποποίηση Παραμέτρων Σήματος Εισαγωγή: Η τροποποίηση των παραμέτρων του σήματος είναι ένα πολύ ενδιαφέρον κομμάτι της επεξεργασίας ηχητικών σημάτων. Με τη χρήση απλών εξισώσεων και απλών μοντέλων, μπορούν να υπολογιστούν οι ακουστικές παράμετροι που θα είχε το ακουστικό είδωλο εάν βρισκόταν σε 5 Για παράδειγμα, εάν στο πρώτο παράθυρο του σήματος το αριστερό κανάλι καθυστερεί 10 σημεία, έναντι του δεξιού, τότε το δεξί παράθυρο θα προστεθεί στη θέση 1 του δεξιού καναλιού, ενώ το αριστερό κανάλι θα προστεθεί στη θέση 11 του αριστερού καναλιού. 23

33 Κεφάλαιο 3: Υλοποίηση κάποια άλλη θέση. Έτσι, με ένα επιπρόσθετο στάδιο επεξεργασίας και τροποποιώντας τις ακουστικές παραμέτρους ενός σήματος, είναι δυνατόν να δοθεί η αίσθηση στον ακροατή ότι η πηγή βρίσκεται σε μια θέση διαφορετική από την πραγματική της. Ακόμη, είναι δυνατό, με δυναμική αλλαγή των παραμέτρων, να δίνεται η αίσθηση ότι το ακουστικό είδωλο κινείται. Δηλαδή, μπορεί με την κατάλληλη αλλαγή της διαφοράς στάθμης των δύο καναλιών ή της διαφοράς χρόνου άφιξης των καναλιών ή καλύτερα και των δύο παραμέτρων ταυτόχρονα, να δοθεί στον ακροατή η ψευδαίσθηση ότι το η πηγή είναι δεξιά ή αριστερά, μακριά ή κοντά, ακόμα ότι κινείται από δεξιά προς αριστερά ή πλησιάζει από μακριά κοκ. Επιπρόσθετα, με τη χρήση κρουστικών αποκρούσεων από άλλους χώρους, όπως από μία εκκλησία ή ένα θέατρο, και τη συνέλιξη τους με το σήμα, μπορεί να δοθεί η αίσθηση ότι το σήμα αναπαράγεται σε ένα διαφορετικό χώρο Αλλαγή Γωνίας Ακουστικού Γεγονότος: Η γωνία άφιξης του σήματος μπορεί να αλλάξει με την κατάλληλη τροποποίηση των παραμέτρων της διαφοράς χρόνου (TD) και της διαφοράς στάθμης (LD). Η τροποποίηση μπορεί να γίνει με πολύ απλό τρόπο ως κομμάτι της ανασύνθεσης του σήματος. Η πρόσθεση χρονικής καθυστέρησης στην παράμετρο χρονικής διαφοράς, που είναι ισοδύναμη με την καθυστέρηση του δεξιού καναλιού σε σχέση με το αριστερό, μεταφέρει το ηχητικό είδωλο προς τα αριστερά. Αντίστοιχα, η αφαίρεση της χρονικής καθυστέρησης, είναι ισοδύναμη με προσθήκη καθυστέρησης στο αριστερό κανάλι, άρα και μεταφορά του ακουστικού ειδώλου προς τα δεξιά. Παρόμοια μετατόπιση του ακουστικού ειδώλου του σήματος μπορεί να επιτευχθεί τροποποιώντας τη διαφορά στάθμης του σήματος. Αύξηση της παραμέτρου LD είναι ισοδύναμη με την αύξηση της στάθμης του αριστερού καναλιού σε σχέση με το δεξί, πράγμα που προκαλεί την μετατόπιση του ακουστικού ειδώλου προς τα αριστερά. Αντίστοιχα, μείωση της παραμέτρου LD είναι ισοδύναμη με την αύξηση της στάθμης του δεξιού καναλιού σε σχέση με το αριστερό, προκαλώντας μετατόπιση του ακουστικού ειδώλου προς τα δεξιά. Στην πραγματικότητα, οι δύο αυτές παράμετροι συσχετίζονται μεταξύ τους. Δεν είναι δυνατό να βρίσκεται η πηγή δεξιά ή αριστερά, δημιουργώντας καθυστέρηση στο αριστερό ή στο δεξί κανάλι αντίστοιχα, και να μην υπάρχει και η ανάλογη διαφορά στάθμης στα δύο κανάλια λόγω της ακουστικής σκίασης που δημιουργεί το κεφάλι Αλλαγή Απόστασης Ακουστικού Γεγονότος: Όπως είναι δυνατή η αλλαγή της γωνίας που βρίσκεται το ακουστικό είδωλο, είναι δυνατή και η αλλαγή της απόστασης που βρίσκεται το ακουστικό είδωλο. Αυτό επιτυγχάνεται με την τροποποίηση της στάθμης του σήματος. Όσο πιο μακριά βρίσκεται το ακουστικό είδωλο, τόσο πιο χαμηλή είναι και η στάθμη του ήχου που φτάνει στα αφτιά του ακροατή. Έτσι εκμεταλλευόμενοι την παράμετρο αυτή και μειώνοντας την στάθμη του σήματος σε όλα τα κανάλια, μπορεί να επιτευχθεί η ψευδαίσθηση της απόστασης Αλλαγή Ακουστικού Περιβάλλοντος Το περιβάλλον αναπαραγωγής του ήχου είναι ένα από τα στοιχεία που συνθέτουν την ακουστική εικόνα. Η ακουστική ταυτότητα ενός χώρου, για ένα ζευγάρι θέσης πηγής θέσης ακρόασης, δίδεται από την κρουστική απόκριση του χώρου στη θέση αυτή. Η κρουστική απόκριση του χώρου δείχνει τον τρόπο με τον οποίο ο χώρος επηρεάζει ένα ηχητικό σήμα όταν αναπαραχθεί στο χώρο αυτό και μπορεί να μετρηθεί χωρίς ιδιαίτερη δυσκολία με την μεθοδολογία που περιγράφηκε στο 24

34 Κεφάλαιο 3: Υλοποίηση Υποκεφάλαιο 2.5. Εάν πραγματοποιηθεί συνέλιξη ενός ηχητικού σήματος με την κρουστική απόκριση ενός χώρου, τότε οι συχνότητες του ηχητικού σήματος θα επηρεαστούν με τον τρόπο που θα επηρεάζονταν αν το σήμα αναπαραγόταν στο χώρο στον οποίο ανήκει η κρουστική απόκριση. Έτσι δημιουργείται η ψευδαίσθηση στον ακροατή ότι βρίσκεται σε κάποιο άλλο χώρο. 25

35 Κεφάλαιο 4: Αποτέλεσμα Κεφάλαιο 4 : Αποτελέσματα 4.1 Εισαγωγή Στο παρόν κεφάλαιο θα παρουσιαστούν τα αποτελέσματα που εξάχθηκαν από τους διάφορους ελέγχους κατά την διάρκεια και μετά το τέλος της εργασίας. Στο υποκεφάλαιο 4.2 θα γίνει έλεγχος των επιμέρους συναρτήσεων που χρησιμοποιήθηκαν κατά την κωδικοποίηση και αποκωδικοποίηση του σήματος, ενώ στο τέλος του υποκεφαλαίου θα γίνει και μια περιγραφή του τρόπου δημιουργίας της τράπεζας φίλτρων. Ακολούθως, στο υποκεφάλαιο 4.3 παρουσιάζονται τα αποτελέσματα σύγκρισης του σήματος στην είσοδο του κωδικοποιητή με αυτό στην έξοδο του αποκωδικοποιητή, τόσο στο χρόνο όσο και στη συχνότητα. 4.2 Έλεγχος Συναρτήσεων STFT και istft Ο μετασχηματισμός Fourier μικρής διάρκειας (STFT ) είναι ένα απαραίτητο εργαλείο, το οποίο χρησιμοποιείται ώστε επεξεργασία του σήματος να γίνεται γρήγορα. Είναι, επομένως, αναγκαίο τόσο ο μετασχηματισμός STFT όσο και ο αντίστροφός του να μην αλλοιώνει το σήμα. Για τον έλεγχο αυτό, θα πρέπει να γίνει η σύγκριση ενός σήματος εισόδου με το τελικό σήμα που θα δημιουργηθεί στην έξοδο όταν η μόνη επεξεργασία που θα δεχθεί το σήμα είναι η μετάβασή του από τον μετασχηματισμό STFT και τον αντίστροφό του. Τα αποτελέσματα του ελέγχου αυτού παρουσιάζονται στο Σχήμα 4.1, όπου στην αριστερή στήλη, (σχήματα (a), (c) και (e)) απεικονίζεται το αριστερό κανάλι του στερεοφωνικού σήματος και αντίστοιχα στη δεξιά στήλη (τα σχήματα (b), (d) και (g)) απεικονίζεται το δεξί κανάλι του στερεοφωνικού σήματος. Στη πρώτη γραμμή, στο Σχήμα 4.1, (a)+(b) απεικονίζεται το σήμα εισόδου όπως φτάνει στην είσοδο, στη 26

36 Κεφάλαιο 4: Αποτέλεσμα δεύτερη γραμμή, στα σχήματα (c) και (d) απεικονίζεται το σήμα στην έξοδο του αποκωδικοποιητή μετά το τέλος της επεξεργασίας. Επειδή τα δύο αυτά σχήματα δεν αρκούν για να εξαχθούν συμπεράσματα, στην τρίτη γραμμή του σχήματος (σχήματα (e) και (g)) απεικονίζεται η διαφορά του σήματος εισόδου από το σήμα εξόδου. Σχήμα 4.1: Τα δύο κανάλια του στερεοφωνικού σήματος πριν και μετά την επεξεργασία και η διαφορά τους. Από τη διαφορά των σημάτων φαίνεται ότι ο μετασχηματισμός STFT δεν αλλοιώνει το σήμα κατά την επεξεργασία. Από την διαφορά των δύο σημάτων, όπου παρουσιάζεται ένα μηδενικό σήμα, μπορούμε εύκολα να καταλήξουμε στο συμπέρασμα ότι ο μετασχηματισμός STFT και ο αντίστροφός του που χρησιμοποιήθηκε, δεν αλλοιώνει το σήμα κατά την επεξεργασία Συνάρτηση Υπολογισμού Παραμέτρων Οι ενδο-καναλικές παράμετροι, οι οποίοι υπολογίζονται κατά την κωδικοποίηση του σήματος και χρησιμοποιούνται στην αποκωδικοποίηση για την επαναδημιουργία των καναλιών παίζουν, ίσως, τον πιο σημαντικό ρόλο στην κωδικοποίηση αμφοιωτικών παραμέτρων. Είναι, λοιπόν, σημαντικό να γίνει έλεγχος ότι οι παράμετροι αυτοί υπολογίζονται σωστά. Για τον έλεγχο αυτό, θα πρέπει να χρησιμοποιηθούν γνωστά σήματα για είσοδο και για το δεξί και για το αριστερό κανάλι, για τα οποία οι ακουστικές παράμετροι να είναι γνωστές από πριν. Στη συνέχεια, θα παρουσιαστούν τα αποτελέσματα των ελέγχων κατά τον υπολογισμό των παραμέτρων στο πεδίο του χρόνο και στο πεδίο της συχνότητας. Πρέπει, επίσης, να σημειωθεί ότι οι έλεγχοι που ακολουθούν έγιναν για υπολογισμούς σε παράθυρα σημάτων χωρίς τη χρήση τράπεζας φίλτρων. 27