Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ: ΕΡΓΑΣΤΗΡΙΟ Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών Ηλία Κομπογιάννη του Απόστολου Αριθμός Μητρώου: 6545 Θέμα «Αυτόματο Σύστημα Εκμάθησης Μουσικών Οργάνων» Επιβλέπων Αναπληρωτής Καθηγητής Δερματάς Ευάγγελος Αριθμός Διπλωματικής Εργασίας: Πάτρα, Δεκέμβριος 2013

2

3 ΠΙΣΤΟΠΟΙΗΣΗ Πιστοποιείται ότι η Διπλωματική Εργασία με θέμα «Αυτόματο Σύστημα Εκμάθησης Μουσικών Οργάνων» Του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Ηλίας Κομπογιάννη του Απόστολου Αριθμός Μητρώου:6545 Παρουσιάστηκε δημόσια και εξετάστηκε στο Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών στις.../../ Ο Επιβλέπων Ο Διευθυντής του Τομέα Δερματάς Ευάγγελος Αναπληρωτής Καθηγητής Φακωτάκης Νικόλαος Καθηγητής Αριθμός Διπλωματικής Εργασίας:

4 Θέμα: «Αυτόματο Σύστημα Εκμάθησης Μουσικών Οργάνων» Φοιτητής: Κομπογίαννης Ηλίας Επιβλέπων: Αναπληρωτής Καθηγητής Δερματάς Ευάγγελος

5 Περίληψη Ο σκοπός της παρούσας διπλωματικής είναι η κατασκευή ενός συστήματος εκμάθησης μουσικών οργάνων. Συγκεκριμένα, στα πλαίσια της διπλωματικής αυτής μελετήθηκε το όργανο της κιθάρας. Αυτό επετεύχθη με την βοήθεια του Matlab software όπου έχουμε το πρωτότυπο κομμάτι μουσικής και το κομμάτι το οποίο παίζει ο μαθητής και κάνουμε την σύγκριση μεταξύ των δύο. Για να γίνει αυτό όμως πρέπει να γίνουν κάποια βήματα προηγουμένως. Αρχικά, εντοπίζουμε σε ποιο χρονικό σημείο παίζονται οι νότες, δηλαδή βρίσκουμε τα onset points. Έπειτα, καθορίζουμε ποια νότα παίζεται στα αντίστοιχα χρονικά σημεία, το οποίο επιτυγχάνεται με την Harmonic Product Spectrum μέθοδο όπου βρίσκουμε την θεμελιώδη συχνότητα. Τέλος, καθορίζουμε με ποια κριτήρια θα γίνει η σύγκριση και τι αποτελέσματα θα παρέχουμε. Abstract The purpose of this project is the construction of a musical-ιnstrument learning system. Specifically, in the context of this thesis, we studied the guitar. This was achieved with the help of Matlab software where we define the original music track and the track played by the student and make the comparison between the two. To do this, however, we must take some steps. First, we identify the time which the notes are played, that is to say we find the onset points. Then, we determine what note is played in the respective time points, which is obtained by the Harmonic Product Spectrum method, where we find the fundamental frequency. Finally, we determine the comparison criteria and what results are provided. 5

6 ΠΕΡΙΕΧΟΜΕΝΑ 1. Ήχος Ηχητικό κύμα Πεδίο Συχνότητας Μετασχηματισμός Fourier Βασικές ιδιότητες μετασχηματισμούfourier Διακριτός Μετασχηματισμός Fourier (DFT) Ντεσιμπέλ SNR Κιθάρα Ψηφιοποίηση και Επεξεργασία Ήχου PCM Sampling Sampling Rate Θεώρημα Δειγματοληψίας Κβαντοποίηση και Bit Depth Bit Rate Θεωρητικό Υπόβαθρο και Μέθοδοι Αρμονικές Harmonic Product Spectrum Maximum Likelihood Window Functions Onset Detection Point Εύρεση Σφαλμάτων Note Alignment Εισαγωγή Υπολογισμός Local Distance Dynamic Time Warping Hidden Markov Models Viterbi Αποκωδικοποίηση

7 3.6 Chromagrams Επεξήγηση Προγράμματος Πρόγραμμα main.m 5.2 PitchDetection.m 5.3 OnsetDetectionEnergy.m 5.4 ConstructOnsetPoints.m 5.5 FFT.m 5.6 HPS.m 5.7 ErrorChecking.m 5.8 NoteMisplayCheck.m 5.9 ConstructResultsArray.m 6. Βιβλιογραφία

8 1. Ήχος Στο κεφάλαιο αυτό αναλύεται το τι είναι ο ήχος, τα χαρακτηριστικά του, το όργανο της κιθάρας και εξετάζεται η διαδικασία της ψηφιοποίησης του ήχου. Ο ήχος είναι η αίσθηση που προκαλείται λόγω της διέγερσης των αισθητηρίων οργάνων της ακοής από μεταβολές πίεσης του ατμοσφαιρικού αέρα. Αυτές οι μεταβολές διαδίδονται με τη μορφή ηχητικών κυμάτων. Πολλές φορές στην πράξη, ο όρος χρησιμοποιείται ως ταυτόσημος με την έννοια των ηχητικών κυμάτων - για παράδειγμα, συνηθίζεται η έκφραση διάδοση του ήχου (αντί του ορθότερου διάδοση των ηχητικών κυμάτων). Τα ηχητικά κύματα παράγονται από σώματα που εκτελούν μηχανικές ταλαντώσεις (δονήσεις), και επομένως χαρακτηρίζονται ως μηχανικά κύματα (ελαστικότητας) που μεταφέρουν μηχανική ενέργεια. Για τη μετάδοση των κυμάτων είναι απαραίτητη η ύπαρξη κάποιου υλικού μέσου μεταξύ πομπού και δέκτη. Το μέσο μπορεί να βρίσκεται σε οποιαδήποτε κατάσταση ύλης - στερεό, υγρό, αέριο ή πλάσμα - καθώς ο ήχος δεν διαδίδεται στο απόλυτο κενό. Όταν, εξαιτίας κάποιου ερεθίσματος, δημιουργηθεί μια μορφή διατάραξης στο υλικό μέσο, τότε τα μετατοπισμένα μόρια ύλης ασκούν δυνάμεις στα γειτονικά μόρια, αναγκάζοντάς τα να έλθουν εκτός θέσης ισορροπίας. Με αυτό τον τρόπο η διατάραξη ταξιδεύει στο μέσο - το φαινόμενο ονομάζεται διάδοση. Ένα ηχητικό κύμα χαρακτηρίζεται από φυσικές ιδιότητες όπως συχνότητα, περίοδος, μήκος κύματος, πλάτος ταλάντωσης, χρόνος και κυματομορφή. Από αυτές τις ιδιότητες πηγάζουν τέσσερα χαρακτηριστικά που αποσκοπούν στην περιγραφή ενός ήχου από μουσικοακουστικής προσέγγισης και είναι τα εξής: ύψος, ένταση, διάρκεια και χροιά Η συχνότητα εκφράζει την ταχύτητα ταλάντωσης και μετράται σε κύκλους ανά δευτερόλεπτο (Hertz, Hz). Γρηγορότερες ταλαντώσεις επιφέρουν υψηλότερους - οξύτερους - ήχους, ενώ βραδύτερες ταλαντώσεις επιφέρουν χαμηλότερους - βαρύτερους - ήχους. Ο μουσικά εξειδικευμένος όρος 'ύψος' δηλώνει πόσο υψηλός ή χαμηλός είναι ένας ήχος, χαρακτηριστικό που εξαρτάται από την έντονη παρουσία περιοδικών ταλαντώσεων. 8

9 Ως ένταση αποκαλείται το πόσο ισχυρή ή ασθενής είναι η ταλάντωση ενός σώματος. Πλατύτερες ταλαντώσεις επιφέρουν ηχητικά κύματα με μεγαλύτερη ένταση, σε σύγκριση με ταλαντώσεις μικρότερου πλάτους των οποίων το προϊόν είναι ήχοι ασθενέστεροι. Η διάρκεια ορίζει τον συνολικό χρόνο για τον οποίο ένας ήχος γίνεται αντιληπτός. Ένας ήχος είναι πιο μακρύς από έναν άλλο, βραχύτερο, όταν η αντιληπτή διάρκεια είναι συγκριτικά μεγαλύτερη. Με βάση την κυματομορφή, οι ήχοι ταξινομούνται σε απλούς ή σύνθετους, και σε περιοδικούς ή μη περιοδικούς - το ημιτονοειδές κύμα είναι ένα παράδειγμα απλού και περιοδικού ηχητικού κύματος, ενώ ο λευκός θόρυβος είναι ήχος σύνθετος και μή περιοδικός. Από την κυματομορφή ενός ήχου πηγάζει το χαρακτηριστικό της χροιάς, το οποίο και εκφράζει την ποιότητα ενός ηχητικού κύματος - πρόκειται για το χαρακτηριστικό εκείνο που προσδιορίζει την ταυτότητα της ηχητικής πηγής και κάνει εφικτό τον διαχωρισμό μεταξύ δύο διαφορετικών ηχητικών πηγών. Η αντίληψη του ήχου σε οποιονδήποτε οργανισμό περιορίζεται σε ένα ορισμένο φάσμα συχνοτήτων. Για τους ανθρώπους, η ακοή συνήθως περιορίζεται σε συχνότητες μεταξύ 20 Hz και Hz (20 khz), αν και αυτά τα όρια δεν είναι συγκεκριμένα. Το άνω όριο γενικά μειώνεται με την ηλικία. Άλλα είδη έχουν διαφορετικό φάσμα της ακοής. Για παράδειγμα, τα σκυλιά μπορούν να αντιλαμβάνονται δονήσεις υψηλότερες από 20 khz, αλλά είναι κωφοί σε οτιδήποτε κάτω από 40 Hz. Ως ένα σήμα αντιληπτό από μία από τις σημαντικότερες αισθήσεις, ο ήχος χρησιμοποιείται από πολλά είδη για την ανίχνευση κινδύνου, πλοήγηση, θήρευση, και επικοινωνία. Η ατμόσφαιρα, το νερό, και σχεδόν κάθε φυσικό φαινόμενο της Γης, όπως η φωτιά, η βροχή, ο άνεμος ή ο σεισμός, παράγουν (και χαρακτηρίζεται από) μοναδικούς ήχους της. Πολλά είδη, όπως βατράχια, πουλιά, θαλάσσια και χερσαία θηλαστικά, έχουν επίσης αναπτύξει ειδικά όργανα για να παράγουν ήχο. Σε ορισμένα είδη, αυτά παράγουν το τραγούδι και την ομιλία. Επιπλέον, οι άνθρωποι έχουν αναπτύξει τον πολιτισμό και την τεχνολογία (όπως η μουσική, τηλέφωνο και ραδιόφωνο), που τους επιτρέπει να δημιουργούν, να καταγράφουν, να μεταδίδουν και να εκπέμπουν ήχο. Η επιστημονική μελέτη της ανθρώπινης αντίληψης ήχου είναι γνωστό ως ψυχοακουστική. 9

10 1.1 Ηχητικό Κύμα Το απλούστερο είδος ηχητικού κύματος είναι ένα ημιτονοειδές κύμα. Καθαρά ημιτονοειδή κύματα σπάνια υπάρχουν στον φυσικό κόσμο, αλλά είναι ένα χρήσιμο μέρος για αρχή, επειδή όλοι οι άλλοι ήχοι μπορούν να αναλύονται σε συνδυασμούς των ημιτονοειδών κυμάτων. Ένα ημιτονοειδές κύμα καταδεικνύει σαφώς τα τρία βασικά χαρακτηριστικά ενός κύματος ήχου: τη συχνότητα, το πλάτος και τη φάση. Σχήμα 1.1: Αναπαράσταση ενός κύματος στον χρόνο Η συχνότητα είναι ο ρυθμός, ή ο αριθμός των φορών ανά δευτερόλεπτο, που το ηχητικό κύμα πάει από θετικό σε αρνητικό σε θετικό πάλι. Η συχνότητα μετριέται σε κύκλους ανά δευτερόλεπτο ή Hertz (Hz). Το πλάτος (ή ένταση) αναφέρεται στην ισχύ ενός ηχητικού κύματος, το οποίο το ανθρώπινο αυτί ερμηνεύει την ένταση. Οι άνθρωποι μπορούν να ανιχνεύσουν ένα πολύ ευρύ φάσμα εντάσεων, από τον ήχο μιας ρίψης καρφίτσας σε ένα ήσυχο δωμάτιο σε μια δυνατή ροκ συναυλία. Επειδή το εύρος της ανθρώπινης ακοής είναι τόσο μεγάλος, οι μετρητές ήχου χρησιμοποιούν λογαριθμική κλίμακα (ντεσιμπέλ) για να κάνουν τις μονάδες μέτρησης πιο εύχρηστές Η φάση συγκρίνει το χρονισμό μεταξύ δύο παρόμοιων ηχητικών κυμάτων. Εάν δύο περιοδικά ηχητικά κύματα της ίδιας συχνότητας αρχίζουν ταυτόχρονα, τα δύο κύματα λέγεται ότι είναι σε φάση. Η φάση μετριέται σε μοίρες από 0 έως 360, όπου οι 0 μοίρες σημαίνει ότι και οι δύο ήχοι είναι ακριβώς σε συγχρονισμό (σε φάση) και οι 180 μοίρες σημαίνει ότι και οι δύο ήχοι είναι ακριβώς το αντίθετο (εκτός φάσης). Όταν δύο ήχοι που βρίσκονται σε φάση προστίθενται μαζί, ο συνδυασμός κάνει ένα ακόμη ισχυρότερο αποτέλεσμα. Όταν οι δύο 10

11 ήχοι που είναι εκτός φάσης προστίθενται μαζί, οι αντιτιθέμενες πιέσεις αέρα αλληλοεξουδετερώνονται, με αποτέλεσμα λίγο ή καθόλου ήχο. Αυτό είναι γνωστό ως ακύρωση φάση. Η ακύρωση φάσης μπορεί να είναι πρόβλημα κατά την ανάμιξη παρόμοιων ακουστικά σήματα, ή όταν αρχικά και αντανακλώμενα ηχητικά κύματα αλληλεπιδρούν σε ένα δωμάτιο με ανακλαστικές επιφάνειες. Για παράδειγμα, όταν τα αριστερά και δεξιά κανάλια μιας στερεοφωνικής μίξης συνδυάζονται για να δημιουργήσουν μία μονοφωνική μίξη, τα σήματα μπορεί να υποφέρουν από ακύρωση φάσης. Μπορούμε και πρακτικά σε ένα κομμάτι να δούμε την κυματομορφή του ήχου στο πεδίο του χρόνου: Σχήμα 1.2 : Η κυματομορφή ενός πεντάλεπτου τραγουδιού. 11

12 Σχήμα 1.3 : Η κυματομορφή σε διάστημα ενός δευτερολέπτου. Σχήμα 1.4 : Η κυματομορφή σε διάστημα 100ms. 12

13 1.2.1 Πεδίο Συχνότητας Με εξαίρεση τα καθαρά ημιτονοειδή κύματα, οι ήχοι αποτελούνται από πολλές διαφορετικές συνιστώσες συχνότητας που ταλαντώνονται ταυτόχρονα. Τα ιδιαίτερα χαρακτηριστικά του ήχου είναι το αποτέλεσμα του μοναδικού συνδυασμού των συχνοτήτων που περιέχει. Οι ήχοι περιέχουν ενέργεια σε διαφορετικές περιοχές συχνοτήτων, ή ζώνες. Εάν ένας ήχος έχει πολλή χαμηλής συχνότητας ενέργεια, έχει πολύ μπάσο. Η ζώνη συχνοτήτων Hz, όπου οι άνθρωποι ακούνε καλύτερα, περιγράφεται ως μεσαία ζώνη. Η υψηλής συχνότητας ενέργεια πέρα από την μεσαία ονομάζεται πρίμα. Η ανθρώπινη φωνή παράγει ήχους που είναι ως επί το πλείστον στην περιοχή Hz, η οποία πιθανότατα εξηγεί γιατί τα αυτιά των ανθρώπων είναι και πιο ευαίσθητα σε αυτό το εύρος. Οι μουσικοί ήχοι έχουν συνήθως μια συνηθισμένη συχνότητα, το οποίο το ανθρώπινο αυτί ακούει ως pitch του ήχου. Το pitch εκφράζεται με μουσικές νότες, όπως ντο, μι, και φα δίεση (ή αντίστοιχα C, E, F#). Το pitch είναι συνήθως μόνο το χαμηλότερο, ισχυρότερο μέρος του ηχητικού κύματος, που ονομάζεται θεμελιώδης συχνότητα. Κάθε μουσικός ήχος έχει επίσης υψηλότερα, πιο απαλά μέρη που ονομάζονται αρμονικές, οι οποίες εμφανίζονται σε τακτά πολλαπλάσια της θεμελιώδους συχνότητας. Το ανθρώπινο αυτί δεν ακούει τις αρμονικές ως ξεχωριστές θέσεις, αλλά ως ο τόνο του χρώματος (που ονομάζεται επίσης η χροιά) του ήχου, η οποία επιτρέπει στο αυτί να διακρίνει ένα όργανο ή φωνή από την άλλη, ακόμα και όταν και οι δύο παίζουν την ίδια νότα με την ίδια ένταση. Η μετάβαση από το πεδίο του χρόνου στο πεδίο της συχνότητας γίνεται με την βοήθεια του μετασχηματισμού Fourier. 13

14 Σχήμα 1.5 : Πεδίο συχνότητας ενός κομματιού Μετασχηματισμός Fourier Ο μετασχηματισμός Fourier, το όνομά του οποίου προήλθε από τον Joseph Fourier, είναι ένας μαθηματικός μετασχηματισμός με πολλές εφαρμογές στη φυσική και την μηχανική. Πολύ συχνά μετατρέπει μια μαθηματική συνάρτηση του χρόνου, f(t), σε μια νέα συνάρτηση,που μερικές φορές συμβολίζεται με ή F, των οποίων η μονάδα μέτρησής τους είναι η συχνότητα με την οποία εμφανίζουν μονάδες κύκλου / δευτερόλεπτο ( Hertz ) ή ακτίνια ανά δευτερόλεπτο. Η νέα συνάρτηση είναι τότε γνωστή ως μετασχηματισμός Fourier ή και ως φάσμα συχνοτήτων της συνάρτησης f. Ο μετασχηματισμός Fourier είναι επίσης μια αντίστροφη συνάρτηση. Έτσι, με δεδομένη την συνάρτηση μπορεί να προσδιοριστεί η αρχική συνάρτηση, f. Οι f και είναι, επίσης, αντίστοιχα, γνωστές ως πεδίο του χρόνου και της συχνότητας, αναπαραστάσεις του ίδιου «γεγονότος».τις περισσότερες φορές ίσως, η f είναι μια μιγαδική συνάρτηση, όπου ένας μιγαδικός αριθμός περιγράφει τόσο το πλάτος όσο και τη φάση της αντίστοιχης συνιστώσας συχνότητας. Σε γενικές γραμμές, η f είναι επίσης σύνθετη, όπως η αναλυτική αναπαράσταση μιας πραγματικής συνάρτησης. Ο όρος "μετασχηματισμός Fourier" αναφέρεται τόσο στην συνάρτηση μετασχηματισμού όσο και στην μιγαδική συνάρτηση που παράγει.[12] Υπάρχουν πολλές κοινές συμβάσεις για τον καθορισμό του μετασχηματισμού Fourier ƒ μιας ολοκληρώσιμης συνάρτησης f : R C. Μια από τις πιο γνωστές είναι: 14

15 , για κάθε πραγματικό αριθμό ξ. Όταν η ανεξάρτητη μεταβλητή x αντιπροσωπεύει το χρόνο (με το SI μονάδα δευτερολέπτου ), ο μετασχηματισμός της μεταβλητής ξ αντιπροσωπεύει τη συχνότητα (σε Hertz ). Υπό κατάλληλες συνθήκες, η f προσδιορίζεται από την f(x) μέσω του αντίστροφου μετασχηματισμού : για κάθε πραγματικό αριθμό x Βασικές ιδιότητες μετασχηματισμού Fourier Υποθέσουμε ότι f(x), g(x) και h(x) είναι ολοκληρώσιμες συναρτήσεις και ικανοποιούν την συνθήκη: Επίσης, θεωρούμε τους μετασχηματισμούς Fourier των συναρτήσεων, και αντίστοιχα.[12] 15

16 Γραμμικότητα (Linearity) Για οποιουσδήποτε μιγαδικούς αριθμούς a και b, αν h(x) = af(x) + bg(x), τότε x0 Μετατόπιση (Translation) Για κάθε πραγματικό αριθμό τότε Μετατόπιση ως προς συχνότητα (Modulation) Για κάθε πραγματικό αριθμό ξ0, αν Αλλαγή κλίμακας (Scaling) Για ένα μη μηδενικό πραγματικό αριθμό a, αν h(x) = f(ax), τότε Η περίπτωση a= 1 οδηγεί στο χρόνο αναστροφής ο οποίος αναφέρει: αν h(x) = f( x), τότε 16

17 Θεώρημα συνέλιξης Ο μετασχηματισμός Fourier μεταφράζεται μεταξύ έλικας και πολλαπλασιασμού των συναρτήσεων. Αν f(x) και g(x) είναι ολοκληρώσιμες συναρτήσεις με μετασχηματισμό Fourier και αντίστοιχα, τότε ο μετασχηματισμός Fourier της ανελίξεως δίνεται από το γινόμενο των μετασχηματισμών Fourier (υπό άλλες συνθήκες για τον ορισμό του μετασχηματισμού Fourier μπορεί να εμφανιστεί ένας σταθερός παράγοντας). Αυτό σημαίνει ότι, εάν: Τότε Διακριτός Μετασχηματισμός Fourier (DFT) Στα μαθηματικά, ο διακριτός μετασχηματισμός Fourier ( DFT ) μετατρέπει μια πεπερασμένη λίστα ισαπέχοντων δειγμάτων μιας συνάρτησης σε μια λίστα συντελεστών ενός πεπερασμένου συνδυασμού μιγαδικών ημιτονοειδών καμπυλών, αναλόγως με τις συχνότητες τους, που έχουν τις ίδιες τιμές του δείγματος. Τα δείγματα εισόδου είναι μιγαδικοί αριθμοί (στην πράξη, συνήθως πραγματικοί αριθμοί ), και οι συντελεστές εξόδου είναι μιγαδικοί επίσης. Οι συχνότητες των ημιτονοειδών εξόδου είναι ακέραια πολλαπλάσια της θεμελιώδους συχνότητας, της οποίας η αντίστοιχη περίοδος είναι το μήκος του διαστήματος δειγματοληψίας. Ο συνδυασμός ημιτονοειδών που λαμβάνονται μέσω του DFT είναι ως εκ τούτου περιοδικά με την ίδια περίοδο. Ο DFT είναι ο πιο σημαντικός διακριτός μετασχηματισμός, που χρησιμοποιείται για να εκτελέσει ανάλυση Fourier σε πολλές πρακτικές εφαρμογές. Στην ψηφιακή επεξεργασία σήματος, η λειτουργία είναι οποιαδήποτε ποσότητα ή σήμα χρονικώς μεταβαλλόμενο, όπως η πίεση, ένα ηχητικό κύμα, ένα ραδιόφωνο σήματος, ή στις καθημερινές μετρήσεις της θερμοκρασίας, δειγματοληψία επί ενός πεπερασμένου χρονικού διαστήματος (συχνά ορίζεται από μία συνάρτηση παραθύρου ). 17

18 Δεδομένου ότι ασχολείται με μια πεπερασμένη ποσότητα δεδομένων, μπορεί να εφαρμοστεί σε αριθμητικούς αλγορίθμους σε υπολογιστές. Αυτές οι εφαρμογές συνήθως, χρησιμοποιούν αποδοτικούς FFT (Fast Fourier Transform) αλγορίθμους, τόσο πολύ έτσι ώστε οι όροι FFT και DFT, συχνά χρησιμοποιούνται εναλλακτικά. 1.3 Ντεσιμπέλ (Decibel) Το ανθρώπινο αυτί είναι εξαιρετικά ευαίσθητο σε δονήσεις στον αέρα. Το όριο της ανθρώπινης ακοής είναι περίπου 20 micropascals (μρ), το οποίο είναι ένα εξαιρετικά μικρό ποσό της ατμοσφαιρικής πίεσης. Στο άλλο άκρο, ο δυνατότερος ήχος που ένα άτομο μπορεί να αντέξει χωρίς πόνο ή βλάβη στο αυτί είναι περίπου μp: για παράδειγμα, μια δυνατή ροκ συναυλία ή ένα κοντινό αεροπλάνο τζετ που απογειώνεται. Επειδή το ανθρώπινο αυτί μπορεί να χειριστεί ένα τόσο μεγάλο εύρος εντάσεων, η μέτρηση των επιπέδων ηχητικής πίεσης σε γραμμική κλίμακα είναι άβολο. Για να γίνει αυτό το τεράστιο εύρος των αριθμών ευκολότερο στην επεξεργασία, μια λογαριθμική μονάδα χρησιμοποιείται, το ντεσιμπέλ. Οι λογάριθμοι απεικονίζουν εκθετικές τιμές σε γραμμική κλίμακα. Για παράδειγμα, με τη λήψη της βάσης δέκα λογάριθμος του 10 (101) και (109), αυτό το μεγάλο εύρος των αριθμών μπορεί να γραφτεί ως 1-9, η οποία είναι μια πολύ πιο βολική κλίμακα. Επειδή το αυτί αντιλαμβάνεται την ηχητική πίεση λογαριθμικά, χρησιμοποιώντας μια λογαριθμική κλίμακα αντιστοιχεί στον τρόπο που οι άνθρωποι αντιλαμβάνονται ένταση. Οι μετρητές ήχου και ηχητικός εξοπλισμός μέτρησης είναι ειδικά σχεδιασμένοι για να δείχνουν τα επίπεδα ήχου σε ντεσιμπέλ. Μικρές αλλαγές στο κάτω μέρος ενός ακουστικού μετρητή μπορεί να αντιπροσωπεύουν μεγάλες αλλαγές στο επίπεδο του σήματος, ενώ οι μικρές αλλαγές προς την κορυφή μπορεί να αντιπροσωπεύουν μικρές αλλαγές στη στάθμη του σήματος. Αυτό καθιστά τους μετρητές ήχου πολύ διαφορετικούς από τις γραμμικές συσκευές μέτρησης όπως χάρακες, θερμόμετρα, και ταχύμετρα. Κάθε μονάδα σε ένα μετρητή ήχου αντιπροσωπεύει μια εκθετική αύξηση της ηχητικής πίεσης, αλλά μια αντιληπτή γραμμική αύξηση στην ένταση του ήχου. 18

19 Το ντεσιμπέλ μέτραει επίπεδα ηχητικής πίεσης ή ηλεκτρικής πίεσης (τάση). Είναι μια λογαριθμική μονάδα που περιγράφει την αναλογία δύο εντάσεων, όπως δύο διαφορετικές πιέσεις ήχου, δύο διαφορετικές τάσεις, και ούτω καθεξής. Ένα bel (το όνομά του από τον Alexander Graham Bell) είναι ένας λογάριθμος με βάση δέκα του λόγου μεταξύ των δύο σημάτων. Αυτό σημαίνει ότι για κάθε επιπλέον Bel στην κλίμακα, η εκπροσωπείται σήμα είναι δέκα φορές ισχυρότερη. Για παράδειγμα, το επίπεδο ηχητικής πίεσης ένος δυνατού ήχου μπορεί να είναι δισεκατομμύρια φορές ισχυρότερο από ένα σιγανό. Τα ντεσιμπέλ κάνουν πιο εύκολη την διαδικασία επεξεργασίας αριθμητικά. 1.4 Λόγος σήματος προς θόρυβο (Signal-to-noise ratio ή SNR) Κάθε ηλεκτρικό σύστημα παράγει ένα ορισμένο ποσό χαμηλού επιπέδου ηλεκτρικής δραστηριότητας που ονομάζεται θόρυβος. Το επίπεδο θορύβου είναι το επίπεδο του εγγενή θορύβου σε ένα σύστημα. Είναι σχεδόν αδύνατο να εξαλειφθεί όλος ο θόρυβος σε ένα ηλεκτρικό σύστημα. Το SNR είναι ένα μέτρο που χρησιμοποιείται και συγκρίνει το επίπεδο του επιθυμητού σήματος ώς προς το επίπεδο του θορύβου. Ορίζεται ως ο λόγος της ισχύος του σήματος ως προς την ισχύ θορύβου, που εκφράζεται συχνά σε decibels. Μια αναλογία μεγαλύτερη από 1:1 (μεγαλύτερη από 0 db) σημαίνει περισσότερο σήμα από θόρυβο. Αν και το SNR είναι διαδεδομένο για ηλεκτρικά σήματα, μπορεί να εφαρμοστεί σε οποιαδήποτε μορφή σήματος. Το SNR χρησιμοποιείται μερικές φορές άτυπα για να αναφέρει την αναλογία των χρήσιμων πληροφοριών προς ψευδή ή άσχετα δεδομένα σε μια συνομιλία ή ανταλλαγή. Για παράδειγμα, στα διαδικτυακά forums ή σε άλλες online κοινότητες, τα off-topic posts και το spam θεωρούνται ως "θόρυβος" που παρεμποδίζει το «σήμα» της κατάλληλης συζήτησης. Το SNR ορίζεται ως ο λόγος ισχύος μεταξύ ενός σήματος (ουσιαστικές πληροφορίες) και τον θόρυβο (ανεπιθύμητο σήμα): 19

20 όπου P η μέση ισχύς. Τόσο η ισχύς σήματος όσο και η ισχύς θορύβου πρέπει να μετρούνται στα ίδια ή ισοδύναμα σημεία σε ένα σύστημα, και μέσα στο ίδιο εύρος ζώνης του συστήματος. Εάν το σήμα και ο θόρυβος έχουν μετρηθεί ως προς την ίδια σύνθετη αντίσταση, τότε το SNR μπορεί να ληφθεί με τον υπολογισμό του τετράγωνου του λόγου του πλάτους: όπου το Α είναι το μέσης τετραγωνικής ρίζας (RMS) πλάτος (για παράδειγμα, RMS τάσης). Επειδή πολλά σήματα έχουν πολύ μεγάλο δυναμικό εύρος, τα SNRs συχνά εκφράζονται με τη λογαριθμική κλίμακα ντεσιμπέλ. Σε ντεσιμπέλ, το SNR ορίζεται ως: Το οποίο μπορεί να γραφτεί ισοδύναμα ως προς τα πλάτη: Οι έννοιες του λόγου SNR και του δυναμικού εύρους συνδέονται στενά. Το δυναμικό εύρος μετρά τον λόγο μεταξύ του πιο δυνατού μη παραμορφωμένου σήματος σε ένα κανάλι και το ελάχιστο διακριτό σήμα, το επίπεδο θορύβου. Το SNR μετρά τον λόγο μεταξύ ενός αυθαίρετου επιπέδου σήματος (όχι απαραίτητα το πιο ισχυρό σήμα δυνατόν) και του θορύβου. Η 20

21 μέτρηση του λόγου σήματος προς θόρυβο απαιτεί την επιλογή ενός αντιπροσωπευτικού σήματος ή σήμα αναφοράς. Στην τεχνολογία ήχου, το σήμα αναφοράς είναι συνήθως ένα ημιτονοειδές κύμα σε ένα τυποποιημένο ονομαστικό επίπεδο. 1.5 Κιθάρα Για τις ανάγκες της παρούσας διπλωματικής γίνεται η παραδοχή ότι το όργανο το οποίο θα χρησιμοποιηθεί είναι η κιθάρα. Σχήμα 1.6: Το όργανο της κιθάρας Η κιθάρα είναι ένα έγχορδο όργανο, παραδοσιακά κατασκευασμένο από ξύλο και χορδές 21

22 από νάιλον ή χάλυβα και διακρίνονται από άλλα έγχορδα με την κατασκευή και υφή του. Υπάρχουν τρεις κύριοι τύποι της σύγχρονης ακουστική κιθάρα: η κλασική κιθάρα (νάιλον χορδές), η ακουστική κιθάρα (χαλύβδινες χορδές), και η archtop κιθάρα. Ο τόνος μιας ακουστικής κιθάρας παράγεται από τη δόνηση των χορδών, το οποίο ενισχύεται από το σώμα της κιθάρας, το οποίο δρα ως αντηχείο. Η κλασική κιθάρα παίζεται συχνά ως σόλο 5ης όργανο χρησιμοποιώντας την fingerpicking τεχνική. Η κιθάρα ξεκινάει από την E της δεύτερης οκτάβας και φτάνει μέχρι το 19ο fret της πρώτης χορδής, την Β της οκτάβας (κάνουμε την παραδοχή αυτή καθώς προφανώς υπάρχει διαφορά του αριθμού των frets από κιθάρα σε κιθάρα). Απ ότι βλέπουμε από τον παρακάτω πίνακα, η κιθάρα αποτελείται από 44 νότες και το range των συχνοτήτων κυμαίνεται από Hz έως Hz ή διαφορετικά το μήκος των ηχητικών κυμάτων είναι από sec έως sec. Παρακάτω φαίνονται οι νότες και οι αντίστοιχες συχνότητες τους(βιβλιογραφιά 30) Ε2 F2 ΝΟΤΑ ΣΥΧΝΟΤΗΤΑ ΕΥΡΟΣ 80,06-84,82 ΣΥΧΝΟΤΗΤΩΝ ΣΧΟΛΙΑ F#2 G A#2 A2 G# B2 106,86-113, C C#3 110 D Ε3 142,65-151, F3 D# ,64-179, ,82-89,86 89,86-95,20 Χαμηλότερη νότα κιθάρας 100,87-106,86 95,20-100,87 113,22-119,95 5η 119,95-127,08 χορδή ανοιχτή 127,08-134,64 134,64-142,65 151,13-160,12 4η 160,12-169,64 χορδή ανοιχτή

23 F#3 G#3 G3 A C4 A#3 B C# D# Ε4 D F#4 F G#4 G B4 A C5 A# C#5 440 D Ε5 D# F# G5 F G# A A# B ,73-190,41 190,41-201,74 201,74-213,73 3η 213,73-226,44 χορδή ανοιχτή 226,44-239,91 239,91-254,17 2η 269,29-285,30 254,17-269,29 χορδή ανοιχτή 285,30-302,27 302,27-320,24 320,24-339,28 1η 359,46-380,83 339,28-359,46 χορδή ανοιχτή 403,48-427,47 427,47-452,89 380,83-403,48 452,89-479,82 479,82-508,35 570,60-604,53 508,35-538,58 538,58-570,60 604,53-640,48 640,48-678,57 678,57-718,92 12ο τάστο 1ης 718,92-761,67 χορδής 761,67-806,96 806,96-854,94 959, ,71 854,94-905,78 905,78-959,64 19ο τάστο 1ης χορδής 23

24 1.6. Ψηφιακοποιήση και Επεξεργασία Ήχου Η ψηφιοποίηση του ήχου είναι μια αναγκαιότητα καθώς η επεξεργασία του ήχου γίνεται πολύ πιο εύκολη, ιδιαίτερα με την βοήθεια υπολογιστικών συσκευών. Ο ψηφιακός ήχος είναι χρήσιμος στην εγγραφή, την επεξεργασία, τη μαζική παραγωγή και διανομή του ήχου. Η ψηφιοποίηση γίνεται με την βοήθεια ADC μετατροπέων. Ένα αναλογικό σύστημα ήχου συλλαμβάνει ήχους, και μετατρέπει τις φυσικές κυματομορφές τους σε ηλεκτρικές αναπαραστάσεις αυτών των κυματομορφών με τη χρήση ενός μετατροπέα, όπως ένα μικρόφωνο. Οι ήχοι στη συνέχεια αποθηκεύονται, όπως στην κασσέτα, ή μεταδίδονται. Η διαδικασία αντιστρέφεται για την αναπαραγωγή: το ηχητικό σήμα ενισχύεται και στη συνέχεια να μετατραπεί ξανά σε φυσική κυματομορφές μέσω ενός μεγαφώνου. Ο αναλογικός ήχος διατηρεί τα θεμελιώδή χαρακτηριστικά κύματος κατά την αποθήκευση, τη μετατροπή, την αντιγραφή και την ενίσχυση. Ένας ADC μετατροπέας μέτραει και αποθηκεύει κάθε δείγμα ως αριθμητική τιμή που αντιπροσωπεύει το πλάτος ήχου στην συγκεκριμένη στιγμή. Η μετατροπή του πλάτους του κάθε δείγματος σε έναν δυαδικό αριθμό ονομάζεται κβαντοποίηση (quantization). Ο αριθμός των bit που χρησιμοποιούνται για την κβάντοποίηση αναφέρεται ως bit depth. Ο ρυθμός δειγματοληψίας (sample rate) και το bit depth είναι δύο από τους πιο σημαντικούς παράγοντες για τον προσδιορισμό της ποιότητας ενός ψηφιακού συστήματος ήχου PCM (Pulse-Code Modulation) Το Pulse-Code Modulation (PCM) είναι μια μέθοδος που χρησιμοποιείται για να αντιπροσωπεύσει ψηφιακά, δειγματοληπτημένα αναλογικά σήματα. Είναι η τυπική μορφή του ψηφιακού ήχου σε ηλεκτρονικούς υπολογιστές, CDs, ψηφιακή τηλεφωνία και άλλες ψηφιακές εφαρμογές ήχου. Σε ένα streaming PCM, το πλάτος του αναλογικού σήματος δειγματοληπτείται τακτικά σε ομοιόμορφα διαστήματα, και κάθε δείγμα είναι κβαντισμένο στην πλησιέστερη τιμή του εύρους των ψηφιακών τιμών. Θόρυβος κβαντοποίησης εμφανίζεται σε PCM. 24

25 Τα PCM streams έχουν δύο βασικές ιδιότητες που καθορίζουν την πίστη τους στο αρχικό αναλογικό σήμα: ο ρυθμός δειγματοληψίας, ο αριθμός των φορών ανά δευτερόλεπτο που τα δείγματα λαμβάνονται, και το βάθος bit (bit depth), το οποίο καθορίζει τον αριθμό των πιθανών ψηφιακών τιμών που κάθε δείγμα μπορεί να πάρει Δειγματοληψία (Sampling) Στην επεξεργασία σήματος, δειγματοληψία είναι η αναγωγή ενός συνεχούς σήματος σε ένα διακριτό σήμα και προκύπτει από την καταγραφή των τιμών του συνεχούς σήματος σε μια σειρά από διακριτά και ισαπέχοντα σημεία στο χρόνο. Ένα κοινό παράδειγμα είναι η μετατροπή ενός κύματος ήχου (ένα συνεχές σήμα) σε μία αλληλουχία των δειγμάτων (ένα σήμα διακριτού χρόνου). Στην παρακάτω εικόνα φαίνεται πως λειτουργεί η δειγματοληψία. Έχουμε ένα συνεχές σήμα και παίρνουμε την τιμή του ανά Τ χρονικά διαστήματα, δηλαδή το δειγματοληπτούμε και παίρνουμε τα δείγματα (samples). Σχήμα 1.7: Δειγματοληψία ενός κύματος ανά Τ χρονικά διαστήματα 25

26 fs Ρυθμός δειγματοληψίας (Sampling rate) Ο ρυθμός δειγματοληψίας ή συχνότητα δειγματοληψίας ορίζει τον αριθμό των δειγμάτων ανά μονάδα χρόνου (συνήθως δευτερόλεπτα) που λαμβάνεται από ένα συνεχές σήμα και κάνει ένα διακριτό σήμα. Για σήματα στο πεδίο του χρόνου, η μονάδα για το ποσοστό δειγματοληψίας είναι το Hertz (1/s). Το αντίστροφο της συχνότητας δειγματοληψίας είναι η περίοδος δειγματοληψίας ή διάστημα δειγματοληψίας, η οποία είναι ο χρόνος μεταξύ των δειγμάτων Θεώρημα δειγματοληψίας Nyquist-Shannon Το θεώρημα δειγματοληψίας Nyquist-Shannon ορίζει ότι η τέλεια ανακατασκευή ενός σήματος είναι δυνατή όταν η συχνότητα δειγματοληψίας είναι μεγαλύτερη από το διπλάσιο της μέγιστης συχνότητας του σήματος που δειγματοληπτείται, ή ισοδύναμα, όταν η συχνότητα Nyquist (το μισό του ρυθμού δειγματοληψίας) υπερβαίνει την υψηλότερη συχνότητα το σήμα που δειγματοληπτείται. Εάν χρησιμοποιούνται χαμηλότερα ποσοστά δειγματοληψίας, οι πληροφορίες του αρχικού σήματος μπορεί να μην είναι πλήρως ανακτήσιμες από το δείγματοληπτημένο σήμα. Για παράδειγμα, αν ένα σήμα έχει ένα ανώτερο όριο των 100 Ηz, μία συχνότητα δειγματοληψίας μεγαλύτερη από 200 Ηz θα αποφύγει την αναδίπλωση φάσματος (aliasing) και θα θεωρητικά θα επιτρέπει τέλεια ανακατασκευή. Το πλήρες φάσμα της ανθρώπινης ακοής είναι μεταξύ 20 Hz και 20 khz. Το ελάχιστο ποσοστό δειγματοληψίας που να ικανοποιεί το θεώρημα δειγματοληψίας για το πλήρες εύρος ζώνης είναι 40 khz. Ο ρυθμός δειγματοληψίας 44.1 khz που χρησιμοποιείται για Compact Discs (CDs) επιλέχθηκε για αυτό και άλλoυς τεχνικούς λόγους. Ο ρυθμός δειγματοληψίας 44.1 khz σημαίνει ότι υπαρχουν δείγματα ανά δευτερόλεπτο ή υπάρχει ένα δείγμα ανά 23μs. 26

27 Κβαντοποίηση (Quantization) και Bit Depth (Βάθος bit) Κβαντοποίηση, στα μαθηματικά και την ψηφιακή επεξεργασία του σήματος, είναι η διαδικασία της αντιστοίχισης ενός μεγάλου συνόλου τιμών εισόδου σε ένα μικρότερο σύνολο όπως στρογγυλοποιημένες τιμές σε κάποια μονάδα ακρίβειας. Μια συσκευή ή αλγοριθμική λειτουργία που εκτελεί κβαντοποίηση ονομάζεται κβαντιστής. Το σφάλμα στρογγυλοποίησης που εισάγεται από τον κβαντισμό αναφέρεται ως σφάλμα κβαντισμού. Στην αναλογική προς ψηφιακή μετατροπή, η διαφορά μεταξύ της πραγματικής αναλογικής τιμής και της κβαντισμένης ψηφιακής τιμής ονομάζεται σφάλμα κβαντισμού ή παραμόρφωση κβαντισμού. Αυτό το σφάλμα οφείλεται είτε σε στρογγυλοποιήσεις είτε σε αποκοπή. Το σήμα σφάλματος μερικές φορές θεωρείται ως ένα πρόσθετο τυχαίο σήμα που ονομάζεται θόρυβος κβαντισμού, λόγω της στοχαστικής συμπεριφοράς του. Η κβαντοποίηση εμπλέκεται σε κάποιο βαθμό σε όλες σχεδόν τις ψηφιακές επεξεργασίες σήματος, καθώς η διαδικασία της αναπαράστασης ενός σήματος σε ψηφιακή μορφή περιλαμβάνει συνήθως στρογγυλοποίηση. Η κβαντοποίηση αποτελεί επίσης τον πυρήνα ουσιαστικά όλων των lossy αλγορίθμων συμπίεσης. Όταν έχουμε ένα δείγμα, το επίπεδο ήχου του αναλογικού σήματος πέφτει συχνά στα διαστήματα μεταξύ των βαθμίδων. Στην περίπτωση αυτή, το δείγμα πρέπει να στρογγυλοποιηθεί στο πλησιέστερο «σκαλί». Το bit depth ενός ψηφιακού δείγματος ήχου καθορίζει πόσο κοντά απέχουν τα σκαλοπάτια. Όσο περισσότερα διαθέσιμα σκαλοπάτια (ή μικρότερη απόσταση μεταξύ των σκαλοπατιών), τόσο πιο ακριβή μπορεί να αναπαρασταθεί το αρχικό σήμα. Για παράδειγμα, τo CD χρησιμοποιεί 16 bits ανά δείγμα, ενώ το DVD-Audio και το Blu-ray Disc μπορεί να υποστηρίξει έως και 24 bits ανά δείγμα. Σφάλματα κβαντισμού συμβαίνουν όταν ένα ψηφιακό δείγμα ήχου δεν ταιριάζει ακριβώς με την ισχύ του αναλογικού σήματος που υποτίθεται ότι αντιπροσωπεύει (με άλλα λόγια, το ψηφιακό δείγμα ήχου είναι ελαφρώς υψηλότερη ή χαμηλότερη από το αναλογικό σήμα). Τα 27

28 σφάλματα κβαντισμού ονομάζονται επίσης και σφάλματα στρογγυλοποίησης, επειδή ανακριβείς αριθμοί αντιπροσωπεύουν τον αρχικό αναλογικό ήχο. Για παράδειγμα, αν ένα σήμα ήχου είναι ακριβώς 1.15V, αλλά ο ADC μετατροπέας το στρογγυλοποιεί σε 1 volt, επειδή αυτή είναι η πιο κοντινή τιμή bit που υπαρχει. Αυτό το σφάλμα στρογγυλοποίησης προκαλεί θόρυβο στο σήμα ψηφιακού ήχου. Αν και ο θόρυβος κβαντισμού μπορεί να είναι ανεπαίσθητος, μπορεί ενδεχομένως να επιδεινωθεί με περαιτέρω ψηφιακή επεξεργασία. Γενικά καλό είναι να χρησιμοποιείται μεγάλο bit depth ώστε να αποφεύγονται τα σφάλματα κβαντισμού. Σε βασικές εφαρμογές, διακυμάνσεις στο bit depth επηρεάζουν κυρίως το επίπεδο θορύβου από σφάλμα κβαντισμού, και επομένως και τον λόγο σήματος προς θόρυβο (SNR) και το δυναμικό εύρος. Ωστόσο, τεχνικές όπως το dithering, noise shaping και oversampling (υπέρδειγματοληψία) περιορίζουν τις επιπτώσεις χωρίς αλλαγή του bit depth. To bit depth επηρεάζει επίσης το bit rate (ρυθμό bit) και το μέγεθος του αρχείου. Παρακάτω βλέπουμε τον σημαντικό ρόλο που παίζει το bit depth, καθώς βλέπουμε ένα σήμα το οποίο έχει κβαντιστεί με 1, 2, 4 και 16 bit depth. [27] Σχήμα 1.8: Απεικόνιση sine και square function 28

29 Σχήμα 1.9: Απεικόνιση της σαν sin να function είναι square όπου έχει function κβαντιστεί λόγω με μη bit επαρκούς depth 1, depth. 2,4 και 16 bit. Στο 1-bit φαίνεται depth. 21 2bit Να σημειωθεί το bit depth resolution είναι αυτό που μας λέει τον πραγματικό αριθμό των σταθμών ( σκαλιά ) που θα υπάρχουν, το όποιο είναι Δηλαδή, αν το bit depth είναι 1, έχουμε = 2 στάθμες. 24 Αν το bit depth είναι 2, έχουμε = 4 στάθμες. 28 Αν το bit depth είναι 3, έχουμε = 8 στάθμες. 216 Αν το bit depth είναι 4, έχουμε = 16 στάθμες. Αν το bit depth είναι 8, έχουμε = 256 στάθμες. Αν το bit depth είναι 16, έχουμε = στάθμες, και ούτω καθεξής. 29

30 Bit rate Γενικά το bit rate ή ρυθμός μετάδοσης bit, περιγράφει τον ρυθμό στον οποίο bits μεταφέρονται από μία θέση σε άλλη. Με άλλα λόγια, μετρά πόσα δεδομένα μεταδίδονται σε ένα δεδομένο χρονικό διάστημα. Το bit rate συνήθως μετριέται σε bits ανά δευτερόλεπτο (bps), kilobits ανά δευτερόλεπτο (Kbps) ή megabits ανά δευτερόλεπτο (Mbps). Για παράδειγμα, μια σύνδεση DSL μπορεί να έχει ταχύτητα 768 kbps, ενώ μία θύρα FireWire 800 μπορεί να μεταφέρει δεδομένα έως και 800 Mbps. Το bitrate στην περίπτωση μας, περιγράφει την ποιότητα ενός αρχείου ήχου ή βίντεο. Το bitrate βρίσκεται πολλαπλασιάζοντας το bit depth με τον ρυθμό δειγματοληψίας, δηλαδή Bit rate = Bit depth * Sampling rate Για παράδειγμα, αν ένα mono κομμάτι έχει ρυθμό δειγματοληψίας Hz και bit depth 16, τότε το bit rate θα είναι 16bits x 44.1KHz ή 705.6Kbps. Να σημειωθεί οτί αν το κομμάτι έιναι stereo, τότε θα έχει διπλάσιο bit rate. Είναι προφανές ότι ένα MP3 αρχείο ήχου που έχει συμπιεστεί στα 192 Kbps θα έχει μεγαλύτερη δυναμική περιοχή και μπορεί να ακούγεται λίγο πιο σαφή από τον ίδιο αρχείο ήχου συμπιεσμένο στα 128 Kbps. Αυτό συμβαίνει επειδή χρησιμοποιούνται περισσότερα bit για να αντιπροσωπεύουν τα δεδομένα ήχου για κάθε δευτερόλεπτο αναπαραγωγής. 30

31 Σχήμα 1.10: Αναλογική είσοδος. Σχήμα 1.11: Κβαντισμένο σήμα με 8bits/sample. 31

32 2. Θεωρητικό Υπόβαθρο και Μέθοδοι Στο κεφάλαιο αυτό εξετάζονται και αναλύονται θεωρητικές μέθοδοι που ως επί τω πλείστον χρησιμοποιήθηκαν στην παρούσα εργασία Αρμονικές Όπως αναφερθήκαμε και πιο πάνω το ύφος ενός ήχου (το «χρώμα») εξαρτάται από τις αρμονικές. Λόγω των αρμονικών το αυτί μπορεί να καταλάβει αν μία νότα παίζεται από κιθάρα ή πιάνο, ακόμα και αν είναι η ίδια νότα στην ίδια ένταση. Οι αρμονικές συναντώνται σε ακέραια πολλαπλάσια της θεμελιώδους συχνότητας (dominant frequency). Αυτό σημαίνει αν κάποιος παίξει στην κιθάρα την A της δεύτερης οκτάβας στο διάγραμμα της συχνότητας θα δούμε σχετικά χαμηλό gain σε όλες τις συχνότητες εκτός από κοντά στην 110Hz η οποία είναι η θεμελιώδης συχνότητα αλλά και στις 220Hz, 330Hz, 440Hz και ούτω καθεξής. Συνήθως, η θεμελιώδης συχνότητα έχει λίγο ή πολύ μεγαλύτερη ένταση από τις αρμονικές. Υπάρχουν όμως και περιπτώσεις όπου η αρμονική έχει μεγαλύτερη ένταση από την θεμελιώδη συχνότητα! Επομένως, η εύρεση μιας νότας από το πεδίο συχνότητας είναι μια πολύπλοκη διαδικασία, στην οποία πρέπει να ληφθούν πολλές παράμετροι. Παρακάτω παραθέτουμε συχνοτικές αποκρίσεις όταν παίζουμε νότες στην κιθάρα, για την καλύτερη κατανόηση των αρμονικών και της συμπεριφοράς τους (με τη βοήθεια του Blue Cat s FreqAnalyst) : 32

33 Σχήμα 2.1: Συχνοτική απόκριση της Ε4 (330Hz) σε εύρος 20KHz 33

34 Σχήμα 2.2: Συχνοτική απόκριση της Α2 (110Hz) σε εύρος 20KHz 34

35 Σχήμα 2.3: Συχνοτική απόκριση της Ε4 (330Hz) σε εύρος 1KHz Σχήμα 2.4: Συχνοτική απόκριση της Α2 (110Hz) σε εύρος 1KHz 35

36 1η Στην εικόνα Α παραθέτουμε την Ε νότα (ανοιχτή χορδή) στο πεδίο της συχνότητας. Η συγκεκριμένη νότα έχει συχνότητα 329Hz ή για να είμαστε ακριβής αυτή είναι η θεμελιώδης συχνότητα. Αυτό που παρατηρούμε όμως, είναι ότι δεν είναι το μοναδικό peak στο πεδίο της συχνότητας. Όπως είπαμε πριν, υπάρχουν και οι αρμονικές οι οποίες είναι σε ακέραια πολλαπλάσια της θεμελιώδους συχνότητας. Πράγματι, αυτό παρατηρούμε στο διάγραμμα. Υπάρχουν peaks αντίστοιχα, στις αρμονικές συχνότητες 658Hz, 987Hz, 1316Hz, 1645Hz και ούτω καθεξής. Στην εικόνα Β, παρατηρούμε ακριβώς το ίδιο. Η συγκεκριμένη νότα έχει θεμελιώδη συχνότητα 110Hz αλλά βλέπουμε peaks στις αρμονικές συχνότητες 220Hz, 330Hz, 440Hz, 550Hz κτλ. Αυτό που πρέπει να παρατηρηθεί είναι ότι ενώ οι θεμελιώδης συχνότητες της κιθάρας φτάνουν μέχρι το 1KHz, οι αρμονικές συνεχίζουν να υπάρχουν και σε πολύ υψηλότερες συχνότητες! Από τα παραπάνω καταλαβαίνουμε ότι το πεδίο του Pitch Detection είναι ιδιαίτερα περίπλοκο και δεν μπορούμε να κάνουμε την αφελή γενίκευση ότι η συχνότητα με το μέγιστο πλάτος θα είναι απαραίτητα και η θεμελιώδης συχνότητα. Για τον λόγο αυτόν έχουν βρεθεί διάφοροι μέθοδοι για την επίλυση του συγκεκριμένου προβλήματος Harmonic Product Spectrum Σχήμα 2.5: Αντιπροσωπευτική περίληψη του HPS. 36

37 Στο παραπάνω σχήμα φαίνεται αντιπροσωπευτικά το πως δουλεύει ο HPS αλγόριθμος. Θεωρούμε ότι το σήμα εισόδου είναι μια μουσική νότα και το φάσμα του, επομένως, θα πρέπει να αποτελείται από μια σειρά κορυφών, που αντιστοιχούν στη θεμελιώδη συχνότητα και αρμονικές συνιστώσες σε ακέραια πολλαπλάσια της θεμελιώδους συχνότητας. Ως εκ τούτου, όταν θα συμπιεστεί το φάσμα αρκετές φορές (downsampling), και το συγκρίνουμε με το αρχικό φάσμα, μπορούμε να δούμε την ισχυρότερη αρμονική να ξεχωρίζει. Η πρώτη κορυφή στο αρχικό φάσμα συμπίπτει με τη δεύτερη κορυφή στο φάσμα συμπιέζεται από έναν παράγοντα δύο, η οποία συμπίπτει με την τρίτη κορυφή στο φάσμα συμπιεσμένο κατά ένα συντελεστή τρία. Ως εκ τούτου, όταν τα διάφορα φάσματα πολλαπλασιάζονται μαζί, το αποτέλεσμα θα σχηματίσει σαφή κορυφή στη θεμελιώδη συχνότητα. Μπορούμε να το σκεφτούμε σαν την διαδικασία εύρεσης του μέγιστου κοινού διαιρέτη των αρμονικών συχνοτήτων. Κάθε φορά που κάνουμε downsampling, πάντα μια αρμονική θα πέφτει πάνω στην θεμελιώδη συχνότητα (αφού είναι ακέραια πολλαπλάσια αυτής) και όταν θα πολλαπλασιαστούν όλα τα φάσματα θα υπάρχει peak. Αντίθετα, όλες οι άλλες κορυφές θα πολλαπλασιαστούν με έναν όρο πολύ κοντινό στο μηδέν, κάτι που σημαίνει ότι στο τελικό διάγραμμα δεν θα υπάρχει peak. Η μέθοδος HPS έχει αρκετά θετικά όπως το ότι είναι υπολογιστικά φθηνή, ανθεκτική σε προσθετικούς και πολλαπλασιαστικούς θορύβους, και ρυθμιζόμενη σε διαφορετικά είδη εισόδων. Για παράδειγμα, θα μπορούσαμε να αλλάξουμε τον αριθμό των συμπιεσμένων φασμάτων, και θα μπορούσαμε να αντικαταστήσουμε τον φασματικό πολλαπλασιασμό με φασματική πρόσθεση. Ωστόσο, από τη στιγμή που η ανθρώπινη αντίληψη του ήχου είναι λογαριθμική, σημαίνει ότι οι χαμηλές νότες μπορούν να αναγνωριστούν με λιγότερη ακρίβεια από τις υψηλές θέσεις. Μια άλλη έλλειψη της μεθόδου HPS είναι ότι το resolution του είναι τόσο καλό όσο και το μήκος του FFT που χρησιμοποιείται για τον υπολογισμό του φάσματος. Εάν εκτελέσουμε έναν σύντομο και γρήγορο FFT, οι διακριτές συχνότητες που μπορούμε να θεωρήσουμε, περιορίζονται αρκετά. Για να έχουνε ένα υψηλότερο resolution στο αποτέλεσμα μας, πρέπει να λάβουμε έναν μακρύτερο FFT, ο οποίος απαιτεί περισσότερο χρόνο. [11,25,34] Βεβαίως, όπως βλέπουμε στο πρώτο βήμα θα ήταν καλό να χρησιμοποιήσουμε μια window function στο σήμα μας για να έχουμε καλύτερα αποτελέσματα, τις οποίες θα αναλύσουμε παρακάτω. 37

38 2.3. Maximum Likelihood Σχήμα 2.6: Αντιπροσωπευτική περίληψη του Maximum Likelihood αλγορίθμου. Η Maximum Likelihood μέθοδος είναι επίσης στο πεδίο της συχνότητας. Ο αλγόριθμος αυτός ουσιαστικά αναζητάει ανάμεσα σε ένα σύνολο πιθανών ιδανικών φασμάτων και επιλέγει εκείνο το οποίο ταιριάζει καλύτερα με το φάσμα εισόδου. Το ιδανικό φάσμα ορίζεται ως μια συστοιχία κρουστικών αποκρούσεων που ξεκινά σε συχνότητα ω και συνελίσσεται με το φάσμα του παραθύρου του σήματος (στο πρώτο σχήμα φαίνεται). Με απλά λόγια, κατασκευάζουμε όλα τα ιδανικά φάσματα συχνότητας. Για παράδειγμα, για την Ε2, το ιδανικό φάσμα θα είναι ένα φάσμα που τα peaks θα αρχίζουν από τα Hz και Υω θα συνεχίζουν σε ακέραια πολλαπλάσια. Για βελτίωση της υπολογιστικής δύναμης, μπορούμε να καθορίσουμε τα άνω και κάτω όρια της συχνότητας ω. Αφού λοιπόν έχουμε ορίσει τα κατάλληλα φάσματα, συγκρίνουμε το φάσμα εισόδου που έχουμε με τα ιδανικά φάσματα, και βρίσκουμε ποία έχουν λιγότερες διαφορές. Αν Υ είναι το φάσμα εισόδου και είναι τα πιθανά ιδανικά φάσματα τότε προσπαθούμε να βρούμε το ελάχιστο του Ε(ω) = Υ -Υω 2 Στα θετικά του αλγόριθμου είναι το ότι δεν παίζει μεγάλο ρόλο το μέγεθος μετασχηματισμού, κάτι το οποίο μπορεί να επιταχύνει την διαδικασία. Ωστόσο, η αποδοτικότητα του αλγορίθμου εξαρτάται κατά μεγάλο βαθμό από το pitch resolution. Όταν το pitch έιναι ορισμένο ακριβώς τότε τα αποτελέσματα είναι καλά, όταν όμως έχουμε 38

39 διαφοροποιήσεις, τα αποτελέσματα που δίνει είναι μέτρια. Γι' αυτό η μέθοδος αυτή είναι πιο αποδοτική σε όργανα με fixed tuning όπως πιάνο ή πνευστά όργανα και όχι τόσο σε έγχορδα ή φωνή, καθώς το pitch δεν είναι τόσο διακριτό, λόγω τεχνικών όπως το vibrato ή το bing. [11,25] 2.4. Παράθυρα (Window Functions) Κατά την ανάλυση του φάσματος των φυσικών ακουστικών σημάτων, αναλύουμε σχεδόν πάντα ένα μικρό τμήμα ενός σήματος, αντί για ολόκληρο το σήμα. Αυτό γίνεται για διάφορους λόγους. Ίσως ο πιο σημαντικός είναι ότι το αυτί, ομοίως με την ανάλυση Fourier, αναλύει τα ηχητικά σήματα ανά μικρά χρονικά σήματα(της τάξης των ms. Ως εκ τούτου, για να κάνουμε μια ανάλυση του φάσματος που έχει χρόνο και συχνότητα ανάλυσης συγκρίσιμη με την ανθρώπινη ακοή, θα πρέπει να περιοριστεί το χρονικό παράθυρο ανάλογα. Ο πιο διαδεδομένος τρόπος για να εξάγουμε ένα μικρό τμήμα του χρόνου μήκους N από ένα μεγαλύτερο σήμα είναι ο πολλαπλασιασμός με μια συνάρτηση παραθύρου όπως το παράθυρο Hann [22] : Σχήμα 2.7: Hann window και ο Fourier μετασχηματισμός του. 39

40 Το κύριο όφελος από την επιλογή μιας καλής συνάρτησης παραθύρου ανάλυσης Fourier είναι η ελαχιστοποίηση των side lobes, τα οποία προκαλούν cross-talk στο εκτιμώμενο φάσμα από την μια συχνότητα στην άλλη. Για να κατανοηθεί καλύτερα η χρησιμότητα των window functions, παραθέτουμε τα παρακάτω σχήματα ενός απλοϊκού παραδείγματος [2]: Σχήμα 2.8: Το επιλεγμένο frame είναι περιοδικό Σχήμα 2.9: Το επιλεγμένο frame δεν είναι περιοδικό παρόλο που το αρχικό σήμα είναι το ίδιο με 2.8 Στο σχήμα 1, βλέπουμε ότι το χρονικό τμήμα που έχει επιλεγεί είναι περιοδικό. Επομένως 40

41 η πραγματική κυματομορφή εισόδου συμπίπτει με την υποθετική που θα χρησιμοποιηθεί για επεξεργασία από τον μετασχηματισμό Fourier. Στο σχήμα 2, όμως, βλέπουμε ότι το χρονικό τμήμα δεν είναι περιοδικό, επομένως οδηγούμαστε σε μια υποθετική κυματομορφή που δεν συμπίπτει με την πραγματική! Ο αλγόριθμος του μετασχηματισμού Fourier στηρίζεται σε παραμορφωμένη κυματομορφή λοιπόν. Βλέπουμε και παρακάτω το πως μεταφράζονται στο πεδίο της συχνότητας: Σχήμα 2.10: Το χρονικό και συχνοτικό πεδίο σε περιοδικά (a,b) και μη περιοδικά (c,d) frames 41

42 Σχήμα 2.11: Χρησιμοποιώντας window windowed function, frame όποιο είναι χρονικό περιοδικό. frame και να επιλέξουμε στο παράδειγμα, το Στην εικόνα 3, βλέπουμε τα σχήματα 3a και 3b όπως και προηγουμένως. Το πρόβλημα φαίνεται ότι είναι στις άκρες του τμήματος, αφού στο κέντρο των δύο κυματομορφών έχουμε ημίτονο. Η μεγάλη διαφορά σε σχέση με πριν, είναι ότι το χρονικό τμήμα το οποίο έχουμε διαλέξει το «περνάμε» από μια window function. Στο σχήμα 3d, βλέπουμε ότι και στις δύο περιπτώσεις έχουμε την ίδια windowed κυματομορφή η οποία στο πεδίο της συχνότητας έχει ως: 42

43 Σχήμα 2.12: Συχνοτική απόκριση ενός μη περιοδικού frame χωρίς και με window function. Βλέπουμε ότι έχουμε πολύ καλύτερα αποτελέσματα με τις window functions λοιπόν, με πιο «ευδιάκριτες» κορυφές, κάτι που μας βοηθάει ιδιαίτερα στην ανάλυση που θέλουμε να κάνουμε. 43

44 Επίσης, παραθέτουμε και ένα παράδειγμα window function σε κιθάρα: Σχήμα 2.13: Αρχικό σήμα ως προς τον χρόνο Σχήμα 2.14: Hanning window function Σχήμα 2.15: Windowed αρχικό σήμα 44

45 Τα περισσότερα πραγματικά σήματα ήχου στον κόσμο είναι μη περιοδικά, πράγμα που σημαίνει ότι τα πραγματικά σήματα ήχου γενικά δεν επαναλαμβάνονται ακριβώς πάνω σε κάθε συγκεκριμένο χρονικό διάστημα. Ωστόσο, τα μαθηματικά του μετασχηματισμού Fourier υποθέτει ότι το σήμα το οποίο περνάει από μετασχηματισμό Fourier είναι περιοδικό κατά το χρονικό διάστημα εν λόγω. Αυτή η αναντιστοιχία μεταξύ της υπόθεσης της περιοδικότητας του μετασχηματισμού Fourier, και της πραγματικότητας ότι τα ηχητικά 4ης σήματα είναι γενικά μη περιοδικά, οδηγεί σε σφάλματα του μετασχηματισμού. Αυτά τα σφάλματα ονομάζονται spectral leakage (φασματική διαρροή), και εκδηλώνονται ως μια λανθασμένη διανομή της ενέργειας σε όλο το φάσμα ισχύος του σήματος. Στα παραπάνω διαγράμματα βλέπουμε το πεδίο συχνότητας μιας ακουστικής κιθάρας που παίζει τη νότα A της οκτάβας. Στο πρώτο σχήμα βλέπουμε το φάσμα συχνότητας του ήχου χωρίς καμία επεξεργασία. Στο τρίτο σχήμα βλέπουμε το φάσμα του ήχου στο οποίο έχει εφαρμοστεί το Hann window του δεύτερου σχήματος. Η διαφορά είναι τεράστια όπως φαίνεται. Στο τρίτο σχήμα, φαίνονται πολύ πιο καθαρά η θεμελιώδης συχνότητα και σε μικρότερο βαθμό οι αρμονικές. 45

46 2.5. Onset Detection Point Έχουμε αναλύσει την μέθοδο με την οποία θα βρίσκουμε την νότα αλλά τι γίνεται όταν έχουνε μια αλληλουχία νότων; Εδώ έχουμε το πρόβλημα της αναγνώρισης της αρχής της νότας. Για τον εντοπισμό της αρχής μιας νότας πρέπει να κοιτάξουμε στο διάγραμμα της κυματομορφής του πεδίου του χρόνου και με κάποιον τρόπο να καθορίσουμε με τι κριτήρια θα επιλεγεί το πότε αρχίζει η νότα. Για το πρόβλημα αυτό χρησιμοποιούμε τον moving average αλγόριθμο. Δηλαδή αφού καθορίσουμε ένα παράθυρο με συγκεκριμένο αριθμό δειγμάτων και ένα threshold (κατώφλι), ελέγχουμε αν το average τον δειγμάτων αυτών είναι πάνω από το threshold. Αν ναι, τότε καταχωρούμε τα δείγματα που βρίσκεται στην μέση του παραθύρου. Συνεχίζουμε τον αλγόριθμο, βγάζοντας τα πρώτα n δείγματα του παραθύρου και βάζοντας τα επόμενα n δείγματα (το n καθορίζεται από το window step που θα καθορίσουμε). Δηλαδή, μετατοπίζουμε το παράθυρο κατά window step και επαναλαμβάνουμε την διαδικασία. Έτσι βρίσκουμε το πότε αρχίζει η νότα, ή το onset point. Τα παραπάνω θα μπορούσαμε να τα εφαρμόσουμε στο αρχικό σήμα ήχου που έχουμε, αλλά είναι πολύ πιθανό να έχουμε αρκετά σφάλματα και false νότες. Αντιθέτως, υπάρχουν αρκετά μεγέθη του σήματος τα οποία μπορούν να βελτιώσουν αισθητά το ποσοστό επιτυχίας των onset points. Για παράδειγμα, υπάρχει η συνολική ενέργεια: από την οποία προκύπτει η μέση τιμή ισχύς (ή μέση τιμή ενέργειας ανά δείγμα): Επίσης, υπάρχει και η διακύμανση variance (ή διακύμανση των δειγμάτων), η οποία και χρησιμοποιείται στην παρούσα διπλωματική: 46

47 Στο παρακάτω σχήμα βλέπουμε διάφορα διαγράμματα από τα οποία φαίνονται πολύ πιο καθαρά τα onset points απ ότι εάν παίρναμε υπόψιν την αρχική κυματομορφή [7,10] Σχήμα 2.16: Διαγράμματα εξαγόμενα από εντοπισμό αρχικό σήμα onset ως points. προς τον χρόνο, τα οποία μας βοηθούν στον 47

48 2.6. Εύρεση σφαλμάτων Όταν πλέον έχουμε καθορίσει τις νότες που έχουν παιχτεί και το χρόνο που παίχτηκαν, μένει πλέον να κάνουμε την σύγκριση του πρωτότυπου και του παιγμένου κομματιού. Το πρώτο πρόβλημα που αντιμετωπίζουμε έχει να κάνει με το timing. Τι γίνεται αν ο μαθητής αργήσει να παίξει την πρώτη νότα, ενώ παίξει κατά τα άλλα σωστά το κομμάτι; Τι γίνεται αν ο μαθητής παίξει το κομμάτι σε διαφορετικό tempo; Η επίλυση των προβλημάτων γίνεται ως εξής: καταρχήν ορίζουμε το συνολικό χρόνο παιξίματος, από την στιγμή που παίχτηκε η πρώτη νότα έως την στιγμή που παίχτηκε η τελευταία νότα. Καταλαβαίνουμε λοιπόν εάν υπάρχει διαφορά tempo, και πολλαπλασιάζουμε τα timings που έχει παίξει ο μαθητής με τον αντίστοιχο συντελεστή (συνολικός χρόνος πρωτότυπου δια συνολικό χρόνο παιγμένου). Ουσιαστικά κάνουμε ένα time stretching ώστε τα αποτελέσματα για το timing να μην είναι λάθος, εξαρτώμενα αποκλειστικά από το αν ασυνείδητα παίξει σε διαφορετικό tempo ο μαθητής. Μετά από αυτό μένει να μετατοπίσουμε τα timings κατά την διαφορά των πρώτων νότων ώστε να μην εξαρτάται από το αν αργήσει ο μαθητής να ξεκινήσει το παίξιμο. Να τονίσουμε ότι αυτή η επεξεργασία γίνεται για την καλύτερη εξαγωγή αποτελεσμάτων, και στο τέλος θα υπάρχει μήνυμα όταν το tempo είναι πολύ διαφορετικό. Το δεύτερο πρόβλημα που αντιμετωπίζουμε έχει να κάνει με τον αριθμό των νότων. Τι γίνεται δηλαδή εάν ο μαθητής ξεχάσει να παίξει μια νότα ή παίξει κατά λάθος παραπάνω; Από την στιγμή που πρόκειται για εφαρμογή εκμάθησης κιθάρας, έχουμε την παραδοχή ότι τα κομμάτια που θα παίζονται δεν θα είναι μεγάλου χρονικού διαστήματος αλλά απλές εφαρμογές ώστε ο μαθητής να εξοικειωθεί με το όργανο. Γι αυτό τον λόγο αν ο μαθητής παίξει δύο νότες και άνω, παραπάνω ή λιγότερες, προτρέπεται να ξαναπροσπαθήσει. Όταν υπάρχει διαφορά μίας νότας, γίνεται η σύγκριση των δύο πινάκων νότων ώστε να καθορίσει πότε χάθηκε ή πότε παίχτηκε κατά λάθος η νότα. Αυτό γίνεται καθορίζοντας, τα indeces των παιγμένων νότων και βρίσκοντας την διαφορά τους. Για παράδειγμα, η πρώτη νότα Ε2 έχει index 1. Αν έχει παιχτεί και στα δύο κομμάτια η νότα, τότε η διαφορά θα είναι 1-1 = 0. Αν όμως κατά λάθος παίχτηκε η νότα Ε3 με index 13 αλλά διορθώθηκε άμεσα, τότε η διαφορά είναι 12, επομένως ξέρουμε ότι πιθανότατα αυτή είναι η παραπάνω νότα. 48

49 3. Note Alignment Στο κεφάλαιο αυτό αναλύονται κάποιες διαδεδομένες note to score alignment τεχνικές, που στόχο έχουν την αντιστοίχηση δύο κομματιών. Στην εποχή των υπολογιστών, είναι δύσκολο να τους κάνουμε να κατανοήσουν και να επεξεργαστούν τον ήχο, όσο αφορά τον ήχο όπως τον αντιλαμβάνεται ο άνθρωπος και το περιεχόμενο του ήχου. Αυτό ισχύει ιδιαιτέρως για το score alignment πρόβλημα, το οποίο έχει να κάνει με την αντιστοίχηση δύο κομματιών ήχου και το κατά πόσο συμπίπτει το ένα με το άλλο. Οι δύο πιο διαδεδομένες μέθοδοι είναι ο Dynamic Time Warping (DTW) αλγόριθμος και τα Hidden Markov Models (HMMs). Εάν έχουμε το αυθεντικό score του κομματιού και το παιγμένο κομμάτι η διαδικασία του alignment μπορεί να γίνει σε 4 βήματα [15] : 1) Μετατροπή του score σε ήχο. 2) Εντοπισμός των χαρακτηριστικών ήχου από το σήμα. 3) Υπολογισμός των τοπικών αποστάσεων (local distances) μεταξύ του score και της εκτέλεσης του κομματιού. 4) Υπολογισμός του βέλτιστου alignment path που ελαχιστοποιεί την συνολική απόσταση (global distance). Αυτό είναι και το βήμα όπου χρησιμοποιείται είτε ο DTW είτε ο HMM. Τα θετικά του DTW συνίστανται στην καλύτερη απόδοση όσο αφορά τη μνήμη όπως και ότι δεν χρειάζεται εκπαίδευση, σε αντίθεση με τον ΗΜΜ. 3.1 Εισαγωγή Για κάθε ακολουθία, του score και της εκτέλεσης χωρίζονται σε frames που περιγράφονται από τα χαρακτηριστικά τους. Οι πληροφορίες του score προέρχονται από τα αντίστοιχα 49

50 αρχεία MIDI. Ωστόσο, αυτή η μορφή είναι πολύ ετερογενής και δεν περιέχει όλα τα κλασικά σύμβολα ενός score Τα μόνα διαθέσιμα χαρακτηριστικά από τα αρχεία MIDI είναι οι θεμελιωδεις συχνότητες ανά τον χρόνο, το attack της νότας και το τέλος της χρονικά. Τα χαρακτηριστικά της εκτέλεσης του κομματιού εξάγονται μέσω τεχνικών ανάλυσης σημάτων χρησιμοποιώντας συνήθως short time μετασχηματισμo Fourier (συνήθως με 4096 points Hanning παραθύρου γύρω στα 100ms). Η χρονική ανάλυση που απαιτείται για το alignment καθορίζει το hop size των frames στην απόδοση. Το score στη συνέχεια χωρίζεται σε περίπου τον ίδιο αριθμό frames με την εκτέλεση. Κατά συνέπεια, το global alignment path θα πρέπει να ακολουθεί περίπου την διαγώνιο του πίνακα τοπικών αποστάσεων Τέλος, ο DTW βρίσκει το βέλτιστο alignment βασισμένος στα local distances που υπολογίστηκαν ώστε να ελαχιστοποιηθεί το global distance. 3.2 Υπολογισμός Local Distance Η τοπική απόσταση (local distance) υπολογίζεται για κάθε ζευγάρι που αντιστοιχεί στο frame m στην εκτέλεση και frame n στο score. Η απόσταση αυτή υπολογίζεται χρησιμοποιώντας πληροφορίες του φάσματος. Τα local distances αποθηκεύονται στον πίνακα ldm(m,n). Τα μόνα σημαντικά χαρακτηριστικά που περιέχονται στο score είναι το pitch, τα χρονικά όρια της νότας και το όργανο. Επειδή έχει ένα καλό μοντέλο οργάνου είναι δύσκολο να οριστεί, επιλέγονται ως χαρακτηριστικά για την απόδοση μόνο το pitch και τα transients (ουσιαστικά οι αρχές των νότων). Δύο μοντέλα είναι διαδεδομένα [15]: Sustain Model Το μοντέλο αυτό χρησιμοποιεί σαν δεδομένο μόνο το pitch. Καθώς οι pitch tracking αλγόριθμοι είναι επιρρεπής σε λάθη, ειδικά για τα πολυφωνικά σήματα, χρησιμοποιείται μια μέθοδος που ονομάζεται Peak Structure Distance. Με τη μέθοδο αυτή, η τοπική Peak Structure Distance (PSD) είναι ο λόγος της ενέργειας του σήματος, φιλτράρισμένη από 50