Τμήμα Πληροφορικής και Τηλεπικοινωνιών Ε π ε ξ ε ρ γ α σ ί α ο μ ι λ ί α ς κ α ι Φ υ σ ι κ ή ς Γ λ ώ σ σ α ς Ενότητα 5: Ανάλυση κωδικοποίησης γραμμικής πρόβλεψης (LPC) Γ ε ώ ρ γ ι ο ς Κ ο υ ρ ο υ π έ τ ρ ο γ λ ο υ koue@di.uoa.gr
Γενική Μέθοδος Γραμμικής Πρόβλεψης (1/3) Μοντελοποίηση σήματος ομιλίας μέσω απλού μοντέλου παραγωγής ομιλίας. Διέγερση u n Φίλτρο Η(Ζ) ΜΟΝΤΕΛΟ ΠΑΡΑΓΩΓΗΣ Ομιλία S n Διέγερση u n Φίλτρο (ανάστροφο) Η(Ζ) ΜΟΝΤΕΛΟ ΑΝΑΛΥΣΗΣ Ομιλία S n
Γενική Μέθοδος Γραμμικής Πρόβλεψης (2/3) Αρχή μεθόδου- Βασική υπόθεση: S n = k=1 q a k S n k + G l=0 b l u n l b 0 = 1 (1) Παράμετροι υποθετικού συστήματος: a k b l G 1 k 1 l q 1 Z H Z = Όπου: S Z = n= S(Z) U Z = G(1 + q b l l=1 S n Z n και U Z = n= Z l 1 + u n Z n k=1 a k Z k ) Γενικό μοντέλο με πόλους και μηδενικά.
For vowels (voiced sound), use LPC to reresent the signal The concet is to find a set of arameters ie. a 1, a 2, a 3, a 4, a =8 to reresent the same waveform (tyical values of = 8 13) For examle Can reconstruct the waveform from these LPC codes 1, 2, 3, 4,.. 8 1, 2, 3, 4,.. 8 1, 2, 3, 4,.. 8 : Each time frame y=512 samles (S 0,S 1,S 2,. S n,s N-1=511 ) 512 integer numbers (16-bit each) Each set has 8 floating oint numbers (data comressed)
Γενική Μέθοδος Γραμμικής Πρόβλεψης (3/3) Δύο απλούστερες περιπτώσεις του γενικού μοντέλου: Μοντέλο με μόνο μηδενικά: Μοντέλο με μόνο πόλους: Το δεύτερο μοντέλο είναι: Απλούστερο. Σύντομο. Αποτελεσματικό. a k = 0 b l = 0 1 k 1 l q
Κωδικοποίηση Γραμμικής Πρόβλεψης Linear Prediction Coding (LPC) Αρχές Ανάλυσης LPC: Γραμμική πρόβλεψη: Wiener 1966 Τεχνική ιδιαίτερα δημοφιλής Ευρεία κλίμακα εφαρμογών Στην ομιλία: Itakura και Atal Schroeder 1968 Πολύ μεγάλη επίδραση σε κάθε πτυχή της έρευνας ομιλίας Υπολογίζει: itch, formants, φάσματα, συναρτήσεις επιφάνειας Κωδικοποιεί (αποθήκευση και μετάδοση ομιλίας) με χαμηλό ρυθμό bit Πηγή σημαντικότητας: a) Τα φασματικά χαρακτηριστικά της ομιλίας μπορούν αποτελεσματικά και με ακρίβεια να αναπαρασταθούν χρησιμοποιώντας ένα πολύ μικρό αριθμό παραμέτρων. b) Οι παράμετροι λαμβάνονται με σχετικά απλό υπολογισμό Markel & Gray: Linear Prediction of Seech, Sringer Verlag 1976, 1980
Μοντέλο Γραμμικής Πρόβλεψης με μόνο Πόλους S n = a k S n k + Gu n k=1 a k : 1 k Συντελεστές γραμμικής Πρόβλεψης G : Παράγοντας Κέρδους : τάξη προβλεπτή H Z = G (1 + k=1 a k Z k ), A(Z): αντίστροφο ή ανάστροφο φίλτρο Γεννήτρια παλμών Γεννήτρια θορύβου Έμφωνη διέγερση(itch) Μη Έμφωνη διέγερση Α(Ζ) S n G a 0,, a 1, a k-1 Πρόβλημα ανάλυσης προσδιορισμός G,, a k
Υπολογισμός Συντελεστών Γραμμικής Πρόβλεψης (1/2) S n = k=1 a k S n k (u n γενικά άγνωστη) e n = S n S n = S n + k=1 a k S n k, e n σφάλμα, Ε total συνολικό σφάλμα Ε total = n e 2 n = n S n + k=1 a k S n k 2 (1) Αρχή υπολογισμού a k : μέθοδος ελαχίστων τετραγώνων από ελαχιστοποίηση συνολικού τετραγωνικού σφάλματος για κάθε συντελεστή. E total a k = 0, 1 k (2) (1)+(2) Ομάδα γραμμικών εξισώσεων: n S n S n i, 1 i k=1 a k n S n k S n i = Γνωστές σαν κανονικές εξισώσεις ( εξισώσεις, άγνωστοι).
Υπολογισμός Συντελεστών Γραμμικής Πρόβλεψης (2/2) Ορίστηκε: E total = n e 2 n = n S n + k=1 a k S n k 2 Αν χρησιμοποιήσω κανονικές εξισώσεις στην προηγούμενη εξίσωση τότε μπορώ να υπολογίσω: E min = n S n 2 + a k k=1 n S n S n k E min : ελάχιστο τετραγωνικό σφάλμα
Μέθοδοι Εκτίμησης a k από κανονικές εξισώσεις (1/6) A.Μέθοδος αυτοσυσχέτισης (autocorelation) B.Μέθοδος συμμεταβλητότητας (covariance) ΜΕΘΟΔΟΣ ΑΥΤΟΣΥΣΧΕΤΙΣΗΣ (autocorelation) Υπόθεση βασική: Το συνολικό σφάλμα E total ελαχιστοποιείται σε άπειρο χρόνο < n < Τότε οι κανονικές εξισώσεις είναι: k=1 a k R(i k) = R(i) 1 i Όπου: R i = n= n= S n S n+1 (συνάρτηση αυτοσυσχέτισης του S n ) E min = R 0 + k=1 a k R(k), (όμως S n γνωστό για ορισμένο χρονικό διάστημα).
Μέθοδοι Εκτίμησης a k από κανονικές εξισώσεις (2/6) S n = S nw n 0 n N 1 0 αλλού Συνάρτηση αυτοσυσχέτισης: R i = n 1 i n=0 S n S n+1 Μορφή συνάρτησης παραθύρου W n : Hanning ή Hamming. Wn Wn Wn N N M M M
Μέθοδοι Εκτίμησης a k από κανονικές εξισώσεις (3/6) Ν δείγματα: Μήκος Παραθύρου Κάθε Μ δείγματα ένα χρονικό παράθυρο, επανάληψη N > M Για 8 khz συχνότητα δειγματοληψίας Μ=20msec (160 δείγματα) Hamming: W n = 0,54 0,46 cos Μ=30msec (240 δείγματα) 2πn N, 0 n N 1
Μέθοδοι Εκτίμησης a k από κανονικές εξισώσεις (4/6) ΜΕΘΟΔΟΣ ΣΥΜΜΕΤΑΒΛΗΤΟΤΗΤΑΣ (covariance) Βασική Υπόθεση: το σφάλμα E total ελαχιστοποιείται σε ορισμένο χρονικό διάστημα 0 n N 1 Τότε κανονικές εξισώσεις: k=1 a k φ ki = φ 0i 0 i Όπου φ ki = N 1 k=1 S n i S n k (covariance) και E min = φ 00 + k=1 a k φ 0k
Μέθοδοι Εκτίμησης a k από κανονικές εξισώσεις (5/6) Η συνάρτηση αυτοσυσχέτισης R(i) μπορεί να γραφεί: r r... r r1r 0......... r1 r... r r 0 1 1 a a... a 1 1 0 Κανονική εξίσωση ή εξίσωση Yule Walker 1 2 r r... r πίνακας x συμμετρικός και έχει τις ίδιες τιμές κατά μήκος των παράλληλων διαγώνιων γραμμών = μορφή πίνακαtoelitz 1 2 Λύση Εξισώσεων: Μέθοδος συμμεταβολής: μέθοδο αποσύνθεσης (decomosition) Cholesky Μέθοδο αυτοσυσχετισμού: Μέθοδο αναδρομικής λύσης Durbin (ισοδύναμη με την PARCOR)
Μέθοδοι Εκτίμησης a k από κανονικές εξισώσεις (6/6) Οι προαναφερθείσες μέθοδοι δίνουν σχεδόν τα ίδια αποτελέσματα όταν η ακολουθία x t είναι μακρά και στατική αλλά τα αποτελέσματά τους διαφέρουν όταν x t είναι βραχεία και έχει χρονικές μεταβολές. Ταχύτητα = αριθμός των πολλαπλασιασμών και διαιρέσεων: Αποσύνθεση Cholesky 3 + 9 2 + 2 6 και Μέθοδο Durbin ή (Levinson Durbin) είναι 2 και, Όταν = 10, Durbin είναι τρεις φορές πιο αποδοτική Άλλοι ισοδύναμοι φορμαλισμοί: Μέγιστης πιθανοφάνειας (ισοδύναμα αποτελέσματα με αυτοσυσχέτισης) Line sectrum air (LSP)
Υπολογισμός του Κέρδους G (1/2) Ορισμός Γραμμικής Πρόβλεψης με μόνο πόλους: S n = k=1 a k S n k + Gu n (1) Ορισμός σφάλματος: e n = S n S n = S n + k=1 (1)+(2) Gu n = e n a k S n k S n = k=1 a k S n k + e n (2) Αλλά: για οποιοδήποτε σήμα εισόδου u n η ενέργεια του σήματος εξόδου πρέπει να είναι ίση με την πραγματική ενέργεια του σήματος S n. Υπενθύμιση: Οι μηδενικοί συντελεστές αυτοσυσχέτισης είναι ίσοι με τη συνολική ενέργεια του σήματος. Πλάτος σήματος εισόδου: Gu n Σήμα εξόδου: S n
Υπολογισμός του Κέρδους G (2/2) Θεωρούμε ότι σήμα εισόδου = παλμοί ή μοναδιαία δείγματα για n = 0 u n = δ n0 (1) h n = k=1 a k h n k + Gδ n0 (3) Πολλαπλασιάζω με h ni και τα δύο μέρη της εξίσωσης (3) και αθροίζω για όλα τα n R(i) = k=1 a k R i k, 1 i και R 0 = k=1 a k R k + G 2 (4) R(i) συνάρτηση αυτοσυσχέτισης της h n Αλλά από διατήρηση ενέργειας: R(0) = R 0 4 +εξισ.διαφ 8 R i = R(i) 1 i (4)+(προηγούμενο αποτέλεσμα) G 2 = R 0 + k=1 a k R k = E min
Εκτίμηση Φάσματος από Συντελεστές Γραμμικής Πρόβλεψης Συντελεστές γραμμικής πρόβλεψης = Συντελεστές Α(Ζ) H Z = Για z = e jω, ω = H(e jω ) = G 2 1 + 2πn N G 2 1 + k=1 k=1 a k z k = a k e lωk 2 = G 2 A(Z) G 2 A(e jω ) 2 Δηλαδή: Το φάσμα ισχύος δίδεται διαιρώντας το G 2 με το τετράγωνο των τιμών του FFT της σειράς: 1, α 1, α 2, α 3,,α
a. Έμφωνος ήχος κάτω από παράθυρο του Hamming. b. Φάσμα υπολογισμένο με μετασχηματισμό Fourier. c. Λεία συνιστώσα του φάσματος με την τεχνική της γραμμικής πρόβλεψης. db b c 1 2 F(kHz)
Σύγκριση: (α) των βραχύχρονων φασμάτων και (β) των φασματικών περιβάλλουσων που λαμβάνονται με τη μέθοδο της γραμμικής πρόβλεψης για το φωνήεν /a/ (που εκφωνείται από άνδρα και γυναίκα) όταν ο αριθμός των πόλων διαφοροποιείται από 6 ως 12.
LPC Seech Sectra
LPC Prediction error
Άριστος Αριθμός Πόλων Αριθμός πόλων = τάξη μοντέλου = Όσο το αυξάνει τόσο το κανονικοποιημένο σφάλμα (συνολικό τετραγωνικό) μειώνεται. Πρόβλημα: όσο αυξάνει το απαιτούνται περισσότεροι υπολογισμοί 1) -Ε total 12 2) Έχει αποδειχθεί (Ata, 1971 και Markel-Gray 1976) ότι η μνήμη του προβλεπτή για ΚΑΤΑΛΛΗΛΗ αναπαράσταση της φωνητικής οδού πρέπει να = 2*χρόνος που χρειάζεται το κύμα του ήχου για να διαδοθεί από τη γλωττίδα στα χείλη = 2L C(L: μήκος φωνητικής οδού και C: ταχύτητα ήχου) = 2Lf s C(f s : συχνότητα δειγματοληψίας) Π.χ για L = 20cm, C = 330m/sec, f s = 8kHz => = 10 (συνήθως +2)
Γενική Διαδικασία Εκτίμησης Χρονικής Εξέλιξης (τροχιών) Formants με ανάλυση LPC Μικρόφωνο Αντιαλοίωση LPF A / D S n Προέμφαση Η(Ζ)=1-az -1 (a~1) Χρονικό Παράθυρο Π.χ.Hamming S n Υπολογισμός Η(Ζ) με LPC a k G Λύση πολυωνύμου Υπολογισμός φασματος Η(Ζ) 2 Χονδροειδή δεδομένα Peak eaking Απόφαση για F i (t) B i (t) A i (t)
Υπολογισμός PITCH του U n Έχουμε δείξει ότι: e n = S n S n και Gu n = e n (1) - LPC F(Ζ) S n e n LPF 1kHz Υπολογισμός περιόδου Pitch (2) S n 1-μz -1 Χρονικό παράθυρο LPC υπολογισμός a k Συντελεστές φίλτρου Α(Ζ) e n LPF αυτοσυσχέτιση Απόφαση κατωφλίων Εκτίμηση itch & Άηχου-ηχηρού
Συντελεστές Ανάκλασης Parcor (1/3) Η πιο συνηθισμένη και γρήγορη μέθοδος λύσης του συστήματος εξισώσεων με αγνώστους στις περιπτώσεις αυτοσυσχέτισης ή συμμεταβλητότητας είναι η επαναληπτική μέθοδος DURBIN. Κατά τη μέθοδο αυτή, στην περίπτωση της αυτοσυσχέτισης: Φορμαλισμός: E 0 = R(0) K i = R i + a j R i j E i 1 a i (i) = ki (i) (i 1) (i j) a j = aj + ki a i j 1 j i 1 2 E i = (1 k j )E i 1 Οι παραπάνω εξισώσεις λύνονται επαναληπτικά για i = 1,2,, Η τελική λύση δίνεται από τη σχέση: a i () = ai 1 j
Συντελεστές Ανάκλασης Parcor (2/3) Οι ενδιάμεσες ποσότητες k i 1 i k παράμετροι ή συντελεστές PARCOR διέγερση γλωττίδα Μοντέλο φωνητικής οδού χείλη ομιλία k i συντελεστές ανάκλασης στα όρια μεταξύ 2 τμημάτων γραμμών μεταφοράς με αντιστάσεις Z i και Z i+1 k i = Z i+1 Z i Z i+1 + Z i Z m = C A m A m :εγκάρσια διατομή κυλινδρικού τμήματος m, : πυκνότητα αέρα, C: ταχύτητα ήχου k i = A i+1 A i A i+1 + A i
Συντελεστές Ανάκλασης Parcor (3/3) Σχέση ανάμεσα στους συντελεστές PARCOR {k n } και στη συνάρτηση επιφάνειας της φωνητικής οδού {Α n }
Παραδείγματα φασματικών περιβαλλουσών και υπολογιζόμενων συναρτήσεων επιφάνειας για 5 φωνήεντα: (α) συνολική φασματική περιβάλλουσα για αντίστροφο φιλτράρισμα (χαρακτηριστικά πηγής και ακτινοβολίας), (β) φασματική περιβάλλουσα μετά το αντίστροφο φιλτράρισμα (χαρακτηριστικών φωνητικής οδού).
Πλάτος db (α) ΠαράθυροHanning 51,2m Πλάτος db (β) ΠαράθυροHanning 12,8ms Πλάτος db khz λείανση cestrum 30ms Πλάτος db Γραμμική Πρόβλεψη P=12 khz 0 (γ) 5 khz 5 (δ) khz Το φάσμα του συνθετικού φωνήεντος /α/. (α) φάσμα στενής ζώνης, (β) φάσμα ευρείας ζώνης, (γ) φάσμα από τη μέθοδο cestrum και (δ) φάσμα από τη γραμμική πρόβλεψη.
Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στo πλαίσιo του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο Πανεπιστήμιο Αθηνών» έχει χρηματοδοτήσει μόνο την αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους.
Σημειώματα
Σημείωμα Ιστορικού Εκδόσεων Έργου Το παρόν έργο αποτελεί την έκδοση 1.0.
Σημείωμα Αναφοράς Coyright Εθνικόν και Καποδιστριακόν Πανεπιστήμιον Αθηνών, Γεώργιος Κουρουπέτρογλου 2015. «Επεξεργασία ομιλίας και φυσικής γλώσσας. Ανάλυση κωδικοποίησης γραμμικής πρόβλεψης (LPC)». Έκδοση: 1.0. Αθήνα 2015. Διαθέσιμο από τη δικτυακή διεύθυνση: htt://oencourses.uoa.gr/courses/di36/.
Σημείωμα Αδειοδότησης Το παρόν υλικό διατίθεται με τους όρους της άδειας χρήσης Creative Commons Αναφορά, Μη Εμπορική Χρήση Παρόμοια Διανομή 4.0 [1] ή μεταγενέστερη, Διεθνής Έκδοση. Εξαιρούνται τα αυτοτελή έργα τρίτων π.χ. φωτογραφίες, διαγράμματα κ.λ.π., τα οποία εμπεριέχονται σε αυτό και τα οποία αναφέρονται μαζί με τους όρους χρήσης τους στο «Σημείωμα Χρήσης Έργων Τρίτων». [1] htt://creativecommons.org/licenses/by-nc-sa/4.0/ Ως Μη Εμπορική ορίζεται η χρήση: που δεν περιλαμβάνει άμεσο ή έμμεσο οικονομικό όφελος από την χρήση του έργου, για το διανομέα του έργου και αδειοδόχο που δεν περιλαμβάνει οικονομική συναλλαγή ως προϋπόθεση για τη χρήση ή πρόσβαση στο έργο που δεν προσπορίζει στο διανομέα του έργου και αδειοδόχο έμμεσο οικονομικό όφελος (π.χ. διαφημίσεις) από την προβολή του έργου σε διαδικτυακό τόπο Ο δικαιούχος μπορεί να παρέχει στον αδειοδόχο ξεχωριστή άδεια να χρησιμοποιεί το έργο για εμπορική χρήση, εφόσον αυτό του ζητηθεί.
Διατήρηση Σημειωμάτων Οποιαδήποτε αναπαραγωγή ή διασκευή του υλικού θα πρέπει να συμπεριλαμβάνει: το Σημείωμα Αναφοράς το Σημείωμα Αδειοδότησης τη δήλωση Διατήρησης Σημειωμάτων το Σημείωμα Χρήσης Έργων Τρίτων (εφόσον υπάρχει) μαζί με τους συνοδευόμενους υπερσυνδέσμους.
Σημείωμα Χρήσης Έργων Τρίτων "Η δομή και οργάνωση της παρουσίασης, καθώς και το υπόλοιπο περιεχόμενο, αποτελούν πνευματική ιδιοκτησία της συγγραφέως και του Πανεπιστημίου Αθηνών και διατίθενται με άδεια Creative Commons Αναφορά Μη Εμπορική Χρήση Παρόμοια Διανομή Έκδοση 4.0 ή μεταγενέστερη. Οι φωτογραφίες που περιέχονται στην παρουσίαση αποτελούν πνευματική ιδιοκτησία τρίτων. Απαγορεύεται η αναπαραγωγή, αναδημοσίευση και διάθεσή τους στο κοινό με οποιονδήποτε τρόπο χωρίς τη λήψη άδειας από τους δικαιούχους. "