Πρόβλεψη και ανάλυση σήµατος φωνής µε µεθόδους ανάλυσης χαοτικών χρονοσειρών. ιπλωµατική εργασία. Ιάσονας Κόκκινος

Transcript

1 Πρόβλεψη και ανάλυση σήµατος φωνής µε µεθόδους ανάλυσης χαοτικών χρονοσειρών ιπλωµατική εργασία Ιάσονας Κόκκινος Επιβλέπων: καθηγητής Πέτρος Μαραγκός Εθνικό Μετσόβιο Πολυτεχνείο Τµήµα Ηλεκτρολόγων Μηχανικών και Μηχανικών Η.Υ. Τοµέας Σηµάτων, Ροµποτικής και Ελέγχου Οκτώβριος 2

2 Εισαγωγή 3 2 Γραµµική - µη γραµµική ανάλυση χρονοσειρών 5 2. Γραµµική ανάλυση χρονοσειρών Μη-γραµµική ανάλυση χρονοσειρών Προσδιορισµός χρονικής καθυστέρησης T Προσδιορίσµός διάστασης εµβύθισης d e Προσέγγιση της δυναµικής του συστήµατος στο χώρο φάσης 5 3. Προσέγγιση της δυναµικής του συστήµατος µε local polynomials Προσέγγιση της δυναµικής του συστήµατος µε global polynomials Προσέγγιση της δυναµικής του συστήµατος µε τοπικά µοντέλα σε συστάδες του ελκυστή Προσέγγιση της δυναµικής του συστήµατος µε νευρωνικά δίκτυα ακτινικών συναρτήσεων βάσης Συµπεράσµατα -σύγκριση MSE πρόβλεψης Aναλλοιώτες ποσότητες ενός χαοτικού δυναµικού συστήµατος 4 4. Kλασµατική διάσταση (fractal dimension) Εκθέτες Lyapunov Προσδιορισµός του φάσµατος Lyapunov ενός συστήµατος Ιδιοτιµές πίνακα OSL-τεχνική αποσύνθεσης QR Τοπικοί εκθέτες Lyapunov Υπολογισµός Jacobians Tοπική διάσταση συστήµατος Εφαρµογή µη γραµµικών µεθόδων στην πρόβλεψη/ανάλυση σήµατος φωνής 6 5. Φωνήεντα Τυρβώδεις ήχοι Κρουστικοί ήχοι Συµπεράσµατα - κατευθύνσεις µελλοντικής έρευνας 89 2

3 Εισαγωγή Ο σκοπός της ανάλυσης µίας χρονοσειράς είναι κυρίως να προβλέψουµε τις επόµενες τιµές της καθώς και να χαρακτηρίσουµε(αναγνωρίσουµε) το σύστηµα που την παρήγαγε. Στα πλαίσια της ανάλυσης σήµατος φωνής µπορούµε να πούµε ότι ο χαρακτηρισµός του συστήµατος που παρήγαγε ένα φώνηµα αντιστοιχεί στην αναγνώριση του φώνηµατος ή του εκφωνητή του, ενώ αν καταφέρουµε να προβλέψουµε τις επόµενες τιµές του µπορούµε να πετύχουµε τη συµπίεση του σήµατος, αφού χρειαζόµαστε µόνο την πληροφορία για τη διαφορά µεταξύ της προβλεπόµενης και της επόµενης τιµής του, η οποία είναι µικρότερη από το αρχικό σήµα. Οι καθιερωµένες µέθοδοι που χρησιµοποιούνται στην ανάλυση σηµάτων φωνής (βλ. π.χ. [7] ή [8]) θεωρούν ότι η περιγραφή του ανθρώπινου συστήµατος παραγωγής φωνής µε γραµµικές διαφορικές εξισώσεις επαρκεί για την περιγραφή του. Η πεποίθηση αυτή στηρίζεται κυρίως στην καλή πίστη των µηχανικών στην ισχύ του γραµµικού µοντέλου που οφείλεται στην ύπαρξη των διαδεδοµένων και καθιερωµένων εργαλείων για την ανάλυση σηµάτων,του µετασχηµατισµού Fourier και της ανάλυσης στο πεδίο της συχνότητας, αλλά και στην απουσία και άγνοια µεθόδων για την µη-γραµµική ανάλυση χρονοσειρών. Αποτελέσµατα σύγχρονης πειραµατικής έρευνας έχουν αποδείξει, ωστόσο, ότι το σήµα φωνής χαρακτηρίζεται από πολύπλοκη δοµή,η οποία δεν είναι δυνατό να προέρχεται από ένα γραµµικό σύστηµα, αφού αφ ενός η µέτρηση της ροής του αέρα στην στοµατική κοιλότητα κατέδειξε ότι η γραµµική σχέση που συνδέει τη ροή του αέρα µε την πίεση παραβιάζεται [], αφ έταίρου ο ανακατασκευασµένος ελκυστής του συστήµατος έχει κλασµατική διάσταση [3].Καθώς την τελευταία δεκαετία η µη-γραµµική ανάλυση χρονοσειρών έχει γνωρίσει µεγάλη πρόοδο, ενδιαφέρον έχει να εξεταστεί αν και κατά πόσο δουλεύουν καλύτερα από τις γραµµικές οι µη-γραµµικές µέθοδοι. Στην εργασία αυτή χρησιµοποιήθηκαν µεθόδοι που εφαρµόζονται στην ανάλυση µη γραµµικών (ή χαοτικών ) χρονοσειρών και εξετάστηκε κατά πόσο µπορεί να επιτευχθεί µικρότερο σφάλµα πρόβλεψης για το σήµα φωνής µε τις µεθόδους αυτές, καθώς και αν µπορούµε µέσω ορισµένων χαρακτηριστικών της δυναµικής του µη γραµµικού µοντέλου που χρησιµοποιούµε να αναγνωρίσουµε τα διάφορα φωνήµατα. Προηγούµενη δουλεία στo συγκεκριµένο αντικείµενο υπάρχει(απ όσο γνωρίζουµε) στο [9] καθώς και στο [] αλλά καθώς από τότε που δηµοσιεύτηκαν τα παραπάνω άρθρα έχουν υπάρξει αρκετές εξελίξεις στο χώρο της µη γραµµικής ανάλυσης χρονοσειρών στην εργασία αυτή, χρησιµοποιώντας πρόσφατες µεθόδους, πήραµε καλύτερα αποτελέσµατα από αυτά που υπάρχουν στις παραπάνω δηµοσιεύσεις, ενώ εξετάστηκαν διεξοδικότερα οι επιδόσεις των διαφόρων αλγορίθµων και η δυνατότητα χαρακτηρισµου του συστήµατος παραγωγής φωνής. Οι τελευταίες έννοιες θα εξηγηθούν στη συνέχεια 3

4 H διάρθρωση της διπλωµατικής εργασίας είναι η εξής: Στο 2 o κεφάλαιοπαρουσιάζονταιοικύριεςιδέεςτηςµηγραµµικήςανάλυσηςσηµάτων µετά από µία σύντοµη αναφορά στη γραµµική ανάλυση. Στο 3 o κεφάλαιο αναπτύσσονται οι µέθοδοι ανακατασκευής της δυναµικής του συστήµατος που χρησιµοποιήθηκαν και συγκρίνονται οι επιδόσεις τους. Στο 4 o κεφάλαιοαναφερόµαστεστιςαναλλοίωτεςτωνµη-γραµµικώνδυναµικώνσυστηµάτων, στη σηµασία τους καθώς και στον τρόπο υπολογισµού τους. Στο 5 o κεφάλαιο εφαρµόζονται οι µέθοδοι που παρουσιάστηκαν στα προηγούµενα κεφάλαια σε διαφορετικά φωνήµατα. Στο 6 o κεφάλαιοπαρουσιάζονταιτασυµπεράσµαταταοποίαβγήκαναπότηνεργασία αυτή και προτείνονται µελλοντικές κατευθύνσεις έρευνας. Aκολουθούν οι κυρίοτερες συµβάσεις για τους συµβολισµούς στη συνέχεια του κειµένου: X : πίνακας X :διάνυσµα x i :i-οστή συνιστώσα διανύσµατος X x :βαθµωτή ποσότητα 4

5 2 Γραµµική - µη γραµµική ανάλυση χρονοσειρών 2. Γραµµική ανάλυση χρονοσειρών Η γραµµική ανάλυση χρονοσειρών έχει δύο πολύ επιθυµητά χαρακτηριστικά: δίνει µοντέλα που µπορούν να κατανοηθούν άµεσα και είναι εύκολο να υλοποιηθούν. Φυσικά υπάρχει, όπως θα δούµε, και το τίµηµα ότι και για ελάχιστα πολυπλοκότερα συστήµατα από τα γραµµικά µπορεί και να αποτύχει πλήρως. Το γραµµικό µοντέλο το οποίο χρησιµοποιείται κυρίως στην επεξεργασία φωνής είναι το αυτοπαλινδροµικό µοντέλο (Auto Regressive - AR).Σύµφωναµεαυτότοµοντέλοθεωρείταιότιγιαµίαχρονοσειρά xητιµήτηςτηχρονική στιγµή k µπορεί να εκφραστεί ως ένας γραµµικός συνδυασµός των προηγούµενων m τιµών της (Αυτοπαλινδροµικό µοντέλο m-οστής τάξης): M x(k) = a j x(k j) + e(k) (2.) j= Ανάλογα µε την περίπτωση που χρησιµοποιείται η (2.),το e(k) αποτελεί είτε το σφάλµα πρόβλεψης είτε τη διέγερση που δίνουµε στο σύστηµα.παραλείποντας την ποσότητα e(k) και παίρνοντας τον µετασχηµατισµό Fourier και των δύο πλευρών της παραπάνω σχέσης έχουµε : x(f) = F x (f) = M a j x(f)e i2πjf j= (2.2) a e i2πf a 2 e i2π2f a M e i2 2 όπου x(f)οµετασχηµατισµόςfourierτηςχρονοσειράς x(k)και F x τοpowerspectrumτης. Αυτό το οποίο πετυχαίνουµε µε το µετασχηµατισµό Fourier είναι να µεταφέρουµε την ανάλυση µίας χρονοσειράς από το πεδίο του χρόνου στο πεδίο της συχνότητας,όπου και αναδεικνύονται ορισµένα ενδιαφέροντα χαρακτηριστικά της (περιοδικότητες κ.α.). Στο σχήµα 2. βλέπουµε για ένα σύστηµα µε συντελεστές A = [.4,.2,.,.3] τη xρονοσειρά xπουπαίρνουµεαντοσήµα eτηςεξίσωσης(2.)είναιπεριοδικόςπαλµόςήθόρυβος καθώς και το µέτρο του µετασχηµατισµού Fourier της προκύπτουσας χρονοσειράς. Παρατηρούµε ότι και στις δύο περιπτώσεις ο µετασχηµατισµός Fourier του σήµατος έχει το µέγιστο στην περιοχή των 5-2. Αυτό αποτελεί µία ιδιότητα αυτού του συστήµατος, που είναι ανεξάρτητη από το σήµα που υπάρχει στην είσοδό του και που χρησιµοποιείται για την αναγνώριση και για τον χαρακτηρισµό του συστήµατος. 5

6 First case:e(k) is a periodic pulse Second case:e(k) is random (noise) e(k).5 e(k) x versus k plot x versus k plot 3.5 x(k) F x (f) F versus f plot x x(k) F x (f) F versus f plot x Σχήµα 2.: Συµπεριφορά AR συστήµατος,µε συντελεστές A = [.4,.2,.,.3] Στα πλαίσια της επεξεργασίας σήµατος φωνής µπορούµε να πούµε ότι χρησιµοποιώντας τη σχέση (2.) µοντελοποιούµε το σύστηµα παραγωγής φωνής κατά το διάστηµα ενός φώνηµατος µε ένα σύστηµα µε συνάρτηση µεταφοράς 2 H(f) = A(f) = M i= a i e i2πjf (2.3) στην είσοδό τoυ οποίου βρίσκεται είτε µία περιοδική διέγερση από κρουστικούς παλµούς για έµφωνους ήχους,(π.χ. /a/,/e/) είτε ένα σήµα θορύβου για άφωνους ήχους(π.χ./s/,/d/). Για µία διεξοδική παρουσιάση του µοντέλου αυτού δύο καθιερωµένα βιβλία είναι τα [7],[8]. Οι συντελεστές της σχέσης (2.) ορίζονται κατά τέτοιο τρόπο ώστε να ελαχιστοποιείται το N i e(n) 2 το οποίο ειναι το µέσο τετραγωνικό σφάλµα (Mean Squared Error -MSE ) µεταξύ της πρόβλεψης και του σήµατος φωνής σε ένα παρατηρούµενο διάστηµα. Για τον υπολογισµό τους υπάρχουν πολύ αποδοτικοί αλγόριθµοι (βλ. π.χ. [8]) οι οποίοι σε µεγάλο βαθµό έχουν συµβάλει στην καθιέρωση της εφαρµογής του µοντέλου αυτού στην ανάλυση των σηµάτων φωνής. Η παραπάνω µοντελοποίηση του συστήµατος παραγωγής φωνής βασίζεται στην παραδοχή ότι η συµπεριφορά του µπορεί να περιγραφεί από γραµµικές εξισώσεις, οπότε Tο παραπάνω µοντέλο εφαρµόζεται για χρονικά διαστήµατα -2 msec οπότε είναι βάσιµη η παραδοχή ότι στο διάστηµα αυτό το σύστηµα παραγωγής φωνής παραµένει αµετάβλητο. 2 Η συνάρτηση µεταφοράς έχει µόνο πόλους οι οποίοι αντιστοιχούν στις συχνότητες συντονισµού του συστήµατος παραγωγής φωνής, δηλαδή τις συχνότητες εκείνες των οποίων τη διέλευση επιτρέπει περισσότερο από τις αλλές. Για την περίπτωση που το σύστηµα παραγωγής φωνής έχει και ρίζες εκτός από πόλους(π.χ. για τα φωνήµατα/m/,/n/) θεωρούµε ότι µπορούµε να προσεγγίσουµε τη συµπεριφορά του εισάγοντας πολλούς πόλους. 6

7 είναι δυνατή η ανάλυση του στο πεδίο της συχνότητας. Αν η παραδοχή αυτή όµως δεν ανταποκρίνεται στην πραγµατικότητα ακόµα και για απλά συστήµατα το γραµµικό µοντέλο µπορεί να αποτύχει. Ένα πολύ απλό µη-γραµµικό συστήµα είναι η λογιστική εξίσωση: x(k + ) = a x(k) ( x(k)) (2.4) Αν το a έχει κατάλληλη τιµή (π.χ. 3.9) δεν υπάρχει κάποια περιοδικότητα στο σήµα - x n evolution for a=2.2 x n evolution for a= fft of x n for a=2.2 2 fft of x n for a= Σχήµα 2.2: Εξέλιξη συστήµατος 2.4 για διάφορες τιµές του a βλ.σχήµα 2., οπότε και το φάσµα του σήµατος δεν είναι περιορισµένο σε µία περιοχή -οπότε θα προσφερόταν για ανάλυση µε γραµµικές µεθόδους. Στα πλαίσια της γραµµικής ανάλυσης, η ύπαρξη µη µηδενικού φασµατικού περιεχοµένου στις υψηλές συχνότητες εκλαµβάνεται ως θόρυβος, ενώ ξέρουµε ότι το σύστηµα είναι απολύτως ντετερµινιστικό και τα δεδοµένα που χρησιµοποιήσαµε είναι καθαρά. Τα γραµµικά εργαλεία λοιπόν δεν είναι κατάλληλα ακόµα και για ένα τόσο απλό σύστηµα όπως αυτό που περιγράφει η εξίσωση (2.4). Προκύπτει, συνεπώς, η ανάγκη σε παρόµοιες περιπτώσεις τις εισαγωγής ενός µοντέλου το οποίο να µοντελοποιεί µε διαφορετικό τρόπο την συµπεριφορά µίας χρονοσειράς. Πρωτού προχωρήσουµε στην παρουσίαση των µοντέλων αυτών είναι χρήσιµο να παρουσιάσουµε ορισµένους όρους που χρησιµοποιούνται συχνά όταν αναφερόµαστε σε µηγραµµικά δυναµικά συστήµατα: Λέµε ότι ένα δυναµικό σύστηµα καταλήγει σε έναν ελκυστή αν µετά από την όποια µεταβατική του κατάσταση καταλήγει σε µία περιορισµένη υποπεριοχή A του χώρου στον οποίο λαµβάνει χώρα η δυναµική του (χώρος φάσης). Η υποπεριοχή αυτή του χώρου φάσης αποτελεί το σταθερό σηµείο της δυναµικής του συστήµατος, δηλαδή έχουµε A = f(a) (2.5) όπου f η συνάρτηση που περιγράφει τη δυναµική του συστήµατος. 7

8 Ενα χαοτικό δυναµικό σύστηµα χαρακτηρίζεται(µεταξύ άλλων) από εγγενή αδυναµία πρόβλεψης της εξέλιξής του πέρα από ένα χρονικό σηµείο. Η αδυναµία αυτή οφείλεται στην εξαιρετική του ευαισθησία στις αρχικές συνθήκες, η οποία εκδηλώνεται µε τη µεγέθυνση µε την πάροδο του χρόνου και των µικρότερων διαφορών σε τέτοιο βαθµό, ώστε δύο τροχιές που ξεκινάνε από σηµεία που απέχουν ελάχιστα µεταξύ τους να καταλήγουν να µην έχει καµία συσχέτιση. ύο γνωστά παραδείγµατα χαοτικών δυναµικών συστηµάτων τα οποία και θα χρησιµοποιηθούν στα επόµενα κεφάλαια ως workbenches είναι τα παρακάτω:. H απεικόνιση Henon x (n + ) =.4x (n) 2 + x 2 (n) x 2 (n + ) =.3x (n) (2.6) Dynamincs of Henon map X (n+) X 2 (n+) X 2 (n).5 X (n) X 2 (n).5 X (n).5 Σχήµα 2.3: υναµική συστήµατος Henon 2. H απεικόνηση Ikeda Y (n + ) = +.9Y (n) e [.4ι 6 ι (+ Y (n) ) 2 ] (2.7) όπου Y είναι ένα µιγαδικό διάνυσµα. Oι ελκυστές των δύο συστηµάτων διακρίνονται από τα µαύρα στίγµατα. 8

9 Dynamincs of Ikeda map Re(Y(n+)) Im(Y(n+)) Re(Y(n)) Im(Y(n)).5 Re(Y(n)) Im(Y(n)) Σχήµα 2.4: υναµική συστήµατος Ikeda Στο κεφάλαιο αυτό θα χρησιµοποιήσουµε το σύστηµα του Lorenz (2.8) ẋ = σx + σy ẏ = Rx y xy ż = Bz + xy (2.8) Οι παραπάνω εξισώσεις χρησιµοποιήθηκαν πρώτη φορά από τον Lorenz το 962 για τη µοντελοποίηση καιρικών φαινοµένων και περιγράφουν το µάλλον πιο γνωστό χαοτικό δυναµικό σύστηµα.ο ελκυστής του συστήµατος Lorenz φαίνεται στο σχήµα Lorenz Attractor;σ=5 R=5 B=; t=.25; 2 iterations Σχήµα 2.5: Ελκυστής Lorentz ύο πολύ σηµαντικές ιδιότητες των χαοτικών δυναµικών συστηµάτων είναι η κλασµατική διάσταση του ελκυστή τους και οι εκθέτες Lyapunov. Για λογούς συνοχής και συνέχειας του κειµένου θα παρουσιαστούν σε ξεχωριστό κεφάλαιο το οποίο θεωρεί δεδοµένα τα περιεχόµενα του παρόντος και του επόµενου κεφαλαίου. 3 Το σχήµα είναι από το [3]. 9

10 2.2 Μη-γραµµική ανάλυση χρονοσειρών Κεντρικής σηµασίας στη µη γραµµική ανάλυση χρονοσειρών είναι η ιδέα ότι ο χώρος στον οποίο πραγµατοποιείται η εξέλιξη του συστήµατος από το οποίο προέρχεται η παρατηρούµενη χρονοσειρά δεν είναι αυτός ο µονοδιάστατος χώρος των παρατηρήσεων αλλά ένας χώρος τόσων διαστάσεων (έστω d k ) όσες είναι και οι εσωτερικές µεταβλητές του συστήµατος που καθορίζουν τη συµπεριφορά του (χώρος φάσης). Από το χώρο αυτό εµείς βλέπουµε µόνο µία προβολή του σε µία διάσταση που µπορεί να είναι µία οποιαδήποτε συνάρτηση F : R d k R των µεταβλητών αυτών (θεωρούµε πάντοτε µονοδιάστατες χρονοσειρές). Το γεγονός αυτό εξηγεί την εξαιρετικά περίπλοκη συµπεριφορά σε µία διάσταση συστήµατών τα οποία διέπονται από πολύ απλές εξισώσεις σε δύο ή περισσότερες διαστάσεις. Στα πλαίσια της µη γραµµικής ανάλυσης χρονοσειρών επιχειρούµε να ανακατασκευάσουµε το χώρο φάσης του συστήµατος. Λέγοντας ότι µε έναν µετασχηµατισµό R R de ανακατασκεύάζουµε το χώρο φάσης του συστήµατος εννοούµε ότι διατηρείται ο ντετερµινισµός του συστήµατος στον νέο χώρο φάσης που παίρνουµε, καθώς και οι εφαπτόµενες σε κάθε σηµείο, µε την έννοια ότι δεν έχουµε διασταυρώσεις µεταξύ εφαπτόµενων διευθύνσεων σε σηµεία του ανακατασκευασµένου χώρου φάσης που ήταν παράλληλες στον αρχικό χώρο φάσης. Ένας τέτοιος µετασχηµατισµός ονοµάζεται εµβύθιση. Ικανή συνθήκη για την ανακατασκευή του ελκυστή είναι d e > 2k όπου k η κλασµατική (fractal) διάσταση του ελκυστή στον οποίον έχει καταλήξει το σύστηµα. 4 Το θεώρηµα εµβύθισης του Takens µας εγγυάται ότι η ανακατασκευή του ελκυστή είναι εφικτή: Aς θεωρήσµουε ένα δυναµικό σύστηµα του οποίου η εξέλιξη καθορίζεται από έναν αριθµό d k µεταβλητών,οι οποίες συνιστούν το διάνυσµα κατάστασης Z = [z, z 2,..., z dk ] (2.9) και έστω Z(n + ) = f(z(n)) (2.) ησχέσηπουκαθορίζειτηνεξέλιξήτου. Ανηχρονοσειρά xπουεµείςπαρατηρούµεείναιη µονοδιάστατη προβολή h µίας διανυσµατικής συνάρτησής g των d K αυτών µεταβλητών, δηλαδή x = h(g(z)) (2.) ο ελκυστής του συστήµατος θα είναι διπλωµένος στη µία διάσταση που παρατηρούµε, αφού δεν είναι δυνατό να προβληθεί από δύο ή περισσότερες διαστάσεις σε µία διατηρώντας τις (σχετικές) αποστάσεις µεταξύ των σηµείων του στον αυθεντικό χώρο φάσης. Σύµφωνα όµως µε το θεώρηµα του Takens, υπό την προϋπόθεση ότι h,g C, µπορούµε να ανακατασκευάσουµε το χώρο φάσης του συστήµατος, όπου ξεδιπλώνεται ο ελκυστής του συστήµατος, χρησιµοποιωντας διανύσµατα X που προέρχονται από αυτές τις παρατηρήσεις : X(n) = [h(g(z(n)), h(g T (Z(n)),..., h(g T de (Z(n))] (2.2) όπουτανέαδιανύσµατα X ορίζουντώραµίανέατροχιάσεένα d e -διάστατοχώρο. Ηδιάσταση d e ονοµάζεται διάσταση εµβύθισης (embedding dimension) και δεν είναι υποχρεωτικά ίση µε την αρχική διάσταση d k στην οποία εξελίσσεται η δυναµική του συστήµατος. Η επιλογή των συναρτήσεων h,g η οποία εφαρµόζεται συνήθως για να πάρουµε τα διανύσµατα X είναι να θεωρήσουµε ότι η συνάρτηση h είναι η παρατηρούµενη µεταβλητή 4 γιαµίασύντοµηανάφοράστηνέννοιατηςκλασµατικήςδιάστασηςβλ. κεφάλαιο3,ενώγιαπεραιτέρωβλ. π.χ. [5][3]

11 δηλαδή ότι h(z(n)) = x(n) ενώ για την g επιλέγουµε την απεικόνιση η οποία υψωµένη σε δύναµη τ s σε ένα διάνυσµα Z(n) αντιστοιχεί το Z(n + τ s ) 5, δηλαδή: g(z(n)) = Z(n + τ s ) (2.3) Αν επιπλέον πάρουµε T dn = nt τότε καταλήγουµε στην παρακάτω εξής µορφή για το διάνυσµα X: X = [x(n), x(n + T),..., x(n + T (d e ))] (2.4) το οποίο είναι πολύ εύκολο να το αποκτήσουµε από το παρατηρούµενο σήµα (π.χ. µε ένα φίλτρο αποµάστευσης). Με µία κατάλληλη επιλογή δηλαδή των συναρτήσεων f, g µπορούµε αντί της εξωτικής µορφής της εξίσωσης (2.2) να πάρουµε µία πολύ απλούστερη έκφραση, όπως η (2.4) Πρoτού προχωρήσουµε στην περιγραφή µεθόδων για τον προσδιορισµό των παραµέτρων T και d e αξίζει να τονίσουµε τη διαφορετική προσέγγιση της χρήσης χρονικά καθυστερηµένων δειγµάτων του σήµατος στην γραµµική ανάλυση χρονοσειρών και στη µη γραµµική ανάλυση 6 : Στην πρώτη περίπτωση οι καθυστερήσεις χρησιµοποιούνται για να καθορίσουν την τιµή του επόµενου δείγµατος µέσω µίας γραµµικής εξίσωσης, για την οποία αρκεί να βρούµε τους βέλτιστους συντελεστές. Στη δεύτερη περίπτωση τα καθυστερηµένα δείγµατα χρησιµεύουν για να ανακατασκευάσουµε το χώρο φάσης, και να ξεδιπλώσουµε εκεί τον ελκυστή του συστήµατος, οπότε και να αναλύσουµε την δυνάµική του συστήµατος σε d e διαστάσεις. Αυτό το οποίο επιτυγχάνουµε χρησιµοποιώντας καθυστερηµένα δείγµατα είναι εκµεταλλευόµενοι πληροφορία σχετικά µε την ιστορία του συστήµατος στην πρόβλεψη που κάνουµε, κατά κάποιο τρόπο να ενσωµατώνουµε τη δυναµική του συστήµατος στο σηµείο X(n) -αφού το σύστηµα έχει διανύσει προηγουµένως µία συγκεκριµένη τροχία στο χώρο φάσης του, µπορούµε να πούµε πού θα πάει αργότερα; αυτό το πρόβληµα καλείται να επιλύσει η µή-γραµµική ανάλυση. Το θεώρηµα του Takens το οποίο αναφέρθηκε προηγούµένως εξασφαλίζει απλά τη δυνατότητα ανακατασκευής του ελκυστή. Ενα πρακτικό πρόβληµα µε µεγάλο ενδιαφέρον είναι ποιές είναι οι κατάλληλες τιµές για τις παραµέτρους T και d e (και ποιο είναι το κριτήριο για την καταλληλότητά τους). Για το σκοπό αυτό χρησιµοποιούµε τις µεθόδυς που αναφέρονται στο []: 2.2. Προσδιορισµός χρονικής καθυστέρησης T Η χρονική καθυστέρηση T πρέπει να έχει δύο αντικρουόµενα χαρακτηριστικά: Να είναι αρκετά µεγάλη ώστε το δείγµα x(n) να µην είναι πολύ κοντά στο δείγµα x(n + T). Αλλιώς δεν παίρνουµε αρκετή πληροφορία για την ιστορία του συστήµατος, πράγµα που καθιστά ανακριβή την πρόβλεψή µας, αφού δεν είµαστε σε θέση να ενσωµατώσουµε ικανοποιητικά την προηγούµενη τροχία του συστήµατος στην πρόβλεψη χρησιµοποιώντας µόνο σηµεία που έχουν προέλθει από τα τελευταία στιγµιότυπά της. 5 τ s είναι ο ρυθµός δειγµατοληψίας του σήµατος 6 Το ότι χρησιµοποιούνται τα επόµενα δείγµατα του x ως συνιστώσες του X δεν πρέπει να µπερδεύει τον αναγνώστη: στην πράξη χρησιµοποιούνται (ισοδύναµα) τα προηγούµενα δείγµατα για τον ορισµό του X και µπορούµε να πούµε ότι παίρνουµε αντί των X(n) τα Ẋ(n T (d e )) = [x(n), x(n T),..., x(n T (d e ))]

12 Να είναι αρκετά µικρή ώστε τα δείγµατα x(n), x(n + T) να µην είναι άσχετα µεταξύ τους, όπως είναι αναµενόµενο ότι θα είναι για µεγάλο T για ένα χαοτικό συστηµά. ιαφορετικά η πρόβλεψή µας βασίζεται πρακτικά αποκλειστικά στo x(n) οπότε είναι καταδικασµένη να αποτύχει (δεν παίρνει υπ οψιν καθόλου την ιστορία του συστή- µατος). Για τον προσδιορισµό της κατάλληλης τιµής της T χρησιµοποιείται η έννοια της αµοιβαίας πληροφορίας (Mutual Information), η οποία ποσοτικοποιεί το ποσό πληροφορίας MI που παίρνουµε για µία µέτρηση a από µία άλλη µέτρηση b το οποίο ισούται (σε bits) µε: MI(a, b) = log 2 P(a, b) P(a)P(b) (2.5) Έτσι π.χ. µία µέτρηση b η οποία είναι άσχετη µε την a µας δίνει µηδενική πληροφορία, καθώς P(a, b) = P(a)P(b). Παίρνοντας τη µέση τιµή της παραπάνω τιµής για όλες τις παρατηρήσεις a, b έχουµε τη συνάρτηση που µας δίνει την µέση αµοιβαία πληροφορία (Average Mutual Information -AMI) µεταξύ των µετρήσεων a, b: I AB = (a,b) P(a, b)log 2 P(a, b) P(a)P(b) (2.6) δηλαδή για κάθε δυνατό ζεύγος παρατηρήσεων ζυγίζουµε την αµοιβαία πληροφορία που µας δίνει µε την πιθανότητα να παρατηρηθεί(εφόσον έχουµε πάρει το µέσο της αµοιβαίας πληροφορίας). Στην περίπτωση που εξετάζουµε θέλουµε να βρούµε κατά πόσο η µέτρηση x(n) µας δίνει κάποια πληροφορία για την x(n + T). Για το σκοπό αυτό βρίσκουµε τη µέση αµοιβαίαπληροφορίαγιαταζεύγηµετρήσεων x(n), x(n + T)γιαδιαφορετικέςτιµέςτου T και σχηµατίζουµε τη συνάρτηση I(T) : I x(n),x(n+t) (T) = N T n= [ ] P(x(n), x(n+t)) P(x(n), x(n + T)) log 2 P(x(n))P(x(n+T)) (2.7) Υπολογίζοντας την I(T) συναρτήσει της χρονικής καθυστέρησης T µπορούµε να βρούµε µία κατάλληλη τιµή της ώστε ναι µεν τα δείγµατα x(n), x(n + T) να µην είναι πολύ όµοια µεταξύ τους αλλά να µην είναι και τόσο αποµακρυσµένα ώστε να µην σχετίζονται. Μία εµπειρικήεπιλογήγιατην T είναινατεθείίσηµετο T στοοποίοπαρατηρείταιτοπρώτο ελάχιστο της συνάρτησης I(T). Στο σχήµα 2.2. φαίνεται η συνάρτηση µέσης αµοιβαίας πληροφορίας για δεδοµένα που προέρχονται από το σύστηµα εξισώσεων του Lorenz(συγκεκριµένα από την x συνιστώσα). Αν και δεν υπάρχει ξεκάθαρη επιστηµονική απόδειξη για την αναγκαιότητα της χρήσης της παραπάνω µεθόδου για τον προσδιορισµό της παραµέτρου T, υπάρχει αρκετή πρακτική τεκµηρίωση της χρησιµότητάς της και της υπεροχής της έναντι της εναλλακτικής της, που είναι η χρήση της συνάρτησης αυτοσυσχέτισης-που είναι κατάλληλη για γραµ- µικά συστήµατα, βλ. π.χ. [] [3] Προσδιορίσµός διάστασης εµβύθισης d e Όπως έχει ήδη αναφερθεί ο ελκυστής ενός d k -διάστατου δυναµικού συστήµατος βρίσκεται διπλωµένος από την προβολή του σε λιγότερες των d k διαστάσεων (π.χ. αν έχουµε µόνο µία παρατήρηση), δήλαδή αλλοιώνονται οι τοπολογικές του ιδιότητες. Αυτό έχει 2

13 5 I versus T plot 4.5 Average Mutual Information(I) Seperation between samples(t) Σχήµα 2.6: Συνάρτηση µέσης αµοιβαίας πληροφορίας για την συνιστώσα των λύσεων του συστήµατος (2.8 ως συνέπεια ότι σηµεία τα οποία βρίσκονται αποµακρυσµένα στον αρχικό χώρο φάσης µπορεί να βρεθούν πολύ κοντά µεταξύ τους, πράγµα που µας δίνει παραπλανητικά στοιχεία για τη δυναµική του συστήµατος. Για το λόγο αυτό αν θέλουµε να ανακατασκευάσουµε το χώρο φάσης του συστήµατος κατά τέτοιο τρόπο ώστε να διατηρείται ο ντετερµινισµός του, οφείλουµε να χρησιµοποιήσουµε µία τέτοια διάσταση εµβύθισης d e ώστε σηµεία τα οποία βρίσκονται κοντά να είναι κοντά και στον αρχικό ελκυστή. Υπενθυµίζουµε ότι από το θεώρηµα του Takens αρκεί να έχουµε d e > 2k, όπου k η κλασµατική διάσταση του ελκυστή, αλλά αυτό το κριτήριο δεν είναι πάντα κατάλληλο για δύο λόγους: Χρειάζεται να ξεδιπλώσουµε τον ελκυστή για να βρούµε την κλασµατική του διάσταση. Ακόµακαιανγνωρίζαµετην kεξαρχής,ησυνθήκη d e > 2kείναιικανήκαιόχιαναγκαία. Συνήθως προσπαθούµε να βρoύµε την ελάχιστη αναγκαία διάσταση εµβύθισης καθώς καθιστά το πρόβληµα της ανακτασκευής της δυναµικής του συστήµατος απλούστερο. Η µέθοδος που χρησιµοποιήσαµε είναι γνωστή ως µέθοδος των ψευδών γειτόνων(false neighbors), βλ. π.χ. []. Σύµφωνα µε τη µέθοδο αυτή το διάνυσµα κατάστασης X σχη- µατίζεται από τόσα επόµενα δείγµατα, 7 όσα χρειάζονται για να µην υπάρχουν ψευδείς γείτονες. Για κάθε σηµείο X(n) = [x(n), x(n + T),..., x(n + T)], δηλαδή του M-διάστατου ελκυστή βρίσκουµε το πλησιέστερο προς αυτό στοιχείο του ελκυστή, έστω X NN (n), και εξετάζουµε σε ποιο βαθµό θα µεταβληθεί η απόστασή τους, αν τα θεωρήσουµε σε έναν ελκυστή µε διάσταση εµβύθισης d e = M +. Η µεταβολή της απόστασής τους δηλαδή δίνεται από τη σχέση: R D (X(n), X NN (n)) = = d2 D+(X(n), X NN (n)) d 2 D(X(n), X NN (n)) = d 2 D((n), X NN (n)) M+ i= [X i (n) Xi NN (n)] 2 M i= [X i (n) Xi NN (n)] 2 Mi= = [X i (n) Xi NN (n)] 2 7 Η χρονική απόσταση µεταξύ των δειγµάτων που χρησιµοποιούνται για την ανακατασκευή του ελκυστή θεωρούµε ότι έχει υπολογιστεί σύµφωνα µε τη µέθοδο της προηγούµενης παραγράφου 3

14 = X M+ (n) X NN M+(n) Mi= [X i (n) X NN i (n)] 2 (2.8) Ελέγχοντας αν R D > R thr, όπου R thr 5 2 8, συµπεραίνουµε αν η αποµάκρυνσή τους ήταν τέτοια ώστε να θεωρηθούν ψευδείς γείτονες. Με βάση το παραπάνω κριτήριο, λοιπόν, ξεκινάµε από M = και αυξάνουµε τη διάσταση εµβύθισης του ελκυστή εως ότου το παραπάνω κριτήριο ικανοποιηθελι για όλα τα στοιχεία του ελκυστή. Πρέπει να σηµειωθεί, επίσης, ότι παρουσία θορύβου είναι δύνατό ακόµα και στην ελάχιστη απαιτούµενη διάσταση εµβύθισης να υπάρχουν ορισµένα στοιχεία για τα οποία η ποσότητα R D να ξεπερνάει το R thr. Για το λόγο αυτό το κριτήριο το οποίο χρησιµοποιείται πρακτικά για την επιλογή της σωστής διάστασης εµβύθισης είναι ότι από τη διάσταση αυτή και πέρα δεν υπάρχει σηµαντική διαφοροποίηση του ποσοστού των σηµείων τα οποία δεν ικανοποιούν το αρχικό µας κριτήριο. Παρακάτω φαίνεται το ποσοστό των σηµείων της x συνιστώσας µίας λύσης του συστήµατος Lorenz που δεν ικανοποιούν τη σχέση R D < R thr ως συνάρτηση της διάστασης εµβύθισης για διαφορετικές τιµές του R thr. Παρατηρούµε ότι η επιλογή της D δεν επηρεάζεται από την τιµή του R thr. Το σχήµα είναι από το [3]. % False Neighbors Lorenz System,σ=5 R=5 B=, t=.25,2pts % False Neighbors Lorenz System,σ=5 R=5 B=, t=.25,2pts Embedding Dimension D E Embedding Dimension D E Σχήµα 2.7: Ποσοστό µη πραγµατικών γειτώνων Στο σηµείο αυτό νιώθω υποχρεωµένος να ευχαριστήσω το Βασίλη Πιτσικάρη ο οποίος προσέφερε τον πηγαίο κώδικα για τα προγράµµατα µε τα οποία γίνεται η επιλογή των παραµέτρων T και d e καιτουοποίουηβοήθειασεόποιαάλληπερίστασηχρειάστηκεήταν σηµαντική για την πρόοδο της διπλωµατικής. 8 Η επιλογή του Rthr είναι εµπειρική 4

15 3 Προσέγγιση της δυναµικής του συστήµατος στο χώρο φάσης Έχοντας καθορίσει τη διάσταση εµβύθισης του σήµατος καθώς και την χρονική καθυστέρηση µεταξύ των δειγµάτων που χρησιµοποιούνται για την ανακατασκευή του χώρου φάσης του δυναµικού συστήµατος, σκοπός µας είναι πλέον να προσεγγίσουµε τη συνάρτηση που απεικονίζει το διάνυσµα κατάστασης του συστήµατος τη χρονική στιγµή k X(k) = [x(k), x(k ), x(k 2),..., x(k d e )] (3.) σε αυτό την στιγµή k +,δηλαδή την f για την οποία έχουµε X(k + ) = f(x(k)) (3.2) Μπορούµε, αν θέλουµε αποκλειστικά να κάνουµε πρόβλεψη για το επόµενο βήµα, αντί τουδιανύσµατος ναπροβλέψουµεµόνοτηνεπόµενητιµητηςπρώτηςσυνιστώσαςτου x και να θεωρήσουµε ότι οι υπόλοιπες συνιστώσες του προκύπτουν κάνοντας µία ολίσθηση προς τα δεξιά του αρχικού διανύσµατος. Καθώς όµως, όπως θα φανεί στην ανάλυση για τους εκθέτες Lyapunov, είναι χρήσιµο να έχουµε µία συνάρτηση που να απεικονίζει διάνυσµα σε διάνυσµα θα αναφερόµαστε στο εξής σε συναρτήσεις R de R de Η µόνη πληροφορία που έχουµε για τη συνάρτηση f είναι ότι µπορεί να είναι µη γραµ- µική (για λόγους απλότητας χρειάζεται και η υπόθεση ότι είναι συνεχής) και στόχος µας είναι να προσεγγίσουµε τη συνάρτηση f µε µία συνάρτηση F η οποία να βασίζεται στα ζεύγη παρατηρήσεων < X(k), X(k + ) > που έχουµε. Μία εκτίµηση της ποιότητας της εκτίµητριας συνάρτησης F είναι το κανονικοποιηµένο µέσο τετραγωνικό σφάλµα (Normalised Mean Squared Error -NMSE) που ορίζεται ως NMSE = σ prediction µǫ (3.3) σ data Ni= (x i F(x i )) 2 σ prediction = σ data = N Ni= (x i x) 2 Η τακτική που ακολουθείται γενικότερα για την εκτίµηση της συνάρτησης F είναι αφού εκπαιδευτεί µε ένα µέρος των δεδοµένων να εξεταστεί η επίδοσή της µε το υπόλοιπο µέρος των δεδοµένων µας(cross-validation). Στα πλαίσια της επεξεργασίας φωνής, όµως, σκοπός µας δεν είναι να κατασκευάσουµε ένα µοντέλο το οποίο να µπορεί να ανταποκριθεί σε άλλα δεδοµένα εκτός από αυτά τα οποία χρησιµοποιήθηκαν στην εκπαίδευσή του - πράγµα που εξετάζουµε µε τη µέθοδο της cross validation, αλλά χρησιµοποιώντας όσα 5 N

16 δεδοµένα έχουµε να ελαχιστοποιήσουµε το σφάλµα πρόβλεψης. Συνεπώς το κριτήριο της καταλληλότητας ενός µοντέλου που θα χρησιµοποιούµε είναι το µέσο τετραγωνικό σφάλµα της πρόβλεψης πάνω σέ όλα τα δεδοµένα. Βέβαια υπάρχουν και άλλα κριτήρια για την καταλληλότητα µίας συνάρτησης F για να προσεγγίσει την συνάρτηση f, όπως το κατα πόσο µπορεί να συλλάβει ορισµένα χαρακτηριστικά του συστήµατος, όπως οι εκθέτες Lyapunov κ.α. Από τις µεθόδους που έχουν προταθεί για την προσέγγιση της f υλοποιήθηκαν και δοκιµάστηκαν οι παρακάτω. Τοπικά πολυώνυµα (local polynomials) 2. Καθολικά πολυώνυµα (global polynomials) 3. Τοπικά πολυώνυµα για συστάδες σηµείων του ελκυστή 4. Νευρωνικά δίκτυα µε συναρτήσεις ακτινωτής βάσης τα οποία διακρίνονται σε ίκτυα RBF (συναρτήσεων ακτινωτής βάσης) ίκτυα GRNN (General Regression Neural Networks) ίκτυα WLP (Weighted Linear Predictors) Αναφέρεται ότι µία άλλη συχνά εφαρµοζόµενη µέθοδος είναι να χρησιµοποιηθούν και Multi-Layer Perceptrons (βλ. π.χ. [2], [2]) στην είσοδο των οποίων έχουµε το διάνυσµα X και στην έξοδο τους µας δίνουνε την επόµενη θέση του συστήµατος στο χώρο φάσης. Πολλές διαφοροποιήσεις της παραπάνω ιδέας έχουν προταθεί(βλ. π.χ. [25][23][22][38]) που σε πολλές περιπτώσεις δίνουν και καλύτερα αποτελέσµατα από τις µεθόδους που υλοποιήθηκαν, αλλά καθώς τα MLPs χαρακτηρίζονται από µεγάλο χρόνο εκπαίδευσης, δεν υλοποιήθηκε καµία από αυτές αφού δεν έχουν πρακτικό ενδιαφέρον για σήµατα φωνής. Αξίζει να σηµειωθεί, επίσης, πριν προχωρήσουµε στην ανάλυση κάθε µίας από τις παρακάτω µεθόδους, ότι υπάρχει ένας εξαιρετικά µεγάλος αριθµός από προτάσεις για το ποιές συναρτήσεις θα ήταν οι καταλληλότερες για την πρσέγγιση της συνάρτησης f. Ήδη από το 992 στο [3] αναφερόταν ότι υπάρχουν πολύ περισσότερες µέθοδοι παρά εφαρµογές της µη γραµµικής ανάλυσης χρονοσειρών, ενώ το 993 διεξήχθη ένας διαγωνισµός [2], µε στόχο να ξεχωρίσουν οι µέθοδοι που είχαν εκ των πραγµάτων καλά αποτελέσµατα από αυτές που απλά τα υπόσχονταν. Παρ αυτα, το τοπίο δεν έχει ξεκαθαρίσει ακόµα και για το λόγο αυτό υλοποιήθηκαν µόνο οι µέθοδοι αυτές που κρίθηκαν οι πλέον κατάλληλες για τους σκοπούς αυτής της διπλωµατικής εργασίας. Σηµειώνουµε, τέλος, ότι ενώ στο κύριο µέρος της βιβλιογραφίας χρησιµοποιείται µεγάλοςαριθµόςαπόσηµεία(τηςτάξηςτου 4 )απόταδιάφοραtestσήµαταγιαναεξεταστεί η επίδοση των αλγορίθµων, εµείς χρησιµοποιήσαµε χρονοσειρές µε περίπου 6 σηµεία, καθώς τέτοιο είναι και η τάξη µεγέθους των χρονοσειρών που αντιστοιχούν σε διάφορα φωνήµατα. Για το λόγο αυτό µοντέλα που απαιτούν µεγάλο αριθµό δεδοµένων, όπως τα τοπικά πολυώνυµα, αν και θεωρούνται standard κατά κάποιο τρόπο, ενδεχοµένως να µην δώσουν και τα καλύτερα αποτελέσµατα. Επίσης τα σήµατα Ikeda και Henon µολύνθηκαν µε θόρυβο µε σχετικό MSE.5 έτσι ώστε να αντισταθµίσουµε τα όποια αποτελέσµατα κβαντισµού του σήµατος φωνής. Προσπαθήσαµε, δηλαδή, να δοκιµάσουµε τους αλγορίθµους σε καταστάσεις παρόµοιες µε αυτές που θα κληθούν να λειτουργήσουν. Ο ενδιαφερόµενος αναγνώστης για την επίδοση των αλγορίθµων µε καθαρά, µεγάλα σήµατα παραπέµπεται στη βιβλιογραφία. 6

17 3. Προσέγγιση της δυναµικής του συστήµατος µε local polynomials Η κεντρική ιδέα στην οποία βασίζονται τα τοπικά µοντέλα είναι ότι ξέροντας πού απεικονίζονται τα σηµεία που βρίσκονται σε µία γειτονιά στον ελκυστή µπορούµε περίπου να προβλέψουµε ποια θα είναι η επόµενη τιµή ενός σηµείου X(k) που βρίσκεται στη γειτονιά αυτή (παίρνοντας ως δεδοµένη τη συνέχεια της συνάρτησης f). Υπάρχουν δύο εναλλακτικές: η πρώτη και απλούστερη είναι να βρούµε το σηµείο X(n) που είναι το κοντινότερο στο σηµείο X(k) και να θεωρήσουµε ότι η εξέλιξη του X(k) θα είναιτο X(n + ). Αυτήηµέθοδοςείναιγνωστήωςµέθοδοςτωναναλογιώνκαιέχειπολύ περιορισµένες δυνατότητες για πρόβλεψη πέρα από ένα αριθµό βηµάτων. Η µέθοδος που χρησιµοποιείται ευρύτερα είναι να χρησιµοποιηθούν τα σηµεία που βρίσκονται στη γειτονιά του X(k) για να βρεθεί οι πρώτοι όροι του αναπτύγµατος Taylor της συνάρτησης f στην περιοχή του X(k). Το σκεπτικό στο οποίο βασίζεται η µέθοδος είναι ότι το σύστηµα επισκέπτεται την περιοχή κάθε σηµείου το οποίο ανήκει στον ελκυστή αρκετές φορές κατά την εξέλιξή του (είναι µία από τις ιδιότητες των χαοτικών συστµηάτων), οπότε παρατηρώντας πώς απεικονίζει κάθε σηµείο της περιοχής αυτής στο επόµενό του µπορούµε να υπολογίσουµε περίπου πού θα απεικονίσει το σηµείο X(k). Η γειτονία µπορεί να οριστεί είτε από όλα τα σηµεία που βρίσκονται µέσα σε µία σφαίρα που έχει κέντρο το σηµείο X(k) (η ακτίνα της σφαίρας µπορεί να οριστεί ως ένα κλάσµα της ακτίνας του ελκυστή) ή από τα N B πλησιέστερα σηµεία του X(k). Η ακτίνα καιοαριθµός N B είναιπροσδιοριστέεςποσότητεςκαιστιςδύοπεριπτώσεις. Προτιµάται συνήθως να χρησιµοποιείται ένας συγκεκριµένος αριθµός από στοιχεία, καθώς η χρήση των σηµείων που βρίσκονται εντός µίας σφαίρας συγκεκριµένης ακτίνας µπορεί σε αραιές περιοχές του ελκυστή να δώσει πολύ λίγους γείτονες οπότε δεν έχουµε αρκετά δεδοµένα ώστε να προσεγγισουµε ικανοποιητικά τη συνάρτησή f. Σκοπός µας,λοιπόν είναι να βρούµε τους συντελεστές C(k) οι οποίοι δίνουν την καλύτερη προσέγγιση F: M F(x) = C(k) f k (x) (3.4) k= Το διάνυσµα C(k) εκφράζει τον τρόπο µε τον οποίο η ποσότητα f k (X) επηρεάζει την έξοδο, ενώ f k είναι είναι ένα µονώνυµο το οποίο προκύπτει υψώνοντας την κάθε συνιστώσα του διανύσµατος X σε µία δύναµη και εν συνεχεία πολλαπλασιάζοντας τις προκύπτουσες συνιστώσες. Ο αριθµός k προκύπτει από την ανάγκη για απλότητα στους τύπους µας και αποτελεί µία κωδικοποίηση του διανύσµατος των εκθετών του k-οστού µονωνύµου: ηβάσητωνπολυµεταβλητώνπολυωνύµων, x x 2 x d e, x x 2,...µπορείναεκφραστεί απλούστερα κωδικοποιώντας µε µία αντιστοιχία - το διάνυσµα των εκθετών σε έναν ακέραιο: x e x e 2 2 x e de d e = f k (x, x 2..., x de ) (3.5) [e, e 2,..., e de ] = decode(k) Η συνάρτηση decode µπορεί να είναι π.χ. η συνάρτηση αποκωδικοποίησης του Cantor [26] και απλουστεύει σηµαντικά τις εξισώσεις µας, όπως θα φανεί ιδιαίτερα στην επόµενη παράγραφο. Το ανάπτυγµα Taylor είναι, προφανώς για συνάρτηση de µεταβλητών 7

18 Η (3.5) µας δίνει: f (X) = = f (X) = x = x. f d+2 (X) = x 2 = x 2 f d+3 (X) = x x 2 = x x 2. (3.6) Για τον υπολογισµό των συντελεστών C(k) ζητάµε να ελαχιστοποιείται το µέσο τετραγωνικόσφάλµαµεταξύπρόβλεψηςκαιπαρατηρούµενηςτιµήςγιατα N B σηµείατηςγειτονιάς. Το πρόβληµα αυτό λύνεται µε τη µέθοδο των ελαχίστων τετραγώνων, όπου πρέπει να βρούµετουςσυντελέστέςεκείνουςγιατουςοποίουςτοµέσοτετραγωνικόσφάλµα 2 µεταξύ της πρόβλεψης F µε βάση τις τιµές των f (X(k)), f 2 (X(k)),..., f M (X(k)) και του X(k + ) θα είναι ελάχιστο. Η λύση του προβλήµατος ανάγεται στην αντιστροφή ενός πίνακα M διαστάσεων M M. To m ij στοιχείο αυτού του πίνακα θα είναι: m ij = N B n= f i (X(n))f j (X(n)) 3 (3.7) Aν θεωρήσουµε ότι οι συναρτήσεις f k, k =...M σε κάθε στοιχείο µας δίνουν ένα διάνυσµα F,M διαστάσεων µπορούµε να γράψουµε τον πίνακα στη µορφή M = N B n= F(n) F T (n) (3.8) Η λύση που προκύπτει από την απαίτηση να ελαχιστοποιείται το µέσο τετραγωνικό σφάλµα πρόβλεψης είναι N B C = M F(X(i))X(i + ) (3.9) i= όπου ο πίνακας C έχει ως στύλες τα d e M διάστατα διανύσµατα C(), C(2),..., C(d e ) 4 Αυτή η διαδικασία εκετελείται για όλα τα σηµεία, οπότε έχουµε για κάθε σηµείο του ελκυστή έναν πίνακα από σταθερές που εκφράζουν την προσέγγιση της δυναµικής του συστήµατος στην γειτονιά του. Ετσι, όταν θέλουµε να προσεγγίσουµε την επόµενη κατάσταση του συστήµατος από την τρέχουσα, αναζητούµε το πλησιέστερο σηµείο του ελκυστή και µε βάση τις σταθερές που έχουν υπολογιστεί για τη δυναµική στην περιοχή του βρίσκουµε την επόµενη τιµή. Μπορούµε,στηνπερίπτωσηπουοισυναρτήσεις f i δενχρησιµοποιούνδυνάµειςµεγαλύτερες της µονάδας, να πούµε ότι βρίσκουµε ένα πολυδιάστατο τοπικό AR µοντέλο για να ταιριάξει στα δεδοµένα της γειτονιάς κάθε σηµείου (οι εξισώσεις που µας δίνουν το διάνυσµα σταθερών C είναι οι ίδιες που µας δίνουν τους συντελεστές ενός AR µοντέλου). Φαίνεται λοιπόν η ευελεξία που µας παρέχεται από την µέθοδο αυτή σε αντίθεση µε τo AR µοντέλο το οποίο υποχρεώνει όλα τα στοιχεία του ελκυστή να συµµετάσχουν στον υπολογισµό των διανυσµάτων C. 2 H µέση τιµή θεωρείται πάνω στα σηµεία της γειτονιάς 3 X(n) είναι ο n-οστός πλησιέστερος γείτονας του σηµείου X(k) 4 Oπίνακας είναι M M οπότεκαιηποσότηταστοδεξίµέροςτηςεξίσωσηςείναι (M M) (M de ) = M d e. 8

19 Σηµειώνεται ότι στις περισσότερες περιπτώσεις τα γραµµικά τοπικά πολυώνυµα έχουν αποτελέσµατα παραπλήσια µε τα µοντέλα υψηλότερου βαθµού, οπότε και προτιµώνται, καθώς τα τελευταία απαιτούν έναν µεγαλύτερο αριθµό από γείτονες. Η µέθοδος αυτή έχει παραλλαχθεί µε πολλούς τρόπους για να αντιµετωπιστεί το πρόβληµα του θορύβου καθώς και των ασταθειών που προκύπτουν όταν έχουµε πολύ µεγάλη διάσταση εµβύθυσης, οπότε και προκύπτουν προβλήµατα αστάθειας των πινάκων που πρέπει να αντιστραφούν, καθώς ο ελάχιστος αριθµός γειτόνων που απαιτούνται για να είναι καλά ορισµένο το πρόβληµα µας είναι ανάλογος του d 2 e. Για το σκοπό αυτό έχουν εφαρµοστεί τεχνικές της θεωρίας κανονικοποίησης, σκοπός της οποίας είναι να αντιµετωπίσειπροβλήµαταπαλινδρόµισης 5,σταοποίαεµφανίζονταιπίνακεςµεµεγάλο δείκτη κατάστασης (ill-conditioned). Αιτία για την ύπαρξη τέτοιων πινάκων στην περίπτωση µας είναι, εκτός από τον περιορισµένο αριθµό γειτόνων σε σχέση µε τον αριθµό προσδιοριστέων παραµέτρων, το γεγονός ότι η χρονοσειρά µας ενδεχοµένως να έχει εµβυθιστεί σε έναν χώρο µεγαλύτερης διάστασης από αυτήν η οποία είναι η πραγµατική διάσταση του συστήµατος (d L ). Για να δώσουµε µία εξήγηση του πώς µπορεί να συµβαίνει κάτι τέτοιο θεωρούµε µία ταινία η οποία κάνει µισή περιστροφή (8 µοίρες) και καταλήγει στον εαυτό της (ταινία του Moebius). Ένα σύστηµα που ζει σε αυτήν την ταινία έχει προφανώς δύο βαθµούς ελευθερίας, αλλά για να µπορέσει να προσδιοριστεί µονοσήµαντα µία κατάσταση του συστήµατος χρειάζονται 3 µεταβλητές(άρα η ελάχιστη διάσταση εµβύθυσής του είναι 3). Ένα ακόµη χαρακτηριστικό παράδειγµα είναι αν έχουµε τη χρονοσειρά x(n) = sin(ωnτ s ). Ενώ ξέρουµε ότι είµαστε σε θέση να περιγράψουµε πλήρως την κατάσταση του σύστηµατος σε µία διάσταση µέσω της φάσης του, αν έχουµε µόνο τη χρονοσειρά x(n) και θέλουµε να κάνουµε πρόβλεψη για την επόµενη τιµή της, χρειάζόµαστε και ένα προηγούµενο δείγµα (ώστε να ξέρουµε αν η φάση του x(n) είναι αρνητική ή όχι). Αναµενόµενο είναι ότι ο ελκυστής του συστήµατος δεν θα έχει κάποιο πάχος παρα µόνο σε d L διαστάσεις,οπότεκαθίσταταιπροβληµατικήηδηµιουργίαµοντέλωντηςδυναµικής τουσυστήµατοςαπό d e σε d e διαστάσεις(αφούζητάµεκάτιαντιφατικό,ναβρούµεδηλαδή τους συντελεστές που εκφράζουν την συνεισφορά στην επόµενη τιµή του συστήµατος για µία µεταβλητή που δεν επηρεάζει την µελλοντική εξέλιξη του συστήµατος). Αυτό µπορεί να φανεί εύκολα στην περίπτωση όπου ζητάµε από µία περιοχή Ι της ταινίας του Moebius να προβλέψουµε την επόµενη τιµή, αν το πεδίο τιµών της περιοχής J είναι κάθετο στην Ι: τότε ακόµα και αν η πρόβλεψη µπορεί (δυνητικά) να δώσει σωστά αποτελέσµατα, ο πίνακας M θα έχει µηδενική (ή πολύ µικρή) ορίζουσα, αφού µία στύλη του πίνακα θα αποτελείται από αθροίσµατα γινοµένων άσχετων µεταξύ τους ποσοτήτων (των προβολών των δεδοµένων στις δύο κάθετες διαστάσεις) τα οποία θα είναι σχεδόν µηδενικά. Έτσι η επίλυση του προβλήµατος παλινδρόµισης καθίσταται εξαιρετικά ευαίσθητη σε λάθη και µπορεί να δώσει εύκολα λάθος αποτελέσµατα. Οτρόποςµετονµπορούµεναβρούµετηνπραγµατικήδιάσταση(d L )τηςδυναµικήςτου συστήµατος είναι το αντικείµενο επόµενης παραγράφου καθώς συνδέεται εν µέρει µε τους εκθέτες Lyapunov που παρουσιάζονται παρακάτω, οπότε το θεωρούµε -προς στιγµήδεδοµένο ότι η πραγµατική διάσταση της δυναµικής του συστήµατος µπορεί να βρεθεί και ότι είναι d L. Για να αποφευχθούν τα προαναφαρθέντα προβλήµατα, σύµφωνα µε µία τεχνική της θεωρίας κανονικοποίησης που ονοµάζεται principal components regression (παλινδρόµηση κύριων συνιστωσών) τα δεδοµένα προβάλλονται στις d L διαστάσεις στις οποίες συγκεντρώνονται τα περισσότερα δεδοµένα. Η προβολή γίνεται τοπικά για κάθε 5 Έτσι ονοµάζονται όλα τα προβλήµατα στα οποία έχουµε να ταιριάξουµε ένα µοντέλο σε ορισµένα δεδοµένα 9

20 δείγµα, όπου σχηµατίζεται ο πίνακας αυτοσυσχέτισης των στοιχείων της γειτονιάς του Cov = N B óπoυ X = N B N B (X(i) X)(X(i) X) T (3.) i= N B X(i) i= Οι κατάλληλες κατευθύνσεις για προβολή καθορίζονται από τα ιδιοδιανύσµατα του πίνακα Cov,e, e 2,..., e dl, που έχουν τις d L µεγαλύτερες ιδιοτιµές. Έτσι µπορούµε να κάνουµε τοπικές R d L R d L απεικονίσεις χωρίς να εµπλέκονται πίνακες κακής κατάστασης στον υπολογισµό των παραµέτρων 6. Αλλες τεχνικές κανονικοποίησης που έχουν εφαρµοστεί µε σχετική επιτυχία είναι: Ridge Regression, Partial least Squares (για περισσότερες πληροφορίες βλ. [35]). Εµείς επιµείναµε στην Principal Components Regression που εκτός του ότι έδωσε τα καλύτερα αποτελέσµατα για πραγµατικά δεδοµένα στο συγκεκριµένο άρθρο, είναι µάλλον η απλούστερη και πλέον καθιερωµένη από τις µεθόδους αυτές. Συνοψίζοντας έχουµε: Πλεονεκτήµατα της χρήσης τοπικών πολυωνύµων οκιµασµένη µέθοδος που έχει δώσει σωστά αποτελέσµατα σε πολλές περιπτώσεις που έχει εφαρµοστεί. Πολύ µεγάλη ακρίβεια στις προβλέψεις -µεγαλύτερη από αυτή ορισµένων νευρωνικών δικτύων που µπορεί να χρειαστούν για την επαίδευσή τους χρονικά διαστήµατα τάξεις µεγέθους µεγαλύτερα. Μειονεκτήµατα Μεγάλος χρόνος εκπαίδευσης. Απαιτείται πολύ µεγάλος αριθµός από δείγµατα για να έχουµε ικανοποιητικά αποτελέσµατα. Εξαιρετικά µεγάλος αριθµός από προσδιοριστέες παραµέτρους. Ασυνέχειες από περιοχή σε περιοχή. Ενώ έχουµε ένα πολύπλοκο µοντέλο δεν έχουµε µία αίσθηση της δυναµική του συστήµατος αφού είναι κατακερµατισµένη σε τέτοιο βαθµό που δεν µπορούµε να βγάλουµε κάποιο συµπέρασµα. Παρακάτω βλέπουµε πώς ανακατασκευάζεται η δυναµική των απεικονίσεων Henon /Ikeda µε τοπικά πολυώνυµα. Παρατηρούµε ότι η ανακατασκευή είναι πολύ ακριβής αλλά σε ορισµένες περιοχές υπάρχει εµφανής ασυνέχεια: αυτό παρατηρείται στο σύνορο µεταξύ δύο περιοχών στις οποίες αντιστοιχούν διαφορετικά µοντέλα και προκαλεί προβλήµατα αν χρειαζόµαστε µία συνεχώς διαφορίσιµη συνάρτηση που να εκφράζει τη δυναµική του συστήµατος. Kαθώς όµως αυτό σπάνια χρειάζεται για τα µή-γραµµικά συστήµατα τα τοπικά πολυώνυµα µπορούν να θεωρηθούν κατάλληλα για τους σκοπούς µας. 6 Tο παράδειγµα που χρησιµοποιήσαµε µε την ταινία του Moebius δεν είναι το πλέον ρεαλιστικό: σπάνια (αν όχι ποτέ) ξέρουµε τόσο ακριβώς το σύστηµά µας όταν έχουµε πειραµατικά δεδοµένα, οπότε δεν µπορούµε να είµαστε σίγουροι ότι προβάλλοντας τα δεδοµένα στις κατευθύνσεις που ορίζουν τα d L ιδιοδιανύσµατα του πίνακα αυτοσυσχέτισης (που στην περίπτωση της ταινίας του Moebius θα ήταν δύο διευθύνσεις εφαπτόµενες στην επιφάνεια), έχουµε και τις σωστές καινούργιες µεταβλητές. Αυτό όµως που έχουµε εξασφαλίσει είναι ότι δεν τα προβάλλουµε κατά λάθος σε µία διεύθυνση όπου δεν υπάρχουν δεδοµένα,όπως θα ήταν για παράδειγµα η κάθετη στην επιφάνεια του Moebius. 2

21 Reconstruction model:local Yn+ Xn Yn.5 Yn Xn Xn Σχήµα 3.: Ανακατασκευή δυναµικής της απεικόνισης Ikeda µε local polynomials Reconstruction model:local Yn+ Xn Yn.2.5 Yn Xn.5 Xn Σχήµα 3.2: Ανακατασκευή δυναµικής της απεικόνισης Henon µε local polynomials 2

22 3.2 Προσέγγιση της δυναµικής του συστήµατος µε global polynomials Στην περίπτωση αυτή η συνάρτηση F εκφράζεται ως ένα ανάπτυγµα σε µία βάση π ορθογώνιων πολυµεταβλητών πολυώνυµων φ. Η ορθογωνιότητα των πολυωνύµων βασίζεται στην πράξη του εσωτερικού γινοµένου η οποία ορίζεται ως εξής: < φ i φ j >= x ρ(x)φ i (X)φ j (X) dx d 2 dx de (3.) x 2 x de Η ποσότητα ρ(x) που υπάρχει στη σχέση (3.) είναι η φυσική πυκνότητα του ελκυστή και ισούται µε N ρ(x) = /N δ(x Y (n)) (3.2) j= Στην παραπάνω σχέση η συνάρτηση δ είναι η συνάρτηση Heavyside, Y (n) είναι το n-οστο διάνυσµα δεδοµένων ενώ N είναι το πλήθος των δεδοµένων µας. Για να είναι ορθογώνια τα πολυώνυµα απαιτούµε να ισχύει: < φ i, φ j >= δ i,j (3.3) Καθώς τα δεδοµένα µας είναι πολυδιάστατα, οι δείκτες των πολυωνύµων στις παραπάνω σχέσεις είναι κωδικοποιήσεις των διανυσµάτων των οποίων κάθε συνιστώσα δείχνει σε ποια δύναµη υψώνεται η αντίστοιχη µεταβλητή (όπως στην προηγούµενη παράγραφο). Έχοντας βρει µία ορθογώνια βάση πολυωνύµων µπορούµε να προσεγγίσουµε τη συνάρτηση f στη βάση αυτή ικανοποιητικά χρησιµοποιώντας έναν σχετικά µικρό αριθµό από παραµέτρους: f(x) = C(i)φ i (X) i= M F(X) = C(i)φ i (X) f(x) (3.4) i= Τα διανύσµατα C(i),i =...M είναι οι συντελεστές Fourier της συνάρτησης f ως προς την ορθογώνια βάση π και ορίζονται ως εξής: C(i) = < f φ i >= = N = N N k= N k= x f(x)φ i (X)ρ(X)dx d 2 dx de (3.2)= x 2 x de f(x(k))φ i X(k)) f(x(k))=x(k+) = X(k + )φ i (X(k)) (3.5) Η σχέση(3.5) προκύπτει πολλαπλασιάζοντας και τις δύο πλευρές του πρώτου µέρους της σχέσης (3.4) µε το φ i (x) και παίρνοντας το ολοκλήρωµα τους κατα µήκος του ελκυστή. Χρησιµοποιώντας την ορθογωνιότητα των πολυωνύµων από τα M πολυώνυµα που υπάρχουν στη σχέση (3.4) µένει µόνο το i-οστό. Ο λόγος για τον οποίο χρησιµοποιείται η οικογένεια ορθογώνιων πολυώνυµων π φαίνεται από την απλότητα µε την οποία αποκτούµε τους συντελεστές του αναπτύγµατος της 22

23 f σεαυτή.αναντίγιατηβάση πχρησιµοποιούσαµεαπλάτηνβάση <, f (X), f 2 (X),... > 7 το πρόβληµα θα αποκτούσε µεγάλη πολυπλοκότητα αφου έχουµε να κάνουµε µε πολυµεταβλητά πολυώνυµα). εν έχουµε ακόµη αναφερθεί στον τρόπο µε τον οποίο βρίσκουµε τους συντελεστές από τα ορθογώνια πολυώνυµα: το πιο γνωστό άρθρο σχετικά είναι από τους [6], καθώς όµως οι τύποι στους οποίους καταλήγουν είναι τόσο πολύπλοκοι που δύσκολα µπορούν να κατανοηθούν (για διδιάστατα δεδοµένα!) προτιµήθηκε η συστηµατικότερη και απλούστερη µέθοδος που προτείνεται στο [9]. Τα αποτελέσµατα στα οποία καταλήγουν και οι δύο µέθοδοι είναι τα ίδια, όπως αναφέρεται στο τελευταίο άρθρο. H οικογένεια πολυµεταβλητών πολυωνύµων φ παρουσιάζεται ως εξής: Θα είναι δηλαδή k φ k (X) = A k nf n (X) (3.6) n= φ = A φ 2 = A 2 + A 2 2x,. (3.7) Kάθεµονώνυµοτηςβάσηςτωνπολυωνύµων f k (X)αποδεικνύεταιότιµπορείναεκφραστεί ως άθροισµα ορισµένων πολυωνύµων της παραπάνω οικογένειας,δηλαδή έχουµε k f k (X) = Bi k φ k (X) (3.8) i= Συµπεραίνουµε λοιπόν ότι η παραπάνω οικογένεια είναι µία πλήρης βάση του χώρου των πολυµεταβλητών πολυωνυµικών συναρτήσεων. Για την ορθογωνιοποίηση θεωρούµε ότι έχουν ήδη βρεθεί οι συντελεστές των προηγούµενων N πολυωνύµων, και ζητάµε το N + -οστο πολυώνυµο να είναι κάθετο στα υπόλοιπα NΤο φ N+ (X) όπως είδαµε είναι δυνατόν να εκφραστεί ως εξής: φ N+ (X) = N+ i= A N+ i f i (X) (3.9) Ηαπόδειξηµαςεπιτρέπειναθέσουµε AN+ N+ = A N N οπότεηπαραπάνωέκφρασηµπορείνα γραφεί και ως φ N+ (X) = N i= A N+ i f i (X) + A N Nf N+ (X) (3.2) οπότε αποµένει να ορίσουµε N παράγοντες έχοντας τις N σχέσεις ορθογωνιότητας < φ N+ φ i >=, i =,..., N (3.2) Εδώ απλοποιούνται οι εξισώσεις που προκύπτουν για τους συντελεστές χάρις στη σχέση (3.8) µε την οποία ο κάθε παράγοντας της µορφής f p (X) εκφραζεται συναρτήσει των πολυώνύµωντηςοικογένειας φμεβάσητησχέσηαυτή,το φ N+ µπορείναγραφείκαιως: φ N+ (X) = N i= A N+ i 7 Οι συναρτήσεις fi έχουν οριστεί στην προηγούµενη παράγραφο i N+ Bjφ i j (X) + A N N j= j= φ j (X) (3.22) 23

24 Από τη σχέση αυτή απαιτώντας να ισχύει ότι < φ N+ φ i >= τη σχέση που ορίζει τον -οστό συντελεστή A N+ N = AN N < f N+ φ N > B N N < φ N φ N > i =,..., N παίρνουµε (3.23) Οµοίως, από τις υπόλοιπες συνθήκες ορθογωνιότητας παίρνουµε αναδροµικά 8 : A N N k = A N N < f N+ φ N k > N BN k N k < φ N k φ N k > (A N+ i BN k) i (3.24) i=n k+ γιατουςυπόλοιπουςσυντελεστές.πρέπειεπίσηςναπροσδιοριστούνοισυντελεστές Bi N+ καθώς χρησιµοποιούνται για να προσδιοριστούν τα πολυώνυµα µεγαλύτερης τάξης.θέτοντας Bk k = /A k k παίρνουµε για τους υπόλοιπους συντελεστές τις σχέσεις: B k r = B k k k i=r A k i B i r r =,..., k (3.25) Συνοψίζοντας, χρησιµοποιώντας την οικογένεια των πολυωνύµων φ k µπορέσαµε να απλοποιήσουµε τις σχέσεις που εκφράζουν τους συντελεστές των ορθοκανονικών πολυωνύµων, εκφράζοντας το N + -στο πολυώνυµο συναρτήσει των N προηγούµενων πολυωνύµων (οπότε και να απλοποιήσουµε σηµαντικά την έκφραση που απαιτεί το γινόµενό τους να είναι µηδενικό). Κύρια πλεονεκτήµατα της µεθόδου αυτής είναι Ειναι ανθεκτική στην παρουσία θορύβου εν λαµβάνει υπ οψιν τις αποστάσεις µεταξύ των σηµείων (όπου ο θόρυβος µπορεί να αλλοιώσει σηµαντικά τα αποτελέσµατα) ίνει αποτελέσµατα σε πολύ σύντοµο χρονικό διάστηµα ίνει µία συνεχή συνάρτηση σε όλο το χώρο φάσης Μπορεί να δώσει ικανοποιητικά αποτελέσµατα ακόµα και όταν υπάρχει ένας µικρός αριθµός από δεδοµένα Απαιτεί να προσδιοριστεί συνολικά ένας σχετικά µικρός αριθµός από παραµέτρους Τα κύριο µειονέκτηµά της είναι ότι αν έχουµε ένα µεγάλο αριθµό από καθαρά δεδοµένα µπορεί να χάνουµε ένα πολύτιµο µέρος από πληροφορία, περιορίζοντας την έκφραση της δυναµικής των δεδοµένων σε πολυωνυµικές συναρτήσεις. Αντιθέτως, στην περίπτωση αυτή τα τοπικά πολυώνυµα θα µπορούσαν να δώσουν πολύ καλύτερα αποτελέσµατα. Παρακάτω βλέπουµε την ανακατασκευή της δυναµικής των συστηµάτων Henon/Ikeda µε καθολικά πολυώνυµα. Αν και στην περίπτωση του συστήµατος Henon (το οποίο εκφράζεται και από τη φύση του µέσω πολυωνυµικών εξισώσεων) η ανακατασκευή είναι τέλεια, για το σύστηµα Ikeda βλέπουµε ότι σε περιοχές πέρα από τον ελκυστή η πρόβλεψη δεν είναι τόσο πετυχηµένη. Βέβαια, αυτό δεν µας ενδιαφέρει άµεσα, αλλά είναι ενδεικτικό του ότι τα καθολικά πολυώνυµα δεν είναι πάντα το καταλληλότερο µοντέλο. 8 Οι αποδείξεις για τους τύπους που ακολουθούν παραλείπονται για λόγους συντοµίας του κειµένου 24

25 Reconstruction model:global Yn+ Xn Y n.5 Y n Xn Xn Σχήµα 3.3: Ανακατασκευή δυναµικής της απεικόνισης Ikeda µε global polynomials Reconstruction model:global Yn+ Xn Yn.2.5 Yn Xn.5 Xn Σχήµα 3.4: Ανακατασκευή δυναµικής της απεικόνισης Henon µε global polynomials 25

26 3.3 Προσέγγιση της δυναµικής του συστήµατος µε τοπικά µοντέλα σε συστάδες του ελκυστή Μία τεχνική η οποία έχει προταθεί στο [24] είναι να χρησιµοποιηθεί σε ένα πρώτο στάδιο ένα νευρωνικό δίκτυο SOM (βλ παρακάτω) για την οµαδοποίηση των δεδοµένων πάνω στον ελκυστή του συστήµατος, και στη συνέχεια, έχοντας εντοπίσει τις συστάδες του, να βρούµε ένα τοπικό πολυωνυµικό µοντέλο το οποίο να αποδίδει τη δυναµική του σε κάθε συστάδα. Η µέθοδος αυτή αποτελεί κατά κάποιο τρόπο την ενδιάµεση λύση µεταξύ των προηγούµενων µεθόδων: συνδυάζει την ακρίβεια του τοπικού µοντέλου µε την ανοχή σε θόρυβο και την ευστάθεια των λύσεων σε αραιές περιοχές του ελκυστή του καθολικού µοντέλου. Απο εδώ και στο εξής για λόγους συντοµίας θα αποκαλούµε τη µέθοδο αυτή SLH (Som Local Hybrid). Το νευρωνικό δίκτου SOM Τα νευρωνικά δίκτυα SOM(Self Organizing Maps) εισήχθησαν απο τον Kohonen τη δεκαετία του 98 και χρησιµοποιούνται για την οπτικοποίηση πολυδιάστατων δεδοµένων σε µικρό αριθµό διαστάσεων -συνήθως δύο- και κατ επέκταση για οµαδοποίηση πολυδιάστατων δεδοµένων: αφού σε κάθε M-διάστατο σηµείο αντιστοιχίζεται µία θέση σέ ένα διδιάστατο πλέγµα, µπορούµε να οµαδοποιήσουµε τα δεδοµένα µε βάση τη θέση τους στο πλέγµα. Αποτελείταιαπό N νευρώνες 9 οκαθέναςεκτωνοποίωναντιδράδιαφορετικάσε κάθε ερέθισµα(δηλαδή σε µία M διάστατη είσοδο). Οι νευρώνες είναι τοποθετηµένοι έτσι ώστε να σχηµατίζουν ένα 2-διάστατο πλέγµα (αν χρησιµοποιούµε δύο διαστάσεις στην έξοδο), το οποίο µετά από τη διαδικασία εκπαίδευσης έχει τέτοια δοµή ώστε να περιέχει πληροφορία για την κατανοµή των δεδοµένων εισόδου. Η θέση του i-οστού νευρώνα στο χώρο εισόδου δίνεται από το διάνυσµα W i = [ w i w i 2... w i M ] (3.26) Κατά τη διαδικασία µάθησης ο κάθε νευρώνας αναλαµβάνει µία πυκνή πέριοχή του χώρου εισόδου ενώ οι γειτονικοί του (στην έξοδο) νευρώνες αναλαµβάνουν µία σχετικά κοντινή περιοχή. Αυτό φαίνεται στο σχήµα (3.3) όπου για λόγους απλότητας χρησιµοποιήθηκαν και διδιάστατα δεδοµένα εισόδου που σηµειώνονται µε σταυρούς. Map in output space.6 Map in input space.6 Trained map Σχήµα 3.5: Εκµάθηση διδιάστατων δεδοµένων από το νευρωνικό δίκτυο SOM 9 Έναςνευρώναςµπορείναθεωρηθείωςµίαυπολογιστικήµονάδαµεορισµένεςεσωτερικέςµεταβλητέςκαιµίασυνάρτηση µεταφοράς 26