Ανίχνευσης & Εκτίμησης

Transcript

1 Θεωρία Ανίχνευσης & Εκτίμησης Γεώργιος Β. Μουστακίδης, Καθηγητής Πανεπιστήμιο Πατρών

2

3

4

5 Περιεχόμενα Πρόλογος Ευχαριστίες v vi 1 Εισαγωγή Τρεις ενδιαφέρουσες εφαρμογές Ανίχνευση αεροσκάφους από ραντάρ Εκτίμηση καναλιού σε ασύρματες τηλεπικοινωνίες Φιλτράρισμα θορύβου σε ηχητικό σήμα 4 2 Στοιχεία πιθανοτήτων και στοχαστικών διαδικασιών Εισαγωγικά Χώρος πιθανότητας Τυχαίες μεταβλητές Πείραμα Μέσος όρος και διασπορά Δεσμευμένη ή υπό συνθήκη πιθανότητα Δεσμευμένη πυκνότητα πιθανότητας Βασικές ισότητες για γεγονότα Βασικές ισότητες για πυκνότητες πιθανότητας Ιδιότητα της κλιμάκωσης του μέσου όρου Ιδιότητα της αλλαγής μέτρου Στοχαστικά ή τυχαία σήματα Στατιστικές πρώτης και δεύτερης τάξης Στασιμότητα και εργοδικότητα Πυκνότητα φάσματος ισχύος στοχαστικού σήματος Επίδραση γραμμικού συστήματος σε στατιστικές σήματος 22 3 Βέλτιστη εξέταση υποθέσεων Εισαγωγικά Ντετερμινιστικοί κανόνες λήψης αποφάσεων Τυχαιοποιημένοι κανόνες λήψης αποφάσεων Εξέταση δυαδικών υποθέσεων Εξέταση δυαδικών υποθέσεων κατά Bayes Ελαχιστοποίηση πιθανότητας σφάλματος Min-Max κανόνες απόφασης 33 i

6 ii Περιεχόμενα Εξέταση δυαδικών υποθέσεων κατά Neyman-Pearson Χαρακτηριστική λειτουργίας δέκτη Υπολογισμός κατωφλίου min-max κανόνα απόφασης Εξισορροπημένη πιθανότητα σφάλματος Εξέταση πολλαπλών υποθέσεων κατά Bayes Εξέταση υποθέσεων με πολλαπλές διακριτές υποπεριπτώσεις Γενικευμένο τεστ λόγου πιθανοφάνειας Εξέταση υποθέσεων με τυχαίες παραμέτρους Σύνθετες υποθέσεις Χρήση ομοιόμορφης πυκνότητας πιθανότητας Ομοιόμορφα πιο ισχυρός κανόνας απόφασης Τοπικά πιο ισχυρός κανόνας απόφασης Συνδυασμός αγνώστων και τυχαίων παραμέτρων Γενικεύσεις του Neyman-Pearson τεστ Γενικευμένο τεστ λόγου πιθανοφάνειας παρουσία τυχαίων παραμέτρων Ενδιάμεσες αποφάσεις Μεθοδολογία κατά Bayes Μεθοδολογία τύπου Neyman-Pearson Υπολογισμός απόδοσης κανόνων εξέτασης υποθέσεων Υπολογισμός κατωφλίου με τη βοήθεια του ΚΟΘ Υπολογισμός απόδοσης με συνδυασμό Θεωρήματος Crammer και ΚΟΘ Ασκήσεις 88 4 Βέλτιστη ανίχνευση σημάτων Εισαγωγικά Σύμφωνη ανίχνευση σημάτων Σύμφωνη ανίχνευση σταθερού σήματος σε α.ι.κ. θόρυβο Σύμφωνη ανίχνευση σημάτων σε ανεξάρτητο θόρυβο Σύμφωνη ανίχνευση σημάτων σε εξαρτημένο Gaussian θόρυβο Ανίχνευση ντετερμινιστικών σημάτων με τυχαίες παραμέτρους Ανίχνευση σε Gaussian θόρυβο Ανίχνευση σε ανεξάρτητο μη Gaussian θόρυβο Ανίχνευση ντετερμινιστικών σημάτων με άγνωστες παραμέτρους Ανίχνευση τυχαίων σημάτων Ασκήσεις Βέλτιστη εκτίμηση παραμέτρων Εισαγωγή Estimation of random parameters according to Bayes Εκτιμητής ελαχιστοποίησης μέσου τετραγωνικού σφάλματος Εκτιμητής ελαχιστοποίησης μέσου απόλυτου σφάλματος Εκτιμητής μέγιστης εκ των υστέρων πιθανότητας Estimation of unknown parameters Εκτιμητής μέγιστης πιθανοφάνειας Αλγόριθμος Προσδοκίας/Μεγιστοποίησης 115

7 Περιεχόμενα iii 5.5 Sufficient statistic Parameter estimation with statistically independent samples Συνέπεια, αμεροληψία και ασυμπτωτικά Gaussian συμπεριφορά Estimation of constant signals in noise Exercises Υποβέλτιστη ανίχνευση και εκτίμηση Εισαγωγή Το πρότυπο του εκτιμητή μέγιστης πιθανοφάνειας Μ-εκτιμητές Αναδρομικές τεχνικές εκτίμησης Αναδρομή με μειούμενο βήμα Αναδρομή με σταθερό βήμα Ρωμαλέες τεχνικές εκτίμησης και ανίχνευσης Ρωμαλέα εξέταση υποθέσεων Ρωμαλέα εκτίμηση παραμέτρων Ρωμαλέα τοπική ανίχνευση σταθερών σημάτων Ρωμαλέα μη τοπική ανίχνευση σταθερών σημάτων Τεχνικές εκτίμησης βασισμένες στο ΝΜΑ Εκτίμηση παραμέτρων Ασυμπτωτική Gaussian συμπεριφορά εκτιμήσεων Ανίχνευση βασισμένη σε τεχνικές εκτίμησης και στο ΚΟΘ Βέλτιστη γραμμική εκτίμηση σημάτων Εισαγωγικά Γραμμική εκτίμηση Αρχή της ορθογωνιότητας Βέλτιστη γραμμική εκτίμηση με γνώση στατιστικών β τάξης Γενίκευση σε διανυσματικά σήματα Μη αιτιατό φίλτρο Wiener Αιτιατό φίλτρο Wiener Φίλτρο Wiener πεπερασμένης κρουστικής απόκρισης Αλγόριθμος του Levinson Φίλτρο Kalman Γενικεύσεις της αρχής της ορθογωνιότητας Εφαρμογές του φίλτρου Kalman Εναλλακτική σημασία των αποτελεσμάτων Ελαχιστοποίηση αθροιστικού τετραγωνικού σφάλματος δειγμάτων Αναδρομή ελαχίστων τετραγώνων Μοντέλο αυτοπαλινδρόμησης Πρόβλεψη σήματος αυτοπαλινδρόμησης Εκτίμηση φάσματος με χρήση μοντέλων αυτοπαλινδρόμησης Ασκήσεις Ανίχνευση και εκτίμηση σε σήματα συνεχούς χρόνου Εισαγωγικά 170

8 iv Περιεχόμενα 9 Ακολουθιακές τεχνικές εκτίμησης και ανίχνευσης Εισαγωγικά Βέλτιστη ακολουθιακή εξέταση δυαδικών υποθέσεων Βέλτιστη ακολουθιακή ανίχνευση αλλαγών Ακολουθιακή εκτίμηση παραμέτρων 171 Α Συμπλήρωμα θεωρίας πιθανοτήτων 172 Α.1 Εισαγωγικά 172 Α.2 Όρια στοχαστικών ακολουθιών 172 Α.3 Αθροίσματα τυχαίων μεταβλητών 173 Α.3.1 Νόμος των μεγάλων αριθμών 174 Α.3.2 Κεντρικό οριακό θεώρημα 175 Α.3.3 Φράγμα Chernoff 177 Α.4 Σημαντικές ανισότητες 178 Α.4.1 Ανισότητα Chebyshev 178 Α.4.2 Ανισότητα Cauchy-Schwarz 179 Α.4.3 Ανισότητα Jensen 179 Α.5 Κατάλογος κατανομών 179 Α.6 Μέθοδοι υλοποίησης τυχαίων μεταβλητών 182 Α.6.1 Μέθοδος της αντίστροφης συνάρτησης κατανομής 182 Α.6.2 Μέθοδος της απόρριψης/αποδοχής 183 Α.7 Εκτίμηση πιθανότητας εμφάνισης σπάνιων γεγονότων 184 Βιβλιογραφία 188 Ορολογία 190 Εδάφια στα οποία εμφανίζεται το σύμβολο μπορούν να παραληφθούν κατά την πρώτη ανάγνωση. Το βιβλίο περιέχει?? Σχήματα και?? Πίνακες

9 Πρόλογος Η ύλη του παρόντος βιβλίου βασίζεται στην πολύχρονη ερευνητική εμπειρία του συγγραφέα σε θέματα σχετικά με το αντικείμενο του βιβλίου καθώς και στις παραδόσεις του μαθήματος Θεωρία Εκτίμησης και Ανίχνευσης που έγιναν στο Διατμηματικό Μεταπτυχιακό Πρόγραμμα Συστήματα Επεξεργασίας Σημάτων και Εικόνων και στο Μεταπτυχιακό Πρόγραμμα του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών του του Πανεπιστημίου Πατρών. Σε σχέση με την υπάρχουσα (ξένη) βιβλιογραφία, έγινε σημαντική προσπάθεια ώστε να παρουσιαστεί η ύλη κάτω από διαφορετικό πρίσμα και να δοθεί μια, όσο το δυνατόν, πιο πρακτική διάσταση των απαραίτητων εννοιών. Πιστεύουμε επίσης ότι η θεωρητική πλευρά (που καλύπτει το μεγαλύτερο μέρος του βιβλίου) είναι γραμμένη με τρόπο που να γίνεται εύκολα κατανοητή από αναγνώστες με βασικό επίπεδο γνώσης Θεωρίας Πιθανοτήτων. Όσον αφορά στο σημείο αυτό, στο παράρτημα, στο τέλος του συγγράμματος, παρατίθενται με αρκετή λεπτομέρεια πολλές από τις απαραίτητες έννοιες. Γεώργιος Μουστακίδης Ιούνιος 2006 v

10 Ευχαριστίες Θα ήθελα να ευχαριστήσω του φοιτητές μου που συμμετείχαν ενεργά στις παραδόσεις του μαθήματος Θεωρία Εκτίμησης και Ανίχνευσης. Με την αδιάλειπτη παρουσία τους και τις ενδιαφέρουσες ερωτήσεις τους συνέβαλαν καθοριστικά στην επιλογή της ύλης και στον συγκεκριμένο τρόπο παρουσίασής της. Η έντονη επιθυμία τους για μάθηση απoτέλεσε τον κύριο μοχλό συγγραφής του βιβλίου αυτού. Αμέριστες ευχαριστίες πηγαίνουν στη σύζυγό μου Αδαμαντία Βασιλογάμβρου για την κοπιαστική συντακτική και γραμματική διόρθωση ενός τόσο δύσκολου προς αυτήν κειμένου. Το παρόν βιβλίο συντάχθηκε με τη βοήθεια της Ελληνικής έκδοσης του XƎL A TEX. vi

11 1 Εισαγωγή Στο παρόν σύγγραμμα θα επικεντρωθούμε στην ανάπτυξη μεθοδολογιών για: α) λήψη αποφάσεων, β) εκτίμηση παραμέτρων και γ) εκτίμηση σημάτων. Και στις τρεις περιπτώσεις η κύρια έμφαση θα δοθεί στην παρουσίαση βέλτιστων τεχνικών. Επειδή ωστόσο οι βέλτιστες τεχνικές απαιτούν υψηλό επίπεδο γνώσης του προβλήματος, απαίτηση η οποία δυστυχώς για τις περισσότερες εφαρμογές είναι μη ρεαλιστική, καθίσταται αναγκαία η αναζήτηση εναλλακτικών μεθοδολογιών με χαμηλότερες ανάγκες σε εκ των προτέρων πληροφορία. Λόγω φυσικά της έλλειψης λεπτομερούς πληροφορίας, οι εν λόγω τεχνικές υστερούν σε απόδοση σε σύγκριση με τις βέλτιστες αλλά, από την άλλη πλευρά, είναι πρακτικά εφαρμόσιμες. Τέλος, ας σημειωθεί ότι η ανάπτυξη των βέλτιστων τεχνικών, πέρα φυσικά από θεωρητικό, παρουσιάζει επίσης και πρακτικό ενδιαφέρον, αφού η απόδοσή τους αποτελεί σημείο αναφοράς για οποιαδήποτε εναλλακτική τεχνική. 1.1 Τρεις ενδιαφέρουσες εφαρμογές Προκειμένου να γίνει κατανοητή η χρησιμότητα των μαθηματικών αποτελεσμάτων που θα περιγράψουμε στα επόμενα κεφάλαια του βιβλίου, στη συνέχεια παρουσιάζονται τρία πρακτικά προβλήματα που αποτελούν χαρακτηριστικά παραδείγματα εφαρμογής των εν λόγω θεωριών Ανίχνευση αεροσκάφους από ραντάρ Η ανίχνευση αεροσκάφους με ραντάρ αποτελεί ίσως το κλασικότερο παράδειγμα εφαρμογής της Θεωρίας Ανίχνευσης και μια από τις πρώτες εφαρμογές που εξετάστηκαν στη πράξη. Είναι μάλιστα αξιοσημείωτο το γεγονός ότι το πρόβλημα αυτό είναι τόσο παλιό ώστε η γενική Θεωρία Ανίχνευσης έχει δανειστεί όρους από την ορολογία που αναπτύχθηκε για τη συγκεκριμένη αυτή εφαρμογή. Το πρόβλημα που επιθυμούμε να αναλύσουμε εμφανίζεται παραστατικά στο Σχήμα 1.1. Παρατηρούμε ότι το ραντάρ εκπέμπει ηλεκτρομαγνητικό κύμα προς μια κατεύθυνση και συλλέγει το σήμα που επιστρέφει. Η επιστροφή του σήματος οφείλεται 1

12 2 Κεφάλαιο 1 : Εισαγωγή είτε στην ύπαρξη φυσικών εμποδίων (όπως βουνά, λόφοι, σύννεφα, βροχή) ή και στην ύπαρξη αεροσκάφους στην κατεύθυνση εκπομπής. Ένα αυτόματο σύστημα ανίχνευσης Σχήμα 1.1 : Τα δύο πιθανά σενάρια (υποθέσεις) κατά τη διαδικασία ανίχνευσης αεροσκάφους από ραντάρ. δειγματοληπτεί το σήμα επιστροφής δημιουργώντας μια πεπερασμένη ακολουθία δειγμάτων x 1,...,x N, και επιχειρεί να διακρίνει εάν τα εν λόγω δείγματα προέρχονται από σήμα που εμπεριέχει α) μόνον ανακλάσεις από φυσικά εμπόδια ή β) ανακλάσεις από φυσικά εμπόδια και ανάκλαση από αεροσκάφος. Η φύση του σήματος επιστροφής είναι τελείως διαφορετική στα δύο πιθανά σενάρια (υποθέσεις). Στην μεν πρώτη περίπτωση το ραντάρ δέχεται πληθώρα από αδύναμες επιστροφές με τυχαία πλάτη και διαφορετικές καθυστερήσεις, ενώ στη δεύτερη το επιστρέφον σήμα διαθέτει επιπλέον και μια κυρίαρχη συνιστώσα λόγω της ανάκλασης του ηλεκτρομαγνητικού κύματος από το αεροσκάφος. Με περισσότερο τεχνική ορολογία, τα δείγματα σύμφωνα με το Σενάριο α) εμφανίζουν συμπεριφορά λευκού θορύβου, ενώ με το Σενάριο β) διακρίνονται από μια σταθερή συνιστώσα με υπέρθεση λευκού θορύβου. Επιχειρώντας να εκφράσουμε όσα προαναφέρθηκαν με μαθηματικό τρόπο, μπορούμε να γράψουμε Σενάριο α): x n = w n,n=1,...,n Σενάριο β): x n = s + w n,n=1,...,n, όπου w n λευκός θόρυβος και s σταθερά. Το μαθηματικό πρόβλημα που καλούμαστε επομένως να επιλύσουμε είναι το ακόλουθο: Με δεδομένη μια συλλογή N δειγμάτων, επιθυμούμε να αποφασίσουμε εάν τα εν λόγω δείγματα εμπεριέχουν α) καθαρό θόρυβο ή β) σταθερό σήμα s συν θόρυβο. Αποφασίζοντας υπέρ το α) συνεπάγεται ουσιαστικά απόφαση υπέρ της μη ύπαρξης αεροσκάφους, ενώ υπέρ του β) απόφαση υπέρ της ύπαρξης αεροσκάφους. Το πρόβλημα που μόλις περιγράψαμε επιδέχεται ενδιαφέρουσες γενικεύσεις που περιλαμβάνουν μεγαλύτερο πλήθος δυνατών σεναρίων. Π.χ. είναι δυνατό, πέρα από απλή

13 1.1 Τρεις ενδιαφέρουσες εφαρμογές 3 ανίχνευση, να επιθυμούμε την ανακάλυψη και του τύπου του αεροσκάφους. Για την περίπτωση αυτή θα πρέπει να δημιουργηθεί ένα σενάριο για κάθε διαφορετικό τύπο. Δηλαδή να περιγράψουμε με ένα διαφορετικό στατιστικό τρόπο τα δεδομένα x n για κάθε τύπο αεροσκάφους. Καθοριστικό στοιχείο στις εν λόγω γενικεύσεις αποτελεί το γεγονός ότι τα πιθανά σενάρια πρέπει να είναι πεπερασμένου πλήθους. Όπως είναι φυσικό, κάθε διαδικασία απόφασης ενέχει τον κίνδυνο σφάλματος. Στόχος της θεωρίας η οποία αναπτύσσεται στο Κεφάλαιο 2 είναι ο καθορισμός βέλτιστων κανόνων απόφασης σύμφωνα με εύλογα κριτήρια (π.χ. ελαχιστοποίηση της πιθανότητας εσφαλμένης απόφασης). Στο Κεφάλαιο 3 θα επικεντρωθούμε σε μια ειδική κατηγορία προβλημάτων λήψης αποφάσεων στην οποία ανήκει και το πρόβλημα της ανίχνευσης αεροσκάφους, η οποία καλείται Ανίχνευση Σήματος. Οι κανόνες απόφασης θα μας απασχολήσουν επίσης και στο Κεφάλαιο 5 όπου θα αναπτυχθούν μη βέλτιστες αλλά πρακτικά χρήσιμες τεχνικές Εκτίμηση καναλιού σε ασύρματες τηλεπικοινωνίες Οι ψηφιακές τηλεπικοινωνίες καθίστανται, όλο και περισσότερο, αναπόσπαστο τμήμα της καθημερινής μας ζωής προσφέροντας συνεχώς νέες και ενδιαφέρουσες υπηρεσίες. Ο ρόλος των ασύρματων τηλεπικοινωνιακών συστημάτων στις μοντέρνες υπηρεσίες είναι καθοριστικός, κυρίως λόγω της κινητικότητας που αυτά συνεπάγονται. Δυστυχώς όμως η δυνατότητα αυτή συνοδεύεται από σημαντικά προβλήματα που δημιουργούνται εξ αιτίας του άγνωστου και χρονικά μεταβαλλόμενου καναλιού μέσα στο οποίο γίνεται η μετάδοση της πληροφορίας. Η επίδραση του καναλιού στην ποιότητα του λαμβανόμενου σήματος είναι κρίσιμη και, τις περισσότερες φορές, έντονα αρνητική προκαλώντας αξιοσημείωτη μείωση στην απόδοση του τηλεπικοινωνιακού συστήματος. Το φαινόμενο της μετάδοσης μέσω πολλαπλών διαδρομών, η δυνατότητα δηλαδή που έχει το μεταδιδόμενο σήμα να καταλήγει στον δέκτη μέσα από διαφορετικές διαδρομές, συγκαταλέγεται μεταξύ των βασικότερων προβλημάτων που χρήζουν ιδιαίτερης προσοχής και αντιμετώπισης. Η εμφάνιση του φαινομένου της πολυδιαδρομικής μετάδοσης οφείλεται στην εκπομπή του πομπού προς κάθε κατεύθυνση με αποτέλεσμα, όπως φαίνεται και στο Σχήμα 1.2, να υπάρχει η απ ευθείας διαδρομή του σήματος από τον πομπό προς τον δέκτη, αλλά επίσης και εναλλακτικές δίοδοι μέσω ανακλάσεων σε φυσικά εμπόδια. Εάν συμβολίσουμε με z(t) το σήμα που εκπέμπει ο πομπός, τότε ο δέκτης συλλέγει το x(t), όπου x(t) =c 0 z(t)+c 1 z(t τ 1 )+ + c K z(t τ k )+w(t). Ο πρώτος όρος του αθροίσματος αναφέρεται στην απ ευθείας διαδρομή ενώ οι επόμενοι K στις εναλλακτικές. Επειδή οι τελευταίες είναι συνήθως μεγαλύτερου μήκους, το ηλεκτρομαγνητικό κύμα απαιτεί περισσότερο χρόνο να τις διανύσει, με αποτέλεσμα το σήμα να φτάνει καθυστερημένο στο δέκτη. Κάθε διαδρομή έχει φυσικά διαφορετική καθυστέρηση τ i και υπόκειται σε διαφορετικό ποσοστό απώλειας ενέργειας c i. Ο

14 4 Κεφάλαιο 1 : Εισαγωγή Ανάκλαση Ανάκλαση x1, x2,..., xn Σχήμα 1.2 : Ασύρματη επικοινωνία μέσω καναλιού πολλαπλών διαδρομών. τελευταίος όρος w(t) στο λαμβανόμενο σήμα x(t) συμβολίζει το απανταχού παρόντα θόρυβο. Το σήμα x(t), όπως αναφέρθηκε προηγουμένως, μπορεί να είναι τελείως διαφορετικό από το ιδανικό σήμα εκπομπής z(t), γεγονός που συντελεί στη σημαντική μείωση της αποτελεσματικότητας του τηλεπικοινωνιακού συστήματος. Η εν λόγω μείωση είναι δυνατό να περιοριστεί σε μεγάλο βαθμό εάν είναι γνωστές οι παράμετροι τ i,c i του πολυδιαδρομικού καναλιού. Δυστυχώς γνώση της μορφής αυτής είναι πρακτικά αδύνατη λόγω ακριβώς της κινητικότητας ή/και της χρονικής μεταβλητότητας που διακρίνει τις ασύρματες συνδέσεις. Η μη διαθεσιμότητα των εν λόγω παραμέτρων προτρέπει επομένως στην ανάπτυξη μεθόδων εκτίμησης. Θα πρέπει δηλαδή ο δέκτης, σε τακτά χρονικά διαστήματα (ή και συνεχώς), να δειγματοληπτεί το λαμβανόμενο σήμα x(t) και με τα δείγματα x 1,...,x N να επιχειρεί εκτίμηση των παραμέτρων του καναλιού. Εάν η εκτίμηση είναι αξιόπιστη τότε είναι αναμενόμενο ότι η διόρθωση της βλάβης που προκαλείται από την πολυδιαδρομική μετάδοση θα είναι αντιστρέψιμη. Στην περίπτωση φυσικά μιας κακής εκτίμησης το πρόβλημα όπως είναι λογικό θα διατηρηθεί ή μπορεί να γίνει και εντονότερο. Στο Κεφάλαιο 4 θα επικεντρωθούμε στις βέλτιστες τεχνικές εκτίμησης παραμέτρων και θα προτείνουμε εναλλακτικές μεθοδολογίες σύμφωνα με διαφορετικά κριτήρια αξιολόγησης της ποιότητας μιας εκτίμησης. Τεχνικές εκτίμησης, αλλά μη βέλτιστες αυτή τη φορά, θα παρουσιαστούν στο Κεφάλαιο Φιλτράρισμα θορύβου σε ηχητικό σήμα Το τελευταίο παράδειγμα που θα παρουσιάσουμε εμφανίζεται παραστατικά στο Σχήμα 1.3. Συγκεκριμένα, μας διατίθεται ένα ψηφιακό σήμα x 1,x 2,..., το οποίο προκύπτει από άθροιση ενός επιθυμητού σήματος πληροφορίας (στην προκειμένη περίπτωση μουσικής) και θορύβου. Στόχος μας στην εφαρμογή αυτή αποτελεί η επεξεργασία του σήματος {x n } ώστε να προκύψει (να εκτιμηθεί) το σήμα πληροφορίας. Η διαδικασία απομάκρυνσης του θορύβου είναι γνωστή και σαν φιλτράρισμα. Η διαφορά της παρούσας διαδικασίας εκτίμησης από την αντίστοιχη του προηγούμενου εδαφίου έγκειται βα-

15 1.1 Τρεις ενδιαφέρουσες εφαρμογές 5 Σχήμα 1.3 : Σήμα που προκύπτει από άθροιση μουσικής και θορύβου. σικά στο πλήθος των στοιχείων που πρέπει να εκτιμηθούν (άπειρα έναντι πεπερασμένου πλήθους) καθώς επίσης και στη χρονική αλληλουχία δημιουργίας των εκτιμήσεων σε συνδυασμό με την διαθεσιμότητα των προς επεξεργασία δειγμάτων x n (συνθήκες πραγματικού χρόνου). Οι εν λόγω διαφορές επιβάλλουν τη δημιουργία εντελώς διαφορετικών τεχνικών επεξεργασίας από αυτές που διατίθενται για την επίλυση των προβλημάτων εκτίμησης του προηγούμενου εδαφίου και η αντίστοιχη μεθοδολογία θα παρουσιαστεί στο Κεφάλαιο 6. Σημειώνεται ότι τα συστήματα επεξεργασίας για την εκτίμηση σημάτων είναι γνωστά και σαν φίλτρα. Στο Κεφάλαιο 6 θα γίνει η παρουσίαση των δύο πλέον δημοφιλών φίλτρων: του Φίλτρου Wiener και του Φίλτρου Kalman, όπως επίσης και της γενικής θεωρίας της Βέλτιστης Γραμμικής Επεξεργασίας σημάτων. Τέλος, στο ίδιο κεφάλαιο θα παρουσιαστούν εισαγωγικά στοιχεία της Θεωρίας του Αναδρομικού Φιλτραρίσματος και της Αναδρομικής Εκτίμησης σημάτων, περιοχές οι οποίες αποτελούν τη μοντέρνα έκδοση της Θεωρίας Επεξεργασίας Σήματος. Οι τεχνικές αυτές είναι εξαιρετικά ενδιαφέρουσες επειδή απαιτούν ελάχιστη εκ των προτέρων γνώση (των στατιστικών) του σήματος (σε αντίθεση με τα βέλτιστα φίλτρα που βασίζονται σε σημαντική εκ των προτέρων πληροφορία) και είναι σε θέση μέσα από τα διαθέσιμα δείγματα να μαθαίνουν τις στατιστικές και συγχρόνως να επεξεργάζονται το σήμα. Όπως είναι φυσικό, η επεξεργασία στα αρχικά στάδια είναι περιορισμένης ποιότητας, αλλά με την πάροδο του χρόνου, καθώς γίνεται συσσώρευση πληροφορίας, η ποιότητα βελτιώνεται συγκλίνοντας σε αυτή των βέλτιστων φίλτρων.

16 2 Στοιχεία πιθανοτήτων και στοχαστικών διαδικασιών 2.1 Εισαγωγικά Το παρόν παράρτημα δεν έχει σαν στόχο να καλύψει αναλυτικά την ύλη της Θεωρίας Πιθανοτήτων και Στοχαστικών Διαδικασιών. Υπάρχει στη βιβλιογραφία πληθώρα σχετικών συγγραμμάτων όπου οι δύο περιοχές αναπτύσσονται εκτεταμένα και με διαφορετικό βαθμό δυσκολίας και έμφασης 1. Έτσι, περιοριζόμαστε σε συνοπτική παρουσίαση των βασικών εννοιών και αποτελεσμάτων που είναι απαραίτητα για την κατανόηση του αντικειμένου του παρόντος βιβλίου. 2.2 Χώρος πιθανότητας Καλούμε χώρο πιθανότητας μια τριάδα οντοτήτων, που θα συμβολίσουμε με (Θ, G, ), με τις παρακάτω ιδιότητες Το Θ είναι ένα οποιοδήποτε σύνολο στοιχείων, το οποίο καλείται δειγματοχώρος. Το G είναι ένα σύνολο από υποσύνολα του Θ, τα οποία συνιστούν μια σ-άλγεβρα. Συγκεκριμένα, τα στοιχεία του G πρέπει να ικανοποιούν τις ακόλουθες ιδιότητες: Τα δύο σύνολα Θ και είναι στοιχεία του G. Εάν A G, τότε και A c G, όπου A c το συμπληρωματικό του A. Εάν A 1,A 2 G, τότε και A 1 A 2 G. Εάν μια ακολουθία από σύνολα A 1,A 2,... G, τότε και i=1 A i G. Τα στοιχεία του G καλούνται γεγονότα. 1 Σαν καταλληλότερο σύγγραμμα για Μηχανικούς προτείνεται το βιβλίο [PA1999] το οποίο διακρίνεται για τη μαθηματική του αυστηρότητα παράλληλα με την απλότητα παρουσίασης της ύλης. 6

17 2.3 Τυχαίες μεταβλητές 7 Το είναι μια απεικόνιση από το σύνολο G στο διάστημα [0,1] με τις εξής ιδιότητες: ( ) =0, (Θ) =1. Εάν A 1,A 2 G και A 1 A 2 =, τότε (A 1 A 2 )= (A 1 )+ (A 2 ). Εάν μια ακολουθία από σύνολα A 1,A 2,... G και κάθε A i A j = για i j, τότε ( i=1 A i)= i=1 (A i). Η συνάρτηση καλείται συνάρτηση πιθανότητας και, όπως παρατηρούμε, ορίζει πιθανότητες μόνο για τα στοιχεία του συνόλου G, δηλαδή τα γεγονότα. 2.3 Τυχαίες μεταβλητές Είναι δυνατό να ορίσουμε συναρτήσεις που να απεικονίζουν στοιχεία του δειγματοχώρου Θ στους πραγματικούς αριθμούς R. Έστω χ(θ) μια τέτοια συνάρτηση, δηλαδή θ Θ και χ(θ) R. Η πλέον στοιχειώδης πράξη στους πραγματικούς αριθμούς είναι η πράξη της σύγκρισης. Εάν επομένως x R, μας ενδιαφέρει να διαπιστώσουμε πόσο συχνά συμβαίνει χ(θ) x, με άλλα λόγια να ανακαλύψουμε το σύνολο (υποσύνολο του Θ) A x = {θ : χ(θ) x}, το οποίο επιθυμούμε να μετρήσουμε με τη βοήθεια της συνάρτησης πιθανότητας. Για να μπορέσουμε να δώσουμε πιθανότητα στο εν λόγω σύνολο είναι απαραίτητο το A x G, αφού το G, εξ ορισμού, περιέχει όλα τα δυνατά σύνολα στα οποία μπορούμε να δώσουμε πιθανότητα. Έχουμε επομένως τον ακόλουθο ορισμό. Μια συνάρτηση χ(θ) από το Θ στους πραγματικούς αριθμούς, θα καλείται μετρήσιμη ή τυχαία μεταβλητή, εάν για κάθε πραγματικό x το σύνολο δηλαδή το A x είναι ένα γεγονός. A x = {θ : χ(θ) x} G, Για μια τυχαία μεταβλητή χ(θ) μια πολύ σημαντική ποσότητα είναι η συνάρτηση χ (x) = (χ(θ) x), η οποία καλείται συνάρτηση κατανομής της χ(θ) και είναι αύξουσα ως προς x με ιδιότητες χ ( ) =0, χ ( ) =1. Η παράγωγος της συνάρτησης κατανομής (όταν υπάρχει) καλείται συνάρτηση πυκνότητας πιθανότητας και ικανοποιεί f χ (x) = d χ(x) dx 0, f χ (x)dx =1.

18 8 Κεφάλαιο 2 : Στοιχεία πιθανοτήτων και στοχαστικών διαδικασιών Η πυκνότητα πιθανότητας δεν εκφράζει πιθανότητα για κανένα γεγονός. Παρατηρούμε ωστόσο ότι μπορούμε να γράψουμε (x <χ x + dx) = χ (x + dx) χ (x) =f χ (x) dx. (2.1) Με άλλα λόγια η πυκνότητα πιθανότητας f χ (x) επί το διαφορικό dx εκφράζει ουσιαστικά την πιθανότητα η τυχαία μας μεταβλητή χ να πάρει τιμή μέσα στο διαφορικό διάστημα (x, x + dx], που αποτελεί φυσικά έναν έμμεσο τρόπο να δηλώσουμε ότι η χ παίρνει την τιμή x. Να μιλήσω για δέλτα συναρτήσεις!!!! Πείραμα Με τις τυχαίες μεταβλητές μοντελοποιούμε φαινόμενα τα οποία είναι δύσκολο να περιγράψουμε με ντετερμινιστικό τρόπο, είτε διότι είναι εξαιρετικά πολύπλοκα, είτε διότι δεν υπάρχει η απαραίτητη πληροφορία. Θα επιχειρήσουμε να δώσουμε στις τυχαίες μεταβλητές, πέρα από το μαθηματικό ορισμό, κάποια φυσική σημασία, η οποία να είναι σύμφωνη με τον τρόπο που οι οντότητες αυτές χρησιμοποιούνται στην πράξη. Όπως είδαμε, μια τυχαία μεταβλητή χ(θ) είναι ουσιαστικά μια συνάρτηση από τον δειγματοχώρο στους πραγματικούς. Υπάρχει επομένως μια διαδικασία επιλογής στοιχείων του δειγματοχώρου και απεικόνισής τους στους πραγματικούς. Η διαδικασία αυτή καλείται πείραμα και ο πραγματικός αριθμός χ(θ) που προκύπτει καλείται υλοποίηση της τυχαίας μεταβλητής. Στα περισσότερα πρακτικά προβλήματα για τα πειράματα και τις υλοποιήσεις θεωρείται ότι ευθύνεται η Φύση ή η Τυχαιότητα, αφού ο Μελετητής δεν έχει συνήθως κανένα έλεγχο. Επιπλέον, ο Μελετητής είναι δυνατό να μην γνωρίζει τον δειγματοχώρο αλλά ούτε και τη συνάρτηση χ( ). Π.χ. στη διαδικασία ρίψης ενός ζαριού η Φύση επιλέγει τις συνθήκες κάτω από τις οποίες εκτελείται η ρίψη και το αποτέλεσμα είναι ένας ακέραιος από ένα έως έξι. Στο παράδειγμα αυτό παρατηρούμε ότι είναι άγνωστος ο δειγματοχώρος καθώς και ο τρόπος αντιστοίχισης με τους πραγματικούς αριθμούς (που στο συγκεκριμένο παράδειγμα είναι μόνο το σύνολο {1, 2,...,6}). Προφανώς η Φύση μπορεί να επαναλάβει το ίδιο πείραμα πολλές φορές (π.χ. τη ρίψη ζαριού) και κάθε φορά να επιλέγει διαφορετικό στοιχείο του δειγματοχώρου, το οποίο απεικονίζεται σε διαφορετικό πραγματικό αριθμό. Αποτελέσματα πειραμάτων, δηλαδή διαφορετικές υλοποιήσεις, θα τα συμβολίζουμε με χ(θ 1 ),χ(θ 2 ),..., ώστε να γίνεται σαφής η διαφορετική επιλογή της Φύσης στα στοιχεία θ του δειγματοχώρου Μέσος όρος και διασπορά Καλούμε στοχαστικό μέσον όρο της τυχαίας μεταβλητής χ το ολοκλήρωμα 2 χ = [χ] = xf χ (x)dx 2 Στο εξής η εξάρτηση από την μεταβλητή θ θα προσδιορίζεται εφόσον είναι απολύτως αναγκαίο.

19 2.3 Τυχαίες μεταβλητές 9 και διασπορά σ 2 χ = [(χ χ) 2 ]= (x χ) 2 f χ (x)dx. Ο στοχαστικός μέσος όρος, είναι η αντιπροσωπευτικότερη τιμή της συνάρτησης χ, ενώ η διασπορά υποδηλώνει το πόσο παίζει η συνάρτηση χ γύρω από την αντιπροσωπευτική της τιμή χ. Παρατηρούμε ότι, όταν σ χ =0, τότε η τυχαία μεταβλητή είναι μια σταθερή συνάρτηση (ίση προς τη μέση της τιμή χ). Ο παραπάνω ορισμός του μέσου όρου προϋποθέτει γνώση της συνάρτησης κατανομής της τυχαίας μεταβλητής. Ένας άλλος τρόπος υπολογισμού, ή ακριβέστερα εκτίμησης, του μέσου όρου είναι ο αριθμητικός μέσος όρος χ χ(θ 1)+χ(θ 2 )+ + χ(θ n ), n ο οποίος απαιτεί πολλαπλές υλοποιήσεις της τυχαίας μεταβλητής. Οι έννοιες που ορίσαμε για μια τυχαία μεταβλητή εύκολα επεκτείνονται και σε περισσότερες. Εάν χ 1,χ 2 δύο τυχαίες μεταβλητές (δηλαδή για κάθε επιλογή του θ μας διατίθενται δύο πραγματικοί αριθμοί), τότε είναι δυνατό να ορίσουμε την από κοινού συνάρτηση κατανομής χ1,χ 2 (x 1,x 2 )= (χ 1 x 1,χ 2 x 2 ), την πιθανότητα δηλαδή να έχουμε συγχρόνως χ 1 x 1 και χ 2 x 2. Είναι πολύ εύκολο να διαπιστώσουμε ότι εάν χ i,i=1, 2, είναι μετρήσιμες, τότε η εν λόγω πιθανότητα υπάρχει (γιατί;). Η μερική παράγωγος της (από κοινού) συνάρτησης κατανομής χ1,χ 2 (x 1,x 2 ) ως προς x 1 και x 2 fχ1,χ2 (x1,x2) = 2 χ1,χ2 (x 1,x 2 ) x 1 x 2 καλείται από κοινού συνάρτηση πυκνότητας πιθανότητας. Για τις δύο συναρτήσεις ισχύουν οι εξής ιδιότητες f χ1 (x 1 )= χ1 (x 1 )= χ1,χ 2 (x 1, ), χ2 (x 2 )= χ1,χ 2 (,x 2 ), f χ1,χ 2 (x 1,x 2 ) 0 f χ1,χ 2 (x 1,x 2 )dx 2, f χ2 (x 2 )= f χ1,χ 2 (x 1,x 2 )dx 1 f χ1,χ 2 (x 1,x 2 )dx 1 dx 2 =1.

20 10 Κεφάλαιο 2 : Στοιχεία πιθανοτήτων και στοχαστικών διαδικασιών Δύο τυχαίες μεταβλητές χ 1,χ 2 θα καλούνται ανεξάρτητες όταν χ1,χ 2 (x 1,x 2 )= χ1 (x 1 ) χ2 (x 2 ) ή f χ1,χ 2 (x 1,x 2 )=f χ1 (x 1 )f χ2 (x 2 ). Καλούμε συσχέτιση δύο τυχαίων μεταβλητών χ 1,χ 2 την ποσότητα cov{χ 1,χ 2 } = [(χ 1 χ 1 )(χ 2 χ 2 )] = (x 1 χ 1 )(x 2 χ 2 )f χ1,χ 2 (x 1,x 2 )dx 1 dx 2 = [χ 1 χ 2 ] χ 1 χ 2. Όταν η συσχέτιση δύο τυχαίων μεταβλητών είναι μηδέν, τότε οι τυχαίες μεταβλητές καλούνται ασυσχέτιστες. Οι παραπάνω ορισμοί επεκτείνονται φυσικά σε περισσότερες από δύο τυχαίες μεταβλητές κατά τον προφανή τρόπο. Στην περίπτωση των περισσοτέρων της μιας τυχαίων μεταβλητών είναι προτιμότερο να θεωρούμε τις τυχαίες μεταβλητές σαν όρους ενός (τυχαίου) διανύσματος. Για την περίπτωση επομένως K τυχαίων μεταβλητών μπορούμε να γράψουμε X =[χ 1 χ 2 χ K ] t και να ορίσουμε το μέσο διάνυσμα σαν και την μήτρα συνδιασποράς X = [X ]= Xf X (X)dX Σ X = [(X X )(X X ) t ]= [X X t ] X X t. Από τον ορισμό εύκολα διαπιστώνουμε ότι το στοιχείο i, j της μήτρας συνδιασποράς είναι ίσο προς τη συσχέτιση των τυχαίων μεταβλητών χ i,χ j, ως εκ τούτου η μήτρα Σ X είναι συμμετρική. Το i-οστό διαγώνιο στοιχείο της μήτρας είναι ίσο προς τη διασπορά της τυχαίας μεταβλητής χ i. Τέλος η μήτρα συνδιασποράς, μπορεί εύκολα να αποδειχθεί ότι είναι μη αρνητικά ορισμένη, μια σημαντική και πολύ χρήσιμη ιδιότητα. Ένα κλασικό και πρακτικά χρήσιμο παράδειγμα από κοινού συνάρτησης πυκνότητας πιθανότητας αποτελεί η περίπτωση K Gaussian τυχαίων μεταβλητών. Εάν X,Σ X το διάνυσμα των μέσων όρων και η μήτρα συνδιασποράς των εν λόγω μεταβλητών τότε f X (X) = 1 (2π) K Σ X e 1 2 (X X ) t Σ 1 X (X X ), όπου X =[x 1 x 2 x K ] t (διάνυσμα πραγματικών τυχαίων μεταβλητών) και Σ X συμβολίζει την ορίζουσα της μήτρας Σ X.

21 2.4 Δεσμευμένη ή υπό συνθήκη πιθανότητα 11 Ιδιότητες Gaussian μεταβλητών : Οι Gaussian μεταβλητές διαθέτουν τις ακόλουθες δύο πολύ σημαντικές ιδιότητες Αποτελεί ενδιαφέρουσα (και απλή) άσκηση η απόδειξη της πρότασης ότι όταν Gaussian τυχαίες μεταβλητές είναι ασυσχέτιστες είναι υποχρεωτικά και ανεξάρτητες. Αποτελεί ενδιαφέρουσα (και όχι ιδιαίτερα δύσκολη) άσκηση η απόδειξη της πρότασης ότι γραμμικός συνδυασμός από Gaussian τυχαίες μεταβλητές δημιουργεί πάλι Gaussian τυχαίες μεταβλητές. Η δεύτερη ιδιότητα είναι εξαιρετικά χρήσιμη επειδή, ως γνωστόν, για να καθοριστούν οι Gaussian τυχαίες μεταβλητές αρκεί να υπολογιστούν οι μέσοι όροι και η μήτρα συνδιασποράς, πράγμα απλό για την περίπτωση των γραμμικών συνδυασμών. 2.4 Δεσμευμένη ή υπό συνθήκη πιθανότητα Η έννοια της δεσμευμένης πιθανότητας αποτελεί σημαντική ανακάλυψη για τη θεωρία πιθανοτήτων. Έστω γεγονός B G με (B) > 0 τότε θα καλούμε δεσμευμένη (ή υπό συνθήκη) πιθανότητα ενός γεγονότος A G με δεδομένο το B την εξής ποσότητα: (A B) = (A B), (B) όπου για ευκολία συμβολίζουμε την τομή A B των δύο συνόλων σαν το γινόμενο A B. Από τον ορισμό της δεσμευμένης πιθανότητας προκύπτει ότι (A B) = (A B) (B) = (B A) (A). (2.2) Είναι επίσης εύκολο, χρησιμοποιώντας τον ορισμό, να γενικεύσουμε τις προηγούμενες ισότητες και να δείξουμε για τρία γεγονότα A, B, C ότι μπορούμε να γράψουμε Πράγματι (A B C) = (A B C) (B C) = (B A C) (A C). (2.3) (A B C) = (A B C) (C) = (A B C) (B C) (C) = (A B C) (B C), αποδεικνύοντας την πρώτη ισότητα. Με τον ίδιο τρόπο αποδεικνύεται και η δεύτερη Δεσμευμένη πυκνότητα πιθανότητας Εάν έχουμε μια τυχαία μεταβλητή χ(θ) με πυκνότητα πιθανότητας f χ (x), τότε μπορούμε στην περίπτωση αυτή να ορίσουμε τη δεσμευμένη πυκνότητα πιθανότητας f χ (x χ B). Με άλλα λόγια ενδιαφερόμαστε να δούμε με ποιο τρόπο αλλάζει η πυκνότητα πιθανότητας της τυχαίας μεταβλητής όταν μας δίνεται η επιπλέον πληροφορία ότι η τυχαία μεταβλητή παρατηρήθηκε στο εσωτερικό ενός συνόλου B.

22 12 Κεφάλαιο 2 : Στοιχεία πιθανοτήτων και στοχαστικών διαδικασιών Προκειμένου να χρησιμοποιήσουμε τον ορισμό της δεσμευμένης πιθανότητας, κάνουμε χρήση της (2.1), συγκεκριμένα f χ (x χ B)dx = (x <χ x + dx χ B) = = f χ(x) B (x) dx x B f χ(x) dx, (x <χ x + dx & χ B) (χ B) από τη οποία συμπεραίνουμε ότι f χ (x χ B) = f χ (x) x B f χ(x) dx B (x) Βασικές ισότητες για γεγονότα Με τη βοήθεια της δεσμευμένης πιθανότητας και συγκεκριμένα με χρήση της (2.2) είναι δυνατό να αποδειχθεί ένας αριθμός από πολύ ενδιαφέρουσες ισότητες οι οποίες παρατίθενται στη συνέχεια. Ισότητα 1: Άμεση γενίκευση της (2.2) αποτελεί η εξής περίπτωση: έστω γεγονότα A 1,A 2,...,A K G, τότε (A K A K 1 A 1 )= (A K A K 1 A 1 ) (A K 1 A 1 )= = (A K A K 1 A 1 ) (A K 1 A K 2 A 1 ) (A 2 A 1 ) (A 1 ). Η πρώτη ισότητα είναι ουσιαστικά η (2.2) με B = A K 1 A 1. Στη συνέχεια επαναλαμβάνεται η ισότητα αυτή για K 1,K 2,...,2. Ισότητα 2: (Ολική Πιθανότητα) Έστω γεγονότα A 1,A 2,...,A K G για τα οποία ισχύει A 1 A 2 A K = Θ με A i A j = για i j, καθώς και γεγονός B G, τότε (B) = (B Θ) = (B K i=1a i )= ( K i=1(b A i )) = K = (B A i ) (A i ), i=1 K (B A i ) i=1 όπου η πρώτη ισότητα της τελευταίας σχέσης προκύπτει από το γεγονός ότι τα σύνολα B A i είναι μεταξύ τους ξένα. Ισότητα 3: Με χρήση της προηγούμενης ισότητας μπορούμε να δείξουμε για γεγονότα A 1,...,A K,B όπως παραπάνω ότι ισχύει (A i B) = (B A i) (A i ) (B) = (B A i ) (A i ) K i=1 (B A i) (A i ).

23 2.4 Δεσμευμένη ή υπό συνθήκη πιθανότητα 13 Οι πιθανότητες (A i ) καλούνται εκ των προτέρων (ή αρχικές) πιθανότητες των γεγονότων A i, ενώ οι (A i B) εκ των υστέρων με δεδομένο το γεγονός B. Οι εκ των προτέρων πιθανότητες εκφράζουν την αρχική γνώση που υπάρχει για τα γεγονότα A i ενώ οι εκ των υστέρων το πως διαμορφώνονται οι πιθανότητες μετά την εμφάνιση του γεγονότος B Βασικές ισότητες για πυκνότητες πιθανότητας Οι ισότητες που παρουσιάστηκαν για γεγονότα έχουν τα ισοδύναμά τους και στην περίπτωση των πυκνοτήτων πιθανότητας τυχαίων μεταβλητών. Έστω δύο τυχαία διανύσματα X, Y με αντίστοιχη από κοινού πυκνότητα πιθανότητας f X,Y (X, Y ), τότε η πυκνότητα πιθανότητας του X με δεδομένο ότι Y B είναι f X Y B (X Y B) = Y B f X,Y (X, Y ) dy Y B f Y (Y ) dy = Y B f X,Y (X, Y ) dy Y B f X,Y (X, Y ) dy dx. Είναι επίσης δυνατό να θεωρήσουμε για το Y το διαφορικό γεγονός Y = Y (δηλαδή Y<Y Y + dy ), οπότε η δεσμευμένη πυκνότητα πιθανότητας γράφεται f X Y =Y (X Y )= f X,Y (X, Y ) f Y (Y ) = f X,Y (X, Y ) f X,Y (X, Y ) dx. Εύκολα διαπιστώνουμε ότι η συνάρτηση f X Y =Y (X Y ) αποτελεί όντως πυκνότητα πιθανότητας αφού είναι μη αρνητική και εάν ολοκληρωθεί ως προς X το αποτέλεσμα είναι μονάδα. Η παραπάνω σχέση αποτελεί το ισοδύναμο της δεσμευμένης πιθανότητας για συναρτήσεις πυκνότητας πιθανότητας. Κατ αναλογία με την (2.2) μπορούμε επίσης να γράψουμε f X,Y (X, Y )=f X Y =Y (X Y )f Y (Y ). Από την ύπαρξη της υπό συνθήκη πυκνότητας πιθανότητας απορρέει και η ύπαρξη της υπό συνθήκη μέσης τιμής [X Y = Y ]= Xf X Y =Y (X Y = Y ) dx = G(Y ) το οποίο είναι φυσικά μια (διανυσματική) συνάρτηση του Y. Για την υπό συνθήκη πυκνότητα πιθανότητα ισχύει ένας αριθμός από ενδιαφέρουσες ισότητες η απόδειξη των οποίων είναι απλή και επαφίεται στον αναγνώστη. Το ισοδύναμο της Ισότητας 1 για πυκνότητες πιθανότητας είναι η ακόλουθη σχέση. Ισότητα 4: Έστω τυχαίες μεταβλητές χ 1,χ 2,...,χ n τότε f χn,...,χ 1 (x n,...,x 1 )= f χn χ n 1,...,χ 1 (x n x n 1,...,x 1 ) f χn 1 χ n 2,...,χ 1 (x n 1 x n 2,...,x 1 ) f χ2 χ 1 (x 2 x 1 ) f χ1 (x 1 ).

24 14 Κεφάλαιο 2 : Στοιχεία πιθανοτήτων και στοχαστικών διαδικασιών Για την ειδική περίπτωση που f χn χ n 1,...,χ 1 (x n x n 1,...,x 1 )=f χn χ n 1 (x n x n 1 ) τότε η ακολουθία χ 1,χ 2,...,χ n καλείται Markov. Συνδυασμός γεγονότων και πυκνοτήτων πιθανότητας οδηγεί στην ακόλουθη ισότητα. Ισότητα 5: Έστω τυχαία διανύσματα X, Y και ας υποθέσουμε ότι το Y παίρνει τιμές μέσα στο σύνολο Ω όπου υποθέτουμε ότι (Y Ω) =1. Έστω επίσης ότι ισχύει Ω = K i=1 A i, όπου τα γεγονότα A i είναι ανά δύο ξένα μεταξύ τους. Τότε f X (X) =f X,Y (X, Y Ω) =f X,Y (X, Y K i=1a i )= K = f X Y (X Y A i ) (Y A i ). i=1 K f X,Y (X, Y A i ) i=1 Ισότητα 6: Το αντίστοιχο της Ισότητας 3 με την βοήθεια της Ισότητας 5, γράφεται (Y A i X = X) = f X Y (X Y A i ) (Y A i ) f X (X) f X Y (X Y A i ) (Y A i ) = K i=1 f X Y (X Y A i ) (Y A i ), όπου ισχύουν οι υποθέσεις της προηγούμενης ισότητας. Η ισότητα αυτή χρησιμοποιείται για τον υπολογισμό της εκ των υστέρων πιθανότητας του A i με δεδομένο ότι το τυχαίο διάνυσμα X έλαβε τη τιμή X = X Ιδιότητα της κλιμάκωσης του μέσου όρου Μια εξαιρετικά χρήσιμη ιδιότητα η οποία βασίζεται στην υπό συνθήκη μέση τιμή είναι η εξής. Έστω G(X, Y ) συνάρτηση των διανυσμάτων X, Y, τότε μπορούμε να γράψουμε [G(X, Y )] = G(X, Y )f X,Y (X, Y ) dx dy { } = G(X, Y )f X Y (X Y ) dx f Y (Y ) dy = [ [ G ( X, Y ) Y ]]. (2.4) Με άλλα λόγια ο μέσος όρος μιας τυχαίας ποσότητας είναι δυνατό να υπολογιστεί κλιμακωτά, υπολογίζοντας δηλαδή αρχικά τον υπό συνθήκη μέσος όρο ως προς κάποιες τυχαίες μεταβλητές και κατόπιν, τον μέσο όρο της τυχαίας ποσότητας που προκύπτει. Παράδειγμα 2.1 : Έστω δύο στοχαστικά διανύσματα X, Y τα οποία είναι από κοινού Gaussian με μέσες τιμές X, Y, μήτρες συνδυασποράς [(X X )(X X ) t )] = Σ X, [(Y Y )(Y

25 2.4 Δεσμευμένη ή υπό συνθήκη πιθανότητα 15 Y ) t )] = Σ Y και μήτρα ετεροσυσχέτισης [(X X )(Y Y ) t )] = Σ X,Y. Δείξτε ότι η δεσμευμένη πυκνότητα πιθανότητας f X Y (X Y ) είναι Gaussian με μέση τιμή και διασπορά που δίνονται από τις σχέσεις [X Y ]= [(X [X Y ])(X [X Y ]) t Y ]=Σ X Y X +Σ X,Y Σ 1 Y (Y Y ) =Σ X Σ X,Y Σ 1 Y Σt X,Y. Για την απόδειξη της πρότασης αρκεί να υπολογίσουμε τη συνάρτηση f X Y (X Y )=f X,Y (X, Y )/f Y (Y ). Για ευκολία θα θεωρήσουμε ότι οι δύο μέσοι όροι είναι μηδέν. Έχουμε τότε ότι (βλέπε Εδάφιο Α.5) f X,Y (X, Y )= 1 (2π) N x +N y Σ e 1 2 [Xt Y t ]Σ 1 [X t Y t ] t 1 f Y (Y )= (2π) N y ΣY e 1 2 Y t Σ 1 Y Y όπου N x,n y τα μήκη των διανυσμάτων X, Y αντίστοιχα, Σ=[Σ X Σ X,Y ;Σ t X,Y Σ Y ] είναι η μήτρα συνδυασποράς του εννιαίου διανύσματος [X t Y t ] t και A συμβολίζει την ορίζουσα της μήτρας A. Χρησιμοποιώντας τις δύο αυτές σχέσεις υπολογίζεται ότι 1 f X Y (X Y )= (2π) N x Σ Σ Y Με τη βοήθεια της ταυτότητας αντιστροφής του Shur e 1 2 [Xt Y t ]Σ 1 [X t Y t ] t Y t Σ 1 Y Y. (2.5) [ ] 1 [ ΣX Σ X,Y 0 0 Σ t = X,Y Σ Y 0 Σ 1 Y ] [ + I Φ t X,Y ] Σ 1 X Y [I Φ X,Y ] όπου Φ X,Y =Σ X,Y Σ 1 Y, και την ταυτότητα ορίζουσας μητρών σε μπλοκ μορφή [ ] ΣX Σ X,Y Σ t = Σ X,Y Σ Y Σ X Y, Y μετά από αντικατάσταση στη Σχέση (2.5), καταλήγουμε f X Y (X Y )= 1 e 1 2 (X Φ X Y Y ) t Σ 1 X Y (X Φ X Y Y ). (2π) N x ΣX Y Από την προηγούμενη σχέση συμπεραίνουμε ότι η δεσμευμένη πιθανότητα της X είναι όντως Gaussian με τον ζητούμενο μέσον όρο και μήτρα συνδιασπορά.

26 16 Κεφάλαιο 2 : Στοιχεία πιθανοτήτων και στοχαστικών διαδικασιών 2.5 Ιδιότητα της αλλαγής μέτρου Στη συνέχεια θα αναφερθούμε σε μια πολύ ενδιαφέρουσα ιδιότητα του μέσου όρου την οποία θα χρησιμοποιήσουμε σε επόμενο εδάφιο. Έστω τυχαίο διάνυσμα X το οποίο έχει πυκνότητα πιθανότητας f X (X). Ας υποθέσουμε επίσης ότι f X (X) αποτελεί εναλλακτική πυκνότητα πιθανότητας για το ίδιο τυχαία διάνυσμα. Μπορούμε τώρα να ορίσουμε το λόγο πιθανοφάνειας (X) = f X (X) f X (X) το οποίο είναι βαθμωτή ποσότητα και αποτελεί ένα (εν γένει μη γραμμικό) μετασχηματισμό του διανύσματος X. Έστω τέλος μη γραμμική συνάρτηση G(X) για την οποία ενδιαφερόμαστε να υπολογίσουμε τον μέσο όρο [G(X )] όπου [ ] συμβολίζει μέσον όρο ως προς την πυκνότητα πιθανότητας f X (X). Έχουμε τον εξής απλό υπολογισμό 3 [G(X )] = = G(X)f X (X) dx = G(X) (X) f X (X) dx = [G(X ) (X )], G(X) f X (X) f X (X) dx f X (X) όπου [ ] εκφράζει μέσον όρο ως προς την εναλλακτική πυκνότητα πιθανότητας f X (X). Παρατηρούμε ότι είναι δυνατό να υπολογίσουμε τον μέσον όρο μιας τυχαίας ποσότητας αλλάζοντας (μέτρο) πυκνότητα πιθανότητας, αρκεί να εφαρμόσουμε τη σχετική διόρθωση με τη βοήθεια του λόγου πιθανοφάνειας. Η προφανής αυτή ιδιότητα της αλλαγής μέτρου έχει πολλές και σημαντικές εφαρμογές στη Θεωρία Πιθανοτήτων και στη Στατιστική. 2.6 Στοχαστικά ή τυχαία σήματα Επεκτείνοντας την ιδέα του συνδυασμού πεπερασμένου πλήθους τυχαίων μεταβλητών σε άπειρη ακολουθία, δηλαδή {χ n, <n< }, προκύπτει μια στοχαστική διαδικασία. Εάν ο δείκτης n αναφέρεται σε χρόνο, τότε τη διαδικασία την καλούμε ειδικότερα στοχαστικό σήμα διακριτού χρόνου. Με άλλα λόγια, με κάθε επιλογή της Φύσης σε θ μας διατίθεται ένα σήμα στο χρόνο. Ωστόσο σε κάθε χρονική στιγμή n 0 η συμπεριφορά του σήματος είναι τυχαία, το χ n0 είναι δηλαδή μια τυχαία μεταβλητή. Είναι επίσης δυνατό να ορίσουμε διαδικασίες {χ(t), <t< } που να εξαρτώνται από τη μεταβλητή t η οποία είναι συνεχής. Εάν το t αναφέρεται σε αναλογικό 3 Στην ανάλυση που ακολουθεί έχουν παραληφθεί ορισμένες τεχνικές λεπτομέρειες. Π.χ. θεωρούμε ότι στα σημεία X για τα οποία f X (X) =0, πρέπει να ισχύει ότι f X (X) =0. Με τον περιορισμό αυτό αποφεύγεται ο λόγος πιθανοφάνειας να παίρνει άπειρη τιμή. Το γεγονός ότι η τιμή του λόγου πιθανοφάνειας είναι απροσδιόριστη δεν αποτελεί πρόβλημα αφού η συνεισφορά των σημείων αυτών στο συνολικό ολοκλήρωμα είναι μηδενική (γιατί;).

27 2.6 Στοχαστικά ή τυχαία σήματα 17 χρόνο, τότε το χ(t) είναι ένα στοχαστικό σήμα συνεχούς χρόνου. Για κάθε χρονική στιγμή t = t 0, η συνάρτηση χ(t 0 ) είναι μετρήσιμη συνάρτηση (δηλαδή τυχαία μεταβλητή), ενώ για κάθε επιλογή του θ είναι συνάρτηση του χρόνου 4. Τα στοχαστικά σήματα περιγράφονται πλήρως μέσω των κατανομών πεπερασμένης τάξης. Εάν n 1,n 2,...,n K (αντίστοιχα t 1,t 2,...,t K ) K χρονικές στιγμές, τότε η K τάξης κατανομή του σήματος ορίζεται σαν χ (x 1,...,x K,n 1,n 2,...,n K )= (χ n1 x 1,...,χ nk x K ) χ (x 1,...,x K,t 1,t 2,...,t K )= (χ(t 1 ) x 1,...,χ(t K ) x K ). Όπως παρατηρούμε οι κατανομές, εκτός από συναρτήσεις των μεταβλητών x i, είναι επίσης συναρτήσεις των χρονικών στιγμών στις οποίες αναφέρονται. Αυτό οφείλεται στο γεγονός ότι δεν είναι απαραίτητο η τυχαία μεταβλητή που αντιστοιχεί στη χρονική στιγμή n 1 να έχει την ίδια κατανομή με την τυχαία μεταβλητή της χρονικής στιγμής n Στατιστικές πρώτης και δεύτερης τάξης Στην επεξεργασία σημάτων η πληροφορία που είναι συνήθως απαραίτητη είναι ο τρόπος με τον οποίο εξελίσσεται η κατανομή της χ n στο χρόνο καθώς και η από κοινού κατανομή των χ n1,χ n2 που αναφέρεται σε δύο χρονικές στιγμές, δηλαδή χ (x 1,n 1 )= (χ n1 x 1 ) και η χ (x 1,x 2,n 1,n 2 )= (χ n1 x 1,χ n2 x 2 ). Ωστόσο στην πράξη ακόμη και αυτή η περιορισμένη πληροφορία είναι αρκετά δύσκολο να εκτιμηθεί. Για το λόγο αυτό καταφεύγουμε στις λεγόμενες στατιστικές πρώτης και δεύτερης τάξης. Στατιστική πρώτης τάξης ενός στοχαστικού σήματος είναι το ντετερμινιστικό σήμα που προκύπτει παίρνοντας το στοχαστικό μέσον όρο σε κάθε χρονική στιγμή. Δηλαδή χ n = [χ n ] ή χ(t) = [χ(t)]. Στατιστική δεύτερης τάξης αποτελεί η συσχέτιση του σήματος με τον εαυτό του σε δύο διαφορετικές χρονικές στιγμές, δηλαδή R χ (n 1,n 2 )= [(χ n1 χ n1 )(χ n2 χ n2 )] ή R χ (t 1,t 2 )= [{χ(t 1 ) χ(t 1 )}{χ(t 2 ) χ(t 2 )}]. Η συνάρτηση R χ (n 1,n 2 ) (αντίστοιχα R χ (t 1,t 2 )) καλείται συνάρτηση αυτοσυσχέτισης (ή απλά αυτοσυσχέτιση) του σήματος χ. Κατά ανάλογο τρόπο ορίζουμε τη συνάρτηση ετεροσυσχέτισης (ή ετεροσυσχέτιση) μεταξύ δύο διαφορετικών σημάτων {χ n }, {ς n } σαν φύσης. R χ,ς (n 1,n 2 )= [(χ n1 χ n1 )(ς n2 ς n2 )]. 4 Υπενθυμίζεται ότι οι συναρτήσεις αυτές είναι επίσης και συναρτήσεις του θ, δηλαδή της επιλογής της

28 18 Κεφάλαιο 2 : Στοιχεία πιθανοτήτων και στοχαστικών διαδικασιών Η συνάρτηση ετεροσυσχέτισης υποδηλώνει, κατά μέσον όρο, πόσο συσχετισμένο είναι το σήμα {χ n } τη χρονική στιγμή n 1 με το σήμα {ς n } τη χρονική στιγμή n 2. Όπως θα διαπιστώσουμε, οι στατιστικές πρώτης και δεύτερης τάξης είναι δυνατό να εκτιμηθούν στην πράξη αρκετά εύκολα. Στο σημείο αυτό κρίνεται σκόπιμο να ορισθεί ένα πολύ ιδιαίτερο σήμα όσον αφορά στις στατιστικές δεύτερης τάξης. Ένα στοχαστικό σήμα {χ n } καλείται λευκός θόρυβος, όταν ο μέσος όρος του σε κάθε χρονική στιγμή είναι μηδέν και η συνάρτηση αυτοσυσχέτισης είναι της μορφής R χ (n 1,n 2 )=R χ (n 1,n 1 )δ n1 n 2 ή R χ (t 1,t 2 )=R χ (t 1,t 1 )δ(t 1 t 2 ), όπου δ n (αντίστοιχα δ(t)) η συνάρτηση δέλτα. Με άλλα λόγια, στο λευκό θόρυβο τα δείγματα του σήματος συσχετίζονται μόνον με τον εαυτό τους ενώ είναι ασυσχέτιστα με τα δείγματα οποιασδήποτε άλλης χρονικής στιγμής Στασιμότητα και εργοδικότητα Η στασιμότητα είναι ιδιότητα που αναφέρεται σε συγκεκριμένο χαρακτηριστικό ενός σήματος. Είναι επομένως δυνατόν ορισμένα χαρακτηριστικά να είναι στάσιμα και άλλα όχι. Η πλέον ισχυρή μορφή στασιμότητας αναφέρεται στη συνάρτηση κατανομής ενός σήματος. Έστω οι χρονικές στιγμές n i,i=1,...,k. Ένα σήμα {χ n } θα καλείται ισχυρώς στάσιμο K τάξης, εάν η συνάρτηση κατανομής ικανοποιεί χ (x 1,...,x K,n 1,n 2,...,n K )= χ (x 1,...,x K,n 2 n 1,...,n K n 1 ). Με άλλα λόγια, εάν η συνάρτηση κατανομής δεν εξαρτάται από τις απόλυτες χρονικές στιγμές αλλά μόνο από τις σχετικές, έχουμε ισχυρή στασιμότητα. Για παράδειγμα, ένα σήμα {χ n } είναι ισχυρώς στάσιμο πρώτης τάξης, όταν η συνάρτηση κατανομής του δεν εξαρτάται από το χρόνο, δηλαδή χ (x 1,n 1 )= χ (x 1, 0), ενώ είναι ισχυρώς στάσιμο δεύτερης τάξης, όταν χ (x 1,x 2,n 1,n 2 )= χ (x 1,x 2,n 2 n 1 ). Η ισχυρή στασιμότητα είναι πολύ περιοριστική και, τουλάχιστον για τις εφαρμογές που μας ενδιαφέρουν, όχι αναγκαία. Για το σκοπό αυτό είναι δυνατό να ορίσουμε την έννοια της στασιμότητας μόνο για μεγέθη που χρησιμοποιούμε, όπως για παράδειγμα στατιστικές πρώτης και δεύτερης τάξης. Ένα σήμα {χ n } θα καλείται ασθενώς στάσιμο πρώτης τάξης, όταν χ n = [χ n ]= χ, δηλαδή ο στοχαστικός μέσος όρος είναι μια σταθερά ανεξάρτητη του χρόνου. Ένα σήμα θα καλείται ασθενώς στάσιμο δεύτερης τάξης, όταν είναι ασθενώς στάσιμο πρώτης τάξης και επιπλέον η συνάρτηση αυτοσυσχέτισης ικανοποιεί τη σχέση R χ (n 1,n 2 )=R χ (n 2 n 1 )= [(χ n1 χ)(χ n2 χ)].

29 2.6 Στοχαστικά ή τυχαία σήματα 19 Τέλος, δύο σήματα {χ n }, {φ n } θα καλούνται από κοινού ασθενώς στάσιμα, δεύτερης τάξης όταν αυτά είναι ασθενώς στάσιμα δεύτερης τάξης και επιπλέον η συνάρτηση ετεροσυσχέτισης ικανοποιεί τη σχέση R χ,ς (n 1,n 2 )=R χ,ς (n 2 n 1 )= [(χ n1 χ)(ς n2 ς)]. Από σύμβαση, στην αυτοσυσχέτιση και την ετεροσυσχέτιση, θεωρούμε σαν όρισμα τη διαφορά των χρονικών στιγμών του δεύτερου όρου του γινομένου μείον του πρώτου. Οι συναρτήσεις αυτοσυσχέτισης και ετεροσυσχέτισης στάσιμων σημάτων έχουν τις ακόλουθες ενδιαφέρουσες συμμετρίες R χ ( n) =R χ (n) (2.6) R χ,ς ( n) =R ς,χ (n). (2.7) Από την πρώτη συμπεραίνουμε ότι η συνάρτηση αυτοσυσχέτισης είναι άρτια συνάρτηση του n. Όπως αναφέρθηκε σε προηγούμενο εδάφιο, στην πράξη χρησιμοποιούμε πολύ συχνά αριθμητικούς μέσους όρους για να προσεγγίσουμε τους στοχαστικούς μέσους όρους. Για παράδειγμα, εάν χ είναι τυχαία μεταβλητή και χ(θ 1 ),...,χ(θ K ) είναι K υλοποιήσεις της, τότε χ = [χ] χ(θ 1)+χ(θ 2 )+ + χ(θ K ). K Το σημείο που πρέπει να τονισθεί στην προηγούμενη εκτίμηση είναι η ανάγκη για πολλαπλές υλοποιήσεις της τυχαίας μεταβλητής. Επεκτείνοντας την ιδέα αυτή σε ένα τυχαίο σήμα {χ n }, είναι φανερό ότι, για να εκτιμηθεί ο στοχαστικός μέσος όρος { χ n } του σήματος, είναι απαραίτητο να υπάρχουν διαθέσιμες πολλαπλές υλοποιήσεις του στοχαστικού σήματος, {χ n (θ 1 )}, {χ n (θ 2 )},..., δηλαδή πολλαπλά σήματα. Στην περίπτωση αυτή η εφαρμογή του αριθμητικού μέσου όρου για κάθε χρονική στιγμή καταλήγει σε προσέγγιση του στοχαστικού μέσου όρου του σήματος ως εξής χ n = [χ n ] χ n(θ 1 )+χ n (θ 2 )+ + χ n (θ K ). (2.8) K Η ανάγκη για πολλαπλά σήματα είναι εν γένει ανεπιθύμητη, αφού στην πράξη συνήθως διατίθεται ένα και μοναδικό σήμα (μια μόνον υλοποίηση). Στην περίπτωση που το σήμα μας είναι ασθενώς στάσιμο πρώτης τάξης (με αποτέλεσμα ο στοχαστικός μέσος όρος να είναι κοινός σε κάθε χρονική στιγμή), είναι λογικό να αναρωτηθεί κανείς εάν είναι δυνατό να χρησιμοποιηθούν τα διαφορετικά χρονικά δείγματα μιας υλοποίησης, ώστε να εκτιμηθεί ο κοινός στοχαστικός μέσος όρος όλων των δειγμάτων, δηλαδή εάν μπορούμε να γράψουμε χ χ 1(θ)+χ 2 (θ)+ + χ K (θ). (2.9) K

30 20 Κεφάλαιο 2 : Στοιχεία πιθανοτήτων και στοχαστικών διαδικασιών Παρατηρούμε τη σημαντική διαφορά μεταξύ των δύο προσεγγίσεων. Η (2.8) αναφέρεται σε μια χρονική στιγμή και χρησιμοποιεί διαφορετικές υλοποιήσεις (διαφορετικά σήματα λόγω των θ i ), ενώ η (2.9) αναφέρεται σε μια υλοποίηση (ένα σήμα λόγω του μοναδικού θ) αλλά σε διαφορετικές χρονικές στιγμές. Στάσιμα σήματα τα οποία ικανοποιούν χ 1 (θ)+χ 2 (θ)+ + χ K (θ) χ = lim K K καλούνται εργοδικά πρώτης τάξης. Συνθήκες κάτω από τις οποίες ένα σήμα είναι εργοδικό υπάρχουν, ωστόσο, επειδή ξεφεύγουν του σκοπού του παρόντος βιβλίου δεν θα παρουσιαστούν. Ένα εύκολο παράδειγμα μη εργοδικού σήματος είναι η περίπτωση που προκύπτει από την άπειρη επανάληψη μιας τυχαίας μεταβλητής, δηλαδή χ n = χ, όπου χ οποιαδήποτε τυχαία μεταβλητή. Στην περίπτωση αυτή ο κοινός στοχαστικός μέσος όρος κάθε χρονικής στιγμής δεν συμπίπτει με τον χρονικό αριθμητικό μέσο όρο (γιατί;). Με ανάλογο τρόπο είναι δυνατό να ορίσουμε την εργοδικότητα δεύτερης τάξης ενός στάσιμου σήματος δεύτερης τάξης. Ενδιαφερόμαστε δηλαδή να εκτιμήσουμε στατιστικές δεύτερης τάξης από χρονικούς αριθμητικούς μέσους όρους, συγκεκριμένα 1 R χ (k) =R χ (n + k n) = lim K K K (χ n (θ) χ)(χ k+n (θ) χ). Παρατηρούμε και πάλι ότι για τον υπολογισμό της συνάρτησης αυτοσυσχέτισης, όταν έχουμε εργοδικότητα, είναι αρκετό ένα μόνο σήμα. n= Πυκνότητα φάσματος ισχύος στοχαστικού σήματος Στην επεξεργασία σημάτων έχει πολύ μεγάλη σημασία το συχνοτικό περιεχόμενο (μετασχηματισμός Fourier) ενός σήματος. Έχει επομένως ενδιαφέρον να εξετάσουμε με ποιο τρόπο η έννοια αυτή είναι δυνατό να επεκταθεί στην περίπτωση των στοχαστικών σημάτων. Ας θεωρήσουμε για ευκολία ένα στοχαστικό σήμα διακριτού χρόνου {χ n }, το οποίο είναι στάσιμο, με μέση τιμή μηδέν και με συνάρτηση αυτοσυσχέτισης R χ (n). Εάν εφαρμόσουμε τον Διακριτό Μετασχηματισμός Fourier 5 (ΔΜF) σε L χρονικά δείγματα τότε X L (e jω )= 1 L 1 χ n e jnω. L Επειδή τα χ n είναι τυχαίες μεταβλητές συμπεραίνουμε ότι για κάθε συχνότητα ω = ω 0 η ποσότητα X L (e jω 0 ) είναι επίσης τυχαία μεταβλητή. Με άλλα λόγια η συνάρτηση 5 Ο ΔΜF ορίζεται με ένα συντελεστή κανονικοποίησης 1/ L προκειμένου το σήμα στο χρόνο και στη συχνότητα να έχει την ίδια ακριβώς ενέργεια. n=0

31 2.6 Στοχαστικά ή τυχαία σήματα 21 X L (e jω ) είναι μια στοχαστική διαδικασία αφού εξαρτάται από τη συχνότητα ω και για κάθε τιμή της είναι τυχαία μεταβλητή. Στα σήματα μεγάλη σημασία έχει η κατανομή ενέργειας ανά συχνότητα. Στην περίπτωση του στοχαστικού σήματος της προηγουμένης παραγράφου, αυτό εκφράζεται μέσω του X L (e jω ) 2. Επειδή η ποσότητα αυτή είναι τυχαία, προκειμένου να προκύψει μια ντετερμινιστική συνάρτηση της συχνότητας η οποία να είναι πρακτικά χρήσιμη εφαρμόζεται στοχαστικός μέσος όρος και υπολογίζεται το όριο για L. Προτείνεται συνεπώς η χρήση της ντετερμινιστικής συνάρτησης lim L [ X L (e jω ) 2 ] για την περιγραφή της μέσης ενέργειας ανά συχνότητα (δηλαδή τον μέσον όρο της ενέργειας ανά συχνότητα για όλα τα διαφορετικά σήματα/υλοποιήσεις που αντιπροσωπεύει το στοχαστικό σήμα). Καλούμε πυκνότητα φάσματος ισχύος ενός στάσιμου σήματος {χ n } τη συνάρτηση που προκύπτει από το ακόλουθο όριο Φ χ (e jω )= lim L [ X L (e jω ) 2] = lim = n= L 1 L 1 2 χ n e jnω L n=0 R χ (n)e jnω = F {R χ (n)}, (2.10) όπου με F { } συμβολίζουμε τον κλασικό μετασχηματισμό Fourier. Η πυκνότητα φάσματος ισχύος, αφού αποτελεί τον Μετασχηματισμό Fourier της συνάρτησης αυτοσυσχέτισης, εξαρτάται αποκλειστικά από στατιστικές δεύτερης τάξης του τυχαίου σήματος {χ n }. Κατ αντιστοιχία, για δύο από κοινού στάσιμα (πραγματικά) σήματα {χ n }, {ς n }, έχουμε το όριο Φ χ,ς (e jω )= lim [ X L (e jω )SL(e jω ) ] L [ ( L 1 ) ( = lim 1 L 1 )] χ n e jnω 1 ς n e jnω L L L = n= n=0 R χ,ς (n)e jnω = F {R χ,ς (n)}, όπου με Φ χ,ς (e jω ) συμβολίζουμε το Μετασχηματισμό Fourier της συνάρτησης ετεροσυσχέτισης. Η συνάρτηση Φ χ,ς (e jω ) καλείται συνάρτηση ετεροφάσματος. Για τη συνάρτηση πυκνότητας φάσματος ισχύος, σαν συνέπεια της (2.6), έχουμε τις ακόλουθες ιδιότητες n=0 Φ χ (e jω ) R, Φ χ (e jω ) 0, Φ χ (e jω )=Φ χ (e jω ),

32 22 Κεφάλαιο 2 : Στοιχεία πιθανοτήτων και στοχαστικών διαδικασιών είναι δηλαδή μια πραγματική, άρτια, μη αρνητική συνάρτηση της συχνότητας ω. Για τη συνάρτηση ετεροφάσματος, από την (2.7), ισχύει Φ χ,ς (e jω )=Φ χ,ς(e jω ), Φ χ,ς (e jω )=Φ ς,χ (e jω ). 2.7 Επίδραση γραμμικού συστήματος σε στατιστικές σήματος Έστω στοχαστικό σήμα {χ n }, το οποίο αποτελεί είσοδο σε ένα γραμμικό, χρονικά σταθερό σύστημα με κρουστική απόκριση {h n }. Η έξοδος του συστήματος είναι επίσης στοχαστικό σήμα και ισχύει ς n = h n χ n = k= h k χ n k. (2.11) Πρέπει να σημειώσουμε ότι το {h n } είναι μια ντετερμινιστική ακολουθία, σε αντίθεση με την είσοδο και την έξοδο που είναι στοχαστικές διαδικασίες. Εφαρμόζοντας στοχαστικό μέσον όρο στην (2.11), υπολογίζουμε τις στατιστικές πρώτης τάξης της εξόδου συναρτήσει των αντίστοιχων στατιστικών της εισόδου, ς n = h n χ n. Δηλαδή η ακολουθία των μέσων όρων της εξόδου είναι η συνέλιξη της κρουστικής απόκρισης με την ακολουθία των μέσων όρων της εισόδου. Συμπεραίνουμε επομένως ότι, όταν η είσοδος έχει μέση τιμή μηδέν, το ίδιο θα ισχύει και για την έξοδο. Ας υποθέσουμε ότι το σήμα εισόδου {χ n } είναι μηδενικής μέσης τιμής και ασθενώς στάσιμο δεύτερης τάξης με συνάρτηση αυτοσυσχέτισης R χ (n) και πυκνότητα φάσματος Φ χ (e jω ). Επιθυμούμε να υπολογίσουμε τις αντίστοιχες συναρτήσεις για το σήμα εξόδου. Ισχύουν οι παρακάτω σχέσεις R ς,χ (n) =h n R χ (n) R ς (n) =h n R ς,χ (n) =h n h n R χ (n) Φ ς (e jω )= H(e jω ) 2 Φ χ (e jω ). (2.12) Η απόδειξη των σχέσεων αυτών είναι εύκολη. Από την (2.11) πολλαπλασιάζοντας με χ n+l, εφαρμόζοντας στοχαστικό μέσον όρο και χρησιμοποιώντας στασιμότητα, καταλήγουμε R ς,χ (l) = [ς n χ n+l ]= k= h k [χ n k χ n+l ]= k= h k R χ (l + k). Αντικαθιστώντας στο τελευταίο άθροισμα όπου k το k, αποδεικνύεται η πρώτη σχέση.