Στατιστική Επεξεργασία Σημάτων και Μάθηση

Transcript

1

2

3 Δημήτρης Αμπελιώτης Διδάκτωρ Ερευνητής Τμ. Μηχανικών Η/Υ και Πληροφορικής Πανεπιστήμιο Πατρών Χρήστος Μαυροκεφαλίδης Διδάκτωρ Ερευνητής Τμ. Μηχανικών Η/Υ και Πληροφορικής Πανεπιστήμιο Πατρών Κώστας Μπερμπερίδης Καθηγητής Τμ. Μηχανικών Η/Υ και Πληροφορικής Πανεπιστήμιο Πατρών Στατιστική Επεξεργασία Σημάτων και Μάθηση ΕΛΛΗΝΙΚΑ ΑΚΑΔΗΜΑΪΚΑ ΗΛΕΚΤΡΟΝΙΚΑ ΣΥΓΓΡΑΜΜΑΤΑ ΚΑΙ ΒΟΗΘΗΜΑΤΑ

4 Στατιστική Επεξεργασία Σημάτων και Μάθηση Συγγραφή Δημήτρης Αμπελιώτης Χρήστος Μαυροκεφαλίδης Κώστας Μπερμπερίδης Κριτικός αναγνώστης Ελευθέριος Κοφίδης Copyright ΣΕΑΒ, 205 Το παρόν έργο αδειοδοτείται υπό τους όρους της άδειας Creative Commons Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Όχι Παράγωγα Έργα 3.0. Για να δείτε ένα αντίγραφο της άδειας αυτής επισκεφτείτε τον ιστότοπο ΣΥΝΔΕΣΜΟΣ ΕΛΛΗΝΙΚΩΝ ΑΚΑΔΗΜΑΪΚΩΝ ΒΙΒΛΙΟΘΗΚΩΝ Εθνικό Μετσόβιο Πολυτεχνείο Ηρώων Πολυτεχνείου 9, 5780 Ζωγράφου ISBN:

5 Περιεχόμενα Πίνακας συντομεύσεων - Ακρωνύμια vii Εισαγωγή. Μέτρηση, μοντελοποίηση και εξαγωγή συμπερασμάτων Κατηγορίες προβλημάτων εξαγωγής συμπερασμάτων Το πρόβλημα της ανίχνευσης Το πρόβλημα της εκτίμησης παραμέτρων Το πρόβλημα της εκτίμησης σημάτων Το πρόβλημα της μηχανικής μάθησης Βιβλιογραφία Εισαγωγή στις στοχαστικές διαδικασίες 9 2. Εισαγωγή Βασική θεωρία πιθανοτήτων Αξιωματικός ορισμός της πιθανότητας Δεσμευμένη πιθανότητα και ανεξαρτησία Τυχαίες μεταβλητές Συνάρτηση κατανομής και πυκνότητα πιθανότητας Αναμενόμενη τιμή Gaussian τυχαίες μεταβλητές Πολυδιάστατες κατανομές Στοχαστικές διαδικασίες Ορισμοί Μέσοι όροι συνόλων Gaussian διαδικασίες Στάσιμες διαδικασίες Πίνακας αυτοσυσχέτισης και συνδιασποράς Εργοδικότητα Λευκός θόρυβος Φάσμα ισχύος Βιβλιογραφία iii

6 iv ΠΕΡΙΕΧΟΜΕΝΑ 3 Στοιχεία της θεωρίας ανίχνευσης 3 3. Γενική περιγραφή Εισαγωγικές έννοιες Η περίπτωση των απλών υποθέσεων Η προσέγγιση Bayes Η προσέγγιση Neyman-Pearson Πολλαπλές υποθέσεις Η περίπτωση των σύνθετων υποθέσεων Οι άγνωστοι παράμετροι ως τυχαίες μεταβλητές Οι άγνωστοι παράμετροι ως ντετερμινιστικές ποσότητες Πολλαπλές υποθέσεις Ανίχνευση σημάτων Το πρόβλημα της ύπαρξης σήματος Το πρόβλημα της ταυτοποίησης σήματος Ασκήσεις Βιβλιογραφία Στοιχεία της θεωρίας εκτίμησης παραμέτρων Το πρόβλημα της εκτίμησης παραμέτρων Βασικά στοιχεία της θεωρίας εκτίμησης Ορισμοί Κριτήριο ελάχιστης διασποράς Φράγμα Cramér-Rao Πληροφορία Fisher Επαρκείς στατιστικές Μεθοδολογία εύρεσης εκτιμητών Γραμμικά μοντέλα Γραμμικά μοντέλα με θόρυβο Gauss Βέλτιστοι γραμμικοί αμερόληπτοι εκτιμητές Εκτίμηση μέγιστης πιθανοφάνειας Μέθοδος των ροπών Εκτίμηση τυχαίων άγνωστων παραμέτρων Ασκήσεις Βιβλιογραφία Στοιχεία της θεωρίας εκτίμησης σημάτων Εισαγωγή Βέλτιστα φίλτρα Wiener Εισαγωγή Φιλτράρισμα Wiener Εφαρμογές Βέλτιστου Φιλτραρίσματος Wiener

7 ΠΕΡΙΕΧΟΜΕΝΑ v 5.3 Προσαρμοστικοί αλγόριθμοι επεξεργασίας σημάτων Εισαγωγή Προσαρμοστικά FIR Φίλτρα Επαναληπτικά Ελάχιστα Τετράγωνα Ασκήσεις Βιβλιογραφία Στοιχεία της στατιστικής μάθησης 3 6. Κατηγορίες προβλημάτων στατιστικής μάθησης Κατηγοριοποίηση των τεχνικών μάθησης Επιβλεπόμενη μάθηση Ταξινόμηση κατά Bayes Γραμμική ταξινόμηση Μη επιβλεπόμενη μάθηση Ο αλγόριθμος k-means Ο αλγόριθμος Expectation Maximization Ανάλυση σε πρωτεύουσες συνιστώσες Ανάλυση σε ανεξάρτητες συνιστώσες Ασκήσεις Βιβλιογραφία Α Βασική γραμμική άλγεβρα 59 Α. Ορισμοί πινάκων και διανυσμάτων Α.2 Πράξεις πινάκων Α.2. Νόρμες διανυσμάτων και πίνακες Α.3 Διανυσματικοί χώροι Α.4 Τάξη και αντιστροφή πίνακα Α.5 Ιδιοτιμές και ιδιοδιανύσματα Βιβλιογραφία Ευρετήριο 67 Ευρετήριο ελληνικής - αγγλικής επιστημονικής ορολογίας 69

8 vi ΠΕΡΙΕΧΟΜΕΝΑ

9 Πίνακας συντομεύσεων - Ακρωνύμια Ακρωνύμιο BLUE CDF db DPCM DSP EM FIR GLR ICA IIR LMS MAP ML MMSE MVUE PAM PCA PCM PDF PMF RLS ROC SNR WSS Α ΕΣ ΟΑ Περιγραφή Best Linear Unbiased Estimator Cumulative Distribution Function Decibel Differential Pulse Code Modulation Digital Signal Processor Expectation Maximization Finite Impulse Response Generalized Likelihood Ratio Independent Components Analysis Infinite Impulse Response Least Mean Squares Maximum A-posteriori Probability Maximum Likelihood Minimum Mean Squared Error Minimum Variance Unbiased Estimator Pulse Amplitude Modulation Principal Components Analysis Pulse Code Modulation Probability Density Function Probability Mass Function Recursive Least Squares Receiver Operating Characteristc Signal to Noise Ratio Wide Sense Stationarity Απώλεια (ανίχνευσης) Εσφαλμένος Συναγερμός Ορθή Ανίχνευση vii

10 viii ΠΙΝΑΚΑΣ ΣΥΝΤΟΜΕΥΣΕΩΝ - ΑΚΡΩΝΥΜΙΑ

11 Κεφάλαιο Εισαγωγή. Μέτρηση, μοντελοποίηση και εξαγωγή συμπερασμάτων Η στατιστική επεξεργασία σημάτων και μάθηση περιέχει όλα εκείνα τα απαραίτητα εργαλεία για τη μελέτη, ανάλυση και εξαγωγή συμπερασμάτων από ένα σύνολο δεδομένων. Το εύρος των εφαρμογών, που βασίζονται σε αυτά τα εργαλεία, είναι πολύ μεγάλο και διευρύνεται συνεχώς με νέες περιοχές της επιστήμης. Κάποιες από τις πιο κλασικές εφαρμογές μπορούν να βρεθούν, για παράδειγμα, στις τηλεπικοινωνίες, στα πολυμέσα, στην ιατρική και τη σεισμολογία. Σε αυτές τις περιπτώσεις, τα συνηθέστερα δεδομένα, που είναι διαθέσιμα, είναι υπό τη μορφή σημάτων που αναπαρίστανται ως χρονοσειρές, εικόνες κ.λπ. Σήμερα, νέες εφαρμογές σχετίζονται με ένα ευρύτατο φάσμα επιστημονικών περιοχών όπως η κοινωνιολογία, η μοριακή βιολογία, οι νευρο-επιστήμες, τα σύνθετα κυβερνο-συστήματα κλπ. Οι νέες αυτές εφαρμογές έρχονται να προσθέσουν δεδομένα που δεν έχουν ξεκάθαρη δομή ενώ το μέγεθός τους τόσο ως προς τον προσβάσιμο όγκο τους όσο και ως προς τις διαστάσεις τους καθιστά το αντικείμενο αυτού του βιβλίου πιο επίκαιρο από ποτέ. Ανεξάρτητα από την εφαρμογή και τα παραγόμενα δεδομένα, η στατιστική επεξεργασία και μάθηση προσεγγίζει τα σχετιζόμενα προβλήματα με βάση το τρίπτυχο: παρατηρήσεις/μετρήσεις, μοντελοποίηση και εξαγωγή συμπερασμάτων. Συγκεκριμένα, οι παρατηρήσεις/μετρήσεις μπορούν να ληφθούν με διάφορους τρόπους όπως για παράδειγμα κεραίες, δίκτυα αισθητήρων, αξονικούς τομογράφους, ρανταρ κ.λπ. και θεωρούμε πως μπορούν να περιγράψουν τη διαδικασία για την οποία ενδιαφερόμαστε. Στην πράξη, οι παρατηρήσεις/μετρήσεις μας δεν είναι ποτέ ακριβείς μιας και μπορούν να επηρεαστούν από διάφορους παράγοντες που σχετίζονται με τους φυσικούς κανόνες που ακολουθούν (π.χ. τα τηλεπικοινωνιακά σήματα εξασθενούν όσο απομακρύνονται από τον πομπό), με το σύστημα καταγραφής τους (οπότε και εμφανίζεται για παράδειγμα προσθετικός θερμικός θόρυβος) αλλά και με παράγοντες που δεν σχετίζονται άμεσα με τις διαδικασίες ενδιαφέροντος όπως για παράδειγμα οι παρεμβολές από το γειτονικό περιβάλλον. Όλες οι ασάφειες στα δεδομένα που αναφέραμε στην προηγούμενη παράγραφο μπορούν να ποσοτικοποιηθούν χρησιμοποιώντας κατάλληλα μοντέλα τα οποία βασίζονται στη θεωρία των στοχαστικών διαδικασιών. Χρησιμοποιώντας τη συγκεκριμένη θεωρία, κάποιος μπορεί να κατασκευάσει μαθηματικά/πιθανοτικά μοντέλα των φαινομένων/διαδικασιών τα οποία να περιγράφουν με έναν στατιστικό

12 2 ΚΕΦΑΛΑΙΟ. ΕΙΣΑΓΩΓΗ τρόπο τα δεδομένα που έχουμε στη διάθεσή μας. Για παράδειγμα, έστω ότι έχουμε μια βαθμωτή μέτρηση x και ότι μοντελοποιείται ως μια τυχαία μεταβλητή που περιγράφεται από τη συνάρτηση πυκνότητας πιθανότητας p(x θ) με παράμετρο θ. Η παράμετρος θ μπορεί να χαρακτηρίσει τις ανακρίβειες που αναφέραμε προηγουμένως ή να χαρακτηρίζει το σήμα αυτό καθαυτό. Τα μοντέλα αυτά θα πρέπει να είναι διαχειρίσιμα και κατάλληλης υπολογιστικής πολυπλοκότητας ώστε να προκύπτουν τα ζητούμενα συμπεράσματα σε έναν εύλογο χρόνο που καθορίζεται από την εφαρμογή. Επίσης, τα υιοθετούμενα μοντέλα πρέπει να περιέχουν όλα εκείνα τα χαρακτηριστικά που απαιτούνται ώστε να παρέχουν μια καλή περιγραφή του φαινομένου/διαδικασίας που μας ενδιαφέρει να μελετήσουμε. Ένα τέτοιο μοντέλο δεν μπορεί να είναι ούτε πολύ απλό (αφού θα οδηγεί και το ίδιο σε ανακρίβειες που σε μερικές περιπτώσεις μπορεί να είναι σημαντικότερες από τις ανακρίβειες των δεδομένων) αλλά ούτε και πολύ πολύπλοκο (με μεγαλύτερη ωστόσο ακρίβεια) μιας και δεν θα είναι διαχειρίσιμο. Τέλος, με βάση τα δεδομένα που έχουμε συλλέξει και τη μοντελοποίηση που έχουμε υιοθετήσει, τόσο για τα δεδομένα αλλά και για το φαινόμενο/διαδικασία που μελετάμε, χρησιμοποιούμε κατάλληλους αλγορίθμους είτε για την ανάλυση των δεδομένων και την εξαγωγή συμπερασμάτων είτε για την πρόβλεψη της μελλοντικής εξέλιξης της διαδικασίας αυτής καθαυτής. Τα ερωτήματα που καλούμαστε να μελετήσουμε, η απάντηση των οποίων προκύπτει ως αποτέλεσμα των αλγορίθμων αυτών, σχετίζονται, όπως είναι φυσικό, με την ίδια την εφαρμογή. Για παράδειγμα, στην ιατρική, θα μπορούσε να ρωτήσει κάποιος ποια είναι η συσχέτιση διαφόρων περιοχών του εγκεφάλου όταν δίνονται ερεθίσματα με συγκεκριμένο τρόπο σε ασθενείς μιας ορισμένης κατηγορίας. Σε εφαρμογές των δικτύων αισθητήρων, η ερώτηση θα μπορούσε να συνδέεται με τις θέσεις των πηγών που παράγουν τα δεδομένα τα οποία καταλήγουν σε ένα δίκτυο αισθητήρων. Σε κάθε περίπτωση αυτές οι ερωτήσεις, όπως θα δούμε και στη συνέχεια, αποτυπώνονται με μαθηματικό τρόπο ως προβλήματα ανίχνευσης ή εκτίμησης ή μάθησης και οι μαθηματικές ποσότητες που προκύπτουν ως λύσεις αντιστοιχούν στις απαντήσεις των ερωτημάτων αυτών. Αξίζει να αναφέρουμε στο σημείο αυτό πως η ξενόγλωσση βιβλιογραφία που σχετίζεται με το σύγγραμμα αυτό είναι εκτενής. Ο ενδιαφερόμενος αναγνώστης παραπέμπεται ενδεικτικά στα [Hay96], [Pro+02], [SS0], [Bis07], [MRT2], [The5], [Bis07]. Επίσης, είναι πολλά τα ξενόγλωσσα ή ελληνικά συγγράμματα που σχετίζονται με το θεωρητικό υπόβαθρο που προαπαιτείται για την καλύτερη κατανόηση του εν λόγω συγγράμματος (π.χ. Θεωρία Πιθανοτήτων [PP02], Θεωρία Σημάτων και Συστημάτων [Μου04], [ΘΜΚ03]). Στη συνέχεια του κεφαλαίου, παρουσιάζουμε συνοπτικά και μέσω παραδειγμάτων τις βασικότερες κατηγορίες προβλημάτων με τα οποία θα ασχοληθούμε στα επόμενα κεφάλαια..2 Κατηγορίες προβλημάτων εξαγωγής συμπερασμάτων Μπορούμε να διακρίνουμε τέσσερις βασικές κατηγορίες προβλημάτων που άπτονται της στατιστικής επεξεργασίας σημάτων και μάθησης. Κάθε ένα από τα προβλήματα αυτά περιγράφεται συνοπτικά στις επόμενες παραγράφους με τη βοήθεια παραδειγμάτων.

13 .2. ΚΑΤΗΓΟΡΙΕΣ ΠΡΟΒΛΗΜΑΤΩΝ ΕΞΑΓΩΓΗΣ ΣΥΜΠΕΡΑΣΜΑΤΩΝ 3.2. Το πρόβλημα της ανίχνευσης Ας υποθέσουμε πως η παράμετρος θ μπορεί να λαμβάνει δύο πιθανές τιμές, δηλαδή θ {θ, θ 2 }, έτσι ώστε τα δεδομένα x να μπορούν να περιγραφούν είτε από την p(x θ ) είτε από την p(x θ 2 ). Το πρόβλημα της ανίχνευσης συνίσταται στο να αποφασίσουμε ποιο από τα διαθέσιμα μοντέλα είναι το περισσότερο κατάλληλο για να εξηγήσει τα δεδομένα x. Γενικότερα, αντί για δύο μόνο μοντέλα p(x θ ) και p(x θ 2 ), μπορούμε να έχουμε περισσότερα όταν η παράμετρος θ μπορεί να λαμβάνει τιμές από ένα πεπερασμένο σύνολο {θ, θ 2,..., θ K }. Παράδειγμα. Ας θεωρήσουμε πως θέλουμε σε μια πόρτα, η οποία είναι αυτόματη (π.χ. σε έναν ανελκυστήρα), να τοποθετήσουμε ένα σύστημα το οποίο θα ανιχνεύει αν υπάρχει κάποιο εμπόδιο ή όχι. Τα συστήματα αυτού του είδους, συνήθως, αποτελούνται από μια διάταξη εκπομπής φωτός (π.χ. laser) η οποία τοποθετείται στο ένα άκρο του ανοίγματος της πόρτας και από μια διάταξη μέτρησης της έντασης του φωτός το οποίο προσπίπτει πάνω της η οποία τοποθετείται στο απέναντι άκρο του ανοίγματος της πόρτας. Έτσι, στην περίπτωση όπου δεν παρεμβάλλεται κάποιο εμπόδιο ανάμεσα στις δύο διατάξεις θα μετράμε μια ένταση φωτός σημαντικά υψηλότερη σε σχέση με την περίπτωση όπου κάποιο αντικείμενο εμποδίζει το φως. Λαμβάνοντας υπόψιν και το θόρυβο, θεωρούμε πως η διάταξη μέτρησης του φωτός λαμβάνει N μετρήσεις οι οποίες θα δίνονται από το μοντέλο x n = θa + ( θ)b + e n, n =, 2,... N (.) όπου η παράμετρος θ μπορεί να λαμβάνει τις τιμές 0 (απουσία εμποδίου) και (ύπαρξη εμποδίου) και επομένως A είναι η ένταση του φωτός που έχουμε όταν παρεμβάλλεται κάποιο εμπόδιο ενώ B η ένταση του φωτός που μετράμε όταν δεν παρεμβάλλεται εμπόδιο. Από την υπόθεσή μας, έχουμε πως B > A. Τέλος, με e n συμβολίζουμε το θόρυβο μέτρησης ο οποίος υπεισέρχεται στη διάταξη μέτρησης της έντασης του φωτός τη στιγμή n. Θεωρούμε πως το σύστημά μας, αφού λάβει N μετρήσεις, καλείται, στη συνέχεια, να αποφασίσει σχετικά με την ύπαρξη ή μη εμποδίου. Έτσι, έχουμε δύο μοντέλα ή υποθέσεις για τα δεδομένα μας: H 0 : x n = B + e n, n =, 2,... N (.2) H : x n = A + e n, n =, 2,... N (.3) Το ερώτημα τώρα είναι ποιο από τα δύο μοντέλα περιγράφει καλύτερα τα δεδομένα που λαμβάνουμε κάθε φορά. Για να συγκρίνουμε τις ικανότητες των μοντέλων να περιγράψουν τα δεδομένα χρειάζεται να υπολογίσουμε μια συνάρτηση των δεδομένων. Τις συναρτήσεις αυτές τις καλούμε στατιστικές. Για το πρόβλημα που εξετάζουμε εδώ, μια κατάλληλη στατιστική θα μπορούσε να είναι η N t = N n= x n = θa + ( θ)b + N N e n. (.4) n=

14 4 ΚΕΦΑΛΑΙΟ. ΕΙΣΑΓΩΓΗ Θεωρώντας τώρα πως ο θόρυβος θα έχει μηδενική μέση τιμή, μπορούμε να πούμε πως ο μέσος όρος των δειγμάτων του θα έχει τιμή κοντά στο μηδέν, δηλαδή N N e n 0. (.5) n= Επομένως, η τιμή της στατιστικής t θα είναι είτε κοντά στην τιμή A είτε κοντά στην τιμή B. Ένας λογικός κανόνας απόφασης είναι να συγκρίνουμε την τιμή της στατιστικής με την τιμή (A + B)/2 που είναι το μέσο του διαστήματος από το A στο B, δηλαδή 0, t < (A + B)/2 ˆθ =, t (A + B)/2. (.6) Αξίζει να αναφέρουμε στο σημείο αυτό πως προκειμένου να προχωρήσουμε στην ανάλυση της απόδοσης του πιο πάνω κανόνα απόφασης, θα πρέπει πρώτα να υιοθετήσουμε κάποιο μαθηματικό μοντέλο το οποίο να περιγράφει τα δείγματα του θορύβου..2.2 Το πρόβλημα της εκτίμησης παραμέτρων Ας θεωρήσουμε τώρα πως η παράμετρος θ μπορεί να λαμβάνει τιμές από ένα άπειρο σύνολο, για παράδειγμα πως είναι κάποιος πραγματικός αριθμός. Σύμφωνα με τα προηγούμενα, θα πρέπει να επιλέξουμε ανάμεσα σε ένα άπειρο πλήθος από πιθανά μοντέλα για το ποιο είναι το πλέον κατάλληλο για να εξηγήσει τα δεδομένα μας. Το πρόβλημα της εκτίμησης παραμέτρων μπορεί να ιδωθεί ως μια επέκταση του προβλήματος ανίχνευσης στην περίπτωση όπου έχουμε άπειρα μοντέλα από τα οποία να επιλέξουμε. Παράδειγμα.2 Ας υποθέσουμε πως μετράμε ένα σήμα της μορφής x n = θa + e n, n =, 2,..., N (.7) όπου A 0 είναι μια γνωστή σταθερά, και ο όρος e n αναπαριστά το θόρυβο μέτρησης. Σκοπός μας είναι να υπολογίσουμε την τιμή της παραμέτρου θ R, χρησιμοποιώντας τα δείγματα των δεδομένων x n. Για το παράδειγμα αυτό, εύκολα μπορούμε να διαπιστώσουμε πως η στατιστική ( ) t = N x n = N NθA + e n = θ + N e n (.8) NA NA NA n= θα έχει μια τιμή πολύ κοντά στην τιμή της παραμέτρου θ, στην περίπτωση όπου ο θόρυβος μέτρησης έχει μέση τιμή μηδέν, και επομένως ο δεύτερος όρος στην προηγούμενη σχέση θα είναι πολύ κοντά στο μηδέν. Η στατιστική που χρησιμοποιούμε για να υπολογίσουμε την τιμή μιας παραμέτρου από τα δεδομένα μας ονομάζεται και εκτιμητής για την παράμετρο που μας ενδιαφέρει. Έτσι, ο εκτιμητής μας εδώ θα είναι ο ˆθ = NA n= n= N x n. (.9) n=

15 .2. ΚΑΤΗΓΟΡΙΕΣ ΠΡΟΒΛΗΜΑΤΩΝ ΕΞΑΓΩΓΗΣ ΣΥΜΠΕΡΑΣΜΑΤΩΝ 5 Αξίζει να αναφέρουμε πως προκειμένου να μελετήσουμε πόσο καλός είναι ο εκτιμητής που χρησιμοποιούμε κάθε φορά για τον υπολογισμό κάποιας παραμέτρου, θα πρέπει πρώτα να υιοθετήσουμε κάποιο μαθηματικό μοντέλο για το θόρυβο μέτρησης..2.3 Το πρόβλημα της εκτίμησης σημάτων Σε πολλές περιπτώσεις μας ενδιαφέρει να προβλέψουμε την τιμή την οποία λαμβάνει ένα σήμα y χρησιμοποιώντας τις μετρήσεις που λαμβάνουμε για κάποιο άλλο σήμα x, το οποίο σχετίζεται με το σήμα y. Η σχέση αυτή ανάμεσα στα σήματα x και y μπορεί να περιγραφεί ικανοποιητικά μέσω της από κοινού συνάρτησης πυκνότητας πιθανότητας p(x, y), η οποία μας δείχνει πόσο πιθανό είναι κάθε ζευγάρι τιμών (σημάτων) π.χ. (x 0, y 0 ) σε σχέση με άλλα ζευγάρια σημάτων. Έχοντας στη διάθεσή μας την από κοινού συνάρτηση πυκνότητας πιθανότητας, μπορούμε να υπολογίσουμε την υπό συνθήκη συνάρτηση πυκνότητας πιθανότητας p(y x), η οποία μας δείχνει πόσο πιθανό είναι κάθε σήμα y για δεδομένο σήμα x το οποίο έχουμε μετρήσει. Το πρόβλημα της εκτίμησης σημάτων έχει να κάνει με τον υπολογισμό ενός σήματος y το οποίο έχει μεγάλη πιθανότητα, δεδομένου του σήματος x το οποίο έχουμε μετρήσει. Παράδειγμα.3 Ας θεωρήσουμε ένα τηλεπικοινωνιακό σύστημα το οποίο μεταδίδει δεδομένα μέσω ενός καναλιού. Υποθέτουμε πως τα δεδομένα αυτά μπορούν να περιγραφούν από ένα διάνυσμα y. Υποθέτουμε επίσης πως το τηλεπικοινωνιακό κανάλι εισάγει μια γραμμική παραμόρφωση, έτσι ώστε τα δεδομένα τα οποία μετράμε στο δέκτη να περιγράφονται ικανοποιητικά από τη σχέση x = Hy + e (.0) όπου ο πίνακας H περιγράφει τη γραμμική παραμόρφωση που εισάγει το κανάλι και το διάνυσμα e μοντελοποιεί το θόρυβο μέτρησης. Σκοπός μας είναι ο υπολογισμός του σήματος y χρησιμοποιώντας τις μετρήσεις x, τον πίνακα H τον οποίο θεωρούμε γνωστό καθώς και ένα μοντέλο για το θόρυβο e. Στο παράδειγμά μας, αν θεωρήσουμε ένα οποιοδήποτε ζεύγος από σήματα (x, y), τότε η σχέση ανάμεσα στα σήματα αυτά που εκφράζεται μέσω της από κοινού συνάρτησης πυκνότητας πιθανότητας p(x, y) θα δίνεται από το πόσο πιθανή είναι η αντίστοιχη τιμή για το σήμα θορύβου, δηλαδή p(x, y) = f e (x Hy), (.) όπου f e ( ) είναι η συνάρτηση πυκνότητας πιθανότητας του διανύσματος του θορύβου. Με βάση την παραπάνω σχέση ανάμεσα στα διανύσματα x και y, μπορούμε να υπολογίσουμε την υπό συνθήκη συνάρτηση πυκνότητας πιθανότητας p(y x) και έτσι να υπολογίσουμε τελικά ένα πιθανό σήμα y με βάση τις μετρήσεις μας για το σήμα x..2.4 Το πρόβλημα της μηχανικής μάθησης Σε αρκετές περιπτώσεις χρειάζεται να προβλέψουμε την τιμή ενός σήματος y χρησιμοποιώντας μετρήσεις ενός άλλου σήματος x, χωρίς όμως να έχουμε άμεση γνώση της από κοινού συνάρτησης

16 6 ΚΕΦΑΛΑΙΟ. ΕΙΣΑΓΩΓΗ πυκνότητας πιθανότητας p(x, y). Αντίθετα, διαθέτουμε ένα πλήθος ζευγών {(x n, y n )} N n= τα οποία μπορούν να μας δώσουν μια αίσθηση της σχέσης που συνδέει το x με το y, και τα οποία καλούνται παραδείγματα εκπαίδευσης. Ο σκοπός του προβλήματος μάθησης είναι ο σχεδιασμός ενός κανόνα πρόβλεψης της τιμής του y από το x, χρησιμοποιώντας τα παραδείγματα εκπαίδευσης και όχι την p(y x), την οποία δεν γνωρίζουμε. Παράδειγμα.4 Για τη διάγνωση μιας ασθένειας, έχουμε στη διάθεσή μας μια εξέταση η οποία έχει πολύ μεγάλο κόστος. Ωστόσο, το αποτέλεσμα y της εξέτασης αυτής μας δίνει απόλυτη βεβαιότητα σχετικά με το αν ο εξεταζόμενος παρουσιάζει την ασθένεια (y = ) ή όχι (y = 0). Από την άλλη πλευρά, ένας έμπειρος γιατρός υποψιάζεται πως η συνδυασμένη αξιολόγηση τεσσάρων διαφορετικών εξετάσεων χαμηλού κόστους σχετίζεται με τη διάγνωση της ασθένειας. Κάθε μια από τις εξετάσεις χαμηλού κόστους μας δίνει μια τιμή x, x 2, x 3 και x 4. Σκοπός του γιατρού είναι να μπορέσει να υπολογίσει τη σχέση ανάμεσα στα αποτελέσματα των εξετάσεων χαμηλού κόστους x = [x x 2 x 3 x 4 ] T και στο αποτέλεσμα της εξέτασης υψηλού κόστους y, έχοντας ως απώτερο σκοπό την πρόβλεψη της τιμής y όταν έχει στη διάθεσή του μόνο τιμές για το x. Για να μπορέσει να υπολογίσει τη σχέση που συνδέει το x με το y, ο γιατρός έχει στη διάθεσή του ένα πλήθος από ζεύγη {(x n, y n )} N n=, όπου κάθε ζεύγος αντιστοιχεί σε έναν εξεταζόμενο ο οποίος έκανε τόσο τις εξετάσεις χαμηλού κόστους όσο και την εξέταση υψηλού κόστους. Τα δεδομένα αυτά αποτελούν τα παραδείγματα εκπαίδευσης τα οποία θα αξιοποιηθούν από τον αλγόριθμο μηχανικής μάθησης για να αναδειχθεί η σχέση που συνδέει τα αποτελέσματα των εξετάσεων χαμηλού κόστους με το αποτέλεσμα της εξέτασης υψηλού κόστους. Για το πρόβλημα της πρόβλεψης της τιμής y που αντιστοιχεί σε ένα διάνυσμα x το οποίο δεν ανήκει στα παραδείγματα εκπαίδευσης, ένας απλός κανόνας είναι να βρούμε πρώτα ένα διάνυσμα x k από το σύνολο εκπαίδευσης το οποίο είναι κοντά στο x, και στη συνέχεια να δώσουμε ως πρόβλεψη την τιμή y k. Βιβλιογραφία [Bis07] C. Bishop. Pattern Recognition and Machine Learning. Springer, [Hay96] M. Hayes. Statistical Digital Signal Processing and Modelling. John Wiley and Sons, 996. [MRT2] M Mohri, A. Rostamizadeh, and A. Talwalkar. Foundations of Machine Learning. The MIT Press, 202. [PP02] A. Papoulis and S. U. Pillai. Probability, Random Variables, and Stochastic Processes. 4th ed. McGraw-Hill Higher Education, [Pro+02] J. G. Proakis et al. Algorithms for Statistical Signal Processing. Prentice Hall, [SS0] P.J. Schreier and L.L. Scharf. Statistical Signal Processing of Complex-Valued Data: The Theory of Improper and Noncircular Signals. Cambridge University Press, 200.

17 ΒΙΒΛΙΟΓΡΑΦΙΑ 7 [The5] [ΘΜΚ03] S. Theodoridis. Machine Learning : A Bayesian and Optimization Perspective. Academic Press, 205. Σ. Θεοδωρίδης, Κ. Μπερμπερίδης, and Λ. Κοφίδης. Εισαγωγή στη Θεωρία Σημάτων και Συστημάτων. Τυπωθήτω, [Μου04] Γ. Μουστακίδης. Βασικές Τεχνικές Ψηφιακής Επεξεργασίας Σημάτων. Τζιόλα, 2004.

18 8 ΚΕΦΑΛΑΙΟ. ΕΙΣΑΓΩΓΗ

19 Κεφάλαιο 2 Εισαγωγή στις στοχαστικές διαδικασίες 2. Εισαγωγή Στο κεφάλαιο αυτό κάνουμε μια συνοπτική αναφορά στη θεωρία πιθανοτήτων και στις στοχαστικές διαδικασίες. Το μαθηματικό υπόβαθρο αυτό σχετίζεται άμεσα με τη θεματολογία του βιβλίου και παρατίθεται εδώ για λόγους πληρότητας και αναφοράς. Ο αναγνώστης ο οποίος είναι εξοικειωμένος με τις έννοιες αυτές μπορεί κάλλιστα να συνεχίσει με τη μελέτη του επόμενου κεφαλαίου. 2.2 Βασική θεωρία πιθανοτήτων Σε μεγάλο μέρος του παρόντος βιβλίου ασχολούμαστε με πιθανοτικά μοντέλα. Τα χρησιμοποιούμε για να περιγράφουμε το θόρυβο, τα λάθη και και τις λοιπές ανακρίβειες στα προβλήματα επεξεργασίας σημάτων τα οποία μελετάμε. Έτσι, στην ενότητα αυτή κάνουμε μια σύντομη αναφορά στους βασικότερους συμβολισμούς, την ορολογία και τις κυριότερες έννοιες της θεωρίας πιθανοτήτων. Ο ενδιαφερόμενος αναγνώστης μπορεί να ανατρέξει στα [Fel68], [ΚΜ99], [BT02] και [PP02] για μια πιο ολοκληρωμένη αναφορά στη θεωρία πιθανοτήτων Αξιωματικός ορισμός της πιθανότητας Ένα πείραμα τύχης είναι ένα πείραμα του οποίου το αποτέλεσμα δεν μπορούμε να γνωρίζουμε εκ των προτέρων. Το σύνολο όλων των δυνατών αποτελεσμάτων ενός πειράματος τύχης καλείται δειγματοχώρος του πειράματος και συμβολίζεται με Ω. Για παράδειγμα, ο δειγματοχώρος που αντιστοιχεί στο πείραμα τύχης για το ρίξιμο ενός νομίσματος είναι Ω = { Κεφάλι, Γράμματα }, ενώ για το ρίξιμο ενός ζαριού ο δειγματοχώρος είναι Ω = {, 2, 3, 4, 5, 6}. Ένας δειγματοχώρος με πεπερασμένο πλήθος στοιχείων καλείται πεπερασμένος. Ένας δειγματοχώρος με άπειρο πλήθος στοιχείων, για τον οποίο όμως υπάρχει μια ένα προς ένα αντιστοιχία των στοιχείων του με τους φυσικούς αριθμούς, 2, 3,... καλείται αριθμήσιμα άπειρος. Αντίθετα, ένας δειγματοχώρος με άπειρα στοιχεία όπου υπάρχει μια ένα προς ένα αντιστοιχία των στοιχείων του στα σημεία ενός διαστήματος πραγματικών αριθμών (a, b) καλείται μη αριθμήσιμα άπειρος ή συνεχής. Ένας 9

20 0 ΚΕΦΑΛΑΙΟ 2. ΕΙΣΑΓΩΓΗ ΣΤΙΣ ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ δειγματοχώρος που είναι είτε πεπερασμένος είτε αριθμήσιμα άπειρος καλείται διακριτός. Η συλλογή όλων των υποσυνόλων του Ω, συμβολίζεται με A και κάθε στοιχείο του α A ονομάζεται γεγονός ή ενδεχόμενο. Εκτός από το δειγματοχώρο Ω και το σύνολο A, για να ορίσουμε ένα χώρο πιθανότητας (Ω, A, Pr) πρέπει να ορίσουμε και ένα μέτρο πιθανότητας Pr το οποίο αντιστοιχεί κάθε ενδεχόμενο σε έναν πραγματικό αριθμό και θα πρέπει να πληροί τα ακόλουθα αξιώματα: α A, 0 Pr{α} Pr{Ω} = Αν τα ενδεχόμενα α και β είναι αμοιβαία αποκλειόμενα ή ξένα, δηλαδή α β =, τότε Pr{α β} = Pr{α} + Pr{β}. Χρησιμοποιώντας τα αξιώματα αυτά, μπορούμε να αποδείξουμε τα ακόλουθα χρήσιμα θεωρήματα:. Pr{ } = 0 2. Pr{ᾱ} = Pr{α}, όπου ᾱ το συμπληρωματικό ενδεχόμενο του α 3. α α 2 Pr{α } Pr{α 2 } 4. Pr{α β} = Pr{α} + Pr{β} Pr{α β} 5. Pr{ N n= α n} N n= Pr{α n} Δεσμευμένη πιθανότητα και ανεξαρτησία Η δεσμευμένη ή υπό συνθήκη πιθανότητα πραγματοποίησης ενός γεγονότος α, με δεδομένη την πραγματοποίηση ενός άλλου γεγονότος β, συμβολίζεται με Pr{α β} και δίνεται από τη σχέση Pr{α β} = Pr{α β} Pr{β} (2.) με την προϋπόθεση πως Pr{β} = 0. Για παράδειγμα, αν θεωρήσουμε το πείραμα τύχης με το ρίξιμο ενός ζαριού και τα ενδεχόμενα α = {, 2, 3} και β = {, 2}, τότε εύκολα βρίσκουμε πως η πιθανότητα πραγματοποίησης του α είναι Pr{α} = /2. Στην περίπτωση ωστόσο που γνωρίζουμε πως το β έχει πραγματοποιηθεί, έχουμε Pr{α β} = Pr{α β} Pr{β} = Pr{{, 2}} Pr{{, 2}} = (2.2) το οποίο δείχνει πως η γνώση μας για την πραγματοποίηση του β μας δίνει πολύ σημαντική πληροφορία για το α. Δυο γεγονότα α και β ονομάζονται ανεξάρτητα αν ισχύει ότι Pr{α β} = Pr{α}. Με άλλα λόγια, η γνώση μας για την πραγματοποίηση του β δεν μας δίνει καμιά επιπλέον πληροφορία για την πραγματοποίηση ή μη του α. Για παράδειγμα, ας θεωρήσουμε πως εκτελούμε ένα πείραμα τύχης στο οποίο ρίχνουμε δύο ζάρια και ας ορίσουμε τα ενδεχόμενα α το πρώτο ζάρι φέρνει και β το δεύτερο ζάρι

21 2.2. ΒΑΣΙΚΗ ΘΕΩΡΙΑ ΠΙΘΑΝΟΤΗΤΩΝ φέρνει. Αν συμβολίσουμε το αποτέλεσμα αυτού του πειράματος τύχης με ένα ζεύγος (x, y) για τα αποτελέσματα κάθε ζαριού, τότε είναι α = {(, ), (, 2), (, 3), (, 4), (, 5), (, 6)} και β = {(, ), (2, ), (3, ), (4, ), (5, ), (6, )}. Στην περίπτωση αυτή έχουμε Pr{α} = /6 και Pr{α β} = Pr{α β} Pr{β} = Pr{{(, )}} /6 = /36 /6 = 6 το οποίο επιβεβαιώνει τη διαίσθησή μας πως αφού το ένα ζάρι δεν επηρεάζει το άλλο τα ενδεχόμενα που εξετάσαμε είναι ανεξάρτητα. Μια πολύ χρήσιμη σχέση η οποία εμπλέκει τις δεσμευμένες πιθανότητες Pr{α β} και Pr{β α}, προκύπτει εύκολα από τη Σχέση (2.) και είναι γνωστή ως κανόνας του Bayes: Pr{β α} = Pr{β} Pr{α β} (2.3) Pr{α} Όπως θα δούμε στη συνέχεια, η σχέση αυτή παίζει σημαντικό ρόλο σε πολλά προβλήματα εκτίμησης σημάτων τα οποία θα δούμε στα επόμενα Τυχαίες μεταβλητές Κατά τη μελέτη εφαρμογών, σπάνια ορίζουμε ρητά τον χώρο πιθανότητας που περιγράφει το πείραμα τύχης που μελετάμε. Αντίθετα, εργαζόμαστε ορίζοντας τυχαίες μεταβλητές οι οποίες αποτελούν απεικονίσεις από το δειγματοχώρο Ω σε άλλους χώρους όπως το σύνολο των πραγματικών αριθμών R. Μια τυχαία μεταβλητή είναι μια συνάρτηση με πεδίο ορισμού το δειγματοχώρο Ω ενός πειράματος τύχης, η οποία αντιστοιχίζει κάθε σημείο του δειγματοχώρου σε ένα σημείο ενός χώρου όπως ο R N. Για παράδειγμα, μια τυχαία μεταβλητή που λαμβάνει πραγματικές τιμές είναι μια απεικόνιση X : Ω R, δηλαδή για κάθε ω Ω έχουμε μια τιμή X (ω) R. Μέσω μιας τυχαίας μεταβλητής μπορούμε να ορίζουμε και ενδεχόμενα, για παράδειγμα με την έκφραση {X 0} εννοούμε το γεγονός που ορίζεται ως η ένωση όλων των ω Ω για τα οποία X (ω) 0, δηλαδή {X 0} = {ω : X (ω) 0}. (2.4) Με τον τρόπο αυτό, μπορούμε να αντιστοιχούμε και πιθανότητες σε γεγονότα τα οποία ορίζονται μέσω τυχαίων μεταβλητών, για παράδειγμα Pr{{X 0}} = Pr{{ω : X (ω) 0}}. (2.5) Γενικότερα, για οποιοδήποτε σύνολο A R και μια τυχαία μεταβλητή που λαμβάνει πραγματικές τιμές μπορούμε να ορίσουμε το ενδεχόμενο {X A} και την αντίστοιχη πιθανότητα Pr{X A}. Μια τυχαία μεταβλητή λέγεται διακριτή όταν λαμβάνει τιμές από ένα πεπερασμένο ή αριθμήσιμα άπειρο σύνολο τιμών. Αντίθετα, μια τυχαία μεταβλητή ονομάζεται συνεχής όταν το πλήθος των τιμών της είναι μη αριθμήσιμα άπειρο.

22 2 ΚΕΦΑΛΑΙΟ 2. ΕΙΣΑΓΩΓΗ ΣΤΙΣ ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ Συνάρτηση κατανομής και πυκνότητα πιθανότητας Για τις βαθμωτές τυχαίες μεταβλητές που λαμβάνουν πραγματικές τιμές συνηθίζουμε να ορίζουμε τις πιθανότητες Pr{X x} συναρτήσει του x. Η συνάρτηση που ορίζεται με αυτόν τον τρόπο ονομάζεται αθροιστική συνάρτηση κατανομής ή απλά συνάρτηση κατανομής (Cumulative Distribution Function, CDF) της τυχαίας μεταβλητής X και τη συμβολίζουμε ως F X (x). Μέσω της συνάρτησης κατανομής μπορούμε να υπολογίζουμε την πιθανότητα η τυχαία μεταβλητή να λαμβάνει τιμή εντός ενός διαστήματος, για παράδειγμα η πιθανότητα η τυχαία μεταβλητή X να λαμβάνει τιμή στο διάστημα (a, b], με b > a, θα δίνεται ως F X (b) F X (a) = Pr{X b} Pr{X a} = (Pr{X a} + Pr{a < X b}) Pr{X a} = Pr{a < X b}. Για μια συνεχή τυχαία μεταβλητή X θεωρούμε τώρα πως το όριο lim ϵ 0 ( ) FX (x + ϵ) F X (x) υπάρχει σε κάθε σημείο x, δηλαδή η συνάρτηση κατανομής είναι παραγωγίσιμη παντού. Την παράγωγο της F X (x) τη συμβολίζουμε ως f X (x) και την ονομάζουμε συνάρτηση πυκνότητας πιθανότητας (Probability Density Function, PDF) της τυχαίας μεταβλητής X. Μια ιδιότητα της συνάρτησης πυκνότητας πιθανότητας είναι πως, καθώς η συνάρτηση κατανομής είναι μια αύξουσα συνάρτηση του x, η παράγωγός της θα πρέπει να λαμβάνει μόνο μη αρνητικές τιμές, δηλαδή f X (x) 0. Επίσης, η συνάρτηση κατανομής θα δίνεται μέσω της συνάρτησης πυκνότητας πιθανότητας από τη σχέση F X (x) = x ϵ f X (t)dt. (2.6) Η πιθανότητα μια τυχαία μεταβλητή X να λάβει τιμή από ένα διάστημα (a, b] μπορεί να εκφραστεί μέσω της συνάρτησης πυκνότητας πιθανότητας από τη σχέση Pr{a < X b} = b a f X (x)dx (2.7) από την οποία μπορούμε να κατανοήσουμε το λόγο για τον οποίο χρησιμοποιούμε τον όρο πυκνότητα πιθανότητας για τη συνάρτηση f X (x). Οι βαθμωτές διακριτές τυχαίες μεταβλητές δεν έχουν συνάρτηση πυκνότητας πιθανότητας, αντίθετα για τις τυχαίες μεταβλητές αυτές ορίζουμε τη λεγόμενη συνάρτηση μάζας πιθανότητας (Probability Mass Function, PMF), η οποία απλά αντιστοιχίζει κάθε σημείο του συνόλου τιμών της στην πιθανότητα εμφάνισης που έχει. Έτσι, για μια διακριτή τυχαία μεταβλητή X που λαμβάνει τιμές από ένα σύνολο της μορφής {x, x 2, x 3,...} (πεπερασμένο ή αριθμήσιμα άπειρο), η συνάρτηση μάζας πιθανότητας είναι απλά p X (x n ) = Pr{X = x n }. (2.8)

23 2.2. ΒΑΣΙΚΗ ΘΕΩΡΙΑ ΠΙΘΑΝΟΤΗΤΩΝ Αναμενόμενη τιμή Σε πολλές περιπτώσεις ενδιαφερόμαστε να υπολογίσουμε την αναμενόμενη τιμή μιας τυχαίας μεταβλητής ή, γενικότερα, μιας συνάρτησης της τυχαίας μεταβλητής. Για μια συνεχή τυχαία μεταβλητή X με συνάρτηση πυκνότητας πιθανότητας f X (x), η αναμενόμενη τιμή μιας συνάρτησης, έστω g(x), θα δίνεται από τη σχέση E[g(X )] = g(x)f X (x)dx. (2.9) Στην περίπτωση όπου η τυχαία μεταβλητή είναι διακριτή, η αναμενόμενη τιμή μιας συνάρτησης g(x) θα ορίζεται από τη σχέση E[g(X )] = g(x n ) Pr{X = x n }, (2.0) n είναι δηλαδή το άθροισμα με βάρη τις πιθανότητες, των αντίστοιχων τιμών της συνάρτησης που μας ενδιαφέρει. Για την επιλογή g(x) = x, υπολογίζουμε την αναμενόμενη τιμή της τυχαίας μεταβλητής µ = E[X ]. Επίσης, για την επιλογή g(x) = (x µ) 2 υπολογίζουμε τη διασπορά της τυχαίας μεταβλητής σ 2 = E[(X µ) 2 ]. Στην περίπτωση όπου η τυχαία μεταβλητή X έχει διανυσματική μορφή με διάσταση N, το διάνυσμα αναμενόμενων τιμών θα αποτελείται από τις αναμενόμενες τιμές των επιμέρους βαθμωτών τυχαίων μεταβλητών µ = E[X ] = µ µ 2., και ο πίνακας συνδιασποράς θα δίνεται από τη σχέση µ N Σ = E[(X µ)(x µ) T ] με στοιχεία Σ m,n = E[(X m µ m )(X n µ n )], για m, n {, 2, 3,..., N}. Σε ορισμένες περιπτώσεις, θεωρούμε ένα γραμμικό μετασχηματισμό μιας πολυδιάστατης τυχαίας μεταβλητής X, μέσω μιας σχέσης της μορφής Y = AX όπου ο πίνακας A είναι ένας M N πίνακας ο οποίος μετασχηματίζει γραμμικά την τυχαία μεταβλητή X (διάστασης N) και παράγει την τυχαία μεταβλητή Y (διάστασης M). Στην περίπτωση αυτή, το διάνυσμα αναμενόμενων τιμών της τυχαίας μεταβλητής Y θα είναι E[AX ] = Aµ και ο πίνακας συνδιασποράς της τυχαίας μεταβλητής Y θα είναι E[(AX Aµ)(AX Aµ) T ] = AΣA T Στην ειδική περίπτωση όπου η τυχαία μεταβλητή X στην οποία εφαρμόζεται ο γραμμικός μετασχηματισμός ακολουθεί μια πολυδιάστατη κανονική κατανομή (βλέπε επόμενη παράγραφο), τότε και η πολυδιάστατη τυχαία μεταβλητή Y θα ακολουθεί μια πολυδιάστατη κανονική κατανομή (πιθανώς) διαφορετικής διάστασης και με διαφορετικό διάνυσμα αναμενόμενων τιμών και πίνακα συνδιασποράς. Πιο συγκεκριμένα, θα είναι Y N (Aµ, AΣA T ). Στη γενική περίπτωση ωστόσο, η κατανομή που θα ακολουθεί η μετασχηματισμένη τυχαία μεταβλητή θα είναι διαφορετικής μορφής σε σχέση με την αρχική κατανομή.

24 4 ΚΕΦΑΛΑΙΟ 2. ΕΙΣΑΓΩΓΗ ΣΤΙΣ ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ Σε πολλές εφαρμογές της στατιστικής επεξεργασίας σημάτων, είναι ιδιαίτερα χρήσιμο να υπολογίζουμε την υπό συνθήκη αναμενόμενη τιμή μιας τυχαίας μεταβλητής. Για παράδειγμα, αν θεωρήσουμε τις εξαρτημένες τυχαίες μεταβλητές X και Y, τότε η αναμενόμενη τιμή μιας συνάρτησης g(x), που συμβολίζεται με E[g(X )] θα είναι διαφορετική από την αναμενόμενη τιμή της ίδιας συνάρτησης ενώ γνωρίζουμε την τιμή της τυχαίας μεταβλητής Y. Η δεύτερη αναμενόμενη τιμή ονομάζεται υπό συνθήκη αναμενόμενη τιμή και για συνεχείς τυχαίες μεταβλητές θα δίνεται από τη σχέση E[g(X ) Y = y] = g(x)f X (x y)dx (2.) όπου f X (x y) είναι η υπό συνθήκη συνάρτηση πυκνότητας πιθανότητας της τυχαίας μεταβλητής X όταν έχουμε παρατηρήσει την τιμή της τυχαίας μεταβλητής Y Gaussian τυχαίες μεταβλητές Οι Gaussian τυχαίες μεταβλητές κατέχουν ένα πολύ σημαντικό ρόλο στη θεωρία πιθανοτήτων. Μια τυχαία μεταβλητή X λέγεται Gaussian όταν η συνάρτηση πυκνότητας πιθανότητάς της είναι της μορφής f X (x) = exp { (x m } x) 2 σ x 2π όπου m x και σ 2 x είναι η μέση τιμή και η διασπορά της X, αντίστοιχα. Παρατηρήστε ότι η πυκνότητα πιθανότητας μιας Gaussian τυχαίας μεταβλητής ορίζεται πλήρως αν γνωρίζουμε τη μέση τιμή και τη διασπορά της. Δύο τυχαίες μεταβλητές λέγονται από κοινού Gaussian όταν η από κοινού πυκνότητα πιθανότητάς τους είναι { [ (x mx ) 2 f X,Y (x, y) = A exp 2( ρ 2 xy) σ 2 x 2σ 2 x (x m x )(y m y ) 2ρ xy + (y m ]} y) 2 σ x σ y σy 2 όπου A = 2πσ x σ y ρ 2 xy και έχουμε χρησιμοποιήσει τον συντελεστή συσχέτισης (correlation coefficient), των τυχαίων μεταβλητών X και Y ο οποίος ορίζεται ως ρ xy = E[(x m x)(y m y ) ] σ x σ y = E[xy ] m x m y σ x σ y. (2.2) Και πάλι, η από κοινού πυκνότητα πιθανότητας ορίζεται πλήρως αν γνωρίζουμε τις μέσες τιμές, τις διασπορές, και το συντελεστή συσχέτισης ρ xy. Οι Gaussian τυχαίες μεταβλητές έχουν μια σειρά από ενδιαφέρουσες ιδιότητες. Στη συνέχεια, αναφέρουμε κάποιες από αυτές: Ιδιότητα. Αν οι X και Y είναι από κοινού Gaussian τυχαίες μεταβλητές, τότε για κάθε σταθερές a και b η τυχαία μεταβλητή Z = ax + by

25 2.2. ΒΑΣΙΚΗ ΘΕΩΡΙΑ ΠΙΘΑΝΟΤΗΤΩΝ 5 είναι Gaussian με μέση τιμή και διασπορά m z = am x + bm y σ 2 z = a 2 σ 2 x + b 2 σ 2 y + 2abσ x σ y ρ xy Ιδιότητα 2. Αν δύο από κοινού Gaussian τυχαίες μεταβλητές είναι ασυσχέτιστες, ρ xy = 0, τότε είναι και στατιστικά ανεξάρτητες, f X,Y (x, y) = f X (x)f Y (y). Ιδιότητα 3. Αν η X είναι Gaussian και μηδενικής μέσης τιμής, τότε { E [X n 3 5 (n )σx 2 ; n άρτιος ] = 0 ; n περιττός Πολυδιάστατες κατανομές Σε πολλές εφαρμογές της στατιστικής επεξεργασίας σημάτων, χρειάζεται να ορίσουμε τυχαίες μεταβλητές οι οποίες λαμβάνουν τιμές που έχουν διανυσματική μορφή. Μια τυχαία μεταβλητή με διανυσματική μορφή αποτελείται από επιμέρους τυχαίες μεταβλητές που λαμβάνουν βαθμωτές τιμές. Οι πολυδιάστατες κατανομές περιγράφουν τις από κοινού σχέσεις πιθανότητας των επιμέρους τυχαίων μεταβλητών. Μια πολυδιάστατη κατανομή πιθανότητας που χρησιμοποιείται πολύ συχνά σε εφαρμογές της στατιστικής επεξεργασίας σημάτων, είναι η πολυδιάστατη κατανομή Gauss, ή κανονική κατανομή. Ας θεωρήσουμε μια τυχαία μεταβλητή X : Ω R N, δηλαδή μια τυχαία μεταβλητή που η τιμή της είναι ένα διάνυσμα N στοιχείων. Όπως είπαμε, κάθε ένα από αυτά τα στοιχεία μπορούμε να το αντιμετωπίσουμε ως μια βαθμωτή τυχαία μεταβλητή. Στην ειδική περίπτωση όπου οι επιμέρους τυχαίες μεταβλητές - στοιχεία του διανύσματος είναι ανεξάρτητες, τότε η από κοινού συνάρτηση πυκνότητας πιθανότητας των τυχαίων μεταβλητών, η οποία ταυτίζεται με τη συνάρτηση πυκνότητας πιθανότητας της πολυδιάστατης τυχαίας μεταβλητής, θα δίνεται ως το γινόμενο των επιμέρους συναρτήσεων πυκνότητας πιθανότητας. Στη γενική περίπτωση, όταν δηλαδή οι επιμέρους τυχαίες μεταβλητές δεν είναι ανεξάρτητες, μια τέτοια παραγοντοποίηση της από κοινού συνάρτησης πυκνότητας πιθανότητας δεν είναι δυνατή. Η πολυδιάστατη κανονική κατανομή αποτελεί ένα μοντέλο το οποίο μπορεί να περιγράψει εξαρτημένες τυχαίες μεταβλητές, και έχει τη μορφή f X (x) = ( (2π)N Σ exp ) 2 (x µ)t Σ (x µ), (2.3) όπου x R N είναι το όρισμα της πολυδιάστατης PDF, µ R N είναι το διάνυσμα μέσων τιμών της κατανομής και Σ R N N είναι ένας θετικά ημί-ορισμένος συμμετρικός πίνακας που ονομάζεται πίνακας συνδιασποράς. Επίσης, με Σ συμβολίζουμε την ορίζουσα του πίνακα Σ. Συνήθως χρησιμοποιούμε το συμβολισμό X N (µ, Σ) για να δηλώσουμε πως η τυχαία μεταβλητή X ακολουθεί την πολυδιάστατη κανονική κατανομή με διάνυσμα μέσων τιμών µ και πίνακα συνδιασποράς Σ. Στην περίπτωση όπου ο πίνακας Σ είναι διαγώνιος, τότε οι επιμέρους τυχαίες μεταβλητές είναι ασυσχέτιστες. Στη περίπτωση αυτή, ειδικά για την κανονική κατανομή, μπορούμε να γράψουμε την από κοινού

26 6 ΚΕΦΑΛΑΙΟ 2. ΕΙΣΑΓΩΓΗ ΣΤΙΣ ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ συνάρτηση πυκνότητας πιθανότητας ως γινόμενο των επιμέρους μονοδιάστατων συναρτήσεων πυκνότητας πιθανότητας, κάτι το οποίο συνεπάγεται πως οι επιμέρους τυχαίες μεταβλητές είναι ανεξάρτητες. Ωστόσο, γενικά δεν ισχύει πως οι ασυσχέτιστες τυχαίες μεταβλητές είναι και ανεξάρτητες, αυτό ισχύει στην ειδική περίπτωση όπου οι επιμέρους κατανομές είναι κανονικές. 2.3 Στοχαστικές διαδικασίες 2.3. Ορισμοί Ας υποθέσουμε πως κάνουμε ένα πείραμα τύχης στο οποίο ρίχνουμε ένα ζάρι και κρατάμε το αποτέλεσμα του πειράματος. Το αποτέλεσμα του πειράματος είναι έτσι ένας ακέραιος αριθμός από το έως το 6. Όπως γνωρίζουμε, το αποτέλεσμα του συγκεκριμένου πειράματος τύχης μπορεί να αναπαρασταθεί από μια διακριτή τυχαία μεταβλητή X η οποία λαμβάνει τις ακέραιες τιμές από έως 6, κάθε μια με πιθανότητα /6. Ας υποθέσουμε τώρα πως κάνουμε ένα διαφορετικό πείραμα τύχης στο οποίο ρίχνουμε αρχικά ένα ζάρι, κρατάμε το αποτέλεσμα, στη συνέχεια ρίχνουμε ένα νόμισμα και κρατάμε το αποτέλεσμα κ.ο.κ. Διαπιστώνουμε πως αυτό το πείραμα τύχης δεν μπορεί να περιγραφεί από μια τυχαία μεταβλητή όπως το προηγούμενο. Αντίθετα, εδώ έχουμε μια εξάρτηση από το χρόνο γιατί για παράδειγμα είναι αδύνατο να πάρουμε το αποτέλεσμα γράμματα όταν τη συγκεκριμένη χρονική στιγμή ρίχναμε το ζάρι. Για να περιγράψουμε το φαινόμενο αυτό, θέλουμε μια διαφορετική τυχαία μεταβλητή για κάθε χρονική στιγμή. Πιο συγκεκριμένα, το πείραμα περιγράφεται από την τυχαία μεταβλητή X του προηγούμενου πειράματος και από μια άλλη διακριτή τυχαία μεταβλητή Y η οποία λαμβάνει τις τιμές (αντιστοιχία με κεφάλι) και 2 (αντιστοιχία με γράμματα) κάθε μια με πιθανότητα /2. Η τυχαία μεταβλητή X ισχύει για τις χρονικές στιγμές 0, 2, 4, 6,... και η τυχαία μεταβλητή Y ισχύει για τις χρονικές στιγμές, 3, 5,... Ας υποθέσουμε τώρα πως εκτελούμε το παραπάνω πείραμα τύχης για τις χρονικές στιγμές από 0 έως K. Καταλήγουμε έτσι σε μια ακολουθία αποτελεσμάτων A = {a 0, a, a 2,..., a K } Η πιθανότητα η ακολουθία A να είναι μια συγκεκριμένη ακολουθία, για παράδειγμα η ακολουθία A 0 = {4, 2, 6,,, 2, 5,,..., }, τότε θα είναι Pr{A = A 0 } = ( ) K 6 ( ) K2 2 όπου K και K 2 είναι το πλήθος των πειραμάτων με το ζάρι και το νόμισμα αντίστοιχα και K = K + K 2. Επομένως, ένας άλλος τρόπος να περιγράψουμε αυτό το πείραμα τύχης είναι να δώσουμε όλες τις πιθανότητες για όλες τις πιθανές ακολουθίες A. Με βάση όλα όσα περιγράψαμε, προκύπτουν οι ακόλουθοι δυο ισοδύναμοι ορισμοί για την έννοια της στοχαστικής διαδικασίας:. Μια στοχαστική διαδικασία X (t) είναι μια συνάρτηση του χρόνου. Η τιμή της συνάρτησης αυτής σε κάθε χρονική στιγμή είναι μια τυχαία μεταβλητή.

27 2.3. ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ 7 Ω p ω ω 2 p 2 ω i p i X [n 0 ] Σχήμα 2.: Μια στοχαστική διαδικασία είναι μια αντιστοίχιση από ένα σύνολο σημάτων Ω στις πιθανότητες p, p 2,..., p i. Επίσης, σε μια συγκεκριμένη χρονική στιγμή n 0 η τιμή της στοχαστικής διαδικασίας είναι μια τυχαία μεταβλητή X [n 0 ] 2. Μια στοχαστική διαδικασία είναι μια αντιστοίχιση από ένα σύνολο σημάτων Ω (όπως η ακολουθία A) στο σύνολο των μη αρνητικών πραγματικών αριθμών (πιθανότητες ή πυκνότητες πιθανότητας). Κάθε ένα σήμα του δειγματοχώρου Ω ονομάζεται στιγμιότυπο ή υλοποίηση της στοχαστικής διαδικασίας. Στο Σχήμα (2.) παρουσιάζουμε σχηματικά τους ανωτέρω ορισμούς. Με βάση τις χρονικές στιγμές στις οποίες ορίζεται μια στοχαστική διαδικασία έχουμε τις ακόλουθες κατηγορίες:. Στοχαστικές διαδικασίες συνεχούς χρόνου: Μια στοχαστική διαδικασία συνεχούς χρόνου X (t) ορίζεται σε οποιαδήποτε χρονική στιγμή. 2. Στοχαστικές διαδικασίες διακριτού χρόνου: Μια στοχαστική διαδικασία διακριτού χρόνου X [n] ορίζεται μόνο σε διακριτές χρονικές στιγμές. Επιπρόσθετα, ανάλογα με τις τιμές που λαμβάνει μια στοχαστική διαδικασία έχουμε τις ακόλουθες κατηγορίες:. Συνεχείς στοχαστικές διαδικασίες: Η τιμή μιας συνεχούς στοχαστικής διαδικασίας είναι μια συνεχής τυχαία μεταβλητή. 2. Διακριτές στοχαστικές διαδικασίες: Η τιμή μιας διακριτής στοχαστικής διαδικασίας είναι μια διακριτή τυχαία μεταβλητή. Οι διακριτές στοχαστικές διαδικασίες διακριτού χρόνου ονομάζονται και αλυσίδες. Στα επόμενα θα επικεντρωθούμε στις στοχαστικές διαδικασίες διακριτού χρόνου. Παράδειγμα 2. Ένα απλό παράδειγμα τυχαίας διαδικασίας διακριτού χρόνου είναι το ακόλουθο: Ας θεωρήσουμε το

28 8 ΚΕΦΑΛΑΙΟ 2. ΕΙΣΑΓΩΓΗ ΣΤΙΣ ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ πείραμα της ρίψης ενός δίκαιου ζαριού. Έστω A η τυχαία μεταβλητή στην οποία αναθέτουμε το αποτέλεσμα της ρίψης και A μια τιμή της. Μέσω της σχέσης, x(n) = A cos(nω 0 ) (2.4) έχουμε ορίσει μια τυχαία διαδικασία X [n]. Αυτή μπορεί να θεωρηθεί ως ένα σύνολο έξη διαφορετικών και ισοπίθανων σημάτων διακριτού χρόνου. Παράδειγμα 2.2 Μια πολυπλοκότερη διαδικασία μπορεί να παραχθεί μέσω του πειράματος διαδοχικών ρίψεων ενός νομίσματος. Τη χρονική στιγμή n, θέτουμε x(n) = εάν ήρθε κεφαλή, και x(n) = εάν ήρθε γράμματα. Με τον τρόπο αυτό δημιουργείται μια τυχαία διαδικασία διακριτού χρόνου X [n] που λαμβάνει τιμές ±. Εάν η ρίψη του νομίσματος τη χρονική στιγμή n, δεν επηρεάζει το αποτέλεσμα κάποιας άλλης ρίψης, τότε η τυχαία διαδικασία που παράγεται ονομάζεται διαδικασία Bernoulli. Δοθείσης μιας τυχαίας διαδικασίας X [n], μπορούμε να παράγουμε μια άλλη, μετασχηματίζοντας την X [n] μέσω κάποιας μαθηματικής πράξης. Χαρακτηριστικός και ιδιαίτερα χρήσιμος μετασχηματισμός είναι το γραμμικό φιλτράρισμα. Αξίζει να αναφέρουμε στο σημείο αυτό πως προκειμένου να έχουμε μια πλήρη στατιστική περιγραφή μιας τυχαίας διαδικασίας, πέρα από τις συναρτήσεις πιθανοτήτων πρώτης τάξης, θα πρέπει να ορίσουμε και τις από κοινού πιθανότητες, F X [n ],...,X [n k ](α,..., α k ) = P r{x [n ] α,..., X [n k ] α k } για κάθε συλλογή τυχαίων μεταβλητών X [n i ]. Ανάλογα με τη συγκεκριμένη μορφή των από κοινού πιθανοτήτων, μπορούμε να έχουμε αρκετά διαφορετικές τυχαίες διαδικασίες. Έστω, για παράδειγμα, μια τυχαία διαδικασία που σχηματίζεται από μια ακολουθία κανονικών τυχαίων μεταβλητών X [n]. Αν οι μεταβλητές αυτές είναι ασυσχέτιστες, τότε η ακολουθία είναι γνωστή ως λευκός, Gaussian θόρυβος. Αντίθετα, αν X [n] = α για κάθε n και α μια Gaussian τυχαία μεταβλητή, τότε κάθε τυχαία διαδικασία της συλλογής ισούται με μια σταθερά. Έτσι, αν και οι δύο διαδικασίες έχουν τα ίδια στατιστικά πρώτης τάξης, είναι σημαντικά διαφορετικές ως αποτέλεσμα των διαφορών τους στα στατιστικά υψηλότερης τάξης Μέσοι όροι συνόλων Εφόσον μια τυχαία διαδικασία είναι μια αριθμημένη ακολουθία τυχαίων μεταβλητών, μπορούμε να υπολογίσουμε τη μέση τιμή καθεμιάς από αυτές τις τυχαίες μεταβλητές. Με τον τρόπο αυτό παράγεται μια ντετερμινιστική ακολουθία m X [n] = E [X [n]] (2.5) γνωστή ως ο μέσος όρος της διαδικασίας. Κατά αντιστοιχία, υπολογίζοντας τη διασπορά κάθε τυχαίας μεταβλητής, δημιουργούμε την ακολουθία σx 2 [n] = E [ X [n] m X [n] 2] (2.6)

29 2.3. ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ 9 που λέγεται διασπορά της διαδικασίας. Παρατηρούμε πως η μέση τιμή και η διασπορά εξαρτώνται γενικά από το n. Δύο επιπλέον σημαντικοί μέσοι όροι συνόλου είναι η αυτοσυνδιασπορά (autocovariance) και η αυτοσυσχέτιση (autocorrelation) c X (k, l) = E [(X [k] m X [k])(x [l] m X [l]) ] (2.7) r X (k, l) = E [X [k]x [l]] (2.8) που αναφέρονται σε δύο τυχαίες μεταβλητές διαφορετικών χρονικών στιγμών X [k] και X [l]. Σημειώνουμε ότι για k = l, η αυτοσυνδιασπορά ανάγεται στη διασπορά c X (k, k) = σ 2 X [k]. Παρατηρήστε επίσης, ότι αν αναπτύξουμε τη Σχέση (2.7), τότε οι δύο τελευταίες συναρτήσεις συνδέονται ως c X (k, l) = r X (k, l) m X [k]m X [l] Έτσι, σε τυχαίες διαδικασίες με μηδενική μέση τιμή, η αυτοσυσχέτιση και η αυτοσυνδιασπορά είναι ίσες. Στα επόμενα, θα θεωρήσουμε ότι όλες οι τυχαίες διαδικασίες έχουν μηδενική μέση τιμή, εκτός αν κάπου αναφέρεται ρητά το αντίθετο. Επομένως, οι όροι αυτοσυσχέτιση και αυτοσυνδιασπορά είναι ανταλλάξιμοι. Η υπόθεση αυτή δεν περιορίζει τη γενικότητα, εφόσον, για κάθε τυχαία διαδικασία μη μηδενικής μέσης τιμής X [n] μπορούμε πάντοτε να σχηματίσουμε μια άλλη τυχαία διαδικασία Y[n] με μηδενική μέση τιμή ως Y[n] = X [n] m X [n]. Όπως στην περίπτωση των τυχαίων μεταβλητών, η συνάρτηση αυτοσυσχέτισης μας παρέχει πληροφορία για τη γραμμική εξάρτηση δύο τυχαίων μεταβλητών. Αν, για παράδειγμα, c X (k, l) = 0, k l, τότε οι μεταβλητές X [k] και X [l] είναι ασυσχέτιστες. Σε κάποιες εφαρμογές, που εμπεριέχουν περισσότερες από μία τυχαίες μεταβλητές, είναι απαραίτητο να γνωρίζουμε τη συσχέτιση ή τη συνδιασπορά μεταξύ τυχαίων μεταβλητών που ανήκουν σε διαφορετικές τυχαίες διαδικασίες. Συγκεκριμένα, αν X [n] και Y[n] δύο τυχαίες διαδικασίες, η ετεροσυνδιασπορά (cross-covariance) τους ορίζεται ως και η ετεροσυσχέτισή (cross-correlation) τους Οι δύο αυτές συναρτήσεις ικανοποιούν τη σχέση c X Y (k, l) = E [(X [k] m X [k])(y[l] m Y [l]) ] (2.9) r X Y (k, l) = E [X [k]y [l]] (2.20) c X Y (k, l) = r X Y (k, l) m X [k]m Y[l]. Αν c X Y (k, l) = 0 ή ισοδύναμα r X Y (k, l) = m X [k]m Y [l] για κάθε k και l, τότε οι δύο τυχαίες διαδικασίες είναι ασυσχέτιστες (uncorrelated). Αντίστοιχα, αν r X Y (k, l) = 0 δύο διαδικασίες είναι ορθογώνιες (orthogonal). Αν και οι ορθογώνιες τυχαίες διαδικασίες δεν είναι απαραίτητα ασυσχέτιστες, τυχαίες διαδικασίες μηδενικής μέσης τιμής που είναι ασυσχέτιστες είναι και ορθογώνιες.

30 20 ΚΕΦΑΛΑΙΟ 2. ΕΙΣΑΓΩΓΗ ΣΤΙΣ ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ Σε κάθε πρακτική εφαρμογή, οι παρατηρήσεις των δεδομένων αλλοιώνονται από θόρυβο ή σφάλματα μέτρησης. Σε πολλές εφαρμογές, ο θόρυβος μοντελοποιείται ως προσθετικός, έτσι ώστε αν X [n] είναι το σήμα και W[n] είναι ο θόρυβος, τότε το παρατηρούμενο σήμα είναι Y[n] = X [n] + W[n]. Συχνά, αυτός ο προσθετικός θόρυβος θεωρείται μηδενικής μέσης τιμής και ασυσχέτιστος με το σήμα. Στην περίπτωση αυτή, η αυτοσυσχέτιση των δεδομένων μέτρησης είναι το άθροισμα των αυτοσυσχετίσεων των X [n] και W[n]. Αυτό προκύπτει αναλυτικά ως εξής r Y (k, l) = E [Y[k]Y [l]] = E [(X [k] + W[k])(X [l] + W[l]) ] = E [X [k]x [l]] + E [W[k]W [l]] + E [X [k]w [l]] + E [W[k]X [l]] = r X (k, l) + r W (k, l) (2.2) Συνοψίζοντας το παραπάνω βασικό αποτέλεσμα, έχουμε την εξής ιδιότητα Ιδιότητα Αν δύο τυχαίες διαδικασίες, X [n] και Y[n], είναι ασυσχέτιστες, τότε η αυτοσυσχέτιση του αθροίσματος Z[n] = X [n] + Y[n] ισούται με το άθροισμα των αυτοσυσχετίσεων, δηλαδή r Z (k, l) = r X (k, l) + r Y (k, l) Gaussian διαδικασίες Στην Παράγραφο εξηγήσαμε τι σημαίνει δύο τυχαίες μεταβλητές να είναι από κοινού κανονικές (Gaussian). Ο ορισμός αυτός μπορεί να επεκταθεί σε μια συλλογή από n τυχαίες μεταβλητές ως ακολούθως. Έστω X = [X, X 2,..., X n ] T ένα διάνυσμα με n πραγματικές τυχαίες μεταβλητές. Το διάνυσμα αυτό λέγεται Gaussian τυχαίο διάνυσμα και οι τυχαίες μεταβλητές λέγονται από κοινού Gaussian αν η από κοινού πυκνότητα πιθανότητας των n μεταβλητών X i είναι f X (x) = { exp } (2π) n/2 C X /2 2 (x m X ) T C X (x m X ) όπου m X = [m, m 2,..., m n ] T είναι ένα διάνυσμα που περιέχει τις μέσες τιμές των X i, δηλαδή = E [X i ]. Ο C X είναι ένας συμμετρικός, θετικά ορισμένος πίνακας με στοιχεία c ij που είναι οι m i συνδιασπορές μεταξύ των X i και X j, δηλαδή c ij = E [(X i m i )(X j m j )]. Τέλος C X είναι η ορίζουσα του πίνακα συνδιασποράς. Μια τυχαία διαδικασία X [n] λέγεται Gaussian αν κάθε πεπερασμένη συλλογή δειγμάτων X [n] είναι από κοινού Gaussian. Μια Gaussian τυχαία διαδικασία ορίζεται πλήρως από το διάνυσμα των μέσων τιμών και τον πίνακα της συνδιασποράς.