Εισαγωγή στις στοχαστικές διαδικασίες

Κεφάλαιο 2 Εισαγωγή στις στοχαστικές διαδικασίες 2.1 Εισαγωγή Στο κεφάλαιο αυτό κάνουμε μια συνοπτική αναφορά στη θεωρία πιθανοτήτων και στις στοχαστικές διαδικασίες. Το μαθηματικό υπόβαθρο αυτό σχετίζεται άμεσα με τη θεματολογία του βιβλίου και παρατίθεται εδώ για λόγους πληρότητας και αναφοράς. Ο αναγνώστης ο οποίος είναι εξοικειωμένος με τις έννοιες αυτές μπορεί κάλλιστα να συνεχίσει με τη μελέτη του επόμενου κεφαλαίου. 2.2 Βασική θεωρία πιθανοτήτων Σε μεγάλο μέρος του παρόντος βιβλίου ασχολούμαστε με πιθανοτικά μοντέλα. Τα χρησιμοποιούμε για να περιγράφουμε το θόρυβο, τα λάθη και και τις λοιπές ανακρίβειες στα προβλήματα επεξεργασίας σημάτων τα οποία μελετάμε. Έτσι, στην ενότητα αυτή κάνουμε μια σύντομη αναφορά στους βασικότερους συμβολισμούς, την ορολογία και τις κυριότερες έννοιες της θεωρίας πιθανοτήτων. Ο ενδιαφερόμενος αναγνώστης μπορεί να ανατρέξει στα [Fel68], [ΚΜ99], [BT02] και [PP02] για μια πιο ολοκληρωμένη αναφορά στη θεωρία πιθανοτήτων. 2.2.1 Αξιωματικός ορισμός της πιθανότητας Ένα πείραμα τύχης είναι ένα πείραμα του οποίου το αποτέλεσμα δεν μπορούμε να γνωρίζουμε εκ των προτέρων. Το σύνολο όλων των δυνατών αποτελεσμάτων ενός πειράματος τύχης καλείται δειγματοχώρος του πειράματος και συμβολίζεται με Ω. Για παράδειγμα, ο δειγματοχώρος που αντιστοιχεί στο πείραμα τύχης για το ρίξιμο ενός νομίσματος είναι Ω = { Κεφάλι, Γράμματα }, ενώ για το ρίξιμο ενός ζαριού ο δειγματοχώρος είναι Ω = {1, 2, 3, 4, 5, 6}. Ένας δειγματοχώρος με πεπερασμένο πλήθος στοιχείων καλείται πεπερασμένος. Ένας δειγματοχώρος με άπειρο πλήθος στοιχείων, για τον οποίο όμως υπάρχει μια ένα προς ένα αντιστοιχία των στοιχείων του με τους φυσικούς αριθμούς 1, 2, 3,... καλείται αριθμήσιμα άπειρος. Αντίθετα, ένας δειγματοχώρος με άπειρα στοιχεία όπου υπάρχει μια ένα προς ένα αντιστοιχία των στοιχείων του στα σημεία ενός διαστήματος πραγματικών αριθμών (a, b) καλείται μη αριθμήσιμα άπειρος ή συνεχής. Ένας 9

10 ΚΕΦΑΛΑΙΟ 2. ΕΙΣΑΓΩΓΗ ΣΤΙΣ ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ δειγματοχώρος που είναι είτε πεπερασμένος είτε αριθμήσιμα άπειρος καλείται διακριτός. Η συλλογή όλων των υποσυνόλων του Ω, συμβολίζεται με A και κάθε στοιχείο του α A ονομάζεται γεγονός ή ενδεχόμενο. Εκτός από το δειγματοχώρο Ω και το σύνολο A, για να ορίσουμε ένα χώρο πιθανότητας (Ω, A, Pr) πρέπει να ορίσουμε και ένα μέτρο πιθανότητας Pr το οποίο αντιστοιχεί κάθε ενδεχόμενο σε έναν πραγματικό αριθμό και θα πρέπει να πληροί τα ακόλουθα αξιώματα: α A, 0 Pr{α} 1 Pr{Ω} = 1 Αν τα ενδεχόμενα α και β είναι αμοιβαία αποκλειόμενα ή ξένα, δηλαδή α β =, τότε Pr{α β} = Pr{α} + Pr{β}. Χρησιμοποιώντας τα αξιώματα αυτά, μπορούμε να αποδείξουμε τα ακόλουθα χρήσιμα θεωρήματα: 1. Pr{ } = 0 2. Pr{ᾱ} = 1 Pr{α}, όπου ᾱ το συμπληρωματικό ενδεχόμενο του α 3. α 1 α 2 Pr{α 1 } Pr{α 2 } 4. Pr{α β} = Pr{α} + Pr{β} Pr{α β} 5. Pr{ N n=1 α n} N n=1 Pr{α n} 2.2.2 Δεσμευμένη πιθανότητα και ανεξαρτησία Η δεσμευμένη ή υπό συνθήκη πιθανότητα πραγματοποίησης ενός γεγονότος α, με δεδομένη την πραγματοποίηση ενός άλλου γεγονότος β, συμβολίζεται με Pr{α β} και δίνεται από τη σχέση Pr{α β} = Pr{α β} Pr{β} (2.1) με την προϋπόθεση πως Pr{β} = 0. Για παράδειγμα, αν θεωρήσουμε το πείραμα τύχης με το ρίξιμο ενός ζαριού και τα ενδεχόμενα α = {1, 2, 3} και β = {1, 2}, τότε εύκολα βρίσκουμε πως η πιθανότητα πραγματοποίησης του α είναι Pr{α} = 1/2. Στην περίπτωση ωστόσο που γνωρίζουμε πως το β έχει πραγματοποιηθεί, έχουμε Pr{α β} = Pr{α β} Pr{β} = Pr{{1, 2}} Pr{{1, 2}} = 1 (2.2) το οποίο δείχνει πως η γνώση μας για την πραγματοποίηση του β μας δίνει πολύ σημαντική πληροφορία για το α. Δυο γεγονότα α και β ονομάζονται ανεξάρτητα αν ισχύει ότι Pr{α β} = Pr{α}. Με άλλα λόγια, η γνώση μας για την πραγματοποίηση του β δεν μας δίνει καμιά επιπλέον πληροφορία για την πραγματοποίηση ή μη του α. Για παράδειγμα, ας θεωρήσουμε πως εκτελούμε ένα πείραμα τύχης στο οποίο ρίχνουμε δύο ζάρια και ας ορίσουμε τα ενδεχόμενα α το πρώτο ζάρι φέρνει 1 και β το δεύτερο ζάρι

2.2. ΒΑΣΙΚΗ ΘΕΩΡΙΑ ΠΙΘΑΝΟΤΗΤΩΝ 11 φέρνει 1. Αν συμβολίσουμε το αποτέλεσμα αυτού του πειράματος τύχης με ένα ζεύγος (x, y) για τα αποτελέσματα κάθε ζαριού, τότε είναι α = {(1, 1), (1, 2), (1, 3), (1, 4), (1, 5), (1, 6)} και β = {(1, 1), (2, 1), (3, 1), (4, 1), (5, 1), (6, 1)}. Στην περίπτωση αυτή έχουμε Pr{α} = 1/6 και Pr{α β} = Pr{α β} Pr{β} = Pr{{(1, 1)}} 1/6 = 1/36 1/6 = 1 6 το οποίο επιβεβαιώνει τη διαίσθησή μας πως αφού το ένα ζάρι δεν επηρεάζει το άλλο τα ενδεχόμενα που εξετάσαμε είναι ανεξάρτητα. Μια πολύ χρήσιμη σχέση η οποία εμπλέκει τις δεσμευμένες πιθανότητες Pr{α β} και Pr{β α}, προκύπτει εύκολα από τη Σχέση (2.1) και είναι γνωστή ως κανόνας του Bayes: Pr{β α} = Pr{β} Pr{α β} (2.3) Pr{α} Όπως θα δούμε στη συνέχεια, η σχέση αυτή παίζει σημαντικό ρόλο σε πολλά προβλήματα εκτίμησης σημάτων τα οποία θα δούμε στα επόμενα. 2.2.3 Τυχαίες μεταβλητές Κατά τη μελέτη εφαρμογών, σπάνια ορίζουμε ρητά τον χώρο πιθανότητας που περιγράφει το πείραμα τύχης που μελετάμε. Αντίθετα, εργαζόμαστε ορίζοντας τυχαίες μεταβλητές οι οποίες αποτελούν απεικονίσεις από το δειγματοχώρο Ω σε άλλους χώρους όπως το σύνολο των πραγματικών αριθμών R. Μια τυχαία μεταβλητή είναι μια συνάρτηση με πεδίο ορισμού το δειγματοχώρο Ω ενός πειράματος τύχης, η οποία αντιστοιχίζει κάθε σημείο του δειγματοχώρου σε ένα σημείο ενός χώρου όπως ο R N. Για παράδειγμα, μια τυχαία μεταβλητή που λαμβάνει πραγματικές τιμές είναι μια απεικόνιση X : Ω R, δηλαδή για κάθε ω Ω έχουμε μια τιμή X (ω) R. Μέσω μιας τυχαίας μεταβλητής μπορούμε να ορίζουμε και ενδεχόμενα, για παράδειγμα με την έκφραση {X 0} εννοούμε το γεγονός που ορίζεται ως η ένωση όλων των ω Ω για τα οποία X (ω) 0, δηλαδή {X 0} = {ω : X (ω) 0}. (2.4) Με τον τρόπο αυτό, μπορούμε να αντιστοιχούμε και πιθανότητες σε γεγονότα τα οποία ορίζονται μέσω τυχαίων μεταβλητών, για παράδειγμα Pr{{X 0}} = Pr{{ω : X (ω) 0}}. (2.5) Γενικότερα, για οποιοδήποτε σύνολο A R και μια τυχαία μεταβλητή που λαμβάνει πραγματικές τιμές μπορούμε να ορίσουμε το ενδεχόμενο {X A} και την αντίστοιχη πιθανότητα Pr{X A}. Μια τυχαία μεταβλητή λέγεται διακριτή όταν λαμβάνει τιμές από ένα πεπερασμένο ή αριθμήσιμα άπειρο σύνολο τιμών. Αντίθετα, μια τυχαία μεταβλητή ονομάζεται συνεχής όταν το πλήθος των τιμών της είναι μη αριθμήσιμα άπειρο.

12 ΚΕΦΑΛΑΙΟ 2. ΕΙΣΑΓΩΓΗ ΣΤΙΣ ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ 2.2.4 Συνάρτηση κατανομής και πυκνότητα πιθανότητας Για τις βαθμωτές τυχαίες μεταβλητές που λαμβάνουν πραγματικές τιμές συνηθίζουμε να ορίζουμε τις πιθανότητες Pr{X x} συναρτήσει του x. Η συνάρτηση που ορίζεται με αυτόν τον τρόπο ονομάζεται αθροιστική συνάρτηση κατανομής ή απλά συνάρτηση κατανομής (Cumulative Distribution Function, CDF) της τυχαίας μεταβλητής X και τη συμβολίζουμε ως F X (x). Μέσω της συνάρτησης κατανομής μπορούμε να υπολογίζουμε την πιθανότητα η τυχαία μεταβλητή να λαμβάνει τιμή εντός ενός διαστήματος, για παράδειγμα η πιθανότητα η τυχαία μεταβλητή X να λαμβάνει τιμή στο διάστημα (a, b], με b > a, θα δίνεται ως F X (b) F X (a) = Pr{X b} Pr{X a} = (Pr{X a} + Pr{a < X b}) Pr{X a} = Pr{a < X b}. Για μια συνεχή τυχαία μεταβλητή X θεωρούμε τώρα πως το όριο lim ϵ 0 ( ) FX (x + ϵ) F X (x) υπάρχει σε κάθε σημείο x, δηλαδή η συνάρτηση κατανομής είναι παραγωγίσιμη παντού. Την παράγωγο της F X (x) τη συμβολίζουμε ως f X (x) και την ονομάζουμε συνάρτηση πυκνότητας πιθανότητας (Probability Density Function, PDF) της τυχαίας μεταβλητής X. Μια ιδιότητα της συνάρτησης πυκνότητας πιθανότητας είναι πως, καθώς η συνάρτηση κατανομής είναι μια αύξουσα συνάρτηση του x, η παράγωγός της θα πρέπει να λαμβάνει μόνο μη αρνητικές τιμές, δηλαδή f X (x) 0. Επίσης, η συνάρτηση κατανομής θα δίνεται μέσω της συνάρτησης πυκνότητας πιθανότητας από τη σχέση F X (x) = x ϵ f X (t)dt. (2.6) Η πιθανότητα μια τυχαία μεταβλητή X να λάβει τιμή από ένα διάστημα (a, b] μπορεί να εκφραστεί μέσω της συνάρτησης πυκνότητας πιθανότητας από τη σχέση Pr{a < X b} = b a f X (x)dx (2.7) από την οποία μπορούμε να κατανοήσουμε το λόγο για τον οποίο χρησιμοποιούμε τον όρο πυκνότητα πιθανότητας για τη συνάρτηση f X (x). Οι βαθμωτές διακριτές τυχαίες μεταβλητές δεν έχουν συνάρτηση πυκνότητας πιθανότητας, αντίθετα για τις τυχαίες μεταβλητές αυτές ορίζουμε τη λεγόμενη συνάρτηση μάζας πιθανότητας (Probability Mass Function, PMF), η οποία απλά αντιστοιχίζει κάθε σημείο του συνόλου τιμών της στην πιθανότητα εμφάνισης που έχει. Έτσι, για μια διακριτή τυχαία μεταβλητή X που λαμβάνει τιμές από ένα σύνολο της μορφής {x 1, x 2, x 3,...} (πεπερασμένο ή αριθμήσιμα άπειρο), η συνάρτηση μάζας πιθανότητας είναι απλά p X (x n ) = Pr{X = x n }. (2.8)

2.2. ΒΑΣΙΚΗ ΘΕΩΡΙΑ ΠΙΘΑΝΟΤΗΤΩΝ 13 2.2.5 Αναμενόμενη τιμή Σε πολλές περιπτώσεις ενδιαφερόμαστε να υπολογίσουμε την αναμενόμενη τιμή μιας τυχαίας μεταβλητής ή, γενικότερα, μιας συνάρτησης της τυχαίας μεταβλητής. Για μια συνεχή τυχαία μεταβλητή X με συνάρτηση πυκνότητας πιθανότητας f X (x), η αναμενόμενη τιμή μιας συνάρτησης, έστω g(x), θα δίνεται από τη σχέση E[g(X )] = g(x)f X (x)dx. (2.9) Στην περίπτωση όπου η τυχαία μεταβλητή είναι διακριτή, η αναμενόμενη τιμή μιας συνάρτησης g(x) θα ορίζεται από τη σχέση E[g(X )] = g(x n ) Pr{X = x n }, (2.10) n είναι δηλαδή το άθροισμα με βάρη τις πιθανότητες, των αντίστοιχων τιμών της συνάρτησης που μας ενδιαφέρει. Για την επιλογή g(x) = x, υπολογίζουμε την αναμενόμενη τιμή της τυχαίας μεταβλητής µ = E[X ]. Επίσης, για την επιλογή g(x) = (x µ) 2 υπολογίζουμε τη διασπορά της τυχαίας μεταβλητής σ 2 = E[(X µ) 2 ]. Στην περίπτωση όπου η τυχαία μεταβλητή X έχει διανυσματική μορφή με διάσταση N, το διάνυσμα αναμενόμενων τιμών θα αποτελείται από τις αναμενόμενες τιμές των επιμέρους βαθμωτών τυχαίων μεταβλητών µ = E[X ] = µ 1 µ 2., και ο πίνακας συνδιασποράς θα δίνεται από τη σχέση µ N Σ = E[(X µ)(x µ) T ] με στοιχεία Σ m,n = E[(X m µ m )(X n µ n )], για m, n {1, 2, 3,..., N}. Σε ορισμένες περιπτώσεις, θεωρούμε ένα γραμμικό μετασχηματισμό μιας πολυδιάστατης τυχαίας μεταβλητής X, μέσω μιας σχέσης της μορφής Y = AX όπου ο πίνακας A είναι ένας M N πίνακας ο οποίος μετασχηματίζει γραμμικά την τυχαία μεταβλητή X (διάστασης N) και παράγει την τυχαία μεταβλητή Y (διάστασης M). Στην περίπτωση αυτή, το διάνυσμα αναμενόμενων τιμών της τυχαίας μεταβλητής Y θα είναι E[AX ] = Aµ και ο πίνακας συνδιασποράς της τυχαίας μεταβλητής Y θα είναι E[(AX Aµ)(AX Aµ) T ] = AΣA T Στην ειδική περίπτωση όπου η τυχαία μεταβλητή X στην οποία εφαρμόζεται ο γραμμικός μετασχηματισμός ακολουθεί μια πολυδιάστατη κανονική κατανομή (βλέπε επόμενη παράγραφο), τότε και η πολυδιάστατη τυχαία μεταβλητή Y θα ακολουθεί μια πολυδιάστατη κανονική κατανομή (πιθανώς) διαφορετικής διάστασης και με διαφορετικό διάνυσμα αναμενόμενων τιμών και πίνακα συνδιασποράς. Πιο συγκεκριμένα, θα είναι Y N (Aµ, AΣA T ). Στη γενική περίπτωση ωστόσο, η κατανομή που θα ακολουθεί η μετασχηματισμένη τυχαία μεταβλητή θα είναι διαφορετικής μορφής σε σχέση με την αρχική κατανομή.

14 ΚΕΦΑΛΑΙΟ 2. ΕΙΣΑΓΩΓΗ ΣΤΙΣ ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ Σε πολλές εφαρμογές της στατιστικής επεξεργασίας σημάτων, είναι ιδιαίτερα χρήσιμο να υπολογίζουμε την υπό συνθήκη αναμενόμενη τιμή μιας τυχαίας μεταβλητής. Για παράδειγμα, αν θεωρήσουμε τις εξαρτημένες τυχαίες μεταβλητές X και Y, τότε η αναμενόμενη τιμή μιας συνάρτησης g(x), που συμβολίζεται με E[g(X )] θα είναι διαφορετική από την αναμενόμενη τιμή της ίδιας συνάρτησης ενώ γνωρίζουμε την τιμή της τυχαίας μεταβλητής Y. Η δεύτερη αναμενόμενη τιμή ονομάζεται υπό συνθήκη αναμενόμενη τιμή και για συνεχείς τυχαίες μεταβλητές θα δίνεται από τη σχέση E[g(X ) Y = y] = g(x)f X (x y)dx (2.11) όπου f X (x y) είναι η υπό συνθήκη συνάρτηση πυκνότητας πιθανότητας της τυχαίας μεταβλητής X όταν έχουμε παρατηρήσει την τιμή της τυχαίας μεταβλητής Y. 2.2.6 Gaussian τυχαίες μεταβλητές Οι Gaussian τυχαίες μεταβλητές κατέχουν ένα πολύ σημαντικό ρόλο στη θεωρία πιθανοτήτων. Μια τυχαία μεταβλητή X λέγεται Gaussian όταν η συνάρτηση πυκνότητας πιθανότητάς της είναι της μορφής 1 f X (x) = exp { (x m } x) 2 σ x 2π όπου m x και σ 2 x είναι η μέση τιμή και η διασπορά της X, αντίστοιχα. Παρατηρήστε ότι η πυκνότητα πιθανότητας μιας Gaussian τυχαίας μεταβλητής ορίζεται πλήρως αν γνωρίζουμε τη μέση τιμή και τη διασπορά της. Δύο τυχαίες μεταβλητές λέγονται από κοινού Gaussian όταν η από κοινού πυκνότητα πιθανότητάς τους είναι { [ 1 (x mx ) 2 f X,Y (x, y) = A exp 2(1 ρ 2 xy) σ 2 x 2σ 2 x (x m x )(y m y ) 2ρ xy + (y m ]} y) 2 σ x σ y σy 2 όπου 1 A = 2πσ x σ y 1 ρ 2 xy και έχουμε χρησιμοποιήσει τον συντελεστή συσχέτισης (correlation coefficient), των τυχαίων μεταβλητών X και Y ο οποίος ορίζεται ως ρ xy = E[(x m x)(y m y ) ] σ x σ y = E[xy ] m x m y σ x σ y. (2.12) Και πάλι, η από κοινού πυκνότητα πιθανότητας ορίζεται πλήρως αν γνωρίζουμε τις μέσες τιμές, τις διασπορές, και το συντελεστή συσχέτισης ρ xy. Οι Gaussian τυχαίες μεταβλητές έχουν μια σειρά από ενδιαφέρουσες ιδιότητες. Στη συνέχεια, αναφέρουμε κάποιες από αυτές: Ιδιότητα 1. Αν οι X και Y είναι από κοινού Gaussian τυχαίες μεταβλητές, τότε για κάθε σταθερές a και b η τυχαία μεταβλητή Z = ax + by

2.2. ΒΑΣΙΚΗ ΘΕΩΡΙΑ ΠΙΘΑΝΟΤΗΤΩΝ 15 είναι Gaussian με μέση τιμή και διασπορά m z = am x + bm y σ 2 z = a 2 σ 2 x + b 2 σ 2 y + 2abσ x σ y ρ xy Ιδιότητα 2. Αν δύο από κοινού Gaussian τυχαίες μεταβλητές είναι ασυσχέτιστες, ρ xy = 0, τότε είναι και στατιστικά ανεξάρτητες, f X,Y (x, y) = f X (x)f Y (y). Ιδιότητα 3. Αν η X είναι Gaussian και μηδενικής μέσης τιμής, τότε { E [X n 1 3 5 (n 1)σx 2 ; n άρτιος ] = 0 ; n περιττός 2.2.7 Πολυδιάστατες κατανομές Σε πολλές εφαρμογές της στατιστικής επεξεργασίας σημάτων, χρειάζεται να ορίσουμε τυχαίες μεταβλητές οι οποίες λαμβάνουν τιμές που έχουν διανυσματική μορφή. Μια τυχαία μεταβλητή με διανυσματική μορφή αποτελείται από επιμέρους τυχαίες μεταβλητές που λαμβάνουν βαθμωτές τιμές. Οι πολυδιάστατες κατανομές περιγράφουν τις από κοινού σχέσεις πιθανότητας των επιμέρους τυχαίων μεταβλητών. Μια πολυδιάστατη κατανομή πιθανότητας που χρησιμοποιείται πολύ συχνά σε εφαρμογές της στατιστικής επεξεργασίας σημάτων, είναι η πολυδιάστατη κατανομή Gauss, ή κανονική κατανομή. Ας θεωρήσουμε μια τυχαία μεταβλητή X : Ω R N, δηλαδή μια τυχαία μεταβλητή που η τιμή της είναι ένα διάνυσμα N στοιχείων. Όπως είπαμε, κάθε ένα από αυτά τα στοιχεία μπορούμε να το αντιμετωπίσουμε ως μια βαθμωτή τυχαία μεταβλητή. Στην ειδική περίπτωση όπου οι επιμέρους τυχαίες μεταβλητές - στοιχεία του διανύσματος είναι ανεξάρτητες, τότε η από κοινού συνάρτηση πυκνότητας πιθανότητας των τυχαίων μεταβλητών, η οποία ταυτίζεται με τη συνάρτηση πυκνότητας πιθανότητας της πολυδιάστατης τυχαίας μεταβλητής, θα δίνεται ως το γινόμενο των επιμέρους συναρτήσεων πυκνότητας πιθανότητας. Στη γενική περίπτωση, όταν δηλαδή οι επιμέρους τυχαίες μεταβλητές δεν είναι ανεξάρτητες, μια τέτοια παραγοντοποίηση της από κοινού συνάρτησης πυκνότητας πιθανότητας δεν είναι δυνατή. Η πολυδιάστατη κανονική κατανομή αποτελεί ένα μοντέλο το οποίο μπορεί να περιγράψει εξαρτημένες τυχαίες μεταβλητές, και έχει τη μορφή 1 f X (x) = ( (2π)N Σ exp 1 ) 2 (x µ)t Σ 1 (x µ), (2.13) όπου x R N είναι το όρισμα της πολυδιάστατης PDF, µ R N είναι το διάνυσμα μέσων τιμών της κατανομής και Σ R N N είναι ένας θετικά ημί-ορισμένος συμμετρικός πίνακας που ονομάζεται πίνακας συνδιασποράς. Επίσης, με Σ συμβολίζουμε την ορίζουσα του πίνακα Σ. Συνήθως χρησιμοποιούμε το συμβολισμό X N (µ, Σ) για να δηλώσουμε πως η τυχαία μεταβλητή X ακολουθεί την πολυδιάστατη κανονική κατανομή με διάνυσμα μέσων τιμών µ και πίνακα συνδιασποράς Σ. Στην περίπτωση όπου ο πίνακας Σ είναι διαγώνιος, τότε οι επιμέρους τυχαίες μεταβλητές είναι ασυσχέτιστες. Στη περίπτωση αυτή, ειδικά για την κανονική κατανομή, μπορούμε να γράψουμε την από κοινού

16 ΚΕΦΑΛΑΙΟ 2. ΕΙΣΑΓΩΓΗ ΣΤΙΣ ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ συνάρτηση πυκνότητας πιθανότητας ως γινόμενο των επιμέρους μονοδιάστατων συναρτήσεων πυκνότητας πιθανότητας, κάτι το οποίο συνεπάγεται πως οι επιμέρους τυχαίες μεταβλητές είναι ανεξάρτητες. Ωστόσο, γενικά δεν ισχύει πως οι ασυσχέτιστες τυχαίες μεταβλητές είναι και ανεξάρτητες, αυτό ισχύει στην ειδική περίπτωση όπου οι επιμέρους κατανομές είναι κανονικές. 2.3 Στοχαστικές διαδικασίες 2.3.1 Ορισμοί Ας υποθέσουμε πως κάνουμε ένα πείραμα τύχης στο οποίο ρίχνουμε ένα ζάρι και κρατάμε το αποτέλεσμα του πειράματος. Το αποτέλεσμα του πειράματος είναι έτσι ένας ακέραιος αριθμός από το 1 έως το 6. Όπως γνωρίζουμε, το αποτέλεσμα του συγκεκριμένου πειράματος τύχης μπορεί να αναπαρασταθεί από μια διακριτή τυχαία μεταβλητή X η οποία λαμβάνει τις ακέραιες τιμές από 1 έως 6, κάθε μια με πιθανότητα 1/6. Ας υποθέσουμε τώρα πως κάνουμε ένα διαφορετικό πείραμα τύχης στο οποίο ρίχνουμε αρχικά ένα ζάρι, κρατάμε το αποτέλεσμα, στη συνέχεια ρίχνουμε ένα νόμισμα και κρατάμε το αποτέλεσμα κ.ο.κ. Διαπιστώνουμε πως αυτό το πείραμα τύχης δεν μπορεί να περιγραφεί από μια τυχαία μεταβλητή όπως το προηγούμενο. Αντίθετα, εδώ έχουμε μια εξάρτηση από το χρόνο γιατί για παράδειγμα είναι αδύνατο να πάρουμε το αποτέλεσμα γράμματα όταν τη συγκεκριμένη χρονική στιγμή ρίχναμε το ζάρι. Για να περιγράψουμε το φαινόμενο αυτό, θέλουμε μια διαφορετική τυχαία μεταβλητή για κάθε χρονική στιγμή. Πιο συγκεκριμένα, το πείραμα περιγράφεται από την τυχαία μεταβλητή X του προηγούμενου πειράματος και από μια άλλη διακριτή τυχαία μεταβλητή Y η οποία λαμβάνει τις τιμές 1 (αντιστοιχία με κεφάλι) και 2 (αντιστοιχία με γράμματα) κάθε μια με πιθανότητα 1/2. Η τυχαία μεταβλητή X ισχύει για τις χρονικές στιγμές 0, 2, 4, 6,... και η τυχαία μεταβλητή Y ισχύει για τις χρονικές στιγμές 1, 3, 5,... Ας υποθέσουμε τώρα πως εκτελούμε το παραπάνω πείραμα τύχης για τις χρονικές στιγμές από 0 έως K 1. Καταλήγουμε έτσι σε μια ακολουθία αποτελεσμάτων A = {a 0, a 1, a 2,..., a K 1 } Η πιθανότητα η ακολουθία A να είναι μια συγκεκριμένη ακολουθία, για παράδειγμα η ακολουθία A 0 = {4, 2, 6, 1, 1, 2, 5, 1,..., 1}, τότε θα είναι Pr{A = A 0 } = ( ) K1 1 6 ( ) K2 1 2 όπου K 1 και K 2 είναι το πλήθος των πειραμάτων με το ζάρι και το νόμισμα αντίστοιχα και K = K 1 + K 2. Επομένως, ένας άλλος τρόπος να περιγράψουμε αυτό το πείραμα τύχης είναι να δώσουμε όλες τις πιθανότητες για όλες τις πιθανές ακολουθίες A. Με βάση όλα όσα περιγράψαμε, προκύπτουν οι ακόλουθοι δυο ισοδύναμοι ορισμοί για την έννοια της στοχαστικής διαδικασίας: 1. Μια στοχαστική διαδικασία X (t) είναι μια συνάρτηση του χρόνου. Η τιμή της συνάρτησης αυτής σε κάθε χρονική στιγμή είναι μια τυχαία μεταβλητή.

2.3. ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ 17 Ω p 1 ω 1 ω 2 p 2 ω i p i X [n 0 ] Σχήμα 2.1: Μια στοχαστική διαδικασία είναι μια αντιστοίχιση από ένα σύνολο σημάτων Ω στις πιθανότητες p 1, p 2,..., p i. Επίσης, σε μια συγκεκριμένη χρονική στιγμή n 0 η τιμή της στοχαστικής διαδικασίας είναι μια τυχαία μεταβλητή X [n 0 ] 2. Μια στοχαστική διαδικασία είναι μια αντιστοίχιση από ένα σύνολο σημάτων Ω (όπως η ακολουθία A) στο σύνολο των μη αρνητικών πραγματικών αριθμών (πιθανότητες ή πυκνότητες πιθανότητας). Κάθε ένα σήμα του δειγματοχώρου Ω ονομάζεται στιγμιότυπο ή υλοποίηση της στοχαστικής διαδικασίας. Στο Σχήμα (2.1) παρουσιάζουμε σχηματικά τους ανωτέρω ορισμούς. Με βάση τις χρονικές στιγμές στις οποίες ορίζεται μια στοχαστική διαδικασία έχουμε τις ακόλουθες κατηγορίες: 1. Στοχαστικές διαδικασίες συνεχούς χρόνου: Μια στοχαστική διαδικασία συνεχούς χρόνου X (t) ορίζεται σε οποιαδήποτε χρονική στιγμή. 2. Στοχαστικές διαδικασίες διακριτού χρόνου: Μια στοχαστική διαδικασία διακριτού χρόνου X [n] ορίζεται μόνο σε διακριτές χρονικές στιγμές. Επιπρόσθετα, ανάλογα με τις τιμές που λαμβάνει μια στοχαστική διαδικασία έχουμε τις ακόλουθες κατηγορίες: 1. Συνεχείς στοχαστικές διαδικασίες: Η τιμή μιας συνεχούς στοχαστικής διαδικασίας είναι μια συνεχής τυχαία μεταβλητή. 2. Διακριτές στοχαστικές διαδικασίες: Η τιμή μιας διακριτής στοχαστικής διαδικασίας είναι μια διακριτή τυχαία μεταβλητή. Οι διακριτές στοχαστικές διαδικασίες διακριτού χρόνου ονομάζονται και αλυσίδες. Στα επόμενα θα επικεντρωθούμε στις στοχαστικές διαδικασίες διακριτού χρόνου. Παράδειγμα 2.1 Ένα απλό παράδειγμα τυχαίας διαδικασίας διακριτού χρόνου είναι το ακόλουθο: Ας θεωρήσουμε το

18 ΚΕΦΑΛΑΙΟ 2. ΕΙΣΑΓΩΓΗ ΣΤΙΣ ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ πείραμα της ρίψης ενός δίκαιου ζαριού. Έστω A η τυχαία μεταβλητή στην οποία αναθέτουμε το αποτέλεσμα της ρίψης και A μια τιμή της. Μέσω της σχέσης, x(n) = A cos(nω 0 ) (2.14) έχουμε ορίσει μια τυχαία διαδικασία X [n]. Αυτή μπορεί να θεωρηθεί ως ένα σύνολο έξη διαφορετικών και ισοπίθανων σημάτων διακριτού χρόνου. Παράδειγμα 2.2 Μια πολυπλοκότερη διαδικασία μπορεί να παραχθεί μέσω του πειράματος διαδοχικών ρίψεων ενός νομίσματος. Τη χρονική στιγμή n, θέτουμε x(n) = 1 εάν ήρθε κεφαλή, και x(n) = 1 εάν ήρθε γράμματα. Με τον τρόπο αυτό δημιουργείται μια τυχαία διαδικασία διακριτού χρόνου X [n] που λαμβάνει τιμές ±1. Εάν η ρίψη του νομίσματος τη χρονική στιγμή n, δεν επηρεάζει το αποτέλεσμα κάποιας άλλης ρίψης, τότε η τυχαία διαδικασία που παράγεται ονομάζεται διαδικασία Bernoulli. Δοθείσης μιας τυχαίας διαδικασίας X [n], μπορούμε να παράγουμε μια άλλη, μετασχηματίζοντας την X [n] μέσω κάποιας μαθηματικής πράξης. Χαρακτηριστικός και ιδιαίτερα χρήσιμος μετασχηματισμός είναι το γραμμικό φιλτράρισμα. Αξίζει να αναφέρουμε στο σημείο αυτό πως προκειμένου να έχουμε μια πλήρη στατιστική περιγραφή μιας τυχαίας διαδικασίας, πέρα από τις συναρτήσεις πιθανοτήτων πρώτης τάξης, θα πρέπει να ορίσουμε και τις από κοινού πιθανότητες, F X [n1 ],...,X [n k ](α 1,..., α k ) = P r{x [n 1 ] α 1,..., X [n k ] α k } για κάθε συλλογή τυχαίων μεταβλητών X [n i ]. Ανάλογα με τη συγκεκριμένη μορφή των από κοινού πιθανοτήτων, μπορούμε να έχουμε αρκετά διαφορετικές τυχαίες διαδικασίες. Έστω, για παράδειγμα, μια τυχαία διαδικασία που σχηματίζεται από μια ακολουθία κανονικών τυχαίων μεταβλητών X [n]. Αν οι μεταβλητές αυτές είναι ασυσχέτιστες, τότε η ακολουθία είναι γνωστή ως λευκός, Gaussian θόρυβος. Αντίθετα, αν X [n] = α για κάθε n και α μια Gaussian τυχαία μεταβλητή, τότε κάθε τυχαία διαδικασία της συλλογής ισούται με μια σταθερά. Έτσι, αν και οι δύο διαδικασίες έχουν τα ίδια στατιστικά πρώτης τάξης, είναι σημαντικά διαφορετικές ως αποτέλεσμα των διαφορών τους στα στατιστικά υψηλότερης τάξης. 2.3.2 Μέσοι όροι συνόλων Εφόσον μια τυχαία διαδικασία είναι μια αριθμημένη ακολουθία τυχαίων μεταβλητών, μπορούμε να υπολογίσουμε τη μέση τιμή καθεμιάς από αυτές τις τυχαίες μεταβλητές. Με τον τρόπο αυτό παράγεται μια ντετερμινιστική ακολουθία m X [n] = E [X [n]] (2.15) γνωστή ως ο μέσος όρος της διαδικασίας. Κατά αντιστοιχία, υπολογίζοντας τη διασπορά κάθε τυχαίας μεταβλητής, δημιουργούμε την ακολουθία σx 2 [n] = E [ X [n] m X [n] 2] (2.16)

2.3. ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ 19 που λέγεται διασπορά της διαδικασίας. Παρατηρούμε πως η μέση τιμή και η διασπορά εξαρτώνται γενικά από το n. Δύο επιπλέον σημαντικοί μέσοι όροι συνόλου είναι η αυτοσυνδιασπορά (autocovariance) και η αυτοσυσχέτιση (autocorrelation) c X (k, l) = E [(X [k] m X [k])(x [l] m X [l]) ] (2.17) r X (k, l) = E [X [k]x [l]] (2.18) που αναφέρονται σε δύο τυχαίες μεταβλητές διαφορετικών χρονικών στιγμών X [k] και X [l]. Σημειώνουμε ότι για k = l, η αυτοσυνδιασπορά ανάγεται στη διασπορά c X (k, k) = σ 2 X [k]. Παρατηρήστε επίσης, ότι αν αναπτύξουμε τη Σχέση (2.17), τότε οι δύο τελευταίες συναρτήσεις συνδέονται ως c X (k, l) = r X (k, l) m X [k]m X [l] Έτσι, σε τυχαίες διαδικασίες με μηδενική μέση τιμή, η αυτοσυσχέτιση και η αυτοσυνδιασπορά είναι ίσες. Στα επόμενα, θα θεωρήσουμε ότι όλες οι τυχαίες διαδικασίες έχουν μηδενική μέση τιμή, εκτός αν κάπου αναφέρεται ρητά το αντίθετο. Επομένως, οι όροι αυτοσυσχέτιση και αυτοσυνδιασπορά είναι ανταλλάξιμοι. Η υπόθεση αυτή δεν περιορίζει τη γενικότητα, εφόσον, για κάθε τυχαία διαδικασία μη μηδενικής μέσης τιμής X [n] μπορούμε πάντοτε να σχηματίσουμε μια άλλη τυχαία διαδικασία Y[n] με μηδενική μέση τιμή ως Y[n] = X [n] m X [n]. Όπως στην περίπτωση των τυχαίων μεταβλητών, η συνάρτηση αυτοσυσχέτισης μας παρέχει πληροφορία για τη γραμμική εξάρτηση δύο τυχαίων μεταβλητών. Αν, για παράδειγμα, c X (k, l) = 0, k l, τότε οι μεταβλητές X [k] και X [l] είναι ασυσχέτιστες. Σε κάποιες εφαρμογές, που εμπεριέχουν περισσότερες από μία τυχαίες μεταβλητές, είναι απαραίτητο να γνωρίζουμε τη συσχέτιση ή τη συνδιασπορά μεταξύ τυχαίων μεταβλητών που ανήκουν σε διαφορετικές τυχαίες διαδικασίες. Συγκεκριμένα, αν X [n] και Y[n] δύο τυχαίες διαδικασίες, η ετεροσυνδιασπορά (cross-covariance) τους ορίζεται ως και η ετεροσυσχέτισή (cross-correlation) τους Οι δύο αυτές συναρτήσεις ικανοποιούν τη σχέση c X Y (k, l) = E [(X [k] m X [k])(y[l] m Y [l]) ] (2.19) r X Y (k, l) = E [X [k]y [l]] (2.20) c X Y (k, l) = r X Y (k, l) m X [k]m Y[l]. Αν c X Y (k, l) = 0 ή ισοδύναμα r X Y (k, l) = m X [k]m Y [l] για κάθε k και l, τότε οι δύο τυχαίες διαδικασίες είναι ασυσχέτιστες (uncorrelated). Αντίστοιχα, αν r X Y (k, l) = 0 δύο διαδικασίες είναι ορθογώνιες (orthogonal). Αν και οι ορθογώνιες τυχαίες διαδικασίες δεν είναι απαραίτητα ασυσχέτιστες, τυχαίες διαδικασίες μηδενικής μέσης τιμής που είναι ασυσχέτιστες είναι και ορθογώνιες.

20 ΚΕΦΑΛΑΙΟ 2. ΕΙΣΑΓΩΓΗ ΣΤΙΣ ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ Σε κάθε πρακτική εφαρμογή, οι παρατηρήσεις των δεδομένων αλλοιώνονται από θόρυβο ή σφάλματα μέτρησης. Σε πολλές εφαρμογές, ο θόρυβος μοντελοποιείται ως προσθετικός, έτσι ώστε αν X [n] είναι το σήμα και W[n] είναι ο θόρυβος, τότε το παρατηρούμενο σήμα είναι Y[n] = X [n] + W[n]. Συχνά, αυτός ο προσθετικός θόρυβος θεωρείται μηδενικής μέσης τιμής και ασυσχέτιστος με το σήμα. Στην περίπτωση αυτή, η αυτοσυσχέτιση των δεδομένων μέτρησης είναι το άθροισμα των αυτοσυσχετίσεων των X [n] και W[n]. Αυτό προκύπτει αναλυτικά ως εξής r Y (k, l) = E [Y[k]Y [l]] = E [(X [k] + W[k])(X [l] + W[l]) ] = E [X [k]x [l]] + E [W[k]W [l]] + E [X [k]w [l]] + E [W[k]X [l]] = r X (k, l) + r W (k, l) (2.21) Συνοψίζοντας το παραπάνω βασικό αποτέλεσμα, έχουμε την εξής ιδιότητα Ιδιότητα Αν δύο τυχαίες διαδικασίες, X [n] και Y[n], είναι ασυσχέτιστες, τότε η αυτοσυσχέτιση του αθροίσματος Z[n] = X [n] + Y[n] ισούται με το άθροισμα των αυτοσυσχετίσεων, δηλαδή r Z (k, l) = r X (k, l) + r Y (k, l). 2.3.3 Gaussian διαδικασίες Στην Παράγραφο 2.2.6 εξηγήσαμε τι σημαίνει δύο τυχαίες μεταβλητές να είναι από κοινού κανονικές (Gaussian). Ο ορισμός αυτός μπορεί να επεκταθεί σε μια συλλογή από n τυχαίες μεταβλητές ως ακολούθως. Έστω X = [X 1, X 2,..., X n ] T ένα διάνυσμα με n πραγματικές τυχαίες μεταβλητές. Το διάνυσμα αυτό λέγεται Gaussian τυχαίο διάνυσμα και οι τυχαίες μεταβλητές λέγονται από κοινού Gaussian αν η από κοινού πυκνότητα πιθανότητας των n μεταβλητών X i είναι f X (x) = { 1 exp 1 } (2π) n/2 C X 1/2 2 (x m X ) T C 1 X (x m X ) όπου m X = [m 1, m 2,..., m n ] T είναι ένα διάνυσμα που περιέχει τις μέσες τιμές των X i, δηλαδή = E [X i ]. Ο C X είναι ένας συμμετρικός, θετικά ορισμένος πίνακας με στοιχεία c ij που είναι οι m i συνδιασπορές μεταξύ των X i και X j, δηλαδή c ij = E [(X i m i )(X j m j )]. Τέλος C X είναι η ορίζουσα του πίνακα συνδιασποράς. Μια τυχαία διαδικασία X [n] λέγεται Gaussian αν κάθε πεπερασμένη συλλογή δειγμάτων X [n] είναι από κοινού Gaussian. Μια Gaussian τυχαία διαδικασία ορίζεται πλήρως από το διάνυσμα των μέσων τιμών και τον πίνακα της συνδιασποράς.

2.3. ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ 21 2.3.4 Στάσιμες διαδικασίες Σε πολλές εφαρμογές επεξεργασίας σημάτων, οι στατιστικές ιδιότητες ή οι μέσοι όροι συνόλων μιας τυχαίας διαδικασίας είναι συχνά ανεξάρτητες του χρόνου n. Για παράδειγμα, ο θόρυβος κβαντισμού που εισάγεται σε ένα DSP (Digital Signal Processor) με αριθμητική σταθερής υποδιαστολής, συνήθως έχει σταθερή μέση τιμή και διασπορά, όταν το σήμα εισόδου είναι αρκετά πολύπλοκο. Γενικά, θεωρούμε ότι ο θόρυβος κβαντισμού έχει πυκνότητες πιθανότητας πρώτης και δεύτερης τάξης (δηλαδή, πυκνότητες πιθανότητας που εξετάζουν είτε μια χρονική στιγμή είτε ένα ζεύγος από χρονικές τιμές) που είναι ανεξάρτητες του χρόνου. Αυτές οι συνθήκες αποτελούν παραδείγματα στατιστικής χρονικής σταθερότητας ή στασιμότητας (stationarity). Στην υποενότητα αυτή θα ορίσουμε διάφορα είδη στασιμότητας. Όπως θα δούμε στην Παράγραφο 2.3.6, η υπόθεση της στασιμότητας είναι πολύ σημαντική για την εκτίμηση των μέσων όρων συνόλων. Αν η πυκνότητα πιθανότητας μιας τυχαίας διαδικασίας X [n] είναι ανεξάρτητη του χρόνου, δηλαδή f X [n] (α) = f X [n+k] (α), για κάθε k, τότε η διαδικασία ονομάζεται στάσιμη πρώτης τάξης (first order stationary). Η στασιμότητα πρώτης τάξης σημαίνει ότι τα στατιστικά πρώτης τάξης είναι ανεξάρτητα του χρόνου. Για παράδειγμα, η μέση τιμή και η διασπορά της διαδικασίας θα είναι σταθερές, m X [n] = m X σx 2 [n] = σx 2. Κατά παρόμοιο τρόπο, μια διαδικασία λέγεται δεύτερης τάξης στάσιμη (second order stationary) όταν η από κοινού πυκνότητα πιθανότητας δεύτερης τάξης f X [n1 ],X [n 2 ](α 1, α 2 ) εξαρτάται μόνο από τη χρονική διαφορά n 2 n 1, και όχι από τις ξεχωριστές χρονικές στιγμές n 1 και n 2. Ισοδύναμα, η διαδικασία X [n] είναι στάσιμη δεύτερης τάξης, αν για κάθε k, οι διαδικασίες X [n] και X [n + k] έχουν την ίδια από κοινού πυκνότητα δεύτερης τάξης f X [n1 ],X [n 2 ](α 1, α 2 ) = f X [n1 +k],x [n 2 +k](α 1, α 2 ). Αν μια διαδικασία είναι στάσιμη δεύτερης τάξης, τότε θα είναι και στάσιμη πρώτης τάξης. Επιπλέον, η στασιμότητα δεύτερης τάξης σημαίνει ότι τα στατιστικά δεύτερης τάξης είναι σταθερά ως προς μια χρονική μετατόπιση της διαδικασίας. Ας δούμε την ακολουθία της αυτοσυσχέτισης r X (k, l) = = αβf X [k],x [l] (α, β)dα dβ αβf X [k+n],x [l+n] (α, β)dα dβ = r X (k + n, l + n) (2.22) Επομένως, η συσχέτιση μεταξύ των τυχαίων μεταβλητών X [k] και X [l] εξαρτάται μόνο από τη διαφορά k l, η οποία καλείται lag. Έτσι, προχωράμε στην παρακάτω απλοποίηση του συμβολισμού r X (k, l) = r X (k l, 0) r X (k l)

22 ΚΕΦΑΛΑΙΟ 2. ΕΙΣΑΓΩΓΗ ΣΤΙΣ ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ Συνεχίζοντας σε συναρτήσεις από κοινού πυκνότητας μεγαλύτερης τάξης, μια διαδικασία λέγεται στάσιμη L τάξης (L order stationary), αν οι διαδικασίες X [n] και X [n + k] έχουν τις ίδιες από κοινού πυκνότητες L τάξης. Τέλος, μια διαδικασία που είναι στάσιμη για όλες τις τάξεις L > 0 λέγεται αυστηρά στάσιμη (stationary in the strict sense). Η ισχυρή στασιμότητα είναι πολύ αυστηρή συνθήκη και σπάνια ικανοποιείται από φυσικές διαδικασίες. Άλλωστε συνήθως μας ενδιαφέρουν τα στατιστικά πρώτης και δεύτερης τάξης. Για τους λόγους αυτούς, προχωράμε σε έναν χαλαρότερο ορισμό της στασιμότητας που είναι γνωστός ως στασιμότητα υπό την ευρεία έννοια (Wide Sense Stationarity - WSS), που ορίζεται ως εξής. Wide Sense Stationarity - WSS Μια τυχαία διαδικασία λέγεται στάσιμη υπό την ευρεία έννοια, αν ικανοποιούνται οι τρεις επόμενες συνθήκες: 1. Η μέση τιμή είναι μια σταθερά, ανεξάρτητη του χρόνου, m X [n] = m X. 2. Η αυτοσυσχέτιση r X (k, l) εξαρτάται μόνο από τη χρονική διαφορά k l (lag). 3. Η διασπορά της διαδικασίας είναι πεπερασμένη c X (0) <. Επειδή οι παραπάνω συνθήκες αναφέρονται στα στατιστικά συνόλου και όχι στις συναρτήσεις πυκνότητας, η στασιμότητα με την ευρεία έννοια είναι χαλαρότερος περιορισμός σε σχέση με τη στασιμότητα δεύτερης τάξης. Ωστόσο, στην περίπτωση των Gaussian διαδικασιών η στασιμότητα υπό την ευρεία έννοια είναι ισοδύναμη της αυστηρής στασιμότητας. Αυτό είναι αποτέλεσμα του γεγονότος ότι μια Gaussian διαδικασία ορίζεται πλήρως στατιστικά από τη μέση τιμή και τη συνδιασπορά της. Στην περίπτωση που έχουμε δύο ή περισσότερες στοχαστικές διαδικασίες, υπάρχουν αντίστοιχοι ορισμοί για την από κοινού στασιμότητα (joint stationarity). Για παράδειγμα, δύο διαδικασίες, X [n] και Y[n] λέγονται από κοινού WSS (jointly WSS), αν καθεμιά από αυτές είναι WSS και η ετεροσυσχέτισή τους r X Y (k, l) εξαρτάται μόνο από τη διαφορά k l, δηλαδή r X Y (k, l) = r X Y (k + n, l + n) r X (k l) = E [X [k]y [l]]. Η ακολουθία αυτοσυσχέτισης μιας WSS διαδικασίας παρουσιάζει αρκετές χρήσιμες και σημαντικές ιδιότητες, κάποιες από τις οποίες παρουσιάζονται στη συνέχεια: Ιδιότητα 1: Συμμετρία. Η αυτοσυσχέτιση μιας WSS τυχαίας διαδικασίας είναι συζυγώς συμμετρική συνάρτηση του k, r X (k) = rx ( k) Για πραγματικές διαδικασίες, είναι συμμετρική r X (k) = r X ( k). Ιδιότητα 2: Μέση Τετραγωνική Τιμή. Η τιμή της αυτοσυσχέτισης μιας WSS διαδικασίας στο lag k = 0 ισούται με τη μέση τετραγωνική τιμή της διαδικασίας, r X (0) = E [ X [n] 2] 0

2.3. ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ 23 Ιδιότητα 3: Μέγιστη Τιμή. Το μέτρο της αυτοσυσχέτισης μιας WSS διαδικασίας στο lag k έχει ως άνω όριο την τιμή της συνάρτησης για το lag k = 0, r X (k) r X (0) Ιδιότητα 4: Περιοδικότητα. Αν μια WSS διαδικασία ικανοποιεί τη συνθήκη r X (k 0 ) = r X (0), για κάποιο k 0, τότε η r X (k) είναι περιοδική με περίοδο k 0. 2.3.5 Πίνακας αυτοσυσχέτισης και συνδιασποράς Οι ακολουθίες αυτοσυσχέτισης και συνδιασποράς είναι πολύ σημαντικά στατιστικά χαρακτηριστικά δεύτερης τάξης για τυχαίες διαδικασίες διακριτού χρόνου. Για το λόγο αυτό συχνά εκφράζονται υπό μορφή πινάκων. Για παράδειγμα, αν X = [X [0] X [1]... X [p]] T είναι ένα διάνυσμα p + 1 τιμών μια διαδικασίας X [n], τότε το εξωτερικό γινόμενο X [0]X [0] X [0]X [1] X [0]X [p] X [1]X X X H = [0] X [1]X [1] X [1]X [p]...... X [p]x [0] X [p]x [1] X [p]x [p] (2.23) είναι ένας (p + 1) (p + 1) πίνακας. Εάν η X [n] είναι WSS, παίρνοντας την αναμενόμενη τιμή και χρησιμοποιώντας την Ερμιτιανή συμμετρία της ακολουθίας αυτοσυσχέτισης, r X (k) = rx ( k), οδηγούμαστε σε έναν πίνακα των τιμών της αυτοσυσχέτισης, r X (0) rx R X = E [ (1) r X (p) X X H] r = X (1) r X (0) r X (p 1)....... (2.24) r X (p) r X (p 1) r X (0) Ο πίνακας αυτός ονομάζεται πίνακας αυτοσυσχέτισης (autocorrelation matrix). Κατά αναλογία, μπορούμε να ορίσουμε και τον πίνακα συνδιασποράς (autocovariance matrix), ως C X = E [ (X m X )(X m X ) H] όπου m X = [m X,..., m X ] T είναι ένα p + 1 διάνυσμα που περιέχει τη μέση τιμή της διαδικασίας. Οι δύο πίνακες σχετίζονται ως εξής C X = R X m X m H X Για τυχαίες διαδικασίες μηδενικής μέσης τιμής, οι δύο πίνακες ταυτίζονται. Στη συνέχεια, παραθέτουμε κάποιες βασικές ιδιότητες.

24 ΚΕΦΑΛΑΙΟ 2. ΕΙΣΑΓΩΓΗ ΣΤΙΣ ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ Ιδιότητα 1: Ο πίνακας αυτοσυσχέτισης μια WSS τυχαίας διαδικασίας X [n] είναι ένας Toeplitz και Ερμιτιανός πίνακας, R X = Toeplitz {r X (0), r X (1),..., r X (p)} Ιδιότητα 2: Είναι μη αρνητικά ορισμένος, R X 0, δηλαδή v H R X v 0 για κάθε μη μηδενικό διάνυσμα v C p+1. Ιδιότητα 3: Οι ιδιοτιμές του λ k είναι πραγματικές και μη αρνητικές. 2.3.6 Εργοδικότητα Η μέση τιμή και η αυτοσυσχέτιση μιας τυχαίας διαδικασίας αποτελούν στατιστικούς μέσους όρους που αναφέρονται σε όλα τα σήματα διακριτού χρόνου (υλοποιήσεις) που αποτελούν τη διαδικασία. Ωστόσο, σε πολλά προβλήματα, αν και χρειαζόμαστε τα παραπάνω στατιστικά, δεν τα γνωρίζουμε εξαρχής, αλλά θα πρέπει να τα εκτιμήσουμε από τα δεδομένα. Η εκτίμηση των στατιστικών αυτών από μια υλοποίηση της τυχαίας διαδικασίας είναι ένα σημαντικό πρόβλημα. Στην υποενότητα αυτή ασχολούμαστε με την εκτίμηση της μέσης τιμής και της αυτοσυσχέτισης μια τυχαίας διαδικασίας και παραθέτουμε κάποιες συνθήκες που μας επιτρέπουν να εκτιμήσουμε αυτούς τους στατιστικούς μέσους όρους από χρονικούς μέσους όρους. Ας ξεκινήσουμε από την εκτίμηση της μέσης τιμής. Έστω λοιπόν μια στοχαστική διαδικασία, X [n], για την οποία έχουμε μια τεράστια συλλογή από υλοποιήσεις, δηλαδή σήματα διακριτού χρόνου, x i [n], i = 1..., L. Στην περίπτωση αυτή, θα μπορούσαμε να κάνουμε μια εκτίμηση της μέσης τιμής, από το χρονικό μέσο όρο: ˆm X [n] = 1 L L x i [n] Ωστόσο, στις περισσότερες εφαρμογές, δεν έχουμε διαθέσιμες όλες αυτές τις υλοποιήσεις της X [n], αλλά μόνο μια υλοποίησή της, δηλαδή μόνο ένα σήμα διακριτού χρόνου. Στην περίπτωση αυτή, η i=1 παραπάνω εκτίμηση μας δεν μπορεί να χρησιμοποιηθεί. Αν έχουμε μία μόνο υλοποίηση x[n] της τυχαίας διαδικασίας X [n], τότε μια εκτίμηση του στοχαστικού μέσου όρου E [X [n]] θα μπορούσε να είναι ο χρονικός ή δειγματικός μέσος της υλοποίησης, δηλαδή ˆm X,N = 1 N N 1 n=0 x[n]. (2.25) Προκειμένου να έχει κάποιο νόημα ο παραπάνω εκτιμητής, θα πρέπει να επιβάλλουμε κάποιους περιορισμούς στην τυχαία διαδικασία. Αν η τυχαία διαδικασία δεν είναι στάσιμη πρώτης τάξης, δηλαδή η μέση τιμή της δεν είναι σταθερή, αλλά συνάρτηση του χρόνου, m X [n], τότε είναι προφανές ότι ο παραπάνω εκτιμητής δεν έχει νόημα. Άρα, ένας πρώτος περιορισμός είναι η τυχαία διαδικασία να έχει σταθερή μέση τιμή. Αν περιορίσουμε το ενδιαφέρον μας σε WSS διαδικασίες, τότε έχουμε το πλεονέκτημα ότι η ακολουθία της μέσης τιμής είναι σταθερή, m X [n] = m X. Στις περιπτώσεις αυτές γεννάται το ερώτημα αν μπορώ να εκτιμήσω τη στοχαστική μέση τιμή του σήματος χρησιμοποιώντας τη Σχέση (2.25).

2.3. ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ 25 Παρατηρούμε ότι ο δειγματικός μέσος όρος είναι ο μέσος όρος των τυχαίων μεταβλητών X [0],..., X [N 1], οπότε η ˆm X,N είναι επίσης μια τυχαία μεταβλητή. Αν τη δούμε ως ακολουθία αριθμημένη ως προς το N, τότε είναι μια ακολουθία τυχαίων μεταβλητών. Αν και υπάρχουν διάφοροι ορισμοί της σύγκλισης, εμείς θα εξετάσουμε τη σύγκλιση υπό την έννοια των μέσων τετραγώνων. Η συνθήκη για μια τέτοια σύγκλιση της εκτίμησης είναι lim E [ ˆm X,N m x 2] = 0 (2.26) N Ορισμός Εργοδικότητας Εάν ο δειγματικός μέσος όρος ˆm X,N μιας WSS στοχαστικής διαδικασίας συγκλίνει στο m X υπό την έννοια των μέσων τετραγώνων, τότε η διαδικασία λέγεται εργοδική ως προς τη μέση τιμή (ergodic in the mean) και γράφουμε lim ˆm X,N = m X. N Ικανές και αναγκαίες συνθήκες για τη σύγκλιση αυτή είναι οι εξής δύο: 1. Ο δειγματικός μέσος όρος να είναι ασυμπτωτικά αμερόληπτος, 2. Η διασπορά της εκτίμησης να τείνει στο μηδέν καθώς N, lim E [ ˆm X,N] = m X (2.27) N lim Var [ ˆm X,N] = 0. (2.28) N Η πρώτη συνθήκη ικανοποιείται για κάθε WSS διαδικασία εφόσον ισχύει E [ ˆm X,N ] = 1 N N 1 n=0 E [X [n]] = m X Όσο αφορά τη δεύτερη συνθήκη στη Σχέση (2.28), θα πρέπει να τεθούν και άλλοι περιορισμοί. Αποδεικνύεται ότι η X [n] είναι εργοδική ως προς τη μέση τιμή αν και μόνο αν lim N 1 N N 1 k= N+1 ( 1 k ) c X (k) = 0 (2.29) N Μια ισοδύναμη ικανή και αναγκαία συνθήκη εκφράζεται από το επόμενο θεώρημα: Εργοδικότητα ως προς τη Μέση Τιμή 1 Έστω X [n] μια WSS διαδικασία με ακολουθία συνδιασποράς c X (k). Η διαδικασία είναι εργοδική ως προς τη μέση τιμή αν και μόνο αν lim N N 1 1 N k=0 c X (k) = 0 (2.30) Σύμφωνα με το θεώρημα αυτό, ικανή και αναγκαία συνθήκη είναι η ασυμπτωτική μείωση της ακολουθίας αυτοσυσχέτισης. Στο επόμενο θεώρημα δίνεται μια ικανή συνθήκη για την εργοδικότητα που είναι ευκολότερο να εφαρμοστεί.

26 ΚΕΦΑΛΑΙΟ 2. ΕΙΣΑΓΩΓΗ ΣΤΙΣ ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ Εργοδικότητα ως προς τη Μέση Τιμή 2 Έστω X [n] μια WSS διαδικασία με ακολουθία συνδιασποράς c X (k). Ικανή συνθήκη για να είναι η διαδικασία εργοδική ως προς τη μέση τιμή είναι c X (0) < και δηλαδή να είναι ασυμπτωτικά ασυσχέτιστη. lim c X (k) = 0 (2.31) k Τα δύο παραπάνω θεωρήματα μπορούν να γενικευτούν για την εκτίμηση άλλων στατιστικών μέσων όρων. Για παράδειγμα, ας θεωρήσουμε την εκτίμηση της ακολουθίας αυτοσυσχέτισης r X (k) = E [X [n]x [n k]] από μια μόνο υλοποίηση της διαδικασίας. Εφόσον για κάθε k, η αυτοσυσχέτιση είναι η αναμενόμενη τιμή της διαδικασίας Y k [n] = X [n]x [n k] μπορούμε να εκτιμήσουμε την αυτοσυσχέτιση από το δειγματικό μέσο όρο των Y k [n] ως ακολούθως ˆr X (k, N) = 1 N N 1 n=0 y k [n] = 1 N N 1 n=0 x[n]x [n k]. Η διαδικασία X [n] λέγεται εργοδική ως προς την αυτοσυσχέτιση (autocorrelation ergodic) αν το ˆr X (k, N) συγκλίνει στο r X (k) υπό την έννοια των μέσων τετραγώνων. Τότε γράφουμε lim ˆr X (k, N) = r X (k) N Εφόσον το ˆr X (k, N) είναι ο δειγματικός μέσος όρος του y k [n], προκύπτει ότι η X [n] θα είναι εργοδική ως προς την αυτοσυσχέτιση αν η Y k [n] είναι εργοδική ως προς τη μέση τιμή. Εφαρμόζοντας το πρώτο θεώρημα εργοδικότητας ως προς τη μέση τιμή για το δειγματικό μέσο όρο του Y k [n], τίθεται ένας περιορισμός στη συνδιασπορά του Y k [n]. Αυτό είναι ισοδύναμο με έναν περιορισμό στα στατιστικά τέταρτης τάξης της X [n]. Ένα θεώρημα που είναι χρήσιμο για Gaussian διαδικασίες είναι το παρακάτω Εργοδικότητα ως προς την Αυτοσυσχέτιση Μια ικανή και αναγκαία συνθήκη για να είναι εργοδική ως προς την αυτοσυσχέτιση μια WSS Gaussian διαδικασία με συνδιασπορά c X (k) είναι lim k N 1 1 N k=0 c 2 X (k) = 0 Από τα παραπάνω γίνεται προφανές ότι το να καθορίσουμε αν μια δοθείσα διαδικασία είναι εργοδική δεν είναι πρακτικό. Επομένως, όταν το πρόβλημά μας απαιτεί τη γνώση της μέσης τιμής, της αυτοσυσχέτισης, ή κάποιου άλλου στατιστικού μέσου όρου, υποθέτουμε ότι η διαδικασία είναι εργοδική και χρησιμοποιούμε χρονικούς μέσους όρους για να εκτιμήσουμε τους αντίστοιχους στοχαστικούς. Το αν η υπόθεση αυτή ήταν σωστή ή όχι κρίνεται από την απόδοση των αλγορίθμων που χρησιμοποίησαν τις παραπάνω εκτιμήσεις.

2.3. ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ 27 2.3.7 Λευκός θόρυβος Ο λευκός θόρυβος είναι μια θεμελιώδης τυχαία διαδικασία διακριτού χρόνου και εμφανίζεται σε πολλές περιπτώσεις. Μια WSS διαδικασία V(n), πραγματική ή μιγαδική, καλείται λευκή (white) αν η αυτοσυνδιασπορά της είναι μηδενική για όλα τα lags εκτός του k = 0, c V (k) = σ 2 Vδ(k) Επομένως, λευκός θόρυβος είναι μια ακολουθία ασυσχέτιστων τυχαίων μεταβλητών, καθεμιά από τις οποίες έχει διασπορά σv 2. Εφόσον ο λευκός θόρυβος ορίζεται μόνο ως προς τα στατιστικά δεύτερης τάξης, υπάρχει μια μεγάλη ποικιλία τέτοιων διαδικασιών. Για παράδειγμα, μια τυχαία διαδικασία που αποτελεί ακολουθία ασυσχέτιστων, Gaussian τυχαίων μεταβλητών πραγματικής τιμής λέγεται λευκός Gaussian θόρυβος (WGN). Μια άλλη λευκή διαδικασία είναι η διαδικασία Bernoulli (βλέπε Παράγραφο 2.3.1). Για μιγαδικό λευκό θόρυβο, παρατηρήστε ότι V[n] = V 1 [n] + jv 2 [n] οπότε E [ V[n] 2] = E [ V 1 (n) 2] + E [ V 2 (n) 2]. Επομένως, η διασπορά του μιγαδικού θορύβου ισούται με το άθροισμα των διασπορών της πραγματικής και της φανταστικής του συνιστώσας. 2.3.8 Φάσμα ισχύος Γνωρίζουμε ότι ο μετασχηματισμός Fourier κατέχει ένα πολύ σημαντικό ρόλο στην περιγραφή και ανάλυση των ντετερμινιστικών σημάτων. Σημαντικό ρόλο έχει επίσης και στην περίπτωση των στοχαστικών σημάτων, δηλαδή των τυχαίων διαδικασιών. Ωστόσο, επειδή μια τυχαία διαδικασία είναι μια συλλογή σημάτων - υλοποιήσεων, δε μπορούμε να εφαρμόσουμε το μετασχηματισμό Fourier απευθείας σε μία από αυτές. Από την άλλη μεριά, όπως θα δούμε στην υποενότητα αυτή, είναι δυνατό να αναπτύξουμε μια αναπαράσταση της διαδικασίας στο πεδίο της συχνότητας εκφράζοντας το μετασχηματισμό Fourier μέσω στατιστικών μέσων όρων. Υπενθυμίζεται ότι η ακολουθία αυτοσυσχέτισης μιας WSS διαδικασίας αποτελεί μια αναπαράσταση στο πεδίο του χρόνου της δεύτερης ροπής της διαδικασίας. Εφόσον η r X (k) είναι μια ντετερμινιστική ακολουθία, μπορούμε να υπολογίσουμε το μετασχηματισμό Fourier διακριτού χρόνου, P X (e jω ) = k= r X (k)e jkω (2.32) που καλείται φάσμα ισχύος ή φασματική πυκνότητα ισχύος (power spectrum - power spectral density) 1. 1 Εάν η τυχαία διαδικασία δεν είναι μηδενικής μέσης τιμής, το φάσμα ισχύος της από αυτόν τον ορισμό θα δώσει έναν παλμό στο ω = 0. Έτσι, για τυχαίες διαδικασίες μη μηδενικής μέσης τιμής, το φάσμα ισχύος ορίζεται ως ο μετασχηματισμός Fourier διακριτού χρόνου της αυτοσυνδιασποράς.

28 ΚΕΦΑΛΑΙΟ 2. ΕΙΣΑΓΩΓΗ ΣΤΙΣ ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ Δοθέντος του φάσματος ισχύος, μπορούμε να υπολογίσουμε την ακολουθία αυτοσυσχέτισης εφαρμόζοντας τον αντίστροφο μετασχηματισμό Fourier διακριτού χρόνου στο P X (e jω ), r X (k) = 1 2π π π P X (e jω )e jkω dω (2.33) Έτσι, το φάσμα ισχύος δίνει μια αναπαράσταση στο πεδίο της συχνότητας για τη δεύτερη ροπή της τυχαίας διαδικασίας. Σε κάποιες περιπτώσεις είναι βολικότερο αντί του μετασχηματισμού Fourier, να χρησιμοποιηθεί ο μετασχηματισμός z, οπότε P X (z) = k= το οποίο εξακολουθεί να ονομάζεται φάσμα ισχύος της X [n]. r X (k)z k (2.34) Όπως η ακολουθία της αυτοσυσχέτισης, έτσι και το φάσμα ισχύος διαθέτει αρκετές χρήσιμες ιδιότητες. Μερικές από αυτές παρατίθενται στη συνέχεια. Ιδιότητα 1: Συμμετρία Το φάσμα ισχύος μιας WSS τυχαίας διαδικασίας X [n] έχει πραγματικές τιμές, P X (e jω ) = P X (ejω ), και το P X (z) ικανοποιεί τη συνθήκη συμμετρίας P X (z) = P X (1/z ) Επιπλέον, εάν η X [n] έχει πραγματικές τιμές, τότε το φάσμα ισχύος παρουσιάζει άρτια συμμετρία, P X (e jω ) = P X (e jω ), που συνεπάγεται ότι P X (z) = P X (z ) Ιδιότητα 2: Θετικό Το φάσμα ισχύος μιας WSS τυχαίας διαδικασίας είναι μη αρνητικό P X (e jω ) 0 Ιδιότητα 3: Συνολική Ισχύς Η ισχύς μιας WSS τυχαίας διαδικασίας μηδενικής μέσης τιμής είναι ανάλογη της επιφάνειας κάτω από την καμπύλη του φάσματος ισχύος, δηλαδή E [ X [n] 2] = 1 2π π π P X (e jω ) dω Ιδιότητα 4: Ακρότατα Ιδιοτιμών Οι ιδιοτιμές του n n πίνακα αυτοσυσχέτισης μιας WSS τυχαίας διαδικασίας μηδενικής μέσης τιμής φράσσονται άνω και κάτω, από τη μέγιστη και την ελάχιστη, αντίστοιχα, τιμή του φάσματος ισχύος, min P X (e jω ) λ i max P X (e jω ) ω ω Το φάσμα ισχύος μπορεί να ειδωθεί και ως ο μέσος όρος των τετραγώνων του μέτρου του Fourier, X(e jω ) 2. Συγκεκριμένα, θεωρήστε P N (e jω ) = = 1 2N + 1 1 2N + 1 N n= N N n= N m= N x(n)e jnω 2 N x(n)x (m)e j(n m)ω (2.35)

ΒΙΒΛΙΟΓΡΑΦΙΑ 29 που είναι ανάλογο με το τετράγωνο του μέτρου του μετασχηματισμού Fourier 2N + 1 δειγμάτων μιας υλοποίησης της τυχαίας διαδικασίας. Εφόσον για κάθε συχνότητα ω, το P N (e jω ) είναι μια τυχαία μεταβλητή, παίρνοντας την αναμενόμενη τιμή της προκύπτει E [ P N (e jω ) ] = 1 2N + 1 N N n= N m= N r X (n m)e j(n m)ω (2.36) Με την αντικατάσταση k = n m, και αναδιατάσσοντας τους όρους της Σχέσης (2.36) προκύπτει E [ P N (e jω ) ] = = k= 2N Αν υποθέσουμε ότι η αυτοσυσχέτιση τείνει γρήγορα στο μηδέν, ώστε k r X (k) <, 2N 1 (2N + 1 k )r X (k)e jkω 2N + 1 k= 2N 2N ( 1 k ) r X (k)e jkω (2.37) 2N + 1 k= τότε παίρνοντας το όριο της Σχέσης (2.37) έχουμε lim P N (e jω ) ] = N r X (k)e jkω = P x (e jω ). (2.38) k= Τελικά, συνδυάζοντας τις Σχέσεις (2.35) και (2.38) έχουμε P X (e jω 1 ) = lim N 2N + 1 E N n= N 2 x(n)e jnω (2.39) Επομένως, το φάσμα ισχύος μπορεί να ειδωθεί ως η αναμενόμενη τιμή του P N (e jω ), N. Τέλος, προτού ολοκληρώσουμε την υποενότητα αυτή, θα σταθούμε στη φυσική σημασία του φάσματος ισχύος. Το φάσμα ισχύος εκφράζει την κατανομή ισχύος της τυχαίας διαδικασίας στις διάφορες συχνότητες ω. Είναι ένα πολύ σημαντικό χαρακτηριστικό των τυχαίων διαδικασιών που αξιοποιείται σε πληθώρα εφαρμογών. Ωστόσο, η εκτίμησή του είναι ένα αρκετά περίπλοκο και ενδιαφέρον πρόβλημα. Βιβλιογραφία [BT02] D.P. Bertsekas and J.N. Tsitsiklis. Introduction to Probability. Athena Scientific books. Athena Scientific, 2002. : 9781886529403. [Fel68] W. Feller. An Introduction to Probability Theory and Its Applications. Vol. 1. Wiley, 1968. [PP02] A. Papoulis and S. U. Pillai. Probability, Random Variables, and Stochastic Processes. 4th ed. McGraw-Hill Higher Education, 2002. [ΚΜ99] Σ. Κoύνιας and Χ. Θ. Μωυσιάδης. Θεωρία Πιθανοτήτων (Τόμος 1) - Κλασική Πιθανότητα, Μονοδιάστατες Κατανομές. Εκδόσεις ΖΗΤΗ, 1999.

30 ΚΕΦΑΛΑΙΟ 2. ΕΙΣΑΓΩΓΗ ΣΤΙΣ ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ