Πιθανότητες & Τυχαία Σήματα Διγαλάκης Βασίλης
Τυχαία Σήματα Γενίκευση τυχαίων διανυσμάτων Άπειρο σύνολο πιθανά αριθμήσιμο από τυχαίες μεταβλητές Παραδείγματα τυχαίων σημάτων: Τηλεπικοινωνίες: Σήμα πληροφορίας πομπού Τηλεπικοινωνίες: Θόρυβος καναλιού Δείκτης τιμών χρηματιστηρίου Σήματα Φωνής, Εικόνας, Video Καρδιογράφημα Σεισμικά σήματα
Σήμα Φωνής 100 msec /line; 0.5 sec of utterance Η φωνή είναι: Εν γένει μη στάσιμο σήμα Τοπικά στάσιμο κατά τη διάρκεια ενός βασικού ήχου (local stationary) Σήμα που μεταβάλλεται αργά με τον χρόνο σε χρονικά διαστήματα 5-100 msec Σε μεγάλα διαστήματα (>100msec) τα χαρακτηριστικά της φωνής μεταβάλλονται γρήγορα με ρυθμό 10-20 φορές /sec
Εγκεφαλογράφημα (1) Διαφορετικά κανάλια εγκεφαλογραφήματος που απεικονίζουν τη δραστηριότητα του εγκεφάλου και την καρδιακή λειτουργία
Εγκεφαλογράφημα (2) Διαχωρισμός σήματος εγκεφαλικής λειτουργίας και καρδιακού σήματος χρησιμοποιώντας στατιστικές μεθόδους
Τυχαίο Πείραμα και Τυχαίο Σήμα Ένα τυχαίο σήμα: προκύπτει ως το αποτέλεσμα τυχαίου πειράματος Καθορίζεται ως μια συλλογή (ensemble) από διαφορετικές εμφανίσεις (realizations) κυματομορφών που αντιστοιχούν στα πιθανά αποτελέσματα του πειράματος
Συμβολισμός X (t, ω ), ω Ω Η μεταβλητή t αντιπροσωπεύει το χρόνο και η μεταβλητή ω το αποτέλεσμα του τυχαίου πειράματος
Ερμηνεία Τ.Σ. Χ(t, ω) Γενική Περίπτωση: Μεταβαλλόμενα t, ω Χ(t, ω 0 ) Μεταβαλλόμενος χρόνος, συγκεκριμένο αποτέλεσμα Χ(t 0, ω) Συγκεκριμένη χρονική στιγμή, μεταβαλλόμενο αποτέλεσμα Χ(t 0, ω 0 ) Συγκεκριμένη χρονική στιγμή και αποτέλεσμα
Αποστολή δυαδικών ακολουθιών μέσω διαύλου με προσθετικό θόρυβο
Ερωτήματα στη μελέτη Τ.Σ. Στατιστική περιγραφή/μοντελοποίηση του τυχαίου σήματος. Η φασματική ανάλυση της συλλογής των εμφανίσεων του Τ.Σ. Διέλευση Τ.Σ. μέσω γραμμικών συστημάτων Στατιστική περιγραφή της εξόδου του συστήματος (που είναι επίσης Τ.Σ.) Φασματική ανάλυση της εξόδου Βέλτιστοι αλγόριθμοι διαμόρφωσης / κωδικοποίησης (πομπός) και λήψης (δέκτης) σε περιβάλλον θορύβου.
Ταξινόμηση Τ.Σ. Διακριτός χρόνος και τιμές ω [0,1) ομοιόμορφη τυχαία μεταβλητή δυαδική αναπαράσταση του ω Διακριτός χρόνος, συνεχείς τιμές Δείκτης τιμών χρηματιστηρίου Συνεχής χρόνος, διακριτές τιμές On-off signalling Συνεχής χρόνος, συνεχείς τιμές (, ) cos(2 0 Θ) X t θ = πf t + Θ Τ.Μ. ομοιόμορφα κατανεμημένη στο Θ [ π, π ]
Τρόποι Περιγραφής: Στοχαστική Δομή Τ.Σ. Παράδειγμα: Τετραγωνικός Παλμός. Διάρκεια ω Τ.Μ. με Σ.Π.Π.: CDF:
Στιγμιότυπα τετραγωνικού παλμού μεταβλητής διάρκειας
Τρόποι Περιγραφής: Αυστηρός ορισμός Τ.Σ. Έστω Ω ο δειγματόχωρος ενός τυχαίου πειράματος t η χρονική μεταβλητή, t Γ, Γ R Ένα τυχαίο σήμα πραγματικών τιμών είναι μια μετρήσιμη συνάρτηση που απεικονίζει το Γ x Ω στο R 1. Ένα Τ.Σ. καθορίζεται από τις από κοινού συναρτήσεις κατανομής: 1 Οι συναρτήσεις κατανομής πρέπει να οριστούν για κάθε τιμή του n και για κάθε n-άδα χρονικών στιγμών.
Τρόποι Περιγραφής: Οριακές Σ.Π.Π. (1) Παράδειγμα: Υπολογίστε την οριακή Σ.Π.Π. πρώτης τάξης για τον τετραγωνικό παλμό του προηγουμένου παραδείγματος Συνάρτηση Μάζας Πιθανότητας: Η Κατανομή είναι εκθετική: P ( 0 X ( t0, ω) = 0), P( X ( t, ω) = 1)
Οριακές Σ.Π.Π. (2) Παράδειγμα: Υπολογίστε την οριακή Σ.Π.Π. δεύτερης τάξης για τον τετραγωνικό παλμό του προηγουμένου παραδείγματος Έστω X ( t1, ω), X ( t2, ω) και t 1 < t2 Περιπτώσεις: Οριακή Σ.Μ.Π.:
Οριακές Σ.Π.Π. (2) (συνέχεια) Παράδειγμα: Υπολογίστε την οριακή Σ.Π.Π. δεύτερης τάξης για τον τετραγωνικό παλμό του προηγουμένου παραδείγματος Από κοινού Σ.Μ.Π.: P X ( t ) = 0 1, X ( t ) 0 1) ( 1 2 =
Αναμενόμενες τιμές Τ.Σ.: Μέση τιμή Μέση τιμή: Για μια χρονική στιγμή t 1 :
Αναμενόμενες τιμές Τ.Σ.: Συνάρτηση Αυτοσυσχέτισης Συσχέτιση για δύο Τ.Μ. Χ,Υ: Αναμενόμενη τιμή για συνάρτηση g(x,y): Συνάρτηση Αυτοσυσχέτισης για Τ.Σ.:
Αναμενόμενες τιμές Τ.Σ.: Συνάρτηση Αυτοσυμμεταβλητότητας Ορίζεται ως: ) ( ) ( ), ( ))} ( ) ( ( )) ( ) ( {( ), ( 2 1 2 1 2 2 1 1 2 1 t t t t R t t t t X E t t C xx xx χ χ χ χ µ µ µ µ = Χ =
Αντιστοιχίες Τ.Μ. Τ.Δ. Τ.Σ. Αναμενόμενες τιμές:
Αναμενόμενες τιμές: Παράδειγμα (1) Παράδειγμα: Μέση τιμή, αυτοσυσχέτιση και αυτοσυμμεταβλητότητα του τετραγωνικού παλμού τυχαίας διάρκειας. Μέση τιμή:
Αναμενόμενες τιμές: Παράδειγμα (1) Παράδειγμα: Μέση τιμή, αυτοσυσχέτιση και αυτοσυμμεταβλητότητα του τετραγωνικού παλμού τυχαίας διάρκειας. Αυτοσυσχέτιση: Δηλαδή:
Αναμενόμενες τιμές: Παράδειγμα (1) Παράδειγμα: Μέση τιμή, αυτοσυσχέτιση και αυτοσυμμεταβλητότητα του τετραγωνικού παλμού τυχαίας διάρκειας. Αυτοσυμμεταβλητότητα:
Αναμενόμενες τιμές: Παράδειγμα (2) Παράδειγμα: Αν X(t) = A cos(100 t + Θ), Α είναι κανονική Τ.Μ. και Θ είναι ομοιόμορφα κατανεμημένη στο [-π,π]. Αν Α και Θ είναι ανεξάρτητες, υπολογίστε τη μέση τιμή και τη συνάρτηση αυτοσυσχέτισης του X(t). Μέση τιμή: Και Συνεπώς:
Αναμενόμενες τιμές: Παράδειγμα (2) Παράδειγμα: Αν X(t) = A cos(100 t + Θ), Α είναι κανονική Τ.Μ. και Θ είναι ομοιόμορφα κατανεμημένη στο [-π,π]. Αν Α και Θ είναι ανεξάρτητες, υπολογίστε τη μέση τιμή και τη συνάρτηση αυτοσυσχέτισης του X(t). Αυτοσυσχέτιση: Αν Α σταθερά:
Ειδικές Περιπτώσεις Τυχαίων Σημάτων (1) Independent Identically Distributed (I.I.D.) Ορισμός: Ειδική Περίπτωση: Bernoulli (IID Bernoulli) Οι Τ.Μ. του σήματος είναι Bernoulli: P( X ( n) = 1) = p X ( n) {0,1}, P( X ( n) = 0) = 1 p Από κοινού Σ.Π.Π.:
Ειδικές Περιπτώσεις Τυχαίων Σημάτων (2) Διαδικασίες Markov Κανόνας αλυσίδας (Chain rule):
Ειδικές Περιπτώσεις Τυχαίων Σημάτων (2) Διαδικασίες Markov Ορισμός: Το Τ.Σ. Χ(n) λέγεται Markov αν για κάθε n ισχύει:
Ειδικές Περιπτώσεις Τυχαίων Σημάτων (2) Gaussian Διαδικασίες: Ορισμός: Το Τ.Σ. Χ(t) λέγεται Gaussian αν ακολουθούν πολυδιάστατη κανονική κατανομή. Αναμενόμενες τιμές (για 3 χρονικές στιγμές): Μέση τιμή: Συνδιακύμανση:
Ειδικές Περιπτώσεις Τυχαίων Σημάτων (3) Διαδικασίες Poisson: Ορισμός: Q(t) λέγεται Poisson αν: 1. Ακολουθεί κατανομή Poisson: 2. Οι αριθμοί των γεγονότων που συμβαίνουν σε δύο μη επικαλυπτόμενα χρονικά διαστήματα είναι μεταξύ τους ανεξάρτητοι.
Παράδειγμα: IID Bernoulli IID Bernoulli με P(X(n)=1)=p, P(X(n)=0)=1-p. Βρείτε μέση τιμή και αυτοσυσχέτιση. Μέση Τιμή:
Παράδειγμα: IID Bernoulli IID Bernoulli με P(X(n)=1)=p, P(X(n)=0)=1-p. Βρείτε μέση τιμή και αυτοσυσχέτιση. Αυτοσυσχέτιση: Για n : 1 n 2 Για n 1 = n 2 :
Παράδειγμα: Poisson Βρείτε μέση τιμή και αυτοσυσχέτιση διαδικασίας Poisson. E{ Q( t)} = λ t Μέση τιμή:
Παράδειγμα: Poisson Αυτοσυσχέτιση: Για t1 t2: Αλλά Και: Τελικά:
Παράδειγμα: Στοχαστικό μοντέλο καιρού Ν=3 καταστάσεις Ήλιος (Η) Βροχή (Β) - Συννεφιά (Σ): Θεωρούμε ότι η επόμενη κατάσταση εξαρτάται μόνο από την προηγούμενη (Υπόθεση Markov 1 ης τάξης). Μοντέλο Markov n τάξης: (n ο αριθμός καταστάσεων που επηρεάζουν την επιλογή της επόμενης κατάστασης) Κάθε μετάβαση συνδέεται με πιθανότητα μετάβασης που δεν αλλάζει με το χρόνο. Pq ( = j q = iq, = k,...) = Pq ( = j q = i) = a, 1 i, j N t t 1 t 2 t t 1 ij Ιδιότητες πιθανοτήτων μετάβασης: a ij 0, i, j N j= 1 a ij = 1, i
Μοντέλο Markov Πίνακας μετάβασης καταστάσεων A: A = { aij, i, j = 1, N} Παράδειγμα: Διάνυσμα αρχικών πιθανοτήτων: π = P q = i), 1 i i ( 1 Μοντέλο Markov: Κάθε κατάσταση και ξεχωριστή παρατήρηση Η έξοδος της διαδικασίας είναι το σετ των καταστάσεων σε κάθε χρονική στιγμή N
Έστω το μοντέλο καιρού με καταστάσεις: 1. (Β)ροχή 2. (Σ)υννεφιά 3. (Η)λιοφάνεια Ποια η πιθανότητα σύμφωνα με το μοντέλο να είναι ο καιρός για 8 συνεχόμενες μέρες (Η-Η-Η-Β-Β-Η-Σ-Η) ; Λύση: Ακολουθία παρατηρήσεων: O = [ Η Η Η Β Β Μέρα = = [3 [1 3 2 3 3 1 4 1 5 Η 3 6 Σ 2 7 Η] 3] 8] Θέλουμε να βρούμε: P( O Model) = P(3,3,3,1,1,3,2,3 Model) = P(3) P(3 3) = π 3 2 2 4 ( α ) α α α α α = (1.0)(0.8) (0.1)(0.4)(0.3)(0.1)(0.2) = 1.546 10 33 31 2 P(1 3) P(1 1) P(3 1) P(2 3) P(3 2) 11 13 32 23 όπου π i = P( q 1 = i), 1 i 3
Παράδειγμα 2 Για το προηγούμενο μοντέλο ποια είναι η πιθανότητα να παραμείνει στην ίδια κατάσταση για ακριβώς d μέρες; Λύση: = Ακολουθία παρατηρήσεων: = d d d + Πιθανότητα των παρατηρήσεων: O ( i i i i i j i) Μέρα (1 2 3-1 1) π a a P O Model q i a a p d d 1 P( O, q1 = i Model) i ( ii ) (1 ii ) d 1 (, 1 = ) = = = ( ii ) (1 ii ) = i ( ) Pq ( 1 = i) π i p i (d) είναι η pdf της διάρκειας d στην κατάσταση i (εκθετική κατανομή) Χαρακτηριστική της διάρκειας παραμονής σε μια κατάσταση αλυσίδας Markov Αναμενόμενος αριθμός παρατηρήσεων (διάρκεια) σε μια κατάσταση: d i = dpi ( d) = d( a d = 1 d = 1 ii ) d 1 (1 a ii ) = 1 1 a ii = 1 = (0.2) 2.5, 1.67, 5, i i i = Η = Σ = Β
Παράδειγμα 2 (συνέχεια) Αναλυτικά η προηγούμενη σχέση: Για τον αναμενόμενο αριθμό παρατηρήσεων (διάρκεια) σε μια κατάσταση έχουμε: d = dp d = d a a = a a 1 ( ) d d i i ( ii ) (1 ii ) (1 ii ) ii d= 1 d= 1 aii d= 1 a ii 1 = (1 aii ) = a 1 a 1 a ii ii ii Για τη διάρκεια δύο καταστάσεων: ' ' p ( d1 + d2) = p( d ) = p1( d )* p2( d ' ) d 1 d 2