Στοχαστικό Σήμα. Σημειώσεις από τις παραδόσεις. Για τον κώδικα σε L A TEX, ενημερώσεις και προτάσεις: https://github.com/kongr45gpen/ece-notes

Στοχαστικό Σήμα Σημειώσεις από τις παραδόσεις Για τον κώδικα σε L A TEX, ενημερώσεις και προτάσεις: https://github.com/kongr45gpen/ece-notes 217 Τελευταία ενημέρωση: 2 Ιουνίου 217 Περιεχόμενα Εισαγωγή 3 1 Θεωρία Πιθανοτήτων 3 1.1 Αξιωματικός ορισμός της πιθανότητας Wiener - Kolmogorov................ 4 1.2 Ιδιότητες............................................... 4 1.2.1 Σήματα............................................ 7 1.2.2 Ανεξαρτησία......................................... 8 1.3 Πιθανοτικό Μοντέλο........................................ 8 2 Τυχαίες Μεταβλητές 1 2.1 Ορισμός................................................ 1 2.2 Συνάρτηση Κατανομής Πιθανότητας............................... 11 2.3 Συνάρτηση Πυκνότητας Πιθανότητας.............................. 13 2.4 Πολλαπλές τυχαίες μεταβλητές.................................. 14 2.4.1 Συνάρτηση πυκνότητας πιθανότητας (από κοινού).................. 16 2.5 Συνάρτηση κατανομής υπό συνθήκη πιθανότητας...................... 16 2.5.1 Υπό συνθήκη πιθανότητα με δύο τυχαίες μεταβλητές................ 18 2.6 Ανεξαρτησία Τυχαίων Μεταβλητών............................... 18 2.7 Ντετερμινιστική σχέση μεταξύ τυχαίων ματαβλητών..................... 19 2.8 Χρήση γενικευμένων συναρτήσεων................................ 21 3 Ροπές 22 3.1 Χαρακτηριστική συνάρτηση.................................... 22 3.1.1 Ορισμός........................................... 23 3.2 Μέση τιμή.............................................. 24 3.2.1 Σε μία μεταβλητή...................................... 24 3.2.2 Σε πολλές μεταβλητές................................... 25 3.2.3 Ιδιότητες........................................... 25 3.3 Δεύτερη ροπή............................................ 25 3.4 Κεντρική ροπή........................................... 25 3.4.1 Τυπική απόκλιση...................................... 26 3.5 Για δύο τυχαίες μεταβλητές.................................... 26 3.5.1 Συντελεστής Συσχέτισης................................. 27 3.5.2 Χαρακτηριστική συνάρτηση............................... 28 3.5.3 Ανακεφαλαίωση....................................... 29 3.5.4 Θεωρήματα......................................... 29 3.5.5 Εφαρμογές.......................................... 3 1

4 Κατανομές 3 4.1 Gaussιανή Κατανομή........................................ 31 4.1.1 Συνάρτηση Y=aX+b.................................... 32 4.1.2 Συνάρτηση Κατανομής Πιθανότητας.......................... 32 4.1.3 Χαρακτηριστική συνάρτηση............................... 33 4.1.4 Από κοινού Gaussιανή κατανομή............................ 33 4.1.5 Θεώρημα κεντρικού ορίου................................. 34 4.2 Υπόλοιπες Κατανομές....................................... 35 5 Στοχαστικό Σήμα 36 5.1 Μοντέλο Στοχαστικού Σήματος.................................. 38 5.2 Στασιμότητα & Εργοδικότητα................................... 39 5.3 Δύο στοχαστικά σήματα...................................... 4 5.4 Ιδιότητες............................................... 42 5.4.1 Ιδιότητες αυτοσυσχέτισης................................. 42 5.4.2 Ιδιότητες ετεροσυσχέτισης................................ 43 5.5 Αυτοσυσχέτιση........................................... 43 5.5.1 Εργοδικό........................................... 44 5.5.2 Στάσιμο μη εργοδικό.................................... 44 5.5.3 Ιδιότητες πυκνότητας φασματικής ισχύος....................... 46 5.5.4 Πυκνότητα φάσματος ετεροισχύος........................... 46 6 Απόκριση γραμμικού συστήματος σε στοχαστική είσοδο 46 6..1 Ετεροσυσχέτιση εξόδου-εξόδου............................. 47 6.1 Περιγραφή στο πεδίο της συχνότητας.............................. 48 6.1.1 Σχέση μέσης τετραγωνικής τιμής και σφάλματος ισχύος............... 48 6.2 Χαρακτηριστικά στοχαστικά σήματα.............................. 49 6.2.1 Gaussian από κοινού κατανομή............................. 49 6.2.2 Gaussian στάσιμο στοχαστικό σήμα........................... 5 6.2.3 Λευκός θόρυβος...................................... 5 6.2.4 Εφαρμογή.......................................... 51 2

Κεφάλαιο Εισαγωγή Στοχαστικό σήμα - δεν σημαίνει στοχάζομαι (σκέφτομαι), αλλά τυχαίο σήμα Ντετερμινιστικό σήμα A c cos(2πft + π /2) Για κάθε χρόνο t μπορούμε να βρούμε την τιμή του σήματος. Αν γνωρίζουμε τα πάντα για την αρχική κατάσταση ενός συστήματος (π.χ. του σύμπαντος), μπορούμε να προβλέψουμε (ίσως με δυσκολία) κάθε επόμενη κατάστασή του. Οι περισσότερες διαδικασίες στη φύση είναι τυχαίες. Διαδικαστικά Το μάθημα γίνεται σε δύο τμήματα μόνο από τον κ. Δημάκη. Το ένα τμήμα της Τρίτης θα μεταφερθεί στο μεσημέρι της Πέμπτης. Ασκήσεις και λύσεις τους θα αποστέλλονται στο e-mail. Ένα σκυλί δάγκωσε έναν άνθρωπο στο δρόμο δεν είναι πληροφορία, επειδή έχει μεγάλη πιθανότητα να συμβεί. Ένας άνθρωπος δάγκωσε έναν σκύλο στο δρόμο είναι πληροφορορία, επειδή έχει μικρή πιθανότητα. Κεφάλαιο 1 Θεωρία Πιθανοτήτων Ασχολείται με τυχαία γεγονότα, δηλαδή γεγονότα το αποτέλεσμα των οποίων: Δεν μπορούμε να προβλέψουμε Δεν μπορούμε να καταλάβουμε ή Έχει πάρα πολλά στοιχεία που το επηρεάζουν και πειράματα τα οποία όταν επαναλαμβάνουμε βγάζουν διαφορετικό αποτέλεσμα στις ίδιες συνθήκες (π.χ. ρίψη ζαριού, σε αντίθεση με το μήλο του Νεύτωνα). Επομένως στα πειράματα τύχης δεν μπορεί να προβλεφθεί ακριβώς η έξοδος. Ορισμός Πιθανότητας από Laplace ισοπίθανα ενδεχόμενα 7 N 8 2 1 4 3 5 6 P (A) = N A N γεγονός Ο ορισμός έχει τα προβλήματα: 3

Δεν αντιστοιχεί σε πραγματικό πείραμα τύχης Είναι κυκλικός (ορίζει την πιθανότητα με βάση ισοπίθανα ενδεχόμενα) Ορισμός Πιθανότητας von Mises συμβεί N A φορές, τότε Εκτελούμε ένα πείραμα τύχης με N επαναλήψεις. Αν ένα γεγονός P (A) = N lim A N N Όμως είναι δύσκολο να χρησιμοποιηθεί επειδή αντιστοιχεί σε πραγματικό πείραμα. Ιδιότητες που προκύπτουν από τους παραπάνω ορισμούς (i) P (A) 1 (ii) S δειγματικός χώρος P (S) = 1 (iii) P (A B) = P (A + B) = P (A ή B) = P (A) + P (B) (A, B ασυμβίβαστα) 1.1 Αξιωματικός ορισμός της πιθανότητας Wiener - Kolmogorov Πείραμα είναι κάθε νοητική ή φυσική διεργασία, με την οποία συνδέουμε μία πράξη με κάποιο αποτέλεσμα. Κάθε εκτέλεση του πειράματος ονομάζεται δοκιμή Ένα πείραμα έχει έναν δειγματικό χώρο με όλα τα δυνατά αποτελέσματά του: S = {J 1, J 2,, J n } Ένα γεγονός είναι ένα από τα 2 n δυνατά υποσύνολα του S: A S Ορισμός A P (A) (i) P (A) (ii) P (S) = 1 (iii) αν A B =, τότε P (A B) = P (A) + P (B) Ο ορισμός αυτός δεν μας δίνει συγκεκριμένη τεχνική υπολογισμού πιθανοτήτων, επομένως μπορούμε να χρησιμοποιήσουμε οποιαδήποτε τεχνική (π.χ. Laplace) θέλουμε. 1.2 Ιδιότητες 1) A = B P (A) = P (B) 2) P ( ) = 3) Αφού A A = A + A = S, τότε: P (A + A) = P (S) = 1 P ( A) = 1 P (A) P (A) + P ( A) = 1 4

4) Αν A B, τότε P (A + B) = P (A) + P (B) P (A B) 1 A A B B Απόδειξη A + B = A + A B B = A B + A B P (A + B) = P (A) + P ( A B) P (B) = P (A B) + P ( A B) P (A + B) = P (B) + P (A) P (AB) 5) A B P (A) P (B) A B επειδή B = A + A B P (B) = P (A) + P ( A B) P (A) 6) Υπό συνθήκη πιθανότητα P (A/B) = P (AB) P (B) S A B Αν A B = P (A/B) = S A B Αν A B A B = A P (A/B) = P(A) P(B) S A B Αν A B A B = B P (A/B) = P(B) P(B) = 1 S B A 5

7) S A 1 A 2 A 4 A 3 B Έστω ένας διαμερισμός του δειγματικού χώρου και ένα ενδεχόμενο B αυτού, δηλαδή: Τότε: A 1 + A 2 + A 3 + A 4 = S A i A j = i, j (B A i ) (B A j ) = B = B S = B(A 1 + A 2 + A 3 + A 4 ) B = B A 1 + B A 2 + B A 3 + B A 4 P (B) = P (BA 1 ) + P (BA 2 ) + P (BA 3 ) + P (BA 4 ) P (B/A i ) = P(B) A i P(A i ) P (BA i ) = P (B/A i ) P (A i ) P (B) = P (B/A 1 )P (A 1 ) + P (B/A 2 )P (A 2 ) + P (B/A 3 )P (A 3 ) + P (B/A 4 )P (A 4 ) Το παραπάνω (θεώρημα ολικής πιθανότητας) εκφράζεται γενικά ως εξής: P (B) = m i=1 P (A i )P (B/A i ) 8) Από την παραπάνω ιδιότητα έχουμε: Παράδειγμα P (A i B) = P (B)P (A i /B) = P (A i )P (B/A i ) P (A i /B) = P (B/A)P (A i) P (B) P (A i /B) = P (B/A i)p (A i ) n P (A i )P (B/A i ) i=1 Πομπός Κανάλι Δέκτης Θεώρημα Bayes A = {A 1, A 2, A 3, A 4 } Η είσοδος μπορεί να είναι ένα αλφάβητο A: A = {A 1, A 2, A 3, A 4 } με πιθανότητες για το καθένα: Π A = {Π A1, Π A2, Π A3, Π A4 } Το κανάλι ποτέ δεν θα μεταφέρει ακριβώς την πληροφορία, αλλά θα την μεταβάλλει με κάποιον τρόπο (π.χ. θόρυβος). Αν B είναι το αλφάβητο εξόδου, έχουμε: B = {B 1, B 2, B 3, B 4 } Π B = {Π B1, Π B2, Π B3, Π B4 } 6

Για να μελετήσουμε το κανάλι, μπορούμε να βάλουμε κάποιον να μετράει τις πιθανότητες εμφάνισης κάποιας εξόδου με δεδομένη είσοδο (για παράδειγμα, να στείλουμε 1 φορές την είσοδο A 1, και να μετρήσουμε πόσες φορές εμφανίζεται η κάθε έξοδος). Έτσι έχουμε τις υπό συνθήκη (a posteriori) πιθανότητες: Άρα: Π(B { 1 /A 1 ), Π(B 1 /A 2 ), Π(B 1 /A 3 ), Π B/A = Π(B 2 /A 1 ), Π(B 2 /A 2 ), { Από τις παραπάνω ιδιότητες έχουμε: P (B 1 ) = P (A 1 )P (B 1 /A 1 ) + P (A 2 )P (B 1 /A 2 ) + P (A 3 )P (B 1 /A 3 ) + P (A 4 )P (B 1 /A 4 ) P (A i /B j ) = P (B j /A i )P (A i ) n i=1 P (A i)p (B j /A i ) Έτσι, για κάθε έξοδο, μπορούμε να υπολογίσουμε την πιθανότητα να προέρχεται από μια είσοδο. Αν π.χ. έχουμε: P (A 1 /B 4 ) = 7% P (A 2 /B 4 ) = 15% P (A 3 /B 4 ) = 8% P (A 4 /B 4 ) = 7% μπορούμε να φανταστούμε ότι η έξοδος B 4 αντιστοιχεί με μεγαλύτερη πιθανότητα σε είσοδο A 1, σύμφωνα με το κριτήριο MAP (maximum a-posteriori probability). Είναι συχνό βέβαια να μη γνωρίζουμε τις πιθανότητες P (A i ), οπότε μπορούμε να καταφύγουμε σε κόλπα, όπως να θεωρήσουμε ότι τα ενδεχόμενα της εισόδου είναι ισοδύναμα. 1.2.1 Σήματα a b 11 1 1 2 αρχικό σήμα σήμα χωρίς υψηλές συχνότητες σήμα με θόρυβο 1T 2T 3T 4T 5T c 1 3 d 4 Ένα πραγματικό σήμα έχει θόρυβο, όπως φαίνεται στο διάγραμμα. Το σήμα που στέλνει ο πομπός είναι το αρχικό καθαρό σήμα, ενώ αυτό που λαμβάνει ο δέκτης είναι το σήμα με θόρυβο. Ο δέκτης μπορεί αυτό να το επεξεργαστεί ώστε να πάρει ένα σήμα χωρίς υψηλές συχνότητες. Για να εξάγουμε την αρχική τιμή του σήματος από την είσοδο με θόρυβο, μπορούμε να χωρίσουμε τη ζώνη του πλάτους σε διαφορετικές περιοχές, και κάθε μία από αυτές να την αντιστοιχούμε σε μία τιμή εξόδου, α, β, γ ή δ. Όπως και πριν, κάθε είσοδος αντιστοιχεί με διαφορετική πιθανότητα σε κάθε έξοδο: 7

P (1/a) P 1 1 P (a/1) P (β/1) a P (2/a) P (3/a) P 2 2 β P (4/a) P 3 3 γ P 4 4 δ 1.2.2 Ανεξαρτησία Δύο γεγονότα λέγονται ανεξάρτητα ανν: P (A B) = P (A)P (B) Ομοίως ορίζεται η ανεξαρτησία για περισσότερα ενδεχόμενα, ανν: P (A 1 A 2 A n ) = P (A 1 )P (A 2 ) P (A m ) 1.3 Πιθανοτικό Μοντέλο Ένας δειγματικός χώρος S έχει μεγάλο αριθμό δυνατών υποσυνόλων, και στο καθένα από αυτά αντιστοιχεί μία πιθανότητα. Για εμάς μπορεί να είναι εύκολο/δυνατό να βρούμε την πιθανότητα μόνο για μερικά από αυτά τα υποσύνολα, επομένως ονομάζουμε αυτά γεγονότα, και τα τοποθετούμε σε μια τάξη συνόλων F, που θα ικανοποιούν: (i) F, S F (ii) A F και το A F (iii) A F και B F A + B F (τότε θα έχουμε και A B, A B F) Τότε προκύπτει, αν A 1, A 2,, A n F: A 1 + A 2 + + A n F A 1 A 2 A n F Το πεδίο F ονομάζεται πεδίο Borel. Αν έχουμε τα (S, F, P ), δηλαδή το δειγματικό χώρο, ένα πεδίο Borel, και τις αντίστοιχες πιθανότητές του, τότε έχουμε ένα πλήρες πιθανοτικό μοντέλο. Σύνολο με πεπερασμένο αριθμό γεγονότων P i S = {J 1, J 2,, J n } A 1 = {J i } F P 1 + P 2 + + P N = 1 A = {J k1, J k2,, J ki } i n (επιλέγουμε μερικά απλά ενδεχόμενα από τον χώρο S) P (A) = P {J k1 } + P {J k2 } + + P {J ki } = P k1 + P k2 + + P kn 8

Σύνολο με πραγματικούς αριθμούς Όταν, για παράδειγμα, περιμένουμε το λεωφορείο στη στάση, ο χρόνος t που πρέπει να περιμένουμε μέχρι να έρθει είναι πραγματικός αριθμός: t 1 t t 2 t 1, t 2 [, +) Θα προσπαθήσω να δώσω μια πιθανότητα της μορφής P ( t t 1 ) σε κάθε διάστημα. Έστω λοιπόν μια f(t) με f(t) και t 1 P { t t 1 } = f(t) dt. f(t) = 1. Τότε μπορώ να ορίσω: Με αυτόν τον τρόπο μπορώ να ορίσω και πιθανότητες για t που δεν ξεκινούν από το, παρατηρώντας ότι: t 2 t t 2 = ( t t 1 ) + (t 1 t t 2 ) P { t t 2 } = P { t t 1 } + P {t 1 t t 2 } t 1 f(t) dt P {t 1 < t t 2 } = t 1 t 2 f(t) dt = P {t 1 t t 2 } f(t) dt t 1 t 2 Η f(t) επομένως είναι μια συνάρτηση γραμμικής πυκνότητας. Πιθανότητα στιγμής Πόση είναι η πιθανότητα για μια στιγμή, "μηδενικής" διάρκειας; lim P (t 2 ε < t t 2 ) = lim ε t 2 ε t 2 ε f(t) dt t 2 = f(t) dt =. t 2 Έχουμε δύο πειράματα με διαφορετικούς δειγματικούς χώ- Πιθανότητα πολλαπλών πειραμάτων ρους: S A = {a 1, a 2,, a n } S B = {β 1, β 2,, β n } Αν πραγματοποιήσουμε και τα δύο πειράματα, παίρνουμε έναν δειγματικό χώρο που είναι το καρτεσινό γινόμενο του καθενός, το οποίο αποτελείται από διατεταγμένα ζεύγη γεγονότων: S = S A S B = {(a 1, β 1 ), (a 1, β 2 ),, (a 2, β 1 ), (a 2, β 2 ),, (a n, β n )} με παρόμοιο αποτέλεσμα αν τα S A, S B είναι σύνολα πραγματικών αριθμών. Για παράδειγμα, έχουμε: A i = {a 1, a 2 } S A B j = {β 3 } S B C = A i B j = {(a 1, β 3 ), (a 2, β 3 )} S = S A S B 9

Το ερώτημα που προκύπτει είναι, αν γνωρίζουμε τις πιθανότητες P (A i ), P (B i ), πώς μπορούμε να υπολογίσουμε την πιθανότητα των γεγονότων του C; Αν τα δύο πειράματα είναι ανεξάρτητα, τότε έχουμε: P (A i, B j ) = P (A i B j ) Στην περίπτωση που δεν υπάρχει ανεξαρτησία, θα πρέπει να μελετηθεί εκ νέου ο δειγματικός χώρος S των δύο πειραμάτων. Αν όμως γνωρίζουμε τις πιθανότητες του S, μπορούμε να υπολογίσουμε τις αρχικές (marginal) πιθανότητες: P (A i ) = P (A i, B j ) j P (B j ) = P (A i, B j ) i P (A i /B j ) = P (A ib j ) P (B j ) Κεφάλαιο 2 Τυχαίες Μεταβλητές 2.1 Ορισμός Ας κάνουμε ένα πείραμα. Στο πείραμα έχουμε τρία κουτιά. Σε κάθε κουτί υπάρχει μια άσπρη και μια μαύρη μπάλα, και τραβάω μία από κάθε κουτί. J 1 ={ } S A = {Λ, M} = {J A1, J A2 } S B = {Λ, M} = {J B1, J B2 } S Γ = {Λ, M} = {J Γ1, J Γ2 } S = S A S B S Γ = {ΛΛΛ, ΛΛM,, MMM} = {J 1, J 2,, J 8 } P (J i ) = P (J Ai )P (J Bi )P (J Γi ) Έστω ότι αυτό είναι ένα παιγνίδι με πόντους, όπου οι λευκές μπάλες δίνουν 1 πόντο, ενώ οι μαύρες αφαιρούν 1. Επιλογή Πιθ. επιλογής Πόντοι i J i P (J i ) 1 ΛΛΛ p 3 3 2 ΛΛM p 2 (1 p) 1 3 ΛMΛ p 2 (1 p) 1 4 MΛΛ p 2 (1 p) 1 5 ΛMM p(1 p) 2 1 6 MΛM p(1 p) 2 1 7 ΛMΛ p(1 p) 2 1 8 MMM (1 p) 3 3 1

Αν σε ένα πείραμα τύχης αποκαταστήσουμε μια σχέση που αντιστοιχεί το αποτέλεσμα σε έναν αριθμό (ακέραιο, πραγματικό, για παράδειγμα οι πόντοι), τότε έχουμε μία τυχαία μεταβλητή. 2 ο Παράδειγμα Σε ένα κουτί υπάρχουν αντιστάσεις R = 1 Ω με ανοχή.1%. Αυτό είναι ένα πείραμα τύχης με δειγματικό χώρο S = {J 1,, J n }, και το εύρος της τιμής για κάθε αντίσταση είναι x = x(j i ), 99, 9 x(j i ) 1.1, δηλαδή x [99.9, 1.1]. Τυχαία μεταβλητή ονομάζεται μία συνάρτηση X που αντιστοιχεί κάθε ένα αποτέλεσμα J S του πειράματός μας σε έναν αριθμό X = X(J). Για παράδειγμα, στο αρχικό παιχνίδι μπορώ να γράψω: C = {ΛΛΛ, ΛΛM, ΛMΛ, MΛΛ} = {1 x 3} Η συνάρτηση X επομένως αντιστοιχεί κάθε ενδεχόμενο του S σε έναν αριθμό (φυσικό αν έχουμε αριθμήσιμα αποτελέσματα, πραγματικό αν είναι μη αριθμήσιμα): S X(J) C R N X = X(J) 2.2 Συνάρτηση Κατανομής Πιθανότητας (Probability Distribution Function - PDF) F (x) Ορισμός 2.1: Συνάρτηση κατανομής πιθανότητας Ως συνάρτηση κατανομής πιθανότητας για μία τυχαία μεταβλητή X ορίζεται η συνάρτηση που ικανοποιεί: P {X x} = F X (x) Δηλαδή μας δίνει την πιθανότητα η τυχαία μεταβλητή να είναι μικρότερη από έναν αριθμό: {x 1 < x x 2 } x 1 x 2 P {x = } = P {x = +} = Ιδιότητες Η συνάρτηση αυτή ικανοποιεί μερικές ιδιότητες: (i) F X ( ) = (ii) F X (+) = 1 P{X }= P{X +}=P(S) (iii) F X (x 1 ) F X (x 2 ) ανν x 1 x 2 (δηλαδή είναι αύξουσα, όχι όμως απαραίτητα γνησίως αύξουσα) 11

(iv) Απαιτούμε να είναι συνεχής από τα δεξιά, δηλαδή F X (x + ) = F X (x). x 1 x 2 x 3 Παράδειγμα για την ιδιότητα (iv) F X (x + ) = P ε {X x + ε} = P {X x} + P ε {x < X x + ε} Από τη στιγμή που έχουμε την συνάρτηση αυτή, μπορούμε να υπολογίσουμε τις πιθανότητες οποιουδήποτε διαστήματος. Το πιο συχνό διάστημα είναι το: {x 1 < X x 2 }, του οποίου συχνά καλούμαστε να υπολογίσουμε την πιθανότητα, ενώ θα έχουμε την συνάρτηση κατανομής F X (x). Για να την υπολογίσουμε έχουμε: x 1 x 2 {X x 2 } = {X x 1 } + {x 1 < X x 2 } P {X x 2 } = P {X x 1 } + P {x 1 < X x 2 } F X (x 2 ) F X (x 1 ) = P {x 1 < X x 2 } Ένα αποτέλεσμα του παραπάνω είναι: P ε {x ε < X x} = F X(x) F X ε (x ε) = F X (x + ) F X (x ) Παρατηρούμε ότι: συνεχής P {X = x} = ασυνεχής P {X = x} αν είναι συνεχής = { η διαφορά των ορίων αν δεν είναι συνεχής = P {X = x} δηλαδή με "πηδήματα" της συνάρτησης κατανομής πιθανότητας, μπορούμε να προσδώσουμε πιθανότητα σε σημείο, όπως φαίνεται στα δύο παραδείγματα παρακάτω. 12

F X F x (x + ) F x (x ) x F X 2.3 Συνάρτηση Πυκνότητας Πιθανότητας Ορισμός 2.2: Συνάρτηση Πυκνότητας Πιθανότητας Ως συνάρτηση πυκνότητας πιθανότητας f X (x) ορίζουμε: f X (x) = df X(x) dx Ιδιότητες (i) f X (x) (ii) f X (x) dx = 1 x (iii) F X (x) = f X (x) dx x + 2 (iv) P {x 1 < X x 2 } = f(x) dx = F X (x 2 ) F X (x 1 ) x + 1 13

f x (x) dx x 1 x x + dx Παρατηρούμε ότι η συνάρτηση πυκνότητας πιθανότητας μοιάζει π.χ. με συνάρτηση πυκνότητας γραμμικής μάζας, και για να λάβουμε την πιθανότητα μεταξύ δύο τιμών, απλώς υπολογίζουμε το εμβαδόν της συνάρτησης μεταξύ εκείνων των σημείων. Μεταξύ των f X (x) και F X (x) επιλέγουμε αυτήν που μας βολεύει περισσότερο, με βάση την ευκολία υπολογισμών. Για παράδειγμα, η κανονική κατανομή f X (x) = 1 (x μ)2 e 2σ 2 έχει αναλυτική 2σ2 π έκφραση, αλλά όχι η αντίστοιχη F X (x), για την οποία χρειαζόμαστε πίνακες ή υπολογιστή. 2.4 Πολλαπλές τυχαίες μεταβλητές Ηχογραφούμε την φωνή μας να λέει την ίδια λέξη κάθε ένα λεπτό. Σε κάθε ηχογράφηση παίρνουμε ένα διαφορετικό σήμα: t 1 x(t 1 ) t 2 x(t 2 ) t 3 x(t 3 ) t 4 x(t 4 ) Παίρνουμε αυθαίρετα 4 χρονικές στιγμές t 1, t 2, t 3, t 4. Σε κάθε μία από αυτές, η τιμή της έντασης του ήχου για την κάθε ηχογράφηση είναι διαφορετική. Για την πρώτη στιγμή, για παράδειγμα, έχουμε μια τυχαία μεταβλητή X(t 1 ) που εκφράζει την ένταση του ήχου εκείνη τη στιγμή, και άλλες 3 αντίστοιχες τυχαίες μεταβλητές για τις t 2, t 3, t 4. Τις 4 στιγμές τις επιλέξαμε αυθαίρετα, αλλά το πραγματικό σήμα έχει άπειρες τυχαίες μεταβλητές, μία για κάθε στιγμή. Είναι αυτές μεταξύ τους ανεξάρτητες; Παράδειγμα #2 Έχουμε ένα σύστημα που δέχεται μία μόνο είσοδο X, και παράγει μια έξοδο Υ (που εξαρτάται μόνο από την X): X = X(J) Y = Y (J) X(J) Y (J) Έστω το ενδεχόμενο A για το οποίο: A = {X x, Y y} = {X x} {Y y} Τότε ορίζουμε μία κοινή πιθανότητα μεταξύ τους (joint probability distribution function): F X (x, y) = P {X x, Y y} 14

Ιδιότητες (i) F (, y) = F (x, ) = F (, ) = επειδή: {X =, Y y} {X = }, αλλά P {X = } =. (ii) F (+, +) = 1 (iii) F (x, y) αύξουσα ως προς x, y, x και y (όχι απαραίτητα γνησίως) Για x 1 < x 2, έχουμε: P {X x 2, Y y} = P {X x 1, Y y} + P {x 1 < X x 2, Y y} P {x 1 < X x 2, Y y} = F (x 2, y) F (x 1, y) F (x 2, y) F (x 1, y) Με τον παραπάνω τύπο μπορούμε να υπολογίσουμε την πιθανότητα μιας κομμένης λωρίδας, όπως φαίνεται στο διάγραμμα: (x 1, y) (x 2, y) x 1 x 2 x (iv) F (x, y) 1 (v) F XY (+, y) = F Y (y) F XY (x, +) = F X (x) επειδή {X x, Y +} = {X x} {Y S +} P {X x} Υπολογισμός πιθανότητας Ποιά είναι η πιθανότητα {x 1 < X x 2, y 1 < Y y 2 } να βρεθούμε μέσα στο ορθογώνιο του σχήματος; y y 2 y 1 x 1 x 2 x Έχουμε: {x 1 < X x 2, Y y 2 } = {x 1 < X x 2, Y y 1 } + {x 1 < X x 2, y 1 < Y y 2 } P {x 1 < X x 2, Y y 2 } = P {x 1 < X x 2, Y y 1 } + P {x 1 < X x 2, y 1 < Y y 2 } Άρα: P {x 1 < X x 2, y 1 < Y y 2 } = F (x 2, y 2 ) F (x 1, y 1 ) F (x 2, y 1 ) + F (x 1, y 1 ) Δηλαδή μπορούμε να βρούμε την πιθανότητα να "πέσουμε" μέσα στο ορθογώνιο (άρα και σε κάθε χωρίο), χρησιμοποιώντας τις πιθανότητες από τις άκρες. 15

2.4.1 Συνάρτηση πυκνότητας πιθανότητας (από κοινού) Ιδιότητες f XY (x, y) = 2 F XY (x, y) x y (i) f(x, y) (ii) f(x, y) dx dy = 1 x (iii) F (x, y) = (iv) f X (x) = f Y (y) = y f(x, y) dx dy f(x, y) dy f(x, y) dx x + 2 (v) P {x 1 < X x 2, y 1 < Y y 2 } = x + 1 y + 2 f(x, y) dx dy y + 1 Επομένως για να βρούμε την πιθανότητα ενός χωρίου, αρκεί να ολοκληρώσουμε τη συνάρτηση πυκνότητας πιθανότητας σε αυτό. Παράδειγμα: Η κανονική κατανομή (καμπάνα) για δύο μεταβλητές: y μ 1 x.5 4 2 2 2 4 4 Η κανονική κατανομή δεν μπορεί να ολοκληρωθεί με αναλυτική έκφραση, επομένως χρησιμοποιούμε πίνακες ολοκληρωμάτων ή υπολογιστές. Τελικά, η συνάρτηση πυκνότητας πιθανότητας είναι μία επιφάνεια, η οποία αν ολοκληρωθεί σε κάποιο χωρίο για να λάβουμε τον όγκο που καλύπτει, θα πάρουμε την πιθανότητα του χωρίου (μοιάζει με συνάρτηση πυκνότητας μάζας). 2.5 Συνάρτηση κατανομής υπό συνθήκη πιθανότητας Έστω: A = {X x} B = {X x 2 } 2 4 Τότε: P (A/B) = P (A B) P (B) 16

Επομένως μπορούμε να ορίσουμε μια συνάρτηση: F X (x/b) = P {X x/b} = P {X x, B} P (B) (όπου το P {X x, B} δηλώνει την τομή των ενδεχομένων X x και B) για την οποία ισχύουν οι ιδιότητες, αντίστοιχα με προηγουμένως: F X (+/B) = 1, F ( /B) = P {x 1 < X x 2 /B} = P {x 1 < X x 2, B} P (B) = F (x 2 /B) F (x 1 /B) f X (x/b) = df X(x/B) dx f X (x/b) x f x (x/b) dx = F X (/B) F X ( /B) = 1 x 1 F X (x 1 /B) = f x (x/b) dx x + 2 P {x 1 < X x 2 /B} = f X (x/b) dx x + 1 Επίσης έχουμε: F { X (x) x < x F F X (x/b) = X (x 2 ) 2 { 1 x x 2 f { X (x) x < x f X (x/b) = x2 2 f X(x) dx { x x 2 1 F X (x 2 ) F X (x/b) F X (x) x 2 x f X (x) x 2 f X (x/b) (θυμόμαστε ότι B = {X x 2 }) 17

2.5.1 Υπό συνθήκη πιθανότητα με δύο τυχαίες μεταβλητές Έστω ότι A = {X x} B = {Y y} F X (x/b) = F XY (x, y) F Y (y) Για τη συνάρτηση πυκνότητας πιθανότητας: F XY (x, y) x = x [ y y = [ x x x f XY (x, y) dx dy] y f(x, y) dx] dy = f XY (x, y) dy Άρα: f X (x, Y y) = 1 F XY (x, y) F Y (y) x f XY (x, y) dy f(x, y) dy dx = y y Έστω όμως ότι B = {y 1 < Y y 2 } F X (x/ y 1 < Y y 2 ) = P {x x, y 1 < Y y 2 } P {y 1 < Y y 2 } = F XY (x, y 2 ) F XY (x, y 2 ) F Y (y 2 ) F Y (y 1 ) Έστω ότι B = {Y = y} = y 2 y 1 y 2 y 1 f XY (x, y) dy f XY (x, y) dy dx F X (Y = y) = F XY (x, y)/ d/den???? 2.6 Ανεξαρτησία Τυχαίων Μεταβλητών Ο γνωστός ορισμός της ανεξαρτησίας είναι: P (A B) = P (A) P (B) Επομένως, για δύο τυχαίες μεταβλητές X, Y και τα αντίστοιχα ενδεχόμενα A = {X x} και B = {Y y}, έχουμε: P {X x, Y y} = P {X x} P {Y y} F XY (x, y) = F X (x) F Y (y) 2 F(x,y) x y f XY (x, y) = f X (x) f Y (y) Άρα για δύο ανεξάρτητες τυχαίες μεταβλητές ισχύει: F X (x/ Y y) = P {X x, Y y} P {Y y} = P {X x} = F X (x) 18

2.7 Ντετερμινιστική σχέση μεταξύ τυχαίων ματαβλητών (X, f X (x)) (Y, f Y (y)) Έστω ότι υπάρχει μία ντετερμινιστική σχέση g( ) που συνδέει τις τυχαίες μεταβλητές X, Y : Y = g(x) Ομοίως μπορεί να έχουμε: (X, Y, f XY (x, y)) (Z, W, f ZW (z, w)) Z = g(x, Y ) W = h(x, Y ) f X (x) x f X f X (x ) dx = P {x < x < x + dx} f Y (y) dx = P {y < Y < y + dy} (y = g(x)) y = g(x) y x 1 + dx 1 x 1 x 2 x 2 + dx 2 x 3 + dx 3 x 3 x f Y (y) dy = P {y < Y y + dy} Άρα: = P {x 1 < X x 1 + dx 1 } + P {x 2 < X x 2 + dx 2 } + P {x 3 < X x 3 + dx 3 } f Y (y) = f X (x 1 ) dx 1 dy + f X (x 2 ) dx 2 dy f Y (y) = f X(x 1 ) g (x 1 ) + f X(x 2 ) g (x 2 ) + f X(x 3 ) g (x 3 ) και γενικότερα f Y (y) = m i=1 f X (x) g (x) x=x i + f X (x 3 ) dx 3 dy 19

Για δύο ζευγάρια τυχαίων μεταβλητών προκύπτει ότι, για z = g(x i, y i ) και w = h(x i, y i ): f ZW (z, w) = n i=1 f XY (x, y) J(x, y) x = xi y = y i g(x,y) x όπου J η ιακωβιανή ορίζουσα J = h(x,y) x g(x,y) y h(x,y) y. Παράδειγμα Έστω ότι έχουμε ένα μοντέλο (X, Y, f XY ), και τις τυχαίες μεταβλητές: Z = g(x, Y ) f Z (z) W = X = h(x, Y ) Τότε έχουμε: f Z (z) = f ZW (z, w) = n i=1 f ZW (z, w) dw f XY (x, y) J(x, y) x=x i, y=y i Παράδειγμα Έστω μοντέλο (X, Y, f XY ) και οι: Z = X + Y W = X Αν λύσουμε το παραπάνω σύστημα, έχουμε: y 1 = z w x 1 = w Επομένως: J(x) = 1 1 1 = 1 f ZW (z, w) = f XY (x, y) 1 x 1 =w, y 1 =z w = f XY (w, z w) Έχει ενδιαφέρον όταν οι X και Y είναι ανεξάρτητες, οπότε: f XY (x, y) = f X (x) f Y (y) f ZW (z, w) = f X(x)f Y (y) 1 x 1 =w, y 1 =z w f Z (z) = f X (w)f Y (z w) = f X (z) f Y (z) συνέλιξη 2

2.8 Χρήση γενικευμένων συναρτήσεων Οι συναρτήσης κατανομής και πυκνότητας πιθανότητας που χρησιμοποιούμε μπορεί να μην είναι F X (x) 1 x 1 x 2 x 3 x 4 f X (x) P 1 P 2 P 3 P 4 x 1 x 2 x 3 x 4 συνεχείς ή παραγωγίσιμες: P (X = x i ) = p i = F X (x i ) F X (x i ) p i = 1 F X (+) F X ( ) = 1 i F X (x) = P {X = X i } i Απ' ό,τι βλέπουμε, η συνάρτηση πυκνότητας πιθανότητας στο παραπάνω σχήμα δεν είναι πεπερασμένη, αλλά περιέχει τέσσερις ώσεις, δηλαδή συναρτήσεις δ(t): f X (x) = p i δ(x x i ) i Αυτή ήταν μία συνάρτηση που περιείχε μόνο ώσεις. Αντίστοιχα, μπορούμε να έχουμε μικτές συναρτήσεις: 21

F X (x) 1 x 1 x 2 f X (x) x 1 x 2 Κεφάλαιο 3 Ροπές Έχουμε το μοντέλο: (X, f X (x)) Αν γνωρίζουμε την f X (x), μπορούμε να κάνουμε όποιον υπολογισμό θέλουμε για την τυχαία μεταβλητή, αλλά συχνά είναι πολύ δύσκολο να βρούμε τη συνάρτηση αυτή. Τότε χρησιμοποιούμε προσεγγίσεις που προκύπτουν από τις ροπές, που θα δούμε παρακάτω. Οι ροπές είναι μεγέθη (μέσος όρος, τυπική απόκλιση κλπ.) που προκύπτουν από στατιστικά δεδομένα. 3.1 Χαρακτηριστική συνάρτηση Ορισμός 3.1: Χαρακτηριστική συνάρτηση τυχαία μεταβλητής Φ(ω) = f X (x)e jωx dx Παρατηρούμε ότι ουσιαστικά είναι ένας αντίστροφος μετασχηματισμός Fourier, και ότι η αντίστροφη διαδικασία είναι: f X (x) = 1 2π Φ(ω)e jωx dω 22

Ιδιότητες 1) Φ() = f(x) dx = 1 2) Φ(ω) = e jωx dx f(x) dx = 1 Φ(ω) 1 Γενικά, αν ω, τότε Φ(ω) < 1 (με μία εξαίρεση) 3) F X (x) Φ(ω): P {x 1 < x x 2 } = F X (x 2 ) F X (x 1 ) x 2 = f X (x) dx x 1 = 1 2π x2 x 1 Φ(ω)e jωx dω dx = 1 2π Φ(ω) e jωx 2 e jωx 1 jω dω Μέχρι στιγμής έχουμε μια συνάρτηση που μπορεί να μας οδηγήσει στην f X (x). Πώς μπορούμε να την βρούμε; e jωx = Φ(ω) = = k= k= 3.1.1 Ορισμός (jωx) k k! (jωx) k f X (x) dx = k! (jω) k k! Ορισμός 3.2: Ροπή k= k [ x k f X (x) dx] Ονομάζουμε k-οστή ροπή τον αριθμό: Τότε: m k = x K f X (x) dx k= (jωx) k f k! X (x) dx Φ(ω) = k= (jω) k k! m k Παρατηρούμε ότι η ροπή με k = 1 είναι η μέση τιμή μιας μεταβλητής. Επίσης παρατηρούμε ότι για να βρούμε τις συναρτήσεις πυκνότητας & κατανομής πιθανότητας, χρειαζόματε τον άπειρο αριθμό ροπών, αλλά με μεγάλο k, αυξάνεται ο παρονομαστής, και μετράν όλο και λιγότερο στο τελικό αποτέλεσμα. 23

Δηλαδή: Φ(ω) = 1 + jωm 1 + (jω)2 2! dφ(ω) dω = jm 1 + 2(jω)j 2! dφ(ω) dω = jm 1 ω= Και γενικότερα: Φ (k) (ω) ω= = j k m k m 2 + + (jω)k m k! k + m 2 + + k(jω)k 1 j k m k! k + Δηλαδή μπορούμε από την k-οστή παράγωγο της χαρακτηριστικής συνάρτησης στο ω = να βρούμε την k-οστή ροπή. 3.2 Μέση τιμή 3.2.1 Σε μία μεταβλητή Διακριτή f X Έστω ότι η f X είναι διακριτή, δηλαδή προκύπτει από ώσεις. m 1 = xf X(x) dx Την πρώτη ροπή ονομάζουμε μέσο όρο: m 1 = E[x] = x i f X (x i ) i Παράδειγμα - ηλικίες Μ.Ο = 4 + 28 + 5 + 3 4 Πατέρας Μητέρα Παιδί 1 Παιδί 2 4 28 5 3 = 19 = 1 4 4 + 1 4 28 + 1 4 5 + 1 4 3 Όμως δεν υπάρχει στην οικογένεια άτομο με ηλικία (κοντά στα) 19 έτη! Αν παρομοιάσουμε το παραπάνω με ένα πείραμα τύχης με δειγματικό χώρο: S = {Π, M, Π 1, Π 2 } όπου η τυχαία μεταβλητή x είναι η ηλικία και έχουμε ίδια πιθανότητα f(x i ) = 1 4 άτομο, έχουμε: να επιλέξουμε ένα E[x] = 4 i=1 Μία ενδιαφέρουσα ιδιότητα x i f X (x) = 1 4 4 + 1 4 28 + 1 4 5 + 1 4 3 Το εμβαδόν μιας συνάρτησης σε ένα διάστημα είναι ίσο με το ορθογώνιο που έχει ύψος τη μέση τιμή της συνάρτησης στο διάστημα αυτό. 24

3.2.2 Σε πολλές μεταβλητές Αν μία τυχαία μεταβλητή Y εξαρτάται από την X: Y = g(x) τότε προκύπτει: E[y] = yf Y (y) dy E[y] = y = g(x) dx δηλαδή προκύπτει με απλή ολοκλήρωση της g. 3.2.3 Ιδιότητες (1) E[C] = C (2) E[Cx] = CE[x] (3) E [g 1 (x) + g 2 (x) + + g n (x)] = E [g 1 (x)] + E [g 2 (x)] + + E [g n (x)] 3.3 Δεύτερη ροπή m 2 = x 2 f X (x) dx m 2 = E[x 2 ] = x 2 Αν η τυχαία μεταβλητή μας είναι το ρεύμα ή η ένταση, η ροπή αυτή μπορεί να αναπαριστά ισχύ (επειδή υψώνεται η τυχαία μεταβλητή στο τετράγωνο). 3.4 Κεντρική ροπή Ορισμός 3.3: Κεντρική ροπή μ k = (x y = (x x) k x) k f X (x) dx (οι προηγούμενες ροπές που μελετήσαμε λέγονταν κανονικές) f x (x) x x x Παρατηρούμε ότι: E [(x x) k ] = μ k 25

Αν έχουμε ένα "τραίνο ώσεων", δηλαδή η τυχαία μεταβλητή μας είναι διακριτή (ή θεωρήσουμε πως είναι διακριτή): μ k = i (x i x) k f X (x i ) μ k = E [(x x) k ] = E τ= 3.4.1 Τυπική απόκλιση k ( k τ )( 1)τ ( x) τ x k τ = k τ= Η τυπική απόκλιση προκύπτει από την κεντρική ροπή με k = 2: Δηλαδή: μ 2 = (x x) 2 f X (x) dx 1 = x 2 f(x) dx 2x 2 xf(x) dx + ( x) 2 f(x) dx μ 2 = m 2 x 2 μ 2 = m 2 (m 1 ) 2 σ 2 x = E[x 2 ] (E[x]) 2 ( k τ )( 1)τ ( x) τ m k τ E[x k τ ] όπου ονομάζουμε το σ 2 διασπορά και την σ 2 τυπική απόκλιση, και εκφράζουν το πόσο μεγάλο "εύρος" καταλαμβάνει η κατανομή στη συνάρτηση πυκνότητας πιθανότητας. 3.5 Για δύο τυχαίες μεταβλητές Ορισμός 3.4: Ροπή kr Έστω (X, Y, f XY (x, y)) Ορίζουμε ροπή kr τον αριθμό: m kr = και λέμε n = k + r. x k y r f XY (x, y) dx dy = E[x k y r ] Ορισμός 3.5: Κεντρική Ροπή kr Κεντρική ροπή είναι: μ kr = (x x) k (y y) r f XY (x, y) dx dy = E [(x x) k (y y) r ] Για m 11, ορίζουμε συγκεκριμένα την συσχέτιση: Ορισμός 3.6: Συσχέτιση m 11 = E[XY ] = xyf(x, y) dx dy 26

Αντίστοιχα, την συμμεταβλητότητα (covariance cov): Ορισμός 3.7: Συμμεταβλητότητα μ 11 = E [(x x)(y y)] Αν κάνουμε μερικές πράξεις: μ 11 = E [(x x)(y y)] = E[xy xy yx + xy] = E[xy] xe[y] ye[x] + xy = E[xy] E[x]E[y] = m 11 E[x]E[y] Τους παραπάνω ορισμούς θα τους χρησιμοποιήσουμε για να ορίσουμε τον συντελεστή συσχέτισης. Στο αναλογικό σήμα υπάρχει η χρονική συσχέτιση, που ορίζεται ως εξής: T/2 1 lim T T T /2 x(t)y(t) dt Εδώ, η συσχέτιση δείχνει ότι υπάρχει κάποια στατιστική σχέση/αλληλοεξάρτηση μεταξύ δύο μεταβλητών. Η συμμεταβλητότητα είναι η συσχέτιση, μειωμένη κατά έναν σταθερό όρο. Αν η μέση τιμή κάποιας από τις δύο μεταβλητές είναι, τότε η συμμεταβλητότητα ισούται με τη συσχέτιση. 3.5.1 Συντελεστής Συσχέτισης Πριν ορίσουμε το συντελεστή συσχέτισης, θα κανονικοποιήσουμε τις μεταβλητές μας, ώστε να αναφερόμαστε σε όμοια μεγέθη: z = x x θ = y y σ x σ y Παρατηρούμε ότι έχουν μέση τιμή z = θ: z = E[z] = E [ x x ] = 1 σ x σ x (E[x] E[x]) = Δηλαδή η κανονικοποίηση μετακίνησε τη μέση τιμή των μεταβλητών στο. Για τη μεταβλητότητα έχουμε: σz 2 = E (z z ) = E[z 2 ] = E [( x x σ 2 )] = 1 Δηλαδή: z = θ = σ 2 z = σ 2 θ = 1 Ορίζουμε τον συντελεστή συσχέτισης ρ ως την αναμενόμενη τιμή ενός γινομένου: 27

Ορισμός 3.8: Συντελεστής Συσχέτισης ρ = E [( x x ) ( y y )] σ x σ y = = Cov[X, Y ] σ x σ y = E[zθ] Παρατηρούμε ότι 1 ρ 1: (x x)(y y) f σ x σ XY (x, y) dx dy y Απόδειξη E [(a(x x) ± (y y)) 2 ] = a 2 E [(x x) 2 ] ± 2E [(x x)(y y)] + E [(y y) 2 ] = a 2 σ 2 x ± 2aCov[X, Y ] + σ 2 y Για να είναι το παραπάνω τριώνυμο μη αρνητικό (αφού (a(x x) ± (y y)) 2 ), θα πρέπει η διακρίνουσά του να είναι Δ : 4Cov 2 [X, Y ] 4σxσ 2 y 2 Cov 2 [X, Y ] σxσ 2 y 2 3.5.2 Χαρακτηριστική συνάρτηση (X, Y, f XY (x, y)) Ορισμός 3.9 Φ XY (ω 1, ω 2 ) = Αντιστρόφως: f XY (x, y) = 1 4π 2 Παρατηρώ ότι: e jω 1 e jω 2 y = k= (jω 1 x) k k! e j(ω 1x+ω y) 2 f XY (x, y) dx dy Φ XY (ω 1, ω 2 )e j(ω 1x+ω y) 2 dω 1 dω 2 (jω 2 y) r r! r= Αν το τοποθετήσω εντός του ορισμού της χαρακτηριστικής συνάρτησης: Φ X,Y (w 1, w 2 ) = k= r= (jω 1 x) k (jω 2 y) r f k! r! XY (x, y) dx dy mkr = x k y r f(x, y) dx dy r= k= Φ XY (ω 1, ω 2 ) = k= r= j kr ω1 kωr 2 m k! r! kr 28

3.5.3 Ανακεφαλαίωση (X, Y, f X (x), f Y (y), f XY (x, y)) Ανεξάρτητες f XY (x, y) = f X (x)f Y (y) Ασυσχέτιστες ρ = cov[x, Y ] = E [xy] = E[x]E[y] E [(x x)(y y)] = E[xy] E[x]E[y] Αν επιπλέον Ε[ΧΥ] =, τότε καλούνται ορθογώνιες. 3.5.4 Θεωρήματα 1. Αν X, Y είναι στατιστικά ανεξάρτητες, και έχουμε δύο συναρτήσεις z = g(x) w = h(y) τότε: f ZW (z, w) = f Z (z)f W (w) 2. X, Y στατ. ανεξάρτητες στατ. ασυσχέτιστες (εν γένει δεν συμβαίνει το ανάποδο) E[XY ] = E [ z g(x) w h(y)] = E [g(x)] E [h(x)] x y f X(x)f Y (y) f(x, y) dx dy = xf X (x) dx yf Y (y) dy = E[x]E[y] (παραπάνω θεώρημα) 3. x, y ασυσχέτιστες x x, y y ορθογώνιες: E [(x x)(y y)] = E [xy xy xy + xy] = E[xy] x y = Στο παρακάτω σήμα, έχουμε αρχικά έναν DC όρο s, άρα το σήμα έχει ισχύ. Αν τον αφαιρέσουμε, έχει μέση τιμή, άρα και μέση ισχύ. Δύο μεταβλητές μπορεί να είναι ασυσχέτιστες, κάτι που όμως μπορούμε να το δούμε αν αφαιρέσουμε από αυτές την μέση τους τιμή. s f(t) DC όρος f(t) s 4. Αν X, Y ασυσχέτιστες μια καινούρια μεταβλητή τότε: z = x + y σ 2 x+y = σ 2 x + σ 2 y 29

διότι: z = x + y σz 2 = E [(z z)] = E [((x + y) ( x + y)) 2 ] = E [((x x) + (y y)) 2 ] 5. Αν x, y ορθογώνιες: = σ2 x E [(x x) 2 ] + 2 E [(x x)(y y)] + σ2 y E [(y y) 2 ] E [(x + y) 2 ] = E[x 2 ] + E[y 2 ] αφού γίνεται x 2 + 2xy + y 2, αλλά E[xy] = 6. E [x x] = E[x] x x = 3.5.5 Εφαρμογές Y=aX Για δύο τυχαίες μεταβλητές Υ, Χ έχουμε: Y = ax xy cov[x, Y ] = E [(x x)(y y)] = E [ ax 2 ] xy = ae[x 2 ] a( x) 2 = a [E[x 2 ] ( x) 2 ] = aσx 2 y = E [ax] = ax σy 2 = E [Y 2 ] ( Y ) 2 = a 2 E [ x 2 ] a 2 ( x) = a 2 [E [x 2 ]] = a 2 σ 2 x σ y = a σ x ρ = aσ2 x a σ 2 x Ανισότητα Cauchy = a a = ±1 [E [XY ]] 2 E[x 2 ]E[y 2 ] Για τη μεταβλητή (x λy) 2, λ R έχουμε: E [(x λy) 2 ] = λ 2 E [y 2 ] 2λE[xy] + E[x 2 ] E [(x λy) 2 ] = (E[xy])2 min (E[y 2 ]) 2 E[y 2 ] 2 (E[xy])2 E[y 2 + E[x 2 ] = E[x 2 ] (E[xy])2 ] E[y 2 ] Κεφάλαιο 4 Κατανομές X, f X (x) Τα τυχαία σήματα με τα οποία ασχολούμαστε μεταβάλλονται στον χρόνο, π.χ. E(t), I(t), H(t), B(t), U(t) που μπορεί π.χ. να είναι ίσα με U (t) cos (2πf(t)t + φ(t)). Το σήμα δεν είναι ντετερμινιστικό, αλλιώς δεν θα μετέφερε καμία πληροφορία. Η τυχαία μεταβλητή είναι το πλάτος του σήματος. Η πιθανότητα που μας ενδιαφέρει είναι η πιθανότητα να βρεθούμε εντός μιας περιοχής: P {x < X x + dx} = f X (x)δx 3

x(t) x + Δx x Δt 1 Δt 2 Δt 3 Δt 4 Δt 5 t την οποία βρίσκουμε μέσω μίας κατανομής f X : f x (x) x x + dx Τον χρόνο που το σήμα μας έχει πλάτος που βρίσκεται εντός των τιμών που θέλουμε τον αποκαλούμε T X : και έχουμε: T X = Δt i i f X (x)δx = T X i Δt i T f X (x) = lim x T T X T Δx όπου T είναι ο χρόνος όλου του σήματος. 4.1 Gaussιανή Κατανομή Gaussιανή ή Κανονική κατανομή f X (x) = 1 exp [ (x x)2 ] σ x 2π 2σ 2 x f x (x) 68% x 95% Με μέση τιμή x και τυπική απόκλιση σ x. Σε ένα διάστημα x 3σ x μέχρι x + 3σ x συγκεντρώνεται πάνω από το 99% των ενδεχομένων. Έχει συνάρτηση κατανομής πιθανότητας: x F X (x) = (δεν υπολογίζεται αναλυτικά) 31

F x (x) 1.5 x x 4.1.1 Συνάρτηση Y = ax + b Αν έχουμε μια συνάρτηση για την τυχαία μεταβλητή X: Y = ax + b Γνωρίζουμε ότι: f Y (y) = f X(x) dy dx x=y 1 Το x λύνεται ως εξής: x 1 = y b a και επειδή η σχέση είναι γραμμική: άρα: dy dx = a f Y (y) = f X(x) = dy dx x=y1 1 aσ x 2π exp [ με αντικατάσταση σy 2 = a 2 σx 2 και y = ax + b: (y b x a) 2 2a 2 σx 2 ] = 1 exp [ (y y)2 ] σ y 2π 2σ 2 y Δηλαδή αν εφαρμόσουμε μια γραμμική συνάρτηση σε μια γκαουσιανή κατανομή, θα πάρουμε πάλι γκαουσιανή κατανομή. 4.1.2 Συνάρτηση Κατανομής Πιθανότητας x F X (x) = f X (u) du 1 = σ x 2π = 1 2π x x x σx exp [ (u u)2 ] du exp [ u2 2 ] dy 2σ 2 x 32

Το παραπάνω ολοκλήρωμα δεν μπορεί να εκφραστεί αναλυτικά, επομένως πρέπει να καταφύγουμε σε πίνακες. Για να βρούμε την πιθανότητα: P {X x 1 } ψάχνουμε στους πίνακες την τιμή: x 1 x σ x η οποία είναι η μεταβλητή X, αλλά κανονικοποιημένη, ώστε να έχει μέση τιμή απόκλιση σ y = 1, άρα εκφράζεται από τη συνάρτηση φ(x) = 1 x exp [ y2 2π 2 ] dy Για ευκολία, ορίζουμε τη συνάρτηση: y = και τυπική erf(x) = 1 x exp [ y2 2π 2 ] dy (error function) επομένως: φ(x) = 1 2 + erf(x) (αφού η erf ολοκληρώνει από το, όχι το ). Ιδιότητες φ( x) = 1 φ(x) erf( x) = erf(x) erf(+) = 1 2 4.1.3 Χαρακτηριστική συνάρτηση Η χαρακτηριστική της γκαουσιανής είναι: Φ(ω) = exp [jωx ω2 σx 2 ] 2 4.1.4 Από κοινού Gaussιανή κατανομή Έχουμε δύο μεταβλητές, με τα δικά τους σ x, σ y x, y και συντελεστή συσχέτισης ρ. Τότε: 1 f XY (x, y) = 2πσ x σ y 1 ρ exp { 1 2 { 2(1 ρ 2 ) [ x x ] σ x Αντίστοιχα υπάρχουν εκφράσεις με πίνακες για n τυχαίες μεταβλητές. 2 2ρ [ x x ] [ y y ] + [ y y 2 ] } σ x σ y σ y } 33

Αν ρ = (ασυσχέτιστες): f XY (x, y) = 1 2πσ x σ y exp { 1 2 (x x) 2 σ 2 x 1 (y y) 2 2 σy 2 } 1 = exp [ (x x)2 1 ] exp [ (y y)2 ] 2πσx 2πσy = f X (x)f Y (y) 2σ 2 x Δηλαδή δύο Gaussian μεταβλητές που είναι ασυσχέτιστες, είναι και ανεξάρτητες (δεν ισχύει απαραίτητα το αντίστροφο). 4.1.5 Θεώρημα κεντρικού ορίου Έχουμε δύο τυχαίες μεταβλητές, κατανεμημένες κατά Gauss: f X (x) = 1 e (x σ x 2π f Y (y) = 1 e (y σ y 2π x) 2 /2σ 2 x y) 2 /2σ 2 y και μία τρίτη, που είναι το άθροισμα των πρώτων δύο: Z = X + Y τότε: f Z (z) = f X (z) f Y (z) Εφαρμόζοντας τον μετασχηματισμό Fourier F : F [f Z (z)] = F [f X (z)] F [f Y (z)] = e (σ2 x+σ 2 y)ω 2 2 e jω( x+ y) F [f X (x)] = e (ωσ x) 2 2 e jωx F [f Y (y)] = e (ωσ y) 2 2 e jωy 2σ 2 y f Z (z) = 1 2π σ 2 x + σ 2 y e [z ( x + y)] /2(σ 2 x + σ 2 y) Αν το αποτέλεσμα αυτό το επεκτείνουμε σε n ανεξάρτητες Τ.Μ. (τυχαίες μεταβλητές) Gauss: σz 2 = σ1 2 + σ2 2 + + σ2 n z = x 1 + x 2 + + x n και η z θα είναι και αυτή Gaussιανή. Σύμφωνα με το Κεντρικό Οριακό Θεώρημα, αν προσθέσουμε άπειρες τυχαίες μεταβλητές, με οποιαδήποτε κατανομή, διαφορετική για την κάθε μία, το αποτέλεσμα θα είναι μια Gaussιανή κατανομή. Για παράδειγμα, αν έχουμε ηλεκτρόνια να κινούνται σε ένα μέταλλο, και προσθέσουμε το αποτέλεσμα του καθενός από τα δισεκατομμύρια ηλεκτρόνια που κινούνται με διαφορετική κατανομή, το αποτέλεσμα θα είναι μια Gaussιανή κατανομή του θορύβου που θα εμφανιστεί στην τάση. Έστω X 1, X 2,, X n (η κάθε μία μεταβλητή έχει τη δικιά της οποιαδήποτε - μη Gaussian - κατανομή), και Z = X 1 + X 2 + + X n με n, άρα f Z (z) = 1 e (z z) 2 /2σ 2 2 σ z 2π Έστω Z = 1 n [X 1 + X 2 + + X n ]. Αν σ 2 1 + σ2 2 + + σ2 n, και n, και a μια σταθερά > 2, τότε: z a f(z) < C = σταθερά. 34

4.2 Υπόλοιπες Κατανομές Από το βιβλίο του Πανά 35

Κεφάλαιο 5 Στοχαστικό Σήμα Το στοχαστικό σήμα έχει διαφορετικές ονομασίες: Στοχαστική διαδικασία Τυχαίο σήμα Τυχαία διαδικασία Στοχαστική ανέλιξη Έστω ότι έχουμε ένα πείραμα με δειγματικό χώρο S. Αν σε κάθε αποτέλεσμα αντιστοιχήσουμε μια συνάρτηση S(t), τότε έχουμε ορίσει το στοχαστικό σήμα. Δηλαδή το τυχαίο σήμα αποτελείται από ένα σύνολο (ensemble) συναρτήσεων, η καθεμία από τις οποίες αντιστοιχεί σε ένα ενδεχόμενο του πειράματος. S(t, J 1 ) t J m J n S J k J 1 J 2 S(t, J 2 ) t S(t, J k ) t t i t 1 t 2 t 3 Κάθε φορά που εκτελούμε το πείραμα (για παράδειγμα, αν έχουμε έναν ραδιοφωνικό σταθμό, και τον ηχογραφήσουμε για λίγα λεπτά 1 διαφορετικές φορές), θα πάρουμε n (1) διαφορετικές συναρτήσεις (επειδή π.χ. άλλαξε το τραγούδι, ένα σύννεφο επηρέασε τη διάδοση του κύματος, κλπ.). Θα παρατηρήσουμε ότι αυτά τα 1 σήματα, αν και διαφέρουν, μεταξύ τους παρουσιάζουν μερικές ομοιότητες. Όπως το βλέπουμε, το στοχαστικό σήμα είναι μία συνάρτηση: X(t, J) όπου t ο χρόνος, και J η έξοδος του πειράματος. Για μια σταθερή τιμή του χρόνου: t = t i έχουμε μία τυχαία μεταβλητή: X(t i, J) Αντίστοιχα, για ένα συγκεκριμένο αποτέλεσμα του πειράματος, π.χ. J 5, έχουμε ένα σήμα στο πεδίο του χρόνου: X(t, J 5 ) το οποίο μπορούμε να συμβολίσουμε ως εξής: x 5 (t) και μπορούμε π.χ. να βρούμε την τιμή ενός συγκεκριμένου σήματος κάποια στιγμή: x 5 (4) 36

Τα στοχαστικά σήματα διακρίνονται σε: Συνεχές στ. σήμα x J (t) f x (x(t i )) t i Συνάρτηση πυκνότητας πιθανότητας Διακριτό στ. σήμα x J (t) f x (x(t i )) 1 7.3 7.3 1 Μικτό στ. σήμα x J (t) f x (x(t i )) Επιπλέον, διακρίνονται ως εξής: Μη ορισμένο σήμα (non-deterministic) Ένα σήμα στο οποίο οι τιμές κάποια στιγμή δεν εξαρτώνται από τις προηγούμενες τιμές. Ορισμένο σήμα (deterministic) Ένα σήμα, το οποίο αν αφήσουμε να εξελιχθεί, θα μπορούμε να προβλέψουμε τις επόμενες τιμές από τις προηγούμενες. Παράδειγμα x i (t) = A cos(ωt + θ i ) 37

Η οικογένεια αυτών των σημάτων αποτελείται από συνημίτονα ίδιου πλάτους και συχνότητας, αλλά διαφορετικής φάσης. Γνωρίζοντας τις παρελθοντικές τιμές ενός από αυτά τα σήματα, μπορούμε να βρούμε το θ i, άρα και τις μελλοντικές του τιμές. 5.1 Μοντέλο Στοχαστικού Σήματος Έστω ένα στοχαστικό σήμα {x(t)}. Για όλες τις χρονικές του στιγμές, η τιμή του σήματος βρίσκεται από τις τυχαίες μεταβλητές x(t 1 ), x(t 2 ),, x(t 4 ),, οι οποίες είναι άπειρες στον αριθμό. Τότε χρειάζεται να γνωρίζουμε την συνάρτηση από κοινού πυκνότητας πιθανότητας όλων αυτών των μεταβλητών: f (x(t 1 ), x(t 2 ),, x(t n )) κάτι που είναι εξαιρετικά δύσκολο, ακόμα κι αν περιορίσουμε το πλήθος των χρονικών στιγμών σε πεπερασμένο αριθμό. Μπορούμε να αποκτήσουμε μια προσέγγιση, αν αποκτήσουμε τις οριακές συναρτήσεις πυκνότητας πιθανότητας για κάποιες χρονικές στιγμές: f (x(t 1 )), f (x(t 2 )),, f (x(t n )) Δεν γνωρίζουμε όμως τη συσχέτιση μεταξύ τους. Μπορούμε λοιπόν να συμπεριλάβουμε την από κοινού συνάρτηση πυκνότητας πιθανότητας του κάθε ζευγαριού: f (x(t 2 ), x(t 3 )), f (x(t 3 ), x(t 1 )) Παρατηρούμε πως αν γνωρίζουμε το μοντέλο της δεύτερης πιθανότητας (συναρτήσεις f (x(t i ), x(t j ))), μπορούμε εύκολα με μια ολοκλήρωση να εξάγουμε και την κάθε συνάρτηση f (x(t k )) ξεχωριστά. Επομένως, θα ασχολούμαστε πιο συχνά με το μοντέλο: f (x(t i ), x(t j )) 1 ης τάξης Για μια στιγμή t 1 : x(t 1 ) E [x(t 1 )] = x(t 1 ) = M(t 1 ) E [(x(t 1 ) M(t 1 )) 2 ] = σ 2 (t 1 ) 38

όπου: Για όλα τα t: E [x(t)] = X(t) = M(t) E [(x(t) M(t)) 2 ] = σ 2 (t) x M(t) = X(t)f (x(t)) dx(t) x(t) σ 2 (t) = [(x(t) M(t)) 2 ] f (x(t)) dx(t) x(t) (με προσοχή ότι η ολοκλήρωση δεν γίνεται στο χρόνο) 2 ης τάξης Γνωρίζοντας τις: M(t 1 ), M(t 2 ), σ 2 (t 1 ), σ 2 (t 2 ) ορίζουμε τη συμμεταβλητότητα: cov [x(t 1 )x(t 2 )] συμμεταβλητότητα = E [(x(t 1 ) M(t 1 )) (x(t 2 ) M(t 2 ))] = E [x(t 1 )x(t 2 )] M(t 1 )M(t 2 ) συσχέτιση E [x(t 1 )x(t 2 )] = x(t 1 )x(t 2 )f (x(t 1 ), x(t 2 ) dx(t 1 ) dx(t 2 ) R(t 1, t 2 ) συνάρτηση συσχέτισης x(t 1 ) x(t 2 ) = E [x(t 1 )x(t 2 )] 5.2 Στασιμότητα & Εργοδικότητα Ορισμός 5.1: Αυστηρά στάσιμο Αυστηρά στάσιμο (Straight Stationary) ονομάζεται ένα σήμα {x(t)} όταν για οποιαδήποτε μετακίνηση {x(t + τ)} η από κοινού πιθανότητα δεν μεταβάλλεται: f (x(t 1 ), x(t 2 ),, x(t n ), ) = f (x(t 1 + τ), x(t 2 + τ),, x(t n + τ), ) Στα μοντέλα με τα οποία ασχολούμαστε εμείς, ορίζουμε: f (x(t)) = f (x(t + τ)) f (x(t 1 ), x(t 2 )) = f (x(t 1 + τ), x(t 2 + τ)) Πρακτικά, η στασιμότητα σημαίνει ότι τα σήματα δεν αλλάζουν στατιστικά χαρακτηριστικά στο χρόνο. 39

Ορισμός 5.2: Ασθενικά στάσιμο Ασθενικά στάσιμο (στάσιμο με την ευρεία έννοια, Wide Sense Stationary) λέγεται ένα τυχαίο σήμα όταν: (i) E [x(t)] = M(t) = M (ii) R(t 1, t 2 ) = R(τ) όπου t 1 t 2 = τ Εάν ένα σήμα είναι αυστηρά στάσιμο, τότε από τις ολοκληρώσεις προκύπτει ότι είναι και στάσιμο με την ευρεία έννοια. Το αντίστροφο δεν ισχύει εν γένει. Ορισμός 5.3: Αυτοσυσχέτιση Όταν αναφερόμαστε στη συσχέτιση ενός σήματος με τον εαυτό του, θα την αποκαλούμε αυτοσυσχέτιση. Προκύπτει το ερώτημα, αν γνωρίζουμε την τιμή του σήματος σε ένα σημείο στο χρόνο, μπορούμε να προβλέψουμε τις επόμενες τιμές του; Αν έχουμε ένα σήμα, μπορούμε να γνωρίζουμε τη μέση του τιμή και την αυτοσυσχέτισή του, αντίστοιχα: x 1 (t) = T/2 1 lim T T T/2 x 1 (t) dt T/2 R x (τ) = lim x 1 (t)x 1 (t + τ) dt T T/2 Ορισμός 5.4: Εργοδικό ως προς τη μέση τιμή σήμα Ένα σήμα ονομάζεται εργοδικό ως προς τη μέση τιμή, όταν: (1) Οι χρονικές μέσες τιμές κάθε ενδεχομένου σήματος είναι ίσες μεταξύ τους και ίσες με (2) Τη στατιστική μέση τιμή κάθε χρονικής στιγμής. Ορισμός 5.5: Εργοδικό ως προς την αυτοσυσχέτιση σήμα Ένα σήμα ονομάζεται εργοδικό ως προς την αυτοσυσχέτιση, όταν: (1) Οι χρονικές συναρτήσεις αυτοσυσχέτισης κάθε ενδεχομένου σήματος είναι ίδιες μεταξύ τους και (2) είναι ίσες με τη στατιστική αυτοσυσχέτιση. Ορισμός 5.6: Εργοδικό ως προς n-ροπή E [(x(t)) n ] = x(t) (x(t)) n f (x(t)) d (x(t)) = T/2 1 lim T T T/2 (x J (t)) n dt Σχέση ανάμεσα σε στασιμότητα και εργοδικότητα: Τα μη στάσιμα σήματα δεν είναι εργοδικά. 5.3 Δύο στοχαστικά σήματα Η πιο συχνή περίπτωση είναι να έχουμε ένα σήμα πληροφορίας, και ένα σήμα θορύβου: x(t) + n(t) 4

και μας ενδιαφέρει να διώξουμε τον θόρυβο, και να εξάγουμε την πληροφορία. Έστω ότι έχουμε δύο σήματα: {x(t)} {y(t)} Για να τα περιγράψουμε πλήρως (πλήρες μοντέλο), χρειαζόμαστε τη συνάρτηση από κοινού πυκνότητας πιθανότητας: f XY (x(t 1 ), x(t 2 ), x(t n ),, y(t 1 ), y(t 2 ),, y(t n ), ) ή, αν τα σήματα είναι ανεξάρτητα: f X (x(t 1 ), x(t 2 ),, x(t n )) f Y (y(t 1 ), y(t 2 ),, y(t n )) Ένα πιο απλό μοντέλο περιγραφής των δύο σημάτων περιλαμβάνει: (i) E [x(t)] = M x (t) E [y(t)] = M y (t) (μέση τιμή) (ii) R x (t 1, t 2 ) R y (t 1, t 2 ) (αυτοσυσχέτιση) (iii) E [x(t 1 )y(t 2 )] (ετεροσυσχέτιση R xy (t 1, t 2 ) = E [x(t 1 )y(t 2 )] ) Τα δύο σήματα είναι στάσιμα, ως γνωστόν, όταν: M x (t) { M y (t) R x (t 1, t 2 ) { R y (t 1, t 2 ) = M x = M y = R x (τ) = R y (τ) όπου τ = t 1 t 2 Για να τα αποκαλέσουμε κοινά στάσιμα, πρέπει να πληρούν και την ιδιότητα: τ R xy (t 1, t 2 ) = R xy ( t 1 t 2 ) = R xy (τ) Ορισμός 5.7: Κοινά στάσιμα Κοινά στάσιμα (με την ευρεία έννοια) λέγονται δύο σήματα όταν: (1) Είναι στάσιμα από μόνα τους, και (2) Ικανοποιούν την ιδιότητα: τ R xy (t 1, t 2 ) = R xy ( t 1 t 2 ) = R xy (τ) Ορισμός 5.8: Στατιστικά ασυσχέτιστα σήματα Δύο σήματα ονομάζονται στατιστικά ασυσχέτιστα, ανν: E [x(t 1 )y(t 2 )] = E [x(t 1 )] E [y(t 2 )] = M x M y Ισχύει: Ασυσχέτιστα Ανεξαρτησία (εν γένει όχι και το αντίθετο) 41

Ορισμός 5.9: Εργοδικά ως προς την ετεροσυσχέτιση σήματα Δύο σήματα ονομάζονται εργοδικό ως προς την ετεροσυσχέτιση, όταν: (1) Οι χρονικές συναρτήσεις αυτοσυσχέτισης κάθε ενδεχομένου σήματος είναι ίσες και (2) είναι ίσες με τη στατιστική ετεροσυσχέτιση. Για τη χρονική ετεροσυσχέτιση θυμόμαστε ότι: R xy (τ) = 5.4 Ιδιότητες T/2 1 lim T T T/2 5.4.1 Ιδιότητες αυτοσυσχέτισης X n (t)y m (t + τ) dt δηλαδή Επίσης: R x (t 1, t 2 ) = E [x(t 1 )x(t 2 )] = E [x(t 2 + τ)x(t 2 )] t 1 t 2 = τ t 1 = t 2 + τ = R x (t 1 t 2 ) = R x (τ) R x (τ) = E [x(t + τ)x(t)] R x ( τ) = E[x(t τ)x(t)] t =t τ = E [x(t )x(t + τ)] = R x (τ) Άρα μερικές ιδιότητες της αυτοσυσχέτισης είναι: 1. R x () = E [x(t)x(t)] = E [x 2 (t)] 2. R x (τ) = R x ( τ) 3. R x (τ) R x () Απόδειξη E [(x(t + τ) ± x(t)) 2 ] = E [x 2 (t + τ) ± 2x(t + τ)x(t) + x 2 (t)] E [x 2 (t + τ)] + E [x 2 (t)] ±2E [x(t)x(t + τ)] = ±2R x (τ) 2R x () ± 2R x (t) R x () R x (t) 4. Αν η τυχαία μεταβλητή έχει μέση τιμή M x, τότε η αυτοσυσχέτιση περιέχει μια σταθερή ποσότητα. Απόδειξη N(t) = X(t) M x x(t) = M x + N(t) R x (τ) = E [X(t + τ)x(t)] = E [(M x + N(t + τ)) (M x + N(t))] = E [M 2 x + M x N(t) + M x N(t + τ) + N(t + τ)n(t)] = Mx 2 + M x E [N(t)] = M 2 x + R N (τ) + M x E [N(t + τ)] + R N (t) 5. Αν X(t) περιοδική X(t + nt ), τότε και η αυτοσυσχέτιση περιοδική R x (τ) = R x (τ + NT ) 42

Απόδειξη R x (τ) = E [X(t)X(t + τ)] = E [X(t)X(t + τ + NT )] = R x (τ + NT ) (με ανάλογο αποτέλεσμα και αν η περίοδος μεταβάλλεται ελαφρά) 6. lim τ = M 2 x 5.4.2 Ιδιότητες ετεροσυσχέτισης Θυμόμαστε για την ετεροσυσχέτιση: {x(t)}, {y(t)} R xy (t) = E [X(t 1 ) Y (t 1 + τ)] όπου t 2 t 1 = τ 1. R xy () = R yx () 2. R xy (τ) = R yx ( τ), επειδή: R yx (τ) = E [Y (t 1 )X(t 1 + τ)] R yx ( τ) = E [X(t 1 τ)y (t 1 )] R yx ( τ) = E [X(t 2 )Y (t 2 + τ)] (t 1 τ = t 2 ) 3. R xy (τ) [R x ()R y ()] 1 /2 4. Για ανεξάρτητα και στάσιμα σήματα: R xy (τ) = E [X(t 1 )Y (t 1 + τ)] = E [X(t 1 )] E [Y (t 1 + τ)] = M x M y = R yx (τ) Στην περίπτωση που: R xy (τ) =, έχουμε την περίπτωση ορθογωνικών σημάτων. Αυτό σημαίνει ότι μπορούμε εύκολα να ξεχωρίσουμε το ένα σε σχέση με το άλλο. 5.5 Αυτοσυσχέτιση Αν έχουμε ένα συμβατικό αναλογικό σήμα, x(t), ο μετασχηματισμός Fourier του F{x(t)} εκφράζει το πλάτος της κάθε συχνότητας που συμμετέχει στη δημιουργία του σήματος. Αν όμως πάρουμε την αυτοσυσχέτισή του, R x (t), ο μετασχηματισμός Fourier της F{R x (τ)} = S Px εκφράζει την πυκνότητα της φασματικής ισχύος. Δηλαδή, αν πάρουμε το εμβαδόν ενός εύρους συχνοτήτων στο S Px, θα βρούμε την ισχύ που συνεισφέρουν στο σήμα αυτές οι συχνότητες: S px (f) dx 43

Αν σε ένα στοχαστικό σήμα προσπαθήσουμε να πάρουμε τον μετασχηματισμό Fourier, θα προκύψουν άπειρες συναρτήσεις για κάθε δυνατό σήμα: x 1 (t) X 1 (f) x 2 (t) X 2 (f) x n (t) X n (f) Κάτι που δεν είναι χρήσιμο, γιατί πρέπει να αναλύσουμε άπειρες συναρτήσεις. Μπορούμε όμως να εκμεταλλευτούμε (θυμόμαστε ότι τα στοχαστικά σήματα είναι σήματα ισχύος) το προηγούμενο συμπέρασμα, χρησιμοποιώντας τη συνάρτηση R x (τ) για ένα στοχαστικό σήμα, και να πάρουμε τον μετασχηματισμό Fourier αυτής, ως εξής: 5.5.1 Εργοδικό άρα: T/2 1 Έστω: x L (t) με R x (τ), όπου R x (τ) = lim T T T /2 x(t) (x(t + τ)) dt Τότε R x (τ) FT S px (ω) (psd - power spectral density - φασματική πυκνότητα ισχύος) Όμως, επειδή το σήμα είναι εργοδικό: R x (τ) = R x (τ) R x (τ) FT S px (ω) που σημαίνει: S px (ω) = R x (τ)e jωτ dτ 5.5.2 Στάσιμο μη εργοδικό Έχουμε πολλές συναρτήσεις R xi (τ) F.T. S px που οδηγούν σε άπειρα φάσματα S pxi (ω) = R xi (τ)e jωτ dτ, οπότε δεν έχουμε λύσει το αρχικό πρόβλημα. Από τη θεωρία αναλογικού σήματος ισχύει: όπου: και S pxi (ω) = T/2 F [x it (t)] = F [x it ] 2 lim T T T/2 x it (t)e jωt dt x it (t) = x i (τ) [u (t + T /2) u (t T /2)] 1 T /2 T/2 Οι δύο τύποι συνδέονται από το θεώρημα Wiener-Khintchine. 44

Συνεχίζουμε να έχουμε άπειρες συναρτήσεις που μπορούν να μετασχηματιστούν κατά Fourier. Για να ξεπεράσουμε αυτό το πρόβλημα, θα χρησιμοποιήσουμε ροπές: Άρα: T/2 F [X T (t)] 2 = F [x T (t)] F [X T (t)] = T/2 = T/2 T/2 E [S px ] = E [ lim τ = lim T/2 T T/2 T T/2 = lim T/2 T T/2 T/2 T/2 T/2 x(t 1 )e jωt 1 dt1 x(t 1 )x(t 2 )e jω(t 2 t 1 ) dt 2 dt 1 T/2 T/2 T/2 T/2 T/2 T/2 T/2 Θέτουμε φ( t 2 t 1 ) = R x ( t 2 t 1 )e jω( = lim τ T T/2 T/2 T/2 T/2 T/2 x(t 1 )x(t 2 )e jω(t 2 t 1 ) dt 2 dt 1 ] x(t 2 )e jωt 2 dt2 R x(t 2 t 1 ) E [x(t 1 )x(t 2 )] e jω(t 2 t ) 1 dt 2 dt 1 R x(τ) R x (t 2 t 1 ) e jω (t τ 2 t 1 ) dt 2 dt 1 τ t 2 t 1 ) φ(t 2 t 1 ) dt 2 dt 1 Το ολοκλήρωμα αυτό μπορεί να υπολογιστεί γραφικά: t 2 περίπου ίσο εμβαδόν το τραπέζιο & το παραλληλόγραμμο τ τ + dτ T/2 t 2 = t 1 + τ τ = t 2 t 1 τ dτ τ T /2 45 A B xb T/2 t 1 πάνω σε αυτήν την ευθεία το φ είναι σταθερό φ x (t 2 t 1 ) = φ x (τ) = R x (τ)e jωτ φ x (τ + dτ) T /2 (AB) = t 1 ( T /2) = T 2 t + T 8 = T τ Άρα, για ένα μικρό κομμάτι: E = (T τ ) dτ Επομένως: E [S px ] = T 1 lim T T φ(τ)(t τ ) dτ T T = lim φ(τ) (1 τ T T T = lim T T T ) dτ φ(τ) dτ = R x (τ)e jωτ dτ Δηλαδή η μέση τιμή βγαίνει σταθερή και ίση με το μετασχηματισμό Fourier των πυκνοτήτων φασματικής ισχύος που έχει το σήμα. 45

Παρατηρούμε πως η ποσότητα R x (τ)e jωt dτ, δηλαδή ο μετασχηματισμός Fourier της συνάρτησης αυτοσυσχέτισης, εκφράζει την πυκνότητα φασματικής ισχύος στα εργοδικά σήματα, και τη μέση τιμή των πυκνοτήτων στα στάσιμα σήματα. 5.5.3 Ιδιότητες πυκνότητας φασματικής ισχύος 1) S px και E [S px ] (εργοδικό) (στάσιμο) 2) R x (τ) άρτια, τότε: S px (ω) = R x (τ) cos(ωτ) dτ = 2 R x (τ) cos(ωτ) dτ 3) Η συνάρτηση αυτοσυσχέτισης δίνεται από τη σχέση: R x (τ) = 1 2π S px (ω) cos(ωτ) dω = 1 π S p x(ω) cos(ωτ) dω 4) Η συνολική ισχύς είναι: 5) P = R x () P = 1 2π S px (ω) dω 5.5.4 Πυκνότητα φάσματος ετεροισχύος Ορισμός 5.1: Πυκνότητα φάσματος ετεροισχύος Είναι η ποσότητα S pxy όπου: R xy (τ) FT S pxy (ω) Κεφάλαιο 6 Απόκριση γραμμικού συστήματος σε στοχαστική είσοδο Έστω ένα γραμμικό σύστημα με κρουστική απόκριση h(t): x(t) h(t) y(t) που θεωρούμε ότι είναι χρονοαμετάβλητο, αιτιατό και ευσταθές, δηλαδή: 1) h(t) =, t < 2) h(t) dt < 3) y(t) = x(t) h(t) = t x(t λ)h(λ) dλ = x(λ)h(t λ) dλ 46