Η Έννοια της τυχαίας ιαδικασίας Η έννοια της τυχαίας διαδικασίας, βασίζεται στην επέκταση της έννοιας της τυχαίας µεταβλητής, ώστε να συµπεριλάβει το χρόνο. Σεκάθεαποτέλεσµα s k ενόςπειράµατοςτύχης αντιστοιχούµε, σύµφωναµεκάποιο κανόνα, τηχρονικήσυνάρτηση k (. Ηοικογένειαόλωναυτώντωνσυναρτήσεων καλείται τυχαία διαδικασία και δηλώνεται µε (. ( Σεραφείµ Καραµπογιάς δειγµατικός χώρος s 4 s s 3 s ( 3 ( M Με άλλα λόγια µια τυχαία διαδικασία είναι µια απεικόνιση του δειγµατοχώρου S σε ένα σύνολο από συναρτήσεις που ονοµάζονται δείγµα συνάρτησης ή µέλος συνόλου ή πραγµατοποίηση της διαδικασίας. 3-
Η Έννοια της τυχαίας ιαδικασίας δειγµατικός χώρος s 3 s s 4 s ( ; s3 ( ; s ( ; s4 ( ; s 3-
( ( Από την τυχαία διαδικασία στην τυχαία µεταβλητή M Για τη χρονική στιγµή ( ( µεταβλητή ( µεστοιχεία ορίζεται η τυχαία [ (, (, (, (,...] ( = 3 4 Σεραφείµ Καραµπογιάς µε συνάρτηση πυκνότητας πιθανότητας f ( ( 3 ( ( ( Ηµέσητιµήτης ( είναι E [ ( = ] m( f ( ( = d 4( 3 ( 3 ( Όµοιαγιατηχρονικήστιγµή ορίζεταιητυχαία µεταβλητή ( µεστοιχεία [ (, (, (, (,...] ( = 3 4 m( 4 ( M 4 ( µε συνάρτηση πυκνότητας πιθανότητας f ( Ηµέσητιµήτης ( είναι ( m E[ ( ] ( E [ ( = ] m( f ( ( = d 3-3
Ταξινόµηση των τυχαίων διαδικασιών Συνεχής τυχαία διαδικασία Σεραφείµ Καραµπογιάς Αν ο χρόνος λαµβάνει τιµές σε ένα τµήµα ή σε όλη την ευθεία των πραγµατικών αριθµών και η τυχαία µεταβλητή ( λαµβάνει οποιαδήποτε τιµή. Συνεχής τυχαία ακολουθία Αντοπεδίοορισµούείναικάποιοδιακριτόσύνολο, (π.χ. T = [,,, 0,,, ] και η τυχαία µεταβλητή ( λαµβάνει οποιαδήποτε τιµή. ιακριτή τυχαία ακολουθία Αν η ανεξάρτητη µεταβλητή και η τυχαία µεταβλητή ( λαµβάνουν διακριτές τιµές. 3-4
Έστω ότι (Ω, B, P δηλώνει το δειγµατοχώρο που αντιστοιχεί στο πείραµα τύχης ρίξιµο ενός ζαριού. Προφανώς στην περίπτωση αυτή Ω={,,3,4,5,6}. Για όλα τα.. έστω (, e u ( δηλώνει µία τυχαία διαδικασία. Εποµένως ( είναι ω i ω µία τυχαία µεταβλητή που λαµβάνει τιµές e,e, K6e καθεµία µε πιθανότητα /6. i ( =ω ; ω i Σεραφείµ Καραµπογιάς 0 3 4 ; ω ( ( 3 ; ω 3 0 3 4 0 3 4 είγµατα συναρτήσεων Στο παράδειγµα αυτό, παρουσιάστηκε ο πρώτος τρόπος θεώρησης τυχαίων διαδικασιών 3-5
Ητυχαίαδιαδικασία ( = A cos (πf 0 +Θ ( ; ϑ = Acos(π f0 + ϑ Σεραφείµ Καραµπογιάς ( ; ϑ = Acos(π f0 + ϑ ( 0 ; ϑ ( ; ϑ 3 = Acos(π f0 + ϑ3 ( 0 ; ϑ ( ; ϑ 4 = Acos(π f0 + ϑ4 ( 3 0 ; ϑ ( 4 0 ; ϑ 0 3-6
Περιγραφή Τυχαίων ιαδικασίων Μία τυχαία διαδικασία ή στοχαστική διαδικασία ή ένα τυχαίο σήµα περιγράφονται µε δύο τρόπους Ο ένας τρόπος είναι να θεωρήσουµε µία τυχαία διαδικασία ως µια συλλογή από χρονικές συναρτήσεις, η σήµατα, που αντιστοιχούν στις διαφορετικές εκβάσεις ενός πειράµατος τύχης. Για τις τυχαίες διαδικασίες που συναντάµε στην πράξη, είναι σχεδόν βέβαιο ότι δεν µπορεί να δοθεί µια τέτοια περιγραφή. Εναλλακτικά, µπορούµεναθεωρήσουµετατυχαίασήµαταστιςχρονικέςστιγµές,, ήγενικάγιαόλατα πουανήκουνστοσύνολοτωνπραγµατικώναριθµώνως µίασυλλογήαπότυχαίεςµεταβλητές {(, (, }, ήγενικά {(, R }. Μία τυχαία διαδικασία παριστάνεται ως µία συλλογή από τυχαίες µεταβλητές που αριθµοδεικτούνται από κάποιο σύνολο δεικτών. Αν το σύνολο των δεικτών είναι το σύνολο των πραγµατικών αριθµών, τότε η διαδικασία καλείται µία τυχαία διαδικασία συνεχούς χρόνου, ενώ αν το σύνολο είναι το σύνολο των ακεραίων, τότε η διαδικασία καλείται τυχαία διαδικασία διακριτού χρόνου. 3-7
ω i Έστω ότι δηλώνει την έκβαση ενός πειράµατος τύχης που αποτελείται από ανεξάρτητες επιλογές από µία Gaussian τυχαία µεταβλητή κατανεµηµένη σύµφωνα µε το N(0,. Έστω η τυχαία διαδικασία διακριτού χρόνου που ορίζεται ως και n = n + ω n. γιαόλατα. n Περιγραφή Τυχαίων ιαδικασίων { n } n=0 0 = 0 Από τις βασικές ιδιότητες των Gaussian τυχαίων µεταβλητών προκύπτει ότι για όλα τα και, η είναι ένα Gaussian διάνυσµα µε διάσταση. i, j j i+ i< j { } n j i Στο παράδειγµα αυτό παρουσιάστηκε ο δεύτερος τρόπος θεώρησης ο οποίος είναι πιο κατάλληλος. Με τον τρόπο αυτό οι τυχαίες διαδικασίες ερµηνεύονται ως συλλογή από τυχαίες µεταβλητές. 3-8
Συναρτήσεις Κατανοµής και Πυκνότητας Η πρώτης τάξης αθροιστική συνάρτηση κατανοµής της τυχαίας διαδικασίας ( ορίζεται ως ( ( ( ( ; ( P F F = = Η δεύτερης τάξης συνδυασµένη αθροιστική συνάρτηση κατανοµής της τυχαίας διαδικασίας ( ορίζεται ως ( ( ( (, (, (, ;, ( P F F = = Σεραφείµ Καραµπογιάς 3-9
Οι συναρτήσεις πυκνότητας πιθανότητας της τυχαίας διαδικασίας ( βρίσκονται από τις κατάλληλες παραγώγους των αντιστοίχων αθροιστικών συναρτήσεων κατανοµής ; ( ; ( d df f = Η πρώτης τάξης συναρτήση πυκνότητας πιθανότητας είναι, ;, (, ;, ( F f ϑ ϑ ϑ = και η δεύτερης τάξης συνάρτηση πυκνότητας πιθανότητας είναι Σεραφείµ Καραµπογιάς 3-0
Περιγραφή Τυχαίων ιαδικασίων Μία πλήρης στατιστική περιγραφή της τυχαίας διαδικασίας ( είναι γνωστή αν γιακάθεακέραιο nκαιγιακάθεεπιλογή (,,, n R n δίνεταιησυνδυασµένη PDF των ((, (,, ( n,δηλαδή, η f ( (,,..., (,..., ( n n Μία τυχαία διαδικασία ( περιγράφεται από τις στατιστικές της Μ-στης τάξης αν για κάθε ακέραιο n M και για κάθε επιλογή (,,, n R n δίνεται ησυνδυασµένη PDF των ((, (,, ( n Μία ειδική περίπτωση στη µελέτη των συστηµάτων επικοινωνίας, είναι η περίπτωση όπου M =, στην οποία είναι γνωστές οι στατιστικές της δεύτερης τάξης. Αυτό απλά σηµαίνει ότι, σε κάθε χρονική στιγµή, έχουµε τη συνάρτηση πυκνότηταςπιθανότητας f ( (της (, καιγιαόλεςτιςεπιλογές (, δίνεταιη συνδυασµένησυνάρτησηπυκνότηταςπιθανότητας f (( (, των ((, (. 3-
( ( 3 ( 4( m( ( 0 3 ( 0 0 0 ( 0 4 ( 0 m M M ( 0 Στατιστικές Mέσες Τιµές Για τη χρονική στιγµή 0 ορίζεται η τυχαία µεταβλητή ( 0 µεστοιχεία Ηµέσητιµήσυνόλου, ήηστατιστικήµέση τιµή µίας τυχαίας διαδικασίας ( είναι µία νοµοτελειακή συνάρτηση του χρόνου m ( ηοποίασεκάθεχρονικήστιγµή 0 είναιίση µε τη µέση τιµή της τυχαίας µεταβλητής ( 0 m [ (, (, (, (,...] ( 0 = 0 0 3 0 4 0 µε συνάρτηση πυκνότητας πιθανότητας f ( ; 0 ή ( 0 ( ( 0 E[ ( 0] = f ( ; 0 f = d Σεραφείµ Καραµπογιάς 3-
Στατιστικές Mέσες Τιµές Εξετάζοντας µία επί µέρους πραγµατοποίηση της τυχαίας διαδικασίας έχουµε µία νοµοτελειακήσυνάρτησητουχρόνουτην k ( ήτην (; ω k. k ( k ( Σεραφείµ Καραµπογιάς k ίσα εµβαδά k Βασιζόµενη στη συνάρτηση αυτή µπορούµε να βρούµε τη χρονική µέση τιµή της τυχαίαςδιαδικασίας (; ω k ως A A + T ( ; ω T k d T [ ( ; ωk ] = lim Η χρονική µέση τιµή συµβολίζεται και ως [ ( ; ωk ] = ( ; ωk = ( ; ωk = A[ k ( ] = k Η χρονική µέση τιµή είναι ένας πραγµατικός αριθµός ανεξάρτητος του χρόνου αλλά, ενγένει, εξαρτάται από την επιµέρους πραγµατοποίηση η οποία επιλέχθηκε. T 3-3
( ( 3 ( 4( ( 3 ( Συναρτήσεις Συσχέτισης Τυχαίας ιαδικασίας M ( 4 ( M ( ( 3 ( 4 ( ( ( Για τις χρονικές στιγµές και ορίζoνται οι τυχαίεςµεταβλητές ( και ( µεστοιχεία Η συνάρτηση αυτοσυσχέτισης συνόλου τυχαίας διαδικασίας ( ορίζεται ως ή R R [ (, (, (, (,...] ( = 3 4 [ (, (, (, (,...] ( = 3 4 η δεύτερης τάξης συνάρτηση πυκνότητας πιθανότητας είναι f (, ( ή f (, ;, ( [ ( ( ] (, = E [ ( ( ] (, + τ = E + τ 3-4
Συναρτήσεις Συσχέτισης Τυχαίας ιαδικασίας Σεραφείµ Καραµπογιάς Η συνάρτηση αυτοσυσχέτισης συνόλου τυχαίας διαδικασίας ( ορίζεται ως R = E[ ( ( ] ή (, + τ = E[ ( ( + τ ] (, R Η συνάρτηση αυτοσυσχέτισης τυχαίας διαδικασίας είναι µία νοµοτελειακή συνάρτησητωνδύοµεταβλητών και, καιδίνεταιαπότη R (, = f ( ( (, d d Ησυνάρτησηαυτοσυσχέτισηςσυµβολίζεταισυνήθως, γιασυντοµία, ως R (,. Η συνάρτηση αυτοσυσχέτισης, όπως θα δούµε, περιγράφει πλήρως τη φασµατική πυκνότητα ισχύος µιας µεγάλης κατηγορίας τυχαίων διαδικασιών. 3-5
Συναρτήσεις Συσχέτισης Τυχαίας ιαδικασίας Σεραφείµ Καραµπογιάς Εξετάζοντας µία επί µέρους πραγµατοποίηση της τυχαίας διαδικασίας έχουµε µία νοµοτελειακήσυνάρτησητουχρόνουτην k ( ήτην (; ω k. Ηµέσηχρονικήσυνάρτησηαυτοσυσχέτισηςπουαφοράτηνπραγµατοποίηση k ( της τυχαίας διαδικασίας ( ορίζεται ως R k ( τ = A[ k ( k ( + τ ] = lim k ( k ( + τ d T T + T T Η συνάρτηση διασυσχέτισης δύο τυχαίων διαδικασιών ( και Y( ορίζεται ως R Y [ ( Y ( ] (, + τ = E + τ 3-6
Συναρτήσεις Συµµεταβολής Τυχαίας ιαδικασίας Η συνάρτηση συµµεταβολής τυχαίας διαδικασίας ( ορίζεται από τη σχέση C [( ( ( ( ( + τ ( ] (, + τ = E + τ Παρατηρούµε C [ ( ] E[ ( ] (, + τ = R (, + τ E + τ Η αµοιβαίασυνάρτηση συµµεταβολής δύο τυχαίων διαδικασιών ( και Y( ορίζεται από τη σχέση C Y [( ( ( ( Y ( + τ Y ( ] (, + τ = E + τ Παρατηρούµε C Y [ ( ] E[ Y ( ] (, + τ = R (, + τ E + τ Y 3-7
Στατικές ιαδικασίες Μία τυχαία διαδικασία ονοµάζεται στατική πρώτης τάξης αν για κάθε τιµή του χρόνου καιγιαόλατα ισχύει f ( ; = f ( ; + Η µέση τιµή της στατικής πρώτης τάξης διαδικασίας είναι σταθερή E [ ( ] = = σταϑερη& Μίααυστηράστατικήδιαδικασίαείναιηδιαδικασίαστηνοποίαγιαόλατα n, για όλατα (,,, n, καιγιαόλατα ισχύει f (,, K, n f ;, (, K,, n =, K, n ; +, +, K, n + Μία τυχαία διαδικασία καλείται στατική Μ-στης τάξης αν η παραπάνω συνθήκη ισχύειγιακάθε n M. 3-8
Μία τυχαία διαδικασία είναι στατική µε την ευρεία έννοια (WSS Wide Sense Saionary ή απλά στατική όταν [ ( ( + τ ] R ( R (, + τ = E = τ Στατικές ιαδικασίες [ ] = = E ( σταθερή Μία τυχαία διαδικασία ( µε µέση τιµή m ( και συνάρτηση αυτοσυσχέτισης R (, + τ ονοµάζεταικυκλοστατικήόταν Γιαόλατα καιτ. R m ( + T0 m ( = ( + T0, + τ + T0 = R (, + τ 3-9
Εργοδικές ιαδικασίες Εργοδικές είναι οι διαδικασίες για τις οποίες ισχύουν = R ( τ = R ( τ ηλαδή, αν όλες οι χρονικές µέσες τιµές είναι ίσες µε τις αντίστοιχες στατιστικές µέσες τιµές, τότε η διαδικασία είναι εργοδική. Η σχέση µεταξύ τυχαίων, στατικών και εργοδικών διαδικασιών παριστάνεται στο σχήµα: Τυχαίες διαδικασίες Στατικές διαδικασίες Εργοδικές διαδικασίες 3-0
ύο τυχαίες διαδικασίες ( και Y(, λέµε ότι είναι από κοινού στατικές µε την ευρείαέννοιαεάνκάθεµιαείναιστατικήµετηνευρείαέννοιακαι ύο τυχαίες διαδικασίες ( και Y(, καλούνται ορθογώνιες όταν R Y [ ( Y ( + τ ] R ( R (, + τ = E = τ Y (, +τ = 0 Y ύο τυχαίες διαδικασίες ( και Y(, καλούνται ασυσχέτιστες όταν C Y (, +τ = 0 3-
Ιδιότητες της συνάρτησης αυτοσυσχέτισης τυχαίας διαδικασίας. R ( τ R (0 Είναιφραγµένηωςπροςτηναρχήτης. R ( τ = R ( τ 3. [ ( ] Έχει άρτια συµµετρία R (0 = E Είναιηισχύςτηςτυχαίαςδιαδικασίας 4. Εάνγιακάποιο T 0 έχουµε R (T 0 = R (0, τότεγιαόλουςτουςακεραίους k, ισχύει R ( k T0 = R (0 5. Εάν η τυχαία διαδικασία ( έχει περιοδική συνιστώσα, τότε η R (τ έχει περιοδική συνιστώσα µε την ίδια περίοδο. 6. Εάν E[(] = Χ 0 και η ( είναι εργοδική διαδικασία η οποία δεν έχει περιοδική συνιστώσα τότε log τ R ( τ = 7. Εάν η ( είναι εργοδική τυχαία διαδικασία µε µηδενική µέση τιµή και δεν έχει περιοδική συνιστώσα τότε log R τ ( τ = 0 3-
Ιδιότητες της συνάρτησης διασυσχέτισης για τυχαίες διαδικασίες που είναι στατικές µε την ευρεία έννοια.. R ( τ = R ( τ Y Y. RY ( τ R (0 RYY (0 3. R Y ( τ + YY [ R (0 R (0] 3-3
Ηενέργεια E i καιηισχύς P i κάθεσυνάρτησηςδείγµα (, ω i τυχαίαςδιαδικασίας ( ορίζεταιως Ισχύς και Ενέργεια Τυχαίας ιαδικασίας E + i (, ωi E = d E + P = i lim T (, ωi d T ηλώνουµεµε τηντυχαίαµεταβλητήπουέχειτιµέςτις E i P = Ηενέργεια E καιηισχύς P τηςτυχαίαςδιαδικασίας ( oρίζονταιως = ( d ηλώνουµεµε τηντυχαίαµεταβλητήπουέχειτιµέςτις P i P lim T T T T E = E[ E ] P = E[ P] T T ( d Σεραφείµ Καραµπογιάς 3-4
Από τους παραπάνω ορισµούς έχουµε και E = d + + + [ ] E ( d = E ( d= R (, T P = E lim ( d T T T = = T T lim E T lim T T T T T R [ ( ] d (, d Αν η διαδικασία είναι στατική µε την ευρεία έννοια έχουµε P = R (0 και E + = R (0 d 3-5
Υπολογισµός των συναρτήσεων συσχέτισης Στη πράξη, ποτέ δεν µπορούµε να υπολογίσουµε τις πραγµατικές συναρτήσεις συσχέτισης δύο τυχαίων διαδικασιών γιατί ποτέ δεν έχουµε όλες τις συναρτήσεις δείγµατα του συνόλου στη διάθεσή µας y( ( Α Β Καθυστέρηση T τ Καθυστέρηση T Πολλαπλασιαστής T + T ( d ( + R T 0 Σύστηµα προσδιορισµού της συνάρτησης διασυσχέτισης - αυτοσυσχέτισης 3-6
Τυχαίες ιαδικασίες και Γραµµικά Συστήµατα Σεραφείµ Καραµπογιάς Υποθέτουµε ότι µία στατική διαδικασία ( είναι η είσοδος στο γραµµικό χρονικά αναλλοίωτο σύστηµα που έχει κρουστική απόκριση h(, και η τυχαία διαδικασία εξόδου δηλώνεται µε Y( ( h ( Y ( = ( τ h ( τ dτ Γιατηµέσητιµήσυνόλουτηςεξόδουέχουµε m h ( m Y m h( = τ d τ Για τη συνάρτηση διασυσχέτισης εισόδου-εξόδου έχουµε R Y ( τ = R ( τ h ( τ Παρατηρούµε ότι η συνάρτηση διασυσχέτισης εξαρτάται µόνο από το τ. 3-7
Για τη συνάρτηση αυτοσυσχέτισης εξόδου έχουµε R (τ h ( R YY ( τ = R ( τ h ( τ h( τ Η συνάρτηση αυτοσυσχέτισης της εξόδου εξαρτάται µόνο από το τ εποµένως η διαδικασία εξόδου είναι στατική. εδοµένου ότι και η συνάρτηση διασυσχέτισης των διαδικασιών εισόδου-εξόδου εξαρτάται µόνο από το τ οι διαδικασίες είναι και συνδυασµένεςστατικές. 3-8