Στοχαστικές διαδικασίες. Γραµµικά συστήµατα. Αλυσίδες Markov. Θεωρία πληροφοριών. Γιάννης Α. Φίλης

ΣΤΟΧΑΣΤΙΚΕΣ ΙΑ ΙΚΑΣΙΕΣ Στοχαστικές διαδικασίες Γραµµικά συστήµατα Αλυσίδες Markov Θεωρία πληροφοριών Γιάννης Α Φίλης Πολυτεχνείο Κρήτης - Σεπτέµβριος 6

ΠΕΡΙΕΧΟΜΕΝΑ I ΟΡΙΣΜΟΣ ΚΑΙ ΣΥΝΑΡΤΗΣΕΙΣ ΣΤΟΧΑΣΤΙΚΩΝ ΙΑ ΙΚΑΣΙΩΝ Εισαγωγή - Ορισµός Στατιστική Στοχαστικών ιαδικασιών 4 3 Λογισµός Μέσου Τετραγώνου 7 4 Ανεξάρτητες και Ασυσχέτιστες ιαδικασίες II ΕΙ ΙΚΕΣ ΙΑ ΙΚΑΣΙΕΣ ιαδικασία Wener Τυχαίος Περίπατος 5 3 Λευκός θόρυβος 8 4 Αµετάβλητες ιαδικασίες - Φάσµα - Συσχετίσεις 5 ιαδικασία osson 3 III ΓΡΑΜΜΙΚΑ ΣΥΣΤΗΜΑΤΑ ΕΡΓΟ ΙΚΟΤΗΣ 8 3 Συστήµατα µε στοχαστικές εισόδους 8 3 Εργοδικότης 33 3 Εργοδικότης κατά προσδοκητή τιµή 34 3 Εργοδικότης κατά κατανοµή 37 33 Εργοδικότης κατά συσχέτιση 38 IV ΑΛΥΣΙ ΕΣ MARKOV 4 4 Γενικά περί αλυσίδων Μarkov 4 4 Ανάλυση µόνιµης κατάστασης 44 43 Μεταβατικά φαινόµενα 48 V ΣΥΝΤΟΜΗ ΕΙΣΑΓΩΓΗ ΣΤΗ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ 55 5 Γενικά 55 5 Η πηγή µηδενικής µνήµης 57 53 Μια σηµαντική ιδιότητα της εντροπίας 58 54 Πώς δικαιολογείται το λογαριθµικό µέτρο της εντροπίας 6 55 Κώδικες 63 56 ίαυλοι πληροφορίας 65 57 Μερικές ακόµη σηµαντικές ιδιότητες της εντροπίας 7 ΠΑΡΑΡΤΗΜΑ: ΕΙΣΑΓΩΓΗ ΣΤΙΣ ΓΕΝΙΚΕΥΜΕΝΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 75 Α Αναγαιότητα της Εισαγωγής Γενικευµένων Συναρτήσεων 75 Α Ασυµπτωτική Συµπεριφορά Συναρτήσεων 78 Α3 Καλές και Αρκετά Καλές Συναρτήσεις 79 Α4 Οµαλές Ακολουθίες Συναρτήσεων 8 Α5 Γενικευµένες Συναρτήσεις 8 Α6 έλτα του Drac 84 Α7 Παράγωγος Γενικευµένης Συναρτήσεως 86 Α8 Επέκταση της Έννοιας των Γενικευµένων Συναρτήσεων 87 Α9 Μετατόπιση της Αρχής των Αξόνων 9 Α Μετασχηµατισµός Fourer 9 ΠΡΟΒΛΗΜΑΤΑ 94 ΒΙΒΛΙΟΓΡΑΦΙΑ 95

I ΟΡΙΣΜΟΣ ΚΑΙ ΣΥΝΑΡΤΗΣΕΙΣ ΣΤΟΧΑΣΤΙΚΩΝ ΙΑ ΙΚΑΣΙΩΝ Εισαγωγή - Ορισµός Από τη θεωρία πιθανοτήτων ξέρουµε ότι µια τυχαία µεταβλητή Χ είναι µια συνάρτηση που καθορίζει έναν αριθµό Χ(ω, σε κάθε εξαγόµενο ω ενός τυχαίου πειράµατος, που ορίζεται σε χώρο πιθανοτήτων (Ω,I,Ρ Μια στοxαστική διαδικασία (sochasc process {Χ (ω, T } είναι µια οικογένεια τυχαίων µεταβλητών ορισµένων σε κοινό χώρο πιθανοτήτων (Ω,I,Ρ µε παράµετρο την πραγµατική µεταβλητή (χρόνος Έτσι σε κάθε εξαγόµενο ω του τυχαίου πειράµατος ορίζουµε µια συνάρτηση Χ (ω Προφανώς ω Ω Αν το σύνολο Τ είναι ο άξονας των πραγµατικών τότε η διαδικασία λέγεται διαδικασία συνεχούς χρόνου Αν το Τ είναι σύνολο ακεραίων τότε η διαδικασία λέγεται διακεκριµένου χρόνου Επί πλέον η διαδικασία Χ (ω λέγεται διακεκριµένης κατάστασης αν οι τιµές της είναι µετρητέες (αριθµήσιµες Άλλως λέγεται συνεχούς κατάστασης Παράδειγµα Χ (ω Χ (ω Χ (ω n

Εποµένως η στοχαστική διαδικασία συνίσταται από µια οικογένεια συναρτήσεων X (ω Για δεδοµένο ω η Χ X (ω είναι συνάρτηση του χρόνου, ενώ για δεδοµένο χρόνο η X(ω X (ω είναι µια τυχαία µεταβλητή Συνήθως παραλείπουµε το ω και γράφουµε X ή X( Η θεωρία τυχαίων µεταβλητών δεν παρέχει τα µέσα για την εξέταση φαινοµένων που είναι τυχαία και εξελίσσονται στο χρόνο, όπως συµβαίνει σε πολλά φυσικά συστήµατα Αυτό είναι το κίνητρο για την ανάπτυξη της θεωρίας των στοχαστικών διαδικασιών Παράδειγµα Θεωρήστε µια µηχανή που επεξεργάζεται κάποιο κοµµάτι και έχει δεδοµένη πιθανότητα να πάθει βλάβη και να τεθεί υπό επισκευή Τότε, αν Ν (ω είναι η συνολική παραγωγή από τη στιγµή της επισκευής µέχρι τη στιγµή έως ότου πάθει βλάβη η µηχανή, θα έχουµε το ακόλουθο σχήµα: Ν (ω 3 - - - - Ν (ω 3 - - - - Παράδειγµα 3 Η κίνηση ενός µορίου κάποιου ρευστού είναι στοχαστική διαδικασία Συγκεκριµένα οι τρεις συνιστώσες (x, y, z καθώς και οι συνιστώσες ταχύτητας ( x, y, z και επιτάχυνσης ( x, y, z, ακολουθούν τυχαίες τροχιές σαν αυτές του παραδείγµατος Όλα τα 3

σωµατίδια συνιστούν τη διαδικασία X (ω Μια συγκεκριµένη πραγµατοποίηση X (ω της X (ω αντιστοιχεί στην κίνηση του σωµατιδίου Αυτή η στοχαστική διαδικασία είναι η διαδικασία Brown Στατιστική Στοχαστικών ιαδικασιών Θεωρήστε το γεγονός { X x} το οποίο ορίζεται στο χώρο (Ω,I,Ρ, δηλαδή {X x} I Αυτό το γεγονός συνίσταται από όλα τα εξαγόµενα ω, τέτοια ώστε η διαδικασία X ω στο δεδοµένο χρόνο είναι µικρότερη ή ίση του x ( Μια στοχαστική διαδικασία βλέπουµε ότι µπορεί να θεωρηθεί σαν µια απειρία τυχαίων µεταβλητών (µία για κάθε Η κατανοµή πρώτης τάξης ορίζεται σαν τη συνάρτηση F( x, { X x} και, εάν η παράγωγος υπάρχει, η συνάρτηση είναι η πυκνότητα πρώτης τάξης F( x, f ( x, x Οι αντίστοιχες ποσότητες δεύτερης τάξης είναι F( x, x;, { X x, X } x f ( x, x ;, F( x, x ; x x, Η γενίκευση για οποιαδήποτε τάξη είναι προφανής Παρατηρούµε ότι Επίσης F ( x, { X x } { X x,x } F( x, ;, 4

, f ( x, x ;, f ( x dx Για την πλήρη γνώση της στατιστικής συµπεριφοράς µιας στοχαστικής διαδικασίας χρειαζόµαστε τη συνάρτηση F x,, x ;,,,, x,,, n ( n n Συχνά όµως οι απαιτήσεις µας είναι λιγότερες και περιοριζόµαστε στις δύο πρώτες ροπές της διαδικασίας Πρώτη ροπή Ορίζουµε προσδοκητή ή µέση τιµή X E(X της διαδικασίας X το ακόλουθο µέγεθος x f ( x, dx X Εν γένει, για κάθε διαδικασία Χ και συνάρτηση g τέτοια ώστε το γεγονός {g(x z} να ορίζεται στο χώρο (Ω,F,Ρ για κάθε z (,, η g(x είναι επίσης στοχαστική διαδικασία µε Ε[g(X ] g ( x f ( x, dx εύτερες ροπές Ορίζουµε αυτοσυσχέτιση R(, της διαδικασίας X το µέγεθος R(, E(X X x f x, x ;, x ( dx dx Για έχουµε R(, E(X Η αυτοσυµµεταβλητότητα της διαδικασίας X κατά τις χρονικές στιγµές και είναι η συµµεταβλητότητα των X και X : C(, E[(X X (X X ] R(, X X Για ευρίσκουµε C(, E(X X Var(X που είναι η µεταβλητότητα ή διασπορά (varance και ισούται µε το τετράγωνο της τυπικής απόκλισης Παράδειγµα 4 5

Έστω ότι έχουµε µια γεννήτρια σηµάτων (ή συναρτήσεων που παράγουν ηµιτονοειδή σήµατα αλλά τα εύρη τους δεν είναι σταθερά Τότε το σήµα X acos π + bsnπ (όπου τα a και b είναι τυχαίες µεταβλητές που ακολουθούν κανονική κατανοµή µε µέση τιµή και διασπορά είναι µια στοχαστική διαδικασία Τώρα υπολογίζουµε την πιθανότητα Βλέπουµε ότι X d > cos ( π d ab cos( π sn( π d ( + b sn d a + b X d a + Οπότε X d > a ( + b > f ( z dz π όπου f (z είναι η πυκνότητα της τυχαίας µεταβλητής z a + b Mπορεί ν αποδειχθεί ότι f ( z z / e και άρα z / e dz e Παράδειγµα 5 Θεωρήστε την αιτιοκρατική συνάρτηση σαν ακραία περίπτωση διαδικασίας: Χ cosω, όπου το ω είναι δεδοµένο Τότε X E(cosω cosω 6

και R(, E(cosω cosω cosω cosω Παράδειγµα 6 Mια στοχαστική διαδικασία χαρακτηρίζεται από τις ακόλουθες ποσότητες: X, R(, e Εύρετε τη µέση τιµή, τη συµµεταβλητότητα, και τη διασπορά των τυχαίων µεταβλητών Υ Χ 4 και Ζ Χ 6 Προφανώς Tελικά Y X X 4 Z 6 4 4 ( Y E( X R( 4,4 e E( Z 4 E 3 Var ( Y Var( Z 4 E ( YZ R(4,6 e 46 35 C (4,6 R(4,6 X 4 X 6 35 5 3 Λογισµός Μέσου Τετραγώνου Έστω µια ακολουθία τµ X n Λέµε ότι η ακολουθία συγκλίνει στην τµ Χ κατά µέσο τετράγωνο αν E( X n <, n και 7

8 ( X X E lm n n Συµβολικά γράφουµε lmx n X Η σύγκλιση για συναρτήσεις Χ ορίζεται ανάλογα Mια στοχαστική διαδικασία Χ είναι διαφορίσιµη κατά µέσο τετράγωνο στο, αν το ακόλουθο όριο υπάρχει h X X m l d dx X h h + Θεώρηµα Αν η διαδικασία Χ είναι διαφορίσιµη κατά µέσο τετράγωνο για κάθε τότε ισχύουν τα ακόλουθα: _ X X E d d X X E ( ( (, ( τ τ X X E R XX R X X E XX, ( ( τ τ (, ( τ τ X X E R XX τ τ τ τ Ε R X X XX, ( ( C X E X E X X E C XX XX, ( ( ( (, ( τ τ τ τ τ τ τ τ τ C X E X E X X E C XX XX, ( ( ( (, ( Με άλλα λόγια οι πράξεις της προσδοκητής τιµής και της παραγώγου κατά µέσο τετράγωνο εναλλάσσονται Μια στοχαστική διαδικασία X είναι Remann ολοκληρώσιµη κατά µέσο τετράγωνο στο διάστηµα [α, β] εάν το ακόλουθο όριο υπάρχει: + β α δ d X X m l n ( όπου έχουµε κάνει την εξής διαίρεση χρόνων

α < << n β, δ max( +, < + Θεώρηµα Έστω ότι η διαδικασία X είναι Remann ολοκληρώσιµη κατά µέσο τετράγωνο στα διαστήµατα [α, β], [γ, δ] Τότε ισχύουν τα ακόλουθα: β β E X α E X d α ( d, β δ β δ E X d Xτ dτ R(, τ d dτ, α γ α γ β δ β δ Cov X d, X τ dτ C(, τ d dτ α γ α γ Θεώρηµα 3 Το Θεµελιώδες Θεώρηµα του Λογισµού Μέσου Τετραγώνου Θεωρήστε τη διαδικασία στο διάστηµα [α, β] Τότε X που είναι Remann ολοκληρώσιµη κατά µέσο τετράγωνο a X dτ X X µε πιθανότητα τ a d Βλέπουµε ότι οι γραµµικοί τελεστές Ε(, ( d εναλλάσσονται και ( d κατά µέσο τετράγωνο Παράδειγµα 7 Έστω X a όπου a είναι µια τυχαία µεταβλητή µε πεπερασµένη µέση τιµή και πεπερασµένη διασπορά Χρησιµοποιώντας τον κλασικό λογισµό a( + h a E a E( a a h X a Επίσης 9

Άρα η διαδικασία είναι διαφορίσιµη κατά µέσο τετράγωνο Θεώρηµα 4 Έστω a n είναι µια ακολουθία πραγµατικών (αιτιοκρατική Τότε lma n lma n Έστω X µια τυχαία µεταβλητή Τότε lm X lm X Χ και lm(a n X X lma (* n 3 Έστωσαν X n και Y n δύο τυχαίες ακολουθίες και a και b δύο σταθερές Τότε αν l m X n X και l my n Y lmax n a lmx n ax lm(ax n + by n a lmx n + b lmy n ax + by Παράδειγµα 8 Για την ίδια διαδικασία, Xτ dτ aτ dτ και πάλι από τον κλασικό λογισµό a n Πράγµατι, X τ dτ lm aτ ( τ + τ lm a τ ( τ + τ Αλλά αυτό είναι το n n n σύνηθες όριο που ορίζει ένα ολοκλήρωµα Remann, ήτοι lm n n n a ( ( ( τ τ + τ lm a τ τ + τ a lm τ τ + τ n n (* n Ως γνωστόν αυτό ισούται µε a Για να εξισώσουµε το lm µε το κλασικό όριο lm κάναµε τη χρήση του Θεωρήµατος 4 (* 4 Ανεξάρτητες και Ασυσχέτιστες ιαδικασίες Η διαδικασία X λέγεται ανεξάρτητη αν για κάθε σύνολο σηµείων,,, n οι τυχαίες µεταβλητές X, X,, X n είναι ανεξάρτητες

Οι διαδικασίες Χ και Y λέγονται ανεξάρτητες αν τα διανύσµατα [X X X n ] T και [Υ Υ Υ n ] T είναι ανεξάρτητα Ήτοι (X x, X n x n, Y y, Y n y n (X x, X n x n (Y y, Y n y n Η διαδικασία X λέγεται ασυσχέτιστη αν Ε(X X τ Ε(X Ε(X τ για κάθε τ Μια ανεξάρτητη διαδικασία είναι ασυσχέτιστη αλλά όχι αντιστρόφως ύο διαδικασίες λέγονται ασυσχέτιστες αν Ε(X Υ τ Ε(X Ε(Y τ για οποιαδήποτε και τ Ιδιότητες: Γενικά Var(X + Y τ Var(X + Var(Y τ + Cov(X, Y τ Aν οι X, Y τ είναι ασυσχέτιστες τότε προκύπτει Cov(X, Y τ και Var(X + Y τ Var(X + Var(Y τ Μια διαδικασία έχει ανεξάρτητα τµήµατα αν X και για όλα τα σηµεία < < < n οι τυχαίες µεταβλητές X X, X X,, X n X n είναι ανεξάρτητες

II ΕΙ ΙΚΕΣ ΙΑ ΙΚΑΣΙΕΣ ιαδικασία Wener Υπάρχει µία πληθώρα φυσικών φαινοµένων που µπορούν να µοντελοποιηθούν ικανοποιητικά µε τη διαδικασία Wener (ή Wener-Lévy ή Brown Ένα µικρό σωµατίδιο που βρίσκεται µέσα σε κάποιο ρευστό κινείται ακανόνιστα Μια τέτοια κίνηση λέγεται κίνηση Brown Ο Ensen εξήγησε αυτή την κίνηση στα πλαίσια της στατιστικής µηχανικής σαν αποτέλεσµα των συνεχών συγκρούσεων του σωµατιδίου µε τα µόρια του ρευστού Έστω ότι X είναι η µετατόπιση του σωµατιδίου στη χρονική στιγµή και Χ Η µετατόπιση που υφίσταται το σωµατίδιο στο διάστηµα (, τ οφείλεται σε µεγάλο αριθµό συγκρούσεων και κατά συνέπεια του Κεντρικού Οριακού Θεωρήµατος η διαφορά X τ X είναι µία στοχαστική διαδικασία κατανεµηµένη κατά Gauss Επίσης, επειδή το ρευστό είναι σε ισορροπία η κατανοµή της διαφοράς X τ + h X + h θα υποτεθεί επίσης Gauss Όπως θα ιδούµε αργότερα µία διαδικασία Y τέτοια ώστε η στατιστική της είναι ταυτόσηµη µε αυτήν της Y + h, h λέγεται αµετάβλητη κατά τη στενή έννοια Επειδή οι συγκρούσεις είναι τελείως «τυχαίες» θα υποθέσουµε ότι η διαδικασία έχει ανεξάρτητα τµήµατα Αυτές είναι οι διαισθητικές εξηγήσεις της διαδικασίας Wener Αυστηρά τώρα λέµε ότι µια διαδικασία {Χ, } είναι Wener εάν α {X, } έχει αµετάβλητα και ανεξάρτητα τµήµατα β Η Χ είναι κανονική γ Ε(X δ (X δηλαδή Χ µε πιθανότητα (µπ

Ο θερµικός θόρυβος στα ηλεκτρικά κυκλώµατα και η κίνηση τιµών του χρηµατιστήριου είναι άλλα παραδείγµατα διαδικασίας Wener Παρατηρούµε ότι Var(X Var(X X Var(X +τ Χ τ ( Var(Χ τ Var(X τ Χ ( αφού Χ X X µπ και οι (Χ X, (X + τ Χ τ έχουν την ίδια στατιστική Από τις ( και ( προκύπτει Var(X + Var(X τ Var(X + τ Χ τ + Var(X τ Χ Επειδή οι (Χ X, (X + τ Χ τ είναι ανεξάρτητες είναι και ασυσχέτιστες Από τις Ιδιότητες ασυσχέτιστων διαδικασιών προκύπτει Var(X + τ Χ τ + Var(X τ Χ Var(X + τ Χ τ + X τ Χ Οπότε τελικά Var(X + Var(X τ Var(X +τ Χ τ + Var(X τ Χ Var(X +τ (3 Η (3 είναι της µορφής f ( + f ( + f ( όπου f (, Οι µόνες συναρτήσεις που ικανοποιούν αυτή τη σχέση και λαµβάνουν τιµές στο R είναι της µορφής f( σ,, όπου σ R Aπό την (3 βλέπουµε ότι Var(X + τ Χ τ Var(X + τ Var(X τ Θέσετε +τ s τότε Var(X s X τ σ s σ τ σ (s τ και εν γένει Η παράµετρος σ εµπειρικά Η συσχέτιση είναι: Var(X X τ σ τ, όπου τ ή τ (4 λέγεται παράµετρος µεταβλητότητας και υπολογίζεται R(, τ E( X E{ [( X X X ] X } X τ τ + [( X X X ] + E( + σ τ E X τ επειδή Χ τ Χ τ Χ και τα τµήµατα (X X τ και (Χ τ Χ είναι ανεξάρτητα εφ όσον >τ Εν γένει τ τ R (, τ σ mn(, τ, όπου τ ή τ (5 τ τ 3

Ορισµός Η διαδικασία Χ λέγεται συνεχής κατά µέσο τετράγωνο αν l m X X h + h Θεώρηµα Η Χ είναι συνεχής κατά µέσο τετράγωνο τότε και µόνον τότε αν η συνάρτηση R(, είναι συνεχής Θεώρηµα Η X είναι διαφορίσιµη κατά µέσο τετράγωνο τότε και µόνον τότε αν η R (, τ τ υπάρχει στο σηµείο (, Θεώρηµα 3 Η Χ είναι Remann ολοκληρώσιµη κατά µέσο τετράγωνο στο [α, β] τότε και µόνον τότε αν η R(, τ είναι Remann ολοκληρώσιµη στο [α, β] [α, β] Με βάση τα πιo πάνω θεωρήµατα παρατηρούµε ότι η διαδικασία Wener είναι: συνεχής κατά µέσο τετράγωνο η παράγωγος mn(, τ τ (, δεν υπάρχει πουθενά και άρα η διαδικασία δεν είναι διαφορίσιµη σε κανένα σηµείο (παρ ότι είναι συνεχής! 3 ολοκληρώσιµη κατά µέσο τετράγωνο Η διαδικασία Wener µπορεί να θεωρηθεί σαν το όριο της διαδικασίας τυχαίου περιπάτου Πριν δούµε αυτήν χρειαζόµαστε τα ακόλουθα αποτελέσµατα Η χαρακτηριστική συνάρτηση µιας τυχαίας µεταβλητής ορίζεται ( E( e X e x X ω ω ω f ( x Φ dx, όπου Αν η χαρακτηριστική συνάρτηση είναι απολύτως ολοκληρώσιµη τότε ο αντίστροφος µετασχηµατισµός δίνει την συνάρτηση πυκνότητας πιθανότητας 4

ω x e Φ X ( ω dω π f ( x Ιδιότητες: Θεώρηµα των ροπών: Φ Χ (, Φ ( E(X, X Φ X ( E(X E(X, Συνέλλιξη: Αν Χ, Υ ανεξάρτητες τµ και Ζ Χ + Υ τότε Φ Ζ (ω Φ Χ (ω Φ Υ (ω Η χαρακτηριστική συνάρτηση µιας κανονικής τυχαίας µεταβλητής µε µέση τιµή X και διασπορά σ δίνεται από Φ X (ω Xω σ ω e Για διακεκριµένη τµ Χ που λαµβάνει τιµές x n µε πιθανότητες p n, n {,, } η Φ Χ (ω ορίζεται οµοίως Φ X (ω E(e ωx n e ω xn pn Τυχαίος Περίπατος (Random Walk Ρίχνουµε ένα νόµισµα και αν το αποτέλεσµα είναι κορώνα (h τότε κάνουµε ένα βήµα εµπρός, ενώ αν είναι γράµµατα ( ένα βήµα πίσω Τα βήµατα έχουν µήκος Έστω (h p, ( q p Τότε ορίζουµε την εξής τυχαία µεταβλητή: X n +,, όταν όταν ω h ω µπ µπ p q όπου n,, είναι οι διακεκριµένες στιγµές των ρίψεων Η συνολική µετατόπιση W n, εφ όσον W, είναι W n X k, n,, (7 n k 5

W n κ κ γ κ γ γ κ 3 4 5 6 7 8 9 n / Η χαρακτηριστική συνάρτηση της X n είναι Φ Χn (ω pe ω + qe ω Είναι γνωστό ότι η χαρακτηριστική συνάρτηση του αθροίσµατος ανεξάρτητων τυχαίων µεταβλητών είναι ίση µε το γινόµενο των ατοµικών χαρακτηριστικών συναρτήσεων Από την (7 λαµβάνουµε Φ Wn (ω ( pe ω + qe ω n Aφού οι διακεκριµένες χρονικές στιγµές έχουν µέγεθος τότε στη χρονική στιγµή, n Στο εξής υποθέτουµε ότι p q 5 και < Τότε Φ Wn (ω ( 5e ω + 5e ω (8 Από το θεώρηµα των ροπών έχουµε: Ε(W n Φ Wn ( και (9 Var(W n Ε(W n [Ε(W n ] Ε(W n ΦW n ( ( Τώρα για µία ορισµένη χρονική στιγµή < παίρνουµε το όριο του περιπάτου καθώς Προφανώς n Ορίζουµε το όριο αυτό ως τη διαδικασία W lm W n Για να 6

έχει νόηµα η ( για κάθε καθώς υποθέτουµε ότι το συγκλίνει προς το µε την ίδια ταχύτητα που συγκλίνει το Συγκεκριµένα, θεωρούµε ότι σ έτσι ώστε η διαδικασία που θα προκύψει να έχει πεπερασµένη µεταβλητότητα για κάθε καθώς Παίρνοντας όρια στην εξίσωση (8 και θέτοντας σ ευρίσκουµε Φ W (ω lm Φ W n(ω lm Παίρνοντας λογαρίθµους, η εξίσωση αυτή γράφεται ( 5e ωσ + 5e ωσ ln[φ W (ω] ( ω σ ωσ ln lm 5e 5e + και, επειδή ο λογάριθµος είναι συνεχής συνάρτηση, ln(lm lm(ln ήτοι ln[φ W (ω] lm ( e ω σ eω σ ln ( 5eω σ + 5e ω σ ln 5 + 5 lm Στην τελευταία έκφραση, αριθµητής και παρονοµαστής τείνουν στο Εφαρµόζοντας το κανόνα L Hospal ευρίσκουµε ln[φ W (ω] ( lm ( 5ωσ ( eω σ 5ωσ ( lm 5e ω σ + 5e ω σ e ω σ eω σ e ω σ ωσ lm e ω σ + eω σ snω σ ωσ lm cosω σ anω σ lm ωσ Αποδεικνύεται ότι lm x an ax x a (εφαρµόζοντας πάλι τον κανόνα L Hospal οπότε ln[φ W (ω] ω σ Φ W (ω e ω σ ( H ( είναι η χαρακτηριστική συνάρτηση µιας κανονικής διαδικασίας µε µέση τιµή και διασπορά σ Ο τυχαίος περίπατος έχει ανεξάρτητα τµήµατα και άρα στο όριο είναι διαδικασία Wener 7

3 Λευκός θόρυβος (Whe nose Ορισµός Μια διαδικασία {Χ, T} λέγεται Markov εάν για κάθε σύνολο {, + > } T και πραγµατικό a (X n a X,,X n (X n a X n Για διαδικασίες που έχουν συναρτήσεις πυκνότητας γράφουµε f X n (x n X x,,x n x n f(x n x,, x n f(x n x n όπου x, x n είναι πιθανές τιµές των X,, X n Από τον ορισµό της κατά συνθήκη πιθανότητας f(x,, x n f(x n x,, x n f(x,, x n Αν η διαδικασία είναι Markov τότε f(x,, x n f(x n x n f(x,, x n και επαγωγικά: f(x,, x n f(x n x n f(x n x n f(x x f(x Τώρα θεωρούµε µια τυχαία ακολουθία {Χ n, n,,} η οποία είναι Markov και (x k x m (x k όπου k > m, δηλαδή αν γνωρίζουµε την Χ m για κάποιο εξαγόµενο ω δεν µπορούµε να βγάλουµε οιοδήποτε συµπέρασµα (δεν έχουµε καµµία πληροφορία για την Χ k (ω Έστω ότι η διαδικασία είναι κανονική Τότε αυτή η διαδικασία λέγεται λευκή κανονική ακολουθία Η αυτοσυµµεταβλητότητα είναι C( n, m E[( X X ( X X ] Q δ n n m m n nm όπου Q n > και το δέλτα του Kronecker ορίζεται 8

, n m δ nm, n m Aφού η ακολουθία είναι Gauss, τότε χρειάζεται µόνο η προσδοκητή τιµή Ε(Χ n, n και η C( n, m για τον προσδιορισµό της στατιστικής της είναι Έστω τώρα ότι η διαδικασία {Χ, } είναι Wener Η αυτοσυµµεταβλητότητα C C XX (, τ σ mn(, τ και (, τ C XX (, τ σ τ mn(, τ τ XX Γνωρίζουµε ήδη ότι η X δεν υπάρχει πουθενά Εν τούτοις εδώ προχωρούµε συµβολικά Τώρα, αφού mn(, τ τ, τ < προκύπτει ότι, τ mn(, τ,, τ < τ > που είναι η γενικευµένη βηµατική ή Heavsde συνάρτηση u ( τ - τ Η παράγωγος της βηµατικής είναι η συµµετρική συνάρτηση δέλτα του Drac : δ ( τ - δ ( - τ τ Άρα (, τ σ δ ( τ C XX Η διαδικασία X λέγεται λευκός θόρυβος και είναι µια ιδιόµορφη διαδικασία, κάτι 9

ανάλογο των γενικευµένων συναρτήσεων, για τούτο λέγεται και γενικευµένη διαδικασία Ορισµός 3 Λευκή κανονική διαδικασία ονοµάζουµε την κανονική διαδικασία {Χ, T} για την οποία C (, τ Q( δ ( τ, όπου Q( Αργότερα θα ιδούµε γιατί αυτή η διαδικασία λέγεται λευκή 4 Αµετάβλητες ιαδικασίες - Φάσµα - Συσχετίσεις Στην παράγραφο αυτή θα εξετάσουµε στοχαστικές διαδικασίες οι οποίες λαµβάνουν µιγαδικές τιµές Για παράδειγµα, για ένα σώµα που κινείται επάνω σε µία ευθεία, οι µεταβλητές θέση (α και ταχύτητα (β περιγράφονται από κοινού µε τη µιγαδική διαδικασία X α + β Ορισµός 4 Μια διαδικασία X λέγεται αµετάβλητη κατά τη στενή έννοια αν η Χ και η Χ +τ έχουν την ίδια στατιστική για κάθε τ Οι διαδικασίες Χ και Υ λέγονται αµετάβλητες κατά τη στενή έννοια αν η στατιστική των (Χ, Y είναι η ίδια µε τη στατιστική των (Χ + τ, Y + τ για κάθε τ Ορισµός 5 Η διαδικασία X λέγεται αµετάβλητη κατά την ευρεία έννοια αν η µέση της τιµή E( X X είναι σταθερή και η αυτοσυσχέτιση εξαρτάται µόνο από το τ, δηλαδή

R(, E{X X * R( R(τ Το X * είναι το µιγαδικό συζυγές της Χ Για µιά τέτοια διαδικασία ορίζουµε R(τ E{X + τ X * } και R( E{ X } που είναι η µέση τιµή της ισχύος της διαδικασίας στον Aπό την πιο πάνω εξίσωση βλέπουµε ότι * R(τ E{X τ X } και, αφού η X είναι αµετάβλητη κατά την ευρεία έννοια, * R(τ E{X X + τ } [E{X * X + τ }] * [E{X + τ X * }] * R * (τ Επίσης ορίζουµε τη συσχέτιση: R ΧΥ (τ * E{X + τ Υ } Προφανώς οι συµµεταβλητότητες είναι: C(τ R(τ X R(τ X Χ *, C XY (τ R XY (τ X Y * Επίσης R ΧΥ (τ R * ΥΧ (τ Αν η Χ είναι πραγµατική τότε η R(τ είναι πραγµατική και άρτια συνάρτηση, δηλαδή R(τ R(τ Ορισµός 6 Το φάσµα ισχύος ή φασµατική πυκνότητα S(ω µιας διαδικασίας Χ, είναι ο µετασχηµατισµός Fourer της αυτοσυσχέτισης R(τ,

S(ω R( τ e ωτ d τ και αντίστροφα, R( τ S( ω e ωτ dω π Eπειδή R(τ R * (τ, η συνάρτηση S(ω είναι πάντα πραγµατική Πράγµατι S * (ω R ( e ωτ * * τ dτ R( τ e ωτ dτ R( e ω ( τ ( d S(ω Το φάσµα δύο διαδικασιών Χ, Y ορίζεται και αντίστροφα, S XY (ω R ( τ e τ XY ωτ d Εδώ ισχύει R XY τ S XY ( ω π ( e ωτ dω S ( ω S XY * επειδή R ( τ R ( τ και η S XY µπορεί να είναι µιγαδική έστω κι αν η Χ είναι XY πραγµατική YX * YX ( ω Παράδειγµα Για τη διαδικασία λευκού θορύβου S(ω Qδ ( τ e ωτ dτ Qe ω Q αφού λόγω αµεταβλητότητας Q( Q Mε άλλα λόγια το φάσµα είναι σταθερό για όλα τα ω Επειδή το λευκό φως περιέχει όλες τις συχνότητες αυτή η διαδικασία ονοµάστηκε λευκή

R(τ S(ω Q δ(τ F Q * τ ω 5 ιαδικασία osson ιάφορα φυσικά φαινόµενα µπορούν να µοντελοποιηθούν µε τη διαδικασία osson όπως τ ακόλουθα: α Θεωρήστε ένα σύστηµα παραγωγής που συνίσταται από έναν αριθµό µηχανών που χαλούν ή επισκευάζονται τυχαία β Σ ένα σύστηµα υπάρχουν εξυπηρετούντες και εξυπηρετούµενοι όπως πχ υπάλληλοι σε τράπεζα, αεροδρόµιο, σούπερ µάρκετ, δηµόσια υπηρεσία (αν και στην Ελλάδα δεν γίνεται λόγος για εξυπηρέτηση, µηχανισµοί που προωθούν τηλεφωνικές κλήσεις ή δεδοµένα, και από την άλλη πελάτες που αφικνούνται τυχαία, ή τηλεφωνικές κλήσεις ή δεδοµένα σ έναν υπολογιστή γ Ένα σωµατίδιο-β φθάνει σ ένα µετρητή σπινθηρισµού και τον διεγείρει δ Ένα ηλεκτρόνιο εκπέµπεται από την κάθοδο λυχνίας Brown σ έναν παλµογράφο Έστω ένα πείραµα τύχης στο οποίο κάποιο γεγονός συµβαίνει κατά διαστήµατα Αρχίζουµε µε τη συνάρτηση µέτρησης N, που αντιπροσωπεύει τον αριθµό τυχαίων συµβάντων στην περίοδο [, ] 3

N 6 5 4 3 3 4 5 6 7 8 9 Ορισµός 7 Η διαδικασία {N, } είναι διαδικασία ακεραίων τιµών Μια τέτοια διαδικασία λέγεται osson µε µέσο ρυθµό λ αν: Η {N, } έχει ανεξάρτητα και αµετάβλητα τµήµατα µε [N( ] Για δύο χρονικές στιγµές και τ, > τ η τυχαία µεταβλητή N Ν τ έχει κατανοµή osson µε µέση τιµή λ( τ ήτοι: [ ( ] ] ( k k e λ τ λ τ, k,,, k! [ N N τ E[ N N ] λ( τ, τ Var [ N N ] λ( τ τ Ο αριθµός λ αντιπροσωπεύει το µέσο ρυθµό τυχαίων συµβάντων, πχ το µέσο αριθµό πρώτων υλών ανά µονάδα χρόνου, που φθάνουν σε µια µηχανή για να υποστούν κατεργασία Παράδειγµα Έστω ότι µια διαδικασία osson N είναι είσοδος σ ένα διαφοριστή Τότε όπως φαίνεται και στο σχήµα στην έξοδο X παίρνουµε 4

5 N d/d X 3 3 ή N d dn X ( δ Eπειδή E λ Ν ( τότε λ λ d d X E ( ( Η δεύτερη ροπή της N είναι ( ( ( N E N Var N E λ λ + + Eνώ η αυτοσυσχέτιση είναι ( ] ( [ (, ( N N N N E N N E R + ] ( [ ( N N N E N E + Αλλά εξ υποθέσεως η N είναι ανεξάρτητη από την N N αφού, άρα ( ( (, ( N N E N E N E R + ( + + λ λ λ λ λ λ + και εν γένει: + +,,, ( R λ λ λ λ ή

R(, λ + λ mn(, για οποιαδήποτε και R (, αφού Έστω τώρα ότι ο διαφοριστής διαφορίζει ως προς Τότε R NX R(, ( (, RNN, λ + λu( mn(,,, < και άρα mn(,, <, u( u( - Επίσης R XX RNN (, ( (, RNN, λ + λδ ( ή Είναι γνωστό από την ανάλυση Fourer ότι R ( τ λ + λδ ( τ XX 6

δ ( F F πδ ( ω Άρα S(ω F[R XX (τ] πλ δ(ω +λ και σχηµατικά X S(ω F π λ δ(ω λ ω 7

III ΓΡΑΜΜΙΚΑ ΣΥΣΤΗΜΑΤΑ ΕΡΓΟ ΙΚΟΤΗΣ 3 Συστήµατα µε στοχαστικές εισόδους Σύστηµα είναι µια οντότητα που περιγράφεται από µια συνάρτηση εισόδου X ή είσοδο, µια συνάρτηση εξόδου Y ή έξοδο κι έναν τελεστή S έτσι ώστε: Y S X [ ] X S Y Έστω ότι X X (, ω είναι µια στοχαστική διαδικασία και ο τελεστής S µπορεί να εξαρτάται από τον χρόνο αλλά όχι από τα εξαγόµενα ω, τότε το σύστηµα λέγεται αιτιοκρατικό και η αντίστοιχη έξοδος είναι Y Y (, ω S [ X (, ω] Στη συνέχεια θα εξετάσουµε τον προσδιορισµό της στατιστικής της διαδικασίας Y γνωρίζοντας τη στατιστική της X Eξετάζουµε πρώτα συστήµατα χωρίς µνήµη, ήτοι συστήµατα όπου η διαδικασία Υ εξαρτάται µόνο από τη διαδικασία X και όχι από τιµές της για < ή >, µε άλλα λόγια το παρελθόν ή το µέλλον της X δεν επιδρούν στην Y για Προφανώς όπου f είναι η πυκνότητα της X Επίσης R E(Y E[S(X ] S ( x f ( x, dx YY (, E( Y Y S( x S( x f ( x,x ;, dx dx Έστω τώρα ότι το σύστηµα είναι γραµµικό Θεωρήστε δύο εισόδους X ( και Χ ( γι αυτό το σύστηµα, τότε η γραµµικότης ορίζεται ως εξής: S C X ( + C X ( ] C S [ X ( ] + C S [ X ( ], για κάθε [ 8

όπου C και C είναι σταθερές ή τυχαίες µεταβλητές Εξετάζουµε τώρα συστήµατα µε µνήµη ή χωρίς µνήµη, τα οποία είναι χρονικά αµετάβλητα Από τη θεωρία γραµµικών συστηµάτων είναι γνωστά τα ακόλουθα Το σύστηµα λέγεται χρονικά αµετάβλητο εάν { X ( Y ( } { X ( + c Y ( + c} Αν η είσοδος είναι το δέλτα του Drac δ (, τότε η έξοδος είναι h( που λέγεται απόκριση παλµού δ ( S h( Η συνάρτηση h( είναι πολύ σηµαντική και αυτό φαίνεται στη συνέχεια 3 Κάθε απόκριση σε µια τυχούσα είσοδο X( ισούται µε τη συνέλιξη (convoluon της X( µε την h(: Y ( X ( h( X ( τ h( τ dτ h( τ X ( τ dτ 4 Αν F F F [ X ( ] X ( ω [ Y ( ] Y ( ω [ h( ] H ( ω είναι οι µετασχηµατισµοί Fourer, τότε Y(ω Η(ω Χ(ω Η Η(ω λέγεται συνάρτηση µεταφοράς του συστήµατος Βλέπουµε ότι F, δηλαδή η συνέλλιξη αντιστοιχεί σε πολλαπλασιασµό µε το µετασχηµατισµό Fourer Μετά από αυτά τα προκαταρκτικά διατυπώνουµε το Θεµελιώδες θεώρηµα: Θεώρηµα 3 Οι γραµµικοί τελεστές Ε και S εναλλάσσονται: E { S[ X ( ]} S{ E[ X ( ]} ή αλλιώς ( X Y S 9

Τώρα υπολογίζουµε τις εξής ποσότητες: * R ΧΥ (τ E[X + τ Υ ] E Αλλά E[X + τ Χ * λ ] R XX (τ + λ οπότε [ X + τ X * λ ] h* ( λ dλ R * XY ( τ RXX ( τ + λ h ( λ dλ Ορίζοντας µεταβλητή µ λ έχουµε dλ dµ και R τ R τ µ h* XY ( XX ( ( µ dµ Η έκφραση αυτή είναι παραλλαγή µε εκείνης που είδαµε στον ορισµό της συνέλλιξης Πράγµατι, ορίζοντας τη συνάρτηση F(µ h(µ έχουµε R XY (τ R * XX * * RYY ( τ E[ YY τ ] E [ X λy τ ] h( λ dλ R XY ( τ µ F ( µ dµ R XX (τ F * (τ R XX (τ h * (τ ( ( τ λ h( λ dλ R ( τ h( τ ( XY 3 Αν πάρουµε µετασχηµατισµούς Fourer και στις δύο πλευρές της ( ευρίσκουµε: S YY (ω S XY (ω H(ω * * 4 Οµοίως από την ( και επειδή h(τ h(τ και h ( τ H ( ω ευρίσκουµε: S XY (ω S XX (ω H * (ω 5 Συνδυάζοντας τις ιδιότητες 3 και 4 ευρίσκουµε το άλλο Θεµελιώδες θεώρηµα των γραµµικών συστηµάτων: F Θεώρηµα 3 S YY (ω S XΧ (ω H(ω H * (ω S XΧ (ω H(ω 3

Παράδειγµα 3 Προέµφαση - Αποέµφαση σε συστήµατα FM Έστω ότι για εκποµπή FM χρησιµοποιείται το λεγόµενο φέρον σήµα Acosω Σ αυτό προστίθεται ο θόρυβος n( ώστε υ ( Acosω + n( Αν υποθέσουµε ότι η n( είναι λευκή διαδικασία, τότε µετά την αποδιαµόρφωση του σήµατος ο θόρυβος έχει φασµατική πυκνότητα: S n ω ω A ( όπου ω είναι η συχνότητα και R n (τ n δ(τ S (ω ω Βλέπουµε ότι σε υψηλές συχνότητες ο θόρυβος είναι πολύ ισχυρός και άρα το σήµα δεν είναι HF Για την επανόρθωση της πιστότητας χρησιµοποιούµε στον ποµπό έναν ενισχυτή που ενισχύει το σήµα πριν το ενοχλήσει ο θόρυβος ως εξής: Η p (ω db ω ω ω Στην έξοδο του αποδιαµορφωτή χρησιµοποιείται ένας ενισχυτής µε απόκριση: 3

Η d (ω db ω ω ω Έτσι το µεν σήµα παραµένει ανέπαφο ενώ ο θόρυβος αποενισχύεται σε υψηλές συχνότητες Αυτό το σύστηµα κάνει τη λεγόµενη προέµφαση και αποέµφαση Ένα σύστηµα µε συνάρτηση µεταφοράς Η d είναι το ακόλουθο κύκλωµα ολοκλήρωσης: R C µε RC/ω καισυνάρτηση µεταφοράς H d ( ω ω + j ω Ο θόρυβος στην έξοδο αυτού του κυκλώµατος έχει φάσµα S d ( ω S ( ω H ( ω d n ω A ω + ω S S d B w ω 3

Βλέπουµε τώρα ότι έχουµε σηµαντική βελτίωση όπως φαίνεται και στο σχήµα, για τούτο και τα FM χρησιµοποιούνται στην εκποµπή στερεοφωνικών HF σηµάτων Η µέση ισχύς του προκύπτοντος θορύβου είναι: B w N S d d ω που τώρα είναι µηδαµινή B w είναι το φασµατικό εύρος του δέκτη 3 Εργοδικότης Το πρόβληµα τώρα είναι ο προσδιορισµός της στατιστικής µιας διαδικασίας πειραµατικά Έστω φερ ειπείν η διαδικασία {X, T} και θέλουµε να µάθουµε την προσδοκητή τιµή της, X ( Τότε παρατηρούµε ένα µεγάλο αριθµό καµπυλών της X όπως στο σχήµα και εκτιµούµε το X ( ως εξής: X (,ω X (,ω X (,ω n X ˆ ( n n όπου ο συµβολισµός (ˆ υποδηλοί εκτίµηση του ( X (, ω (3 33

Aν τώρα έχουµε στη διάθεσή µας µόνο την X(,ω k για κάποιο k µπορούµε να υπολογίσουµε τη χρονική µέση τιµή: X T T lm X ( T lm X (, ωk d (3 T T T Το ερώτηµα είναι: «Μπορούµε να υποθέσουµε X ( X και αν ναι, κάτω από ποιές συνθήκες;» Βεβαίως το ίδιο ερώτηµα µπορεί να τεθεί για την αυτοσυσχέτιση, την κατανοµή κοκ της διαδικασίας Αυτό είναι το πρόβληµα της εργοδικότητας Ορισµός 3 Μια διαδικασία {Χ, T} λέγεται εργοδική κατά µία δεδοµένη έννοια (προσδοκητή τιµή κλπ όταν η µέση τιµή της οικογένειας καµπυλών ισούται µε τη χρονική µέση τιµή κατ αυτή την έννοια Το όριο της (3 υπάρχει σχεδόν για κάθε ω k εάν η X είναι αµετάβλητη και Ε( X < 3 Εργοδικότης κατά προσδοκητή τιµή Έστω η διαδικασία {X, T} και E( X X σταθερά Επίσης X ( T X d T T T Η διαδικασία είναι εργοδική κατά µέση τιµή αν X lm X (T µπ (33 T Προφανώς η ποσότητα X (T είναι µια τυχαία µεταβλητή µε προσδοκητή τιµή E T [ X ( T ] E( X d X T T 34

και διασπορά Var Η (33 θα ισχύει τότε αν lm σ T T [ X T ] σ ( T Υποθέτουµε πάντα ότι η Χ είναι ολοκληρώσιµη κατά µέσο τετράγωνο και έχει γνωστή αυτοσυµµεταβλητότητα C(, Από το λογισµό µέσου τετραγώνου T T σ T C(, dd 4T T T Άρα η X είναι εργοδική κατά προσδοκητή τιµή τότε και µόνον τότε αν T T lm (, T 4 C d d T T T Παράδειγµα 3 Έστω ότι η Χ είναι λευκή διαδικασία Τότε T T lm q( δ ( dd lm T 4T T q( d 4T T T Το όριο αυτό ισούται µε µηδέν τότε και µόνον τότε αν η q( είναι φραγµένη ή q( M, T T Στη συνέχεια αποδεικνύουµε ότι αν η διαδικασία είναι αµετάβλητη κατά την ευρεία έννοια, δηλαδή C(, C(, τότε 4T T T C( T T d d 4T T ( T C( τ T τ dτ (34 όπου τ Το διπλό ολοκλήρωµα ισούται µε το απλό ολοκλήρωµα της C( 35

επάνω σε λωρίδες όπως αυτή του επόµενου σχήµατος T ευθεία µε εξίσωση τ T T τ h T α T dτ T Το εµβαδόν αυτής της απειροστής λωρίδας είναι ah ( T τ dτ Επίσης κατά µήκος αυτής της λωρίδας έχουµε C( σταθερό και από αυτό επαληθεύεται η (34 Από το ολοκλήρωµα (34 ευρίσκουµε ότι η διαδικασία είναι εργοδική κατά προσδοκητή τιµή τότε και µόνον τότε αν lm T T T T τ C( τ dτ T Προφανώς T T T τ τ C( τ dτ < T C( τ dτ T T T T T T T C( τ dτ Άρα αν C ( τ dτ < τότε η διαδικασία είναι πάλι εργοδική κατά προσδοκητή τιµή 36

Παράδειγµα 33 Έστω X r, όπου r r(ω είναι µια τυχαία µεταβλητή Τότε T X T r( ω d T T r( ω δηλαδή η χρονική µέση τιµή είναι τυχαία και άρα µη σταθερή, που σηµαίνει ότι η διαδικασία είναι µη εργοδική 3 Εργοδικότης κατά κατανοµή H διαδικασία είναι αµετάβλητη υπό τη στενή έννοια και ζητούµε να προσδιορίσουµε τη συνάρτηση κατανοµής από ένα χρονικό δείγµα F( x ( X x Θεωρούµε τη λεγόµενη ενδεικτική διαδικασία Υ Υ, αν Χ x, αν Χ > x Προφανώς Ε(Y (X x + (X > x F(x ηλαδή η προσδοκητή τιµή της Υ είναι η ζητούµενη συνάρτηση F(x Από το σχήµα βλέπουµε ότι: Y ( T T T T τ + τ + τ n Y d T όπου τ είναι τα χρονικά διαστήµατα κατά τη διάρκεια των οποίων η X x ή η Y x X (,ω k Y (,ω k τ τ τ 3 τ 4 37

Τώρα Y Y + τ αν X + τ x και X x άλλως οπότε E( Y τ Y ( X + τ x X x F( x, x; τ, ή Aλλά + R ( τ F( x, x; τ C( τ R( τ Y F( x, x; τ F ( x Τώρα αφού έχουµε ανάγκη τον υπολογισµό της F(x στον υπολογισµό της E(Y µπορούµε να χρησιµοποιήσουµε το θεώρηµα της προηγούµενης παραγράφου και άρα: Η διαδικασία είναι εργοδική κατά κατανοµή τότε και µόνο τότε αν T T lm T T Στην πράξη ευρίσκοµε την F(x ως εξής: τ τ T [ ( ; F x,x F ( x ] dτ τ + τ + F( x Y ( T T τ n ενώ τη συνάρτηση πυκνότητας την υπολογίζοµε ως εξής: Έστω τ τα χρονικά τµήµατα για τα οποία η X ευρίσκεται ανάµεσα από το x και x + x, τότε: f τ + τ + + τ n T ( x x F( x + x F( x 33 Εργοδικότης κατά συσχέτιση Το πρόβληµα είναι ο υπολογισµός της συνάρτησης R E( X X από ένα ( τ + τ χρονικό δείγµα Πάλι ανάγουµε το πρόβληµα στον υπολογισµό µιας προσδοκητής τιµής κάποιας διαδικασίας µε γνωστή αυτοσυµµεταβλητότητα 38

Ορίζουµε µια νέα διαδικασία Y ( X Η διαδικασία X είναι εργοδική τ X + τ κατά συσχέτιση αν: Η συσχέτιση της Y (τ είναι και T lm X + τ X d E[ Y ( τ ] T R(τ T R YY T ( E[( X X ( X X ] µ + τ + µ + µ + τ C YY ( µ R ( µ R ( τ Τέλος η διαδικασία είναι εργοδική κατά συσχέτιση τότε και µόνο τότε αν: lm T T T T YY µ [ R ( ( ] YY R τ dµ µ T Βεβαίως, το πάρα πάνω όριο δεν είναι εύκολο να υπολογισθεί στην πράξη Αν όµως η X είναι κανονική τότε µπορεί ν αποδειχθεί ότι: C YY ( µ R( µ + τ R( µ τ + R και εάν R(µ όταν µ, τότε C ( µ οπότε η X είναι εργοδική κατά YY συσχέτιση Στην πράξη για την εύρεση της προσδοκητής τιµής, της κατανοµής, της συσχέτισης, του φάσµατος κλπ χρησιµοποιούνται ειδικά αναλογικά ή ψηφιακά κυκλώµατα ( µ 39

IV ΑΛΥΣΙ ΕΣ MARKOV 4 Γενικά περί αλυσίδων Μarkov Οι αλυσίδες Μarkov είναι στοχαστικές διαδικασίες διακεκριµένων καταστάσεων και διακεκριµένου χρόνου Παράδειγµα 4 Η καταστροφή του χαρτοπαίκτη Υπάρχουν δύο χαρτοπαίκτες µε δύο µάρκες στο χέρι ο καθένας Ο παίκτης Α κερδίζει µε πιθανότητα p ενώ ο Β µε πιθανότητα q p Ο κάθε παίκτης βρίσκεται σε µια από τις ακόλουθες πιθανές καταστάσεις,,,3,4, ανάλογα µε το πόσες µάρκες έχει σε κάποια χρονική στιγµή Σχεδιάζουµε το ακόλουθο διάγραµµα κατάστασης: q q q 3 4 p p p Σχήµα 4 Παράδειγµα 4 Μια µηχανή Έστω µια µηχανή που παράγει ένα προϊόν µε πιθανότητα p σ ένα κύκλο παραγωγής ή χαλάσει µε πιθανότητα q p Έστω η κατάσταση «καλή» και η κατάσταση «χαλασµένη» Τότε το διάγραµµα κατάστασης είναι: 4

q p Σχήµα 4 Αν τώρα η µηχανή µόλις χαλάσει τίθεται υπό επισκευή κι έχει πιθανότητα επισκευής w στον επόµενο κύκλο παραγωγής, τότε το διάγραµµα γίνεται: -w q p w Σχήµα 43 Παράδειγµα 43 ύο µηχανές M M Η πρώτη έχει χαρακτηριστικά p, w, και η δεύτερη p, w Αν η δεύτερη είναι υπό επισκευή και η πρώτη είναι «καλή», τότε αυτή δεν λειτουργεί γιατί δεν έχει που να διοχετεύσει το προϊόν Την λέµε αποκλεισµένη (µπλοκαρισµένη Αντίστοιχα αν η δεύτερη είναι «καλή» και η πρώτη υπό επισκευή, τότε η δεύτερη δεν λειτουργεί γιατί δεν έχει προϊόντα στην είσοδο ή όπως λέµε είναι αποστερηµένη (πεινασµένη Yποθέτουµε ότι αποστερηµένη ή αποκλεισµένη µηχανή δεν µπορεί να χαλάσει Το διάγραµµα είναι: 4

(-w (-w -w (-w w w (-w w w (-p (-p w (-p p w -w p (-p p p Σχήµα 44 Εδώ έχουµε τις εξής εξισώσεις που περιγράφουν την εξέλιξη των πιθανοτήτων: ή σε διανυσµατική µορφή ή k k k k + + + + k+ ( ( w (w k ( + ( p ( p k ( k+ ( ( w w k ( + ( w k ( + ( p p k ( k+ ( w ( w k ( + ( w k ( + p ( p k ( k+ ( w w k ( + w k ( + w k ( + p p k ( ( ( ( ( k+ A k (4 ( w ( w ( p( p k ( ( w w w ( p p ( k w ( w w p( p k ( ww w w p p ( k Οι διακεκριµένες χρονικές στιγµές είναι,,,k, Έστω ότι ξέρουµε την αρχική συνθήκη της εξίσωσης διαφοράς (4, για παράδειγµα: 4

( ( ( ( Τότε η (4 γίνεται A, A A, 3 A A 3 και µε την τέλεια επαγωγή k A k (4 Η (4 είναι η λύση της (4 Παρατηρούµε ότι οι στήλες του πίνακα Α έχουν άθροισµα όπως και τα στοιχεία του διανύσµατος επειδή εκπροσωπούν πιθανότητες Γενικά, το στοιχείο α j του πίνακα Α θα συµβολίζει την πιθανότητα µετάβασης από την κατάσταση j προς : προς κατάσταση µετάβαση από κατάσταση a j j Ορισµός 4 Η αλυσίδα Μarkov τάξης n χαρακτηρίζεται από ένα σύνολο καταστάσεων S {S, S,,S n } και τις πιθανότητες α j µετάβασης από την S j στην S,,j,,,n Κάθε χρονική στιγµή k η αλυσίδα βρίσκεται σε κάποια κατάσταση S S Για το Παράδειγµα 43 βλέπουµε ότι: S {(, (, (, (} {,,3,4} α ( w ( w α ( w w, κλπ Ορισµός 4 Ένας πίνακας µε µη αρνητικά στοιχεία που το άθροισµά τους κατά µήκος µιας στήλης είναι, λέγεται στοχαστικός 43

Ορισµός 43 Ένα διάνυσµα µε µη αρνητικά στοιχεία που το άθροισµά τους είναι λέγεται διάνυσµα πιθανότητας Αν ένας πίνακας Α απαρτίζεται από στοιχεία > τότε λέµε ότι ο πίνακας είναι θετικός και γράφουµε Α > Από το παράδειγµα 43 είδαµε ότι µια αλυσίδα Markov περιγράφεται από µια εξίσωση της µορφής: k + A k 4 Ανάλυση µόνιµης κατάστασης Ορισµός 45 Η αλυσίδα Μarkov λέγεται κοινή (regular αν Α k > για κάποιο k Ξέρουµε ήδη ότι k A k Το ότι µια αλυσίδα είναι κοινή, σηµαίνει άρα ότι στη λύση όλα τα στοιχεία είναι > Με άλλα λόγια από κάποια χρονική στιγµή k και µετά, όλες οι µεταβάσεις καταστάσεων επιτρέπονται Παράδειγµα 44 Έστω η αλυσίδα p p k + k p -p Εδώ p p k ( p k ( p k και τα στοιχεία του πίνακα δεν είναι όλα > Αυτή η αλυσίδα δεν είναι κοινή Παρατηρούµε ότι έχουµε καταστάσεις και αν στη 44

χρονική στιγµή ξεκινήσαµε από την κατάσταση έχουµε: k ( p k ( p k ( p ( p k k, ενώ αν ξεκινούσαµε από την τότε: k ( p ( p k k ηλαδή η µετάβαση απαγορεύεται κάτι που φαίνεται και από το διάγραµµα κατάστασης Θεώρηµα 4 Κάθε στοχαστικός πίνακας έχει µια ιδιοτιµή λ και όλες οι άλλες ιδιοτιµές ικανοποιούν λ Το ακόλουθο θεώρηµα είναι το πιο σηµαντικό της θεωρίας αλυσίδων Markov και ισχύει πάντα για κοινές αλυσίδες Θεώρηµα 4 Έστω ο πίνακας Α που αντιστοιχεί σε µια κοινή αλυσίδα Markov Τότε: Υπάρχει ένα µοναδικό διάνυσµα πιθανότητας Ρ τέτοιο ώστε Ρ ΑΡ Eίναι δηλαδή το Ρ το ιδιοδιάνυσµα που αντιστοιχεί σε λ Ρ k A k και lm A k A Ο πίνακας A συνίσταται από στήλες που όλες ισούνται k µε Ρ 3 Για οποιαδήποτε αρχική συνθήκη, έχουµε: lm k k [ ] Α H τελευταία ισότητα προκύπτει ως εξής 45

[ ] ( ( ( n ( ( ( n ( ( ( n ( ( ( ( ( n ( n n ( ( n ( ( n ( n ( ( ( ( n, n όπου ( επειδή το είναι διάνυσµα πιθανότητας Άρα αν έχουµε µια κοινή αλυσίδα Markov για να βρούµε την συµπεριφορά της καθώς k ή τη µόνιµη κατάσταση, όπως λέµε, ευρίσκουµε το Ρ που αντιστοιχεί σε λ Το ίδιο αποτέλεσµα προκύπτει αν λύσουµε το σύστηµα εξισώσεων A ως προς [( (n] T αφού n πρώτα αντικαταστήσουµε µία οιαδήποτε εξίσωσή του από την ( Παράδειγµα 45 Επιστρέφουµε στο παράδειγµα 4 Εκεί ισχύουν: k+ ( ( w k ( + q k ( k+ ( w k ( + p k ( όπου p + q Το σύστηµα αυτό γράφεται w w q p k+ k Έστω τώρα ότι w, p 9 Τότε 5 5 9 k+ k και k k 5 5 9 Οι ιδιοτιµές είναι λi A λ 4λ + 4 ή λ, Από το θεώρηµα των Cayley-Hamlon προκύπτει ότι, 4 για τον πίνακα Α µε διάσταση, A k α Α + α Α α Ι + α Α όπου τα α και α είναι άγνωστοι συντελεστές του πολυωνύµου Τώρα για κάθε ιδιοτιµή λ του Α, το βαθµωτό πολυώνυµο α λ + α λ α + α λ ισούται µε λ k Άρα 4 a k a + a + 4a 4k a 6 4 + 4 a 6 k 46

Για πίνακα Α διαστάσεων n n το πολυώνυµο θα ήταν A k α Ι + α Α + + α n Α n και θα είχαµε n άγνωστους συντελεστές Αντικαθιστώντας τους συντελεστές προκύπτει A + 5 4 6 5 5 4 6 k 4 6 5+ 4 6 k k k Βλέπουµε ότι 6 6 k lm A [ ] k 5 5 6 6 Εποµένως 6 lm k k 5 6 και η µόνιµη κατάσταση είναι ανεξάρτητη της αρχικής συνθήκης Τώρα επιβεβαιώνουµε το Θεώρηµα 4 Το ιδιοδιάνυσµα x (λxαx που αντιστοιχεί στην ιδιοτιµή λ είναι το Πράγµατι, k A ή ( ( 5 5 ( ( 9 Από την πρώτη εξίσωση του συστήµατος προκύπτει ( 5( + ( ( ( (43 5 Η άλλη εξίσωση ( 5 ( + 9 ( είναι ίδια µε την (43 Για να βρούµε το µοναδικό ιδιοδιάνυσµα χρειαζόµαστε και την (+(, άρα: 5 ( και ( 6 6 που επιβεβαιώνει την πρώτη πρόταση του θεωρήµατος Εφαρµόζοντας τη δεύτερη πρόταση του Θεωρήµατος 4 προκύπτει 47

lm A k k [ ] 6 5 6 6 5 6 που είναι αυτό που ήδη βρήκαµε Έστω τώρα ότι η µηχανή δουλεύει µε ρυθµό προϊόντα / µονάδα χρόνου Τότε ο µέσος ρυθµός παραγωγής είναι: 5 ( + ( 6 Αν στην αρχή η κατάσταση είναι, τότε τη στιγµή k έχουµε k k ( ( A k 4 6 5+ 4 6 και ο µέσος ρυθµός παραγωγής κατά τη χρονική στιγµή k είναι: k k k 5 + 4k k ( 6 Στην πράξη εν τούτοις σπάνια µας ενδιαφέρει αυτό το µέγεθος αφού υποθέτουµε ότι το σύστηµα έχει δουλέψει γι αρκετά µακρό χρόνο για να φθάσει στη µόνιµη κατάσταση 43 Μεταβατικά φαινόµενα Αν ο πίνακας Α έχει µερικά µηδενικά και δεν υπάρχει k για το οποίο Α k >, τότε η αλυσίδα είναι µη κοινή, όπως είδαµε Θα λέµε ότι η κατάσταση S j είναι προσιτή από την S αν και µόνο αν µπορούµε να φθάσουµε στην S j από την S µε πεπερασµένο (m αριθµό βηµάτων Με άλλα λόγια υπάρχει κάποιο m τέτοιο ώστε το στοιχείο a j του πίνακα (A m Τ είναι > Λέµε ότι οι καταστάσεις S και S j επικοινωνούν αν η κάθε µια είναι προσιτή από 48

την άλλη Θεώρηµα 43 Το σύνολο των καταστάσεων µιας αλυσίδας Markov µπορεί να διαιρεθεί σε κλάσεις που επικοινωνούν Κάθε κατάσταση στην κλάση επικοινωνεί µε κάθε κατάσταση στην ίδια κλάση αλλά όχι άλλη κατάσταση Αν η αλυσίδα αποτελείται από µια µόνο επικοινωνούσα κλάση, τότε λέγεται µη απλοποιήσιµη (rreducble, αλλιώς απλοποιήσιµη (reducble Προφανώς µια κοινή αλυσίδα είναι µη απλοποιήσιµη αφού όλες οι καταστάσεις επικοινωνούν Το αντίστροφο δεν ισχύει Παράδειγµα 46 Έστω Α Εδώ Α k, Α k+ και άρα η αλυσίδα είναι µη κοινή Εν τούτοις είναι επικοινωνούσα και, εποµένως, µη απλοποιήσιµη: Σχήµα 45 Μια επικοινωνούσα κλάση λέγεται κλειστή αν δεν υπάρχει καµµιά απολύτως µετάβαση σε άλλη κατάσταση έξω από την κλάση Εποµένως άπαξ και µπούµε σε µια κλειστή κλάση ποτέ δεν βγαίνουµε απ αυτήν Μια µη απλοποιήσιµη αλυσίδα συνίσταται από µια µόνο επικοινωνούσα κλάση και άρα είναι κλειστή 49

Παράδειγµα 47 Η καταστροφή του χαρτοπαίκτη q q q q n- n p p p p α γ β Σχήµα 46 α: κλειστή κλάση (επικοινωνούσα β: " " " γ: επικοινωνούσα κλάση Μια επικοινωνούσα κλάση λέγεται µεταβατική αν από αυτήν µπορούµε να φθάσουµε σε κάποια κατάσταση έξω από αυτήν και από εκεί δεν µπορούµε να επιστρέψουµε στην αρχική κλάση Για παράδειγµα, η γ είναι µεταβατική αφού από την γ καταλήγουµε ή στην α ή στην β Επικοινωνούσες κλάσεις καταλήγουν πάντα σε µια κλειστή κλάση και άρα κάθε αλυσίδα Markov έχει τουλάχιστον µια κλειστή κλάση Θεώρηµα 44 Σε κάθε αλυσίδα Markov η πιθανότητα να βρεθούµε τελικά σε µια κλειστή επικοινωνούσα κλάση ισούται µε Οι κλειστές κλάσεις λέγονται και απορροφητικές και αν συνίστανται από µια κατάσταση τότε η κατάσταση λέγεται απορροφητική όπως η β και η α Παράδειγµα 48 5

5 Θεωρούµε πάλι την καταστροφή του χαρτοπαίκτη: q p n n- n- p p p q q q Σχήµα 47 Γράφουµε τις εξισώσεις αρχίζοντας από τις κλειστές καταστάσεις: k+ ( k ( + q k ( k+ ( q k ( k+ ( p k ( + q k (3 k+ (n p k (n 3 + q k (n k+ (n p k (n k+ (n k (n + p k (n Τώρα αναδιατάσσουµε τα στοιχεία του διανύσµατος k έτσι ώστε οι απορροφητικές κλάσεις να είναι στην αρχή ήτοι, k [ k ( k (n k ( k ( k (3 k (n ] T Οι προηγούµενες εξισώσεις γράφονται ως εξής: k+ p q q p q p q p q k Γενικά, ο πίνακας Α µπορεί να γραφεί

R A Q όπου για το παράδειγµα που αναφέραµε ο Α είναι (n+ (n+, και ο Q είναι (n- (n- και q p q p q Q p q p O Q προκύπτει από τον Α αν αφαιρέσουµε τις απορροφητικές καταστάσεις Ο Q δεν είναι στοχαστικός και για τούτο λέγεται υποστοχαστικός Αρκεί αυτός ο πίνακας για τη µοντελοποίηση των µεταβατικών καταστάσεων Πράγµατι, έστω ότι ξεκινάµε από την κατάσταση S και θέλουµε την πιθανότητα στο βήµα k να είµαστε στην κατάσταση S j (πάντα µέσα στη µεταβατική κλάση Ως γνωστόν, αυτή η πιθανότητα είναι το στοιχείο του πίνακα A k που αντιστοιχεί στην πιθανότητα µετάβασης από την στην j Μπορεί να αποδειχθεί ότι ο πίνακας A k έχει την ακόλουθη µορφή A k k X, k Q για κάποιον πίνακα Χ (δεν µας ενδιαφέρει, οπότε το στοιχείο που ζητάµε ισούται µε το στοιχείο q (k j του πίνακα (Q Τ k Παρατηρούµε ότι, για k, (Q Τ Ι δηλαδή έχει όλα τα διαγώνια στοιχεία ίσα µε και τα υπόλοιπα Αυτό επαληθεύει το ότι η πιθανότητα σε βήµατα να πάµε στην j είναι µόνον όταν j Επίσης, το µέσο πλήθος των φορών που θα βρεθούµε στην S j για k,,, έχοντας ξεκινήσει από την S είναι: (να πάµε στην S j στο βήµα k + (να πάµε στην S j στο βήµα k + 5

q ( ( ( k j + q j + + q j + που είναι το στοιχείο (j του πίνακα I + Q T + + (Q T k + Αλλά µπορεί εύκολα να δειχθεί Μ (I Q T I + Q T + (Q T + Θεώρηµα 45 To µέσο πλήθος των φορών που η αλυσίδα, πριν απορροφηθεί, θα ευρίσκεται στην κατάσταση S j δοθέντος ότι άρχισε από την S είναι ίσο µε το στοιχείο m j του πίνακα Μ Τώρα το συνολικό µέσο πλήθος των φορών που η αλυσίδα αρχίζει από την κατάσταση S και πηγαίνει σε µεταβατικές καταστάσεις S, S,, είναι ίσο µε το άθροισµα των όρων της γραµµής του Μ ηλαδή ο µέσος αριθµός επισκέψεων προς όλες τις µεταβατικές καταστάσεις προτού η αλυσίδα απορροφηθεί έχοντας αρχίσει από την S ισούται µε το στοιχείο του διανύσµατος Μ όπου είναι το διάνυσµα µε όλα τα στοιχεία ίσα µε Τέλος εξετάζουµε την πιθανότητα να καταλήξει η αλυσίδα µπ σε απορροφητική κατάσταση S δοθέντος ότι άρχισε από µια µεταβατική κατάσταση S j, να εισέλθει δηλαδή σε απορροφητική κατάσταση από µια συγκεκριµένη οδό Θεώρηµα 46 H πιθανότητα µια αλυσίδα να καταλήξει από τη µεταβατική κατάσταση S σε µια απορροφητική κατάσταση S j είναι b j Τότε ο πίνακας Β [b j ] είναι: Β MR T Παράδειγµα 49 Καταστροφή του χαρτοπαίκτη Θέλουµε να βρούµε την πιθανότητα να κερδίσει ένας παίκτης έχοντας αρχίσει από κάποια κατάσταση S k Ο πίνακας R είναι: 53

54 p q R ή [ ] r r p q R T Ο παίκτης κερδίζει αν βρεθεί στην απορροφητική κατάσταση n που αντιστοιχεί στη στήλη [ ] T p r Άρα το διάνυσµα Mr δίνει τις ζητούµενες πιθανότητες ή ( ( T T r Q I r Q I ή q p q p q p q p 3 n n p ή + p q p q p n n 3 k q k- p k+, για k,,,n, όπου, n Λύνοντας την παραπάνω εξίσωση διαφοράς ευρίσκοµε την απάντηση

V ΣΥΝΤΟΜΗ ΕΙΣΑΓΩΓΗ ΣΤΗ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ 5 Γενικά Ένα από τα θεµελιώδη προβλήµατα των επικοινωνιών είναι το ακόλουθο: Έστω ότι ο ποµπός έστειλε ένα σήµα X( ενώ στο δέκτη λαµβάνεται το σήµα Y ( X ( + n( όπου n( είναι θόρυβος, συνήθως λευκός µε κατανοµή Gauss Από το Y( θέλουµε να εκτιµήσουµε το X( ήτοι θέλουµε µια συνάρτηση Φ η οποία µας δίνει την εκτίµηση X ˆ ( του Χ(: Xˆ ( Φ ( Y ( Τέτοια προβλήµατα αναφύονται ανά πάσα στιγµή στη φώραση σηµάτων ραντάρ όπου αποφασίζουµε αν υπάρχει στόχος ή όχι, στις τηλεπικοινωνίες όπου θέλουµε να ξέρουµε αν έχει ληφθεί ή κλπ Η Θεωρία Πληροφοριών παρέχει πληθώρα εκπληκτικών εργαλείων που βοηθούν στη λύση του προβλήµατος Η θεωρία στη βάση της οφείλεται στον Claude E Shannon που τη δηµιούργησε σχεδόν ολοκληρωτικά στα εξής δύο άρθρα: Α Mahemacal Theory of Communcaon, Bell Sysem Tech Journal, vol 7, pp 379-43, 63-656, 948 Είναι ενδιαφέρον το ότι η κεντρική έννοια της Θεωρίας Πληροφοριών, η εντροπία, βρίσκει εφαρµογές σε πολλές επιστήµες όπως βιολογία, φιλοσοφία, συστήµατα παραγωγής και αλλού Η Θεωρία Πληροφοριών ασχολείται µε τους φορείς πληροφοριών (γράµµατα, ψηφία και όχι µε την πληροφορία αυτήν καθ αυτήν 55

Πληροφορία είναι ένα µέτρο της ελευθερίας επιλογής κάποιου όταν επιλέγει ένα µήνυµα Η µέση πληροφορία λέγεται εντροπία Εννοιολογικά είναι ισοδύναµη της κλασικής εντροπίας της θερµοδυναµικής Ο µαθηµατικός της ορισµός δίνεται και στη Στατιστική Μηχανική θεµελιωµένος από τον Bolzman Εντροπία είναι ένα µέτρο τυχαιότητας σε µια τυχαία κατάσταση Μια πολύ καλά οργανωµένη κατάσταση έχει µικρή εντροπία (πχ η πορεία κοµµατιών σε γραµµή παραγωγής ή η διάταξη τούβλων σ ένα κτίσµα ενώ µια ανοργάνωτη έχει µεγάλη εντροπία (πχ η πορεία κοµµατιών σ ένα ευέλικτο σύστηµα παραγωγής ή ένας σωρός τούβλων Μ αυτή την έννοια υπάρχει περισσότερη πληροφορία αν κανείς επιλέγει ένα γράµµα από αλφάβητο 5 γραµµάτων παρά από 4 γραµµάτων Το διάγραµµα ενός συστήµατος επικοινωνιών είναι το εξής: Πηγή πληροφορίας Κωδικοποιητής πηγής Κωδικοποιητής διαύλου + + n( Αποκωδικοποιητής διαύλου Αποκωδικοποιητής πηγής Χρήστης Σχήµα 5 Η πηγή µπορεί να είναι φωνή, µουσική, µετρήσεις ραντάρ, ψηφία από µια µαγνητική ταινία, είσοδος στις αισθήσεις ενός βιολογικού οργανισµού Ο κωδικοποιητής - (αποκωδικοποιητής πηγής είναι µια αντιστοιχία από τα δεδοµένα της πηγής (και αντιστρόφως σε ένα γνωστό αλφάβητο, το αλφάβητο κώδικα, έτσι ώστε να επιτευχθεί η ελάχιστη παραµόρφωση ανάµεσα στο σήµα πηγής και το ληφθέν σήµα O δίαυλος µπορεί να είναι µια τηλεφωνική γραµµή, ένα σύστηµα υψηλής συχνότητας (ποµπός - κεραία - ατµόσφαιρα - κεραία - δέκτης, ένας βιολογικός οργανισµός 56

Ο κωδικοποιητής - (αποκωδικοποιητής διαύλου αντιστοιχεί στον κωδικοποιητή (αποκωδικοποιητή πηγής µε αντικατάσταση της λέξης «πηγή» από τη λέξη «δίαυλος» Πρώτα κατασκευάζουµε τον κωδικοποιητή - αποκωδικοποιητή διαύλου, ώστε ο δίαυλος να είναι αξιόπιστος και εν συνεχεία χρησιµοποιούµε τον κωδικοποιητή - αποκωδικοποιητή πηγής για να κάνουµε προσαρµογή Όπως «ορίσαµε» την πληροφορία είναι προφανές ότι αν προστεθεί θόρυβος σ ένα σήµα τότε η αβεβαιότητά του αυξάνεται και άρα αυξάνεται η πληροφορία Αυτή η πληροφορία είναι ανεπιθύµητη και πρέπει να απορριφθεί Ορισµός 5 Έστω Ε ένα γεγονός µε πιθανότητα να συµβεί (E Αν µας πουν ότι το Ε συνέβη, τότε έχουµε λάβει I( E log m ( E µονάδες πληροφορίας log ( E m Αν η βάση των λογαρίθµων είναι το m e οι µονάδες είναι nas Αν η βάση των λογαρίθµων είναι το m οι µονάδες είναι bs Αν η βάση των λογαρίθµων είναι το m οι µονάδες είναι Harleys 5 Η πηγή µηδενικής µνήµης Πηγή S, S j, Σχήµα 5 57

Η πηγή µηδενικής µνήµης εκπέµπει µια ακολουθία συµβόλων από κάποιο δεδοµένο, πεπερασµένο αλφάβητο S {S, S,, S n } και τα σύµβολα είναι στατιστικά ανεξάρτητα µεταξύ τους Η µέση τιµή της πληροφορίας λέγεται εντροπία της πηγής: H S ( S log ( S ( S log ( S ( S log ( S ( n n S Παράδειγµα 5 Έστω το αλφάβητο S {S, S, S 3 } µε πιθανότητες H ( S log + log4 + log4 4 4 3 bs ( S, ( S ( S3 4 53 Μια σηµαντική ιδιότητα της εντροπίας y y x - - y ln x x Σχήµα 53 Από την εικόνα συνάγεται ότι έπεται ότι x > ln x µε ισότητα για x Από την ανισότητα 58

( x ln x x ln (5 x Τώρα έστω ότι κάποια πηγή µηδενικής µνήµης έχει αλφάβητο n συµβόλων Τότε logn H ( S logn n log n log n n log n ( n + log n log logn (5 Τώρα log n ln n και η (5 γίνεται log e log n H ( S loge n ln n και από την (5 logn H ( S loge n loge n n n n n log e n H ( S logn (53 Τώρα έστω µια πηγή µε n σύµβολα, όλα ισοπίθανα η εντροπία της είναι και από τις (53, (54 συνεπάγεται n H ( S log n log n log n (54 n n Η(S H (S δηλαδή η εντροπία µεγιστοποιείται για ισοπίθανα σύµβολα και η τιµή της είναι log n Παράδειγµα 5 59

Έστω η πηγή S {, } και (, ( H (S / Σχήµα 54 Τότε H ( S log + log και για H ( S H ( S H ( S 54 Πώς δικαιολογείται το λογαριθµικό µέτρο της εντροπίας Έστω µια τυχαία µεταβλητή Χ που παίρνει τις τιµές x, x,, x M µε πιθανότητες,,, M αντίστοιχα Έστω ότι η µέση αβεβαιότητα των τιµών της Χ είναι f (,, M Aν οι τιµές της Χ είναι ισοπίθανες, τότε H ( X f,, F( M M M όπου, για συντοµία, συµβολίζουµε την αβεβαιότητα ισοπίθανοων ενδεχοµένων µε F Τώρα αν το Μ αυξηθεί πρέπει και η αβεβαιότητα ν αυξηθεί, ήτοι 6

F(M < F(M' όταν και µόνο όταν Μ < Μ' για Μ, Μ',, Στη συνέχεια εξετάζουµε ένα πείραµα όπου υπάρχουν δύο ανεξάρτητες τυχαίες µεταβλητές Χ και Υ µε αντίστοιχες τιµές x,,x M και y,,y L Οι τιµές της κάθε τυχαίας µεταβλητής είναι ισοπίθανες Το κοινό πείραµα (Χ,Υ έχει ΜL ισοπίθανα εξαγόµενα και µέση αβεβαιότητα F(ML Αν η τιµή της Χ αποκαλυφθεί τότε η µέση αβεβαιότητα της Υ δεν πρέπει να µεταβληθεί λόγω ανεξαρτησίας Έτσι F(ML F(M F(L ή F(ML F(M + F(L Στη συνέχεια θεωρούµε την τυχαία µεταβλητή Χ της οποίας οι τιµές έχουν χωρισθεί σε δύο οµάδες όπως στο σχήµα: /(A X (A + + + r Α X r /(A X r Χ (B r+ + r+ + + M Β r+ /(B X r+ X r+ M /(B X M Σχήµα 54 Αν αποκαλύψουµε ποιά από τις οµάδες Α ή Β έχει επιλεγεί, τότε έχουµε µειώσει τη µέση αβεβαιότητα κατά f( ++ r, r+ ++ M Η οµάδα Α επιλέγεται µε πιθανότητα r και η εναποµένουσα αβεβαιότητα είναι 6

6 r r r,, f H οµάδα Β επιλέγεται µε πιθανότητα + M r και η εναποµένουσα αβεβαιότητα είναι + + + M r M M r r,, f Εποµένως κατά µέσον όρο η εναποµένουσα αβεβαιότητα είναι ( + r r r r r,, f H ( + + + + + + + M r M M r r M r,, f Η συνολική αβεβαιότητα εποµένως είναι 3 f (,,, M αβεβαιότητα των Α και Β + Η r f ( ++ r, r+ ++ M + H r Τέλος, για λόγους αναλυτικής ευκολίας, υποθέτουµε ότι 4 H f (, είναι συνεχής συνάρτηση του Θεώρηµα 5 Η µόνη συνάρτηση που ικανοποιεί τα αξιώµατα -4 είναι

H όπου το C ορίζει τις µονάδες (,, M f (,, M C log M 55 Κώδικες Ορισµός 5 Έστω το σύνολο των συµβόλων ενός αλφαβήτου S S, S,, S } Ορίζουµε σαν { n κώδικα την αντιστοιχία όλων των δυνατών ακολουθιών συµβόλων του S σε ακολουθίες συµβόλων κάποιου άλλου αλφαβήτου X X, X,, X } Το S είναι το αλφάβητο πηγής και το Χ το αλφάβητο κώδικα { n Ορισµός 53 Ένας σταθερός κώδικας συνίσταται από ακολουθίες κώδικα που είναι σταθερές για δεδοµένη ακολουθία συµβόλων πηγής Παράδειγµα 53 Έστω S {S, S, S 3, S 4, S 5, S 6 }, X {, } Τότε ένα κώδικας του S θα είναι ο Σχήµα 55 ή {,,,,, } Αλλά υπάρχουν και άπειροι άλλοι συνδυασµοί που µπορούν να δώσουν έναν κώδικα 6 συµβόλων από τα ψηφία (, 63

Ορίζουµε το µήκος l κάθε λέξης του κώδικα σαν τον αριθµό ψηφίων (bs σε κάθε λέξη Το µέσο µήκος όλου του κώδικα είναι: L Ο Shannon έχει αποδείξει ότι n l H (S L και η ισότητα ισχύει τότε και µόνον τότε αν l log Αυτή η σχέση είναι πολύ σηµαντική γιατί δίνει τον οικονοµικότερο κώδικα Παράδειγµα 54 Έστω το προηγούµενο παράδειγµα, όπου S (S l S / S /4 S 3 /6 4 S 4 /6 4 S 5 /6 4 S 6 /6 4 Παρατηρούµε ότι ο κώδικας που ήδη βρήκαµε έχει το ελάχιστο L Ορισµός 54 64