Στοιχεία Πιθανοτήτων και Στοχαστικών Διαδικασιών

Α Στοιχεία Πιθανοτήτων και Στοχαστικών Διαδικασιών Α.1 Εισαγωγικά Το παρόν παράρτημα δεν έχει σαν στόχο να καλύψει αναλυτικά την ύλη της Θεωρίας Πιθανοτήτων και Στοχαστικών Διαδικασιών. Υπάρχει στη βιβλιογραφία πληθώρα σχετικών συγγραμμάτων όπου οι δύο περιοχές αναπτύσσονται εκτεταμένα και με διαφορετικό βαθμό δυσκολίας και έμφασης 1. Έτσι, περιοριζόμαστε σε συνοπτική παρουσίαση των βασικών εννοιών και αποτελεσμάτων που είναι απαραίτητα για την κατανόηση του αντικειμένου του παρόντος βιβλίου. Α.2 Χώρος πιθανότητας Καλούμε χώρο πιθανότητας μια τριάδα οντοτήτων, που θα συμβολίσουμε με (Θ, F, P), με τις παρακάτω ιδιότητες Το Θ είναι ένα οποιοδήποτε σύνολο στοιχείων, το οποίο καλείται δειγματοχώρος. Το F είναι ένα σύνολο από υποσύνολα του Θ, τα οποία συνιστούν μια σ-άλγεβρα. Συγκεκριμένα, τα στοιχεία του F πρέπει να ικανοποιούν τις ακόλουθες ιδιότητες. - Τα δύο σύνολα Θ και είναι στοιχεία του F. - Εάν A F, τότε και A c F, όπου A c το συμπληρωματικό του A. - Εάν A 1, A 2 F, τότε και A 1 A 2 F. - Εάν μια ακολουθία από σύνολα A 1, A 2,... F, τότε και i=1 A i F. Τα στοιχεία του F καλούνται γεγονότα. 1 Σαν καταλληλότερο σύγγραμμα για Μηχανικούς προτείνεται το βιβλίο [PA1999] το οποίο διακρίνεται για τη μαθηματική του αυστηρότητα παράλληλα με την απλότητα παρουσίασης της ύλης. 149

150 Παράρτημα Α : Στοιχεία Πιθανοτήτων και Στοχαστικών Διαδικασιών Το P είναι μια απεικόνιση από το σύνολο F στο διάστημα [0,1] με τις εξής ιδιότητες. - P( ) = 0, P(Θ) = 1. - Εάν A 1, A 2 F και A 1 A 2 =, τότε P(A 1 A 2 ) = P(A 1 ) + P(A 2 ). - Εάν μια ακολουθία από σύνολα A 1, A 2,... F και κάθε A i A j = για i j, τότε P( i=1 A i) = i=1 P(A i). Η συνάρτηση P καλείται συνάρτηση πιθανότητας και, όπως παρατηρούμε, ορίζει πιθανότητες μόνο για τα στοιχεία του συνόλου F, δηλαδή τα γεγονότα. Α.3 Τυχαίες μεταβλητές Είναι δυνατό να ορίσουμε συναρτήσεις που να απεικονίζουν στοιχεία του δειγματοχώρου Θ στους πραγματικούς αριθμούς. Έστω χ(θ) μια τέτοια συνάρτηση, δηλαδή θ Θ και χ(θ) R. Η πλέον στοιχειώδης πράξη στους πραγματικούς αριθμούς είναι η πράξη της σύγκρισης. Εάν επομένως x R, μας ενδιαφέρει να διαπιστώσουμε πότε συμβαίνει χ(θ) x, με άλλα λόγια να ανακαλύψουμε το σύνολο (υποσύνολο του Θ) A x = {θ : χ(θ) x}, το οποίο επιθυμούμε να μετρήσουμε με τη βοήθεια της συνάρτησης πιθανότητας P. Για να μπορέσουμε να δώσουμε πιθανότητα στο εν λόγω σύνολο είναι απαραίτητο το A x F, αφού το F, εξ ορισμού, περιέχει όλα τα δυνατά σύνολα στα οποία μπορούμε να δώσουμε πιθανότητα. Έχουμε επομένως τον ακόλουθο ορισμό. Μια συνάρτηση χ(θ) από το Θ στους πραγματικούς αριθμούς, θα καλείται μετρήσιμη ή τυχαία μεταβλητή, εάν για κάθε πραγματικό x το σύνολο δηλαδή το A x είναι ένα γεγονός. A x = {θ : χ(θ) x} F, Για μια τυχαία μεταβλητή χ(θ) μια πολύ σημαντική ποσότητα είναι η συνάρτηση F χ (x) = P(χ(θ) x), η οποία καλείται συνάρτηση κατανομής της χ(θ) και είναι αύξουσα ως προς x με ιδιότητες F χ ( ) = 0, F χ ( ) = 1. Η παράγωγος της συνάρτησης κατανομής (όταν ορίζεται) καλείται συνάρτηση πυκνότητας πιθανότητας και ικανοποιεί f χ (x) = df χ(x) dx 0, f χ (x)dx = 1.

Α.3 Τυχαίες μεταβλητές 151 Ένας τρόπος ο οποίος είναι ενίοτε χρήσιμος για να βλέπουμε την πυκνότητα πιθανότητας είναι σαν πιθανότητα με τον ακόλουθο τρόπο P(x dx < χ x) = F χ (x) F χ (x dx) = f χ (x) dx. (1) Με άλλα λόγια η πυκνότητα πιθανότητας f χ (x) επί το διαφορικό dx εκφράζει ουσιαστικά την πιθανότητα η τυχαία μας μεταβλητή να πάρει τιμή μέσα στο διαφορικό διάστημα (x dx, x], που είναι φυσικά ένας άλλος τρόπος να πούμε ότι παίρνει την τιμή x. Ο τρόπος που προτείνεται με τη Σχέση (1) ουσιαστικά χρησιμοποιεί και την πυκνότητα πιθανότητας σαν (διαφορική) πιθανότητα. Α.3.1 Πείραμα Με τις τυχαίες μεταβλητές μοντελοποιούμε φαινόμενα τα οποία είναι δύσκολο να περιγράψουμε με ντετερμινιστικό τρόπο, είτε διότι είναι εξαιρετικά πολύπλοκα, είτε διότι δεν υπάρχει η απαραίτητη πληροφορία. Θα επιχειρήσουμε να δώσουμε στις τυχαίες μεταβλητές, πέρα από το μαθηματικό ορισμό, κάποια φυσική σημασία, η οποία να είναι σύμφωνη με τον τρόπο που οι οντότητες αυτές χρησιμοποιούνται στην πράξη. Όπως είδαμε, μια τυχαία μεταβλητή χ(θ) είναι ουσιαστικά μια συνάρτηση από τον δειγματοχώρο στους πραγματικούς. Υπάρχει επομένως μια διαδικασία επιλογής στοιχείων του δειγματοχώρου και απεικόνισής τους στους πραγματικούς. Η διαδικασία αυτή καλείται πείραμα και ο πραγματικός αριθμός χ(θ) που προκύπτει καλείται υλοποίηση της τυχαίας μεταβλητής. Στα περισσότερα πρακτικά προβλήματα για τα πειράματα και τις υλοποιήσεις θεωρείται ότι ευθύνεται η Φύση ή η Τυχαιότητα, αφού ο μελετητής δεν έχει συνήθως κανένα έλεγχο. Επιπλέον, ο μελετητής είναι δυνατό να μην γνωρίζει τον δειγματοχώρο αλλά ούτε και τη συνάρτηση χ( ). Π.χ. στη διαδικασία ρίψης ενός ζαριού η Φύση επιλέγει τις συνθήκες κάτω από τις οποίες εκτελείται η ρίψη και το αποτέλεσμα είναι ένας ακέραιος από ένα έως έξι. Στο παράδειγμα αυτό παρατηρούμε ότι είναι άγνωστος ο δειγματοχώρος καθώς και ο τρόπος αντιστοίχισης με τους πραγματικούς αριθμούς (που στο συγκεκριμένο παράδειγμα είναι μόνο το σύνολο {1, 2,..., 6}). Προφανώς η Φύση μπορεί να επαναλάβει το ίδιο πείραμα πολλές φορές (π.χ. τη ρίψη ζαριού) και κάθε φορά να επιλέγει διαφορετικό στοιχείο του δειγματοχώρου, το οποίο απεικονίζεται σε διαφορετικό πραγματικό αριθμό. Αποτελέσματα πειραμάτων, δηλαδή διαφορετικές υλοποιήσεις, θα τα συμβολίζουμε με χ(θ 1 ), χ(θ 2 ),..., ώστε να γίνεται σαφής η διαφορετική επιλογή της Φύσης στα στοιχεία θ του δειγματοχώρου. Α.3.2 Μέσος όρος και διασπορά Καλούμε στοχαστικό μέσον όρο της τυχαίας μεταβλητής χ το ολοκλήρωμα 2 χ = E[χ] = xf χ (x)dx 2 Στο εξής η εξάρτηση από την μεταβλητή θ θα προσδιορίζεται εφόσον είναι απολύτως αναγκαίο.

152 Παράρτημα Α : Στοιχεία Πιθανοτήτων και Στοχαστικών Διαδικασιών και διασπορά σ 2 χ = E[(χ χ) 2 ] = (x χ) 2 f χ (x)dx. Ο στοχαστικός μέσος όρος, είναι η αντιπροσωπευτικότερη τιμή της συνάρτησης χ, ενώ η διασπορά υποδηλώνει το πόσο παίζει η συνάρτηση χ γύρω από την αντιπροσωπευτική της τιμή χ. Παρατηρούμε ότι, όταν σ χ = 0, τότε η τυχαία μεταβλητή είναι μια σταθερή συνάρτηση (ίση προς τη μέση της τιμή χ). Ο παραπάνω ορισμός του μέσου όρου προϋποθέτει γνώση της συνάρτησης κατανομής της τυχαίας μεταβλητής. Ένας άλλος τρόπος υπολογισμού, ή ακριβέστερα εκτίμησης, του μέσου όρου είναι ο αριθμητικός μέσος όρος χ χ(θ 1) + χ(θ 2 ) + + χ(θ n ), n ο οποίος απαιτεί πολλαπλές υλοποιήσεις της τυχαίας μεταβλητής. Οι έννοιες που ορίσαμε για μια τυχαία μεταβλητή εύκολα επεκτείνονται και σε περισσότερες. Εάν χ 1, χ 2 δύο τυχαίες μεταβλητές (δηλαδή για κάθε επιλογή του θ μας διατίθενται δύο πραγματικοί αριθμοί), τότε είναι δυνατό να ορίσουμε την από κοινού συνάρτηση κατανομής F χ1,χ 2 (x 1, x 2 ) = P(χ 1 x 1, χ 2 x 2 ), την πιθανότητα δηλαδή να έχουμε συγχρόνως χ 1 x 1 και χ 2 x 2. Είναι πολύ εύκολο να διαπιστώσουμε ότι εάν χ i, i = 1, 2, είναι μετρήσιμες, τότε η εν λόγω πιθανότητα υπάρχει (γιατί;). Η μερική παράγωγος της (από κοινού) συνάρτησης κατανομής F χ1,χ 2 (x 1, x 2 ) ως προς x 1 και x 2 fχ1,χ2 (x1, x2) = 2 F χ1,χ2 (x 1, x 2 ) x 1 x 2 καλείται από κοινού συνάρτηση πυκνότητας πιθανότητας. Για τις δύο συναρτήσεις ισχύουν οι εξής ιδιότητες f χ1 (x 1 ) = F χ1 (x 1 ) = F χ1,χ 2 (x 1, ), F χ2 (x 2 ) = F χ1,χ 2 (, x 2 ), f χ1,χ 2 (x 1, x 2 ) 0 f χ1,χ 2 (x 1, x 2 )dx 2, f χ2 (x 2 ) = f χ1,χ 2 (x 1, x 2 )dx 1 dx 2 = 1. f χ1,χ 2 (x 1, x 2 )dx 1

Α.3 Τυχαίες μεταβλητές 153 Δύο τυχαίες μεταβλητές χ 1, χ 2 θα καλούνται ανεξάρτητες όταν F χ1,χ 2 (x 1, x 2 ) = F χ1 (x 1 )F χ2 (x 2 ) ή f χ1,χ 2 (x 1, x 2 ) = f χ1 (x 1 )f χ2 (x 2 ). Καλούμε συσχέτιση δύο τυχαίων μεταβλητών χ 1, χ 2 την ποσότητα cov{χ 1, χ 2 } = E[(χ 1 χ 1 )(χ 2 χ 2 )] = (x 1 χ 1 )(x 2 χ 2 )f χ1,χ 2 (x 1, x 2 )dx 1 dx 2 = E[χ 1 χ 2 ] χ 1 χ 2. Όταν η συσχέτιση δύο τυχαίων μεταβλητών είναι μηδέν, τότε οι τυχαίες μεταβλητές καλούνται ασυσχέτιστες. Οι παραπάνω ορισμοί επεκτείνονται φυσικά σε περισσότερες από δύο τυχαίες μεταβλητές κατά τον προφανή τρόπο. Στην περίπτωση των περισσοτέρων της μιας τυχαίων μεταβλητών είναι προτιμότερο να θεωρούμε τις τυχαίες μεταβλητές σαν όρους ενός (τυχαίου) διανύσματος. Για την περίπτωση επομένως K τυχαίων μεταβλητών μπορούμε να γράψουμε X = [χ 1 χ 2 χ K ] t και να ορίσουμε το μέσο διάνυσμα σαν και την μήτρα συνδιασποράς X = E[X ] = Xf X (X)dX Σ X = E[(X X )(X X ) t ] = E[X X t ] X X t. Από τον ορισμό εύκολα διαπιστώνουμε ότι το στοιχείο i, j της μήτρας συνδιασποράς είναι ίσο προς τη συσχέτιση των τυχαίων μεταβλητών χ i, χ j, ως εκ τούτου η μήτρα Σ X είναι συμμετρική. Το i-οστό διαγώνιο στοιχείο της μήτρας είναι ίσο προς τη διασπορά της τυχαίας μεταβλητής χ i. Τέλος η μήτρα συνδιασποράς, μπορεί εύκολα να αποδειχθεί ότι είναι μη αρνητικά ορισμένη, μια σημαντική και πολύ χρήσιμη ιδιότητα. Ένα κλασικό και πρακτικά χρήσιμο παράδειγμα από κοινού συνάρτησης πυκνότητας πιθανότητας αποτελεί η περίπτωση K Gaussian τυχαίων μεταβλητών. Εάν X, Σ X το διάνυσμα των μέσων όρων και η μήτρα συνδιασποράς των εν λόγω μεταβλητών τότε f X (X) = 1 (2π) K Σ X e 1 2 (X X ) t Σ 1 X (X X ), όπου X = [x 1 x 2 x K ] t (διάνυσμα πραγματικών τυχαίων μεταβλητών) και Σ X συμβολίζει την ορίζουσα της μήτρας Σ X.

154 Παράρτημα Α : Στοιχεία Πιθανοτήτων και Στοχαστικών Διαδικασιών Ιδιότητες Gaussian μεταβλητών : Οι Gaussian μεταβλητές διαθέτουν τις ακόλουθες δύο πολύ σημαντικές ιδιότητες Αποτελεί ενδιαφέρουσα (και απλή) άσκηση η απόδειξη της πρότασης ότι όταν Gaussian τυχαίες μεταβλητές είναι ασυσχέτιστες είναι υποχρεωτικά και ανεξάρτητες. Αποτελεί ενδιαφέρουσα (και όχι ιδιαίτερα δύσκολη) άσκηση η απόδειξη της πρότασης ότι γραμμικός συνδυασμός από Gaussian τυχαίες μεταβλητές δημιουργεί πάλι Gaussian τυχαίες μεταβλητές. Η δεύτερη ιδιότητα είναι εξαιρετικά χρήσιμη επειδή, ως γνωστόν, για να καθοριστούν οι Gaussian τυχαίες μεταβλητές αρκεί να υπολογιστούν οι μέσοι όροι και η μήτρα συνδιασποράς, πράγμα απλό για την περίπτωση των γραμμικών συνδυασμών. Α.4 Δεσμευμένη ή υπό συνθήκη πιθανότητα Η έννοια της δεσμευμένης πιθανότητας αποτελεί σημαντική ανακάλυψη για τη θεωρία πιθανοτήτων. Έστω γεγονός B F με P(B) > 0 τότε θα καλούμε δεσμευμένη (ή υπό συνθήκη) πιθανότητα ενός γεγονότος A F με δεδομένο το B την εξής ποσότητα: P(A B) = P(A B), P(B) όπου για ευκολία συμβολίζουμε την τομή A B των δύο συνόλων σαν το γινόμενο A B. Από τον ορισμό της δεσμευμένης πιθανότητας προκύπτει ότι P(A B) = P(A B)P(B) = P(B A)P(A). (2) Α.4.1 Δεσμευμένη πυκνότητα πιθανότητας Εάν έχουμε μια τυχαία μεταβλητή χ(θ) με πυκνότητα πιθανότητας f χ (x), τότε μπορούμε στην περίπτωση αυτή να ορίσουμε τη δεσμευμένη πυκνότητα πιθανότητας f χ (x χ B). Με άλλα λόγια ενδιαφερόμαστε να δούμε με ποιο τρόπο αλλάζει η πυκνότητα πιθανότητας της τυχαίας μεταβλητής όταν μας δίνεται η επιπλέον πληροφορία ότι η τυχαία μεταβλητή παρατηρήθηκε στο εσωτερικό ενός συνόλου B. Προκειμένου να χρησιμοποιήσουμε τον ορισμό της δεσμευμένης πιθανότητας, κάνουμε χρήση της (1), συγκεκριμένα f χ (x χ B)dx = P(x dx < χ x χ B) = = f χ(x)1 B (x) dx x B f χ(x) dx, P(x dx < χ x & χ B) P(χ B) από τη οποία συμπεραίνουμε ότι f χ (x χ B) = f χ (x) x B f χ(x) dx 1 B(x).

Α.4 Δεσμευμένη ή υπό συνθήκη πιθανότητα 155 Α.4.2 Βασικές ισότητες για γεγονότα Με τη βοήθεια της δεσμευμένης πιθανότητας και συγκεκριμένα με χρήση της (2) είναι δυνατό να αποδειχθεί ένας αριθμός από πολύ ενδιαφέρουσες ισότητες οι οποίες παρατίθενται στη συνέχεια. Ισότητα 1: Άμεση γενίκευση της (2) αποτελεί η εξής περίπτωση: έστω γεγονότα A 1, A 2,..., A K F, τότε P(A K A K 1 A 1 ) = P(A K A K 1 A 1 )P(A K 1 A 1 ) = = P(A K A K 1 A 1 )P(A K 1 A K 2 A 1 ) P(A 2 A 1 )P(A 1 ). Η πρώτη ισότητα είναι ουσιαστικά η (2) με B = A K 1 A 1. Στη συνέχεια επαναλαμβάνεται η ισότητα αυτή για K 1, K 2,..., 2. Ισότητα 2: (Ολική Πιθανότητα) Έστω γεγονότα A 1, A 2,..., A K F για τα οποία ισχύει A 1 A 2 A K = Θ με A i A j = για i j, καθώς και γεγονός B F, τότε P(B) = P(B Θ) = P(B K i=1a i ) = P( K i=1(b A i )) = = K P(B A i )P(A i ), i=1 K P(B A i ) όπου η πρώτη ισότητα της τελευταίας σχέσης προκύπτει από το γεγονός ότι τα σύνολα B A i είναι μεταξύ τους ξένα. Ισότητα 3: Με χρήση της προηγούμενης ισότητας μπορούμε να δείξουμε για γεγονότα A 1,..., A K, B όπως παραπάνω ότι ισχύει P(A i B) = P(B A i)p(a i ) P(B) = i=1 P(B A i )P(A i ) K i=1 P(B A i)p(a i ). Οι πιθανότητες P(A i ) καλούνται εκ των προτέρων (ή αρχικές) πιθανότητες των γεγονότων A i, ενώ οι P(A i B) εκ των υστέρων με δεδομένο το γεγονός B. Οι εκ των προτέρων πιθανότητες εκφράζουν την αρχική γνώση που υπάρχει για τα γεγονότα A i ενώ οι εκ των υστέρων το πως διαμορφώνονται οι πιθανότητες μετά την εμφάνιση του γεγονότος B. Α.4.3 Βασικές ισότητες για πυκνότητες πιθανότητας Οι ισότητες που παρουσιάστηκαν για γεγονότα έχουν τα ισοδύναμά τους και στην περίπτωση των πυκνοτήτων πιθανότητας τυχαίων μεταβλητών. Έστω δύο τυχαία διανύσματα X, Y με αντίστοιχη από κοινού πυκνότητα πιθανότητας f X,Y (X, Y ), τότε η πυκνότητα πιθανότητας του X με δεδομένο ότι Y B είναι f X Y B (X Y B) = Y B f X,Y (X, Y ) dy Y B f Y (Y ) dy = Y B f X,Y (X, Y ) dy Y B f X,Y (X, Y ) dy dx.

156 Παράρτημα Α : Στοιχεία Πιθανοτήτων και Στοχαστικών Διαδικασιών Είναι επίσης δυνατό να θεωρήσουμε για το Y το διαφορικό γεγονός Y = Y (δηλαδή Y Y < Y + dy ), οπότε η δεσμευμένη πυκνότητα πιθανότητας γράφεται f X Y =Y (X Y ) = f X,Y (X, Y ) f Y (Y ) = f X,Y (X, Y ) f X,Y (X, Y ) dx. Εύκολα διαπιστώνουμε ότι η συνάρτηση f X Y =Y (X Y ) αποτελεί όντως πυκνότητα πιθανότητας αφού είναι μη αρνητική και εάν ολοκληρωθεί ως προς X το αποτέλεσμα είναι μονάδα. Η παραπάνω σχέση αποτελεί το ισοδύναμο της δεσμευμένης πιθανότητας για συναρτήσεις πυκνότητας πιθανότητας. Κατ αναλογία με την (2) μπορούμε επίσης να γράψουμε f X,Y (X, Y ) = f X Y =Y (X Y )f Y (Y ). Από την ύπαρξη της υπό συνθήκη πυκνότητας πιθανότητας απορρέει και η ύπαρξη της υπό συνθήκη μέσης τιμής E[X Y = Y ] = Xf X Y =Y (X Y = Y ) dx = G(Y ) το οποίο είναι φυσικά μια (διανυσματική) συνάρτηση του Y. Για την υπό συνθήκη πυκνότητα πιθανότητα ισχύει ένας αριθμός από ενδιαφέρουσες ισότητες η απόδειξη των οποίων είναι απλή και επαφίεται στον αναγνώστη. Το ισοδύναμο της Ισότητας 1 για πυκνότητες πιθανότητας είναι η ακόλουθη σχέση. Ισότητα 4: Έστω τυχαίες μεταβλητές χ 1, χ 2,..., χ n τότε f χn,...,χ 1 (x n,..., x 1 ) = f χn χ n 1,...,χ 1 (x n x n 1,..., x 1 ) f χn 1 χ n 2,...,χ 1 (x n 1 x n 2,..., x 1 ) Για την ειδική περίπτωση που f χn χ n 1,...,χ 1 (x n x n 1,..., x 1 ) = f χn χ n 1 (x n x n 1 ) f χ2 χ 1 (x 2 x 1 ) f χ1 (x 1 ). τότε η ακολουθία χ 1, χ 2,..., χ n καλείται Markov. Συνδυασμός γεγονότων και πυκνοτήτων πιθανότητας οδηγεί στην ακόλουθη ισότητα. Ισότητα 5: Έστω τυχαία διανύσματα X, Y και ας υποθέσουμε ότι το Y παίρνει τιμές μέσα στο σύνολο Ω όπου υποθέτουμε ότι P(Y Ω} = 1. Έστω επίσης ότι ισχύει Ω = K i=1 A i, όπου τα γεγονότα A i είναι ανά δύο ξένα μεταξύ τους. Τότε f X (X) = f X,Y (X, Y Ω) = f X,Y (X, Y K i=1a i ) = = K f X Y (X Y A i )P(Y A i ). i=1 K f X,Y (X, Y A i ) i=1

Α.4 Δεσμευμένη ή υπό συνθήκη πιθανότητα 157 Ισότητα 6: Το αντίστοιχο της Ισότητας 3 με την βοήθεια της Ισότητας 5, γράφεται P(Y A i X = X) = f X Y (X Y A i )P(Y A i ) f X (X) f X Y (X Y A i )P(Y A i ) = K i=1 f X Y (X Y A i )P(Y A i ), όπου ισχύουν οι υποθέσεις της προηγούμενης ισότητας. Η ισότητα αυτή χρησιμοποιείται για τον υπολογισμό της εκ των υστέρων πιθανότητας του A i με δεδομένο ότι το τυχαίο διάνυσμα X έλαβε τη τιμή X = X. Α.4.4 Ιδιότητα της κλιμάκωσης του μέσου όρου Μια εξαιρετικά χρήσιμη ιδιότητα η οποία βασίζεται στην υπό συνθήκη μέση τιμή είναι η εξής. Έστω G(X, Y ) συνάρτηση των διανυσμάτων X, Y, τότε μπορούμε να γράψουμε E[G(X, Y )] = G(X, Y )f X,Y (X, Y ) dx dy { } = G(X, Y )f X Y (X Y ) dx f Y (Y ) dy = E [ E [ G ( X, Y ) Y ]]. (3) Με άλλα λόγια ο μέσος όρος μιας τυχαίας ποσότητας είναι δυνατό να υπολογιστεί κλιμακωτά, υπολογίζοντας δηλαδή αρχικά τον υπό συνθήκη μέσος όρο ως προς κάποιες τυχαίες μεταβλητές και κατόπιν, τον μέσο όρο της τυχαίας ποσότητας που προκύπτει. Παράδειγμα 1 : Έστω δύο στοχαστικά διανύσματα X, Y τα οποία είναι από κοινού Gaussian με μέσες τιμές X, Y, μήτρες συνδυασποράς E[(X X )(X X ) t )] = Σ X, E[(Y Y )(Y Y ) t )] = Σ Y και μήτρα ετεροσυσχέτισης E[(X X )(Y Y ) t )] = Σ X,Y. Δείξτε ότι η δεσμευμένη πυκνότητα πιθανότητας f X Y (X Y ) είναι Gaussian με μέση τιμή και διασπορά που δίνονται από τις σχέσεις E[X Y ] = E[(X E[X Y })(X E[X Y }) t Y ] = Σ X Y X + Σ X,Y Σ 1 Y (Y Y ) Για την απόδειξη της πρότασης αρκεί να υπολογίσουμε τη συνάρτηση f X Y (X Y ) = f X,Y (X, Y )/f Y (Y ). = Σ X Σ X,Y Σ 1 Y Σt X,Y. Για ευκολία θα θεωρήσουμε ότι οι δύο μέσοι όροι είναι μηδέν. Έχουμε τότε ότι (βλέπε Εδάφιο B.12) f X,Y (X, Y ) = 1 (2π) N x +N y Σ e 1 2 [Xt Y t ]Σ 1 [X t Y t ] t 1 f Y (Y ) = (2π) N y ΣY e 1 2 Y t Σ 1 Y Y

158 Παράρτημα Α : Στοιχεία Πιθανοτήτων και Στοχαστικών Διαδικασιών όπου N x, N y τα μήκη των διανυσμάτων X, Y αντίστοιχα, Σ = [Σ X Σ X,Y ; Σ t X,Y Σ Y ] είναι η μήτρα συνδυασποράς του εννιαίου διανύσματος [X t Y t ] t και A συμβολίζει την ορίζουσα της μήτρας A. Χρησιμοποιώντας τις δύο αυτές σχέσεις υπολογίζεται ότι 1 f X Y (X Y ) = (2π) N x Σ Σ Y Με τη βοήθεια της ταυτότητας αντιστροφής του Shur [ ] 1 [ ] [ ΣX Σ X,Y 0 0 Σ t = X,Y Σ Y 0 Σ 1 + Y όπου Φ X,Y = Σ X,Y Σ 1 Y e 1 2 [Xt Y t ]Σ 1 [X t Y t ] t + 1 2 Y t Σ 1 Y Y. (4) I Φ t X,Y ] Σ 1 X Y [I Φ X,Y ], και την ταυτότητα ορίζουσας μητρών σε μπλοκ μορφή [ ] ΣX Σ X,Y Σ t = Σ X,Y Σ Y Σ X Y, Y μετά από αντικατάσταση στη Σχέση (4), καταλήγουμε f X Y (X Y ) = 1 e 1 2 (X Φ X Y Y ) t Σ 1 X Y (X Φ X Y Y ). (2π) N x ΣX Y Από την προηγούμενη σχέση συμπεραίνουμε ότι η δεσμευμένη πιθανότητα της X είναι όντως Gaussian με τον ζητούμενο μέσον όρο και μήτρα συνδιασπορά. Α.5 Ιδιότητα της αλλαγής μέτρου Στη συνέχεια θα αναφερθούμε σε μια πολύ ενδιαφέρουσα ιδιότητα του μέσου όρου την οποία θα χρησιμοποιήσουμε σε επόμενο εδάφιο. Έστω τυχαίο διάνυσμα X το οποίο έχει πυκνότητα πιθανότητας f X (X). Ας υποθέσουμε επίσης ότι f X (X) αποτελεί εναλλακτική πυκνότητα πιθανότητας για το ίδιο τυχαία διάνυσμα. Μπορούμε τώρα να ορίσουμε το λόγο πιθανοφάνειας L (X) = f X (X) f X (X) το οποίο είναι βαθμωτή ποσότητα και αποτελεί ένα (εν γένει μη γραμμικό) μετασχηματισμό του διανύσματος X. Έστω τέλος μη γραμμική συνάρτηση G(X) για την οποία ενδιαφερόμαστε να υπολογίσουμε τον μέσο όρο E[G(X )] όπου E[ ] συμβολίζει μέσον όρο ως προς την πυκνότητα πιθανότητας f X (X). Έχουμε τον εξής απλό υπολογισμό 3 E[G(X )] = = G(X)f X (X) dx = G(X)L (X) f X (X) dx = Ẽ[G(X )L (X )], G(X) f X (X) f X (X) dx f X (X) 3 Στην ανάλυση που ακολουθεί έχουν παραληφθεί ορισμένες τεχνικές λεπτομέρειες. Π.χ. θεωρούμε ότι στα σημεία X για τα οποία f X (X) = 0, πρέπει να ισχύει ότι f X (X) = 0. Με τον περιορισμό αυτό αποφεύγεται ο λόγος πιθανοφάνειας να παίρνει άπειρη τιμή. Το γεγονός ότι η τιμή του λόγου πιθανοφάνειας είναι απροσδιόριστη δεν αποτελεί πρόβλημα αφού η συνεισφορά των σημείων αυτών στο συνολικό ολοκλήρωμα είναι μηδενική (γιατί;).

Α.6 Στοχαστικά ή τυχαία σήματα 159 όπου Ẽ[ ] συμβολίζει μέσον όρο ως προς την εναλλακτική πυκνότητα πιθανότητας f X (X). Παρατηρούμε ότι μπορούμε να υπολογίσουμε τον μέσον όρο μιας τυχαίας ποσότητας αλλάζοντας (μέτρο) πυκνότητα πιθανότητας, αρκεί να κάνουμε τη σχετική διόρθωση με τη βοήθεια του λόγου πιθανοφάνειας. Η σχετικά προφανής ιδιότητα της αλλαγής μέτρου έχει πολλές και σημαντικές εφαρμογές στη θεωρία πιθανοτήτων και στατιστική. Α.6 Στοχαστικά ή τυχαία σήματα Επεκτείνοντας την ιδέα του συνδυασμού πεπερασμένου πλήθους τυχαίων μεταβλητών σε άπειρη ακολουθία, δηλαδή {χ n, < n < }, προκύπτει μια στοχαστική διαδικασία. Εάν ο δείκτης n αναφέρεται σε χρόνο, τότε τη διαδικασία την καλούμε ειδικότερα στοχαστικό σήμα διακριτού χρόνου. Με άλλα λόγια, με κάθε επιλογή της Φύσης σε θ μας διατίθεται ένα σήμα στο χρόνο. Ωστόσο σε κάθε χρονική στιγμή n 0 η συμπεριφορά του σήματος είναι τυχαία, το χ n0 είναι δηλαδή μια τυχαία μεταβλητή. Είναι επίσης δυνατό να ορίσουμε διαδικασίες {χ(t), < t < } που να εξαρτώνται από τη μεταβλητή t η οποία είναι συνεχής. Εάν το t αναφέρεται σε αναλογικό χρόνο, τότε το χ(t) είναι ένα στοχαστικό σήμα συνεχούς χρόνου. Για κάθε χρονική στιγμή t = t 0, η συνάρτηση χ(t 0 ) είναι μετρήσιμη συνάρτηση (δηλαδή τυχαία μεταβλητή), ενώ για κάθε επιλογή του θ είναι συνάρτηση του χρόνου 4. Τα στοχαστικά σήματα περιγράφονται πλήρως μέσω των κατανομών πεπερασμένης τάξης. Εάν n 1, n 2,..., n K (αντίστοιχα t 1, t 2,..., t K ) K χρονικές στιγμές, τότε η K τάξης κατανομή του σήματος ορίζεται σαν F χ (x 1,..., x K, n 1, n 2,..., n K ) = P(χ n1 x 1,..., χ nk x K ) F χ (x 1,..., x K, t 1, t 2,..., t K ) = P(χ(t 1 ) x 1,..., χ(t K ) x K ). Όπως παρατηρούμε οι κατανομές, εκτός από συναρτήσεις των μεταβλητών x i, είναι επίσης συναρτήσεις των χρονικών στιγμών στις οποίες αναφέρονται. Αυτό οφείλεται στο γεγονός ότι δεν είναι απαραίτητο η τυχαία μεταβλητή που αντιστοιχεί στη χρονική στιγμή n 1 να έχει την ίδια κατανομή με την τυχαία μεταβλητή της χρονικής στιγμής n 2. Α.6.1 Στατιστικές πρώτης και δεύτερης τάξης Στην επεξεργασία σημάτων η πληροφορία που είναι συνήθως απαραίτητη είναι ο τρόπος με τον οποίο εξελίσσεται η κατανομή της χ n στο χρόνο καθώς και η από κοινού κατανομή των χ n1, χ n2 που αναφέρεται σε δύο χρονικές στιγμές, δηλαδή F χ (x 1, n 1 ) = P(χ n1 x 1 ) και η F χ (x 1, x 2, n 1, n 2 ) = P(χ n1 x 1, χ n2 x 2 ). Ωστόσο στην πράξη ακόμη και αυτή η περιορισμένη πληροφορία είναι αρκετά δύσκολο να εκτιμηθεί. Για το λόγο αυτό καταφεύγουμε στις λεγόμενες στατιστικές πρώτης και δεύτερης τάξης. φύσης. 4 Υπενθυμίζεται ότι οι συναρτήσεις αυτές είναι επίσης και συναρτήσεις του θ, δηλαδή της επιλογής της

160 Παράρτημα Α : Στοιχεία Πιθανοτήτων και Στοχαστικών Διαδικασιών Στατιστική πρώτης τάξης ενός στοχαστικού σήματος είναι το ντετερμινιστικό σήμα που προκύπτει παίρνοντας το στοχαστικό μέσον όρο σε κάθε χρονική στιγμή. Δηλαδή χ n = E[χ n ] ή χ(t) = E[χ(t)]. Στατιστική δεύτερης τάξης αποτελεί η συσχέτιση του σήματος με τον εαυτό του σε δύο διαφορετικές χρονικές στιγμές, δηλαδή R χ (n 1, n 2 ) = E[(χ n1 χ n1 )(χ n2 χ n2 )] ή R χ (t 1, t 2 ) = E[{χ(t 1 ) χ(t 1 )}{χ(t 2 ) χ(t 2 )}]. Η συνάρτηση R χ (n 1, n 2 ) (αντίστοιχα R χ (t 1, t 2 )) καλείται συνάρτηση αυτοσυσχέτισης (ή απλά αυτοσυσχέτιση) του σήματος χ. Κατά ανάλογο τρόπο ορίζουμε τη συνάρτηση ετεροσυσχέτισης (ή ετεροσυσχέτιση) μεταξύ δύο διαφορετικών σημάτων {χ n }, {ς n } σαν R χ,ς (n 1, n 2 ) = E[(χ n1 χ n1 )(ς n2 ς n2 )]. Η συνάρτηση ετεροσυσχέτισης υποδηλώνει, κατά μέσον όρο, πόσο συσχετισμένο είναι το σήμα {χ n } τη χρονική στιγμή n 1 με το σήμα {ς n } τη χρονική στιγμή n 2. Όπως θα διαπιστώσουμε, οι στατιστικές πρώτης και δεύτερης τάξης είναι δυνατό να εκτιμηθούν στην πράξη αρκετά εύκολα. Στο σημείο αυτό κρίνεται σκόπιμο να ορισθεί ένα πολύ ιδιαίτερο σήμα όσον αφορά στις στατιστικές δεύτερης τάξης. Ένα στοχαστικό σήμα {χ n } καλείται λευκός θόρυβος, όταν ο μέσος όρος του σε κάθε χρονική στιγμή είναι μηδέν και η συνάρτηση αυτοσυσχέτισης είναι της μορφής R χ (n 1, n 2 ) = R χ (n 1, n 1 )δ n1 n 2 ή R χ (t 1, t 2 ) = R χ (t 1, t 1 )δ(t 1 t 2 ), όπου δ n (αντίστοιχα δ(t)) η συνάρτηση δέλτα. Με άλλα λόγια, στο λευκό θόρυβο τα δείγματα του σήματος συσχετίζονται μόνον με τον εαυτό τους ενώ είναι ασυσχέτιστα με τα δείγματα οποιασδήποτε άλλης χρονικής στιγμής. Α.6.2 Στασιμότητα και εργοδικότητα Η στασιμότητα είναι ιδιότητα που αναφέρεται σε συγκεκριμένο χαρακτηριστικό ενός σήματος. Είναι επομένως δυνατόν ορισμένα χαρακτηριστικά να είναι στάσιμα και άλλα όχι. Η πλέον ισχυρή μορφή στασιμότητας αναφέρεται στη συνάρτηση κατανομής ενός σήματος. Έστω οι χρονικές στιγμές n i, i = 1,..., K. Ένα σήμα {χ n } θα καλείται ισχυρώς στάσιμο K τάξης, εάν η συνάρτηση κατανομής ικανοποιεί F χ (x 1,..., x K, n 1, n 2,..., n K ) = F χ (x 1,..., x K, n 2 n 1,..., n K n 1 ).

Α.6 Στοχαστικά ή τυχαία σήματα 161 Με άλλα λόγια, εάν η συνάρτηση κατανομής δεν εξαρτάται από τις απόλυτες χρονικές στιγμές αλλά μόνο από τις σχετικές, έχουμε ισχυρή στασιμότητα. Για παράδειγμα, ένα σήμα {χ n } είναι ισχυρώς στάσιμο πρώτης τάξης, όταν η συνάρτηση κατανομής του δεν εξαρτάται από το χρόνο, δηλαδή F χ (x 1, n 1 ) = F χ (x 1, 0), ενώ είναι ισχυρώς στάσιμο δεύτερης τάξης, όταν F χ (x 1, x 2, n 1, n 2 ) = F χ (x 1, x 2, n 2 n 1 ). Η ισχυρή στασιμότητα είναι πολύ περιοριστική και, τουλάχιστον για τις εφαρμογές που μας ενδιαφέρουν, όχι αναγκαία. Για το σκοπό αυτό είναι δυνατό να ορίσουμε την έννοια της στασιμότητας μόνο για μεγέθη που χρησιμοποιούμε, όπως για παράδειγμα στατιστικές πρώτης και δεύτερης τάξης. Ένα σήμα {χ n } θα καλείται ασθενώς στάσιμο πρώτης τάξης, όταν χ n = E[χ n ] = χ, δηλαδή ο στοχαστικός μέσος όρος είναι μια σταθερά ανεξάρτητη του χρόνου. Ένα σήμα θα καλείται ασθενώς στάσιμο δεύτερης τάξης, όταν είναι ασθενώς στάσιμο πρώτης τάξης και επιπλέον η συνάρτηση αυτοσυσχέτισης ικανοποιεί τη σχέση R χ (n 1, n 2 ) = R χ (n 2 n 1 ) = E[(χ n1 χ)(χ n2 χ)]. Τέλος, δύο σήματα {χ n }, {ϕ n } θα καλούνται από κοινού ασθενώς στάσιμα, δεύτερης τάξης όταν αυτά είναι ασθενώς στάσιμα δεύτερης τάξης και επιπλέον η συνάρτηση ετεροσυσχέτισης ικανοποιεί τη σχέση R χ,ς (n 1, n 2 ) = R χ,ς (n 2 n 1 ) = E[(χ n1 χ)(ς n2 ς)]. Από σύμβαση, στην αυτοσυσχέτιση και την ετεροσυσχέτιση, θεωρούμε σαν όρισμα τη διαφορά των χρονικών στιγμών του δεύτερου όρου του γινομένου μείον του πρώτου. Οι συναρτήσεις αυτοσυσχέτισης και ετεροσυσχέτισης στάσιμων σημάτων έχουν τις α- κόλουθες ενδιαφέρουσες συμμετρίες R χ ( n) = R χ (n) (5) R χ,ς ( n) = R ς,χ (n). (6) Από την πρώτη συμπεραίνουμε ότι η συνάρτηση αυτοσυσχέτισης είναι άρτια συνάρτηση του n. Όπως αναφέρθηκε σε προηγούμενο εδάφιο, στην πράξη χρησιμοποιούμε πολύ συχνά αριθμητικούς μέσους όρους για να προσεγγίσουμε τους στοχαστικούς μέσους όρους. Για παράδειγμα, εάν χ είναι τυχαία μεταβλητή και χ(θ 1 ),..., χ(θ K ) είναι K υλοποιήσεις της, τότε χ = E[χ] χ(θ 1) + χ(θ 2 ) + + χ(θ K ). K Το σημείο που πρέπει να τονισθεί στην προηγούμενη εκτίμηση είναι η ανάγκη για πολλαπλές υλοποιήσεις της τυχαίας μεταβλητής. Επεκτείνοντας την ιδέα αυτή σε ένα τυχαίο σήμα {χ n }, είναι φανερό ότι, για να εκτιμηθεί ο στοχαστικός μέσος όρος { χ n } του

162 Παράρτημα Α : Στοιχεία Πιθανοτήτων και Στοχαστικών Διαδικασιών σήματος, είναι απαραίτητο να υπάρχουν διαθέσιμες πολλαπλές υλοποιήσεις του στοχαστικού σήματος, {χ n (θ 1 )}, {χ n (θ 2 )},..., δηλαδή πολλαπλά σήματα. Στην περίπτωση αυτή η εφαρμογή του αριθμητικού μέσου όρου για κάθε χρονική στιγμή καταλήγει σε προσέγγιση του στοχαστικού μέσου όρου του σήματος ως εξής χ n = E[χ n ] χ n(θ 1 ) + χ n (θ 2 ) + + χ n (θ K ). (7) K Η ανάγκη για πολλαπλά σήματα είναι εν γένει ανεπιθύμητη, αφού στην πράξη συνήθως διατίθεται ένα και μοναδικό σήμα (μια μόνον υλοποίηση). Στην περίπτωση που το σήμα μας είναι ασθενώς στάσιμο πρώτης τάξης (με αποτέλεσμα ο στοχαστικός μέσος όρος να είναι κοινός σε κάθε χρονική στιγμή), είναι λογικό να αναρωτηθεί κανείς εάν είναι δυνατό να χρησιμοποιηθούν τα διαφορετικά χρονικά δείγματα μιας υλοποίησης, ώστε να εκτιμηθεί ο κοινός στοχαστικός μέσος όρος όλων των δειγμάτων, δηλαδή εάν μπορούμε να γράψουμε χ χ 1(θ) + χ 2 (θ) + + χ K (θ). (8) K Παρατηρούμε τη σημαντική διαφορά μεταξύ των δύο προσεγγίσεων. Η (7) αναφέρεται σε μια χρονική στιγμή και χρησιμοποιεί διαφορετικές υλοποιήσεις (διαφορετικά σήματα λόγω των θ i ), ενώ η (8) αναφέρεται σε μια υλοποίηση (ένα σήμα λόγω του μοναδικού θ) αλλά σε διαφορετικές χρονικές στιγμές. Στάσιμα σήματα τα οποία ικανοποιούν χ 1 + χ 2 + + χ K χ = lim K K καλούνται εργοδικά πρώτης τάξης. Συνθήκες κάτω από τις οποίες ένα σήμα είναι εργοδικό υπάρχουν, ωστόσο, επειδή ξεφεύγουν του σκοπού του παρόντος βιβλίου δεν θα παρουσιαστούν. Ένα εύκολο παράδειγμα μη εργοδικού σήματος είναι η περίπτωση που προκύπτει από την άπειρη επανάληψη μιας τυχαίας μεταβλητής, δηλαδή χ n = χ, όπου χ οποιαδήποτε τυχαία μεταβλητή. Στην περίπτωση αυτή ο κοινός στοχαστικός μέσος όρος κάθε χρονικής στιγμής δεν συμπίπτει με τον χρονικό αριθμητικό μέσο όρο (γιατί;). Κατά ανάλογο τρόπο είναι δυνατό να ορίσουμε την εργοδικότητα δεύτερης τάξης ενός στάσιμου σήματος δεύτερης τάξης. Ενδιαφερόμαστε δηλαδή να εκτιμήσουμε στατιστικές δεύτερης τάξης από χρονικούς αριθμητικούς μέσους όρους, συγκεκριμένα 1 R χ (k) = R χ (n + k n) = lim K K K (χ n χ)(χ k+n χ). Παρατηρούμε και πάλι ότι για τον υπολογισμό της συνάρτησης αυτοσυσχέτισης, όταν έχουμε εργοδικότητα, είναι αρκετό ένα μόνο σήμα. n=1

Α.6 Στοχαστικά ή τυχαία σήματα 163 Α.6.3 Πυκνότητα φάσματος ισχύος στοχαστικού σήματος Στην επεξεργασία σημάτων έχει πολύ μεγάλη σημασία το συχνοτικό περιεχόμενο (μετασχηματισμός Fourier) ενός σήματος. Έχει επομένως ενδιαφέρον να εξετάσουμε με ποιο τρόπο η έννοια αυτή είναι δυνατό να επεκταθεί στην περίπτωση των στοχαστικών σημάτων. Ας θεωρήσουμε για ευκολία ένα στοχαστικό σήμα διακριτού χρόνου {χ n }, το οποίο είναι στάσιμο, με μέση τιμή μηδέν και με συνάρτηση αυτοσυσχέτισης R χ (n). Εάν εφαρμόσουμε τον Διακριτό Μετασχηματισμός Fourier 5 (ΔΜF) σε L χρονικά δείγματα τότε X L (e jω ) = 1 L 1 χ n e jnω. L Επειδή τα χ n είναι τυχαίες μεταβλητές συμπεραίνουμε ότι για κάθε συχνότητα ω = ω 0 η ποσότητα X L (e jω 0 ) είναι επίσης τυχαία μεταβλητή. Με άλλα λόγια η συνάρτηση X L (e jω ) είναι μια στοχαστική διαδικασία αφού εξαρτάται από τη συχνότητα ω και για κάθε τιμή της είναι τυχαία μεταβλητή. Στα σήματα μεγάλη σημασία έχει η κατανομή ενέργειας ανά συχνότητα. Στην περίπτωση του στοχαστικού σήματος της προηγουμένης παραγράφου, αυτό εκφράζεται μέσω του X L (e jω ) 2. Επειδή η ποσότητα αυτή είναι τυχαία, προκειμένου να προκύψει μια ντετερμινιστική συνάρτηση της συχνότητας η οποία να είναι πρακτικά χρήσιμη ε- φαρμόζεται στοχαστικός μέσος όρος και υπολογίζεται το όριο για L. Προτείνεται συνεπώς η χρήση της ντετερμινιστικής συνάρτησης lim L E[ X L (e jω ) 2 ] για την περιγραφή της μέσης ενέργειας ανά συχνότητα (δηλαδή τον μέσον όρο της ενέργειας ανά συχνότητα για όλα τα διαφορετικά σήματα/υλοποιήσεις που αντιπροσωπεύει το στοχαστικό σήμα). Καλούμε πυκνότητα φάσματος ισχύος ενός στάσιμου σήματος {χ n } τη συνάρτηση που προκύπτει από το ακόλουθο όριο n=0 Φ χ (e jω ) = lim L E [ X L (e jω ) 2] = lim = n= L E 1 L 1 2 χ n e jnω L n=0 R χ (n)e jnω = F {R χ (n)}, (9) όπου με F { } συμβολίζουμε τον μετασχηματισμό Fourier. Η πυκνότητα φάσματος ι- σχύος, αφού αποτελεί τον Μετασχηματισμό Fourier της συνάρτησης αυτοσυσχέτισης, εξαρτάται αποκλειστικά από στατιστικές δεύτερης τάξης του τυχαίου σήματος {χ n }. Κατ αντιστοιχία, για δύο από κοινού στάσιμα (πραγματικά) σήματα {χ n }, {ς n }, 5 Ο ΔΜF ορίζεται με ένα συντελεστή κανονικοποίησης 1/ L προκειμένου το σήμα στο χρόνο και στη συχνότητα να έχει την ίδια ακριβώς ενέργεια.

164 Παράρτημα Α : Στοιχεία Πιθανοτήτων και Στοχαστικών Διαδικασιών έχουμε το όριο Φ χ,ς (e jω ) = lim E [ X L (e jω )SL(e jω ) ] L [ ( L 1 ) ( = lim E 1 L 1 )] χ n e jnω ς L L n e jnω n=0 n=0 = R χ,ς (n)e jnω = F {R χ,ς (n)}, n= όπου με Φ χ,ς (e jω ) συμβολίζουμε το Μετασχηματισμό Fourier της συνάρτησης ετεροσυσχέτισης. Η συνάρτηση Φ χ,ς (e jω ) καλείται συνάρτηση ετεροφάσματος. Για τη συνάρτηση πυκνότητας φάσματος ισχύος, σαν συνέπεια της (5), έχουμε τις ακόλουθες ιδιότητες Φ χ (e jω ) R, Φ χ (e jω ) 0, Φ χ (e jω ) = Φ χ (e jω ), είναι δηλαδή μια πραγματική, άρτια, μη αρνητική συνάρτηση της συχνότητας ω. Για τη συνάρτηση ετεροφάσματος, από την (6), ισχύει Φ χ,ς (e jω ) = Φ χ,ς(e jω ), Φ χ,ς (e jω ) = Φ ς,χ (e jω ). Α.7 Επίδραση γραμμικού συστήματος σε στατιστικές σήματος Έστω στοχαστικό σήμα {χ n }, το οποίο είναι είσοδος σε ένα γραμμικό, χρονικά σταθερό σύστημα με κρουστική απόκριση {h n }. Η έξοδος του συστήματος είναι επίσης στοχαστικό σήμα και ισχύει ς n = h n χ n = k= h k χ n k. (10) Πρέπει να σημειώσουμε ότι το {h n } είναι μια ντετερμινιστική ακολουθία, σε αντίθεση με την είσοδο και την έξοδο που είναι στοχαστικές διαδικασίες. Εφαρμόζοντας στοχαστικό μέσον όρο στην (10), υπολογίζουμε τις στατιστικές πρώτης τάξης της εξόδου συναρτήσει των αντίστοιχων στατιστικών της εισόδου, ς n = h n χ n. Δηλαδή η ακολουθία των μέσων όρων της εξόδου είναι η συνέλιξη της κρουστικής απόκρισης με την ακολουθία των μέσων όρων της εισόδου. Συμπεραίνουμε επομένως ότι, όταν η είσοδος έχει μέση τιμή μηδέν, το ίδιο θα ισχύει και για την έξοδο. Ας υποθέσουμε ότι το σήμα εισόδου {χ n } είναι μηδενικής μέσης τιμής και ασθενώς στάσιμο δεύτερης τάξης με συνάρτηση αυτοσυσχέτισης R χ (n) και πυκνότητα φάσματος

Α.7 Επίδραση γραμμικού συστήματος σε στατιστικές σήματος 165 Φ χ (e jω ). Επιθυμούμε να υπολογίσουμε τις αντίστοιχες συναρτήσεις για το σήμα εξόδου. Ισχύουν οι παρακάτω σχέσεις R ς,χ (n) = h n R χ (n) R ς (n) = h n R ς,χ (n) = h n h n R χ (n) Φ ς (e jω ) = H(e jω ) 2 Φ χ (e jω ). (11) Η απόδειξη των σχέσεων αυτών είναι εύκολη. Από την (10) πολλαπλασιάζοντας με χ l, εφαρμόζοντας στοχαστικό μέσον όρο και χρησιμοποιώντας στασιμότητα, καταλήγουμε R ς,χ (l n) = E[ς n χ l ] = h k E[χ n k χ l ] = h k R χ (l n + k). k= k= Αντικαθιστώντας στην προηγούμενη σχέση όπου l n το n και όπου k το k, αποδεικνύεται η πρώτη σχέση. Για να αποδείξουμε τη δεύτερη χρησιμοποιούμε πάλι την (10) αλλά πολλαπλασιάζουμε αυτή τη φορά με ς l, και μετά εφαρμόζουμε μέσον όρο. Η τρίτη αποτελεί συνδυασμό της πρώτης και της δεύτερης και αποδεικνύεται με τα ακόλουθα βήματα Φ ς (e jω ) = F {R ς (n)} = F {h n h n R χ (n)} = F {h n }F {h n }F {R χ (n)} = H(e jω )H(e jω )Φ χ (e jω ) = H(e jω ) 2 Φ χ (e jω ), όπου η τελευταία ισότητα οφείλεται στη γνωστή ιδιότητα του Μετασχηματισμού Fourier πραγματικών ακολουθιών H(e jω ) = H (e jω ). Παρατηρούμε ότι η πυκνότητα φάσματος της εξόδου είναι το γινόμενο της πυκνότητας φάσματος της εισόδου επί το μέτρο στο τετράγωνο της απόκρισης συχνότητας του γραμμικού φίλτρου. Η σχέση αυτή ουσιαστικά αντικαθιστά τη σχέση S(e jω ) = H(e jω )X(e jω ) των ντετερμινιστικών σημάτων που αποτελεί τη βάση στη θεωρία σχεδιασμού φίλτρων. Μια πολύ σημαντική συνέπεια της Σχέσης (11) είναι η παρακάτω πρόταση 6. Σχέση στοχαστικών σημάτων και γραμμικών συστημάτων : Κάτω από πολύ γενικές συνθήκες η πυκνότητα φάσματος Φ χ (e jω ) ενός τυχαίου, στάσιμου σήματος {χ n } αναλύεται ως εξής Φ χ (e jω ) = U χ (e jω ) 2 = U χ (e jω )U χ (e jω ), όπου U χ (e jω ) είναι ο Μετασχηματισμός Fourier μιας αιτιατής, απόλυτα αθροίσιμης ακολουθίας. 6 Η απόδειξη της πρότασης υπάρχει στο βιβλίο [WH1985]. Περισσότερες λεπτομέρειες υπάρχουν επίσης στο Εδάφιο 6.3.2.

166 Παράρτημα Α : Στοιχεία Πιθανοτήτων και Στοχαστικών Διαδικασιών Ως εκ τούτου, όσον αφορά στις στατιστικές δεύτερης τάξης, κάτω από πολύ γενικές συνθήκες, ένα σήμα {χ n } μπορεί να θεωρηθεί σαν έξοδος ενός γραμμικού, αιτιατού, χρονικά σταθερού, ευσταθούς συστήματος με απόκριση συχνότητας U χ (e jω ) και είσοδο λευκό θόρυβο. Α.8 Όρια στοχαστικών ακολουθιών Με δεδομένο ότι μια τυχαία μεταβλητή είναι μια συνάρτηση της επιλογής θ της Φύσης, γίνεται κατανοητό ότι σύγκλιση σε στοχαστικές ακολουθίες ισοδυναμεί με σύγκλιση α- κολουθίας συναρτήσεων. Δυστυχώς, όπως είναι γνωστό από την Ανάλυση, οι έννοια αυτή δεν είναι μονοσήμαντα ορισμένη. Θα αναφερθούμε στα σπουδαιότερα είδη σύγκλισης, ορισμένα από τα οποία χρησιμοποιούνται στην κυρίως ύλη του βιβλίου. Έστω ακολουθία τυχαίων μεταβλητών {χ n } και τυχαία μεταβλητή χ. Παρουσιάζουμε στη συνέχεια διαφορετικές μορφές σύγκλισης της ακολουθίας {χ n } προς τη χ. Σύγκλιση υπό την έννοια της κατανομής: όταν x R, ισχύει lim P(χ n x) = P(χ x). n Σύγκλιση υπό την έννοια της πιθανότητας: όταν ϵ > 0, ισχύει ότι Μέση τετραγωνική σύγκλιση: όταν lim P( χ n χ > ϵ) = 0. n lim E[(χ n χ) 2 ] = 0. n Γενίκευση της έννοιας αυτής αποτελεί η σύγκλιση κατά την p-οστή ροπή όπου p 1. lim E[ χ n χ p ] = 0, n Σχεδόν βέβαιη (ή με πιθανότητα 1) σύγκλιση: όταν ϵ > 0, ισχύει ότι lim P ( m n{ χ m χ > ϵ}) = 0. n Η σύγκλιση υπό την έννοια της κατανομής είναι η πλέον αδύναμη αφού όλες οι υπόλοιπες μορφές τη συνεπάγονται. Η δεύτερη πιο αδύναμη σύγκλιση είναι υπό την έννοια της πιθανότητας την οποία συνεπάγονται οι επόμενες δύο δηλαδή η μέση τετραγωνική και η σχεδόν βέβαιη. Τέλος για τις άλλες δύο δεν υπάρχει προκαθορισμένη διάταξη. Είναι δυνατό μια στοχαστική ακολουθία να παρουσιάζει μέση τετραγωνική σύγκλιση και όχι σχεδόν βέβαιη και το αντίστροφο. Ωστόσο η σχεδόν βέβαιη σύγκλιση, όπως δηλώνει και το όνομά της, θεωρείται το αντίστοιχο της ντετερμινιστικής σύγκλισης.

Α.9 Αθροίσματα τυχαίων μεταβλητών 167 Α.9 Αθροίσματα τυχαίων μεταβλητών Στη συνέχεια θα εξεταστεί η στατιστική συμπεριφορά αθροίσματος τυχαίων μεταβλητών. Συγκεκριμένα θα παρουσιαστούν τρεις τρόποι ανάλυσης αθροισμάτων οι οποίοι διαφέρουν στο είδος της κανονικοποίησης που εφαρμόζεται στα αθροίσματα. Τα αποτελέσματα που απορρέουν από τις αντίστοιχες αναλύσεις διαφέρουν σημαντικά με συνέπεια να απαιτείται ιδιαίτερη προσοχή κατά την εφαρμογή τους ώστε να μην οδηγηθούμε σε λάθος συμπεράσματα. Α.9.1 Νόμος των μεγάλων αριθμών Έστω ακολουθία τυχαίων μεταβλητών 7 {χ n } της οποίας διαμορφώνουμε τον αριθμητικό μέσον όρο των n πρώτων όρων της χ n = χ 1 + χ 2 + + χ n. n Είναι φανερό ότι η ακολουθία { χ n } είναι επίσης στοχαστική διαδικασία. Εκ των όσων έχουν αναφερθεί στα προηγούμενα εδάφια, καθώς το n αυξάνει, αναμένεται το χ n να συγκλίνει σε μια ντετερμινιστική σταθερά. Όπως διαπιστώσαμε στο προηγούμενο εδάφιο η έννοια της σύγκλισης δεν είναι μονοσήμαντη. Εδώ θα αναφερθούμε μόνο στην μέση τετραγωνική που είναι η απλούστερη από άποψη κατανόησης, ωστόσο ο νόμος των μεγάλων αριθμών ισχύει και για την περίπτωση της σχεδόν βέβαιης σύγκλισης. Νόμοςτωνμεγάλωναριθμών(ΝΜΑ) : Έστω ακολουθία τυχαίων μεταβλητών {χ n } με όρους που είναι ανεξάρτητες και της ίδιας κατανομής τυχαίες μεταβλητές με κοινό στοχαστικό μέσον όρο µ και πεπερασμένη διασπορά σ 2, τότε lim χ χ 1 + + χ n n = lim = µ, n n n υπό την έννοια της μέσης τετραγωνικής σύγκλισης, δηλαδή [ ((χ1 ) ] lim E[( χ n µ) 2 ] = lim E µ) + + (χ n µ) 2 = 0. n n n Η απόδειξη της πρότασης είναι εξαιρετικά απλή, αφού, λόγω ανεξαρτησίας των τυχαίων μεταβλητών συμπεραίνουμε ότι E[ χ n ] = µ και E[( χ n µ) 2 ] = σ2 n. Η συγκεκριμένη μορφή του ΝΜΑ μας δηλώνει ότι στο όριο ο αριθμητικός μέσος όρος χ n έχει μέση τιμή µ και μηδενική διασπορά, πράγμα που σημαίνει ότι δεν διαφέρει από 7 Η ακολουθία μπορεί να αναφέρεται σε διαφορετικές χρονικές στιγμές μιας υλοποίησης ενός τυχαίου σήματος ή σε ακολουθία διαφορετικών υλοποιήσεων της ίδιας τυχαίας μεταβλητής.

168 Παράρτημα Α : Στοιχεία Πιθανοτήτων και Στοχαστικών Διαδικασιών μια σταθερά. Λόγω της σύγκλισης αυτής ο αριθμητικός μέσος όρος χ n είναι δυνατό να χρησιμοποιηθεί σαν εκτιμητής του (κοινού) στοχαστικού μέσου όρου µ των τυχαίων μεταβλητών χ n. Η υπόθεση ότι οι τυχαίες μεταβλητές είναι ανεξάρτητες και της ίδιας κατανομής παρατηρούμε ότι εξασφαλίζει εργοδικότητα πρώτης τάξης στο σήμα {χ n }. Θα πρέπει ωστόσο να σημειωθεί ότι η υπόθεση αυτή δεν είναι αναγκαία, αφού στην πραγματικότητα ο ΝΜΑ ισχύει κάτω από πολύ γενικότερες συνθήκες 8. Παράδειγμα 2 : Άμεση γενίκευση του ΝΜΑ αποτελεί η περίπτωση της ακολουθίας {χ n } με όρους ανεξάρτητους αλλά όχι της ίδιας κατανομής. Εάν {µ n } είναι η ακολουθία των μέσων όρων και {σ 2 n} των διασπορών και ισχύει lim n σ 2 1 + +σ2 n n 2 χ 1 + + χ n n = 0, τότε µ 1 + + µ n n 0, όπου η σύγκλιση είναι μέση τετραγωνική. Σημειώνεται ότι η γενίκευση αναφέρεται στη διαφορά των δύο ποσοτήτων ότι συγκλίνει στο μηδέν ακόμη και εάν ο λόγος µ n = µ1+ +µn n δεν συγκλίνει. Όταν µ n µ τότε μπορούμε επίσης να γράψουμε την κλασική μορφή του ΝΜΑ, δηλαδή χ n µ. Η απόδειξη είναι απλή και επαφίεται σαν άσκηση στον αναγνώστη. Α.9.2 Κεντρικό οριακό θεώρημα Υπό κάποια έννοια, το δεύτερο θεώρημα που θα παρουσιάσουμε εκτιμά τη μορφή του σφάλματος του προηγούμενου θεωρήματος. Όπως είδαμε από τον ΝΜΑ, η διαφορά μεταξύ χ n και µ τείνει στο μηδέν. Εάν το χ n θεωρηθεί σαν εκτιμητής του μέσου όρου µ, η τυχαία μεταβλητή χ n µ τότε εκφράζει το σφάλμα εκτίμησης του µ. Το Κεντρικό Ο- ριακό Θεώρημα (ΚΟΘ) προσδιορίζει τη μορφή της συνάρτησης κατανομής του εν λόγω σφάλματος. Κεντρικό οριακό θεώρημα (ΚΟΘ) : Έστω ακολουθία ανεξάρτητων και της ίδιας κατανομής τυχαίων μεταβλητών {χ n } με κοινό στοχαστικό μέσον όρο µ και πεπερασμένη διασπορά σ 2 > 0 τότε, υπό κατάλληλες συνθήκες 9, για κάθε πεπερασμένο πραγματικό αριθμό x ισχύει ότι ( ) n lim P n σ ( χ n µ) x lim P n = ( (χ1 µ) + + (χ n µ) σ n ) x = Φ(x), όπου Φ(x) η συνάρτηση κατανομής μιας κανονικοποιημένης Gaussian τυχαίας μεταβλητής N (0, 1) με μέση τιμή μηδέν και διασπορά μονάδα. 8 Ενδιαφέρουσες γενικεύσεις του ΝΜΑ καθώς και του ΚΟΘ που βασίζονται στις έννοιες των martingales περιέχονται στο βιβλίο [HH1980]. 9 Για να ισχύει το ΚΟΘ απαιτείται μια επιπλέον συνθήκη που αφορά τη συμπεριφορά της κοινής πυκνότητας πιθανότητας για μεγάλες τιμές του ορίσματός της. Βασικά η πυκνότητα πιθανότητας δεν πρέπει να

Α.9 Αθροίσματα τυχαίων μεταβλητών 169 Με άλλα λόγια η ακολουθία των τυχαίων μεταβλητών { n σ ( χ n µ)} συγκλίνει, υπό την έννοια της κατανομής, σε μια κανονικοποιημένη Gaussian. Μολονότι η λεπτομερής απόδειξη του ΚΟΘ ξεφεύγει από τα πλαίσια του βιβλίου, θεωρείται σκόπιμο να παρουσιαστεί η κεντρική ιδέα επειδή παρουσιάζει ιδιαίτερο ενδιαφέρον λόγω της απλότητάς της. Εάν καλέσουμε F (jω) = E[e jω(χk µ) ] τη χαρακτηριστική συνάρτηση της τυχαίας μεταβλητής χ k µ, τότε με ανάπτυγμα Tailor της εκθετικής συνάρτησης έχουμε ότι F (jω)= 1 + jω 1! E[χ k µ] + (jω)2 2! = 1 Ω2 2 σ2 j Ω3 6 E[(χ k µ) 3 ] + Από τη σχέση αυτή συμπεραίνουμε ότι πράγμα που αποδίδει ( ) E[e jω χ k µ nσ jω ] = F = 1 Ω2 nσ 2n + o E [e j Ω P ] [ n nσ k=1 (χ n k µ) = E = k=1 n E k=1 e 1 2 Ω2. E[(χ k µ) 2 ] + (jω)3 E[(χ k µ) 3 ] + 3! e j Ω nσ (χ k µ) ] [e j Ω nσ (χ k µ) ] = ( ) 1 n [1 Ω2 2n + o ( )] n 1 n Το τελευταίο όριο αποτελεί τη χαρακτηριστική συνάρτηση μιας κανονικοποιημένης τυχαίας Gaussian μεταβλητής. Η δυσκολία της απόδειξης έγκειται στον κατάλληλο έλεγχο του όρου που συμβολίσαμε σαν o( 1 n ) ώστε να εξασφαλιστεί η ορθότητα του ορίου. Ο έλεγχος αυτός επιτυγχάνεται με τη συνθήκη του Lindeberg. Εάν η ακολουθία {χ n } έχει όρους που είναι ανεξάρτητοι αλλά όχι της ίδιας κατανομής και {µ n } είναι η ακολουθία των μέσων όρων, {σn} 2 η ακολουθία των διασπορών τότε η αντίστοιχη μορφή του ΚΟΘ γίνεται ( ) lim P (χ 1 µ 1 ) + + (χ n µ n ) x = Φ(x). n σ 2 1 + + σn 2 Ικανή συνθήκη για την ισχύ της γενικευμένης μορφής του ΚΟΘ αποτελεί η συνθήκη Lindeberg n k=1 E[(χ k µ k ) 2 1 n P o χ k µ k ϵ n i=1 σ2 i ] n 0, k=1 σ2 k έχει υπερβολικά παχιές ουρές και αυτό εξασφαλίζεται με τη βοήθεια της συνθήκης του Lindeberg (βλέπε [HH1980] και παρακάτω στη γενίκευση του ΚΟΘ).

170 Παράρτημα Α : Στοιχεία Πιθανοτήτων και Στοχαστικών Διαδικασιών η οποία πρέπει να ισχύει για κάθε ϵ > 0. Ικανή συνθήκη η οποία εξασφαλίζει την ισχύ της προηγούμενης σχέσης είναι να υπάρχουν θετικές σταθερές c, δ τέτοιες, ώστε E[ χ n 2+δ ] c για κάθε n και P n k=1 σ2 k 1+δ n. Υπάρχουν φυσικά γενικεύσεις για περιπτώσεις τυχαίων μεταβλητών που δεν είναι κατ ανάγκην ανεξάρτητες. Η πλέον ενδιαφέρουσα γενίκευση αναφέρεται στις martingales. Πρέπει ωστόσο να σημειώσουμε ότι η ισχύς του ΚΟΘ είναι σαφώς πιο περιορισμένη από ό,τι του ΝΜΑ. Πρέπει τέλος να επισημάνουμε ότι η ιδιότητα αυτή του να αθροίζουμε τυχαίες μεταβλητές με πρακτικά αυθαίρετη κατανομή και να καταλήγουμε σε Gaussian είναι πραγματικά θαυμαστή. Η προσέγγιση μάλιστα είναι πολύ ικανοποιητική ακόμη και για μικρά n. Επειδή δε σε πολλές εφαρμογές τα περισσότερα σήματα ενδιαφέροντος προέρχονται α- πό άθροιση άλλων τυχαίων σημάτων, αυτό έχει σαν αποτέλεσμα η Gaussian να αποτελεί το πλέον διαδεδομένο και δημοφιλές μοντέλο περιγραφής σημάτων στην πράξη. Α.9.3 Φράγμα Chernoff Ο υπολογισμός της συνάρτησης κατανομής αθροίσματος τυχαίων μεταβλητών υπεισέρχεται συχνά στον υπολογισμό της απόδοσης συστημάτων ανίχνευσης όπως στον υπολογισμό της πιθανότητας ανίχνευσης και λανθασμένου συναγερμού. Είναι επομένως απαραίτητο να αναπτυχθούν εύκολοι τρόποι προσέγγισης των εν λόγω πιθανοτήτων. Το ΚΟΘ αποτελεί δίχως άλλο μια δυνατή μεθοδολογία προς την κατεύθυνση αυτή. Στη συνέχεια θα παρουσιάσουμε ένα δεύτερο τρόπο υπολογισμού πιθανοτήτων της μορφής αυτής. Φράγμα Chernoff : Έστω ακολουθία ανεξάρτητων και της ίδιας κατανομής τυχαίων μεταβλητών {χ n } με κοινό στοχαστικό μέσον όρο µ, καθώς και σταθερά δ > 0 τότε ( ) 1 lim n n log P (χ1 µ) + + (χ n µ) δ = n min { s(µ + δ) + log s 0 (E[esχ 1 ])}. Αποδεικνύεται εύκολα, με τη βοήθεια της ανισότητας Chebyshev (βλέπε επόμενο εδάφιο), ότι η δεύτερη ποσότητα αποτελεί άνω φράγμα της πρώτης για κάθε n. Το γεγονός ότι αποτελεί επίσης και το όριό της είναι γνωστό σαν Θεώρημα Crammer. Δυστυχώς η απόδειξη του εν λόγω θεωρήματος ξεφεύγει από τα στενά όρια του παρόντος παραρτήματος. Αξίζει να σημειωθεί ότι αποτελέσματα της μορφής αυτής κατατάσσονται στην περιοχή των Μεγάλων Αποκλίσεων (Large Deviations) και ο ενδιαφερόμενος αναγνώστης μπορεί να ανακαλύψει τις απαραίτητες λεπτομέρειες της απόδειξης καθώς και ικανό αριθμό άλλων σημαντικών αποτελεσμάτων στο βιβλίο [ST1984].

Α.10 Σημαντικές ανισότητες 171 Όπως αναφέρθηκε στην αρχή του εδαφίου, το Φράγμα Chernoff επιχειρεί, όπως και το ΚΟΘ να προσεγγίσει την κατανομή αθροίσματος α.ι.κ. τυχαίων μεταβλητών. Συγκρίνοντας όμως τις δύο περιπτώσεις διαπιστώνουμε ουσιαστική διαφορά στον τρόπο κανονικοποίησης του αθροίσματος. Στη μεν περίπτωση του ΚΟΘ η κανονικοποίηση γίνεται με n ενώ στο Φράγμα Chernoff με n. Το Φράγμα Chernoff είναι ίσος περισσότερο γνωστό με την ακόλουθη μορφή 1 lim n n log P (χ 1 + + χ n n r) = min { s r + log s 0 (E[esχ 1 ])} = c < 0, όπου r > µ, και βασικά ισχυρίζεται 10 ότι P(χ 1 + + χ n n r) e nc. Αφού c < 0 (γιατί;), συμπεραίνουμε ότι η πιθανότητα την οποία επιχειρούμε να εκτιμήσουμε συγκλίνει εκθετικά γρήγορα στο μηδέν και το Φράγμα Chernoff προσδιορίζει τον εκθετικό ρυθμό σύγκλισης c. Με βάση το προηγούμενο αποτέλεσμα είναι επίσης εύκολο να αποδειχθεί ότι 1 lim n n log (1 P (χ 1 + + χ n n r}) = min s 0 { s r + log ( E[e sχ 1 ] )} < 0, για r < µ. Δηλαδή όταν r < µ τότε έχουμε εκθετικά γρήγορη σύγκλιση της πιθανότητας ενδιαφέροντος στη μονάδα. Α.10 Σημαντικές ανισότητες Στο παρόν εδάφιο θα παρουσιάσουμε έναν αριθμό από ενδιαφέρουσες και χρήσιμες α- νισότητες που συναντώνται στη θεωρία πιθανοτήτων. Α.10.1 Ανισότητα Chebyshev Έστω θετική τυχαία μεταβλητή ψ τότε ισχύει ότι Η απόδειξη είναι εξαιρετικά απλή P(ψ y) = y P(ψ y) E[ψ], ψ, y 0. y f ψ (z) dz y z y f z ψ(z) dz 0 y f ψ(z) dz = E[ψ] y. 10 Θα πρέπει να τονιστεί ότι από το Φράγμα Chernoff δεν απορρέει ότι η πιθανότητα ενδιαφέροντος είναι της τάξης O(e cn ). Είναι δυνατόν οι δύο ποσότητες να διαφέρουν σε τάξη και παρ όλα αυτά το Φράγμα Chernoff να ισχύει! Π.χ. διαπιστώστε ότι εάν η πιθανότητα ενδιαφέροντος είναι ίση προς n d e cn, όπου d σταθερά, το Φράγμα Chernoff ισχύει αλλά οι δύο ποσότητες δεν είναι της ίδιας τάξης αφού ο λόγος τους τείνει στο 0 όταν d < 0 και στο όταν d > 0. Συνεπώς προσεγγίζοντας την πιθανότητα ενδιαφέροντος με e cn είναι δυνατό να οδηγήσει σε σημαντική υπερεκτίμηση ή υποεκτίμησή της!

172 Παράρτημα Α : Στοιχεία Πιθανοτήτων και Στοχαστικών Διαδικασιών Υπάρχουν πολλές γνωστές ανισότητες που αποτελούν άμεση απόρροια της ανισότητας Chebyshev. Αναφέρουμε ενδεικτικά, δίχως απόδειξη, μερικές, όπου χ όχι απαραίτητα θετική τυχαία μεταβλητή P( χ x) E[ χ p ] x p P( χ µ νσ χ ) 1 ν 2 P(χ x) min s 0 E[es(χ x) ]. Η τελευταία ανισότητα χρησιμοποιείται για την απόδειξη του Φράγματος Chernoff. Α.10.2 Ανισότητα Cauchy-Schwartz Έστω δύο τυχαίες μεταβλητές χ, ψ τότε (E[χψ]) 2 E[χ 2 ]E[ψ 2 ]. Ισότητα έχουμε εάν και μόνον εάν χ = αψ, όπου α βαθμωτή σταθερά. Για την απόδειξη παρατηρούμε ότι μπορούμε να ορίσουμε το εσωτερικό γινόμενο χ, ψ = E[χψ] και κατόπιν να εφαρμόσουμε τη γενική ανισότητα των Cauchy- Schwartz για χώρο εσωτερικού γινομένου ( χ, ψ ) 2 χ, χ ψ, ψ. Α.10.3 Ανισότητα Jensen Έστω συνάρτηση g(x) η οποία είναι κυρτή (κοίλη) και τυχαία μεταβλητή χ, τότε E[g(χ)] ( )g (E[χ]). Ισότητα έχουμε όταν και μόνον όταν g(χ) = αχ + β με πιθανότητα ένα. Εάν η συνάρτηση είναι αυστηρώς κυρτή (κοίλη) τότε ισότητα έχουμε όταν και μόνον όταν η τυχαία μεταβλητή χ είναι ίση προς μια σταθερά με πιθανότητα ένα. Η απόδειξη της ανισότητας του Jensen είναι ενδιαφέρουσα και όχι ιδιαίτερα δύσκολη. Θα την παρουσιάσουμε για την περίπτωση της κυρτής συνάρτησης. Λόγω κυρτότητας η συνάρτηση g(x) βρίσκεται πάντοτε στο πάνω μέρος οποιασδήποτε εφαπτομένης στην καμπύλη y = g(x). Έστω a = E[χ] τότε η εφαπτομένη στην καμπύλη στο σημείο x = a έχει εξίσωση g(a) + g (a)[x a] και λόγω κυρτότητας g(x) g(a) + g (a)[x a]. (12) Η ανισότητα προκύπτει άμεσα με αντικατάσταση του x με χ και εφαρμογή του μέσου όρου. Παρατηρούμε ότι εάν μετά την αντικατάσταση έχουμε ισότητα στην (12) με πιθανότητα ένα (περίπτωση της γραμμικότητας) τότε ισχύει η ισότητα στην ανισότητα Jensen. Εάν ωστόσο στην (12) η ισότητα ισχύει μόνο για το σημείο x = a και για όλα τα άλλα σημεία έχουμε αυστηρή ανισότητα (περίπτωση αυστηρώς κυρτής συνάρτησης) τότε έχουμε ισότητα στην ανισότητα Jensen μόνον όταν η τυχαία μεταβλητή χ είναι ίση προς τη μέση της τιμή a με πιθανότητα ένα.

B Βοηθήματα για εξομοιώσεις B.11 Εισαγωγικά Πολύ συχνά στην πράξη, είναι απαραίτητο για την αξιολόγηση ενός συστήματος ή μιας τεχνικής επεξεργασίας να απαιτείται εξομοίωση. Οι εξομοιώσεις έχουν σαν βασικό τους συστατικό τη δημιουργία υλοποιήσεων τυχαίων μεταβλητών με συγκεκριμένη κατανομή. Το πρόβλημα αυτό θα μας απασχολήσει στη συνέχεια και θα προταθούν συγκεκριμένες και απλές μεθοδολογίες δημιουργίας δεδομένων. Ένα δεύτερο πολύ συχνό πρόβλημα που εμφανίζεται στις εξομοιώσεις (ειδικά Ψηφιακών Τηλεπικοινωνιακών συστημάτων) είναι η ανάγκη υπολογισμού της πιθανότητας ενός σπάνιου (με μικρή πιθανότητα εμφάνισης) γεγονότος. Υπολογισμοί του τύπου αυτού απαιτούν συνήθως εξαιρετικά μεγάλο αριθμό επαναλήψεων των πειραμάτων, προκειμένου να επιτευχθεί ικανοποιητικός αριθμός εμφανίσεων του σπάνιου γεγονότος που να επιτρέπει την αξιόπιστη εκτίμηση της αντίστοιχης πιθανότητας. Θα παρουσιαστεί στη συνέχεια μια ενδιαφέρουσα τεχνική επιτάχυνσης των εκτιμήσεων μικρών πιθανοτήτων, η οποία βασίζεται στη δυνατότητα αλλαγής μέτρου του Εδαφίου Α.5. B.12 Κατάλογος κατανομών Στο παρόν εδάφιο θα αναφερθεί ένας αριθμός από ενδιαφέρουσες κατανομές τυχαίων μεταβλητών οι οποίες εμφανίζονται συχνά σε προβλήματα εφαρμογών. Gaussian ή Κανονική Η τυχαία μεταβλητή χ θα καλείται Gaussian ή κανονική με μέση τιμή µ και διασπορά σ 2 και θα συμβολίζουμε N (µ, σ 2 ) όταν η πυκνότητα πιθανότητας είναι της μορφής f χ (x) = 1 2πσ 2 e 1 2σ 2 (x µ)2. Γενικότερα ένα διάνυσμα X μήκους N θα καλείται Gaussian με μέση τιμή X και μήτρα συνδυασποράς Σ X και θα συμβολίζουμε N ( X, Σ X ) όταν η από κοινού πυκνότητα 173

174 Παράρτημα B : Βοηθήματα για εξομοιώσεις πιθανότητας είναι της μορφής f X (X) = όπου Σ χ συμβολίζει την ορίζουσα της μήτρας. Ομοιόμορφη 1 (2π) N Σ χ e 1 2 (X X ) t Σ 1 X (X X ), Η τυχαία μεταβλητή χ καλείται ομοιόμορφη στο διάστημα [α, β] όταν η πυκνότητα πιθανότητας είναι της μορφής f χ (x) = { 1 β α Ισχύει ότι E[χ] = α+β (β α)2 2, Διασπ{χ} = 12. Εκθετική Η πυκνότητα πιθανότητας ορίζεται για µ > 0 για α x β 0 αλλού. f χ (x) = µe µx u(x), όπου u(x) η μοναδιαία βηματική συνάρτηση 11. Ισχύει ότι E[χ] = 1 µ, Διασπ{χ} = 1 µ 2. Laplace Η πυκνότητα πιθανότητας ορίζεται για µ > 0 Ισχύει ότι E[χ] = 0, Διασπ{χ} = 2 µ 2. Reyleigh Η πυκνότητα πιθανότητας ορίζεται f χ (x) = µ 2 e µ x. f χ (x) = x x2 e 2λ u(x), λ > 0. λ πλ Ισχύει ότι E[χ] = 2, Διασπ{χ} = 2λ. Cauchy Η πυκνότητα πιθανότητας ορίζεται Ισχύει ότι E[χ] = 0, Διασπ{χ} =. f χ (x) = σ π 1 σ 2 + x 2. 11 Η μοναδιαία βηματική συνάρτηση u(x) ορίζεται να είναι ίση προς τη μονάδα για x 0 και μηδέν αλλού.