Ανίχνευσης & Εκτίμησης

Θεωρία Ανίχνευσης & Εκτίμησης Γεώργιος Β. Μουστακίδης, Καθηγητής Πανεπιστήμιο Πατρών

1 Εισαγωγή Στο παρόν σύγγραμμα θα επικεντρωθούμε στην ανάπτυξη μεθοδολογιών για: α) λήψη αποφάσεων, β) εκτίμηση παραμέτρων και γ) εκτίμηση σημάτων. αι στις τρεις περιπτώσεις η κύρια έμφαση θα δοθεί στην παρουσίαση βέλτιστων τεχνικών. Επειδή ωστόσο οι βέλτιστες τεχνικές απαιτούν υψηλό επίπεδο γνώσης του προβλήματος, απαίτηση η οποία δυστυχώς για τις περισσότερες εφαρμογές είναι μη ρεαλιστική, καθίσταται αναγκαία η αναζήτηση εναλλακτικών μεθοδολογιών με χαμηλότερες ανάγκες σε εκ των προτέρων πληροφορία. όγω φυσικά της έλλειψης λεπτομερούς πληροφορίας, οι εν λόγω τεχνικές υστερούν σε απόδοση σε σύγκριση με τις βέλτιστες αλλά, από την άλλη πλευρά, είναι πρακτικά εφαρμόσιμες. Τέλος, ας σημειωθεί ότι η ανάπτυξη των βέλτιστων τεχνικών, πέρα φυσικά από θεωρητικό, παρουσιάζει επίσης και πρακτικό ενδιαφέρον, αφού η απόδοσή τους αποτελεί σημείο αναφοράς για οποιαδήποτε εναλλακτική τεχνική. 1.1 Τρεις ενδιαφέρουσες εφαρμογές Προκειμένου να γίνει κατανοητή η χρησιμότητα των μαθηματικών αποτελεσμάτων που θα περιγράψουμε στα επόμενα κεφάλαια του βιβλίου, στη συνέχεια παρουσιάζονται τρία πρακτικά προβλήματα που αποτελούν χαρακτηριστικά παραδείγματα εφαρμογής των εν λόγω θεωριών. 1.1.1 Ανίχνευση αεροσκάφους από ραντάρ Η ανίχνευση αεροσκάφους με ραντάρ αποτελεί ίσως το κλασικότερο παράδειγμα εφαρμογής της Θεωρίας Ανίχνευσης και μια από τις πρώτες εφαρμογές που εξετάστηκαν στη πράξη. Είναι μάλιστα αξιοσημείωτο το γεγονός ότι το πρόβλημα αυτό είναι τόσο παλιό ώστε η γενική Θεωρία Ανίχνευσης έχει δανειστεί όρους από την ορολογία που αναπτύχθηκε για τη συγκεκριμένη αυτή εφαρμογή. Το πρόβλημα που επιθυμούμε να αναλύσουμε εμφανίζεται παραστατικά στο Σχήμα 1.1. Παρατηρούμε ότι το ραντάρ εκπέμπει ηλεκτρομαγνητικό κύμα προς μια κατεύθυνση και συλλέγει το σήμα που επιστρέφει. Η επιστροφή του σήματος οφείλεται 1

2 Κεφάλαιο 1 : Εισαγωγή είτε στην ύπαρξη φυσικών εμποδίων (όπως βουνά, λόφοι, σύννεφα, βροχή) ή και στην ύπαρξη αεροσκάφους στην κατεύθυνση εκπομπής. Ένα αυτόματο σύστημα ανίχνευσης Σχήμα 1.1 : Τα δύο πιθανά σενάρια (υποθέσεις) κατά τη διαδικασία ανίχνευσης αεροσκάφους από ραντάρ. δειγματοληπτεί το σήμα επιστροφής δημιουργώντας μια πεπερασμένη ακολουθία δειγμάτων x 1,...,x N, και επιχειρεί να διακρίνει εάν τα εν λόγω δείγματα προέρχονται από σήμα που εμπεριέχει α) μόνον ανακλάσεις από φυσικά εμπόδια ή β) ανακλάσεις από φυσικά εμπόδια και ανάκλαση από αεροσκάφος. Η φύση του σήματος επιστροφής είναι τελείως διαφορετική στα δύο πιθανά σενάρια (υποθέσεις). Στην μεν πρώτη περίπτωση το ραντάρ δέχεται πληθώρα από αδύναμες επιστροφές με τυχαία πλάτη και διαφορετικές καθυστερήσεις, ενώ στη δεύτερη το επιστρέφον σήμα διαθέτει επιπλέον και μια κυρίαρχη συνιστώσα λόγω της ανάκλασης του ηλεκτρομαγνητικού κύματος από το αεροσκάφος. ε περισσότερο τεχνική ορολογία, τα δείγματα σύμφωνα με το Σενάριο α) εμφανίζουν συμπεριφορά λευκού θορύβου, ενώ με το Σενάριο β) διακρίνονται από μια σταθερή συνιστώσα με υπέρθεση λευκού θορύβου. Επιχειρώντας να εκφράσουμε όσα προαναφέρθηκαν με μαθηματικό τρόπο, μπορούμε να γράψουμε Σενάριο α): x n = w n,n=1,...,n Σενάριο β): x n = s + w n,n=1,...,n, όπου w n λευκός θόρυβος και s σταθερά. Το μαθηματικό πρόβλημα που καλούμαστε επομένως να επιλύσουμε είναι το ακόλουθο: ε δεδομένη μια συλλογή N δειγμάτων, επιθυμούμε να αποφασίσουμε εάν τα εν λόγω δείγματα εμπεριέχουν α) καθαρό θόρυβο ή β) σταθερό σήμα s συν θόρυβο. Αποφασίζοντας υπέρ το α) συνεπάγεται ουσιαστικά απόφαση υπέρ της μη ύπαρξης αεροσκάφους, ενώ υπέρ του β) απόφαση υπέρ της ύπαρξης αεροσκάφους. Το πρόβλημα που μόλις περιγράψαμε επιδέχεται ενδιαφέρουσες γενικεύσεις που περιλαμβάνουν μεγαλύτερο πλήθος δυνατών σεναρίων. Π.χ. είναι δυνατό, πέρα από απλή

1.1 Τρεις ενδιαφέρουσες εφαρμογές 3 ανίχνευση, να επιθυμούμε την ανακάλυψη και του τύπου του αεροσκάφους. Για την περίπτωση αυτή θα πρέπει να δημιουργηθεί ένα σενάριο για κάθε διαφορετικό τύπο. Δηλαδή να περιγράψουμε με ένα διαφορετικό στατιστικό τρόπο τα δεδομένα x n για κάθε τύπο αεροσκάφους. αθοριστικό στοιχείο στις εν λόγω γενικεύσεις αποτελεί το γεγονός ότι τα πιθανά σενάρια πρέπει να είναι πεπερασμένου πλήθους. Όπως είναι φυσικό, κάθε διαδικασία απόφασης ενέχει τον κίνδυνο σφάλματος. Στόχος της θεωρίας η οποία αναπτύσσεται στο εφάλαιο 2 είναι ο καθορισμός βέλτιστων κανόνων απόφασης σύμφωνα με εύλογα κριτήρια (π.χ. ελαχιστοποίηση της πιθανότητας εσφαλμένης απόφασης). Στο εφάλαιο 3 θα επικεντρωθούμε σε μια ειδική κατηγορία προβλημάτων λήψης αποφάσεων στην οποία ανήκει και το πρόβλημα της ανίχνευσης αεροσκάφους, η οποία καλείται Ανίχνευση Σήματος. Οι κανόνες απόφασης θα μας απασχολήσουν επίσης και στο εφάλαιο 5 όπου θα αναπτυχθούν μη βέλτιστες αλλά πρακτικά χρήσιμες τεχνικές. 1.1.2 Εκτίμηση καναλιού σε ασύρματες τηλεπικοινωνίες Οι ψηφιακές τηλεπικοινωνίες καθίστανται, όλο και περισσότερο, αναπόσπαστο τμήμα της καθημερινής μας ζωής προσφέροντας συνεχώς νέες και ενδιαφέρουσες υπηρεσίες. Ο ρόλος των ασύρματων τηλεπικοινωνιακών συστημάτων στις μοντέρνες υπηρεσίες είναι καθοριστικός, κυρίως λόγω της κινητικότητας που αυτά συνεπάγονται. Δυστυχώς όμως η δυνατότητα αυτή συνοδεύεται από σημαντικά προβλήματα που δημιουργούνται εξ αιτίας του άγνωστου και χρονικά μεταβαλλόμενου καναλιού μέσα στο οποίο γίνεται η μετάδοση της πληροφορίας. Η επίδραση του καναλιού στην ποιότητα του λαμβανόμενου σήματος είναι κρίσιμη και, τις περισσότερες φορές, έντονα αρνητική προκαλώντας αξιοσημείωτη μείωση στην απόδοση του τηλεπικοινωνιακού συστήματος. Το φαινόμενο της μετάδοσης μέσω πολλαπλών διαδρομών, η δυνατότητα δηλαδή που έχει το μεταδιδόμενο σήμα να καταλήγει στον δέκτη μέσα από διαφορετικές διαδρομές, συγκαταλέγεται μεταξύ των βασικότερων προβλημάτων που χρήζουν ιδιαίτερης προσοχής και αντιμετώπισης. Η εμφάνιση του φαινομένου της πολυδιαδρομικής μετάδοσης οφείλεται στην εκπομπή του πομπού προς κάθε κατεύθυνση με αποτέλεσμα, όπως φαίνεται και στο Σχήμα 1.2, να υπάρχει η απ ευθείας διαδρομή του σήματος από τον πομπό προς τον δέκτη, αλλά επίσης και εναλλακτικές δίοδοι μέσω ανακλάσεων σε φυσικά εμπόδια. Εάν συμβολίσουμε με z(t) το σήμα που εκπέμπει ο πομπός, τότε ο δέκτης συλλέγει το x(t), όπου x(t) =c 0 z(t)+c 1 z(t τ 1 )+ + c K z(t τ k )+w(t). Ο πρώτος όρος του αθροίσματος αναφέρεται στην απ ευθείας διαδρομή ενώ οι επόμενοι K στις εναλλακτικές. Επειδή οι τελευταίες είναι συνήθως μεγαλύτερου μήκους, το ηλεκτρομαγνητικό κύμα απαιτεί περισσότερο χρόνο να τις διανύσει, με αποτέλεσμα το σήμα να φτάνει καθυστερημένο στο δέκτη. άθε διαδρομή έχει φυσικά διαφορετική καθυστέρηση τ i και υπόκειται σε διαφορετικό ποσοστό απώλειας ενέργειας c i. Ο

4 Κεφάλαιο 1 : Εισαγωγή Ανάκλαση Ανάκλαση x1, x2,..., xn Σχήμα 1.2 : Ασύρματη επικοινωνία μέσω καναλιού πολλαπλών διαδρομών. τελευταίος όρος w(t) στο λαμβανόμενο σήμα x(t) συμβολίζει το απανταχού παρόντα θόρυβο. Το σήμα x(t), όπως αναφέρθηκε προηγουμένως, μπορεί να είναι τελείως διαφορετικό από το ιδανικό σήμα εκπομπής z(t), γεγονός που συντελεί στη σημαντική μείωση της αποτελεσματικότητας του τηλεπικοινωνιακού συστήματος. Η εν λόγω μείωση είναι δυνατό να περιοριστεί σε μεγάλο βαθμό εάν είναι γνωστές οι παράμετροι τ i,c i του πολυδιαδρομικού καναλιού. Δυστυχώς γνώση της μορφής αυτής είναι πρακτικά αδύνατη λόγω ακριβώς της κινητικότητας ή/και της χρονικής μεταβλητότητας που διακρίνει τις ασύρματες συνδέσεις. Η μη διαθεσιμότητα των εν λόγω παραμέτρων προτρέπει επομένως στην ανάπτυξη μεθόδων εκτίμησης. Θα πρέπει δηλαδή ο δέκτης, σε τακτά χρονικά διαστήματα (ή και συνεχώς), να δειγματοληπτεί το λαμβανόμενο σήμα x(t) και με τα δείγματα x 1,...,x N να επιχειρεί εκτίμηση των παραμέτρων του καναλιού. Εάν η εκτίμηση είναι αξιόπιστη τότε είναι αναμενόμενο ότι η διόρθωση της βλάβης που προκαλείται από την πολυδιαδρομική μετάδοση θα είναι αντιστρέψιμη. Στην περίπτωση φυσικά μιας κακής εκτίμησης το πρόβλημα όπως είναι λογικό θα διατηρηθεί ή μπορεί να γίνει και εντονότερο. Στο εφάλαιο 4 θα επικεντρωθούμε στις βέλτιστες τεχνικές εκτίμησης παραμέτρων και θα προτείνουμε εναλλακτικές μεθοδολογίες σύμφωνα με διαφορετικά κριτήρια αξιολόγησης της ποιότητας μιας εκτίμησης. Τεχνικές εκτίμησης, αλλά μη βέλτιστες αυτή τη φορά, θα παρουσιαστούν στο εφάλαιο 5. 1.1.3 Φιλτράρισμα θορύβου σε ηχητικό σήμα Το τελευταίο παράδειγμα που θα παρουσιάσουμε εμφανίζεται παραστατικά στο Σχήμα 1.3. Συγκεκριμένα, μας διατίθεται ένα ψηφιακό σήμα x 1,x 2,..., το οποίο προκύπτει από άθροιση ενός επιθυμητού σήματος πληροφορίας (στην προκειμένη περίπτωση μουσικής) και θορύβου. Στόχος μας στην εφαρμογή αυτή αποτελεί η επεξεργασία του σήματος {x n } ώστε να προκύψει (να εκτιμηθεί) το σήμα πληροφορίας. Η διαδικασία απομάκρυνσης του θορύβου είναι γνωστή και σαν φιλτράρισμα. Η διαφορά της παρούσας διαδικασίας εκτίμησης από την αντίστοιχη του προηγούμενου εδαφίου έγκειται βα-

1.1 Τρεις ενδιαφέρουσες εφαρμογές 5 Σχήμα 1.3 : Σήμα που προκύπτει από άθροιση μουσικής και θορύβου. σικά στο πλήθος των στοιχείων που πρέπει να εκτιμηθούν (άπειρα έναντι πεπερασμένου πλήθους) καθώς επίσης και στη χρονική αλληλουχία δημιουργίας των εκτιμήσεων σε συνδυασμό με την διαθεσιμότητα των προς επεξεργασία δειγμάτων x n (συνθήκες πραγματικού χρόνου). Οι εν λόγω διαφορές επιβάλλουν τη δημιουργία εντελώς διαφορετικών τεχνικών επεξεργασίας από αυτές που διατίθενται για την επίλυση των προβλημάτων εκτίμησης του προηγούμενου εδαφίου και η αντίστοιχη μεθοδολογία θα παρουσιαστεί στο εφάλαιο 6. Σημειώνεται ότι τα συστήματα επεξεργασίας για την εκτίμηση σημάτων είναι γνωστά και σαν φίλτρα. Στο εφάλαιο 6 θα γίνει η παρουσίαση των δύο πλέον δημοφιλών φίλτρων: του Φίλτρου Wiener και του Φίλτρου Kalman, όπως επίσης και της γενικής θεωρίας της Βέλτιστης Γραμμικής Επεξεργασίας σημάτων. Τέλος, στο ίδιο κεφάλαιο θα παρουσιαστούν εισαγωγικά στοιχεία της Θεωρίας του Αναδρομικού Φιλτραρίσματος και της Αναδρομικής Εκτίμησης σημάτων, περιοχές οι οποίες αποτελούν τη μοντέρνα έκδοση της Θεωρίας Επεξεργασίας Σήματος. Οι τεχνικές αυτές είναι εξαιρετικά ενδιαφέρουσες επειδή απαιτούν ελάχιστη εκ των προτέρων γνώση (των στατιστικών) του σήματος (σε αντίθεση με τα βέλτιστα φίλτρα που βασίζονται σε σημαντική εκ των προτέρων πληροφορία) και είναι σε θέση μέσα από τα διαθέσιμα δείγματα να μαθαίνουν τις στατιστικές και συγχρόνως να επεξεργάζονται το σήμα. Όπως είναι φυσικό, η επεξεργασία στα αρχικά στάδια είναι περιορισμένης ποιότητας, αλλά με την πάροδο του χρόνου, καθώς γίνεται συσσώρευση πληροφορίας, η ποιότητα βελτιώνεται συγκλίνοντας σε αυτή των βέλτιστων φίλτρων.

2 Στοιχεία πιθανοτήτων και στοχαστικών διαδικασιών 2.1 Εισαγωγικά Το παρόν παράρτημα δεν έχει σαν στόχο να καλύψει αναλυτικά την ύλη της Θεωρίας Πιθανοτήτων και Στοχαστικών Διαδικασιών. Υπάρχει στη βιβλιογραφία πληθώρα σχετικών συγγραμμάτων όπου οι δύο περιοχές αναπτύσσονται εκτεταμένα και με διαφορετικό βαθμό δυσκολίας και έμφασης 1. Έτσι, περιοριζόμαστε σε συνοπτική παρουσίαση των βασικών εννοιών και αποτελεσμάτων που είναι απαραίτητα για την κατανόηση του αντικειμένου του παρόντος βιβλίου. 2.2 Χώρος πιθανότητας αλούμε χώρο πιθανότητας μια τριάδα οντοτήτων, που θα συμβολίσουμε με (Θ, G, ), με τις παρακάτω ιδιότητες Το Θ είναι ένα οποιοδήποτε σύνολο στοιχείων, το οποίο καλείται δειγματοχώρος. Το G είναι ένα σύνολο από υποσύνολα του Θ, τα οποία συνιστούν μια σ-άλγεβρα. Συγκεκριμένα, τα στοιχεία του G πρέπει να ικανοποιούν τις ακόλουθες ιδιότητες: Τα δύο σύνολα Θ και είναι στοιχεία του G. Εάν A G, τότε και A c G, όπου A c το συμπληρωματικό του A. Εάν A 1,A 2 G, τότε και A 1 A 2 G. Εάν μια ακολουθία από σύνολα A 1,A 2,... G, τότε και i=1 A i G. Τα στοιχεία του G καλούνται γεγονότα. 1 Σαν καταλληλότερο σύγγραμμα για ηχανικούς προτείνεται το βιβλίο [PA1999] το οποίο διακρίνεται για τη μαθηματική του αυστηρότητα παράλληλα με την απλότητα παρουσίασης της ύλης. 6

2.3 Τυχαίες μεταβλητές 7 Το είναι μια απεικόνιση από το σύνολο G στο διάστημα [0,1] με τις εξής ιδιότητες: ( ) =0, (Θ) =1. Εάν A 1,A 2 G και A 1 A 2 =, τότε (A 1 A 2 )= (A 1 )+ (A 2 ). Εάν μια ακολουθία από σύνολα A 1,A 2,... G και κάθε A i A j = για i j, τότε ( i=1 A i)= i=1 (A i). Η συνάρτηση καλείται συνάρτηση πιθανότητας και, όπως παρατηρούμε, ορίζει πιθανότητες μόνο για τα στοιχεία του συνόλου G, δηλαδή τα γεγονότα. 2.3 Τυχαίες μεταβλητές Είναι δυνατό να ορίσουμε συναρτήσεις που να απεικονίζουν στοιχεία του δειγματοχώρου Θ στους πραγματικούς αριθμούς R. Έστω χ(θ) μια τέτοια συνάρτηση, δηλαδή θ Θ και χ(θ) R. Η πλέον στοιχειώδης πράξη στους πραγματικούς αριθμούς είναι η πράξη της σύγκρισης. Εάν επομένως x R, μας ενδιαφέρει να διαπιστώσουμε πόσο συχνά συμβαίνει χ(θ) x, με άλλα λόγια να ανακαλύψουμε το σύνολο (υποσύνολο του Θ) A x = {θ : χ(θ) x}, το οποίο επιθυμούμε να μετρήσουμε με τη βοήθεια της συνάρτησης πιθανότητας. Για να μπορέσουμε να δώσουμε πιθανότητα στο εν λόγω σύνολο είναι απαραίτητο το A x G, αφού το G, εξ ορισμού, περιέχει όλα τα δυνατά σύνολα στα οποία μπορούμε να δώσουμε πιθανότητα. Έχουμε επομένως τον ακόλουθο ορισμό. ια συνάρτηση χ(θ) από το Θ στους πραγματικούς αριθμούς, θα καλείται μετρήσιμη ή τυχαία μεταβλητή, εάν για κάθε πραγματικό x το σύνολο δηλαδή το A x είναι ένα γεγονός. A x = {θ : χ(θ) x} G, Για μια τυχαία μεταβλητή χ(θ) μια πολύ σημαντική ποσότητα είναι η συνάρτηση χ (x) = (χ(θ) x), η οποία καλείται συνάρτηση κατανομής της χ(θ) και είναι αύξουσα ως προς x με ιδιότητες χ ( ) =0, χ ( ) =1. Η παράγωγος της συνάρτησης κατανομής (όταν υπάρχει) καλείται συνάρτηση πυκνότητας πιθανότητας και ικανοποιεί f χ (x) = d χ(x) dx 0, f χ (x)dx =1.

8 Κεφάλαιο 2 : Στοιχεία πιθανοτήτων και στοχαστικών διαδικασιών Η πυκνότητα πιθανότητας δεν εκφράζει πιθανότητα για κανένα γεγονός. Παρατηρούμε ωστόσο ότι μπορούμε να γράψουμε (x <χ x + dx) = χ (x + dx) χ (x) =f χ (x) dx. (2.1) ε άλλα λόγια η πυκνότητα πιθανότητας f χ (x) επί το διαφορικό dx εκφράζει ουσιαστικά την πιθανότητα η τυχαία μας μεταβλητή χ να πάρει τιμή μέσα στο διαφορικό διάστημα (x, x + dx], που αποτελεί φυσικά έναν έμμεσο τρόπο να δηλώσουμε ότι η χ παίρνει την τιμή x. Να μιλήσω για δέλτα συναρτήσεις!!!! 2.3.1 Πείραμα ε τις τυχαίες μεταβλητές μοντελοποιούμε φαινόμενα τα οποία είναι δύσκολο να περιγράψουμε με ντετερμινιστικό τρόπο, είτε διότι είναι εξαιρετικά πολύπλοκα, είτε διότι δεν υπάρχει η απαραίτητη πληροφορία. Θα επιχειρήσουμε να δώσουμε στις τυχαίες μεταβλητές, πέρα από το μαθηματικό ορισμό, κάποια φυσική σημασία, η οποία να είναι σύμφωνη με τον τρόπο που οι οντότητες αυτές χρησιμοποιούνται στην πράξη. Όπως είδαμε, μια τυχαία μεταβλητή χ(θ) είναι ουσιαστικά μια συνάρτηση από τον δειγματοχώρο στους πραγματικούς. Υπάρχει επομένως μια διαδικασία επιλογής στοιχείων του δειγματοχώρου και απεικόνισής τους στους πραγματικούς. Η διαδικασία αυτή καλείται πείραμα και ο πραγματικός αριθμός χ(θ) που προκύπτει καλείται υλοποίηση της τυχαίας μεταβλητής. Στα περισσότερα πρακτικά προβλήματα για τα πειράματα και τις υλοποιήσεις θεωρείται ότι ευθύνεται η Φύση ήη Τυχαιότητα, αφού ο ελετητής δεν έχει συνήθως κανένα έλεγχο. Επιπλέον, ο ελετητής είναι δυνατό να μην γνωρίζει τον δειγματοχώρο αλλά ούτε και τη συνάρτηση χ( ). Π.χ. στη διαδικασία ρίψης ενός ζαριού η Φύση επιλέγει τις συνθήκες κάτω από τις οποίες εκτελείται η ρίψη και το αποτέλεσμα είναι ένας ακέραιος από ένα έως έξι. Στο παράδειγμα αυτό παρατηρούμε ότι είναι άγνωστος ο δειγματοχώρος καθώς και ο τρόπος αντιστοίχισης με τους πραγματικούς αριθμούς (που στο συγκεκριμένο παράδειγμα είναι μόνο το σύνολο {1, 2,...,6}). Προφανώς η Φύση μπορεί να επαναλάβει το ίδιο πείραμα πολλές φορές (π.χ. τη ρίψη ζαριού) και κάθε φορά να επιλέγει διαφορετικό στοιχείο του δειγματοχώρου, το οποίο απεικονίζεται σε διαφορετικό πραγματικό αριθμό. Αποτελέσματα πειραμάτων, δηλαδή διαφορετικές υλοποιήσεις, θα τα συμβολίζουμε με χ(θ 1 ), χ(θ 2 ),..., ώστε να γίνεται σαφής η διαφορετική επιλογή της Φύσης στα στοιχεία θ του δειγματοχώρου. 2.3.2 Μέσος όρος και διασπορά αλούμε στοχαστικό μέσον όρο της τυχαίας μεταβλητής χ το ολοκλήρωμα 2 χ = [χ] = xf χ (x)dx 2 Στο εξής η εξάρτηση από την μεταβλητή θ θα προσδιορίζεται εφόσον είναι απολύτως αναγκαίο.

2.3 Τυχαίες μεταβλητές 9 και διασπορά σ 2 χ = [(χ χ) 2 ]= (x χ) 2 f χ (x)dx. Ο στοχαστικός μέσος όρος, είναι η αντιπροσωπευτικότερη τιμή της συνάρτησης χ, ενώ η διασπορά υποδηλώνει το πόσο παίζει η συνάρτηση χ γύρω από την αντιπροσωπευτική της τιμή χ. Παρατηρούμε ότι, όταν σ χ =0, τότε η τυχαία μεταβλητή είναι μια σταθερή συνάρτηση (ίση προς τη μέση της τιμή χ). Ο παραπάνω ορισμός του μέσου όρου προϋποθέτει γνώση της συνάρτησης κατανομής της τυχαίας μεταβλητής. Ένας άλλος τρόπος υπολογισμού, ή ακριβέστερα εκτίμησης, του μέσου όρου είναι ο αριθμητικός μέσος όρος χ χ(θ 1)+χ(θ 2 )+ + χ(θ n ), n ο οποίος απαιτεί πολλαπλές υλοποιήσεις της τυχαίας μεταβλητής. Οι έννοιες που ορίσαμε για μια τυχαία μεταβλητή εύκολα επεκτείνονται και σε περισσότερες. Εάν χ 1, χ 2 δύο τυχαίες μεταβλητές (δηλαδή για κάθε επιλογή του θ μας διατίθενται δύο πραγματικοί αριθμοί), τότε είναι δυνατό να ορίσουμε την από κοινού συνάρτηση κατανομής χ1,χ 2 (x 1,x 2 )= (χ 1 x 1, χ 2 x 2 ), την πιθανότητα δηλαδή να έχουμε συγχρόνως χ 1 x 1 και χ 2 x 2. Είναι πολύ εύκολο να διαπιστώσουμε ότι εάν χ i,i=1, 2, είναι μετρήσιμες, τότε η εν λόγω πιθανότητα υπάρχει (γιατί;). Η μερική παράγωγος της (από κοινού) συνάρτησης κατανομής χ1,χ 2 (x 1,x 2 ) ως προς x 1 και x 2 fχ1,χ2 (x1,x2) = 2 χ1,χ2 (x 1,x 2 ) x 1 x 2 καλείται από κοινού συνάρτηση πυκνότητας πιθανότητας. Για τις δύο συναρτήσεις ισχύουν οι εξής ιδιότητες f χ1 (x 1 )= χ1 (x 1 )= χ1,χ 2 (x 1, ), χ2 (x 2 )= χ1,χ 2 (,x 2 ), f χ1,χ 2 (x 1,x 2 ) 0 f χ1,χ 2 (x 1,x 2 )dx 2, f χ2 (x 2 )= f χ1,χ 2 (x 1,x 2 )dx 1 f χ1,χ 2 (x 1,x 2 )dx 1 dx 2 =1.

10 Κεφάλαιο 2 : Στοιχεία πιθανοτήτων και στοχαστικών διαδικασιών Δύο τυχαίες μεταβλητές χ 1, χ 2 θα καλούνται ανεξάρτητες όταν χ1,χ 2 (x 1,x 2 )= χ1 (x 1 ) χ2 (x 2 ) ή f χ1,χ 2 (x 1,x 2 )=f χ1 (x 1 )f χ2 (x 2 ). αλούμε συσχέτιση δύο τυχαίων μεταβλητών χ 1, χ 2 την ποσότητα cov{χ 1, χ 2 } = [(χ 1 χ 1 )(χ 2 χ 2 )] = (x 1 χ 1 )(x 2 χ 2 )f χ1,χ 2 (x 1,x 2 )dx 1 dx 2 = [χ 1 χ 2 ] χ 1 χ 2. Όταν η συσχέτιση δύο τυχαίων μεταβλητών είναι μηδέν, τότε οι τυχαίες μεταβλητές καλούνται ασυσχέτιστες. Οι παραπάνω ορισμοί επεκτείνονται φυσικά σε περισσότερες από δύο τυχαίες μεταβλητές κατά τον προφανή τρόπο. Στην περίπτωση των περισσοτέρων της μιας τυχαίων μεταβλητών είναι προτιμότερο να θεωρούμε τις τυχαίες μεταβλητές σαν όρους ενός (τυχαίου) διανύσματος. Για την περίπτωση επομένως K τυχαίων μεταβλητών μπορούμε να γράψουμε X =[χ 1 χ 2 χ K ] t και να ορίσουμε το μέσο διάνυσμα σαν και την μήτρα συνδιασποράς X = [X ]= Xf X (X)dX Σ X = [(X X )(X X ) t ]= [X X t ] X X t. Από τον ορισμό εύκολα διαπιστώνουμε ότι το στοιχείο i, j της μήτρας συνδιασποράς είναι ίσο προς τη συσχέτιση των τυχαίων μεταβλητών χ i, χ j, ως εκ τούτου η μήτρα Σ X είναι συμμετρική. Το i-οστό διαγώνιο στοιχείο της μήτρας είναι ίσο προς τη διασπορά της τυχαίας μεταβλητής χ i. Τέλος η μήτρα συνδιασποράς, μπορεί εύκολα να αποδειχθεί ότι είναι μη αρνητικά ορισμένη, μια σημαντική και πολύ χρήσιμη ιδιότητα. Ένα κλασικό και πρακτικά χρήσιμο παράδειγμα από κοινού συνάρτησης πυκνότητας πιθανότητας αποτελεί η περίπτωση K Gaussian τυχαίων μεταβλητών. Εάν X, Σ X το διάνυσμα των μέσων όρων και η μήτρα συνδιασποράς των εν λόγω μεταβλητών τότε f X (X) = 1 (2π) K Σ X e 1 2 (X X ) t Σ 1 X (X X ), όπου X =[x 1 x 2 x K ] t (διάνυσμα πραγματικών τυχαίων μεταβλητών) και Σ X συμβολίζει την ορίζουσα της μήτρας Σ X.

2.4 Δεσμευμένη ή υπό συνθήκη πιθανότητα 11 Ιδιότητες Gaussian μεταβλητών : Οι Gaussian μεταβλητές διαθέτουν τις ακόλουθες δύο πολύ σημαντικές ιδιότητες Αποτελεί ενδιαφέρουσα (και απλή) άσκηση η απόδειξη της πρότασης ότι όταν Gaussian τυχαίες μεταβλητές είναι ασυσχέτιστες είναι υποχρεωτικά και ανεξάρτητες. Αποτελεί ενδιαφέρουσα (και όχι ιδιαίτερα δύσκολη) άσκηση η απόδειξη της πρότασης ότι γραμμικός συνδυασμός από Gaussian τυχαίες μεταβλητές δημιουργεί πάλι Gaussian τυχαίες μεταβλητές. Η δεύτερη ιδιότητα είναι εξαιρετικά χρήσιμη επειδή, ως γνωστόν, για να καθοριστούν οι Gaussian τυχαίες μεταβλητές αρκεί να υπολογιστούν οι μέσοι όροι και η μήτρα συνδιασποράς, πράγμα απλό για την περίπτωση των γραμμικών συνδυασμών. 2.4 Δεσμευμένη ή υπό συνθήκη πιθανότητα Η έννοια της δεσμευμένης πιθανότητας αποτελεί σημαντική ανακάλυψη για τη θεωρία πιθανοτήτων. Έστω γεγονός B G με (B) > 0 τότε θα καλούμε δεσμευμένη (ή υπό συνθήκη) πιθανότητα ενός γεγονότος A G με δεδομένο το B την εξής ποσότητα: (A B) = (A B), (B) όπου για ευκολία συμβολίζουμε την τομή A B των δύο συνόλων σαν το γινόμενο A B. Από τον ορισμό της δεσμευμένης πιθανότητας προκύπτει ότι (A B) = (A B) (B) = (B A) (A). (2.2) Είναι επίσης εύκολο, χρησιμοποιώντας τον ορισμό, να γενικεύσουμε τις προηγούμενες ισότητες και να δείξουμε για τρία γεγονότα A, B, C ότι μπορούμε να γράψουμε Πράγματι (A B C) = (A B C) (B C) = (B A C) (A C). (2.3) (A B C) = (A B C) (C) = (A B C) (B C) (C) = (A B C) (B C), αποδεικνύοντας την πρώτη ισότητα. ε τον ίδιο τρόπο αποδεικνύεται και η δεύτερη. 2.4.1 Δεσμευμένη πυκνότητα πιθανότητας Εάν έχουμε μια τυχαία μεταβλητή χ(θ) με πυκνότητα πιθανότητας f χ (x), τότε μπορούμε στην περίπτωση αυτή να ορίσουμε τη δεσμευμένη πυκνότητα πιθανότητας f χ (x χ B). ε άλλα λόγια ενδιαφερόμαστε να δούμε με ποιο τρόπο αλλάζει η πυκνότητα πιθανότητας της τυχαίας μεταβλητής όταν μας δίνεται η επιπλέον πληροφορία ότι η τυχαία μεταβλητή παρατηρήθηκε στο εσωτερικό ενός συνόλου B.

12 Κεφάλαιο 2 : Στοιχεία πιθανοτήτων και στοχαστικών διαδικασιών Προκειμένου να χρησιμοποιήσουμε τον ορισμό της δεσμευμένης πιθανότητας, κάνουμε χρήση της (2.1), συγκεκριμένα f χ (x χ B)dx = (x <χ x + dx χ B) = = f χ(x) B (x) dx x B f χ(x) dx, (x <χ x + dx & χ B) (χ B) από τη οποία συμπεραίνουμε ότι f χ (x χ B) = f χ (x) x B f χ(x) dx B (x). 2.4.2 Βασικές ισότητες για γεγονότα ε τη βοήθεια της δεσμευμένης πιθανότητας και συγκεκριμένα με χρήση της (2.2) είναι δυνατό να αποδειχθεί ένας αριθμός από πολύ ενδιαφέρουσες ισότητες οι οποίες παρατίθενται στη συνέχεια. Ισότητα 1: Άμεση γενίκευση της (2.2) αποτελεί η εξής περίπτωση: έστω γεγονότα A 1,A 2,...,A K G, τότε (A K A K 1 A 1 )= (A K A K 1 A 1 ) (A K 1 A 1 )= = (A K A K 1 A 1 ) (A K 1 A K 2 A 1 ) (A 2 A 1 ) (A 1 ). Η πρώτη ισότητα είναι ουσιαστικά η (2.2) με B = A K 1 A 1. Στη συνέχεια επαναλαμβάνεται η ισότητα αυτή για K 1,K 2,...,2. Ισότητα 2: (Ολική Πιθανότητα) Έστω γεγονότα A 1,A 2,...,A K G για τα οποία ισχύει A 1 A 2 A K = Θ με A i A j = για i j, καθώς και γεγονός B G, τότε (B) = (B Θ) = (B K i=1a i )= ( K i=1(b A i )) = K = (B A i ) (A i ), i=1 K (B A i ) i=1 όπου η πρώτη ισότητα της τελευταίας σχέσης προκύπτει από το γεγονός ότι τα σύνολα B A i είναι μεταξύ τους ξένα. Ισότητα 3: ε χρήση της προηγούμενης ισότητας μπορούμε να δείξουμε για γεγονότα A 1,...,A K,B όπως παραπάνω ότι ισχύει (A i B) = (B A i) (A i ) (B) = (B A i ) (A i ) K i=1 (B A i) (A i ).

2.4 Δεσμευμένη ή υπό συνθήκη πιθανότητα 13 Οι πιθανότητες (A i ) καλούνται εκ των προτέρων (ή αρχικές) πιθανότητες των γεγονότων A i, ενώ οι (A i B) εκ των υστέρων με δεδομένο το γεγονός B. Οι εκ των προτέρων πιθανότητες εκφράζουν την αρχική γνώση που υπάρχει για τα γεγονότα A i ενώ οι εκ των υστέρων το πως διαμορφώνονται οι πιθανότητες μετά την εμφάνιση του γεγονότος B. 2.4.3 Βασικές ισότητες για πυκνότητες πιθανότητας Οι ισότητες που παρουσιάστηκαν για γεγονότα έχουν τα ισοδύναμά τους και στην περίπτωση των πυκνοτήτων πιθανότητας τυχαίων μεταβλητών. Έστω δύο τυχαία διανύσματα X, Y με αντίστοιχη από κοινού πυκνότητα πιθανότητας f X,Y (X, Y ), τότε η πυκνότητα πιθανότητας του X με δεδομένο ότι Y B είναι f X Y B (X Y B) = Y B f X,Y (X, Y ) dy Y B f Y (Y ) dy = Y B f X,Y (X, Y ) dy Y B f X,Y (X, Y ) dy dx. Είναι επίσης δυνατό να θεωρήσουμε για το Y το διαφορικό γεγονός Y = Y (δηλαδή Y<Y Y + dy ), οπότε η δεσμευμένη πυκνότητα πιθανότητας γράφεται f X Y =Y (X Y )= f X,Y (X, Y ) f Y (Y ) = f X,Y (X, Y ) f X,Y (X, Y ) dx. Εύκολα διαπιστώνουμε ότι η συνάρτηση f X Y =Y (X Y ) αποτελεί όντως πυκνότητα πιθανότητας αφού είναι μη αρνητική και εάν ολοκληρωθεί ως προς X το αποτέλεσμα είναι μονάδα. Η παραπάνω σχέση αποτελεί το ισοδύναμο της δεσμευμένης πιθανότητας για συναρτήσεις πυκνότητας πιθανότητας. ατ αναλογία με την (2.2) μπορούμε επίσης να γράψουμε f X,Y (X, Y )=f X Y =Y (X Y )f Y (Y ). Από την ύπαρξη της υπό συνθήκη πυκνότητας πιθανότητας απορρέει και η ύπαρξη της υπό συνθήκη μέσης τιμής [X Y = Y ]= Xf X Y =Y (X Y = Y ) dx = G(Y ) το οποίο είναι φυσικά μια (διανυσματική) συνάρτηση του Y. Για την υπό συνθήκη πυκνότητα πιθανότητα ισχύει ένας αριθμός από ενδιαφέρουσες ισότητες η απόδειξη των οποίων είναι απλή και επαφίεται στον αναγνώστη. Το ισοδύναμο της σότητας 1 για πυκνότητες πιθανότητας είναι η ακόλουθη σχέση. Ισότητα 4: Έστω τυχαίες μεταβλητές χ 1, χ 2,...,χ n τότε f χn,...,χ 1 (x n,...,x 1 )= f χn χ n 1,...,χ 1 (x n x n 1,...,x 1 ) f χn 1 χ n 2,...,χ 1 (x n 1 x n 2,...,x 1 ) f χ2 χ 1 (x 2 x 1 ) f χ1 (x 1 ).

14 Κεφάλαιο 2 : Στοιχεία πιθανοτήτων και στοχαστικών διαδικασιών Για την ειδική περίπτωση που f χn χ n 1,...,χ 1 (x n x n 1,...,x 1 )=f χn χ n 1 (x n x n 1 ) τότε η ακολουθία χ 1, χ 2,...,χ n καλείται Markov. Συνδυασμός γεγονότων και πυκνοτήτων πιθανότητας οδηγεί στην ακόλουθη ισότητα. Ισότητα 5: Έστω τυχαία διανύσματα X, Y και ας υποθέσουμε ότι το Y παίρνει τιμές μέσα στο σύνολο Ω όπου υποθέτουμε ότι (Y Ω) =1. Έστω επίσης ότι ισχύει Ω = K i=1 A i, όπου τα γεγονότα A i είναι ανά δύο ξένα μεταξύ τους. Τότε f X (X) =f X,Y (X, Y Ω) =f X,Y (X, Y K i=1a i )= K = f X Y (X Y A i ) (Y A i ). i=1 K f X,Y (X, Y A i ) i=1 Ισότητα 6: Το αντίστοιχο της σότητας 3 με την βοήθεια της σότητας 5, γράφεται (Y A i X = X) = f X Y (X Y A i ) (Y A i ) f X (X) f X Y (X Y A i ) (Y A i ) = K i=1 f X Y (X Y A i ) (Y A i ), όπου ισχύουν οι υποθέσεις της προηγούμενης ισότητας. Η ισότητα αυτή χρησιμοποιείται για τον υπολογισμό της εκ των υστέρων πιθανότητας του A i με δεδομένο ότι το τυχαίο διάνυσμα X έλαβε τη τιμή X = X. 2.4.4 Ιδιότητα της κλιμάκωσης του μέσου όρου ια εξαιρετικά χρήσιμη ιδιότητα η οποία βασίζεται στην υπό συνθήκη μέση τιμή είναι η εξής. Έστω G(X, Y ) συνάρτηση των διανυσμάτων X, Y, τότε μπορούμε να γράψουμε [G(X, Y )] = G(X, Y )f X,Y (X, Y ) dx dy { } = G(X, Y )f X Y (X Y ) dx f Y (Y ) dy = [ [ G ( X, Y ) Y ]]. (2.4) ε άλλα λόγια ο μέσος όρος μιας τυχαίας ποσότητας είναι δυνατό να υπολογιστεί κλιμακωτά, υπολογίζοντας δηλαδή αρχικά τον υπό συνθήκη μέσος όρο ως προς κάποιες τυχαίες μεταβλητές και κατόπιν, τον μέσο όρο της τυχαίας ποσότητας που προκύπτει. Παράδειγμα 2.1 : Έστω δύο στοχαστικά διανύσματα X, Y τα οποία είναι από κοινού Gaussian με μέσες τιμές X, Y, μήτρες συνδυασποράς [(X X )(X X ) t )] = Σ X, [(Y Y )(Y

2.4 Δεσμευμένη ή υπό συνθήκη πιθανότητα 15 Y ) t )] = Σ Y και μήτρα ετεροσυσχέτισης [(X X )(Y Y ) t )] = Σ X,Y. Δείξτε ότι η δεσμευμένη πυκνότητα πιθανότητας f X Y (X Y ) είναι Gaussian με μέση τιμή και διασπορά που δίνονται από τις σχέσεις [X Y ]= [(X [X Y ])(X [X Y ]) t Y ]=Σ X Y X + Σ X,Y Σ 1 Y (Y Y ) = Σ X Σ X,Y Σ 1 Y Σt X,Y. Για την απόδειξη της πρότασης αρκεί να υπολογίσουμε τη συνάρτηση f X Y (X Y )=f X,Y (X, Y )/f Y (Y ). Για ευκολία θα θεωρήσουμε ότι οι δύο μέσοι όροι είναι μηδέν. Έχουμε τότε ότι (βλέπε Εδάφιο Α.5) f X,Y (X, Y )= 1 (2π) N x +N y Σ e 1 2 [Xt Y t ]Σ 1 [X t Y t ] t 1 f Y (Y )= (2π) N y ΣY e 1 2 Y t Σ 1 Y Y όπου N x,n y τα μήκη των διανυσμάτων X, Y αντίστοιχα, Σ =[Σ X Σ X,Y ; Σ t X,Y Σ Y ] είναι η μήτρα συνδυασποράς του εννιαίου διανύσματος [X t Y t ] t και A συμβολίζει την ορίζουσα της μήτρας A. Χρησιμοποιώντας τις δύο αυτές σχέσεις υπολογίζεται ότι 1 f X Y (X Y )= (2π) N x Σ Σ Y ε τη βοήθεια της ταυτότητας αντιστροφής του Shur e 1 2 [Xt Y t ]Σ 1 [X t Y t ] t + 1 2 Y t Σ 1 Y Y. (2.5) [ ] 1 [ ΣX Σ X,Y 0 0 Σ t = X,Y Σ Y 0 Σ 1 Y ] [ + I Φ t X,Y ] Σ 1 X Y [I Φ X,Y ] όπου Φ X,Y = Σ X,Y Σ 1 Y, και την ταυτότητα ορίζουσας μητρών σε μπλοκ μορφή [ ] ΣX Σ X,Y Σ t = Σ X,Y Σ Y Σ X Y, Y μετά από αντικατάσταση στη Σχέση (2.5), καταλήγουμε f X Y (X Y )= 1 e 1 2 (X Φ X Y Y ) t Σ 1 X Y (X Φ X Y Y ). (2π) N x ΣX Y Από την προηγούμενη σχέση συμπεραίνουμε ότι η δεσμευμένη πιθανότητα της X είναι όντως Gaussian με τον ζητούμενο μέσον όρο και μήτρα συνδιασπορά.

16 Κεφάλαιο 2 : Στοιχεία πιθανοτήτων και στοχαστικών διαδικασιών 2.5 Ιδιότητα της αλλαγής μέτρου Στη συνέχεια θα αναφερθούμε σε μια πολύ ενδιαφέρουσα ιδιότητα του μέσου όρου την οποία θα χρησιμοποιήσουμε σε επόμενο εδάφιο. Έστω τυχαίο διάνυσμα X το οποίο έχει πυκνότητα πιθανότητας f X (X). Ας υποθέσουμε επίσης ότι f X (X) αποτελεί εναλλακτική πυκνότητα πιθανότητας για το ίδιο τυχαία διάνυσμα. πορούμε τώρα να ορίσουμε το λόγο πιθανοφάνειας (X) = f X (X) f X (X) το οποίο είναι βαθμωτή ποσότητα και αποτελεί ένα (εν γένει μη γραμμικό) μετασχηματισμό του διανύσματος X. Έστω τέλος μη γραμμική συνάρτηση G(X) για την οποία ενδιαφερόμαστε να υπολογίσουμε τον μέσο όρο [G(X )] όπου [ ] συμβολίζει μέσον όρο ως προς την πυκνότητα πιθανότητας f X (X). Έχουμε τον εξής απλό υπολογισμό 3 [G(X )] = = G(X)f X (X) dx = G(X) (X) f X (X) dx = [G(X ) (X )], G(X) f X (X) f X (X) dx f X (X) όπου [ ] εκφράζει μέσον όρο ως προς την εναλλακτική πυκνότητα πιθανότητας f X (X). Παρατηρούμε ότι είναι δυνατό να υπολογίσουμε τον μέσον όρο μιας τυχαίας ποσότητας αλλάζοντας (μέτρο) πυκνότητα πιθανότητας, αρκεί να εφαρμόσουμε τη σχετική διόρθωση με τη βοήθεια του λόγου πιθανοφάνειας. Η προφανής αυτή ιδιότητα της αλλαγής μέτρου έχει πολλές και σημαντικές εφαρμογές στη Θεωρία Πιθανοτήτων και στη Στατιστική. 2.6 Στοχαστικά ή τυχαία σήματα Επεκτείνοντας την ιδέα του συνδυασμού πεπερασμένου πλήθους τυχαίων μεταβλητών σε άπειρη ακολουθία, δηλαδή {χ n, <n< }, προκύπτει μια στοχαστική διαδικασία. Εάν ο δείκτης n αναφέρεται σε χρόνο, τότε τη διαδικασία την καλούμε ειδικότερα στοχαστικό σήμα διακριτού χρόνου. ε άλλα λόγια, με κάθε επιλογή της Φύσης σε θ μας διατίθεται ένα σήμα στο χρόνο. Ωστόσο σε κάθε χρονική στιγμή n 0 η συμπεριφορά του σήματος είναι τυχαία, το χ n0 είναι δηλαδή μια τυχαία μεταβλητή. Είναι επίσης δυνατό να ορίσουμε διαδικασίες {χ(t), <t< } που να εξαρτώνται από τη μεταβλητή t η οποία είναι συνεχής. Εάν το t αναφέρεται σε αναλογικό 3 Στην ανάλυση που ακολουθεί έχουν παραληφθεί ορισμένες τεχνικές λεπτομέρειες. Π.χ. θεωρούμε ότι στα σημεία X για τα οποία f X (X) =0, πρέπει να ισχύει ότι f X (X) =0. ε τον περιορισμό αυτό αποφεύγεται ο λόγος πιθανοφάνειας να παίρνει άπειρη τιμή. Το γεγονός ότι η τιμή του λόγου πιθανοφάνειας είναι απροσδιόριστη δεν αποτελεί πρόβλημα αφού η συνεισφορά των σημείων αυτών στο συνολικό ολοκλήρωμα είναι μηδενική (γιατί;).

2.6 Στοχαστικά ή τυχαία σήματα 17 χρόνο, τότε το χ(t) είναι ένα στοχαστικό σήμα συνεχούς χρόνου. Για κάθε χρονική στιγμή t = t 0, η συνάρτηση χ(t 0 ) είναι μετρήσιμη συνάρτηση (δηλαδή τυχαία μεταβλητή), ενώ για κάθε επιλογή του θ είναι συνάρτηση του χρόνου 4. Τα στοχαστικά σήματα περιγράφονται πλήρως μέσω των κατανομών πεπερασμένης τάξης. Εάν n 1,n 2,...,n K (αντίστοιχα t 1,t 2,...,t K ) K χρονικές στιγμές, τότε η K τάξης κατανομή του σήματος ορίζεται σαν χ (x 1,...,x K,n 1,n 2,...,n K )= (χ n1 x 1,...,χ nk x K ) χ (x 1,...,x K,t 1,t 2,...,t K )= (χ(t 1 ) x 1,...,χ(t K ) x K ). Όπως παρατηρούμε οι κατανομές, εκτός από συναρτήσεις των μεταβλητών x i, είναι επίσης συναρτήσεις των χρονικών στιγμών στις οποίες αναφέρονται. Αυτό οφείλεται στο γεγονός ότι δεν είναι απαραίτητο η τυχαία μεταβλητή που αντιστοιχεί στη χρονική στιγμή n 1 να έχει την ίδια κατανομή με την τυχαία μεταβλητή της χρονικής στιγμής n 2. 2.6.1 Στατιστικές πρώτης και δεύτερης τάξης Στην επεξεργασία σημάτων η πληροφορία που είναι συνήθως απαραίτητη είναι ο τρόπος με τον οποίο εξελίσσεται η κατανομή της χ n στο χρόνο καθώς και η από κοινού κατανομή των χ n1, χ n2 που αναφέρεται σε δύο χρονικές στιγμές, δηλαδή χ (x 1,n 1 )= (χ n1 x 1 ) και η χ (x 1,x 2,n 1,n 2 )= (χ n1 x 1, χ n2 x 2 ). Ωστόσο στην πράξη ακόμη και αυτή η περιορισμένη πληροφορία είναι αρκετά δύσκολο να εκτιμηθεί. Για το λόγο αυτό καταφεύγουμε στις λεγόμενες στατιστικές πρώτης και δεύτερης τάξης. Στατιστική πρώτης τάξης ενός στοχαστικού σήματος είναι το ντετερμινιστικό σήμα που προκύπτει παίρνοντας το στοχαστικό μέσον όρο σε κάθε χρονική στιγμή. Δηλαδή χ n = [χ n ] ή χ(t) = [χ(t)]. Στατιστική δεύτερης τάξης αποτελεί η συσχέτιση του σήματος με τον εαυτό του σε δύο διαφορετικές χρονικές στιγμές, δηλαδή R χ (n 1,n 2 )= [(χ n1 χ n1 )(χ n2 χ n2 )] ή R χ (t 1,t 2 )= [{χ(t 1 ) χ(t 1 )}{χ(t 2 ) χ(t 2 )}]. Η συνάρτηση R χ (n 1,n 2 ) (αντίστοιχα R χ (t 1,t 2 )) καλείται συνάρτηση αυτοσυσχέτισης (ή απλά αυτοσυσχέτιση) του σήματος χ. ατά ανάλογο τρόπο ορίζουμε τη συνάρτηση ετεροσυσχέτισης (ή ετεροσυσχέτιση) μεταξύ δύο διαφορετικών σημάτων {χ n }, {ς n } σαν φύσης. R χ,ς (n 1,n 2 )= [(χ n1 χ n1 )(ς n2 ς n2 )]. 4 Υπενθυμίζεται ότι οι συναρτήσεις αυτές είναι επίσης και συναρτήσεις του θ, δηλαδή της επιλογής της

18 Κεφάλαιο 2 : Στοιχεία πιθανοτήτων και στοχαστικών διαδικασιών Η συνάρτηση ετεροσυσχέτισης υποδηλώνει, κατά μέσον όρο, πόσο συσχετισμένο είναι το σήμα {χ n } τη χρονική στιγμή n 1 με το σήμα {ς n } τη χρονική στιγμή n 2. Όπως θα διαπιστώσουμε, οι στατιστικές πρώτης και δεύτερης τάξης είναι δυνατό να εκτιμηθούν στην πράξη αρκετά εύκολα. Στο σημείο αυτό κρίνεται σκόπιμο να ορισθεί ένα πολύ ιδιαίτερο σήμα όσον αφορά στις στατιστικές δεύτερης τάξης. Ένα στοχαστικό σήμα {χ n } καλείται λευκός θόρυβος, όταν ο μέσος όρος του σε κάθε χρονική στιγμή είναι μηδέν και η συνάρτηση αυτοσυσχέτισης είναι της μορφής R χ (n 1,n 2 )=R χ (n 1,n 1 )δ n1 n 2 ή R χ (t 1,t 2 )=R χ (t 1,t 1 )δ(t 1 t 2 ), όπου δ n (αντίστοιχα δ(t)) η συνάρτηση δέλτα. ε άλλα λόγια, στο λευκό θόρυβο τα δείγματα του σήματος συσχετίζονται μόνον με τον εαυτό τους ενώ είναι ασυσχέτιστα με τα δείγματα οποιασδήποτε άλλης χρονικής στιγμής. 2.6.2 Στασιμότητα και εργοδικότητα Η στασιμότητα είναι ιδιότητα που αναφέρεται σε συγκεκριμένο χαρακτηριστικό ενός σήματος. Είναι επομένως δυνατόν ορισμένα χαρακτηριστικά να είναι στάσιμα και άλλα όχι. Η πλέον ισχυρή μορφή στασιμότητας αναφέρεται στη συνάρτηση κατανομής ενός σήματος. Έστω οι χρονικές στιγμές n i,i=1,...,k. Ένα σήμα {χ n } θα καλείται ισχυρώς στάσιμο K τάξης, εάν η συνάρτηση κατανομής ικανοποιεί χ (x 1,...,x K,n 1,n 2,...,n K )= χ (x 1,...,x K,n 2 n 1,...,n K n 1 ). ε άλλα λόγια, εάν η συνάρτηση κατανομής δεν εξαρτάται από τις απόλυτες χρονικές στιγμές αλλά μόνο από τις σχετικές, έχουμε ισχυρή στασιμότητα. Για παράδειγμα, ένα σήμα {χ n } είναι ισχυρώς στάσιμο πρώτης τάξης, όταν η συνάρτηση κατανομής του δεν εξαρτάται από το χρόνο, δηλαδή χ (x 1,n 1 )= χ (x 1, 0), ενώ είναι ισχυρώς στάσιμο δεύτερης τάξης, όταν χ (x 1,x 2,n 1,n 2 )= χ (x 1,x 2,n 2 n 1 ). Η ισχυρή στασιμότητα είναι πολύ περιοριστική και, τουλάχιστον για τις εφαρμογές που μας ενδιαφέρουν, όχι αναγκαία. Για το σκοπό αυτό είναι δυνατό να ορίσουμε την έννοια της στασιμότητας μόνο για μεγέθη που χρησιμοποιούμε, όπως για παράδειγμα στατιστικές πρώτης και δεύτερης τάξης. Ένα σήμα {χ n } θα καλείται ασθενώς στάσιμο πρώτης τάξης, όταν χ n = [χ n ]= χ, δηλαδή ο στοχαστικός μέσος όρος είναι μια σταθερά ανεξάρτητη του χρόνου. Ένα σήμα θα καλείται ασθενώς στάσιμο δεύτερης τάξης, όταν είναι ασθενώς στάσιμο πρώτης τάξης και επιπλέον η συνάρτηση αυτοσυσχέτισης ικανοποιεί τη σχέση R χ (n 1,n 2 )=R χ (n 2 n 1 )= [(χ n1 χ)(χ n2 χ)].

2.6 Στοχαστικά ή τυχαία σήματα 19 Τέλος, δύο σήματα {χ n }, {φ n } θα καλούνται από κοινού ασθενώς στάσιμα, δεύτερης τάξης όταν αυτά είναι ασθενώς στάσιμα δεύτερης τάξης και επιπλέον η συνάρτηση ετεροσυσχέτισης ικανοποιεί τη σχέση R χ,ς (n 1,n 2 )=R χ,ς (n 2 n 1 )= [(χ n1 χ)(ς n2 ς)]. Από σύμβαση, στην αυτοσυσχέτιση και την ετεροσυσχέτιση, θεωρούμε σαν όρισμα τη διαφορά των χρονικών στιγμών του δεύτερου όρου του γινομένου μείον του πρώτου. Οι συναρτήσεις αυτοσυσχέτισης και ετεροσυσχέτισης στάσιμων σημάτων έχουν τις ακόλουθες ενδιαφέρουσες συμμετρίες R χ ( n) =R χ (n) (2.6) R χ,ς ( n) =R ς,χ (n). (2.7) Από την πρώτη συμπεραίνουμε ότι η συνάρτηση αυτοσυσχέτισης είναι άρτια συνάρτηση του n. Όπως αναφέρθηκε σε προηγούμενο εδάφιο, στην πράξη χρησιμοποιούμε πολύ συχνά αριθμητικούς μέσους όρους για να προσεγγίσουμε τους στοχαστικούς μέσους όρους. Για παράδειγμα, εάν χ είναι τυχαία μεταβλητή και χ(θ 1 ),...,χ(θ K ) είναι K υλοποιήσεις της, τότε χ = [χ] χ(θ 1)+χ(θ 2 )+ + χ(θ K ). K Το σημείο που πρέπει να τονισθεί στην προηγούμενη εκτίμηση είναι η ανάγκη για πολλαπλές υλοποιήσεις της τυχαίας μεταβλητής. Επεκτείνοντας την ιδέα αυτή σε ένα τυχαίο σήμα {χ n }, είναι φανερό ότι, για να εκτιμηθεί ο στοχαστικός μέσος όρος { χ n } του σήματος, είναι απαραίτητο να υπάρχουν διαθέσιμες πολλαπλές υλοποιήσεις του στοχαστικού σήματος, {χ n (θ 1 )}, {χ n (θ 2 )},..., δηλαδή πολλαπλά σήματα. Στην περίπτωση αυτή η εφαρμογή του αριθμητικού μέσου όρου για κάθε χρονική στιγμή καταλήγει σε προσέγγιση του στοχαστικού μέσου όρου του σήματος ως εξής χ n = [χ n ] χ n(θ 1 )+χ n (θ 2 )+ + χ n (θ K ). (2.8) K Η ανάγκη για πολλαπλά σήματα είναι εν γένει ανεπιθύμητη, αφού στην πράξη συνήθως διατίθεται ένα και μοναδικό σήμα (μια μόνον υλοποίηση). Στην περίπτωση που το σήμα μας είναι ασθενώς στάσιμο πρώτης τάξης (με αποτέλεσμα ο στοχαστικός μέσος όρος να είναι κοινός σε κάθε χρονική στιγμή), είναι λογικό να αναρωτηθεί κανείς εάν είναι δυνατό να χρησιμοποιηθούν τα διαφορετικά χρονικά δείγματα μιας υλοποίησης, ώστε να εκτιμηθεί ο κοινός στοχαστικός μέσος όρος όλων των δειγμάτων, δηλαδή εάν μπορούμε να γράψουμε χ χ 1(θ)+χ 2 (θ)+ + χ K (θ). (2.9) K

20 Κεφάλαιο 2 : Στοιχεία πιθανοτήτων και στοχαστικών διαδικασιών Παρατηρούμε τη σημαντική διαφορά μεταξύ των δύο προσεγγίσεων. Η (2.8) αναφέρεται σε μια χρονική στιγμή και χρησιμοποιεί διαφορετικές υλοποιήσεις (διαφορετικά σήματα λόγω των θ i ), ενώ η (2.9) αναφέρεται σε μια υλοποίηση (ένα σήμα λόγω του μοναδικού θ) αλλά σε διαφορετικές χρονικές στιγμές. Στάσιμα σήματα τα οποία ικανοποιούν χ 1 (θ)+χ 2 (θ)+ + χ K (θ) χ = lim K K καλούνται εργοδικά πρώτης τάξης. Συνθήκες κάτω από τις οποίες ένα σήμα είναι εργοδικό υπάρχουν, ωστόσο, επειδή ξεφεύγουν του σκοπού του παρόντος βιβλίου δεν θα παρουσιαστούν. Ένα εύκολο παράδειγμα μη εργοδικού σήματος είναι η περίπτωση που προκύπτει από την άπειρη επανάληψη μιας τυχαίας μεταβλητής, δηλαδή χ n = χ, όπου χ οποιαδήποτε τυχαία μεταβλητή. Στην περίπτωση αυτή ο κοινός στοχαστικός μέσος όρος κάθε χρονικής στιγμής δεν συμπίπτει με τον χρονικό αριθμητικό μέσο όρο (γιατί;). ε ανάλογο τρόπο είναι δυνατό να ορίσουμε την εργοδικότητα δεύτερης τάξης ενός στάσιμου σήματος δεύτερης τάξης. Ενδιαφερόμαστε δηλαδή να εκτιμήσουμε στατιστικές δεύτερης τάξης από χρονικούς αριθμητικούς μέσους όρους, συγκεκριμένα 1 R χ (k) =R χ (n + k n) = lim K K K (χ n (θ) χ)(χ k+n (θ) χ). Παρατηρούμε και πάλι ότι για τον υπολογισμό της συνάρτησης αυτοσυσχέτισης, όταν έχουμε εργοδικότητα, είναι αρκετό ένα μόνο σήμα. n=1 2.6.3 Πυκνότητα φάσματος ισχύος στοχαστικού σήματος Στην επεξεργασία σημάτων έχει πολύ μεγάλη σημασία το συχνοτικό περιεχόμενο (μετασχηματισμός Fourier) ενός σήματος. Έχει επομένως ενδιαφέρον να εξετάσουμε με ποιο τρόπο η έννοια αυτή είναι δυνατό να επεκταθεί στην περίπτωση των στοχαστικών σημάτων. Ας θεωρήσουμε για ευκολία ένα στοχαστικό σήμα διακριτού χρόνου {χ n }, το οποίο είναι στάσιμο, με μέση τιμή μηδέν και με συνάρτηση αυτοσυσχέτισης R χ (n). Εάν εφαρμόσουμε τον Διακριτό ετασχηματισμός Fourier 5 (Δ F) σε L χρονικά δείγματα τότε X L (e jω )= 1 L 1 χ n e jnω. L Επειδή τα χ n είναι τυχαίες μεταβλητές συμπεραίνουμε ότι για κάθε συχνότητα ω = ω 0 η ποσότητα X L (e jω 0 ) είναι επίσης τυχαία μεταβλητή. ε άλλα λόγια η συνάρτηση 5 Ο Δ F ορίζεται με ένα συντελεστή κανονικοποίησης 1/ L προκειμένου το σήμα στο χρόνο και στη συχνότητα να έχει την ίδια ακριβώς ενέργεια. n=0

2.6 Στοχαστικά ή τυχαία σήματα 21 X L (e jω ) είναι μια στοχαστική διαδικασία αφού εξαρτάται από τη συχνότητα ω και για κάθε τιμή της είναι τυχαία μεταβλητή. Στα σήματα μεγάλη σημασία έχει η κατανομή ενέργειας ανά συχνότητα. Στην περίπτωση του στοχαστικού σήματος της προηγουμένης παραγράφου, αυτό εκφράζεται μέσω του X L (e jω ) 2. Επειδή η ποσότητα αυτή είναι τυχαία, προκειμένου να προκύψει μια ντετερμινιστική συνάρτηση της συχνότητας η οποία να είναι πρακτικά χρήσιμη εφαρμόζεται στοχαστικός μέσος όρος και υπολογίζεται το όριο για L. Προτείνεται συνεπώς η χρήση της ντετερμινιστικής συνάρτησης lim L [ X L (e jω ) 2 ] για την περιγραφή της μέσης ενέργειας ανά συχνότητα (δηλαδή τον μέσον όρο της ενέργειας ανά συχνότητα για όλα τα διαφορετικά σήματα/υλοποιήσεις που αντιπροσωπεύει το στοχαστικό σήμα). αλούμε πυκνότητα φάσματος ισχύος ενός στάσιμου σήματος {χ n } τη συνάρτηση που προκύπτει από το ακόλουθο όριο Φ χ (e jω )= lim L [ X L (e jω ) 2] = lim = n= L 1 L 1 2 χ n e jnω L n=0 R χ (n)e jnω = F {R χ (n)}, (2.10) όπου με F { } συμβολίζουμε τον κλασικό μετασχηματισμό Fourier. Η πυκνότητα φάσματος ισχύος, αφού αποτελεί τον ετασχηματισμό Fourier της συνάρτησης αυτοσυσχέτισης, εξαρτάται αποκλειστικά από στατιστικές δεύτερης τάξης του τυχαίου σήματος {χ n }. ατ αντιστοιχία, για δύο από κοινού στάσιμα (πραγματικά) σήματα {χ n }, {ς n }, έχουμε το όριο Φ χ,ς (e jω )= lim [ X L (e jω )SL(e jω ) ] L [ ( L 1 ) ( = lim 1 L 1 )] χ n e jnω 1 ς n e jnω L L L = n= n=0 R χ,ς (n)e jnω = F {R χ,ς (n)}, όπου με Φ χ,ς (e jω ) συμβολίζουμε το ετασχηματισμό Fourier της συνάρτησης ετεροσυσχέτισης. Η συνάρτηση Φ χ,ς (e jω ) καλείται συνάρτηση ετεροφάσματος. Για τη συνάρτηση πυκνότητας φάσματος ισχύος, σαν συνέπεια της (2.6), έχουμε τις ακόλουθες ιδιότητες n=0 Φ χ (e jω ) R, Φ χ (e jω ) 0, Φ χ (e jω )=Φ χ (e jω ),

22 Κεφάλαιο 2 : Στοιχεία πιθανοτήτων και στοχαστικών διαδικασιών είναι δηλαδή μια πραγματική, άρτια, μη αρνητική συνάρτηση της συχνότητας ω. Για τη συνάρτηση ετεροφάσματος, από την (2.7), ισχύει Φ χ,ς (e jω )=Φ χ,ς(e jω ), Φ χ,ς (e jω )=Φ ς,χ (e jω ). 2.7 Επίδραση γραμμικού συστήματος σε στατιστικές σήματος Έστω στοχαστικό σήμα {χ n }, το οποίο αποτελεί είσοδο σε ένα γραμμικό, χρονικά σταθερό σύστημα με κρουστική απόκριση {h n }. Η έξοδος του συστήματος είναι επίσης στοχαστικό σήμα και ισχύει ς n = h n χ n = k= h k χ n k. (2.11) Πρέπει να σημειώσουμε ότι το {h n } είναι μια ντετερμινιστική ακολουθία, σε αντίθεση με την είσοδο και την έξοδο που είναι στοχαστικές διαδικασίες. Εφαρμόζοντας στοχαστικό μέσον όρο στην (2.11), υπολογίζουμε τις στατιστικές πρώτης τάξης της εξόδου συναρτήσει των αντίστοιχων στατιστικών της εισόδου, ς n = h n χ n. Δηλαδή η ακολουθία των μέσων όρων της εξόδου είναι η συνέλιξη της κρουστικής απόκρισης με την ακολουθία των μέσων όρων της εισόδου. Συμπεραίνουμε επομένως ότι, όταν η είσοδος έχει μέση τιμή μηδέν, το ίδιο θα ισχύει και για την έξοδο. Ας υποθέσουμε ότι το σήμα εισόδου {χ n } είναι μηδενικής μέσης τιμής και ασθενώς στάσιμο δεύτερης τάξης με συνάρτηση αυτοσυσχέτισης R χ (n) και πυκνότητα φάσματος Φ χ (e jω ). Επιθυμούμε να υπολογίσουμε τις αντίστοιχες συναρτήσεις για το σήμα εξόδου. σχύουν οι παρακάτω σχέσεις R ς,χ (n) =h n R χ (n) R ς (n) =h n R ς,χ (n) =h n h n R χ (n) Φ ς (e jω )= H(e jω ) 2 Φ χ (e jω ). (2.12) Η απόδειξη των σχέσεων αυτών είναι εύκολη. Από την (2.11) πολλαπλασιάζοντας με χ n+l, εφαρμόζοντας στοχαστικό μέσον όρο και χρησιμοποιώντας στασιμότητα, καταλήγουμε R ς,χ (l) = [ς n χ n+l ]= k= h k [χ n k χ n+l ]= k= h k R χ (l + k). Αντικαθιστώντας στο τελευταίο άθροισμα όπου k το k, αποδεικνύεται η πρώτη σχέση.

2.7 Επίδραση γραμμικού συστήματος σε στατιστικές σήματος 23 Για να αποδείξουμε τη δεύτερη χρησιμοποιούμε πάλι την (2.11) αλλά πολλαπλασιάζουμε αυτή τη φορά με ς l, και μετά εφαρμόζουμε μέσον όρο. Η τρίτη αποτελεί συνδυασμό της πρώτης και της δεύτερης και αποδεικνύεται με τα ακόλουθα βήματα Φ ς (e jω )=F {R ς (n)} = F {h n h n R χ (n)} = F {h n }F {h n }F {R χ (n)} = H(e jω )H(e jω )Φ χ (e jω ) = H(e jω ) 2 Φ χ (e jω ), όπου η τελευταία ισότητα οφείλεται στη γνωστή ιδιότητα του ετασχηματισμού Fourier πραγματικών ακολουθιών H(e jω )=H (e jω ). Παρατηρούμε ότι η πυκνότητα φάσματος της εξόδου είναι το γινόμενο της πυκνότητας φάσματος της εισόδου επί το μέτρο στο τετράγωνο της απόκρισης συχνότητας του γραμμικού φίλτρου. Η σχέση αυτή ουσιαστικά αντικαθιστά τη σχέση S(e jω ) = H(e jω )X(e jω ) των ντετερμινιστικών σημάτων που αποτελεί τη βάση στη θεωρία σχεδιασμού φίλτρων. ια πολύ σημαντική συνέπεια της Σχέσης (2.12) είναι η παρακάτω πρόταση 6. Σχέση στοχαστικών σημάτων και γραμμικών συστημάτων : άτω από πολύ γενικές συνθήκες η πυκνότητα φάσματος Φ χ (e jω ) ενός τυχαίου, στάσιμου σήματος {χ n } αναλύεται ως εξής Φ χ (e jω )= U χ (e jω ) 2 = U χ (e jω )U χ (e jω ), όπου U χ (e jω ) είναι ο ετασχηματισμός Fourier μιας αιτιατής, απόλυτα αθροίσιμης ακολουθίας. Ως εκ τούτου, όσον αφορά στις στατιστικές δεύτερης τάξης, κάτω από πολύ γενικές συνθήκες, ένα σήμα {χ n } μπορεί να θεωρηθεί σαν έξοδος ενός γραμμικού, αιτιατού, χρονικά σταθερού, ευσταθούς συστήματος με απόκριση συχνότητας U χ (e jω ) και είσοδο λευκό θόρυβο. 6 Η απόδειξη της πρότασης υπάρχει στο βιβλίο [WH1985]. Περισσότερες λεπτομέρειες υπάρχουν επίσης στο Εδάφιο 7.3.3.

3 Βέλτιστη εξέταση υποθέσεων 3.1 Εισαγωγικά Στο παρόν κεφάλαιο θα παρουσιαστούν και θα αναλυθούν διεξοδικά τεχνικές εξέτασης υποθέσεων. Θα επικεντρωθούμε κυρίως στις τεχνικές σταθερού αριθμού δειγμάτων στις οποίες το πλήθος των δειγμάτων είναι δεδομένο και γνωστό εκ των προτέρων. Οι μέθοδοι που θα μας απασχολήσουν μολονότι βασίζονται σε απλές έννοιες και αποτελέσματα της Θεωρίας Πιθανοτήτων επιλύουν προβλήματα λήψης αποφάσεων πολύ γενικής μορφής. Στην περίπτωση που οι στατιστικές των δειγμάτων είναι εντελώς γνωστές εκ των προτέρων, το πρόβλημα της εξέτασης υποθέσεων θα επιλυθεί πλήρως στη γενική του μορφή και μάλιστα με βέλτιστο τρόπο. Στην περίπτωση που οι εν λόγω στατιστικές περιέχουν άγνωστες ή τυχαίες παραμέτρους θα προταθούν ενδιαφέρουσες τεχνικές επίλυσης του προβλήματος. Όσον αφορά στην περίπτωση των άγνωστων παραμέτρων, γνωστός ευριστικός τρόπος επίλυσης της βιβλιογραφίας, θα αποδειχθεί ότι είναι βέλτιστος σύμφωνα με καλώς ορισμένο κριτήριο. 3.2 Ντετερμινιστικοί κανόνες λήψης αποφάσεων Η πλέον συνήθης μορφή του προβλήματος εξέτασης υποθέσεων είναι η εξής: μας διατίθεται μια συλλογή από τυχαία δείγματα X =[χ 1, χ 2,...,χ N ] t και ενδιαφερόμαστε να επιλέξουμε μεταξύ δύο πιθανών σεναρίων όσον αφορά στη στατιστική τους συμπεριφορά 0 : X 0 (X) 1 : X 1 (X), όπου το πλήθος N και οι από κοινού πυκνότητες πιθανότητας 0 (X), 1 (X) θεωρούνται εντελώς γνωστές εκ των προτέρων. Τα σενάρια 0, 1 καλούνται υποθέσεις και η υπόθεση 0 είναι γνωστή σαν μηδενική ή ονομαστική ενώ η 1 σαν εναλλακτική. Θα πρέπει να σημειώσουμε ότι η i (X) αποτελεί την πυκνότητα πιθανότητας των τυχαίων δειγμάτων X με δεδομένο ότι τα δείγματα ακολουθούν στην πραγματικότητα την υπόθεση i. ε κάθε υλοποίηση X των τυχαίων δειγμάτων X που διατίθεται, καλούμαστε να αποφασίσουμε εάν τα δεδομένα κατανέμονται σύμφωνα με την πυκνότητα πιθανότητας 24

3.2 τετερμινιστικοί κανόνες λήψης αποφάσεων 25 0 ή 1. Ένας κανόνας απόφασης θα βασιστεί επομένως αποκλειστικά στα διαθέσιμα δεδομένα X καθώς και στην εκ των προτέρων γνώση των δύο δυνατών στατιστικών. Πέραν αυτών θα υποθέσουμε ότι δεν διατίθεται άλλη πληροφορία. Εάν ακολουθήσουμε μια ντετερμινιστική πολιτική αποφάσεων τότε σε κάθε διάνυσμα X ο κανόνας απόφασης πρέπει να αντιστοιχίσει μια μοναδική επιλογή ( 0 ή 1 ). Εάν συγκεντρώσουμε όλα τα X στα οποία ο κανόνας απόφασης αντιστοιχίζει το σενάριο 1 και καλέσουμε το σύνολο αυτό A 1 τότε το A 1 αποτελεί υποσύνολο του χώρου R N μέσα στον οποίο κινούνται τα δεδομένα X. Γίνεται επίσης φανερό ότι εάν κάποιο Σχήμα 3.1 : Σχηματική αναπαράσταση διαμελισμού του χώρου R N σε δύο ξένα μεταξύ τους υποσύνολα A 0,A 1 στα οποία λαμβάνονται αποφάσεις υπέρ των σεναρίων 0 και 1 αντίστοιχα. X δεν ανήκει στο A 1 αλλά στο συμπλήρωμα A 0 = A c 1, τότε στην περίπτωση αυτή ο κανόνας απόφασης αντιστοιχίζει το σενάριο 0 (θυμίζουμε ότι το A 1 περιέχει όλα τα X για τα οποία αποφασίζουμε υπέρ της 1, συνεπώς το συμπλήρωμά του A 0 θα περιέχει όλα τα X για τα οποία αποφασίζουμε υπέρ του 0 ). Στο Σχήμα 3.1 παρουσιάζεται η γραφική αναπαράσταση διαμελισμού του χώρου σε δύο πιθανά σύνολα A 0,A 1. Δεν είναι δύσκολο να κατανοήσουμε ότι κάθε κανόνας απόφασης ισοδυναμεί με ένα διαφορετικό διαμελισμό του χώρου R N. Επίσης κάθε διαμελισμός του R N μπορεί άμεσα να μετατραπεί σε κανόνα λήψης αποφάσεων (αποφασίζουμε υπέρ του 1 εάν X A 1 διαφορετικά αποφασίζουμε 0 ). Η γενίκευση της δυαδικής περίπτωσης είναι προφανώς η εξέταση περισσοτέρων των δύο, δηλαδή πολλαπλών υποθέσεων. Εάν τα δεδομένα X μπορούν να προέλθουν από K σενάρια, τότε έχουμε τις υποθέσεις 0 : 1 :. K 1 : X 0 (X) X 1 (X). X K 1 (X), και στόχος μας είναι η επιλογή, με κάθε υλοποίηση X, μιας εκ των δυνατών αυτών υποθέσεων. ε βάση τη ντετερμινιστική λογική λήψης αποφάσεων, οφείλουμε να διαμελίσουμε το χώρο R N σε K υποσύνολα A 0,A 1,...,A K 1, τα οποία είναι ξένα μεταξύ τους, δηλαδή A i A j = για i j, και τα οποία καλύπτουν πλήρως τον R N (δηλαδή

26 Κεφάλαιο 3 : Βέλτιστη εξέταση υποθέσεων Σχήμα 3.2 : Σχηματική αναπαράσταση διαμελισμού του χώρου R N σε K μη επικαλυπτόμενα σύνολα αποφάσεων A 0,...,A K 1 στα οποία λαμβάνονται αποφάσεις υπέρ των σεναρίων 0,..., K 1 αντίστοιχα. K 1 i=0 A i = R N ), όπως παραστατικά παρουσιάζεται στο Σχήμα 3.2. Παρατηρούμε ότι και πάλι, σε κάθε X R N αντιστοιχίζεται, μοναδικά, μια από τις K δυνατές υποθέσεις. Ντετερμινιστικοί κανόνες απόφασης : Σε ένα πρόβλημα εξέτασης K υποθέσεων 0, 1,..., K 1, ένας ντετερμινιστικός κανόνας απόφασης που βασίζεται στα δεδομένα X R N, ισοδυναμεί με ένα διαμελισμό του χώρου R N σε K μη επικαλυπτόμενα υποσύνολα A 0,A 1,...,A K 1, στα οποία όταν X A i, τότε λαμβάνεται απόφαση υπέρ της υπόθεσης i. Η διαπίστωση αυτή είναι εξαιρετικά χρήσιμη αφού ουσιαστικά μας προσφέρει ένα απτό μαθηματικό μοντέλο για τους ντετερμινιστικούς κανόνες απόφασης. ογικό επόμενο βήμα θα αποτελούσε ο καθορισμός ενός διαμελισμού του χώρου που να καταλήγει σε βέλτιστο κανόνα απόφασης. Πριν όμως εξεταστούν προβλήματα της μορφής αυτής θεωρείται σκόπιμο να εμπλουτιστούν οι διαδικασίες απόφασης και με κανόνες που διαθέτουν το στοιχείο της τυχαιότητας. 3.3 Τυχαιοποιημένοι κανόνες λήψης αποφάσεων Στο προηγούμενο εδάφιο εξετάστηκαν ντετερμινιστικοί κανόνες απόφασης οι οποίοι αντιστοιχίζουν μια μοναδική υπόθεση σε κάθε σημείο X R N. Οι τυχαιοποιημένοι κανόνες απόφασης δεν υπόκεινται στον συγκεκριμένο περιορισμό αφού είναι σε θέση να αντιστοιχήσουν όλες τις δυνατές υποθέσεις σε κάθε σημείο του χώρου! Η επιλογή μιας υπόθεσης γίνεται με τη βοήθεια ενός παιχνιδιού τύχης στο οποίο λαμβάνεται απόφαση υπέρ της υπόθεσης i με πιθανότητα δ i (X),i =0,...,K 1, η οποία εξαρτάται από τα δεδομένα X. Τυχαιοποιημένοι κανόνες απόφασης : Σε ένα πρόβλημα εξέτασης K υποθέσεων 0, 1,..., K 1, ένας τυχαιοποιημένος κανόνας απόφασης που βασίζεται αποκλειστικά σε μια συλλογή δεδομένων X R N, καθορίζεται από τις συναρτήσεις δ 0 (X), δ 1 (X),...,δ K 1 (X), στις οποίες η δ i (X) εκφράζει την πιθανότητα με την οποία η υπόθεση i επιλέγεται σε ένα παιχνίδι τύχης.