Βέλτιστη εξέταση υποθέσεων

Transcript

1 2 Βέλτιστη εξέταση υποθέσεων 2.1 Εισαγωγικά Στο παρόν κεφάλαιο θα παρουσιαστούν και θα αναλυθούν διεξοδικά τεχνικές εξέτασης υποθέσεων. Θα επικεντρωθούμε κυρίως στις τεχνικές σταθερού αριθμού δειγμάτων στις οποίες το πλήθος των δειγμάτων είναι δεδομένο και γνωστό εκ των προτέρων. Οι μέθοδοι που θα μας απασχολήσουν μολονότι βασίζονται σε απλές έννοιες και αποτελέσματα της Θεωρίας Πιθανοτήτων επιλύουν προβλήματα λήψης αποφάσεων πολύ γενικής μορφής. Στην περίπτωση που οι στατιστικές των δειγμάτων είναι εντελώς γνωστές εκ των προτέρων, το πρόβλημα της εξέτασης υποθέσεων θα επιλυθεί πλήρως στη γενική του μορφή και μάλιστα με βέλτιστο τρόπο. Στην περίπτωση που οι εν λόγω στατιστικές περιέχουν άγνωστες ή τυχαίες παραμέτρους θα προταθούν ενδιαφέρουσες τεχνικές ε- πίλυσης του προβλήματος. Όσον αφορά στην περίπτωση των άγνωστων παραμέτρων, γνωστός ευριστικός τρόπος επίλυσης της βιβλιογραφίας, θα αποδειχθεί ότι είναι βέλτιστος σύμφωνα με καλώς ορισμένο κριτήριο. 2.2 Ντετερμινιστικοί κανόνες λήψης αποφάσεων Η πλέον συνήθης μορφή του προβλήματος εξέτασης υποθέσεων είναι η εξής: μας διατίθεται μια συλλογή από τυχαία δείγματα X = [χ 1, χ 2,..., χ N ] t και ενδιαφερόμαστε να επιλέξουμε μεταξύ δύο πιθανών σεναρίων όσον αφορά στη στατιστική τους συμπεριφορά : X f 0 (X) : X f 1 (X), όπου το πλήθος N και οι από κοινού πυκνότητες πιθανότητας f 0 (X), f 1 (X) θεωρούνται εντελώς γνωστές εκ των προτέρων. Τα σενάρια, καλούνται υποθέσεις και η υπόθεση είναι γνωστή σαν μηδενική ή ονομαστική ενώ η σαν εναλλακτική. Θα πρέπει να σημειώσουμε ότι η f i (X) αποτελεί την πυκνότητα πιθανότητας των τυχαίων δειγμάτων X με δεδομένο ότι τα δείγματα ακολουθούν στην πραγματικότητα την υπόθεση H i. Με κάθε υλοποίηση X των τυχαίων δειγμάτων X που διατίθεται, καλούμαστε να αποφασίσουμε εάν τα δεδομένα κατανέμονται σύμφωνα με την πυκνότητα πιθανότητας 6

2 2.2 Ντετερμινιστικοί κανόνες λήψης αποφάσεων 7 f 0 ή f 1. Ένας κανόνας απόφασης θα βασιστεί επομένως αποκλειστικά στα διαθέσιμα δεδομένα X καθώς και στην εκ των προτέρων γνώση των δύο δυνατών στατιστικών. Πέραν αυτών θα υποθέσουμε ότι δεν διατίθεται άλλη πληροφορία. Εάν ακολουθήσουμε μια ντετερμινιστική πολιτική αποφάσεων τότε σε κάθε διάνυσμα X ο κανόνας απόφασης πρέπει να αντιστοιχίσει μια μοναδική επιλογή ( ή ). Εάν συγκεντρώσουμε όλα τα X στα οποία ο κανόνας απόφασης αντιστοιχίζει το σενάριο και καλέσουμε το σύνολο αυτό A 1 τότε το A 1 αποτελεί υποσύνολο του χώρου R N μέσα στον οποίο κινούνται τα δεδομένα X. Γίνεται επίσης φανερό ότι εάν κάποιο Σχήμα 2.1 : Σχηματική αναπαράσταση διαμελισμού του χώρου R N σε δύο ξένα μεταξύ τους υποσύνολα A 0, A 1 στα οποία λαμβάνονται αποφάσεις υπέρ των σεναρίων και αντίστοιχα. X δεν ανήκει στο A 1 αλλά στο συμπλήρωμα A 0 = A c 1, τότε στην περίπτωση αυτή ο κανόνας απόφασης αντιστοιχίζει το σενάριο (θυμίζουμε ότι το A 1 περιέχει όλα τα X για τα οποία αποφασίζουμε υπέρ της, συνεπώς το συμπλήρωμά του A 0 θα περιέχει όλα τα X για τα οποία αποφασίζουμε υπέρ του ). Στο Σχήμα 2.1 παρουσιάζεται η γραφική αναπαράσταση διαμελισμού του χώρου σε δύο πιθανά σύνολα A 0, A 1. Δεν είναι δύσκολο να κατανοήσουμε ότι κάθε κανόνας απόφασης ισοδυναμεί με ένα διαφορετικό διαμελισμό του χώρου R N. Επίσης κάθε διαμελισμός του R N μπορεί άμεσα να μετατραπεί σε κανόνα λήψης αποφάσεων (αποφασίζουμε υπέρ του εάν X A 1 διαφορετικά αποφασίζουμε ). Η γενίκευση της δυαδικής περίπτωσης είναι προφανώς η εξέταση περισσοτέρων των δύο, δηλαδή πολλαπλών υποθέσεων. Εάν τα δεδομένα X μπορούν να προέλθουν από K σενάρια, τότε έχουμε τις υποθέσεις : :. H K 1 : X f 0 (X) X f 1 (X). X f K 1 (X), και στόχος μας είναι η επιλογή, με κάθε υλοποίηση X, μιας εκ των δυνατών αυτών υποθέσεων. Με βάση τη ντετερμινιστική λογική λήψης αποφάσεων, οφείλουμε να διαμελίσουμε το χώρο R N σε K υποσύνολα A 0, A 1,..., A K 1, τα οποία είναι ξένα μεταξύ τους, δηλαδή A i A j = για i j, και τα οποία καλύπτουν πλήρως τον R N (δηλαδή

3 8 Κεφάλαιο 2 : Βέλτιστη εξέταση υποθέσεων Σχήμα 2.2 : Σχηματική αναπαράσταση διαμελισμού του χώρου R N σε K μη επικαλυπτόμενα σύνολα αποφάσεων A 0,..., A K 1 στα οποία λαμβάνονται αποφάσεις υπέρ των σεναρίων,..., H K 1 αντίστοιχα. K 1 i=0 A i = R N ), όπως παραστατικά παρουσιάζεται στο Σχήμα 2.2. Παρατηρούμε ότι και πάλι, σε κάθε X R N αντιστοιχίζεται, μοναδικά, μια από τις K δυνατές υποθέσεις. Ντετερμινιστικοί κανόνες απόφασης : Σε ένα πρόβλημα εξέτασης K υποθέσεων,,..., H K 1, ένας ντετερμινιστικός κανόνας απόφασης που βασίζεται στα δεδομένα X R N, ισοδυναμεί με ένα διαμελισμό του χώρου R N σε K μη επικαλυπτόμενα υποσύνολα A 0, A 1,..., A K 1, στα οποία όταν X A i, τότε λαμβάνεται απόφαση υπέρ της υπόθεσης H i. Η διαπίστωση αυτή είναι εξαιρετικά χρήσιμη αφού ουσιαστικά μας προσφέρει ένα απτό μαθηματικό μοντέλο για τους ντετερμινιστικούς κανόνες απόφασης. Λογικό επόμενο βήμα θα αποτελούσε ο καθορισμός ενός διαμελισμού του χώρου που να καταλήγει σε βέλτιστο κανόνα απόφασης. Πριν όμως εξεταστούν προβλήματα της μορφής αυτής θεωρείται σκόπιμο να εμπλουτιστούν οι διαδικασίες απόφασης και με κανόνες που διαθέτουν το στοιχείο της τυχαιότητας. 2.3 Τυχαιοποιημένοι κανόνες λήψης αποφάσεων Στο προηγούμενο εδάφιο εξετάστηκαν ντετερμινιστικοί κανόνες απόφασης οι οποίοι αντιστοιχίζουν μια μοναδική υπόθεση σε κάθε σημείο X R N. Οι τυχαιοποιημένοι κανόνες απόφασης δεν υπόκεινται στον συγκεκριμένο περιορισμό αφού είναι σε θέση να αντιστοιχήσουν όλες τις δυνατές υποθέσεις σε κάθε σημείο του χώρου! Η επιλογή μιας υπόθεσης γίνεται με τη βοήθεια ενός παιχνιδιού τύχης στο οποίο λαμβάνεται απόφαση υπέρ της υπόθεσης H i με πιθανότητα δ i (X), i = 0,..., K 1, η οποία εξαρτάται από τα δεδομένα X. Τυχαιοποιημένοι κανόνες απόφασης : Σε ένα πρόβλημα εξέτασης K υποθέσεων,,..., H K 1, ένας τυχαιοποιημένος κανόνας απόφασης που βασίζεται αποκλειστικά σε μια συλλογή δεδομένων X R N, καθορίζεται από τις συναρτήσεις δ 0 (X), δ 1 (X),..., δ K 1 (X), στις οποίες η δ i (X) εκφράζει την πιθανότητα με την οποία η υπόθεση H i επιλέγεται σε ένα παιχνίδι τύχης.

4 2.3 Τυχαιοποιημένοι κανόνες λήψης αποφάσεων 9 Παρατηρούμε ότι ένας τυχαιοποιημένος κανόνας απόφασης δεν αποτελεί πλέον ένα διαμελισμό του χώρου R N σε K υποσύνολα A 0, A 1,..., A K 1, όπως στη ντετερμινιστική περίπτωση αλλά καθορίζεται με τη βοήθεια K συναρτήσεων πιθανότητας δ(x) = [δ 0 (X) δ K 1 (X)]. Οι πιθανότητες δ i (X) 0 ικανοποιούν την εξίσωση δ 0 (X) + δ 1 (X) + + δ K 1 (X) = 1, X R N (2.1) γεγονός που υποδηλώνει ότι με κάθε συλλογή δεδομένων X που μας διατίθεται, επιλέγουμε οπωσδήποτε μια από τις K διαθέσιμες υποθέσεις. Συνοψίζοντας, ο τρόπος απόφασης που προτείνεται είναι ο ακόλουθος: χρησιμοποιώντας τα δεδομένα X, υπολογίζονται οι πιθανότητες δ i (X) και υλοποιείται ένα παιχνίδι τύχης στο οποίο με πιθανότητα δ i (X) επιλέγεται η υπόθεση H i. Είναι επομένως φανερό ότι με τα ίδια δεδομένα X είναι δυνατό να παρθεί απόφαση υπέρ οιασδήποτε υπόθεσης, κάτι που φυσικά δεν συμβαίνει στην περίπτωση των ντετερμινιστικών κανόνων στους οποίους σε κάθε X αντιστοιχεί μια μοναδική υπόθεση. Οι τυχαιοποιημένοι κανόνες αποτελούν γενίκευση των ντετερμινιστικών κανόνων απόφασης. Αυτό γίνεται εύκολα αντιληπτό μετά τον ορισμό της συνάρτησης δείκτη ενός συνόλου A { 1 για X A 1 A (X) = 0 αλλού. Με τη βοήθεια της συνάρτησης αυτής ένας ντετερμινιστικός κανόνας, που διαμελίζει το χώρο στα σύνολα A 0,..., A K 1, εκφράζεται σαν τυχαιοποιημένος επιλέγοντας σαν πιθανότητες απόφασης τις δ i (X) = 1 Ai (X), i = 0,..., K 1. Παρατηρούμε ότι K 1 i=0 1 A i (X) = 1, αφού τα σύνολα δεν έχουν κοινό σημείο και καλύπτουν όλο τον χώρο. Εάν X A k τότε δ k (X) = 1 ενώ οι υπόλοιπες πιθανότητες γίνονται μηδέν πράγμα που σημαίνει ότι με πιθανότητα 1 (συνεπώς ντετερμινιστικά) επιλέγεται η υπόθεση H k. Η χρήση τυχαιοποιημένων κανόνων απόφασης είναι αντίθετη προς την ανθρώπινη αντίληψη σε θέματα λήψης αποφάσεων, όπου υπερτερεί σαφώς η προτίμηση για ντετερμινιστικούς κανόνες. Είναι ωστόσο αρκετά συχνή και η λήψη αποφάσεων με τη βοήθεια ενός παιχνιδιού τύχης (όπως κορώνα/γράμματα) όταν η γνώση του προβλήματος δεν είναι αρκετή ώστε να επιτρέπει τη λήψη ντετερμινιστικής απόφασης. Ενδιαφέρον στοιχείο αποτελεί το γεγονός ύπαρξης περιπτώσεων στην πράξη στις οποίες, όσο περίεργο και εάν ακούγεται, η βέλτιστη επιλογή είναι ένας τυχαιοποιημένος κανόνας. Παρήγορο ευτυχώς σημείο είναι ότι στη συντριπτική πλειοψηφία των εφαρμογών οι βέλτιστοι κανόνες απόφασης, όπως θα διαπιστώσουμε στη συνέχεια, είναι κατά βάση ντετερμινιστικοί. Στο εξής θα τοποθετηθούμε αποκλειστικά στο χώρο των τυχαιοποιημένων κανόνων απόφασης με στόχο, στα επόμενα εδάφια, να προσδιοριστούν κανόνες, ή ισοδύναμα πιθανότητες απόφασης δ i (X), οι οποίοι να είναι βέλτιστοι σύμφωνα με καλώς καθορισμένα κριτήρια απόδοσης.

5 10 Κεφάλαιο 2 : Βέλτιστη εξέταση υποθέσεων 2.4 Εξέταση δυαδικών υποθέσεων Θα ξεκινήσουμε την εξέταση υποθέσεων με την απλούστερη δυνατή περίπτωση, δηλαδή την εξέταση δυαδικών υποθέσεων όπου, όπως προαναφέραμε, καλούμαστε να επιλέξουμε μεταξύ των υποθέσεων,. Είναι επομένως απαραίτητο να καθοριστούν οι δύο πιθανότητες απόφασης δ(x) = [δ 0 (X) δ 1 (X)] (ουσιαστικά η μια εκ των δύο αφού, λόγω της (2.1), δ 0 (X) = 1 δ 1 (X)). Στη συνέχεια θα παρουσιαστούν αναλυτικά διάφοροι εναλλακτικοί τρόποι λήψης βέλτιστων αποφάσεων για τη δυαδική περίπτωση καθώς και οι δυνατές επεκτάσεις τους στην εξέταση πολλαπλών υποθέσεων Εξέταση δυαδικών υποθέσεων κατά Bayes Σε ένα πρόβλημα εξέτασης υποθέσεων έχουν ενδιαφέρον τα ακόλουθα γεγονότα: {Αποφασίζω υπέρ της υπόθεσης H i ενώ τα δεδομένα ακολουθούν στην πραγματικότητα την υπόθεση H j }. Το γεγονός αυτό θα το συμβολίζουμε σαν {D i &H j }. Στη δυαδική περίπτωση υπάρχουν τέσσερα γεγονότα της μορφής αυτής τα οποία απαριθμούνται στη συνέχεια {D 0 & } : σωστή απόφαση, Κόστος απόφασης = C 00 {D 1 & } : λανθασμένη απόφαση, Κόστος απόφασης = C 10 {D 0 & } : λανθασμένη απόφαση, Κόστος απόφασης = C 01 {D 1 & } : σωστή απόφαση, Κόστος απόφασης = C 11 Σε μια αντιμετώπιση του προβλήματος κατά Bayes, σε κάθε ένα από τα τέσσερα γεγονότα {D i &H j } αντιστοιχίζεται ένα κόστος απόφασης C ij. Τα τέσσερα αυτά κόστη καθορίζονται από τον Ερευνητή (ο οποίος είναι ο μόνος κατάλληλος να ποσοτικοποιήσει τη σημασία των αποφάσεών του) και θα θεωρηθούν σταθερές και γνωστές ποσότητες. Με τη βοήθεια των ποσοτήτων αυτών είναι δυνατό να οριστεί το μέσο κόστος C(δ), το οποίο εξαρτάται φυσικά από τον κανόνα απόφασης δ(x) = [δ 0 (X) δ 1 (X)], ως εξής C(δ) = 1 1 C ij P(D i &H j ). (2.2) i=0 j=0 Το μέσο κόστος αποτελεί λογικό κριτήριο απόδοσης ενός κανόνα απόφασης. Ως εκ τούτου, στη συνέχεια, θα επικεντρωθούμε στην κατάλληλη επιλογή των πιθανοτήτων δ i (X) στοχεύοντας στην ελαχιστοποίηση του εν λόγω κριτηρίου. Χρησιμοποιώντας δεσμευμένες πιθανότητες οι πιθανότητες ενδιαφέροντος γράφονται P(D i &H j ) = P(D i H j )P(H j ). Οι πιθανότητες P( ), P( ) = 1 P( ) εκφράζουν την εκ των προτέρων (αρχική) γνώση μας για τη συχνότητα εμφάνισης κάθε υπόθεσης και θα θεωρηθούν στη συνέχεια γνωστές. Η ποσότητα P(D i H j ) εκφράζει την πιθανότητα να αποφασίσουμε υπέρ της υπόθεσης H i με δεδομένο ότι τα δείγματα ακολουθούν στην πραγματικότητα την

6 2.4 Εξέταση δυαδικών υποθέσεων 11 υπόθεση H j. Οι δύο πιθανότητες σφάλματος P(D 1 ) και P(D 0 ) στη Στατιστική βιβλιογραφία καλούνται Τύπου Ι και Τύπου ΙΙ αντίστοιχα. Με ένα τυχαιοποιημένο κανόνα, σε κάθε σημείο X του χώρου αποφασίζουμε υπέρ της H i με ποσοστό δ i (X), με την πιθανότητα φυσικά αυτή να είναι ανεξάρτητη από την πραγματική υπόθεση που δημειουργεί τα δείγματα X. Όταν τα δείγματα ακολουθούν την υπόθεση H j τότε η πυκνότητα πιθανότητάς τους είναι η f j (X), αυτό συνεπάγεται τα εξής P(D i H j ) = P(D i, X dx < X X H j ) = P(D i X dx < X X, H j )P(X dx < X X H j ) = δ i (X)f j (X)dX, όπου ο πρώτος όρος μετά τη δεύτερη ισότητα είναι η πιθανότητα να επιλέξουμε την i-οστή υπόθεση με δεδομένο ότι τα δείγματα μας είναι X και η πραγματική υπόθεση H j. Όπως όμως εξηγήσαμε παραπάνω, με δεδομένα τα δείγματα, η πιθανότητα επιλογής είναι ίση προς δ i (X) η οποία είνα ανεξάρτητη της πραγματικής υπόθεσης. Είναι τέλος ξεκάθαρο από το ορισμό ότι P(X dx < X X H j ) = f j (X)dX, γεγονός που αποδίδει το τελευταίο ολοκλήρωμα. Αντικαθιστώντας στην (2.2) τις προηγούμενες δύο εξισώσεις, καταλήγουμε 1 1 C(δ) = C ij P(H j ) δ i (X)f j (X) dx (2.3) όπου i=0 j=0 = δ 0 (X)[C 00 P( )f 0 (X) + C 01 P( )f 1 (X)] dx + δ 1 (X)[C 10 P( )f 0 (X) + C 11 P( )f 1 (X)] dx (2.4) = [δ 0 (X)c 0 (X) + δ 1 (X)c 1 (X)] dx (2.5) c i (X) = C i0 P( )f 0 (X) + C i1 P( )f 1 (X), i = 0, 1, (2.6) είναι γνωστές συναρτήσεις αφού, όπως παρατηρούμε από τον ορισμό τους εξαρτώνται αποκλειστικά από εκ των προτέρων γνωστή πληροφορία. Χρησιμοποιώντας το γεγονός ότι c i (X) min{c 0 (X), c 1 (X)} και από την (2.1) ότι δ 0 (X)+δ 1 (X) = 1 με δ i (X) 0, διαπιστώνουμε ότι για τη (2.5) μπορούμε να γράφουμε C(δ) = [δ 0 (X)c 0 (X) + δ 1 (X)c 1 (X)] dx min c i(x)[δ 0 (X) + δ 1 (X)] dx i=0,1 = min c i(x) dx. (2.7) i=0,1

7 12 Κεφάλαιο 2 : Βέλτιστη εξέταση υποθέσεων Το τελευταίο ολοκλήρωμα στη Σχέση (2.7) αποτελεί κάτω φράγμα στο μέσο κόστος ο- ποιουδήποτε κανόνα απόφασης αφού είναι ανεξάρτητο του δ(x). Το ερώτημα είναι κατά πόσο υπάρχει κανόνας ο οποίος πετυχαίνει ακριβώς το εν λόγω κάτω όριο αφού τότε ο κανόνας αυτός θα αποτελούσε βέλτιστη (κατά Bayes) επιλογή επειδή θα διέθετε το μικρότερο δυνατό μέσο κόστος. Θα δούμε αμέσως ότι ένας τέτοιος κανόνας πράγματι υπάρχει και μάλιστα είναι, κατά βάση, ντετερμινιστικός. Εάν ορίσουμε τα ακόλουθα τρία σύνολα A 0 = {X : c 0 (X) < c 1 (X)} A 1 = {X : c 1 (X) < c 0 (X)} A 01 = {X : c 0 (X) = c 1 (X)}, τότε με τη βοήθειά τους μπορούμε να γράψουμε C(δ) min c i(x) dx i=0,1 = c 0 (X) dx + c 1 (X) dx A 0 A 1 + [γ 0 (X)c 0 (X) + γ 1 (X)c 1 (X)] dx A 01 = c 0 (X)[1 A0 (X) + γ 0 (X)1 A01 (X)] dx + c 1 (X)[1 A1 (X) + γ 1 (X)1 A01 (X)] dx, όπου γ i (X) 0 αυθαίρετες συμπληρωματικές συναρτήσεις πιθανότητας (δηλαδή γ 0 (X) +γ 1 (X) = 1, γ i (X) 0). Από την προηγούμενη ανάλυση συμπεραίνουμε ότι η βέλτιστη επιλογή των πιθανοτήτων απόφασης είναι δ i (X) = 1 Ai (X) + γ i (X)1 A01 (X), i = 0, 1. (2.8) Ο βέλτιστος κανόνας είναι επομένως κατά βάση ντετερμινιστικός αφού αποφασίζουμε με βεβαιότητα υπέρ της όταν c 0 (X) < c 1 (X), προτιμούμε την υπόθεση όταν c 1 (X) < c 0 (X) και τέλος, μόνον όταν οι δύο συναρτήσεις είναι ίσες καταφεύγουμε σε ένα τυχαίο παιχνίδι λήψης αποφάσεων προτιμώντας το με πιθανότητα γ 0 (X) και το με γ 1 (X) = 1 γ 0 (X). Μολονότι η ύπαρξη του συνόλου A 01 αφήνει μια αίσθηση αβεβαιότητας (λόγω μη μοναδικότητας του βέλτιστου κανόνα) το γεγονός αυτό, στην πράξη, δεν είναι ιδιαίτερα ενοχλητικό επειδή συνήθως το A 01 έχει μηδενική πιθανότητα εμφάνισης και συνεπώς, στις περιπτώσεις αυτές, δεν μας απασχολεί ο καθορισμός των πιθανοτήτων γ i (X). Α- κόμη και όταν η πιθανότητα του συνόλου A 01 δεν είναι μηδενική, για τη μέθοδο Bayes,

8 2.4 Εξέταση δυαδικών υποθέσεων 13 είναι δυνατό να το αντιστοιχήσουμε αυθαίρετα σε οποιαδήποτε από τις δύο υποθέσεις κρίνεται σκόπιμο δίχως αυτό να μεταβάλει τη συνολική βέλτιστη απόδοση. Αντικαθιστώντας τα c i (X) από την (2.6) και υποθέτοντας ότι το κόστος μιας λανθασμένης απόφασης είναι μεγαλύτερο από το κόστος μιας σωστής, δηλαδή C 10 > C 00 και C 01 > C 11 καταλήγουμε σε ισοδύναμη περιγραφή του βέλτιστου κανόνα απόφασης Απόφαση με πιθανότητα γ 1 (X) με πιθανότητα γ 0 (X) Συνθήκη όταν f 1(X) f 0 (X) > (C 10 C 00 )P( ) (C 01 C 11 )P( ) όταν f 1(X) f 0 (X) = (C 10 C 00 )P( ) (C 01 C 11 )P( ) όταν f 1(X) f 0 (X) = (C 10 C 00 )P( ) (C 01 C 11 )P( ) όταν f 1(X) f 0 (X) < (C 10 C 00 )P( ) (C 01 C 11 )P( ) Τον κανόνα αυτόν παριστάνουμε με συμπαγή τρόπο ως εξής f 1 (X) f 0 (X) (C 10 C 00)P( ) (C 1 C 11 )P( ) 0 (2.9) έχοντας υπόψη ότι στην περίπτωση της ισότητας είναι απαραίτητο να εφαρμόσουμε τυχαιοποιημένη λήψη απόφασης. Συμπερασματικά, το βέλτιστο τεστ κατά Bayes συνίσταται στον υπολογισμού του λόγου πιθανοφάνειας L (X) = f 1(X) και στη σύγκρισή του με το σταθερό κατώφλι (C 10 C 00 )P( ) (C 01 C 11 )P( ) f 0 (X). Εάν ο λόγος πιθανοφάνειας υπερτερεί του κατωφλίου αποφασίζουμε υπέρ της υπόθεσης, εάν υπολείπεται, υπέρ της και τέλος όταν συμπίπτει αποφασίζουμε υπέρ της μιας ή της άλλης υπόθεσης είτε ντετερμινιστικά είτε ακολουθώντας κάποια αυθαίρετη τυχαιοποίηση. Το τελευταίο γεγονός δεν έχει καμία σημασία όταν η πιθανότητα εμφάνισής του είναι μηδενική. Αυτό συμβαίνει όταν π.χ. η τυχαία μεταβλητή L (X ) = f 1(X ) f 0 (X ) έχει πυκνότητα πιθανότητας απαλλαγμένη από συνάρτηση Dirac στο σημείο (C 10 C 00 )P( ) (C 01 C 11 )P( ). Ο κανόνας αυτός απόφασης καλείται τεστ λόγου πιθανοφάνειας. Είναι πολύ συχνό επίσης να λογαριθμούμε τις δύο πλευρές της Σχέσης (2.9), με α- ποτέλεσμα να συγκρίνουμε τον λογάριθμο του λόγου πιθανοφάνειας με κατώφλι log ( ) H1 f1 (X) f 0 (X) log ( ) (C10 C 00 )P( ). (2.10) (C 01 C 11 )P( ) Στην ειδική περίπτωση που τα δείγματα χ n, n = 1,..., N είναι στατιστικά ανεξάρτητα με πυκνότητες πιθανότητας f 0 n(x), f 1 n(x) κάτω από τις δύο υποθέσεις αντίστοιχα, τότε

9 14 Κεφάλαιο 2 : Βέλτιστη εξέταση υποθέσεων το τεστ λόγου πιθανοφάνειας γράφεται ή λογαριθμώντας, N n=1 f 1 n(x n ) f 0 n(x n ) (C 10 C 00)P( ) (C 1 C 11 )P( ), 0 N ( ) f 1 H1 log n (x n ) fn(x 0 n ) n=1 log ( ) (C10 C 00 )P( ). (C 01 C 11 )P( ) Εάν επιπλέον τα δείγματα, κάτω από κάθε υπόθεση, έχουν την ίδια κατανομή τότε ο κανόνας γράφεται N ( ) (C10 C 00 )P( ) ϕ(x n ) log, (2.11) (C n=1 1 C 11 )P( ) 0 όπου ϕ(x) = log(f 1 (x)/f 0 (x)) και f 0 (x), f 1 (x) είναι οι κοινές πυκνότητες πιθανότητας των δειγμάτων κάτω από τις υποθέσεις, αντίστοιχα Ελαχιστοποίηση πιθανότητας σφάλματος Εάν στη μεθοδολογία που αναπτύχθηκε στο προηγούμενο εδάφιο, επιλέξουμε C 00 = C 11 = 0 και C 10 = C 01 = 1, τότε το μέσο κόστος γίνεται C(δ) = P(D 0 & ) + P(D 1 & ), εκφράζει δηλαδή την πιθανότητα σφάλματος (λανθασμένης απόφασης), ποσότητα εξαιρετικά σημαντική σε πολλές εφαρμογές (ιδίως τηλεπικοινωνίες). Το αντίστοιχο βέλτιστο Bayes τεστ (2.9) παίρνει τότε τη μορφή f 1 (X) f 0 (X) P( ) P( ) = P() 1 P( ), (2.12) το οποίο συνεχίζει να είναι ένα τεστ λόγου πιθανοφάνειας αλλά με διαφορετικό κατώφλι. Ένας διαφορετικός τρόπος γραφής του προηγούμενου τεστ είναι ο εξής f 1 (X)P( ) f 0 (X)P( ) + f 1 (X)P( ) f 0 (X)P( ) f 0 (X)P( ) + f 1 (X)P( ), όπου στη δεξιά και αριστερή πλευρά της ανισότητας αναγνωρίζουμε τις εκ των υστέρων πιθανότητες P( X) και P(H 2 X) αντίστοιχα. Συνεπώς το τεστ συνίσταται στην επιλογή της υπόθεσης με τη μεγαλύτερη εκ των υστέρων πιθανότητα.

10 2.4 Εξέταση δυαδικών υποθέσεων 15 Στο τεστ (2.12), εάν οι εκ των προτέρων πιθανότητες των δύο υποθέσεων είναι ίσες, δηλαδή P( ) = P( ) = 0.5, ο βέλτιστος κανόνας απόφασης γράφεται f 1 (X) f 0 (X) 1 ή ισοδύναμα f 1 (X) f 0 (X). Με άλλα λόγια, αποφασίζουμε υπέρ της υπόθεσης που έχει τη μεγαλύτερη πιθανοφάνεια. Όπως γίνεται φανερό, το μεγαλύτερο πρόβλημα σε μια λογική τύπου Bayes αποτελούν ο καθορισμός των παραμέτρων C ij και των εκ των προτέρων πιθανοτήτων P(H i ). Ειδικά οι τελευταίες, σε ορισμένες εφαρμογές, είναι εξαιρετικά δύσκολο να προσδιοριστούν 1. Προκειμένου να εξαλείψουμε την ανάγκη γνώσης των εκ των προτέρων πιθανοτήτων P( ), P( ) = 1 P( ) αναπτύχθηκαν δύο εναλλακτικές μέθοδοι τις οποίες παρουσιάζουμε στη συνέχεια Min-Max κανόνες απόφασης Στο εδάφιο αυτό θα θεωρήσουμε ότι δεν είναι γνωστή η εκ των προτέρων πιθανότητα π 0 = P( ). Θα επιχειρήσουμε επομένως να κατασκευάσουμε βέλτιστο κανόνα που δεν απαιτεί την εν λόγω γνώση. Από την Εξίσωση (2.4) διαπιστώνεται ότι το μέσο κόστος, εκτός του κανόνα δ(x) = [δ 0 (X) δ 1 (X)], εξαρτάται και από την άγνωστη εκ των προτέρων πιθανότητα π 0, δηλαδή C(δ, π 0 ) = π 0 [C 00 δ 0 (X) + C 10 δ 1 (X)]f 0 (X) dx + (1 π 0 ) [C 01 δ 0 (X) + C 11 δ 1 (X)]f 1 (X) dx = π 0 C 0 (δ) + (1 π 0 )C 1 (δ), (2.13) όπου C i (δ) συμβολίζει το μέσο κόστος απόφασης με δεδομένο ότι η πραγματικότητα είναι H i. Για συγκεκριμένο κανόνα απόφασης δ(x), από την (2.13) συνάγεται ότι το μέσο κόστος C(δ, π 0 ) είναι γραμμική συνάρτηση της πιθανότητας π 0, γεγονός που δεν επιτρέπει τη χρήση του σαν κριτηρίου απόδοσης 2. Προκειμένου να καταλήξουμε σε χρήσιμο κριτήριο μπορούμε να επιλέξουμε τη χειρότερη περίπτωση πιθανότητας π 0 που είναι δυνατό να εμφανιστεί για τον κανόνα δ(x), δηλαδή C(δ) = max C(δ, π 0) = max{c 0 (δ), C 1 (δ)}. (2.14) 0 π Στις ψηφιακές τηλεπικοινωνίες οι υποθέσεις θεωρούνται ισοπίθανες και ενδιαφερόμαστε κυρίως για την ελαχιστοποίηση της πιθανότητας σφάλματος. Σε εφαρμογές όμως ανίχνευσης όπως στα ραντάρ, είναι πολύ δύσκολο να προσδιοριστεί το (εκ των προτέρων) ποσοστό εμφάνισης ή μη ενός αεροπλάνου. 2 Ένα κριτήριο απόδοσης πρέπει να ποσοτικοποιεί την απόδοση του κάθε κανόνα υπολογίζοντας συγκεκριμένη αριθμητική ποσότητα και όχι συνάρτηση.

11 16 Κεφάλαιο 2 : Βέλτιστη εξέταση υποθέσεων Επειδή το C(δ) εξαρτάται μόνο από τον κανόνα απόφασης δ(x) μπορεί να αποτελέσει κριτήριο απόδοσης. Ο βέλτιστος επομένως κανόνας συνίσταται στην επιλογή του δ(x) = [δ 0 (X) δ 1 (X)] που ελαχιστοποιεί το C(δ), δηλαδή ενδιαφερόμαστε να επιλύσουμε το ακόλουθο min-max πρόβλημα min δ max C(δ, π 0). (2.15) 0 π 0 1 Ένα πρόβλημα βελτιστοποίησης που βρίσκεται σε άμεση σχέση με το min-max πρόβλημα της (2.15) είναι το αντίστοιχο max-min, δηλαδή max min C(δ, π 0 ). (2.16) 0 π 0 1 δ Τα δύο αυτά προβλήματα είναι διαφορετικά και δεν έχουν κατ ανάγκη την ίδια λύση 3. Στην περίπτωσή μας, όπως θα διαπιστώσουμε, η λύση του τελευταίου αποτελεί λύση και του (2.15). Ο λόγος που επιλέγουμε το (2.16), αντί του επιθυμητού (2.15), είναι διότι η λύση του (2.16) είναι άμεση. Εάν η εκ των προτέρων πιθανότητα π 0 ήταν γνωστή τότε θα μπορούσαμε να κατασκευάσουμε το βέλτιστο Bayes τεστ από τη Σχέση (2.9), τον κανόνα του οποίου θα συμβολίζουμε με δ π0 (X) αφού εξαρτάται από την τιμή της παραμέτρου π 0. Το αντίστοιχο βέλτιστο μέσο κόστος θα το συμβολίζουμε με C(π 0 ), δηλαδή C(π 0 ) = min δ C(δ, π 0 ) = C(δ π0, π 0 ). Η εκ των προτέρων πιθανότητα π 0 στην οποία η συνάρτηση C(π 0) εμφανίζει μέγιστο δίνει επομένως τη λύση στο max-min πρόβλημα της (2.16). Στο εν λόγω π 0 αντιστοιχεί ο κανόνας απόφασης Bayes δ π 0 (X) f 1 (X) f 0 (X) (C 10 C 00)π 0 (C 01 C 11 )(1 π0 (2.17) ), με τον οποίο ολοκληρώνεται η επίλυση του max-min προβλήματος (2.16). Στόχος μας στη συνέχεια είναι να δείξουμε ότι ο κανόνας δ π 0 (X) επιλύει επίσης και το min-max πρόβλημα της (2.15), δηλαδή ότι για κάθε κανόνα δ(x) ισχύει max C(δ, π 0 ) max C(δ π π 0 π 0, π 0 ). (2.18) 0 Παρατηρούμε κατ αρχάς ότι για οποιονδήποτε κανόνα δ(x) ισχύει max C(δ, π 0 ) C(δ, π π 0 0) min C(δ, π δ 0) = C(δ π 0, π0) = C(π0). 3 Τα προβλήματα min-max και max-min αποτελούν αντικείμενο της Θεωρίας Παιγνίων. Σε περίπτωση μάλιστα που καταλήγουν στην ίδια λύση τότε αυτή καλείται τιμή του παιχνιδιού.

12 2.4 Εξέταση δυαδικών υποθέσεων 17 Συνεπώς για να δείξουμε την ανισότητα (2.18) αρκεί να εξασφαλίσουμε ότι C(π 0) = C(δ π 0, π 0) = max π 0 C(δ π 0, π 0 ). (2.19) Η απόδειξη της (2.19) απαιτεί λεπτομερή ανάλυση της συνάρτησης C(π 0 ) = C(δ π0, π 0 ). Στο Σχήμα 2.3 εμφανίζεται μια πιθανή μορφή της συνάρτησης C(π 0 ). Έστω ότι καθορίζουμε μια τιμή π 0 = ϖ και βρίσκουμε τον αντίστοιχο κανόνα Bayes δ ϖ (X). Εάν χρησιμοποιήσουμε τον εν λόγω κανόνα για τη περίπτωση μιας οιασδήποτε άλλης αρχικής πιθανότητας π 0 τότε το μέσο κόστος που προκύπτει είναι C(δ ϖ, π 0 ). Η συνάρτηση Σχήμα 2.3 : Αναπαράσταση των συναρτήσεων C(π 0), C(δ ϖ, π 0). αυτή, λόγω της (2.13), είναι γραμμική ως προς π 0 και παρουσιάζεται επίσης στο σχήμα με γκρίζο χρώμα. Η εν λόγω ευθεία τέμνει τη συνάρτηση C(π 0 ) στο σημείο π 0 = ϖ αφού εξ ορισμού C(ϖ) = C(δ ϖ, ϖ). Το ερώτημα είναι κατά πόσο είναι δυνατόν η γραμμή C(δ ϖ, π 0 ) να διαθέτει τιμές χαμηλότερες της C(π 0 ), όπως παρουσιάζεται στο σχήμα. Η απάντηση είναι αρνητική, διότι εάν συνέβαινε κάτι τέτοιο, τότε για την εκ των προτέρων πιθανότητα ϖ 1 η χρήση του κανόνα δ ϖ (X) που αποδίδει κόστος C(δ ϖ, ϖ 1 ) (γκρίζα κηλίδα) θα ήταν προτιμητέα του κανόνα Bayes δ ϖ1 (X) που αποδίδει βέλτιστο (ελάχιστο) κόστος C(ϖ 1 ) (κυανή κηλίδα), καταλήγουμε δηλαδή σε αντίφαση. Συνεπώς η γραμμή C(δ ϖ, π 0 ) τέμνει σε ένα μοναδικό σημείο την καμπύλη C(π 0 ) (υποχρεωτικά στο C(ϖ)) και ως εκ τούτου είναι εφαπτόμενη της C(π 0 ) στο π 0 = ϖ (όπως η μαύρη γραμμή). Επιπλέον η εφαπτομένη πρέπει να είναι πάντοτε πάνω από την καμπύλη C(π 0 ), πράγμα που υποδηλώνει ότι η C(π 0 ) είναι μια κυρτή συνάρτηση. Με δεδομένο ότι η C(π 0 ) είναι κυρτή συμπεραίνουμε ότι θα διαθέτει μοναδικό μέγιστο το οποίο μπορεί να εμφανιστεί σε τρία διαφορετικά σημεία. Στην πρώτη περίπτωση που φαίνεται στο Σχήμα 2.4, το μέγιστο εμφανίζεται στο εσωτερικό του διαστήματος [0, 1], οπότε o κανόνας δ π 0 (X) έχει σταθερή απόδοση για όλες τις τιμές της παραμέτρου π 0 (αφού η εφαπτόμενη γραμμή στο π0 είναι οριζόντια). Αυτό φυσικά συνεπάγεται C(δ π 0, π 0) = C(δ π 0, π 0 ) = max π 0 C(δ π 0, π 0 ), επομένως ισχύει η (2.19). Η δεύτερη περίπτωση αντιστοιχεί στην εμφάνιση του μέγιστου στο δεξιό άκρο δηλαδή π0 = 1, με αποτέλεσμα ο κανόνας δ π0 (X) να αποφασίζει

13 18 Κεφάλαιο 2 : Βέλτιστη εξέταση υποθέσεων Σχήμα 2.4 : Πιθανή μορφή της συνάρτησης C(π 0) με εμφάνιση του μέγιστου στο εσωτερικό του διαστήματος [0, 1]. Σχήμα 2.5 : Τυπική μορφή της συνάρτησης C(π 0 ) όταν το μέγιστο εμφανίζεται στα δύο άκρα του διαστήματος [0, 1]. πάντοτε υπέρ του (γιατί;). Παρατηρούμε από το Σχήμα 2.5 (αριστερά) ότι η C(π 0 ), λόγω κυρτότητας είναι αύξουσα, με αποτέλεσμα και η εφαπτομένη στο σημείο π 0 = 1 (που αντιστοιχεί στη συνάρτηση C(δ π 0, π 0 )) να είναι επίσης αύξουσα και άρα ισχύει η (2.19). Τέλος η τρίτη περίπτωση αντιστοιχεί στην εμφάνιση του μέγιστου στο σημείο π 0 = 0 οπότε, όπως φαίνεται και στο Σχήμα 2.5 (δεξιά), η C(π 0) λόγω κυρτότητας είναι φθίνουσα, ο προτεινόμενος κανόνας αποφασίζει πάντοτε υπέρ του και η γραμμική συνάρτηση C(δ π 0, π 0 ) είναι επίσης φθίνουσα (αφού εφάπτεται της C(π 0 ) στο π 0 = 0) με αποτέλεσμα να ισχύει και πάλι η (2.19), πράγμα που ολοκληρώνει την απόδειξη. Το βέλτιστο min-max τεστ εμφανίζεται στη Σχέση (2.17). Μολονότι ο min-max κανόνας δίνει μαθηματική λύση στο πρόβλημα της άγνωστης εκ των προτέρων πιθανότητας π 0 = P( ) καταλήγει πολύ συχνά σε τεστ το οποίο είναι απαισιόδοξο επειδή προσπαθεί να προστατευθεί ενάντια στη χειρότερη δυνατή περίπτωση αρχικών πιθανοτήτων. Μάλιστα, δεν είναι σπάνιο η μέθοδος να καταλήγει σε ένα από τα δύο ακραία τεστ στα οποία παίρνεται απόφαση πάντοτε υπέρ της μιας εκ των δύο υποθέσεων 4. Σημαντική ιδιότητα του min-max κανόνα Όπως διαπιστώνουμε από την ανάλυση που προηγήθηκε, η πλέον ενδιαφέρουσα περίπτωση min-max κανόνα λαμβάνει χώραν όταν το π0 εμφανίζεται στο εσωτερικό του 4 Για συνθήκη ικανή να εξασφαλίσει την ύπαρξη μη ακραίου min-max τεστ βλέπε Άσκηση 2.3.

14 2.4 Εξέταση δυαδικών υποθέσεων 19 διαστήματος (0, 1). Θα δείξουμε στη συνέχεια ότι τότε ισχύει μια σημαντική ιδιότητα η οποία αποτελεί συνηθισμένο χαρακτηριστικό των min-max τεχνικών. Από το Σχήμα 2.4 παρατηρούμε ότι η συνάρτηση C(δ π 0, π 0 ) είναι μια σταθερά ως προς π 0, επομένως από (2.13) και επειδή C(δ π 0, 1) = C(δ π 0, 0) συμπεραίνουμε ότι C 0 (δ π 0 ) = C 1 (δ π 0 ). (2.20) Παρατηρούμε δηλαδή, ότι ο min-max βέλτιστος κανόνας εξισορροπεί τα δύο κόστη C 0 (δ), C 1 (δ) το μέγιστο των οποίων, από την (2.13), καθορίζει την απόδοση του κανόνα δ(x). Το χαρακτηριστικό της εξισορρόπησης πολλαπλών κριτηρίων είναι πολύ συνηθισμένο φαινόμενο σε min-max τεχνικές. Από την (2.13) έχουμε ότι C 0 (δ π 0 ) = C 10 P(D 1 ) + C 00 P(D 0 ) = C 00 + (C 10 C 00 )P(D 1 ) C 1 (δ π 0 ) = C 11 P(D 1 ) + C 01 P(D 0 ) = C 01 (C 01 C 11 )P(D 1 ) όπου το D i υποδηλώνει την απόφαση υπέρ της υπόθεσης H i χρησιμοποιώντας τον κανόνα δ π 0 (X). Με βάση τις δύο σχέσεις που αναφέραμε, από την ισότητα (2.20) συμπεραίνουμε ότι P(D 1 ) = C 01 C 00 C 01 C 11 P(D C 10 C 00 C 10 C 1 ). 00 (2.21) Παρατηρούμε δηλαδή ότι υπάρχει μια γνωστή γραμμική σχέση μεταξύ των δύο πιθανοτήτων P(D 1 ), P(D 1 ). Για την ειδική περίπτωση που C 00 = C 11 = 0 και C 10 = C 01 = 1 η σχέση αυτή παίρνει τη μορφή P(D 1 ) = 1 P(D 1 ) = P(D 0 ), (2.22) με άλλα λόγια ο min-max κανόνας εξισορροπεί τα δύο σφάλματα Τύπου Ι και Τύπου ΙΙ Εξέταση δυαδικών υποθέσεων κατά Neyman-Pearson Σε περιπτώσεις όπου μια από τις δύο υποθέσεις έχει μεγαλύτερη σημασία (π.χ. στο ραντάρ η ανίχνευση αεροπλάνου μπορεί να χαρακτηριστεί σημαντικότερη από μια λανθασμένη ανίχνευση), είναι δυνατό να ακολουθήσουμε μια διαφορετική τακτική και εύκολα να ξεπεράσουμε το πρόβλημα καθορισμού των εκ των προτέρων πιθανοτήτων P(H i ). Η ορολογία που θα χρησιμοποιηθεί στη συνέχεια προέρχεται από το πρόβλημα ανίχνευσης σε ραντάρ, ως εκ τούτου οι ποσότητες P A = P(D 1 ), P EΣ = P(D 1 ), P AΠ = P(D 0 ) θα καλούνται πιθανότητα ανίχνευσης, πιθανότητα εσφαλμένου συναγερμού (σφάλμα Τύπου Ι) και πιθανότητα απώλειας (σφάλμα Τύπου ΙΙ), αντίστοιχα. Σε ένα πρόβλημα ανίχνευσης είναι φυσικό να επιθυμούμε μεγιστοποίηση της P A (ισοδύναμα ελαχιστοποίηση της P ΑΠ ) και ελαχιστοποίηση της P EΣ επιλέγοντας κατάλληλα τον κανόνα δ(x) = [δ 0 (X) δ 1 (X)]. Οι δύο αυτές απαιτήσεις είναι δυστυχώς ανταγωνιστικές και είναι αδύνατη η σύγχρονη ικανοποίησή τους αφού η αύξηση της πρώτης

15 20 Κεφάλαιο 2 : Βέλτιστη εξέταση υποθέσεων πιθανότητας οδηγεί σε υποχρεωτική αύξηση και τη δεύτερη. Με βάση αυτό το γεγονός οι Neyman και Pearson πρότειναν το ακόλουθο ενδιαφέρον πρόβλημα βελτιστοποίησης max P A, με περιορισμό P EΣ α, (2.23) δ όπου το 0 α 1 εκφράζει το μέγιστο αποδεκτό ποσοστό εσφαλμένων συναγερμών και αποτελεί ποσότητα που καθορίζεται από τον Ερευνητή. Η πιθανότητα α καλείται στάθμη του τεστ. Με άλλα λόγια: επιθυμούμε να ορίσουμε τον κανόνα που μεγιστοποιεί την πιθανότητα ανίχνευσης αλλά την ίδια στιγμή εξασφαλίζεται ότι οι εσφαλμένοι συναγερμοί δεν ξεπερνούν μια προκαθορισμένη στάθμη α. Το πρόβλημα με τον τρόπο που τέθηκε έχει απόλυτη πρακτική σημασία διότι εκφράζει την ανάγκη για την καλύτερη δυνατή ανίχνευση της υπόθεσης όταν η πραγματικότητα είναι, αλλά με σύγχρονο έλεγχο των εσφαλμένων συναγερμών (λανθασμένων αποφάσεων υπέρ του όταν η πραγματικότητα είναι ). Αξιοσημείωτο είναι το γεγονός ότι στη διατύπωση του προβλήματος δεν υπεισέρχονται οι εκ των προτέρων πιθανότητες αφού το κριτήριο βασίζεται αποκλειστικά στις δεσμευμένες πιθανότητες. Η εύρεση του βέλτιστου κανόνα είναι παραδόξως εξαιρετικά απλή και το αποτέλεσμα εντελώς οικείο. Κατ αρχάς παρατηρούμε ότι P A (δ) = δ 1 (X)f 1 (X) dx, P EΣ (δ) = δ 1 (X)f 0 (X) dx, όπου σημειώσαμε την εξάρτηση των δύο πιθανοτήτων από τον κανόνα απόφασης δ(x). Με τη χρήση πολλαπλασιαστή Lagrange μετατρέπουμε το πρόβλημα βελτιστοποίησης με περιορισμό (2.23) σε ένα ισοδύναμο πρόβλημα δίχως περιορισμό ως εξής P(δ) = P A (δ) λp EΣ (δ) = δ 1 (X)f 1 (X) dx λ δ 1 (X)f 0 (X) dx, όπου λ 0 ο πολλαπλασιαστής Lagrange. Ενδιαφερόμαστε να μεγιστοποιήσουμε το P(δ) ως προς δ(x) αλλά πλέον για όλους τους δυνατούς κανόνες δ(x) και όχι μόνον ό- σους ικανοποιούν τον περιορισμό P EΣ (δ) α. Παρατηρούμε ότι αφού τα δ 0 (X), δ 1 (X) είναι (συμπληρωματικές) συναρτήσεις πιθανότητας ισχύει 0 δ 1 (X) 1, επομένως μπορούμε να γράψουμε 5 P(δ) = δ 1 (X)[f 1 (X) λf 0 (X)] dx max{f 1 (X) λf 0 (X), 0} dx. Το τελευταίο ολοκλήρωμα αποτελεί άνω φράγμα στην απόδοση οιουδήποτε κανόνα, συνεπώς εάν υπάρχει επιλογή η οποία να έχει αυτή την απόδοση, υποχρεωτικά θα μεγιστοποιεί το P(δ). 5 Ποιό θα ήταν το πάνω φράγμα εάν η συνάρτηση δ(x) μπορούσε να πάρει τιμές στο διάστημα [-1,1];

16 2.4 Εξέταση δυαδικών υποθέσεων 21 Εάν ορίσουμε τα τρία σύνολα { A 0 = X : f } { 1(X) f 0 (X) < λ, A 1 = X : f } { 1(X) f 0 (X) > λ, A 01 = X : f } 1(X) f 0 (X) = λ τότε μπορούμε να γράψουμε για το άνω φράγμα P(δ) max{f 1 (X) λf 0 (X), 0} dx = [f 1 (X) λf 0 (X)] dx + A 1 γ 1 (X)[f 1 (X) λf 0 (X)] dx A 01 = [1 A1 (X) + γ 1 (X)1 A01 (X)][f 1 (X) λf 0 (X)] dx, όπου 1 γ 1 (X) 0 αυθαίρετη συνάρτηση πιθανότητας. Συμπεραίνουμε επομένως ότι ο κανόνας ο οποίος μεγιστοποιεί το P(δ) ορίζεται από τις συναρτήσεις δ 1 (X) = 1 A1 (X) + γ 1 (X)1 A01 (X) δ 0 (X) = 1 δ 1 (X) = 1 A0 (X) + {1 γ 1 (X)}1 A01 (X) και είναι κατά βάση ντετερμινιστικός αφού αποφασίζει υπέρ το όταν ο λόγος πιθανοφάνειας είναι μεγαλύτερος από το κατώφλι λ, υπέρ του όταν είναι μικρότερος και τέλος χρησιμοποιεί τυχαιοποίηση όταν οι δύο ποσότητες συμπίπτουν. Το τεστ στο οποίο καταλήξαμε είναι το γνώριμο τεστ του λόγου πιθανοφάνειας f 1 (X) f 0 (X) λ. Απομένει βεβαίως να καθορισθεί το κατώφλι λ καθώς και η πιθανότητα γ 1 (X), ποσότητες οι οποίες μέχρι στιγμής είναι άγνωστες. Τα λ και γ 1 (X) θα επιλεγούν έτσι, ώστε να ικανοποιείται ο περιορισμός του εσφαλμένου συναγερμού με ισότητα. Το πρώτο βήμα είναι να θεωρήσουμε ότι η πιθανότητα γ 1 (X) = γ είναι μια σταθερά. Με την επιλογή αυτή οι δύο πιθανότητες ενδιαφέροντος γράφονται P A (λ, γ) = f 1 (X) dx + γ f 1 (X) dx (2.24) {X: f 1 (X) f 0 (X) >λ} {X: f 1 (X) f 0 (X) =λ} P EΣ (λ, γ) = {X: f 1 (X) f 0 (X) >λ} f 0 (X) dx + γ {X: f 1 (X) f 0 (X) =λ} f 0 (X) dx = α, (2.25) όπου παρατηρούμε ότι στην (2.25) επιθυμούμε να ικανοποιήσουμε τον περιορισμό του εσφαλμένου συναγερμού με ισότητα επιλέγοντας κατάλληλα τις παραμέτρους λ, γ.

17 22 Κεφάλαιο 2 : Βέλτιστη εξέταση υποθέσεων Σχήμα 2.6 : Αντιπροσωπευτική μορφή της συνάρτησης F (λ) και πιθανά σενάρια για τη λύση της εξίσωσης P EΣ = α. Προκειμένου να καθορίσουμε τη λύση της Εξίσωσης (2.25) ας μελετήσουμε αρχικά τη συνάρτηση ( F (λ) = P X : f ) 1(X) f 0 (X) λ H0 = f 0 (X) dx. (2.26) {X: f 1 (X) f 0 (X) λ} Η συνάρτηση αυτή λόγω του ορισμού της είναι φθίνουσα και συνεχής από αριστερά, δηλαδή για ϵ > 0 lim F (λ ϵ) = F (λ-) = F (λ). ϵ 0+ ενώ από δεξιά έχουμε lim F (λ + ϵ) = F (λ+) F (λ). ϵ 0+ Με τη βοήθεια των παρατηρήσεων αυτών συμπεραίνουμε ότι ( F (λ+) = P X : f ) 1(X) f 0 (X) > λ (2.27) ( F (λ) F (λ+) = P X : f ) 1(X) f 0 (X) = λ. (2.28) Χρησιμοποιώντας τις δύο προηγούμενες σχέσεις η Εξίσωση (2.25) γράφεται P EΣ (λ, γ) = F (λ+) + γ[f (λ) F (λ+)] = α. (2.29) Τέλος παρατηρούμε ότι F (0) = 1 και F ( ) = 0. Αντιπροσωπευτική μορφή της συνάρτησης F (λ) παρουσιάζεται στο Σχήμα 2.6. Επειδή η συνάρτηση είναι μονότονη και φραγμένη, είναι κατά βάση συνεχής με το πολύ αριθμήσιμο πλήθος από ασυνέχειες. Εάν η στάθμη α τέμνει την καμπύλη F (λ) σε σημείο συνέχειας (στο Σχήμα 2.6 η περίπτωση της γκρίζας οριζόντιας γραμμής) τότε η επιλογή στις παραμέτρους είναι λ = F 1 (α), γ = 0.

18 2.4 Εξέταση δυαδικών υποθέσεων 23 Αφού το λ = F 1 (α) είναι σημείο συνέχειας, λόγω της (2.28), η πιθανότητα να συμπέσει ο λόγος πιθανοφάνειας με το κατώφλι είναι μηδενική, επομένως η τυχαιοποίηση δεν μας ενδιαφέρει (εάν συμβεί το γεγονός τότε αποφασίζουμε αυθαίρετα υπέρ της μιας ή της άλλης υπόθεσης). Εύκολα διαπιστώνεται ότι η επιλογή των παραμέτρων που περιγράψαμε ικανοποιεί τον περιορισμό (2.25) ή τον ισοδύναμό του (2.29) αφού P EΣ (λ, γ) = F (λ+) = F (λ) = α. Εάν η στάθμη α διέρχεται από σημείο ασυνέχειας της F (λ) (η περίπτωση της μαύρης οριζόντιας γραμμής) τότε δεν υπάρχει λ τέτοιο, ώστε F (λ) = α. Στην περίπτωση αυτή η επιλογή των παραμέτρων είναι η ακόλουθη λ = λ : F (λ ) > α F (λ +), γ = α F (λ +) F (λ ) F (λ +). Όταν δηλαδή το λ = λ είναι σημείο ασυνέχειας, λόγω της (2.28), συνάγεται ότι ο λόγος πιθανοφάνειας συμπίπτει με το κατώφλι λ με πιθανότητα F (λ ) F (λ +) > 0, επομένως είναι απαραίτητη η τυχαιοποίηση κάθε φορά που συμβαίνει το συγκεκριμένο γεγονός. Και πάλι ικανοποιείται ο περιορισμός (2.25) αφού, με αντικατάσταση του γ επαληθεύεται η ισχύς της (2.29). Έως το σημείο αυτό ορίστηκε ένας συγκεκριμένος κανόνας απόφασης, που θα συμβολίζουμε με δ NP (X). Πρόκειται για ένα τεστ λόγου πιθανοφάνειας με καθορισμένο κατώφλι λ και πιθανότητα τυχαιοποίησης γ. Απομένει να αποδείξουμε ότι το τεστ αυτό όντως επιλύει το πρόβλημα βελτιστοποίησης με περιορισμό που ορίστηκε στη Σχέση (2.23). Με άλλα λόγια πρέπει να δείξουμε ότι ο δ NP (X) μεγιστοποιεί την πιθανότητα ανίχνευσης μεταξύ όλων των τεστ δ(x) που ικανοποιούν τον περιορισμό του εσφαλμένου συναγερμού. Έστω επομένως κανόνας δ(x) = [δ 0 (X) δ 1 (X)] που ικανοποιεί τον περιορισμό, δηλαδή δ 1 (X)f 0 (X) dx α, τότε για τις μη αρνητικές τιμές των λ, γ οι οποίες καθορίστηκαν προηγουμένως, μπορούμε να γράψουμε P A (δ) λ α = δ 1 (X)f 1 (X) dx λ α δ 1 (X)f 1 (X) dx λ δ 1 (X)f 0 (X) dx = δ 1 (X)[f 1 (X) λf 0 (X)] dx max{f 1 (X) λf 0 (X), 0} dx = [f 1 (X) λf 0 (X)] dx { f 1 (X) f 0 (X) >λ} + γ [f 1 (X) λf 0 (X)] dx { f 1 (X) f 0 (X) =λ}

19 24 Κεφάλαιο 2 : Βέλτιστη εξέταση υποθέσεων = f 1 (X) dx + γ f 0 (X) [ >λ} { f 1 (X) λ { f 1 (X) { f 1 (X) f 0 (X) >λ} f 0 (X) dx + γ = P A (δ NP ) λp EΣ (δ NP ) = P A (δ NP ) λα, f 1 (X) dx f 0 (X) =λ} { f 1 (X) f 0 (X) =λ} f 0 (X) dx όπου στην προτελευταία ισότητα χρησιμοποιήθηκαν οι (2.24), (2.25). Συγκρίνοντας τον πρώτο με τον τελευταίο όρο, συμπεραίνουμε ότι P A (δ) P A (δ NP ), γεγονός που ολοκληρώνει την απόδειξη της πρότασης. Εάν παραβλέψουμε για ευκολία την περίπτωση της τυχαιοποίησης γ, οι δύο πιθανότητες P A, P EΣ από τις (2.24), (2.25), γράφονται P A = P ( f1 (X) f 0 (X) > λ H1 ), P EΣ = P Με τη βοήθεια της βαθμωτής τυχαίας μεταβλητής L (X ) = f 1(X ) f 0 (X ) ( f1 (X) ) f 0 (X) > λ H0. μπορούμε να ορίσουμε τις δύο συναρτήσεις κατανομής κάτω από τις δύο υποθέσεις F 0 L (x) = P (L (X ) x ), F 1 L (x) = P (L (X ) x ), οι παράγωγοι των οποίων αποδίδουν τις δύο πυκνότητες πιθανότητας fl 0 (x), f L 1 (x) της τυχαίας μεταβλητής L (X ). Στο Σχήμα 2.7 παρουσιάζεται η τυπική μορφή των πυκνο- ] Σχήμα 2.7 : Τυπική μορφή της πυκνότητας πιθανότητας του λόγου πιθανοφάνειας κάτω από τις δύο υποθέσεις και υπολογισμός των πιθανοτήτων P A, P EΣ. τήτων αυτών. Οι πιθανότητες ενδιαφέροντος P A, P EΣ αντιστοιχούν στο εμβαδόν των δύο καμπυλών που βρίσκονται στην σκιασμένη, διαφανή περιοχή, δηλαδή στην ολοκλήρωση των δύο πυκνοτήτων στο διάστημα [λ, ).

20 2.4 Εξέταση δυαδικών υποθέσεων Χαρακτηριστική λειτουργίας δέκτη Η πιθανότητα ανίχνευσης P A σαν συνάρτηση της στάθμης P EΣ αποτελεί ένα πολύ ενδιαφέροντα τρόπο περιγραφής της απόδοσης ενός κανόνα απόφασης. Μεταβάλλοντας τη στάθμη P EΣ = α [0, 1], δημιουργούνται ζεύγη τιμών (P EΣ, P A ) τα οποία σχηματίζουν μια καμπύλη στο επίπεδο με άξονες P EΣ, P A η οποία καλείται χαρακτηριστική λειτουργίας δέκτη (ΧΛΔ). Η συγκεκριμένη ορολογία προέρχεται και πάλι από το πρόβλημα ανίχνευσης σε ραντάρ. Παραδείγματα καμπυλών ΧΛΔ παρουσιάζονται στο Σχήμα 2.8. Παρατηρούμε ότι η καμπύλη κείτεται εξ ολοκλήρου στο εσωτερικό ενός τετραγώνου με P A P EΣ Σχήμα 2.8 : Παράδειγμα καμπυλών ΧΛΔ και περιοχές απόδοσης κανόνων απόφασης. πλευρά μοναδιαίου μήκους. Όσο περισσότερο πλησιάζει η καμπύλη την οριζόντια γραμμή P A = 1 τόσο καλύτερος θεωρείται ο κανόνας αφού επιτυγχάνει μεγαλύτερες τιμές στην πιθανότητα ανίχνευσης. Θα πρέπει να τονισθεί ότι σε κάθε σοβαρό κανόνα απόφασης, η αντίστοιχη καμπύλη ΧΛΔ θα πρέπει να ευρίσκεται εξ ολοκλήρου πάνω από τη διαγώνιο P A = P EΣ. Αυτό γίνεται εύκολα αντιληπτό αφού ο πλήρως τυχαιοποιημένος κανόνας δ 1 (X) = α (και επομένως δ 0 (X) = 1 α), ο οποίος δεν χρησιμοποιεί τα δεδομένα X, επιτυγχάνει απόδοση P A = P EΣ = α με αντίστοιχη καμπύλη ΧΛΔ τη διαγώνιο P A = P EΣ. Συνεπώς ένας κανόνας που χρησιμοποιεί τα διαθέσιμα δείγματα X θα πρέπει να έχει τουλάχιστον την απόδοση αυτή. Παρατηρούμε τέλος ότι ο μοναδικός τρόπος για να επιτύχουμε P EΣ = 0 (όταν τα δεδομένα είναι φυσικά τυχαίες μεταβλητές και όχι ντετερμινιστικές ποσότητες) είναι να αποφασίζουμε πάντοτε υπέρ του, πράγμα που καταλήγει σε απόδοση P A = 0. Από την άλλη πλευρά P EΣ = 1 επιτυγχάνεται επιλέγοντας πάντοτε το οποίο αποδίδει P A = 1. Συνεπώς μια καμπύλη ΧΛΔ περνά υποχρεωτικά από τα σημεία (0,0) και (1,1). Θα πρέπει τέλος να αναφέρουμε ότι υπάρχει καμπύλη ΧΛΔ η οποία αποτελεί άνω όριο:

21 26 Κεφάλαιο 2 : Βέλτιστη εξέταση υποθέσεων Ιδανική απόδοση : Η καμπύλη ΧΛΔ ενός τεστ δεν είναι δυνατό να υπερβεί σε κανένα σημείο την καμπύλη ΧΛΔ του Neyman-Pearson τεστ (γιατί;). Επομένως η καμπύλη ΧΛΔ του Neyman-Pearson τεστ αποτελεί το ιδανικό άνω όριο το οποίο μπορεί να επιτύχει ένα τεστ εξέτασης δυαδικών υποθέσεων. Είναι βεβαίως ξεκάθαρο ότι η καμπύλη αυτή είναι πάντοτε πάνω από τη διαγώνιο P A = P EΣ (γιατί;). Στο Σχήμα 2.8 δημιουργούνται τρεις βασικές περιοχές. Η πρώτη περιλαμβάνεται μεταξύ της ΧΛΔ του Neyman-Pearson και της διαγωνίου, όπου βρίσκονται οι ΧΛΔ των καλών κανόνων απόφασης. Υπάρχει κατόπιν η περιοχή κάτω της διαγωνίου στην οποία η απόδοση ενός κανόνα είναι χειρότερη από την απόδοση του πλήρως τυχαιοποιημένου τεστ το οποίο δεν χρησιμοποιεί τα δεδομένα. Ως εκ τούτου, κανόνες που έχουν τέτοια απόδοση θεωρούνται κακοί. Τέλος υπάρχει η περιοχή που βρίσκεται πάνω από την καμπύλη ΧΛΔ του Neyman-Pearson τεστ και η οποία δεν είναι προσπελάσιμη από κανένα κανόνα απόφασης. Όσον αφορά στους κανόνες τύπου Neyman-Pearson, δηλαδή σύγκριση λόγου πιθανοφάνειας με ένα κατώφλι έχουμε να παρατηρήσουμε ότι στις περιπτώσεις που ο κανόνας εμφανίζει τυχαιοποίηση, όπως στις Εξισώσεις (2.24), (2.25), η καμπύλη ΧΛΔ εμφανίζει γραμμικά τμήματα αφού και οι δύο πιθανότητες αποτελούν γραμμική συνάρτηση της παραμέτρου γ. Συγκεκριμένα εάν το κατώφλι λ είναι σημείο ασυνέχειας της συνάρτησης F (λ) της Σχέσης (2.26), δηλαδή η πιθανότητα ο λόγος πιθανοφάνειας να ισούται με το κατώφλι είναι μη μηδενική, τότε η ΧΛΔ διέρχεται από τα σημεία (P EΣ (λ, 0), P A (λ, 0)), (P EΣ (λ, 1), P A (λ, 1)) και είναι γραμμική ανάμεσά τους. Είναι φυσικό να αναρωτηθεί κανείς γιατί να ενδιαφερόμαστε για κανόνες απόφασης που δεν είναι Neyman-Pearson βέλτιστοι. Ο λόγος που καθιστά ενίοτε αδύνατη τη χρήση του Neyman-Pearson τεστ είναι η ανάγκη του για ακριβή γνώση των δύο πυκνοτήτων f 0 (X), f 1 (X). Επειδή η απαίτηση αυτή δεν ικανοποιείται πάντοτε στην πράξη, καταφεύγουμε στη χρήση εναλλακτικών μεθόδων. Ωστόσο και στις περιπτώσεις αυτές η καμπύλη ΧΛΔ του Neyman-Pearson τεστ μπορεί να αποτελέσει πρότυπο για αξιολόγηση της απόδοσης κάθε εναλλακτικού τεστ. Παράδειγμα 2.1 : Έστω τυχαία μεταβλητή χ και οι ακόλουθες δύο υποθέσεις : χ = w : χ = s + w, όπου w είναι τυχαία μεταβλητή με κατανομή Laplace της μορφής f(w) = 0.5e w. Για το s ισχύει s = ±1, αλλά θα υποθέσουμε ότι δεν γνωρίζουμε εκ των προτέρων το πρόσημο (και επομένως την ακριβή τιμή) του s. Ας προσδιορίσουμε αρχικά το βέλτιστο τεστ υποθέτοντας ότι το s είναι απολύτως γνωστό. Οι δύο πυκνότητες πιθανότητας είναι f 0 (x) = 0.5e x και f 1 (x) = 0.5e x s και το βέλτιστο Neyman-Pearson τεστ e x s + x λ, ή ισοδύναμα x s + x, log(λ).

22 2.4 Εξέταση δυαδικών υποθέσεων 27 Εύκολα διαπιστώνουμε ότι το βέλτιστο τεστ γράφεται ϕ(sx) log(λ), όπου ϕ(x) = 1 όταν x 0 2x 1 όταν 0 x 1 1 όταν 1 x. Παρατηρούμε ότι η εφαρμογή του βέλτιστου κανόνα απαιτεί τη γνώση του s. Ένας διαφορετικός τρόπος αντιμετώπισης του προβλήματος συνίσταται στην κατασκευή ε- νός τεστ το οποίο να μην εξαρτάται από το s. Για το σκοπό αυτό μπορούμε να θεωρήσουμε ότι το s είναι τυχαία μεταβλητή και ότι κάθε μια από τις δύο δυνατές τιμές της μπορεί να εμφανιστεί με πιθανότητα 0.5. Με τη λογική αυτή η πυκνότητα πιθανότητας κάτω από το γίνεται f 1 (x) = 0.25(e x 1 + e x+1 ) ενώ το αντίστοιχο τεστ λόγου πιθανοφάνειας γράφεται f 1 (x) ( f 0 (x) = 0.5 e x 1 + x + e x+1 + x ) λ, το οποίο μετά από πράξεις είναι ισοδύναμο προς ψ(x) log(λ), όπου ψ(x) = { x 1 + log(cosh( x )) όταν 0 x 1 log(cosh(1)) όταν 1 x, αποτέλεσμα που είναι ανεξάρτητο του s. Και στους δύο κανόνες που παρουσιάστηκαν, όταν το κατώφλι πάρει τιμές ίσες προς τις οριακές τιμές των δύο συναρτήσεων ϕ(x) ή ψ(x) τότε ο λόγος πιθανοφάνειας γίνεται ίσος με το κατώφλι με πιθανότητα μεγαλύτερη του μηδενός. Ας υποθέσουμε ότι κάτω από το η ακριβής τιμή του s είναι s = 1. Εάν γνωρίζαμε την πληροφορία αυτή τότε θα μπορούσαμε να εφαρμόσουμε το πρώτο τεστ με s = 1 το οποίο θα ήταν βέλτιστο. Για να υπολογίσουμε τις πιθανότητες ανίχνευσης και εσφαλμένου συναγερμού παρατηρούμε ότι μόνο για 1 < log(λ) < 1 ο κανόνας είναι ντετερμινιστικός και αποφασίζουμε υπέρ του όταν x > 0.5[log(λ) + 1] = η(λ). Οι πιθανότητες ενδιαφέροντος γίνονται P A = P(ϕ(x) log(λ) ) = P EΣ = P(ϕ(x) log(λ) ) = 1 log(λ) e (1 η) 1 < log(λ) < log(λ) 1 log(λ) 1 0.5e η 1 < log(λ) < log(λ). Παρατηρούμε ότι οι πιθανότητες ενδιαφέροντος εμφανίζουν ασυνέχειες από τον συνδυασμό (1, 1) στον (1 0.5e 1, 0.5) για log(λ) = 1, καθώς και από το συνδυασμό (0.5, 0.5e 1 ) στον (0, 0) για log(λ) = 1. Συνεπώς στις δύο αυτές τιμές του κατωφλίου θα εφαρμοστεί τυχαιοποίηση η οποία θα δημιουργήσει γραμμική μετάβαση από το ένα σημείο της ΧΛΔ στο άλλο. Ας υποθέσουμε τώρα ότι δεν γνωρίζουμε την πληροφορία ότι s = 1 και, εσφαλμένως, εκτιμούμε ότι s = 1. Εάν χρησιμοποιήσουμε την τιμή αυτή στο πρώτο τεστ τότε φυσικά ο κανόνας που προκύπτει δεν είναι πλέον βέλτιστος. Για τον υπολογισμό των δύο πιθανοτήτων έχουμε ότι κάτω από το, λόγω συμμετρίας, η πιθανότητα είναι ακριβώς ίδια με προηγουμένως, ενώ για

23 28 Κεφάλαιο 2 : Βέλτιστη εξέταση υποθέσεων την πιθανότητα ανίχνευσης ισχύει 1 log(λ) 1 P A = P(ϕ( x) log(λ) ) = 0.5e (1+η) 1 < log(λ) < log(λ) Παρατηρούμε και πάλι τις δύο ασυνέχειες που θα δημιουργήσουν δύο γραμμικά τμήματα στην αντίστοιχη καμπύλη ΧΛΔ. Εάν αντί του πρώτου τεστ, που χρειάζεται τον ακριβή προσδιορισμό του s, χρησιμοποιήσουμε τον δεύτερο κανόνα, που είναι ανεξάρτητος της παραμέτρου, τότε το τεστ για 1 log(λ) < log(cosh(1)) είναι ισοδύναμο προς x > ψ 1 (log(λ)) = κ(λ). Οι δύο πιθανότητες ενδιαφέροντος γράφονται P A = P(ψ(x) log(λ) ) = P EΣ = P(ψ(x) log(λ) ) = 1 log(λ) 1 1 e 1 sinh(κ) 1 < log(λ) log(cosh(1)) 0 log(cosh(1)) < log(λ) 1 log(λ) 1 1 < log(λ) log(cosh(1)) 0 log(cosh(1)) < log(λ). e κ Οι δύο πιθανότητες παρουσιάζουν ασυνέχεια μόνο για log(λ) = log(cosh(1)) και επομένως μόνο στην περίπτωση αυτή θα χρειαστεί τυχαιοποίηση η οποία θα οδηγήσει την αντίστοιχη καμπύλη ΧΛΔ από τον συνδυασμό (0.5(1 + e 2 ), e 1 ) στον (0, 0) με γραμμικό τρόπο. P A P EΣ Σχήμα 2.9 : Καμπύλες ΧΛΔ για τον βέλτιστο κανόνα με σωστό πρόσημο (κυανή), με λάθος πρόσημο (μαύρη) και εναλλακτικό κανόνα ανεξάρτητο του προσήμου (λευκή). Στο Σχήμα 2.9 παρουσιάζονται οι καμπύλες ΧΛΔ για τις τρεις περιπτώσεις. Παρατηρούμε ότι το βέλτιστο τεστ όταν γνωρίζουμε το πρόσημο του s έχει την καλύτερη απόδοση (κυανή καμπύλη). Δυστυχώς όμως το τεστ αυτό, εάν κάνουμε λάθος στο πρόσημο εμφανίζει εξαιρετικά κακή απόδοση (μαύρη καμπύλη) η οποία είναι σημαντικά κατώτερη ακόμη και του τελείως τυχαιοποιημένου κανόνα (διαγώνιος) που δεν χρησιμοποιεί την πληροφορία του δείγματος. Το δεύτερο

24 2.4 Εξέταση δυαδικών υποθέσεων 29 τεστ (λευκή καμπύλη) από την άλλη πλευρά είναι φυσικά κατώτερο του βέλτιστου, αλλά εξασφαλίζει αξιοπρεπή απόδοση δίχως την ανάγκη εκ των προτέρων γνώσης του προσήμου. Πρέπει τέλος να σημειώσουμε την ύπαρξη των γραμμικών τμημάτων και στις τρεις καμπύλες ΧΛΔ που είναι αποτέλεσμα της τυχαιοποίησης στα αντίστοιχα τεστ. Τα εν λόγω τμήματα εμφανίζονται με λεπτότερου πάχους γραμμή. Φυσικά οι επιδόσεις των δύο καλών κανόνων είναι μακριά από την ιδανική τιμή P A = 1, αλλά αυτό είναι εν μέρει αναμενόμενο αφού χρησιμοποιείται μόλις ένα δείγμα Υπολογισμός κατωφλίου min-max κανόνα απόφασης Με τη βοήθεια της καμπύλης ΧΛΔ ενός κανόνα λόγου πιθανοφάνειας, είναι δυνατό να προταθεί ένας γραφικός τρόπος υπολογισμού του κατωφλίου του min-max βέλτιστου τεστ του Εδαφίου Στο Σχήμα 2.10 παρουσιάζεται η γραφική αναπαράσταση της P A P EΣ Σχήμα 2.10 : Γραφικός υπολογισμός κατωφλίου του min-max κανόνα. καμπύλης ΧΛΔ ενός κανόνα λόγου πιθανοφάνειας με κυανό χρώμα. Από της Εξίσωση (2.21) έχουμε για τον min-max βέλτιστο κανόνα ότι ισχύει μια γραμμική σχέση της μορφής P A = c 0 c 1 P EΣ μεταξύ των δύο πιθανοτήτων, όπου c 0, c 1 γνωστές ποσότητες. Η σχέση αυτή ορίζει στο επίπεδο (P EΣ, P A ) μια ευθεία η οποία σημειώνεται στο σχήμα με μαύρη λεπτή γραμμή. Το σημείο τομής των δύο καμπυλών ορίζει το ζευγάρι των πιθανοτήτων (P EΣ, P A ) του βέλτιστου min-max κανόνα. Σύμφωνα με την Άσκηση 2.6 η κλίση της εφαπτομένης στη ΧΛΔ στο σημείο τομής (λευκή γραμμή), καθορίζει τέλος και το επιθυμητό κατώφλι του min-max τεστ Εξισορροπημένη πιθανότητα σφάλματος Μολονότι στα περισσότερα συστήματα ανίχνευσης, στόχο αποτελεί η ελαχιστοποίηση της πιθανότητας σφάλματος, σε ορισμένες εφαρμογές (κυρίως στις ψηφιακές τηλεπικοι-

25 30 Κεφάλαιο 2 : Βέλτιστη εξέταση υποθέσεων νωνίες) υπάρχει έντονο ενδιαφέρον τα σφάλματα ανά υπόθεση να είναι εξισορροπημένα. Για παράδειγμα σε ένα δυαδικό σύστημα τηλεπικοινωνιών στο οποίο μεταδίδονται μηδενικά και μονάδες με ίση πιθανότητα, δεν είναι επιθυμητό να γίνονται περισσότερα σφάλματα στην ανίχνευση του ενός συμβόλου απ ό,τι στο άλλο, έστω και εάν αυτό ε- λαχιστοποιεί τη συνολική πιθανότητα σφάλματος. Για το λόγο αυτό στο παρόν εδάφιο θα εξεταστούν κανόνες οι οποίοι ελαχιστοποιούν την συνολική πιθανότητα σφάλματος αλλά πετυχαίνουν συγχρόνως εξισορρόπηση των δύο σφαλμάτων. Ένας κανόνας απόφασης δ(x) = [δ 0 (X) δ 1 (X)] θα καλείται εξισορροπημένος εφόσον P EΣ = δ 1 (X)f 0 (X) dx = δ 0 (X)f 1 (X) dx = P AΠ, (2.30) εξισορροπεί δηλαδή τις πιθανότητες εσφαλμένου συναγερμού και απώλειας. Με βάση τον εν λόγω περιορισμό είναι επιθυμητό να επιλεγεί ο κανόνας ο οποίος μεγιστοποιεί την πιθανότητα ορθής επιλογής μιας εκ των δύο υποθέσεων ή ισοδύναμα ελαχιστοποιεί μια εκ των δύο πιθανοτήτων σφάλματος. Λόγω φυσικά του περιορισμού (2.30) δεν έχει σημασία ποια από τις δύο υποθέσεις θα επιλεγεί. Θα πρέπει να σημειώσουμε ότι η έννοια των εξισορροπημένων πιθανοτήτων σφάλματος εμφανίστηκε για πρώτη φορά στους min-max κανόνες και συγκεκριμένα στην Εξίσωση (2.22) σαν παράγωγο της εν λόγω τεχνικής. Στο παρόν εδάφιο θα εστιάσουμε την ανάλυσή μας στην έννοια της εξισορρόπησης αυτής καθ εαυτής με στόχο να ανακαλύψουμε το βέλτιστο εξισορροπημένο τεστ. Ας επιχειρήσουμε επομένως να ελαχιστοποιήσουμε την πιθανότητα P EΣ, να επιλέξουμε δηλαδή τον βέλτιστο κανόνα ως εξής δ(x) = arg min δ 1 (X)f 0 (X) dx δ μεταξύ όλων των κανόνων που ικανοποιούν την απαίτηση της εξισορρόπησης (2.30). Χρησιμοποιώντας πολλαπλασιαστή Lagrange μετατρέπουμε το πρόβλημα βελτιστοποίησης με περιορισμό σε ένα αντίστοιχο δίχως περιορισμό και εφαρμόζουμε τους κάτωθι υπολογισμούς P(δ) = = ( δ 1 (X)f 0 (X) dx λ δ 1 (X)(1 λ)f 0 (X) dx + min{(1 λ)f 0 (X), λf 1 (X)} dx. δ 1 (X)f 0 (X) dx δ 0 (X)λf 1 (X) dx ) δ 0 (X)f 1 (X) dx Εύκολα διαπιστώνουμε ότι εάν λ > 1 τότε αποφασίζουμε πάντοτε υπέρ της υπόθεσης, με αποτέλεσμα η πιθανότητα απώλειας να είναι 0 ενώ η πιθανότητα εσφαλμένου συναγερμού 1 (δεν είναι δηλαδή εφικτή η εξισορρόπηση). Σε αντίστοιχο συμπέρασμα

26 2.4 Εξέταση δυαδικών υποθέσεων 31 καταλήγουμε εάν επιλέξουμε λ < 0. Συνεπώς η εξισορρόπηση των δύο σφαλμάτων είναι δυνατή μόνον όταν λ [0, 1]. Υποθέτοντας ότι ο πολλαπλασιαστής Lagrange βρίσκεται στο διάστημα αυτό, διαπιστώνουμε ότι ο βέλτιστος κανόνας ορίζεται ως εξής f 1 (X) f 0 (X) 1 λ λ = η, δηλαδή το γνώριμό μας τεστ του λόγου πιθανοφάνειας. Το κατώφλι η επιλέγεται έτσι, ώστε να ικανοποιείται ο περιορισμός (2.30). Για το σκοπό αυτό παρατηρούμε ότι εάν ορίσουμε F 0 (η) = { f 1 (X) f 0 (X) η} f 0 (X) dx, F 1 (η) = { f 1 (X) f 0 (X) η} f 1 (X) dx, τότε η μεν πρώτη συνάρτηση για τιμές 0 η < είναι φθίνουσα με F 0 (0) = 1, F 0 ( ) = 0, ενώ η δεύτερη είναι αύξουσα με F 1 (0) = 0, F 0 ( ) = 1. Εάν τέλος για ευκολία υποθέσουμε ότι και οι δύο αυτές συναρτήσεις είναι συνεχείς, τότε υπάρχει σημείο τομής η των δύο συναρτήσεων το οποίο αποτελεί το επιθυμητό κατώφλι. Εάν οι δύο καμπύλες δεν τέμνονται λόγω ασυνέχειας, τότε είναι εύκολο να δείξουμε, αντίστοιχα με την περίπτωση Neyman-Pearson, ότι υπάρχει κατώφλι το οποίο συνοδεύεται από πιθανότητα τυχαιοποίησης που εφαρμόζεται κάθε φορά που ο λόγος πιθανοφάνειας συμπίπτει με το κατώφλι. Οι λεπτομέρειες επαφίενται σαν άσκηση (βλέπε Άσκηση 2.8). Η συνολική πιθανότητα σφάλματος (ΠΣ), υποθέτοντας ίσες εκ των προτέρων πιθανότητες για τις δύο υποθέσεις, γίνεται ΠΣ = 0.5(P EΣ + P AΠ ) = P EΣ = P AΠ, είναι δηλαδή επίσης ίση προς τις δύο επιμέρους εξισορροπημένες πιθανότητες σφάλματος. Σχέση εξισορροπημένου και min-max κανόνα Όπως ακριβώς στην min-max περίπτωση, έτσι και για τον εξισορροπημένο κανόνα είναι δυνατός ο γραφικός προσδιορισμός του βέλτιστου κατωφλίου. Στο Σχήμα 2.11, στο επίπεδο (P EΣ, P A ) παρουσιάζεται η καμπύλη ΧΛΔ του τεστ λόγου πιθανοφάνειας. Το σημείο τομής της καμπύλης με την ευθεία P A = 1 P EΣ (μαύρη γραμμή) ορίζει τις πιθανότητες P EΣ, P A του βέλτιστου εξισορροπημένου κανόνα. Η κλίση της εφαπτομένης στην καμπύλη ΧΛΔ στο σημείο τομής (λευκή γραμμή), ορίζει το βέλτιστο κατώφλι. Συνδυάζοντας την Εξίσωση (2.22) με το Εδάφιο 2.4.6, διαπιστώνεται ότι με τον ίδιο ακριβώς τρόπο υπολογίζεται το min-max βέλτιστο τεστ για την ειδική περίπτωση C 00 = C 11 = 0, C 10 = C 01 = 1 που αναφέρεται στην πιθανότητα σφάλματος. Επομένως τα δύο αυτά