Φράγματα τύπου Chernoff και Εφαρμογές

Transcript

1 Φράγματα τύπου Chernoff και Εφαρμογές ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Δημήτριος Ν. Σαββάτης Επιβλέπουσα: Βιολέττα Πιπερίγκου Επίκουρος Καθηγήτρια Πανεπιστημίου Πατρών Πάτρα, Δεκέμβριος 2015

2 ii

3 Φράγματα τύπου Chernoff και Εφαρμογές ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Δημήτριος Ν. Σαββάτης Επιβλέπουσα: Βιολέττα Πιπερίγκου Επίκουρος Καθηγήτρια Πανεπιστημίου Πατρών Εγκρίθηκε από την τριμελή εξεταστική επιτροπή την 18η Δεκεμβρίου Σ.Κουρούκλης Δ.Καββαδίας Β. Πιπερίγκου Καθηγητής Επίκουρος Καθηγητής Επίκουρος Καθηγήτρια Πανεπιστημίου Πατρών Πανεπιστημίου Πατρών Πανεπιστημίου Πατρών Πάτρα, Δεκέμβριος 2015 iii

4 Πανεπιστήμιο Πατρών, Τμήμα Μαθηματικών Δημήτριος Ν. Σαββάτης Με την επιφύλαξη παντός δικαιώματος. iv

5 Περίληψη Συχνά χρειάζεται να υπολογίσουμε την πιθανότητα επιβίωσης P (X t) για μια μη αρνητική τυχαία μεταβλητή X. Σε αρκετές περιπτώσεις, που μας ενδιαφέρουν, η πιθανότητα αυτή δεν μπορεί να δοθεί σε κλειστή μορφή και έτσι αρκούμαστε στην εύρεση άνω φραγμάτων για αυτήν. Στην παρούσα διπλωματική εργασία, στο Κεφάλαιο 1 ορίζονται διάφορα τέτοια φράγματα, που έχουν αναπτυχθεί στην βιβλιογραφία με την χρήση της τεχνικής του Chernoff, στα οποία αξιοποιείται η ανισότητα Markov για τη συνάρτηση της ροπογεννήτριας. Έτσι, οι ροπές περί την αρχή ή οι παραγοντικές ροπές της τυχαίας μεταβλητής, εμφανίζονται κατά περίπτωση στα φράγματα αυτά, τα οποία υπολογίζονται για τυχαίες μεταβλητές που ακολουθούν κάποιες από τις γνωστές συνεχείς και διακριτές κατανομές. Στο Κεφάλαιο 2 παρουσιάζονται φράγματα τύπου Chernoff για αθροίσματα τυχαίων μεταβλητών, όπως αθροίσματα δοκιμών Poisson ή γεωμετρικών τυχαίων μεταβλητών ή μεταβλητών με στήριγμα το (0,1). Τα φράγματα αυτά χρησιμοποιούνται ευρέως, και στο Κεφάλαιο 3 παρουσιάζονται εφαρμογές των φραγμάτων αυτών σε περιπτώσεις τυχαιοποιημένων αλγορίθμων, όπου οι μεταβλητές που μας ενδιαφέρουν μπορούν να μοντελοποιηθούν ως αθροίσματα τυχαίων μεταβλητών. Τέλος στο Κεφάλαιο 4 παρουσιάζεται η σύγκριση των φραγμάτων που έχουν δοθεί στο Κεφάλαιο 1. Εστιάζοντας σε διακριτές τυχαίες μεταβλητές, με στήριγμα τους μη αρνητικούς ακεραίους, η απόδειξη της υπεροχής του φράγματος των παραγοντικών ροπών γίνεται με έναν εναλλακτικό και σύντομο τρόπο. Χρησιμοποιώντας αυτό το φράγμα προτείνεται κάποια, κατά περίπτωση, βελτίωση του φράγματος για το άθροισμα δοκιμών Poisson, που παρουσιάστηκε στο Κεφάλαιο 2. Λέξεις Κλειδιά Πιθανότητα επιβίωσης, ροπές περί την αρχή, παραγοντικές ροπές, ροπογεννήτρια, πιθανογεννήτρια, ανισότητα Markov, φράγμα Chernoff, δοκιμές Bernoulli, δοκιμές Poisson, διακριτές κατανομές, συνεχείς κατανομές, εξισορρόπηση συνόλου, δρομολόγηση πακέτου v

6 Abstract We often need to compute the survivor probability P (X t) of a non-negative random variable X. In many cases of interest, this probability is not explicitly given in closed form, hence, we are simply looking at upper bounds for this. In this thesis, several upper bounds for the survivor probability are defined in the 1st Chapter. These bounds are named after Herman Chernoff and are obtained by using Markov s inequality on the moment generating function. Hence, the moments about the origin or the factorial moments of the random variable X are involved in the form of these bounds. Some well known continuous and discrete distributions are presented to illustrate their computation. In the 2nd Chapter, exponentially decreasing Chernoff bounds are given on tail of sums of independent random variables such as Poisson trials, geometric random variables and in general variables with support on (0, 1). Chernoff bounds have very useful applications in set balancing and packet routing in sparse networks. These applications are presented, among others, in the 3rd Chapter. There, in all randomized algorithms discussed, the variables involved can be expressed as sums of independent random variables. Finally, in Chapter 4, the comparison between the various Chernoff bounds, defined in the 1st Chapter, is presented. In addition, for non-negative integervalued random variables the superiority of the factorial moment bound over the moment bound is proved in an alternative shorter way. Moreover, using the factorial moment bound, a new tighter bound for the sum of Poisson trials is derived. Key words Survivor probability, moments about the origin, factorial moments, moment generating function, Markov inequality, Chernoff bound, Bernoulli trials, Poisson trials, continuous distributions, discrete distributions, set balancing, packet routing vi

7 Περιεχόμενα Περίληψη Abstract v v 1 Φράγματα για Πιθανότητες Εισαγωγή Υπολογισμός των φραγμάτων Chernoff για γνωστές κατανομές Κατανομή Bernoulli Εκθετική κατανομή Κατανομή Γάμμα Διωνυμική κατανομή Κατανομή Poisson Φράγματα Chernoff για αθροίσματα τυχαίων μεταβλητών Φράγματα Chernoff για άθροισμα δοκιμών Poisson Καλύτερα Φράγματα Chernoff για κάποιες ειδικές περιπτώσεις Φράγματα Chernoff και Σχετική Εντροπία Φράγματα Chernoff για άθροισμα συνεχών τυχαίων μεταβλητών Φράγματα Chernoff για γεωμετρικές τυχαίες μεταβλητές Φράγματα Chernoff με γνωστή διασπορά Εφαρμογές των Φραγμάτων Chernoff Ρίψεις νομίσματος Εκτίμηση παραμέτρου Εξισορρόπηση φορτίου (load balancing) vii

8 ΠΕΡΙΕΧΟΜΕΝΑ 3.4 Εξισορρόπηση συνόλου (set balancing) Δρομολόγηση πακέτου σε αραιά δίκτυα Δρομολόγηση στον υπερκύβο Το Πρόβλημα του συλλέκτη κουπονιών Εφαρμόζοντας τις ανισότητες Markov και Chebyshev Μία διαφορετική προσέγγιση του προβλήματος Μία εφαρμογή του προβλήματος στην Πληροφορική Σύγκριση Φραγμάτων για την Πιθανότητα Επιβίωσης Εισαγωγή Σύγκριση ανάμεσα στο φράγμα C(t) και το φράγμα M(t) Σύγκριση ανάμεσα στο φράγμα C(t) και το φράγμα F(t) Σύγκριση ανάμεσα στο φράγμα M(t) και το φράγμα F(t) Εναλλακτικός τρόπος απόδειξης Βελτίωση του φράγματος Chernoff για δοκιμές Poisson Παράρτημα Αριθμητική Ανάλυση Παρεμβολή και παρεκβολή Διαιρεμένες διαφορές, Παρεμβολή του Newton Ο αλγόριθμος των διαιρεμένων διαφορών του Newton Κώδικες σχημάτων Κώδικες σχημάτων Κεφαλαίου Κώδικες σχημάτων Κεφαλαίου Βιβλιογραφία 107 viii

9 Κεφάλαιο 1 Φράγματα για Πιθανότητες 1.1 Εισαγωγή Έστω X τυχαία μεταβλητή (τ.μ.) με αθροιστική συνάρτηση κατανομής (α.σ.κ.) F X (x), x R. Συχνά, χρειάζεται να υπολογιστεί η πιθανότητα επιβίωσης της τ.μ. X, η οποία δίνεται από τη σχέση: P (X t) = t df X (x). (1.1) Για να απλοποιηθεί ο συμβολισμός, στη συνέχεια, οι πιθανότητες και οι μέσες τιμές θα γράφονται ως ολοκληρώματα, παρόλο που η υποκείμενη κατανομή ενδέχεται να είναι διακριτή ή μικτή. Τα αποτελέσματα που θα αναφερθούν, ισχύουν γενικά και μπορούν εύκολα να προσαρμοστούν για διακριτές ή μικτές κατανομές. Σε πολλές περιπτώσεις, δεν είναι εφικτό να υπολογιστεί η Πιθανότητα (1.1) σε κλειστή μορφή. Υπάρχουν, ωστόσο, διάφοροι τρόποι ώστε να δοθεί ένα άνω φράγμα αυτής. Ο απλούστερος είναι η Ανισότητα Markov η οποία και θα δοθεί αρχικά στο παρακάτω Θεώρημα στη γενική της μορφή, βλέπε Philips and Nelson (1995). Θεώρημα (Γενική Ανισότητα Markov). Έστω X τ.μ. με στήριγμα ένα υποσύνολο των πραγματικών αριθμών. Αν h είναι μία μη-αρνητική και αύξουσα συνάρτηση κι αν η μέση τιμή της τ.μ. h(x) υπάρχει, τότε: P (X t) E[h(X)]. (1.2) h(t) 1

10 ΚΕΦΑΛΑΙΟ 1. ΦΡΑΓΜΑΤΑ ΓΙΑ ΠΙΘΑΝΟΤΗΤΕΣ Απόδειξη: Η μέση τιμή της τ.μ. h(x) ισούται με E[h(X)] = Από τις υποθέσεις για την h, έπεται ότι h(z)df X (z) t t h(z)df X (z). (1.3) h(z)df X (z) h(t) df X (z). (1.4) Από τις Σχέσεις (1.3) και (1.4), αποδεικνύεται η Γενική Ανισότητα Μarkov (1.2). Μία ιδιαίτερα απλή μορφή αυτής της ανισότητας, προκύπτει θεωρώντας τη συνάρτηση h(x) = x + max{x, 0}. Συγκεκριμένα, η Ανισότητα (1.2) παίρνει τη μορφή: P (X t) E(X+ ) t και αν η τ.μ. X είναι μη-αρνητική, τότε:, t > 0, P (X t) E(X) t, t > 0. (1.5) Αυτή η τελευταία μορφή της (1.2) καλείται επίσης Ανισότητα Markov. Παρ όλα αυτά, η Ανισότητα (1.5) δεν χρησιμοποιείται στην πράξη καθώς το φράγμα που αυτή προτείνει, απέχει συχνά εξαιρετικά πολύ από την πραγματική τιμή της πιθανότητας P (X t). Άλλωστε, πολλά καλύτερα φράγματα έχουν προκύψει από τη γενική Ανισότητα (1.2). Το γνωστότερο απ όλα αυτά και κατ εξοχήν χρησιμοποιούμενο είναι το φράγμα του Chernoff (1952). Αυτό προκύπτει από την (1.2), θεωρώντας τη συνάρτηση h(x) = e θx, x R για θ 0, ως εξής: Άρα, όπου P (X t) E(eθX ) e θt = M X (θ)e θt, θ 0. P (X t) inf θ 0 M X(θ)e θt, M X (θ) = E(e θx ) = e θx df X (x) (1.6) είναι η ροπογεννήτρια συνάρτηση της τ.μ. X. Ως φράγμα Chernoff ορίζεται η ποσότητα: C(t) = inf θ 0 M X(θ)e θt. (1.7) 2

11 1.1. ΕΙΣΑΓΩΓΗ Ένα λιγότερο γνωστό φράγμα, το οποίο επίσης προκύπτει από την Ανισότητα Markov, ισχύει για t > 0 και ονομάζεται φράγμα των ροπών. Αυτό προκύπτει, θέτοντας στην (1.2), τη συνάρτηση h(x) = (x + ) n, για n 0. Τότε: P (X t) E[(X+ ) n ] (t + ) n = (x + ) n df X (x) Έτσι, ως φράγμα των Ροπών ορίζεται η ποσότητα: M(t) = inf n 0 0 (t + ) n = ( x t 0 ( x t ) n dfx (x). ) n dfx (x). (1.8) Αξίζει να παρατηρηθεί ότι ακόμη και αν η τ.μ. X πάρει αρνητικές τιμές, το ολοκλήρωμα στη σχέση (1.8) υπολογίζεται μόνο πάνω στους θετικούς πραγματικούς. Ο λόγος που το φράγμα καλείται φράγμα των ροπών είναι προφανής όταν αυτό υπολογίζεται για μηαρνητικές τ.μ. Σε αυτές τις περιπτώσεις, η σχέση (1.8) ξαναγράφεται ως εξής: όπου E(X n ) είναι η n-οστή ροπή της τ.μ. X, δηλαδή: E(X n ) M(t) = inf, (1.9) n 0 t n E(X n ) = 0 x n df X (x). Για την ειδική περίπτωση που η τ.μ. είναι διακριτή με στήριγμα ένα υποσύνολο των μη αρνητικών ακεραίων, τότε μπορεί να οριστεί ένα άλλο φράγμα το οποίο προκύπτει επίσης από τη γενική ανισότητα Markov (Σχέση (1.2)) και ονομάζεται φράγμα των παραγοντικών ροπών. Αυτό προκύπτει εάν θεωρήσουμε τη συνάρτηση h(x) = x (n+1), όπου x (n+1) = x(x 1)(x 2)... (x n), n N το x (n+1) ονομάζεται καθοδικό παραγοντικό n + 1-τάξης. Η συνάρτηση αυτή είναι μη αρνητική και αύξουσα όταν x (n, ) N. Ειδικότερα h(x) > 0, όταν x (n, ). Άρα έχουμε ότι E[X(X 1)(X 2)... (X n)] P (X t), n < t t(t 1)(t 2)... (t n) E[X(X 1)(X 2)... (X n)] συνεπώς P (X t) inf. 0 n<t t(t 1)(t 2)... (t n) 3

12 ΚΕΦΑΛΑΙΟ 1. ΦΡΑΓΜΑΤΑ ΓΙΑ ΠΙΘΑΝΟΤΗΤΕΣ Έτσι, ως Φράγμα των Παραγοντικών Ροπών ορίζεται η ποσότητα: F(t) = inf 0 n<t E[X(X 1)(X 2)... (X n)]. (1.10) t(t 1)(t 2)... (t n) Η ονομασία της προέρχεται από το γεγονός ότι η ποσότητα E[X (n+1) ] = E[X(X 1)(X 2)... (X n)] ονομάζεται καθοδική παραγοντική ροπή της τ.μ. X n + 1-τάξης. Στο Κεφάλαιο 4 θα αποδειχθεί ότι το F(t) είναι καλύτερο από τα φράγματα C(t) και M(t) στην περίπτωση διακριτών μη αρνητικών τ.μ. Αξίζει στο σημείο αυτό να δοθεί ένα ακόμα γνωστό φράγμα το οποίο όμως είναι αρκετά πιο αδύναμο - όπως θα φανεί στο Κεφάλαιο 2 των Εφαρμογών - σε σύγκριση με τα φράγματα C(t) και M(t). Το φράγμα αυτό δίνεται μέσω της γνωστής Ανισότητας Chebyshev στο παρακάτω Θεώρημα. Θεώρημα (Ανισότητα Chebyshev). Έστω X τ.μ. με πεπερασμένη μέση τιμή και διασπορά. Τότε, για κάθε t > 0: Απόδειξη: Είναι P ( X E[X] t) V ar[x] t 2. (1.11) P ( X E[X] t) = P ((X E[X]) 2 t 2 ). Εφαρμόζοντας ακολούθως την Ανισότητα Markov (1.5) για την μη-αρνητική τυχαία μεταβλητή (X E[X]) 2, προκύπτει ότι: P ((X E[X]) 2 t 2 ) E[(X E[X])2 ] t 2 = V ar[x] t Υπολογισμός των φραγμάτων Chernoff για γνωστές κατανομές Στην ενότητα αυτή παρουσιάζονται παραδείγματα - από συνεχείς και διακριτές κατανομές - στα οποία, όπου είναι δυνατό, υπολογίζονται αναλυτικά τα φράγματα C(t) και M(t). 4

13 1.2. ΥΠΟΛΟΓΙΣΜΟΣ ΤΩΝ ΦΡΑΓΜΑΤΩΝ CHERNOFF ΓΙΑ ΓΝΩΣΤΕΣ ΚΑΤΑΝΟΜΕΣ Κατανομή Bernoulli Έστω τ.μ. X που ακολουθεί την κατανομή Bernoulli(p) με πιθανότητα επιτυχίας p = P (X = 1), p (0, 1). H συνάρτηση πιθανότητας και η ροπογεννήτρια της X είναι αντίστοιχα: f(x) = p x (1 p) 1 x, x = 0, 1 και M X (θ) = pe θ + 1 p, θ R. Θα υπολογιστεί αναλυτικά το φράγμα του Chernoff C(t): C(t) = inf θ 0 M X(θ)e θt = inf θ 0 (peθ + 1 p)e θt Έστω f(θ) = (pe θ + 1 p)e θt, θ > 0. Είναι: f (θ) = 0 p e θ e θt t (p e θ + 1 p) e θt = 0 p e θ t p e θ t (1 p) = 0 e θ = t (1 p) p t p e θ (p t p) = t (1 p) θ 0 = ln t (1 p), για p < t < 1. p t p Επειδή f (θ 0 ) > 0, έπεται ότι η συνάρτηση f(θ) παρουσιάζει ελάχιστο στη θέση θ 0, το: ( p ) ( ) t 1 t 1 p f(θ 0 ) =. t 1 t Συνεπώς, επειδή όταν 0 < t < p, f (θ) > 0, έχουμε ότι ( p ) ( ) t 1 t 1 p αν p < t < 1 C(t) = t 1 t 1 αν t p Θα υπολογιστεί ακολούθως το φράγμα των ροπών M(t): επειδή E(X n ) = ότι E(X n ) M(t) = inf, n 0 t n 1 x n f(x) = 0 f(0) + 1 f(1) = p, για n 1 και E(X 0 ) = 1, έχουμε x=0 E(X n ) M(t) = inf n 0 t n = min{1, sup n 1 p t n }, 5

14 ΚΕΦΑΛΑΙΟ 1. ΦΡΑΓΜΑΤΑ ΓΙΑ ΠΙΘΑΝΟΤΗΤΕΣ όπου sup t n = max{t, t 2, t 3, t 4, t 5,...} = t όταν t (0, 1). Συνεπώς, n 1 p αν p < t < 1 M(t) = t 1 αν t p Στο Σχήμα 1.1 συγκρίνονται τα φράγματα C(t) και M(t) της κατανομής Bernoulli όταν η πιθανότητα επιτυχίας είναι p = 0.2 και p = 0.7. Σχήμα 1.1: Φράγματα C(t) και M(t) σε σύγκριση μεταξύ τους, όταν p = 0.2 αριστερά και όταν p = 0.7 δεξιά. Τέλος, στο Σχήμα 1.2 φαίνεται η διαφορά που υπάρχει ανάμεσα στην πραγματική πιθανότητα επιβίωσης και στα δύο άνω φράγματά της C(t) και M(t) για t = 0.8 και t = 0.3. Σχήμα 1.2: Φράγματα C(t) και M(t) σε σχέση με την πιθανότητα επιβίωσης P (X t) της κατανομής Bernoulli, όταν t = 0.8 αριστερά και όταν t = 0.3 δεξιά. 6

15 1.2. ΥΠΟΛΟΓΙΣΜΟΣ ΤΩΝ ΦΡΑΓΜΑΤΩΝ CHERNOFF ΓΙΑ ΓΝΩΣΤΕΣ ΚΑΤΑΝΟΜΕΣ Εκθετική κατανομή Έστω τ.μ. X που ακολουθεί την εκθετική κατανομή Eκθ(λ = 1). H συνάρτηση πυκνότητας πιθανότητας και η ροπογεννήτρια της X είναι αντίστοιχα: Επίσης f(x) = e x, x 0 και M X (θ) = 1 1 θ, θ < 1. P (X t) = 1 P (X < t) = 1 F (t) = 1 (1 e t ) = e t, t 0. Θα υπολογιστεί αρχικά το φράγμα του Chernoff C(t): C(t) = inf θ 0 M X(θ)e θt = inf θ θ e θt Έστω f(θ) = e θt 1 θ, 0 θ < 1. Είναι: f (θ) = t e θt (1 θ) + e θt (1 θ) 2, θ < 1. f (θ) = 0 t (1 θ) + 1 = 0 θ 0 = t 1, για t > 1. t Επειδή f (θ 0 ) = 1 > 0 αφού t > 0, συνεπάγεται ότι η συνάρτηση f(θ) παρουσιάζει t ελάχιστο στη θέση θ 0, το: t 1 t f(θ 0 ) = e t 1 t 1 t = t e 1 t. Συνεπώς, επειδή όταν t 1, f (θ) > 0, έχουμε ότι t e 1 t αν t > 1 C(t) = 1 αν t 1 Υπολογισμός του φράγματος των ροπών M(t): όπου 0 E(X n ) M(t) = inf n 0 t n x n e x dx = 0 1 = inf n 0 t n 0 x n e x dx x (n+1) 1 e x dx = Γ(n + 1) = n!, 7

16 ΚΕΦΑΛΑΙΟ 1. ΦΡΑΓΜΑΤΑ ΓΙΑ ΠΙΘΑΝΟΤΗΤΕΣ από τον ορισμό της συνάρτησης Γάμμα. Άρα, n! M(t) = inf n 0 t = t! n t. t όπου t είναι ο μεγαλύτερος ακέραιος που δεν υπερβαίνει το t. Σημείωση Το παραπάνω infimum μπορεί να υπολογιστεί με τον παρακάτω τρόπο. Έστω η ακολουθία f(n) = n!, t > 0. Απαιτώντας η τιμή f(n) να είναι μικρότερη από tn την προηγούμενή της αλλά και από την επόμενή της, προκύπτει το σύστημα: 1 f(n) n! f(n + 1) = t n = t (n+1)! n + 1 t n+1 και 1 f(n) n! f(n 1) = t n n + 1 t και t n n t n + 1 n = t. (n 1)! t n 1 = n t Σημείωση Αν t είναι ακέραιος, χρησιμοποιώντας την προσέγγιση του Stirling δηλαδή ότι t! ( ) t t 2πt, τότε το φράγμα των ροπών προσεγγίζεται από την έκφραση: e M(t) 2πt e t. Τέλος, το φράγμα των ροπών M(t) είναι κατά O( t) μικρότερο (άρα καλύτερο) από το φράγμα του Chernoff C(t): C(t) M(t) = t e1 t 2πt e t = t e e t 2πt e t = e 2π t t = Στο Σχήμα 1.3 γίνεται οπτική σύγκριση των δύο φραγμάτων. e 2π t = O( t). Σχήμα 1.3: Σύγκριση των φραγμάτων C(t) και M(t) της Εκθετικής Κατανομής με μέση τιμή 1. 8

17 1.2. ΥΠΟΛΟΓΙΣΜΟΣ ΤΩΝ ΦΡΑΓΜΑΤΩΝ CHERNOFF ΓΙΑ ΓΝΩΣΤΕΣ ΚΑΤΑΝΟΜΕΣ Κατανομή Γάμμα Έστω τ.μ. X που ακολουθεί την κατανομή Γ(α, λ). H συνάρτηση πυκνότητας πιθανότητας και η ροπογεννήτρια της X είναι αντίστοιχα: f(x) = λα x α 1 e λx Γ(α), λ, α, x 0 και M X (θ) = ( ) α λ, θ < λ. λ θ Υπολογισμός του φράγματος του Chernoff C(t): Έστω f(θ) = α C(t) = inf M X(θ)e θt = inf θ 0 θ 0 ( ) α λ e θt, 0 θ < λ. Είναι: λ θ ( ) α λ e θt λ θ f (θ) = 0 λ α λ α (λ θ) α+1 e θt t (λ θ) α e θt = 0 α λ α t λ α (λ θ) = 0 t θ = t λ α θ 0 = λ t α, για t > α t λ. Επειδή f (θ 0 ) > 0, η συνάρτηση f(θ) παρουσιάζει ελάχιστο στη θέση θ 0, το: ( ) α λ t f(θ 0 ) = e α λ t. α Συνεπώς, επειδή όταν t α λ, f (θ) > 0, έχουμε ότι ( ) α λ t e α λ t αν t > α C(t) = α λ 1 αν t α λ Υπολογισμός του φράγματος των ροπών M(t): E(X n ) = = 0 x n λα x α 1 e λx Γ(α) E(X n ) M(t) = inf, όπου n 0 t n dx = λα Γ(α + n) Γ(α) λ α+n 0 λ α+n x (α+n) 1 e λx dx = Γ(α + n) Γ(α + n) (α + n 1)! α (α + 1)... (α + n 1) = =, άρα Γ(α) λn (α 1)! λn λ n 9

18 ΚΕΦΑΛΑΙΟ 1. ΦΡΑΓΜΑΤΑ ΓΙΑ ΠΙΘΑΝΟΤΗΤΕΣ M(t) = α (α + 1)... (α + n 1) inf n 0 (λt) n = α (α + 1)... (α + λt α ) (λt) λt α+1 = λt α i=0 α + i λt = Γ(α + λt α + 1 ) Γ(α)(λt) λt α+1. Σημείωση Το παραπάνω infimum μπορεί να υπολογιστεί με τον παρακάτω τρόπο. α (α + 1)... (α + n 1) Έστω η ακολουθία f(n) =. Πρέπει: (λt) n 1 f(n) f(n + 1) = α (α+1)...(α+n 1) (λt) n = λt α (α+1)...(α+n) α + n (λt) n+1 και 1 f(n) f(n 1) = α + n 1 λt α + n λt και α + n 1 λt α + n 1 λt α + n α + n 1 = λt n = λt α + 1, όπου με, x, συμβολίζουμε τον μεγαλύτερο ακέραιο που δεν υπερβαίνει το x και τον ονομάζουμε κάτω ακέραιο μέρος του x. Σημείωση Όταν α = k Z, τότε το φράγμα M(t) παίρνει την απλούστερη μορφή: M(t) = λt! (k 1)!(λt) λt k+1. Σημείωση Αν το γινόμενο λt είναι ακέραιος, τότε με τη βοήθεια της προσέγγισης του Stirling για τα παρακάτω παραγοντικά: (λt)! 2πλt ( ) λt λt e (k 1)! ( ) k 1 k 1 2π(k 1), e αποδεικνύεται η παρακάτω σχέση: k M(t) C(t) λt. 10

19 1.2. ΥΠΟΛΟΓΙΣΜΟΣ ΤΩΝ ΦΡΑΓΜΑΤΩΝ CHERNOFF ΓΙΑ ΓΝΩΣΤΕΣ ΚΑΤΑΝΟΜΕΣ Στο τέλος της παραγράφου, πραγματοποιείται σύγκριση των φραγμάτων C(t) και M(t) της Κατανομής Γάμμα με τη βοήθεια μιας σειράς γραφικών παραστάσεων. Στο Σχήμα 1.4 φαίνεται η σύγκριση των φραγμάτων για συγκεκριμένες τιμές των παραμέτρων α και λ, ενώ στο Σχήμα 1.5 συγκρίνεται η ακριβής πιθανότητα P (X t) με τα C(t) και M(t). Σχήμα 1.4: Σύγκριση των φραγμάτων C(t) και M(t) της Κατανομής Γάμμα με παραμέτρους α = 2, λ = 0.5 αριστερά και α = 2, λ = 3 δεξιά. Σχήμα 1.5: Σύγκριση της πιθανότητας P (X t) με τα φράγματα C(t), M(t) της Κατανομής Γ(0.5, 1) αριστερά και της Γ(2, 1) δεξιά. Επίσης, ενδιαφέρον παρουσιάζει και η σύγκριση των δύο φραγμάτων στην περιπτώση που τα t και λ είναι σταθερά ενώ το α μεταβάλλεται (Σχήμα 1.6), καθώς επίσης κι όταν τα t και α είναι σταθερά ενώ το λ μεταβάλλεται (Σχήμα 1.7). 11

20 ΚΕΦΑΛΑΙΟ 1. ΦΡΑΓΜΑΤΑ ΓΙΑ ΠΙΘΑΝΟΤΗΤΕΣ Σχήμα 1.6: Σύγκριση των φραγμάτων C(1) και M(1) της Κατανομής Γ(α, 1) αριστερά - Σύγκριση των φραγμάτων C(3) και M(3) πάλι της ίδιας Κατανομής Γ(α, 1) δεξιά. Σχήμα 1.7: Σύγκριση των φραγμάτων C(2) και M(2) της Κατανομής Γ(1, λ) αριστερά - Σύγκριση των φραγμάτων C(5) και M(5) πάλι της ίδιας Κατανομής Γ(1, λ) δεξιά Διωνυμική κατανομή Έστω τ.μ. X που ακολουθεί τη διωνυμική κατανομή B(N, p). H συνάρτηση πιθανότητας και η ροπογεννήτρια της X είναι αντίστοιχα: f(i) = P (X = i) = ( ) N p i (1 p) N i, 0 i N και M X (θ) = (pe θ +1 p) N, θ R. i Υπολογισμός του φράγματος του Chernoff C(t): C(t) = inf θ 0 M X(θ)e θt = inf θ 0 (peθ + 1 p) N e θt. 12

21 1.2. ΥΠΟΛΟΓΙΣΜΟΣ ΤΩΝ ΦΡΑΓΜΑΤΩΝ CHERNOFF ΓΙΑ ΓΝΩΣΤΕΣ ΚΑΤΑΝΟΜΕΣ Έστω f(θ) = (pe θ + 1 p) N e θt, θ 0. Είναι: f (θ) = 0 N (p e θ + 1 p) N 1 p e θ e θt t (p e θ + 1 p) N e θt = 0 N (p e θ + 1 p) N 1 p e θ t (p e θ + 1 p) N = 0 (p e θ + 1 p) N 1 {N p e θ t (p e θ + 1 p)} = 0 (p e θ + 1 p) N 1 {N p e θ t p e θ t + tp} = 0 Επειδή για p (0, 1), p e θ + 1 p > 0, έχουμε ότι e θ (N p t p) = t (1 p) t (1 p) θ 0 = ln, για t < N. p (N t) { } θ t (1 p) = max 0, ln p (N t) Επειδή f (θ ) > 0, η συνάρτηση f(θ) παρουσιάζει ελάχιστο στη θέση θ, το: f(θ ) = (peθ + 1 p) N e θ t. Συνεπώς, επειδή όταν t Np, f (θ) > 0, έχουμε ότι ( ) t ( ) N t Np N(1 p) αν Np < t < N C(t) = t N t 1 αν t Np Ο υπολογισμός του φράγματος των ροπών M(t) δεν είναι εφικτός αφού δεν υπάρχει κλειστή μορφή της n-οστής ροπής της τ.μ. X. Το πρόβλημα αυτό συναντάται συχνά όταν η κατανομή της τ.μ. X είναι διακριτή. Ανταυτού χρησιμοποιείται το φράγμα των παραγοντικών ροπών F(t), του οποίου ο υπολογισμός είναι απλός. Υπολογισμός του φράγματος των παραγοντικών ροπών F(t) για την κατανομή B(N, p): Ως γνωστόν η παραγοντική ροπή E[X (n+1) ] = E[X(X 1)... (X n)] και η πιθανογεννήτρια συνάρτηση Π X (t) = E(t X ) (ή απλούστερα Π(t)) συνδέονται μεταξύ τους μέσω της παρακάτω σχέσης: Π (n+1) (t) t=1 = E[X(X 1)... (X n)] 13

22 ΚΕΦΑΛΑΙΟ 1. ΦΡΑΓΜΑΤΑ ΓΙΑ ΠΙΘΑΝΟΤΗΤΕΣ όπου Π(t) = (pt + 1 p) N η πιθανογεννήτρια της κατανομής B(N, p). Είναι: Άρα, Π (t) = N(pt + 1 p) N 1 p Π (t) = N(N 1)(pt + 1 p) N 2 p 2. Π (n+1) (t) = N(N 1)... (N n)(pt + 1 p) N (n+1) p n+1 Π (n+1) (1) = N(N 1)... (N n) p n+1 E[X(X 1)... (X n)] = p n+1 N(N 1)... (N n) = µ(µ p)... (µ np), όπου µ = E(X) = Np η αναμενόμενη τιμή της διωνυμικής τ.μ. X. Συνεπώς, µ(µ p)... (µ np) inf αν t > µ F(t) = 0 n<t t(t 1)(t 2)... (t n) 1 αν t µ t µ όπου η παραπάνω έκφραση ελαχιστοποιείται για n =. Άρα 1 p p t µ 1 p +1 Γ(N + 1) Γ(t t µ ) 1 p F(t) = Γ(t + 1) Γ(N t µ 1 p ) αν t > µ 1 αν t µ Σημείωση Το παραπάνω infimum μπορεί να υπολογιστεί με τον παρακάτω τρόπο. µ(µ p)... (µ np) Έστω η ακολουθία f(n) = t(t 1)(t 2)... (t n). Πρέπει: 1 f(n) f(n + 1) = µ(µ p)...(µ np) t(t 1)(t 2)...(t n) µ(µ p)...(µ (n+1)p) t(t 1)(t 2)...(t n)(t n 1) = t n 1 µ (n + 1)p και 1 f(n) f(n 1) = µ np t n { } { µ (n + 1)p t n 1 (n + 1)(1 p) t µ t n µ np t µ n(1 p) } 14

23 1.2. ΥΠΟΛΟΓΙΣΜΟΣ ΤΩΝ ΦΡΑΓΜΑΤΩΝ CHERNOFF ΓΙΑ ΓΝΩΣΤΕΣ ΚΑΤΑΝΟΜΕΣ n(1 p) t µ (n + 1)(1 p) n t µ 1 p n + 1 n = t µ, 1 p όπου με, x, συμβολίζουμε τον μεγαλύτερο ακέραιο που δεν υπερβαίνει το x και τον ονομάζουμε κάτω ακέραιο μέρος του x. Ακολουθούν γραφικές παραστάσεις για διάφορες τιμές των παραμέτρων t, N, p όπου γίνεται σύγκριση ανάμεσα στα φράγματα C(t) και F(t). Στις ίδιες γραφικές παραστάσεις φαίνεται και η ακριβής συνάρτηση επιβίωσης P (X t) με σκοπό να πραγματοποιηθεί μια πιο ολοκληρωμένη σύγκριση. Σχήμα 1.8: Σύγκριση των φραγμάτων C(t) και F(t) της Binomial(5, 0.2) αριστερά - Σύγκριση των φραγμάτων C(t) και F(t) της Binomial(5, 0.7) δεξιά. Σχήμα 1.9: Σύγκριση των φραγμάτων C(t) και F(t) της Binomial(10, 0.4) αριστερά - Σύγκριση των φραγμάτων C(t) και F(t) της Binomial(30, 0.4) δεξιά. 15

24 ΚΕΦΑΛΑΙΟ 1. ΦΡΑΓΜΑΤΑ ΓΙΑ ΠΙΘΑΝΟΤΗΤΕΣ Σχήμα 1.10: Σύγκριση των φραγμάτων C(10.5) και F(10.5) της Binomial(N, 0.3) για τις διάφορες ακέραιες τιμές του N Κατανομή Poisson Έστω τ.μ. X που ακολουθεί την κατανομή Poisson(λ) με λ > 0. H συνάρτηση πιθανότητας, η ροπογεννήτρια και η πιθανογεννήτρια της X είναι αντίστοιχα: λ λi f(i) = P (X = i) = e i!, i = 0, 1,..., M X(θ) = e λ(eθ 1) και Π(t) = e λ(t 1). Υπολογισμός του φράγματος του Chernoff C(t): Έστω f(θ) = e λeθ θt λ. Είναι: C(t) = inf θ 0 M X(θ)e θt = inf θ 0 eλ(eθ 1) e θt = inf θ 0 eλeθ θt λ f (θ) = 0 (λe θ t) e λeθ θt λ = 0 λe θ t = 0 θ 0 = ln t, για t λ. λ Επειδή f (θ 0 ) > 0, η συνάρτηση f(θ) παρουσιάζει ελάχιστο στη θέση θ 0, το: f(θ 0 ) = ( ) t λe e λ. t Συνεπώς, επειδή όταν t < λ, f (θ) > 0, έχουμε ότι ( ) t λe e λ αν t > λ C(t) = t 1 αν t λ (1.12) 16

25 1.2. ΥΠΟΛΟΓΙΣΜΟΣ ΤΩΝ ΦΡΑΓΜΑΤΩΝ CHERNOFF ΓΙΑ ΓΝΩΣΤΕΣ ΚΑΤΑΝΟΜΕΣ Υπολογισμός του φράγματος των παραγοντικών ροπών F(t): Π (t) = λe λ(t 1) Π (t) = λ 2 e λ(t 1). Π (n+1) (t) = λ n+1 e λ(t 1) Π (n+1) (1) = λ n+1 Άρα, E[X(X 1)... (X n)] = λ n+1. Συνεπώς, F(t) = inf 0 n<t λ n+1 αν t > λ t(t 1)(t 2)... (t n) 1 αν t λ (1.13) Το infimum της Σχέσης (1.13) μπορεί να υπολογιστεί με τον παρακάτω τρόπο. Έστω η λ n+1 ακολουθία f(n) = t(t 1)(t 2)... (t n). Πρέπει: 1 f(n) f(n + 1) = λn+1 t(t 1)(t 2)...(t n) λ n+2 t(t 1)(t 2)...(t n)(t (n+1)) = t (n + 1) λ και 1 f(n) f(n 1) = { λ t (n + 1) t n λ λn+1 t(t 1)(t 2)...(t (n 1))(t n) λ n t(t 1)(t 2)...(t (n 1)) = λ t n } { } n + 1 t λ n t λ n t λ n + 1 n = t λ. Άρα, αντικαθιστούμε στη συνάρτηση f(n) το παραπάνω σημείο ελαχίστου κι έχουμε f(n) = λ t λ +1 t(t 1)(t 2)... (t t λ ) (1.14) Στο σημείο αυτό θα διακρίνουμε τις εξής περιπτώσεις: Περίπτωση 1. Εάν t N η Σχέση (1.14) παίρνει τη μορφή f(n) = λ t λ +1 t(t 1)(t 2)... ( λ ). 17

26 ΚΕΦΑΛΑΙΟ 1. ΦΡΑΓΜΑΤΑ ΓΙΑ ΠΙΘΑΝΟΤΗΤΕΣ Η μεταβλητή t N μπορεί να βγεί έξω από το κάτω ακέραιο μέρος της τελευταίας παρένθεσης (t t λ ) του παρανομαστή. Επίσης ισχύει ότι λ = λ αφού λ > 0. Κι επειδή ( λ 1 )! t! = 1 t(t 1)(t 2)... ( λ ) συμπεραίνουμε ότι το φράγμα των παραγοντικών ροπών μιας τυχαίας μεταβλητής που ακολουθεί την κατανομή Poisson(λ) είναι το εξής όταν t N: λ t λ +1 ( λ 1 )! αν t > λ F(t) = t! 1 αν t λ Περίπτωση 2. Εάν t R + η Σχέση (1.14) γίνεται: t λ +1 Γ(t t λ ) f(n) = λ. Γ(t + 1) (1.15) Επομένως, το φράγμα των παραγοντικών ροπών μιας τυχαίας μεταβλητής που ακολουθεί την κατανομή Poisson(λ) είναι το εξής όταν t R + : t λ +1 Γ(t t λ ) λ αν t > λ F(t) = Γ(t + 1) 1 αν t λ (1.16) Σημείωση Στα παραπάνω συμβολίσαμε με κάτω ακέραιο μέρος του x x τον μεγαλύτερο ακέραιο που δεν υπερβαίνει το x και με άνω ακέραιο μέρος του x x τον μικρότερο ακέραιο που δεν είναι μικρότερος από το x. 18

27 Κεφάλαιο 2 Φράγματα Chernoff για αθροίσματα τυχαίων μεταβλητών Στο κεφάλαιο αυτό παρουσιάζονται εκθετικά φθίνοντα φράγματα τύπου Chernoff που αφορούν σε πιθανότητες της μορφής P (X a), P (X a) και P ( X t a). Η υπό μελέτη τυχαία μεταβλητή X είναι άθροισμα n ανεξάρτητων τυχαίων μεταβλητών, οι οποίες μπορεί να είναι είτε διακριτές είτε συνεχείς. Η χρησιμότητα των τυχαίων μεταβλητών που προκύπτουν ως τέτοια αθροίσματα καθώς και των αντιστοίχων φραγμάτων Chernoff θα φανεί στο Κεφάλαιο 3 των εφαρμογών. Από την εκτεταμένη σχετική βιβλιογραφία, όπου κανείς μπορεί να αναφερθεί για αυτά τα φράγματα, ξεχωρίζουμε τα βιβλία των Mitzenmacher and Upfal (2005) και Motwani and Raghavan (1995). 2.1 Φράγματα Chernoff για άθροισμα δοκιμών Poisson Θεωρούμε τις τ.μ. X 1,..., X n, οι οποίες είναι ανεξάρτητες και μη ισόνομες δοκιμές Bernoulli με P (X i = 1) = p i. Στη βιβλιογραφία οι μεταβλητές αυτές ονομάζονται ανεξάρτητες δοκιμές Poisson. Θεωρούμε επίσης την τ.μ. X = n X i για την οποία ισχύει ότι ( n ) n n µ = E(X) = E X i = E(X i ) = p i. 19

28 ΚΕΦΑΛΑΙΟ 2. ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΑΘΡΟΙΣΜΑΤΑ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ Για δοσμένο δ > 0, ενδιαφέρον παρουσιάζουν τα εξής φράγματα: P (X (1 + δ)µ)) και P (X (1 δ)µ)), δηλαδή η πιθανότητα η τ.μ. X να απέχει από τη μέση της τιμή µ κατά δµ ή περισσότερο. Για να δοθεί ένα φράγμα Chernoff, πρέπει να υπολογιστεί η ροπογεννήτρια της τ.μ. X. Αρχικά, ας υπολογιστεί η ροπογεννήτρια εκάστης X i : M Xi (t) = E(e tx i ) Bernoulli = p i e t + (1 p i ) = 1 + p i (e t 1) e p i(e t 1) λόγω του ότι e x 1 + x. Ακολούθως, η ροπογεννήτρια της τ.μ. X υπολογίζεται ως εξής: M X (t) ανεξαρτησία = n M Xi (t) n e p i(e t 1) { n } = exp p i (e t 1) = e (et 1)µ. αφού M Xi (t) e p i(e t 1) Έχοντας προσδιορίσει ένα άνω φράγμα για τη ροπογεννήτρια της τ.μ. X, είναι πλέον δυνατή η ανάπτυξη συγκεκριμένων φραγμάτων Chernoff για το άθροισμα ανεξάρτητων δοκιμών Bernoulli(p i ). Στο παρακάτω θεώρημα δίνονται και αποδεικνύονται φράγματα Chernoff ως προς την απόκλιση της τ.μ. X πάνω από το μέσο της. 20

29 2.1. ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΑΘΡΟΙΣΜΑ ΔΟΚΙΜΩΝ POISSON Θεώρημα Έστω X 1,..., X n ανεξάρτητες και μη ισόνομες δοκιμές Bernoulli τέτοιες n n ώστε P (X i = 1) = p i. Έστω X = X i και µ = E(X) = p i. Τότε, ισχύουν τα ακόλουθα φράγματα Chernoff: 1. Για κάθε δ > 0, 2. Για 0 < δ 1, ( ) e δ µ P (X (1 + δ)µ). (2.1) (1 + δ) (1+δ) P (X (1 + δ)µ)) e µδ2 /3. (2.2) 3. Για R 6µ, P (X R) 2 R. (2.3) Το φράγμα (2.1) είναι το καλύτερο. Απ αυτό προκύπτουν τα άλλα δύο, τα οποία έχουν το πλεονέκτημα να έχουν καλύτερη μορφή και να υπολογίζονται εύκολα. Απόδειξη: Η Ανισότητα Markov, για κάθε t > 0, γίνεται: P (X (1 + δ)µ)) = P (e tx e t(1+δ)µ ) τεχνική του Bernstein Markov E(etX ) e t(1+δ)µ Έστω f(t) = e(et 1)µ e t(1+δ)µ = eet µ µ tµ tδµ. Είναι: Άρα, e(et 1)µ e t(1+δ)µ αφού E(e tx ) = M X (t). f (t) = e et µ µ tµ tδµ (e t µ µ δµ) f (t) = 0 e t µ µ δµ = 0 e t = 1 + δ t 0 = ln(1 + δ). Επειδή f (t 0 ) > 0, η συνάρτηση f(t) παρουσιάζει ελάχιστο στη θέση t 0 = ln(1 + δ), το: ( ) e δ µ f(t 0 ) =. (1 + δ) (1+δ) Μόλις αποδείχθηκε η Σχέση (2.1). Για να αποδειχθεί η Σχέση (2.2), αρκεί να δειχθεί ότι, για 0 < δ 1, ( e δ ) µ e µδ2 /3 (1 + δ) (1+δ) 21 ή e δ (1 + δ) (1+δ) e δ2 /3

30 ΚΕΦΑΛΑΙΟ 2. ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΑΘΡΟΙΣΜΑΤΑ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ ή ισοδύναμα, παίρνοντας λογαρίθμους, η παρακάτω συνθήκη: f(δ) = δ (1 + δ) ln(1 + δ) + δ Υπολογίζονται οι παράγωγοι 1ης και 2ης τάξης της συνάρτησης f(δ): f (δ) = 1 ln(1 + δ) 1 + δ 1 + δ δ = ln(1 + δ) δ, f (δ) = δ Είναι: f (δ) = 0 1 = δ = 3 δ = 1. Ισχύει ότι: 1+δ 3 2 f (δ) < 0 για 0 δ < 1 και f (δ) > 0 για δ > 1. Άρα, η f (δ) είναι γν. φθίνουσα στο 2 2 [0, 1) και γν. αύξουσα στο ( 1, 1]. Επειδή f (0) = 0 και f (1) = ln < 0, προκύπτει ότι f (δ) 0 σε όλο το διάστημα [0, 1]. Άρα, η f(δ) είναι γν. φθίνουσα στο [0, 1]. Τέλος, επειδή f(0) = 0 έπεται ότι f(δ) 0 στο [0, 1] γεγονός που αποδεικνύει τη Σχέση (2.2). Η προηγούμενη ανάλυση σκιαγραφείται στον παρακάτω πίνακα μονοτονίας: δ f (δ) f (δ) f(δ) 0 0 Στη συνέχεια θα αποδειχθεί η Σχέση (2.3). Έστω R = (1 + δ)µ. Τότε, για R 6µ 22

31 2.1. ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΑΘΡΟΙΣΜΑ ΔΟΚΙΜΩΝ POISSON (ή δ = R µ 1 5): P (X (1 + δ)µ)) (2.1) Πολ/ζω με e µ = = = ( e δ (1 + δ) (1+δ) ( e e δ (1 + δ) (1+δ) ( e 1+δ ) µ ) µ ) µ (1 + δ) (1+δ) ( ) (1+δ)µ e 1 + δ ( ) R e δ δ δ 1 + δ 1 6 ( e R 6) 2 R. Ας δώσουμε στο σημείο αυτό κάποιες γραφικές παραστάσεις για να δούμε πόσο καλά είναι τα φράγματα Chernoff που δίνονται στο Θεώρημα Μας ενδιαφέρουν δύο πράγματα: (1) Πόσο κοντά στην πραγματική πιθανότητα επιβίωσης βρίσκονται και (2) ποιά είναι η μεταξύ τους απόσταση. Στα σχήματα που ακολουθούν έχουμε θέσει για κάθε δ > 0: για κάθε 0 < δ 1: ( ) e δ µ C 1 (δ) =, (1 + δ) (1+δ) C 2 (δ) = e µδ2 /3, και για κάθε (1 + δ)µ 6µ: C 3 (δ) = 2 (1+δ)µ. n όπου µ = E(X) = p i. Επίσης, οι τιμές των p i - για τις οποίες έχει υπολογιστεί η ακριβής πιθανότητα επιβίωσης - δίνονται στο Παράρτημα. Τα φράγματα ωστόσο εξαρτώνται μόνο από το άθροισμα των p i. 23

32 ΚΕΦΑΛΑΙΟ 2. ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΑΘΡΟΙΣΜΑΤΑ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ Σχήμα 2.1: Φράγματα C 1 (δ), C 2 (δ) και P (X (1 + δ)µ) όταν µ = 10 p i = 2.41 αριστερά, και όταν µ = 10 p i = 5.13 δεξιά. Σχήμα 2.2: Φράγματα C 1 (δ), C 2 (δ) και P (X (1 + δ)µ) όταν µ = 50 p i = αριστερά, και μεγέθυνση της ίδιας περίπτωσης δεξιά. Σχήμα 2.3: Φράγματα C 1 (δ), C 2 (δ), C 3 (δ) και P (X (1 + δ)µ) όταν µ = 50 p i = 5.81 αριστερά, και μεγέθυνση της ίδιας περίπτωσης δεξιά. 24

33 2.1. ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΑΘΡΟΙΣΜΑ ΔΟΚΙΜΩΝ POISSON Ένα πιο γενικό φράγμα Chernoff, το οποίο οφείλεται στην Εργασία των Angluin and Valiant (1979), δίνεται στο παρακάτω Θεώρημα. Θεώρημα Έστω X 1,..., X n ανεξάρτητες και μη ισόνομες δοκιμές Bernoulli τέτοιες ώστε P (X i = 1) = p i. Έστω X = n X i και µ = E(X). Τότε, Για δ > 0, P (X (1 + δ)µ)) e µδ2 2+δ, (2.4) Απόδειξη: Για να αποδειχθεί η Σχέση (2.4), αρκεί να δειχθεί ότι, για δ > 0, ( ) e δ µ e µδ2 (1 + δ) (1+δ) 2+δ ή e δ δ 2 e 2+δ (1 + δ) (1+δ) ή ισοδύναμα, παίρνοντας λογαρίθμους, η παρακάτω ανισότητα: δ (1 + δ) ln(1 + δ) δ2 2 + δ (1 + δ) ln(1 + δ) δ + δ2 2 + δ δ ln(1 + δ) 1 + δ + δ 2 (2 + δ)(1 + δ) ln(1 + δ) 2δ που ισχύει για δ > δ Με τον ίδιο τρόπο αποκτώνται παρόμοια αποτελέσματα φράσσοντας την απόκλιση της τ.μ. X κάτω από το μέσο της. Θεώρημα Έστω X 1,..., X n ανεξάρτητες και μη ισόνομες δοκιμές Bernoulli τέτοιες n n ώστε P (X i = 1) = p i. Έστω X = X i και µ = E(X) = p i. Τότε, για 0 < δ < 1: και ( ) e δ µ P (X (1 δ)µ). (2.5) (1 δ) (1 δ) P (X (1 δ)µ) e µδ2 /2. (2.6) Πάλι, το φράγμα (2.5) είναι καλύτερο από το (2.6), αλλά το τελευταίο είναι γενικά ευκολότερο στη χρήση και επαρκεί στις περισσότερες εφαρμογές. 25

34 ΚΕΦΑΛΑΙΟ 2. ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΑΘΡΟΙΣΜΑΤΑ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ Απόδειξη: Η Ανισότητα Markov, για κάθε t < 0, γίνεται: P (X (1 δ)µ)) t<0 = P (e tx e t(1 δ)µ ) τεχνική του Bernstein Markov E(etX ) e t(1 δ)µ e(et 1)µ e t(1 δ)µ αφού E(e tx ) = M X (t). Έστω f(t) = e(et 1)µ e t(1 δ)µ = eet µ µ tµ+tδµ. Είναι: Άρα, f (t) = e et µ µ tµ+tδµ (e t µ µ + δµ) f (t) = 0 e t µ µ+δµ = 0 e t = 1 δ t 0 = ln(1 δ), 0 < δ < 1. Επειδή f (t 0 ) > 0, η συνάρτηση f(t) παρουσιάζει ελάχιστο στη θέση t 0 = ln(1 δ), το: ( ) e δ µ f(t 0 ) =. (1 δ) (1 δ) Μόλις αποδείχθηκε η Σχέση (2.5). Για να αποδειχθεί η Σχέση (2.6), αρκεί να δειχθεί ότι, για 0 < δ < 1, ( e δ ) µ e µδ2 /2 (1 δ) (1 δ) ή ( ) e δ e δ2 /2 (1 δ) (1 δ) ή ισοδύναμα, παίρνοντας λογαρίθμους, η παρακάτω συνθήκη: f(δ) = δ (1 δ) ln(1 δ) + δ2 2 0 για 0 < δ < 1. Υπολογίζονται οι παράγωγοι 1ης και 2ης τάξης της συνάρτησης f(δ): f (δ) = 1 ( 1) ln(1 δ) + 1 δ 1 δ + δ = ln(1 δ) + δ, f (δ) = 1 1 δ + 1. Είναι: f 1 (δ) = 0 = 1 1 δ = 1 δ = 0. Ισχύει ότι: 1 δ f (δ) < 0 για 0 < δ < 1, άρα η f (δ) είναι γν. φθίνουσα στο (0, 1) και επειδή f (0) = 0, 26

35 2.2. ΚΑΛΥΤΕΡΑ ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΚΑΠΟΙΕΣ ΕΙΔΙΚΕΣ ΠΕΡΙΠΤΩΣΕΙΣ προκύπτει ότι f (δ) < 0 στο διάστημα (0, 1). Άρα, η f(δ) είναι γν. φθίνουσα στο (0, 1). Τέλος, επειδή f(0) = 0 έπεται ότι f(δ) 0 στο (0, 1) γεγονός που αποδεικνύει τη Σχέση (2.6). Συχνά η επόμενη μορφή του φράγματος Chernoff, η οποία προκύπτει άμεσα από τις Σχέσεις (2.2) και (2.6), χρησιμοποιείται στις εφαρμογές. Πόρισμα Έστω X 1,..., X n ανεξάρτητες και μη ισόνομες δοκιμές Bernoulli τέτοιες ώστε P (X i = 1) = p i. Έστω X = n X i και µ = E(X). Τότε, για 0 < δ < 1: P ( X µ δµ) 2e µδ2 /3. (2.7) Σημείωση Στην πράξη είναι άγνωστη η ακριβής τιμή της μέσης τιμής E(X). Ανταυτής χρησιμοποιείται κάποια άλλη εκτίμηση µ E(X) στο Θεώρημα και µ E(X) στο Θεώρημα Καλύτερα Φράγματα Chernoff για κάποιες ειδικές περιπτώσεις Στην παράγραφο αυτή θα αποδειχθούν μέσω απλούστερων τεχνικών κάποια καλύτερα φράγματα Chernoff τα οποία ωστόσο μπορούν να εφαρμοστούν σε ορισμένες ειδικές περιπτώσεις συμμετρικών τυχαίων μεταβλητών. Ας θεωρηθεί, αρχικά, το άθροισμα ανεξάρτητων τ.μ. όπου εκάστη τ.μ. παίρνει την τιμή 1 ή -1 με ίση πιθανότητα. Θεώρημα Έστω X 1,..., X n ανεξάρτητες τ.μ. με: P (X i = 1) = P (X i = 1) = 1 2. Έστω X = n X i. Για κάθε α > 0, P (X α) e α2 /2n. Απόδειξη: Για κάθε t > 0, E[e tx i ] = e tx P (X i = x) = 1 2 et e t. x {1, 1} 27

36 ΚΕΦΑΛΑΙΟ 2. ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΑΘΡΟΙΣΜΑΤΑ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ Σκοπός είναι να εκτιμηθεί η μέση τιμή E[e tx i ]. Για να γίνει αυτό, χρησιμοποιούνται τα παρακάτω αναπτύγματα Taylor: e t = 1 + t + t2 2! + + ti i! + και Επομένως, e t = 1 t + t2 ti + + ( 1)i 2! i! +, E[e tx i ] = 1 2 et e t = i 0 i 0 t 2i (2i)! (t 2 /2) i i! αφού (2i)! 2 i i! i = e t2 /2. Χρησιμοποιώντας την εκτίμηση αυτή, προκύπτει ότι: E[e tx ] ανεξαρτησία = n E[e tx i ] e t2 n/2 και P (X α) = P (e tx e tα ) E[etX ] e tα e t2 n/2 tα. Θέτοντας t = a/n, βγαίνει τελικά ότι: P (X α) e α2 /2n. Λόγω συμμετρίας, ισχύει ότι P (X α) = P (X α). Άρα, επίσης: P (X α) e α2 /2n. Συνδιάζοντας τα δύο παραπάνω αποτελέσματα, προκύπτει το παρακάτω Πόρισμα. 28

37 2.2. ΚΑΛΥΤΕΡΑ ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΚΑΠΟΙΕΣ ΕΙΔΙΚΕΣ ΠΕΡΙΠΤΩΣΕΙΣ Πόρισμα Έστω X 1,..., X n ανεξάρτητες τ.μ. με: P (X i = 1) = P (X i = 1) = 1 2. Έστω X = n X i. Για κάθε α > 0, P ( X α) 2e α2 /2n. Με την εφαρμογή του μετασχηματισμού Y i = X i + 1 θα αποδειχθεί το παρακάτω, επίσης 2 σημαντικό, Πόρισμα. Πόρισμα Έστω Y 1,..., Y n ανεξάρτητες τ.μ. με: Έστω Y = n Y i και µ = E[Y ] = np = n Για κάθε α > 0, 2. Για κάθε δ > 0, P (Y i = 1) = P (Y i = 0) = 1 2. P (Y µ + α) e 2α2 /n. P (Y (1 + δ)µ) e δ2µ. (2.8) n Απόδειξη: Χρησιμοποιώντας το γεγονός ότι X = X i, έχουμε Y = n Y i = n ( Xi ) = ( n ) X i + n 2 = 1 2 X + µ. Εφαρμόζοντας το Θεώρημα 2.2.1, αποδεικνύεται η πρώτη ανισότητα ως εξής: ( ) 1 P (Y µ + α) = P 2 X + µ µ + α = P (X 2α) e 4α2 /2n = e 2α2 /n. H δεύτερη ανισότητα προκύπτει θέτοντας α = δµ = δn 2 Θεώρημα 2.2.1: και πάλι χρησιμοποιώντας το P (Y (1 + δ)µ) = P (X 2δµ) e 2δ2 µ 2 /n = e δ2µ. 29

38 ΚΕΦΑΛΑΙΟ 2. ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΑΘΡΟΙΣΜΑΤΑ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ Σημείωση Παρατηρείστε ότι η σταθερά στο εκθετικό του Φράγματος (2.8) είναι 1 αντί για 1/3 που είναι στο Φράγμα (2.2). Όμοια, προκύπτει και το παρακάτω Πόρισμα. Πόρισμα Έστω Y 1,..., Y n ανεξάρτητες τ.μ. με: P (Y i = 1) = P (Y i = 0) = 1 2. n Έστω Y = Y i και µ = E[Y ] = np = n Για κάθε 0 < α < µ, P (Y µ α) e 2α2 /n. 2. Για κάθε 0 < δ < 1, P (Y (1 δ)µ) e δ2µ. (2.9) 2.3 Φράγματα Chernoff και Σχετική Εντροπία Στην παράγραφο αυτή παρουσιάζονται ορισμένες προτάσεις οι οποίες δίνουν φράγματα Chernoff - χρησιμοποιώντας την έννοια της σχετικής εντροπίας RE(p p ) - για την πιθανότητα P (X m), όπου το m όπως θα φανεί θα μπορούσε να συμπέσει με την ποσότητα (1 + δ)µ του Θεωρήματος Ορισμός Η σχετική εντροπία (Relative Entropy ή Kullberg - Leibler distance) μεταξύ δύο κατανομών Bernoulli με παραμέτρους p και p, ορίζεται ως: RE(p p ) = p ln p 1 p + (1 p) ln p 1 p. (2.10) Μπορεί να αποδειχθεί ότι RE(p p ) 0 για κάθε p, p (0, 1). Πρόταση Έστω X 1,..., X n ανεξάρτητες και ισόνομες δοκιμές Bernoulli τέτοιες ώστε P (X i = 1) = p. Έστω X = n X i και µ = E(X) = np. Έστω m τέτοιο ώστε np < m < n και q = 1 p. Τότε, ισχύει ότι: ( pn ) ( ) m n m qn P (X m) m n m ή λόγω της Σχέσης (2.10) P (X m) e n RE ( m n p ). 30

39 2.3. ΦΡΑΓΜΑΤΑ CHERNOFF ΚΑΙ ΣΧΕΤΙΚΗ ΕΝΤΡΟΠΙΑ Απόδειξη: Για κάθε t > 0 τα επόμενα ισχύουν: P (X m) t>0 = P (tx tm) τεχνική του Bernstein = P (e tx e tm ) Markov = = ανεξαρτησία = = = E(e tx ) e tm Έστω f(t) = (pet + q) n. Είναι: Άρα, e tm E(e t n X i ) e tm E( n etx i ) e tm n E(etX i ) e tm n (pet + q) e tm όπου M Xi (t) = E(e tx i ) = pe t + q (pe t + q) n. e tm f (t) = np(pet + q) n 1 e t e tm me tm (pe t + q) n e 2tm f (t) = 0 np(pe t +q) n 1 e t m(pe t +q) n = 0 pe t +q>0 npe t m(pe t +q) = 0 npe t = m(pe t + q) npe t = mpe t + mq e t (np mp) = mq e t mq mq = t 0 = ln (n m)p (n m)p > 0. Επειδή f mq (t 0 ) > 0, η συνάρτηση f(t) παρουσιάζει ελάχιστο στη θέση t 0 = ln, το: (n m)p ( pn f(t 0 ) = m ) m ( qn n m ) n m. Η παραπάνω ελάχιστη τιμή, ύστερα από μερικές πράξεις, μπορεί να πάρει επίσης την παρακάτω κομψή μορφή: P (X m) e n RE ( m n p ). 31

40 ΚΕΦΑΛΑΙΟ 2. ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΑΘΡΟΙΣΜΑΤΑ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ Πρόταση Έστω X 1,..., X n ανεξάρτητες και μη ισόνομες δοκιμές Bernoulli τέτοιες ώστε P (X i = 1) = p i. Έστω X = n X i και µ = E(X) = n p i = np, όπου n p = p i. Έστω m τέτοιο ώστε np < m < n και q = 1 p. Τότε, ισχύει ότι: n Απόδειξη: Μία παρόμοια ανάλυση οδηγεί στο ότι: P (X m) e n RE( m n p). (2.11) P (X m) Markov n (p ie t + q i ) e tm (pet + q) n e tm. Η δεύτερη ανισότητα οφείλεται στην παρακάτω ανισότητα που συνδέει τον γεωμετρικό και αριθμητικό μέσο: Πράγματι, ( ) n α1 + + α n α 1... α n (2.12) n n (p i e t + q i ) = (p 1 e t + q 1 )... (p n e t + q n ) (2.12) = = ( ) p1 e t + q p n e t n + q n n ( e t (p p n ) + (1 p 1 ) + + (1 p n ) ( e t np + n np n = (pe t + q) n. Από εδώ και πέρα η απόδειξη είναι αυτούσια όπως στην Πρόταση Συνεπώς, η Σχέση 2.11 ισχύει και στην περίπτωση ανεξάρτητων και μη ισόνομων δοκιμών Bernoulli. Δίνουμε ακολούθως ορισμένες γραφικές παραστάσεις για να δούμε οπτικά πώς συμπεριφέρεται το φράγμα των Θεωρημάτων και (που είναι το ίδιο και στα δύο). Στα σχήματα που ακολουθούν έχουμε θέσει ( pn C 4 (m) = m ) n n ) ( m qn ) n m n m 32 ) n

41 2.3. ΦΡΑΓΜΑΤΑ CHERNOFF ΚΑΙ ΣΧΕΤΙΚΗ ΕΝΤΡΟΠΙΑ n όπου p = p i, m τέτοιο ώστε np < m < n και q = 1 p. Οι τιμές των p i - για n τις οποίες έχει υπολογιστεί η ακριβής πιθανότητα επιβίωσης - δίνονται στο Παράρτημα. Το φράγμα C 4 (m) ωστόσο εξαρτάται μόνο από το άθροισμα των p i. Σχήμα 2.4: Φράγμα C 4 (m) και P (X m) όταν µ = 10 p i = 2.41 πάνω αριστερά, όταν µ = 10 p i = 5.13 πάνω δεξιά, και όταν µ = 10 p i = 8.51 κάτω. Στο σημείο αυτό, θα δώσουμε άλλες τρεις γραφικές παραστάσεις στις οποίες συγκρίνονται τα φράγματα: ( ) e δ µ C 1 (δ) = του Θεωρήματος και (1 + δ) (1+δ) ( C 4 (δ) = pn (1+δ)µ ) (1+δ)µ ( qn n (1+δ)µ) n (1+δ)µ του Θεωρήματος

42 ΚΕΦΑΛΑΙΟ 2. ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΑΘΡΟΙΣΜΑΤΑ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ Σχήμα 2.5: Φράγματα C 1 (δ) και C 4 (δ), όταν µ = 10 p i = 4.5 πάνω αριστερά, όταν µ = 50 p i = 24.5 πάνω δεξιά, και όταν µ = 50 p i = 44.5 κάτω. Ακολούθως, δίνεται μια πιο γενική πρόταση όπου οι τ.μ. X i δεν είναι καν αναγκαίο να είναι διακριτές. Πρόταση (Bernstein - Chernoff - Hoeffding). Έστω X 1,..., X n ανεξάρτητες τυχαίες μεταβλητές τέτοιες ώστε X i [0, 1] και E(X i ) = p i για i = 1,..., n. Έστω X = n n X i, p = p i και q = 1 p. Τότε, για κάθε m τέτοιο ώστε np < m < n, n ισχύει: P (X m) e n RE( m p) n. (2.13) Απόδειξη: Όμοια, η τεχνική του Bernstein οδηγεί στη σχέση: P (X m) n E(etX i ) e tm. (2.14) Το πρόβλημα που υπάρχει εδώ είναι ότι δεν είναι πια εφικτός ο υπολογισμός των E(e tx i ) επειδή δεν είναι γνωστές οι κατανομές των X i. Ωστόσο, το πρόβλημα μπορεί να αντιμετωπιστεί μέσω της τεχνικής του Hoeffding: Για κάθε t > 0, η συνάρτηση f(x) = e tx είναι κυρτή. Άρα, η καμπύλη της f(x) στο 34

43 2.4. ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΑΘΡΟΙΣΜΑ ΣΥΝΕΧΩΝ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ διάστημα [0, 1] είναι κάτω από το ευθύγραμμο τμήμα που συνδέει τα σημεία (0, f(0)) και (1, f(1)). Η εξίσωση του εν λόγω τμήματος είναι: y f(0) = Επομένως, f(1) f(0) (x 0) y 1 = (e t 1)x y = e t x + (1 x). 1 0 E(e tx i ) E[e t X i + (1 X i )] = p i e t + q i. Οπότε, η Σχέση (2.14) γίνεται: P (X m) n E(etX i ) e tm Η συνέχεια της απόδειξης έχει δοθεί ήδη στην Πρόταση n (p ie t + q i ) e tm. (2.15) Στη συνέχεια θα δοθεί ένα συμμετρικό αποτέλεσμα με αυτό της Σχέσης (2.13). Η απόδειξη είναι όμοια γι αυτό και παραλείπεται. Πρόταση (Συμμετρική της Bernstein - Chernoff - Hoeffding). Έστω X 1,..., X n ανεξάρτητες τυχαίες μεταβλητές τέτοιες ώστε X i [0, 1] και E(X i ) = p i για i = 1,..., n. Έστω X = n n X i, p = p i και q = 1 p. Τότε, για κάθε m τέτοιο ώστε n 0 < m < np, ισχύει: P (X m) e n RE( m p) n. (2.16) 2.4 Φράγματα Chernoff για άθροισμα συνεχών τυχαίων μεταβλητών Στην παράγραφο αυτή, θα ασχοληθούμε με φράγματα Chernoff για την περίπτωση που η X είναι άθροισμα ανεξάρτητων συνεχών τυχαίων μεταβλητών. Από τις ανισότητες (2.13) και (2.16) παράγεται πληθώρα διαφορετικών φραγμάτων τύπου Chernoff. Θεώρημα (Hoeffding Bounds). Έστω X 1,..., X n ανεξάρτητες τυχαίες μεταβλητές τέτοιες ώστε X i [0, 1] και E(X i ) = p i για i = 1,..., n. Έστω X = n X i, n p = p i και q = 1 p. Τότε, για κάθε t > 0, ισχύουν οι σχέσεις: n P [X E[X] + t] e 2t2 n. (2.17) 35

44 ΚΕΦΑΛΑΙΟ 2. ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΑΘΡΟΙΣΜΑΤΑ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ και P [X E[X] t] e 2t2 n. (2.18) Απόδειξη: Θα αποδείξουμε τη Σχέση (2.17). Χωρίς βλάβη της γενικότητας, υποθέτουμε ότι 0 < p < 1. Ορίζουμε m = (p + x)n, όπου 0 < x < 1 p, έτσι ώστε np < m < n. Πράγματι 0 < x < 1 p 0 < nx < n np np < nx + np < n np + np Επίσης, ορίζουμε τη συνάρτηση ( m ) f(x) = RE n p Άρα, Είναι: f (x) = ln p + x x = ln p + x x np < m < n. = RE(p + x p) = (p + x) ln p + x p f(x) = (p + x) ln p + x p + (p + x) ln q x. q + [1 (p + x)] ln + (q x) ln q x. q 1 (p + x). 1 p p p + x 1 p ln q x ( q + (q x) q q x 1 ) q και f (x) = = = p p + x 1 p q ( q x 1 ) q 1 p + x + 1 q x 1 (p + x)(q x). Από το ανάπτυγμα του Taylor, γνωρίζουμε ότι για κάθε x [0, 1] υπάρχει κάποιο ξ [0, x] τέτοιο ώστε f(x) = f(0) + x f (0) x2 f (ξ), 36

45 2.4. ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΑΘΡΟΙΣΜΑ ΣΥΝΕΧΩΝ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ όπου f(0) = f (0) = 0, οπότε f(x) = 1 2 x2 1 (p + ξ)(q ξ). Λόγω της ανισότητας (2.12) - που συνδέει τον γεωμετρικό και αριθμητικό μέσο - ισχύει ότι Επομένως και Άρα, έχουμε ότι ( ) (p + ξ) + (q ξ) (p + ξ)(q ξ) = (p + ξ)(q ξ) 4. f(x) = 1 2 x2 1 (p + ξ)(q ξ) 1 2 x2 4 = 2 x 2. (2.19) Θέτοντας ότι x = t και έχοντας ήδη ορίσει στην αρχή ότι m = (p + x)n = np + xn = n E[X] + t, έχουμε ότι: P [X E[X] + t] = P [X m] (2.13) (2.19) e nf(x) e 2x2 n = e 2t2 n. Η απόδειξη της Σχέσης (2.18) είναι παρόμοια λόγω συμμετρίας. Στη συνέχεια θα δώσουμε ένα άλλο Θεώρημα το οποίο αποτελεί πανομοιότυπη έκδοση με αυτήν του Θεωρήματος Θεώρημα Έστω X 1,..., X n ανεξάρτητες τυχαίες μεταβλητές τέτοιες ώστε X i [0, 1] και E(X i ) = p i για i = 1,..., n. Έστω X = n n X i, p = p i και q = 1 p. n Τότε, ισχύουν οι σχέσεις: 1. Για κάθε 0 < δ 1, P [X (1 + δ)e[x]] e E[X]δ2 3. (2.20) 37

46 ΚΕΦΑΛΑΙΟ 2. ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΑΘΡΟΙΣΜΑΤΑ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ 2. Για κάθε 0 < δ < 1, P [X (1 δ)e[x]] e E[X]δ2 2. (2.21) 3. Για t > 2eE[X], P [X t] 2 t. (2.22) Απόδειξη: Για να αποδείξουμε τη Σχέση (2.20), θα εφαρμόσουμε κι εδώ τη Σχέση (2.13) με m = (p + xp)n. Χωρίς βλάβη της γενικότητας, μπορούμε να υποθέσουμε ότι m < n, ή ισοδύναμα ότι x < q p. Πράγματι m = (p + xp)n m<n (p + xp)n < n p + xp < 1 x < q p. Πιο συγκεκριμένα, θα αποδείξουμε το ζητούμενο μέσω της παρακάτω συνάρτησης ( m ) g(x) = RE n p = RE (p + xp p) = (p+xp) ln p + xp +(1 p xp) ln 1 p xp. p 1 p Άρα, g(x) = (1 + x) p ln(1 + x) + (q px) ln q px q { } q για 0 < x min p, 1 λόγω του ότι η Σχέση (2.20) θέλουμε να αποδειχθεί για 0 < δ 1. Ας παρατηρήσουμε, αρχικά, ότι ( q ln q px = ln 1 + px ) px q px q px, όπου η παραπάνω ανισότητα έπεται από το γεγονός ότι: ( ln 1 + px ) px q px q px 1 + px q px e px q px, το οποίο ισχύει διότι η συνάρτηση e px/(q px) έχει όλες τις παραγώγους της θετικές με συνέπεια το ανάπτυγμα Taylor αυτής να είναι άθροισμα μόνο θετικών όρων. Οι ποσότητες 38

47 2.4. ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΑΘΡΟΙΣΜΑ ΣΥΝΕΧΩΝ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ px 1 και είναι οι δύο πρώτοι του αναπτύγματος Taylor, και συνεπώς η συνάρτηση q px αυτή επιβάλλεται να είναι μεγαλύτερη από το άθροισμά τους. Άρα, ln q q px px q px q ln q px px q px ln q px q px q px (q px) ln q px q Από την τελευταία ανισότητα συμπεραίνουμε ότι q px>0 px. g(x) (1 + x) p ln(1 + x) p x = p [(1 + x) p ln(1 + x) x]. Τώρα, ορίζουμε μια νέα συνάρτηση της οποίας οι πρώτες δύο παράγωγοι είναι h(x) = (1 + x) p ln(1 + x) x x2 3, h (x) = ln(1 + x) 2x 3 και h (x) = x 2 3, όπου h (x) = 0 x = 1 2. Άρα, το 1 2 είναι τοπικό ακρότατο για την h (x). Επειδή, h (x) < 0 για x (0, 1], η h (x) παρουσιάζει στη θέση 1 2 τοπικό μέγιστο. Η h (x) ( είναι γνησίως αύξουσα στο 0, 1 ] [ ] 1 και γνησίως φθίνουσα στο 2 2, 1. Συνεπώς, h (x) 0 για κάθε x (0, 1]. Αυτό σημαίνει ότι η συνάρτηση h(x) είναι αύξουσα στο (0, 1]. Επομένως, h(x) h(0) = 0 για κάθε x (0, 1]. Οπότε, έχουμε ότι g(x) p [(1 + x) p ln(1 + x) x] px2 3 (2.23) 39

48 ΚΕΦΑΛΑΙΟ 2. ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΑΘΡΟΙΣΜΑΤΑ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ για κάθε x (0, 1]. Θέτοντας x = δ και έχοντας ήδη ορίσει στην αρχή ότι m = (p + xp)n = np + δnp = E[X] + δe[x] = (1 + δ)e[x], προκύπτει ότι P [X (1 + δ)e[x]] = P [X m] (2.13) (2.23) e ng(δ) e E[X]δ2 3. Η απόδειξη της Σχέσης (2.21) είναι παρόμοια λόγω συμμετρίας. 2.5 Φράγματα Chernoff για γεωμετρικές τυχαίες μεταβλητές Αν η X είναι άθροισμα ανεξάρτητων γεωμετρικών τυχαίων μεταβλητών X 1,..., X n σκεφτόμαστε και σε αυτήν την περίπτωση ότι η ουρά της κατανομής της X εμφανίζει μία συμπεριφορά παρόμοια με αυτήν που περιγράφουν τα Φράγματα Chernoff που ως τώρα έχουμε παρουσιάσει. Είναι αλήθεια ότι οι X i δεν είναι φραγμένες τυχαίες μεταβλητές, παρ όλα αυτά όμως η πιθανότητα P (X i = k) μειώνεται εκθετικά σε σχέση με το k. Αυτό σημαίνει ότι μία οποιαδήποτε X i το να πάρει μία μεγάλη ακέραια τιμή k θεωρείται ένα αρκετά σπάνιο ενδεχόμενο. Στην πραγματικότητα ισχύει το επόμενο Θεώρημα. Θεώρημα Έστω p [0, 1]. Έστω X 1,..., X n ανεξάρτητες και ισόνομες γεωμετρικές τυχαίες μεταβλητές με συνάρτηση πιθανότητας P (X i = j) = (1 p) j 1 p για κάθε j N. Και έστω επίσης X = n X i. Τότε, για κάθε δ > 0, P (X (1 + δ)e[x]) e δ2 2 n 1 1+δ. (2.24) Απόδειξη: Έστω Y 1, Y 2,... μία άπειρη ακολουθία ανεξάρτητων και ισόνομων δίτιμων (0-1) τυχαίων μεταβλητών (δηλαδή Bernoulli) τέτοιες ώστε η κάθε Y i να παίρνει την τιμή 1 με πιθανότητα P (Y i = 1) = p. Παρατηρείστε ότι η τυχαία μεταβλητή: Το μικρότερο j τέτοιο ώστε Y j = 1 έχει την ίδια κατανομή όπως η κάθε X i. Με αποτέλεσμα, η τυχαία μεταβλητή X να έχει την ίδια κατανομή όπως η τυχαία μεταβλητή: Το μικρότερο j τέτοιο ώστε ακριβώς n από τις Y 1,..., Y j είναι μονάδες. Πιο συγκεκριμένα, το 40

49 2.5. ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΓΕΩΜΕΤΡΙΚΕΣ ΤΥΧΑΙΕΣ ΜΕΤΑΒΛΗΤΕΣ προηγούμενο σκεπτικό μεταφράζεται μέσω πιθανοτήτων ως εξής P (X j) = P ( j 1 ) Y i n 1 για κάθε j N. Η παραπάνω τακτική μας επιτρέπει να αντιμετωπίσουμε το πρόβλημα με τη βοήθεια του αθροίσματος ανεξάρτητων δοκιμών Bernoulli, γεγονός το οποίο μας επιτρέπει να εφαρμόσουμε τα έως τώρα κλασσικά φράγματα Chernoff. Είναι γνωστό ότι η αναμενόμενη τιμή μιας γεωμετρικής τυχαίας μεταβλητής είναι E[X i ] = 1. Επίσης, λόγω της γραμμικότητας της μέσης τιμής και του ότι οι X 1,..., X n είναι ισόνομες, έπεται ότι E[X] = n p p. Ορίζουμε την εξής τυχαία μεταβλητή Από τα παραπάνω ισχύει ότι Y := (1+δ)E[X] 1 Y i. P (X (1 + δ)e[x]) = P (Y n 1). Στη συνέχεια θα βρούμε ένα κάτω φράγμα για την αναμενόμενη τιμή της τυχαίας μεταβλητής που μόλις ορίσαμε (δηλαδή για την Y Binomial( (1 + δ)e[x] 1, p)). E[Y ] = (1 + δ)e[x] 1 p [(1 + δ) n p 1] p = (1 + δ) n p > (1 + δ) (n 1). Ακολούθως, θέτουμε δ := 1 n 1 E(Y ) n 1 = (1 δ ) E[Y ]. Εύκολα προκύπτει από την παραπάνω ανισότητα ότι 0 < δ < 1 και P (Y n 1) = P (Y (1 δ ) E(Y )). Πλέον είμαστε σε θέση να εφαρμόσουμε ένα από τα κλασσικά φράγματα Chernoff. Εν κατακλείδι, κάνοντας χρήση της Σχέσης (2.6) ή της ισοδύναμής της (2.21), καταλήγουμε 41

50 ΚΕΦΑΛΑΙΟ 2. ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΑΘΡΟΙΣΜΑΤΑ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ στο ζητούμενο. Είναι P (X (1 + δ)e[x]) = P (Y (1 δ ) E[Y ]) (2.6) exp ( 12 ) E[Y ]δ 2 exp ( 12 ( E[Y ] 1 n 1 ) ) 2 E[Y ] exp ( 12 ( E[Y ] 1 1 ) ) δ ( exp 1 ( ) ) 2 δ 2 (n 1)(1 + δ) 1 + δ ) = exp ( δ2 n δ 2.6 Φράγματα Chernoff με γνωστή διασπορά Στην παράγραφο αυτή θα δούμε για δεύτερη φορά (η πρώτη ήταν όταν δώσαμε την ανισότητα Chebyshev (1.11)) φράγματα Chernoff τα οποία εμπεριέχουν τη διασπορά του n αθροίσματος X i. Η μορφή που παίρνουν τα φράγματα αυτά μπορεί να θεωρηθεί σημαντικά καλύτερη από τη μορφή αυτών που έχουμε δει έως τώρα και δε χρησιμοποιούν τη διασπορά. Θα δώσουμε τη μορφή δύο τέτοιων φραγμάτων τα οποία εμφανίζονται πιο συχνά στην πράξη. Θεώρημα Έστω X 1,..., X n ανεξάρτητες τυχαίες μεταβλητές τέτοιες ώστε X i n [0, 1] και µ i = E(X i ) για i = 1,..., n. Έστω επίσης X = X i, µ = E[X] = n µ i, σi 2 = V ar[x i ] και σ 2 = V ar[x] ανεξ. = ισχύει ότι n σi 2. Τότε, για κάθε 0 < t < 2σ 2 max(µ i, 1 µ i ), ( ) t 2 P (X µ + t) exp. (2.25) 4σ 2 42

51 2.6. ΦΡΑΓΜΑΤΑ CHERNOFF ΜΕ ΓΝΩΣΤΗ ΔΙΑΣΠΟΡΑ Απόδειξη: Είναι ( n ) P (X µ + t) = P (X i µ i ) t = P Markov ( e λ n (X i µ i ) e λt ) E ( e λ ) n (X i µ i ), E(e λt ) για κάθε λ > 0. Θα χρησιμοποιήσουμε έπειτα τις ανισότητες e x 1 + x + x 2 για 0 < x < 1, και e x 1 + x. Οπότε, εάν λ max(µ i, 1 µ i ) < 1 για κάθε i = 1,..., n, έχουμε Επομένως, E ( e λ ) n (X i µ i ) ανεξ. = = n E ( e ) λ(x i µ i ) n E(1 + λ(x i µ i ) + λ 2 (X i µ i ) 2 ) n ( λ 2 σi 2 ) n = e λ2 σ 2. Έστω η συνάρτηση f(λ) = e λ2 σ 2 λt. Είναι e λ2 σ 2 i P (X µ + t) eλ2 σ 2 e λt. f (λ) = e λ2 σ 2 λt (2λσ 2 t) f (λ) = 0 λ 0 = t 2σ 2. Επειδή η f (λ 0 ) > 0 συμπεραίνουμε ότι η συνάρτηση f(λ) παρουσιάζει ελάχιστο στο σημείο λ 0 = t. Άρα, καταλήγουμε στην τελική ανισότητα 2σ2 ( ) t 2 P (X µ + t) exp. 4σ 2 43

52 ΚΕΦΑΛΑΙΟ 2. ΦΡΑΓΜΑΤΑ CHERNOFF ΓΙΑ ΑΘΡΟΙΣΜΑΤΑ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ Το επόμενο φράγμα συχνά αναφέρεται ως Ανισότητα Bernstein, βλέπε Dubhashi and Panconesi (2009). Θεώρημα (Ανισότητα Bernstein). Έστω X 1,..., X n ανεξάρτητες τυχαίες μεταβλητές τέτοιες ώστε X i [a, b], µ i = E(X i ) και X i µ i b για i = 1,..., n. Έστω επίσης n n n X = X i, µ = E[X] = µ i, σi 2 = V ar[x i ] και σ 2 = V ar[x] ανεξ. = σi 2. Τότε, για κάθε t > 0, ισχύει ότι ( ) t 2 P (X µ + t) exp. (2.26) 2σ 2 (1 + bt/3σ 2 ) 44

53 Κεφάλαιο 3 Εφαρμογές των Φραγμάτων Chernoff Στο κεφάλαιο αυτό θα παρουσιαστούν ορισμένες εφαρμογές των φραγμάτων Chernoff οι οποίες εμφανίζονται στην ανάπτυξη, κατασκευή και ανάλυση τυχαιοποιημένων αλγορίθμων. Τα προβλήματα που ακολουθούν είναι αρκετά διαφορετικά, γεγονός που επεξηγεί τη χρησιμότητα των φραγμάτων αυτών. Από την σχετική βιβλιογραφία επιλέχθηκαν παραδείγματα κυρίως από τα βιβλία των Mitzenmacher and Upfal (2005) και Motwani and Raghavan (1995). 3.1 Ρίψεις νομίσματος Έστω X το πλήθος των κεφαλών σε μια ακολουθία n ανεξάρτητων ρίψεων ενός αμερόληπτου νομίσματος. Εφαρμόζοντας το φράγμα Chernoff της Σχέσης (2.7), προκύπτει ότι: P ( X µ δµ) δ= 6n ln n ( X n n = P 1 ) 6n ln n 2 2 { 2 exp 1 } n 6 ln n 3 2 n 2 = n. Το παραπάνω αποτέλεσμα αποτελεί ένδειξη ότι η συγκέντρωση του πλήθους των κεφαλών εκατέρωθεν του μέσου n/2 είναι πολύ σφικτή. Τις περισσότερες φορές, οι αποκλίσεις από το μέσο φαίνεται να είναι της τάξης του O( n ln n). Για να γίνει αντιληπτή η δύναμη 45

54 ΚΕΦΑΛΑΙΟ 3. ΕΦΑΡΜΟΓΕΣ ΤΩΝ ΦΡΑΓΜΑΤΩΝ CHERNOFF του φράγματος Chernoff (2.1.1), ας θεωρηθεί η πιθανότητα το πλήθος των κεφαλών να είναι το πολύ n/4 ή τουλάχιστον 3n/4 στις n επαναλήψεις του πειράματος. Η ανισότητα Chebyshev(βλ. Παράρτημα Α) θα δώσει: ( X n P n ) n. Ήδη, το φράγμα αυτό είναι χειρότερο από το Chernoff το οποίο υπολογίσθηκε πριν λίγο για ένα σημαντικά μεγαλύτερο ενδεχόμενο! Χρησιμοποιώντας τη Σχέση (2.7) σε αυτήν την περίπτωση, προκύπτει ότι: ( X n P n ) δ= { 2 exp 1 } n e n/24. Επομένως, η τεχνική του Chernoff δίνει ένα φράγμα το οποίο είναι εκθετικά μικρότερο από το φράγμα που αποκτάται χρησιμοποιώντας την ανισότητα Chebyshev. 3.2 Εκτίμηση παραμέτρου Ας υποθέσουμε ότι θέλουμε να εκτιμήσουμε την πιθανότητα να συμβεί μία συγκεκριμένη γονιδιακή μετάλλαξη στον πληθυσμό. Δοθέντος ενός δείγματος DNA, ένα εργαστηριακό τεστ μπορεί να προσδιορίσει εάν αυτό το δείγμα έχει τη μετάλλαξη. Ωστόσο, επειδή το τεστ είναι ακριβό, θα θέλαμε να αποκτήσουμε μια σχετικά αξιόπιστη εκτίμηση από ένα μικρό αριθμό δειγμάτων. Έστω p η άγνωστη τιμή της πιθανότητας που ενδιαφερόμαστε να εκτιμήσουμε. Υποθέτουμε ότι έχουμε n δείγματα DNA (ή αλλιώς n μετρήσεις - παρατηρήσεις) και ότι X = ˆpn από αυτά τα δείγματα έχουν τη μετάλλαξη. Αν δοθεί ένα επαρκώς μεγάλο πλήθος δειγμάτων DNA, τότε αναμένουμε η τιμή p να είναι κοντά στην δειγματική τιμή ˆp. Ας εκφράσουμε το γεγονός αυτό μέσω ενός διαστήματος εμπιστοσύνης. Ορισμός Ένα 1 γ Διάστημα Εμπιστοσύνης (Δ.Ε.) για μία παράμετρο p είναι ένα διάστημα της μορφής [ˆp δ, ˆp + δ] τέτοιο ώστε P (p [ˆp δ, ˆp + δ]) 1 γ. 46

55 3.2. ΕΚΤΙΜΗΣΗ ΠΑΡΑΜΕΤΡΟΥ Παρατηρείστε ότι, αντί να εκτιμούμε την εκάστοτε άγνωστη παράμετρο p σε σημείο δηλαδή αναφέροντας μία μόνο τιμή αυτής, είναι σαφώς καλύτερο να δίνουμε ένα διάστημα το οποίο να περιέχει την παράμετρο p με μεγάλη πιθανότητα. Ιδανικά, θα θέλαμε και το εύρος του διαστήματος (που είναι 2δ) και η πιθανότητα του σφάλματος (που είναι μικρότερη από γ) - δηλαδή η πιθανότητα η άγνωστη παράμετρος p τελικά να μην ανήκει στο διάστημα που προτείναμε - να είναι όσο το δυνατόν μικρά γίνεται. Εντούτοις, όταν αυξάνεται το εύρος του Δ.Ε., μειώνεται η πιθανότητα σφάλματος και το αντίστροφο. Επανερχόμενοι στο συγκεκριμένο πρόβλημά μας, αν βρεθούν ακριβώς X = ˆpn δείγματα DNA με τη μετάλλαξη ανάμεσα στα n συνολικά δείγματα, χρειάζεται να βρούμε τιμές των δ και γ για τις οποίες P (p [ˆp δ, ˆp + δ]) = P (np [n(ˆp δ), n(ˆp + δ)]) 1 γ. Η τυχαία μεταβλητή X = nˆp ακολουθεί τη Διωνυμική Κατανομή με παραμέτρους n και p. Άρα, E[X] = np. Αν p / [ˆp δ, ˆp + δ] τότε συμβαίνει ένα από τα δύο ακόλουθα ενδεχόμενα: Ενδεχόμενο 1. Αν p < ˆp δ: p < ˆp δ np < nˆp nδ nˆp > np + nδ, ( τότε X = nˆp > n(p + δ) = E[X] + nδ = E[X] 1 + δ ). p Ενδεχόμενο 2. Αν p > ˆp + δ: p > ˆp + δ np > nˆp + nδ nˆp < np nδ, ( τότε X = nˆp < n(p δ) = E[X] nδ = E[X] 1 δ ). p Εφαρμόζοντας τα Φράγματα Chernoff (2.6) και (2.2), θα δώσουμε ένα άνω φράγμα για 47

56 ΚΕΦΑΛΑΙΟ 3. ΕΦΑΡΜΟΓΕΣ ΤΩΝ ΦΡΑΓΜΑΤΩΝ CHERNOFF την πιθανότητα σφάλματος: P (p / [ˆp δ, ˆp + δ]) = P ( ( X < np 1 δ )) ( ( + P X > np 1 + δ )) (3.1) p p < e np(δ/p)2 /2 + e np(δ/p)2 /3 (3.2) = e nδ2 /2p + e nδ2 /3p. (3.3) Το φράγμα που δίνεται στη Σχέση (3.3) δεν είναι χρήσιμο καθώς η τιμή της παραμέτρου p είναι άγνωστη. Μία απλή λύση είναι να εκμεταλλευτούμε το γεγονός ότι p 1 και να θέσουμε p = 1 στη Σχέση (3.3). Μπορούμε να το κάνουμε επειδή το φράγμα που θα προκύψει είναι μεγαλύτερο απ αυτό που δίνει η Σχέση (3.3). Συνεπώς έχουμε ότι P (p / [ˆp δ, ˆp + δ]) < e nδ2 /2 + e nδ2 /3. Θέτουμε γ = e nδ2 /2 + e nδ2 /3, κι άρα η πιθανότητα σφάλματος είναι μικρότερη από γ. Πράγματι, τα μεγέθη γ και δ δε γίνεται να μειωθούν και τα δύο μαζί. 3.3 Εξισορρόπηση φορτίου (load balancing) Υποθέτουμε ότι έχουμε ένα σύστημα στο οποίο καταφθάνουν η μία πίσω από την άλλη m εργασίες και πρέπει άμεσα να υποβληθούν σε συγκεκριμένη επεξεργασία (να εξυπηρετηθούν με άλλα λόγια) από έναν από τους n επεξεργαστές του συστήματος. Σκοπός μας είναι να αναθέσουμε τις εργασίες αυτές στους επεξεργαστές με τρόπο ώστε να εξισορροπείται όσο το δυνατόν περισσότερο ο συνολικός φόρτος εργασίας του συστήματος ομοιόμορφα. Μία ιδέα που δίνει λύση σε ένα τέτοιο πρόβλημα είναι να αναθέσουμε κάθε εισερχόμενη εργασία σε έναν επεξεργαστή που επιλέγεται ομοιόμορφα στην τύχη, ανεξάρτητα από τις άλλες εργασίες. Θα αναλύσουμε εν συνεχεία το πόσο καλά αυτό το σύστημα λειτουργεί. Ας επικεντρωθούμε σε ένα συγκεκριμένο επεξεργαστή. Έστω X i = 1 εάν η εργασία με ετικέτα i ανατίθεται σε αυτόν τον επεξεργαστή, ενώ X i = 0 εάν δεν πραγματοποιείται η ανάθεση. Τότε, ο φόρτος εργασίας του επεξεργαστή αυτού ισούται με X i m. Σημειώνουμε ότι η πιθανότητα επιτυχίας p είναι P (X i = 1) = 1 καθώς η κάθε εργασία n 48

57 3.3. ΕΞΙΣΟΡΡΟΠΗΣΗ ΦΟΡΤΙΟΥ (LOAD BALANCING) ανατίθεται σε έναν επεξεργαστή ο οποίος επιλέγεται ομοιόμορφα στην τύχη. Επιπλέον, οι τυχαίες μεταβλητές X 1,..., X m είναι ανεξάρτητες. Αρχικά, ας εξετάσουμε την περίπτωση όπου m = 6n ln n πράγμα που σημαίνει ότι οι δουλειές που χρείαζεται να εξυπηρετηθούν είναι αρκετά περισσότερες από ότι οι επεξεργαστές. Τότε, η αναμενόμενη τιμή του φόρτου εργασίας του συγκεκριμένου επεξεργαστή για τον οποίο μιλάμε είναι E[X] = m p = m = 6 ln n. Εφαρμόζοντας τη Σχέση (2.2) για n δ = 1 βλέπουμε ότι η πιθανότητα ο φόρτος εργασίας του συγκεκριμένου επεξεργαστή να ξεπερνάει τις 12 ln n εργασίες είναι το πολύ P (X (1 + 1)6 ln n) e ln n = e 2 ln n = 1 n 2. Εφαρμόζουμε τώρα την Ανισότητα Union Bound όπου με B i P [B 1... B n ] n P (B i ), ορίζουμε το ενδεχόμενο ο φόρτος εργασίας του i επεξεργαστή ξεπερνάει τις 12 ln n εργασίες. Άρα P [B 1... B n ] n 1 n 2 = n 1 n 2 = 1 n. Επομένως, η πιθανότητα ο φόρτος εργασίας κανενός επεξεργαστή να μην ξεπερνάει τις 12 ln n εργασίες είναι τουλάχιστον 1 1, όπως βλέπουμε παρακάτω: n 1 P [B 1... B n] 1 n P [B 1... B n] 1 1 n. Έπειτα, θα δούμε την περίπτωση όπου m = 6n. Σε αυτήν την περίπτωση είναι E[X] = m = 1. Εφαρμόζοντας τη Σχέση (2.3), για R 6 E[X] = 6 βλέπουμε ότι n P (X R) e R. Θέτοντας R = 2 ln n (ενώ πρέπει n 21 για να είναι R 6), η παραπάνω σχέση γίνεται P (X 2 ln n) e 2 ln n = 1 n 2. 49

58 ΚΕΦΑΛΑΙΟ 3. ΕΦΑΡΜΟΓΕΣ ΤΩΝ ΦΡΑΓΜΑΤΩΝ CHERNOFF Κάνοντας και σε αυτήν την περίπτωση χρήση της Ανισότητας Union Bound, βρίσκουμε ότι η πιθανότητα ο φόρτος εργασίας κανενός επεξεργαστή να μην ξεπερνάει τις 2 ln n εργασίες είναι τουλάχιστον 1 1 n. Σε αυτήν την περίπτωση όπου m = 6n ln n, μπορούμε να απαντήσουμε πιο γενικά στο πρόβλημα χρησιμοποιώντας το ισχυρότερο φράγμα Chernoff που δίνεται στη Σχέση (2.1) και ξαναγράφουμε εδώ ( ) e δ E[X] P (X (1 + δ)e[x]). (1 + δ) (1+δ) Θέτοντας 1 + δ := c στην παραπάνω σχέση προκύπτει ότι P (X c) ec 1 c c. (3.4) Προκειμένου να επιλέξουμε το κατάλληλο c για να χρησιμοποιήσουμε στη Σχέση (3.4), θα εστιάσουμε την προσοχή μας στη συνάρτηση x x. Ποια είναι η λύση της εξίσωσης x x = n; Ας συμβολίσουμε με γ(n) τον αριθμό αυτό. Παρόλο που δεν υπάρχει κλειστή μορφή για το γ(n), μπορεί να προσεγγισθεί αρκετά καλά ως εξής: x x = n x ln x = ln n ln x + ln(ln x) = ln(ln n). Επομένως, 2 ln x > ln x + ln(ln x) = ln(ln n) ln x. (3.5) Χρησιμοποιώντας τη Σχέση (3.5) για να διαιρέσουμε την εξίσωση x ln x = ln n, προκύπτει ότι Γι αυτό το λόγο λοιπόν, συμπεραίνουμε ότι 1 2 x ln n ln(ln n) x = γ(n). ( ) ln n γ(n) = Θ. ln(ln n) Θέτοντας c =: eγ(n) στη Σχέση (3.4), έχουμε ( P (X c) ec 1 e ) ( ) c eγ(n) ( ) 2γ(n) 1 1 < = < = 1 c c c γ(n) γ(n) n. 2 50

59 3.4. ΕΞΙΣΟΡΡΟΠΗΣΗ ΣΥΝΟΛΟΥ (SET BALANCING) Συμπερασματικά, ( ο ) φόρτος οποιουδήποτε επεξεργαστή δεν ξεπερνάει τον αριθμό ln n eγ(n) = Θ με πιθανότητα τουλάχιστον 1 1. Εφαρμόζοντας και την Ανισότητα Union Bound, έπεται ότι η πιθανότητα ο φόρτος εργασίας κανενός ln(ln n) n2 επεξεργαστή δεν ξεπερνάει την τιμή αυτή είναι τουλάχιστον 1 1. Μπορεί τέλος να ειπωθεί ότι n με αυτήν την τυχαία ανάθεση των εργασιών στους επεξεργαστές, ( ) με μεγάλη πιθανότητα ln n κάποιος επεξεργαστής πράγματι λαμβάνει το πολύ Θ εργασίες. ln(ln n) 3.4 Εξισορρόπηση συνόλου (set balancing) Έστω ότι έχουμε ένα n m μητρώο A με καταχωρήσεις από το σύνολο {0, 1}. Ψάχνουμε να βρούμε ένα διάνυσμα b διάστασης m 1 με καταχωρήσεις από το σύνολο { 1, 1} που ελαχιστοποιεί την ποσότητα Ab. Θυμίζουμε ότι με συμβολίζουμε τη νόρμα άπειρο ενός διανύσματος. Δηλαδή, αν = Ab c a 11 a a 1m b 1 c 1 a 21 a a 2m b 2 c 2. =, τότε Ab.... = max... c i.,...,n a n1 a n2... a nm b m Θα εξηγήσουμε μέσω ενός παραδείγματος το λόγο για τον οποίο το πρόβλημα αυτό ονομάζεται εξισορρόπηση συνόλου. Έστω ότι: Έχουμε ένα σύνολο m μαθητών και έστω n το πλήθος κάποιων χαρακτηριστικών. Προσπαθούμε να τους ταξινομήσουμε βάσει αυτών των συγκεκριμένων χαρακτηριστικών που έχουμε θέσει. Π.χ., Χαρακτηριστικό 1: Χαρακτηριστικό 2: Χαρακτηριστικό 3:. Χαρακτηριστικό n: Καλός στο μπέισμπολ; c n Καλός στα μαθηματικά; Έχει καλή συμπεριφορά; Έχει ικανοποιητικές γνώσεις Η/Υ; Όταν το στοιχείο a ij = 0, ο j φοιτητής δεν έχει το χαρακτηριστικό i. Ενώ, όταν το στοιχείο a ij = 1, ο j φοιτητής έχει το χαρακτηριστικό i. Μία ημέρα, το αφεντικό (ο διευθυντής του σχολείου), μας αναθέτει ένα δύσκολο έργο: Μπορείτε να χωρίσετε τους m μαθητές 51

60 ΚΕΦΑΛΑΙΟ 3. ΕΦΑΡΜΟΓΕΣ ΤΩΝ ΦΡΑΓΜΑΤΩΝ CHERNOFF σε δύο ομάδες G 1 και G 2 με τέτοιο τρόπο ώστε για κάθε k (1 k n), Το πλήθος των μαθητών με το χαρακτηριστικό k στην ομάδα G 1 (έστω N 1k ) Το πλήθος των μαθητών με το χαρακτηριστικό k στην ομάδα G 2 (έστω N 2k ). Το πιθανότερο είναι να μην μπορούμε να βρούμε μία τέτοια διαμέριση. Ωστόσο, μπορούμε να στοχεύσουμε στο να βρούμε μία διαμέριση τέτοια ώστε να ελαχιστοποιείται η ποσότητα: max {διαφορά N 1k N 2k για το χαρακτηριστικό k}. k Αυτή η καλή και δυνατό να γίνει διαμέριση περιγράφεται από το διάνυσμα που πρέπει b να βρούμε. Αν η i συνιστώσα του είναι 1, σημαίνει ότι ο i μαθητής, αποφασίζουμε να b ανήκει στην ομάδα G 1. Αντίστοιχα, αν η i συνιστώσα του είναι 1, σημαίνει ότι ο i b μαθητής, αποφασίζουμε να ανήκει στην ομάδα G 2. Ο τυχαιοποιημένος αλγόριθμος υπολογισμού του διανύσματος είναι εξαιρετικά απλός. Επιλέγουμε τυχαία τις συνιστώσες b (καταχωρήσεις) του b, με P (b i = 1) = P (b i = 1) = 1/2. Οι n αναθέσεις τιμών -1 ή 1 είναι μεταξύ τους ανεξάρτητες. Παραδόξως, αν και ο αλγόριθμος αγνοεί τις καταχωρήσεις του μητρώου A, το Θεώρημα δείχνει ότι η ποσότητα Ab (που μετράει τη μέγιστη ασυμφωνία που υπάρχει μεταξύ των δύο ομάδων και μπορεί να οφείλεται σε ένα τουλάχιστον χαρακτηριστικό i, 1 i n) είναι πολύ πιθανό να είναι O( m ln n). Αυτό το φράγμα είναι αρκετά αυστηρό ως προς το στόχο που είχαμε στοχεύσει, γεγονός που σημαίνει ότι οι δύο ομάδες που δημιουργούνται από την τυχαία αυτή διαμέριση είναι αρκετά ισορροπημένες όσον αφορά τα n χαρακτηριστικά. Με άλλα λόγια υπάρχει μεγάλη πιθανότητα η απόλυτη διαφορά N 1k N 2k να είναι μικρή για κάθε χαρακτηριστικό k. 52

61 3.4. ΕΞΙΣΟΡΡΟΠΗΣΗ ΣΥΝΟΛΟΥ (SET BALANCING) Θεώρημα Έστω A ένα n m μητρώο με 0-1 στοιχεία. Για ένα τυχαίο διάνυσμα b με στοιχεία επιλεγμένα ανεξάρτητα και με την ίδια πιθανότητα από το σύνολο { 1, 1}, P ( Ab 4m ln n) 2 n. Απόδειξη: Ας εξετάσουμε την k γραμμή του μητρώου A, a k = (a k,1,..., a k,m ), και έστω j ο αριθμός των μονάδων σε αυτή τη γραμμή. Αυτό σημαίνει ότι j μαθητές έχουν το χαρακτηριστικό k, με 1 j m. Διακρίνουμε τις περιπτώσεις: Περίπτωση 1. Αν j 4m ln n τότε με πιθανότητα 1: a k b = c k 4m ln n. Περίπτωση 2. Αν j > 4m ln n τότε καθεμία από αυτές τις j μονάδες έχει την ίδια πιθανότητα (50%) να συνεισφέρει με +1 ή με 1 στο άθροισμα C k = a k,i b i. Με m άλλα λόγια, αυτοί οι j μη μηδενικοί όροι στο άθροισμα C k είναι ανεξάρτητες τ.μ., καθεμία με πιθανότητα 1/2 να είναι +1 ή 1. Θέτοντας α = 4m ln n, χρησιμοποιώντας το Πόρισμα και λόγω του ότι m j έχουμε: P ( C k > α) 2e α2 /(2j) 4m ln n/(2j) = 2e 4m ln n/(2m) 2e = 2e 2 ln n = 2e ln n 2 = 2n 2 = 2 n 2. Δηλαδή P ( C k > 4m ln n) 2 n 2. Από το Θεώρημα Union Bound (ή αλλιώς Ανισότητα του Boole), η πιθανότητα το φράγμα O( m ln n) να αποτυγχάνει για οποιαδήποτε γραμμή (χαρακτηριστικό) είναι το πολύ 2/n: P {( C 1 > α)... ( C n > α)} n P ( C k > α) n 2 n = 2 2 n. k=1 53

62 ΚΕΦΑΛΑΙΟ 3. ΕΦΑΡΜΟΓΕΣ ΤΩΝ ΦΡΑΓΜΑΤΩΝ CHERNOFF 3.5 Δρομολόγηση πακέτου σε αραιά δίκτυα (packet routing in sparse networks) Το πρόβλημα με το οποίο θα ασχοληθούμε σε αυτήν την ενότητα εμφανίζεται στον παράλληλο προγραμματισμό. Ας υποθέσουμε ότι έχουμε N επεξεργαστές που είναι συνδεδεμένοι σε ένα τηλεπικοινωνιακό δίκτυο. Οι επεξεργαστές επικοινωνούν μεταξύ τους με το να στέλνουν και να λαμβάνουν πακέτα πληροφοριών (μηνύματα ορισμένου μεγέθους) μέσω του δικτύου. Πιο συγκεκριμένα, θεωρούμε το παρακάτω πρόβλημα δρομολόγησης πακέτου: Κάθε επεξεργαστής στέλνει ένα πακέτο σε ένα μοναδικό προορισμό. Αν [N] το σύνολο των επεξεργαστών, οι προορισμοί δίνονται από μία οποιαδήποτε μετάθεση π του συνόλου [N], τέτοια ώστε για κάθε επεξεργαστή i [N], ο επεξεργαστής i στέλνει ένα πακέτο στον επεξεργαστή π(i). Π.χ. αν έχουμε N = 3 επεξεργαστές και η δρομολόγηση - που πρέπει να γίνει - δίνεται από τη μετάθεση π = (2, 3, 1), τότε αυτό σημαίνει ότι ο επεξεργαστής με ετικέτα Νούμερο 1 αποστέλλει το πακέτο του στον επεξεργαστή με ετικέτα Νούμερο 2 (δηλ. π(1) = 2), ο επεξεργαστής με ετικέτα Νούμερο 2 το αποστέλει στον επεξεργαστή με ετικέτα Νούμερο 3 (δηλ. π(2) = 3) και ο επεξεργαστής με ετικέτα Νούμερο 3 το αποστέλλει σ αυτόν με ετικέτα Νούμερο 1 (δηλ. π(3) = 1). Η επικοινωνία είναι συγχρονισμένη, με τρόπο ώστε σε κάθε χρονικό βήμα, κάθε σύνδεσμος (μία ακμή του γράφου που αναπαριστά το πραγματικό δίκτυο) να μπορεί να προωθήσει το πολύ ένα πακέτο. Αν έχουμε στη διάθεσή μας ένα πλήρη γράφο δηλαδή ένα πλήρη δίκτυο όπου όλες οι κορυφές θα ενώνονται μεταξύ τους ανά δύο, τότε για κάθε μετάθεση π του [N], όλα τα N πακέτα μπορούν να μεταβούν στους προορισμούς τους σε ένα βήμα. Ωστόσο, τέτοια ιδανική συνδεσιμότητα δεν είναι διαθέσιμη στην πραγματικότητα είτε λόγω τεράστιου κόστους είτε λόγω του ότι είναι πολύ δύσκολη η κατασκευή της. Ενδιαφερόμαστε για την περίπτωση όπου το δίκτυο είναι αραιό το οποίο σημαίνει ότι ο αριθμός ακμών είναι σημαντικά μικρότερος σε σχέση με τον αυτόν του πλήρους γράφου. Θεωρούμε ότι η απόσταση μεταξύ οποιουδήποτε ζεύγους γειτονικών κορυφών είναι μικρή και ίδια. 54

63 3.5. ΔΡΟΜΟΛΟΓΗΣΗ ΠΑΚΕΤΟΥ ΣΕ ΑΡΑΙΑ ΔΙΚΤΥΑ Δρομολόγηση στον υπερκύβο Ένας υπερκύβος (Boolean cube ή Hamming cube) ορίζεται από N κορυφές όπου N = 2 n, όπως φαίνεται στο Σχήμα 3.1. Ένας υπερκύβος n διαστάσεων είναι ένας κατευθυνόμενος γράφος με σύνολο κορυφών το {0, 1} n, τέτοιο ώστε για κάθε u = (u 1,..., u n ), v = (v 1,..., v n ) {0, 1} n, οι κορυφές u και v να είναι γειτονικές αν και μόνο αν h(u, v) = 1, όπου h(u, v) είναι η απόσταση Hamming ανάμεσα στις u και v. Ως απόσταση Hamming μεταξύ δύο συμβολοσειρών ίσου μήκους ορίζεται ο αριθμός θέσεων στις οποίες τα αντίστοιχα σύμβολα είναι διαφορετικά. Με άλλα λόγια, η απόσταση Hamming, μετρά τον ελάχιστο αριθμό αντικαταστάσεων που χρειάζονται ώστε να μετατραπεί η μία συμβολοσειρά στην άλλη. Σχήμα 3.1: Υπερκύβοι διαστάσεων 1, 2, 3 και 4. Ένας n - κύβος είναι ένας n - βαθμού κανονικός γράφος πάνω στις N = 2 n κορυφές. Δηλαδή, για κάθε ζεύγος κορυφών (u, v), η απόσταση ανάμεσα στις u και v είναι το πολύ n. Αυτό συμβαίνει καθώς απαιτούνται το πολύ n βήματα για να επισκευάσουμε (μετατρέ- 55

64 ΚΕΦΑΛΑΙΟ 3. ΕΦΑΡΜΟΓΕΣ ΤΩΝ ΦΡΑΓΜΑΤΩΝ CHERNOFF ψουμε) έναν οποιοδήποτε δυαδικό αριθμό (ετικέτα κάθε κορυφής - επεξεργαστή) μήκους n σε έναν οποιοδήποτε άλλο. Η παρατήρηση αυτή μας δίνει τον ακόλουθο πολύ φυσικό Αλγόριθμο Δρομολόγησης (Επισκευής). Αλγόριθμος (n-cube Bit-Fixing Routing Algorithm). Για κάθε πακέτο: 1. Έστω u = (u 1,..., u n ), v = (v 1,..., v n ) {0, 1} n η αρχή και ο προορισμός του πακέτου αντίστοιχα. 2. Για i = 1 μέχρι n, κάνε: Αν u i v i τότε διάσχισε την ακμή (v 1,..., v i 1, u i,..., u n ) (v 1,..., v i 1, v i, u i+1..., u n ). Τυφλοί Αλγόριθμοι Δρομολόγησης Ο παραπάνω αλγόριθμος έχει την εξής επιθυμητή ιδιότητα: σε κάθε βήμα εκτέλεσής του, η επιλογή της ακμής για να περάσει ένα συγκεκριμένο πακέτο εξαρτάται μόνο από τον τρέχοντα κόμβο και τον προορισμό του και όχι από τους τρέχοντες κόμβους και προορισμούς των άλλων πακέτων. Ονομάζουμε τους αλγόριθμους αυτούς γενικότερα τυφλούς ή επιλήσμονες (που αγνοούν δηλαδή άλλα δεδομένα του προβλήματος). Ουρές Αναμονής των πακέτων Καθώς δρομολογούμε παράλληλα N πακέτα, είναι πιθανό περισσότερα από ένα πακέτα να χρειαστεί να χρησιμοποιήσουν την ίδια ακμή στο ίδιο βήμα. Θεωρούμε ότι ένα σύστημα ουράς σχετίζεται με κάθε ακμή έτσι ώστε, τα πακέτα που πρέπει να τη χρησιμοποιήσουν, να τίθενται μέσω αυτής σε σειρά προτεραιότητας. Υπάρχουν διάφοροι τύποι τέτοιων ουρών. Αναφέρουμε για παράδειγμα την ουρά που εφαρμόζει την πολιτική First In First Out (FIFO), η οποία διατάσσει τα πακέτα σύμφωνα με τη σειρά άφιξής τους στον κόμβο. Ή επίσης την ουρά με την τακτική The Furthest To Go (FTG), που διατάσσει τα πακέτα σε φθίνουσα σειρά όσον αφορά τον αριθμό των ακμών που πρέπει ακόμη να διασχίσουν στο δίκτυο. Παραθέτουμε το παρακάτω Θεώρημα, βλέπε Kaklamanis, Krizanc and Tsantilas (1990), το οποίο δίνει την επίδοση των ντετερμινιστικών τυφλών αλγορίθμων η απόδειξή του είναι πέρα από τον σκοπό αυτής της διπλωματικής. Θεώρημα Για οποιοδήποτε ντετερμινιστικό τυφλό αλγόριθμο δρομολόγησης στον 56

65 3.5. ΔΡΟΜΟΛΟΓΗΣΗ ΠΑΚΕΤΟΥ ΣΕ ΑΡΑΙΑ ΔΙΚΤΥΑ υπερκύβο, υπάρχει μία μετάθεση η οποία απαιτεί Ω( N/n) = Ω( 2 n /n) βήματα. Αυτήν είναι μία αρκετά ανεπιθύμητη χειρότερη περίπτωση. Ευτυχώς, υπάρχει ένας τυχαιοποιημένος αλγόριθμος, βλέπε Valiant and Brebner (1981), που παρέχει μια δραματική βελτίωση στο προηγούμενο κατώτατο όριο. Θεώρημα Υπάρχει ένας τυχαιοποιημένος τυφλός αλγόριθμος δρομολόγησης, ο οποίος τερματίζει σε O(n) βήματα με πολύ μεγάλη πιθανότητα. Στη συνέχεια, θα σκιαγραφήσουμε αυτόν τον τυχαιοποιημένο αλγόριθμο, ο οποίος αποτελείται από δύο φάσεις. Αλγόριθμος (Two-Phase Routing Algorithm). Στη φάση 1, κάθε πακέτο i δρομολογείται στον ενδιάμεσο προορισμό δ(i), όπου ο προορισμός δ(i) επιλέγεται με ομοιόμορφο τρόπο στην τύχη και ανεξάρτητα από τους N = 2 n δυνατούς. Στη φάση 2, κάθε πακέτο i δρομολογείται από τον κόμβο δ(i) προς τον τελικό επιθυμητό προορισμό του π(i). Και στις δύο τις φάσεις χρησιμοποιούμε τον Αλγόριθμο για να δρομολογήσουμε τα πακέτα. Ας σημειώσουμε ότι η δ δεν είναι κατ ανάγκη μία μετάθεση δηλαδή διαφορετικά πακέτα ίσως μοιραστούν τον ίδιο ενδιάμεσο προορισμό. Κι έτσι, η διαδικασία αυτή είναι τυφλή. Η φάση 1 χαλάει τη συμμετρία στο πρόβλημα με το να επιλέγει έναν τυχαίο ενδιάμεσο προορισμό για κάθε πακέτο. Με αυτόν τον τρόπο καθίσταται σχεδόν απίθανη η επιλογή μιας κακής μετάθεσης (που να δημιουργεί τη μέγιστη καθυστέρηση δρομολόγησης των πακέτων) προς τους τελικούς προορισμούς. Στην παρακάτω απόδειξη, θα δούμε ότι καθεμία φάση του Αλγορίθμου τερματίζει μόνο σε O(n) βήματα με μεγάλη πιθανότητα. Προκειμένου να το δείξουμε αυτό, θα κάνουμε χρήση για μια ακόμη φορά της Ανισότητας Union Bound πάνω σε όλα τα N = 2 n πακέτα. Συνεπώς, θα χρειαστούμε μία εκθετικά μικρή πιθανότητα για το ενδεχόμενο ένα πακέτο φτάνει στον τελικό προορισμό του ύστερα από πολλά χρονικά βήματα. Εκεί είναι που θα μας βοηθήσει ένα από τα φράγματα Chernoff. Απόδειξη: Η Φάση 1 (για το πακέτο i) ξεκινά από μία καθορισμένη προέλευση i και τερματίζει σε έναν τυχαίο προορισμό δ(i). Η Φάση 2 (για το πακέτο i) αρχίζει από μία τυχαία 57

66 ΚΕΦΑΛΑΙΟ 3. ΕΦΑΡΜΟΓΕΣ ΤΩΝ ΦΡΑΓΜΑΤΩΝ CHERNOFF προέλευση δ(i) και τερματίζει σε έναν καθορισμένο προορισμό π(i). Λόγω συμμετρίας, αρκεί να αποδείξουμε ότι η Φάση 1 τερματίζει σε O(n) βήματα με μεγάλη πιθανότητα. Έστω D(i) η καθυστέρηση που εμφανίζεται στη δρομολόγηση του πακέτου i. Τότε ο απαιτούμενος συνολικός χρόνος θα είναι το πολύ n + λίγο ότι: max D(i). Θα αποδείξουμε σε,...,n i P [D(i) cn] e 2n για c 7 2. (3.6) Χρησιμοποιώντας έπειτα την Ανισότητα Union Bound, προκύπτει ότι: P [ i : D(i) cn] < N e 2n < 2 n 2 2n = 2 n. Αυτό που απομένει είναι η απόδειξη της Σχέσης (3.6). Για ένα μόνο πακέτο από i δ(i), έστω P i = (e 1, e 2,..., e k ) η ακολουθία των ακμών της διαδρομής P i, k n, που θα ακολουθήσει το πακέτο i. Έστω S i = {j i : P j P i } το σύνολο των πακέτων των οποίων οι διαδρομές τέμνουν τη διαδρομή P i. Σχήμα 3.2: Οι διαδρομές P i και P j στον υπερκύβο. Ισχυρισμός D(i) S(i). Απόδειξη: Παραλείπεται καθώς είναι πέραν του σκοπού αυτής της διπλωματικής. Μπορεί κάποιος να ανατρέξει στο βιβλίο των Motwani and Raghavan (1995) - σελ. 76, 77. Απόδειξη της Σχέσης (3.6): Ορίζουμε τις τ.μ. H ij ως εξής: 1 αν P i P j H ij = 0 αν αλλιώς 58

67 3.5. ΔΡΟΜΟΛΟΓΗΣΗ ΠΑΚΕΤΟΥ ΣΕ ΑΡΑΙΑ ΔΙΚΤΥΑ Από τον Ισχυρισμό 3.5.1, προκύπτει ότι D(i) H ij. Με άλλα λόγια, η συνολική j i καθυστέρηση που οφείλεται στο i πακέτο είναι το πολύ H ij (μπορούμε να το συμβολίσουμε και H ij ). Απ τη στιγμή που οι διαδρομές όλων των πακέτων j i N επιλέγονται j=1 ανεξάρτητα στην τύχη, οι H ij είναι ανεξάρτητες δοκιμές Poisson για j i. Επομένως, για να φράξουμε από πάνω την D(i) (καθυστέρηση του πακέτου i) χρησιμοποιώντας το Φράγμα Chernoff, αρκεί να αποκτήσουμε ένα άνω φράγμα για την Πιθανότητα της ουράς του αθροίσματος H ij. Προκειμένου να γίνει αυτό, θα φράξουμε πρώτα την j i μέση τιμή E[ H ij ]. Για μία ακμή e l στον υπερκύβο, έστω ότι η τ.μ. T (e l ) συμβολίζει j i τον αριθμό των διαδρομών που διέρχονται από την e l. Τότε, για οποιαδήποτε διαδρομή P i = (e 1, e 2,..., e k ) με k n, ισχύει ότι: και γι αυτό το λόγο: N H ij j=1 N E[ H ij ] j=1 k T (e l ), l=1 k E[T (e l )]. (3.7) l=1 Η επόμενη παρατήρηση είναι άμεση συνέπεια της συμμετρίας. Παρατήρηση Έστω e l και e m δύο οποιεσδήποτε ακμές στον υπερκύβο. Τότε, E[T (e l )] = E[T (e m )]. Δηλαδή, ο αναμενόμενος αριθμός διαδρομών, που διέρχονται από μία συγκεκριμένη ακμή e, είναι ο ίδιος για όλες τις ακμές στον υπερκύβο. Το αναμενόμενο μήκος του P i (πλήθος ακμών που διασχίζονται από το πακέτο i) είναι n/2 για όλα τα i. Άρα, το αναμενόμενο μήκος της συνολικής διαδρομής που θα διανύσουν και τα N πακέτα μαζί θα είναι N(n/2). Επίσης, το πλήθος όλων των κατευθυνόμενων ακμών στον n - κύβο είναι (n+n)n 2 = nn, λόγω του ότι κάθε κόμβος είναι γειτονικός με n εξερχόμενες και n εισερχόμενες ακμές διαιρούμε το γινόμενο 2nN δια του δύο καθώς πήραμε δύο φορές εκάστη κατευθυνόμενη ακμή. Συνεπώς, χρησιμοποιώντας την 59

68 ΚΕΦΑΛΑΙΟ 3. ΕΦΑΡΜΟΓΕΣ ΤΩΝ ΦΡΑΓΜΑΤΩΝ CHERNOFF Παρατήρηση 3.5.1, έχουμε ότι: Μέσο συνολικό μήκος όλων των διαδρομών των N πακέτων E[T (e l )] = Πλήθος Κατευθυνόμενων Ακμών = N(n/2) nn = 1/2, όπου η τ.μ. T (e l ) : πλήθος διαδρομών (από τις N) που διέρχονται από την e l. Το αποτέλεσμα αυτό (το 1/2) είναι λογικό αν σκεφτούμε ότι αναμένουμε - λόγω συμμετρίας - οι μισές εκ των N διαδρομών να περιέχουν την ακμή e l και οι άλλες μισές όχι. Άρα, E[T (e l )] = 1/2 για όλες τις ακμές e l. Χρησιμοποιώντας το αποτέλεσμα αυτό στη Σχέση (3.7), προκύπτει ότι: E[ N H ij ] k 2 n 2. j=1 Τώρα είμαστε σε θέση να εφαρμόσουμε ένα φράγμα Chernoff. Θα χρειαστούμε την εκδοχή των Angluin - Valiant η οποία βρίσκεται στο Κεφάλαιο 2 και είναι η Σχέση (2.4): P [D(i) (1 + δ)µ] e δ2 2+δ µ, (3.8) όπου µ = E[D(i)]. Οι παρακάτω ισοδυναμίες αποτελούν μία ανασκόπηση σε αυτά που είπαμε έως τώρα: D(i) S(i) D(i) N j=1 H ij j=1 k T (e l ) l=1 k T (e l ) l=1 N k E[D(i)] E[ H ij ] E[ T (e l )] µ άγνωστη l=1 k E[T (e l )] l=1 µ άγνωστη k 1 2 n 2. Άρα, µ n 2. 60

69 3.5. ΔΡΟΜΟΛΟΓΗΣΗ ΠΑΚΕΤΟΥ ΣΕ ΑΡΑΙΑ ΔΙΚΤΥΑ Και επειδή η μέση τιμή της D(i) είναι άγνωστη, θα χρησιμοποιήσουμε στη Σχέση (3.8) ως προσέγγισή της τη μέγιστη τιμή που μπορεί να πάρει δηλαδή µ = n 2 : P [D(i) (1 + δ) n 2 ] e δ2 n 2+δ 2, Θέτοντας δ = 6, Θέτοντας δ = 8, P [D(i) 7 36 n] e 16 n = e 9 4 n < e 2n. 2 P [D(i) 9 64 n] e 20 n = e 16 5 n < e 2n. 2 Ακολούθως, εφαρμόζουμε την Ανισότητα Union-Bound: P [D(1) 9 2 n D(2) 9 2 n... D(N) 9 N 2 n] P [D(i) 9 2 n] < N e 2n = N e 2n < 2 n 2 2n = 2 n. Ας θυμηθούμε την αρχή της απόδειξης που είχαμε αναφέρει ότι η φάση 1 ολοκληρώνεται ύστερα από το πολύ n + max D(i) βήματα. Παρατηρούμε λοιπόν ότι όλα τα πακέτα,...,n ολοκληρώνουν τη φάση 1 κάνοντας λιγότερο από n + 7n = 9 n βήματα με μεγάλη πιθανότητα (1 2 n ). Οπότε, ολόκληρος ο αλγόριθμος (φάσεις 1 και 2) τερματίζει σε 2 2 λιγότερο από 9n (για τη φάση 1) + 9 n (για τη φάση 2) = 9n βήματα με μεγάλη πιθανότητα η οποία 2 2 είναι ίση με: P [(Χρόνος Φάσης 1 < 92 ) n (Χρόνος Φάσης 2 < 92 )] n P (Χρόνος Φάσης 1 < 92 ) n P (Χρόνος Φάσης 2 < 92 ) n = (1 2 n ) 2. Αυτό ολοκληρώνει την απόδειξη ότι ο τυχαιοποιημένος Αλγόριθμος δρομολογεί οποιαδήποτε μετάθεση σε O(n) βήματα με μεγάλη πιθανότητα. 61 ανεξ. =

70 ΚΕΦΑΛΑΙΟ 3. ΕΦΑΡΜΟΓΕΣ ΤΩΝ ΦΡΑΓΜΑΤΩΝ CHERNOFF 3.6 Το Πρόβλημα του συλλέκτη κουπονιών Ας πούμε ότι στα περίπτερα πωλούνται μικροί φάκελοι οι οποίοι περιέχουν ο καθένας από μία μόνο φιγούρα (έναν ποδοσφαιριστή). Συνολικά υπάρχουν άπειροι τέτοιοι φάκελοι και n διαφορετικές φιγούρες τις οποίες και θα θέλαμε να τις μαζέψουμε όλες καθώς η εταιρεία που τις βγάζει προσφέρει ένα ενδιαφέρον δώρο. Υποθέτουμε επίσης ότι όλες οι φιγούρες είναι εξίσου πιθανές να βρεθούν. Με άλλα λόγια η φιγούρα σε κάθε φάκελο διαλέγεται με ομοιόμορφο τρόπο στην τύχη και ανεξάρτητα από τις n δυνατές. Η ερώτηση που πρέπει αρχικά να απαντηθεί και ενδιαφέρει τον κάθε συλλέκτη φιγούρων πριν ξεκινήσει τη συλλογή του είναι η εξής: Πόσοι φάκελοι πρέπει κατά μέσο όρο να αγοραστούν μέχρι την απόκτηση κάθε είδους φιγούρας από τις n τουλάχιστον μία φορά; Με το που βρεθεί η τελευταία διακεκριμένη φιγούρα που θέλουμε δεν θα αγοράσουμε πια άλλο φάκελο, γεγονός που θα σημάνει τη λήξη αυτού του πειράματος τύχης. Άρα, όποια και να είναι αυτή η τελευταία φιγούρα θα την έχουμε μία μόνο φορά. Έστω X ο αριθμός των φακέλων που αγοράστηκαν μέχρι την απόκτηση κάθε είδους φιγούρας από τις n τουλάχιστον μία φορά. Θα προσδιορίσουμε την μέση τιμή της X, δηλαδή την E[X]. Αν X i είναι το πλήθος των φακέλων που θα αγοραστούν κατά τη διάρκεια που n έχουμε ακριβώς i 1 διαφορετικά κουπόνια, τότε X = X i. Ο λόγος που γράψαμε την τυχαία μεταβλητή ως άθροισμα των X 1, X 2,..., X n είναι ότι ενώ ήταν αδύνατος ο απευθείας προσδιορισμός της E[X], τώρα κάθε τυχαία μεταβλητή X i, i = 1,..., n ακολουθεί τη γεωμετρική κατανομή με παράμετρο η οποία αλλάζει για κάθε i. Θα εκμεταλλευτούμε ακολούθως το πλεονέκτημα της γραμμικότητας της μέσης τιμής: E[X] = E[X 1 ] + E[X 2 ] E[X n 1 ] + E[X n ], όπου επειδή η X i ακολουθεί τη γεωμετρική κατανομή με παράμετρο p i = γνωρίζουμε ότι: n (i 1), n E[X i ] = 1 p i = 62 n n (i 1).

71 3.6. ΤΟ ΠΡΟΒΛΗΜΑ ΤΟΥ ΣΥΛΛΕΚΤΗ ΚΟΥΠΟΝΙΩΝ Άρα, E[X] = E[X 1 ] + E[X 2 ] E[X n 1 ] + E[X n ] = n n + n n n 2 + n 1 ( = n n ) n = n n 1 i. n 1 Το άθροισμα είναι γνωστό ως ο Αρμονικός Αριθμός H(n), ο οποίος πήρε το όνομά i 1 του από την p - αρμονική σειρά (η οποία πληροφοριακά συγκλίνει αν και μόνο αν ip p > 1). Θα δείξουμε στη συνέχεια ότι H(n) = ln n + Θ(1). Επομένως, για το πρόβλημα του Συλλέκτη Κουπονιών, ο αναμενόμενος αριθμός τυχαίων φακέλων που πρέπει να αγοραστούν ώστε να αποκτηθούν και οι n φιγούρες είναι E[X] = n ln n + Θ(n). Δίνουμε το παρακάτω Λήμμα για να επιβεβαιωθεί το παραπάνω συμπέρασμα. n 1 Λήμμα Ο Αρμονικός Αριθμός H(n) = ικανοποιεί τη Σχέση: i i=2 H(n) = ln n + Θ(1). Απόδειξη: Επειδή η συνάρτηση f(x) = 1 είναι γνησίως φθίνουσα, μπορούμε να γράψουμε ότι x n 1 n ln n = x=1 x dx 1 i και n 1 n i 1 dx = ln n. x=1 x Άρα, ln n H(n) και H(n) ln n + 1. Συνεπώς ln n H(n) ln n + 1. Σημείωση Η τ.μ. X μπορεί να αναφέρεται και ως ο χρόνος που θα χρειαστεί (αντί για το πλήθος των φακέλων) για να μαζέψουμε τα n κουπόνια (αντί για φιγούρες). Η παραπάνω αλλαγή στην ορολογία ευσταθεί αν δεχτούμε ότι η κάθε αγορά ενός φακέλου ισοδυναμεί με χρονικό διάστημα μίας χρονικής μονάδας και ότι ο χρόνος που μεσολαβεί ανάμεσα σε δύο οποιεσδήποτε αγορές φακέλων είναι μηδενικός. 63

72 ΚΕΦΑΛΑΙΟ 3. ΕΦΑΡΜΟΓΕΣ ΤΩΝ ΦΡΑΓΜΑΤΩΝ CHERNOFF Εφαρμόζοντας τις ανισότητες Markov και Chebyshev Σε αυτήν την παράγραφο θα αναλύσουμε περαιτέρω το πρόβλημα του Συλλέκτη Κουπονιών. Ενδιαφερόμαστε να βρούμε ορισμένα άνω φράγματα πιθανοτήτων που αποτελούν πεδίο ενδιαφέροντος. Για να το επιτύχουμε αυτό θα εφαρμόσουμε τις ανισότητες Markov και Chebyshev. Έχει ήδη αποδειχθεί ότι ο χρόνος X για να συλλέξουμε n κουπόνια έχει μέση τιμή E[X] = nh(n), όπου H(n) = = ln n + Θ(1). Οπότε, η n 1 i Ανισότητα Markov (1.5) δίνει ότι: P (X 2nH(n)) 1 2. (3.9) Για να κάνουμε χρήση της Ανισότητας Chebyshev (1.11), χρειαζόμαστε τη διασπορά της n τ.μ. X. Θυμόμαστε από την προηγούμενη Ενότητα 3.6 ότι X = X i, όπου οι X i είναι γεωμετρικές τυχαίες μεταβλητές με παράμετρο p i = n i + 1. Στο πρόβλημα αυτό, οι n, i = 1,..., n είναι ανεξάρτητες επειδή ο χρόνος, που απαιτείται για να βρούμε το X i i - οστό κουπόνι (συμβολικά X i ), δεν εξαρτάται από το πόσο χρόνο μας πήρε να βρούμε τα προηγούμενα i 1 κουπόνια (δηλαδή από τους χρόνους X 1, X 2,..., X i 1 ). Επομένως, η διασπορά του αθροίσματος θα αναλυθεί σε άθροισμα διασπορών καθώς όλες οι συνδιασπορές είναι μηδενικές εξαιτίας αυτής της ανεξαρτησίας. [ n ] V ar[x] = V ar X i = n V ar[x i ], όπου ως γνωστόν η διασπορά μιας τ.μ. που ακολουθεί τη γεωμετρική κατανομή με παράμετρο p ισούται με 1 p ( το οποίο κλάσμα αναλύεται σε 1 p 2 p 1 ). Άρα, για κάθε 2 p, i = 1,..., n έχουμε ότι X i V ar(x i ) = 1 p i. p 2 i 64

73 3.6. ΤΟ ΠΡΟΒΛΗΜΑ ΤΟΥ ΣΥΛΛΕΚΤΗ ΚΟΥΠΟΝΙΩΝ Θέλοντας να απλοποιήσουμε την έκφραση της διασποράς των X i, θα χρησιμοποιήσουμε ένα προφανές άνω φράγμα αυτών, το V ar(x i ) 1. Τότε p 2 i n V ar[x] = V ar[x i ] = n 1 p 2 i n ( n n i + 1 = n 2 n ( ) 2 1 i n2 π 2 6. Για την τελευταία ανισότητα κάναμε χρήση της παρακάτω ταυτότητας που είναι γνωστή από τον Απειροστικό Λογισμό: ( ) 2 1 = π2 i 6. Είμαστε σε θέση να εφαρμόσουμε την Ανισότητα Chebyshev (1.11): P ( X nh(n) nh(n)) ) 2 n 2 π 2 6 (nh(n)) 2 = π 2 6(H(n)) 2 = O όπου, αν αναλύσουμε λίγο ακόμα το Α μέλος της, δίνει ότι: P [X nh(n) nh(n)] + P [X nh(n) nh(n)] O ( 1 P [X 2nH(n)] + P [X 0] O ln 2 n ). ( ) 1 ln 2, n ( 1 ) ln 2 n Άρα, η ανισότητα Chebyshev δίνει ουσιαστικά ότι η ( ) 1 P [X 2nH(n)] O ln 2, (3.10) n εξαιτίας του γεγονότος ότι η P [X 0] ισούται με το μηδέν. Παρατηρούμε - συγκρίνοντας τα φράγματα των Ανισοτήτων (3.9) και (3.10) - ότι το φράγμα της Ανισότητας Chebyshev είναι καλύτερο (δηλαδή σημαντικά πιο μικρό) από το αντίστοιχο σταθερό φράγμα της Ανισότητας Markov (που ισούται με 1/2 για κάθε n). 65

74 ΚΕΦΑΛΑΙΟ 3. ΕΦΑΡΜΟΓΕΣ ΤΩΝ ΦΡΑΓΜΑΤΩΝ CHERNOFF Μία διαφορετική προσέγγιση του προβλήματος Στην παράγραφο αυτή θα δούμε μία άλλη προσέγγιση του προβλήματος του Συλλέκτη Κουπονιών. Ας σκεφτούμε τα n διαφορετικά κουπόνια ως n διαφορετικά καλάθια και τους άπειρους φακέλους ως άπειρες μπάλες. Τότε η ερώτηση που τίθεται εδώ είναι: Αν οι μπάλες ρίχνονται με ομοιόμορφο τρόπο στην τύχη και ανεξάρτητα μέσα στα καλάθια, πόσες μπάλες αναμένεται να ριχθούν έως ότου όλα τα καλάθια να αποκτήσουν μία τουλάχιστον μπάλα; Την ερώτηση αυτήν, φυσικά, την έχουμε απαντήσει στην Ενότητα 3.6. Συγκεκριμένα, ο αναμενόμενος αριθμός μπαλών, που πρέπει να ριχθούν έως ότου να γίνει η απόκτηση από κάθε καλάθι μίας τουλάχιστον μπάλας, είναι nh(n) = n ln n + Θ(n) = n ln n + cn n ln n. Στη συνέχεια δίνεται ένα σημαντικό Θεώρημα. Θεώρημα Έστω X ο αριθμός μπαλών που ρίχνονται έως ότου όλα τα καλάθια να αποκτήσουν μία τουλάχιστον μπάλα. Τότε, για κάθε σταθερά c, lim P [X > n ln n + cn] = 1 e e c. n Το θεώρημα μας λέει ότι για μεγάλο n ο αριθμός μπαλών, που απαιτούνται να πέσουν στα καλάθια ώστε να σταματήσει το πείραμα (αυτό γίνεται με το που αρχίσουν να περιέχουν όλα τα καλάθια από μία μπάλα τουλάχιστον), βρίσκεται πολύ κοντά στον αριθμό n ln n. Για παράδειγμα με τη βοήθεια μιας αριθμομηχανής βρίσκουμε ότι Για c = 4 : Για c = 4 : Συνεπώς, P [X > n ln n 4n] = 1 e e4 = = 1. P [X > n ln n + 4n] = 1 e e 4 = = P [n ln n 4n < X < n ln n + 4n] = P [X < n ln n + 4n] P [X < n ln n 4n] = = 1 P [X > n ln n + 4n] + 1 P [X > n ln n 4n] = =

75 3.6. ΤΟ ΠΡΟΒΛΗΜΑ ΤΟΥ ΣΥΛΛΕΚΤΗ ΚΟΥΠΟΝΙΩΝ Παρατηρούμε, καθώς το n, ότι πάνω από το 98% των φορών που θα διεξάγουμε το πείραμα αυτό, η τιμή της τ.μ. X (όπου X: αριθμός μπαλών που ρίχνονται έως ότου όλα τα καλάθια να αποκτήσουν μία τουλάχιστον μπάλα) θα βρίσκεται ανάμεσα στους αριθμούς n ln n 4n και n ln n + 4n. Σημείωση Αναφέρουμε ότι η απόδειξη του Θεωρήματος στηρίζεται κατά κύριο λόγο στη χρήση της προσέγγισης Poisson σε συνδυασμό με μια επιχειρηματολογία της Θεωρίας Πιθανοτήτων. Πραγματοποιείται δε χρήση του φράγματος Chernoff της κατανομής Poisson (βλέπε Παράγραφο 1.2.5) Μία εφαρμογή του προβλήματος στην Πληροφορική Στην παράγραφο αυτή θα περιγράψουμε περιληπτικά μία απλή εφαρμογή του προβλήματος του συλλέκτη κουπονιών. Ας υποθέσουμε ότι πακέτα στέλνονται συνεχώς το ένα πίσω από το άλλο από έναν αρχικό υπολογιστή (source host) σε έναν τελικό υπολογιστή (destination host) διαμέσου ενός συγκεκριμένου μονοπατιού με δρομολογητές (routers) στο δίκτυο. Ο τελικός υπολογιστής θα θέλαμε να καταγράψει από ποιούς routers ακριβώς στο δίκτυο έχουν περάσει τα πακέτα αυτά. Κι αυτό διότι θα θέλαμε να ξέρουμε - σε περίπτωση άφιξης στον τελικό υπολογιστή χαλασμένων πακέτων - ποιός router ευθύνεται για το γεγονός αυτό. Εάν υπάρχει αρκετός χώρος στο μέρος της επικεφαλίδας του πακέτου (packet header), κάθε router μπορεί να προσαρτά την ετικέτα του (μοναδικός αριθμός αναγνώρισής του) στην επικεφαλίδα κάθε διερχόμενου πακέτου με αποτέλεσμα να μπορούμε να μάθουμε το μονοπάτι των πακέτων κοιτάζοντας την επικεφαλίδα μόνο ενός οποιουδήποτε πακέτου (π.χ. του πρώτου που θα φτάσει στον τελικό υπολογιστή). Δυστυχώς ίσως να μην υπάρχει αρκετός διαθέσιμος χώρος στην επικεφαλίδα του κάθε πακέτου. Ανταυτού, έστω ότι η επικεφαλίδα κάθε πακέτου έχει χώρο για μόνο έναν αριθμό αναγνώρισης router. Αυτός ο χώρος χρησιμοποιείται για να αποθηκευτεί ο αριθμός αναγνώρισης router ο οποίος επιλέγεται με ομοιόμορφο τρόπο στην τύχη και ανεξάρτητα από τους routers. Αυτό μπορεί να υλοποιηθεί σχετικά εύκολα μέσω μιας προσέγγισης (αλγορίθμου) ονόματι Reservoir Sampling. Τότε, το να προσδιορίσουμε όλους τους routers του μονοπατιού που χρησιμοποιούν τα πακέτα είναι σαν το πρόβλημα του συλλέκτη κουπονιών. Εάν υπάρχουν n routers κατα μήκος του μονοπατιού, τότε ο αναμενόμενος αριθμός πακέτων που πρέπει να φτάσουν στον τελικό υπολογιστή ώστε να μάθουμε όλες τις 67

76 ΚΕΦΑΛΑΙΟ 3. ΕΦΑΡΜΟΓΕΣ ΤΩΝ ΦΡΑΓΜΑΤΩΝ CHERNOFF διαφορετικές ετικέτες των n routers είναι nh(n) = n ln n + Θ(n). Τέλος κι εδώ ισχύει το Θεώρημα το οποίο συσχετίζει τον πιθανό χρόνο εύρεσης όλων των κουπονιών με ένα φράγμα Chernoff. 68

77 Κεφάλαιο 4 Σύγκριση Φραγμάτων για την Πιθανότητα Επιβίωσης Στο κεφάλαιο γίνεται σύγκριση του φράγματος Chernoff, C(t), του φράγματος των ροπών, M(t), και του φράγματος των παραγοντικών ροπών, F(t), που ορίστηκαν στο Κεφάλαιο 1. Τα αποτελέσματα που παρουσιάζονται περιέχονται στις εργασίες των Philips and Nelson (1995), Naveau (1997) και From (2012) και το τελικό συμπέρασμα είναι ότι ισχύει η ανισότητα P (X t) F(t) M(t) C(t) (4.1) για όποιες περιπτώσεις τυχαίων μεταβλητών ορίζονται τα φράγματα αυτά. Ειδικότερα στην εργασία του From (2012), όπου αποδεικνύεται η υπεροχή του φράγματος των παραγοντικών ροπών, χρησιμοποιούνται αποτελέσματα της Αριθμητικής Ανάλυσης τα οποία δίνονται στο Κεφάλαιο 5 στο σχετικό Παράρτημα. Η απόδειξη της πρότασης αυτής γίνεται στην παρούσα διπλωματική με έναν πολύ σύντομο τρόπο με χρήση των αριθμών Stirling. Επιπλέον, χρησιμοποιώντας το φράγμα των παραγοντικών ροπών για την κατανομή Poisson προτείνεται καλύτερο φράγμα για το άθροισμα δοκιμών Poisson από αυτό που παρουσιάστηκε στο Κεφάλαιο 2. 69

78 ΚΕΦΑΛΑΙΟ 4. ΣΥΓΚΡΙΣΗ ΦΡΑΓΜΑΤΩΝ ΓΙΑ ΤΗΝ ΠΙΘΑΝΟΤΗΤΑ ΕΠΙΒΙΩΣΗΣ 4.1 Εισαγωγή Έστω X μία διακριτή τ.μ. με στήριγμα ένα υποσύνολο των μη αρνητικών ακέραιων αριθμών. Μας ενδιαφέρουν άνω φράγματα για την πιθανότητα επιβίωσης P (X t), t > 0. Στα παρακάτω συμβολίζονται με M X (θ) η ροπογεννήτρια συνάρτηση της X και με k, m μη αρνητικοί ακέραιοι. Υπενθυμίζουμε τους ορισμούς τριών ήδη γνωστών άνω φραγμάτων: Το φράγμα του Chernoff: C(t) = inf M X(θ)e θt (4.2) θ 0 Το φράγμα των ροπών: E(X k ) M(t) = inf (4.3) k 0 t k και το φράγμα των παραγοντικών ροπών: F(t) = E[X(X 1)... (X m)] inf 0 m<t t(t 1)... (t m) (4.4) Στα παραπάνω φράγματα (4.2)-(4.4), αν κάποιο υπερβεί τη μονάδα, τότε προφανώς αντικαθίσταται με αυτό το τετριμμένο φράγμα της μονάδας. Χρονολογικά, στην εργασία των Philips and Nelson (1995) αποδεικνύεται για διακριτές και συνεχείς κατανομές ότι: P (X t) M(t) C(t), t > 0 Ο Naveau (1997) συνεχίζει με την απόδειξη της παρακάτω σχέσης, η οποία αληθεύει μόνο για μη αρνητικές διακριτές τ.μ.: P (X t) F(t) C(t) και θέτει στην εργασία του το τότε ανοικτό πρόβλημα της σύγκρισης του φράγματος M(t) με το F(t). Τελικά, ο From (2012) αποδεικνύει ότι F(t) M(t), t > 0 για διακριτές τ.μ. με στήριγμα ένα υποσύνολο των μη αρνητικών ακεραίων αριθμών. Πόρισμα λοιπόν όλων των προαναφερθέντων είναι η τελική σχέση διάταξης (4.1). Κλείνοντας αυτή την ιστορική ανασκόπηση, οι Gzyl,Inverardi και Tagliani (2008) έχουν προτείνει διάφορα νέα βελτιωμένα φράγματα για διακριτές κατανομές τα οποία χρησιμοποιούν και τα δύο φράγματα M(t) και F(t). Λόγω λοιπόν της Σχέσης (4.1) μόνο το φράγμα F(t) πρέπει να μείνει στους τύπους που αυτοί έχουν αποδείξει (και όχι το φράγμα M(t)). Τα αποτελέσματα που θα παρουσιαστούν στις επόμενες ενότητες συνθέτουν την απόδειξη της Σχέσης (4.1). 70

79 4.2. ΣΥΓΚΡΙΣΗ ΑΝΑΜΕΣΑ ΣΤΟ ΦΡΑΓΜΑ C(T ) ΚΑΙ ΤΟ ΦΡΑΓΜΑ M(T ) 4.2 Σύγκριση ανάμεσα στο φράγμα C(t) και το φράγμα M(t) για οποιεσδήποτε τυχαίες μεταβλητές Στην εργασία των Philips and Nelson (1995) αποδεικνύεται αυτό που είχαμε υποψιαστεί από τις γραφικές παραστάσεις που δίνονται στις Παραγράφους 1.2.1, και για την υπεροχή του φράγματος των ροπών. Δηλαδή ότι για την πιθανότητα επιβίωσης P (X t) το φράγμα των ροπών M(t) είναι καλύτερο από το φράγμα του Chernoff C(t). Αξίζει να σημειωθεί ότι η απόδειξη θα γίνει για οποιαδήποτε τυχαία μεταβλητή X (διακριτή ή συνεχή). Στην απόδειξη θα χρησιμοποιηθεί το παρακάτω Λήμμα. Λήμμα Έστω δύο θετικές ακολουθίες α i και b i για i = 0, 1,..., και ότι οι αντίστοιχες σειρές α i και b i συγκλίνουν. Έστω επίσης c α i, i = 0, 1,.... Τότε b i i=0 i=0 c i=0 α i. (4.5) b i i=0 Επιπλέον, εάν α i b i α j b j για κάποιο i και j, τότε Απόδειξη: Από την υπόθεση ισχύει ότι: c < i=0 α i. (4.6) b i i=0 c b i α i, i = 0, 1,.... (4.7) Παίρνοντας σειρές και στα δύο μέλη της Σχέσης (4.7), προκύπτει ότι: c b i i=0 α i ή c i=0 b i i=0 α i ή c i=0 i=0 α i. b i i=0 71

80 ΚΕΦΑΛΑΙΟ 4. ΣΥΓΚΡΙΣΗ ΦΡΑΓΜΑΤΩΝ ΓΙΑ ΤΗΝ ΠΙΘΑΝΟΤΗΤΑ ΕΠΙΒΙΩΣΗΣ Η Σχέση (4.6) ισχύει καθώς εάν α i b i α j b j για κάποιο i και j, τότε κάποια από τις ανισότητες της Σχέσης (4.7) πρέπει αναγκαστικά να είναι αυστηρά μικρότερη (<). Θεώρημα Για οποιαδήποτε τυχαία μεταβλητή X και για κάθε t > 0, ισχύει ότι P (X t) M(t) C(t). Απόδειξη: Αν X < 0 η απόδειξη είναι προφανής. Έστω X 0. Αν C(t) = 1, τότε το Θεώρημα ισχύει. Έστω C(t) < 1. Από τον ορισμό του C(t) έπεται ότι η ροπογεννήτρια M X (θ) πρέπει να υπάρχει για κάποιο θ > 0. Για κάθε τιμή του θ για την οποία υπάρχει η M X (θ) από το Θεώρημα της Μονότονης Σύγκλισης, βλέπε Wheeden and Zygmund (1977), προκύπτει ότι: M X (θ) e θt = θ i i! E(Xi ). (4.8) (θt) i i! Συμβολίζοντας με α i θi i! E(Xi ) και b i (θt)i, η Σχέση (4.8) γίνεται: i! i=0 M X (θ) e θt = όπου και οι δύο σειρές συγκλίνουν. Έστω i=0 i=0 α i, b i i=0 E(X n ) c = inf. n 0 t n Είναι φανερό ότι c α i i = 0, 1,..., και επιπλέον ότι δεν είναι όλα τα κλάσματα α i b i b i ίσα μεταξύ τους. Εφαρμόζοντας το Λήμμα προκύπτει ότι: E(X n ) M(t) = inf < M n 0 t n X (θ) e θt θ 0. (4.9) Η τιμή του C(t) όπως ορίστηκε στη Σχέση (1.7) είναι το μεγαλύτερο από τα κάτω φράγματα του συνόλου {M X (θ) e θt : θ 0}. Επειδή η Σχέση (4.9) ισχύει θ 0, έπεται ότι: M(t) inf θ 0 M X(θ) e θt = C(t), (4.10) 72

81 4.2. ΣΥΓΚΡΙΣΗ ΑΝΑΜΕΣΑ ΣΤΟ ΦΡΑΓΜΑ C(T ) ΚΑΙ ΤΟ ΦΡΑΓΜΑ M(T ) γεγονός το οποίο αποδεικνύει το Θεώρημα για μη αρνητικές τυχαίες μεταβλητές. Ακολούθως, θα επεκταθεί η απόδειξη για όλες τις τυχαίες μεταβλητές (*X R). Έστω X = X X 0. Η αθροιστική συνάρτηση κατανομής της X (α.σ.κ.) υπολογίζεται ως εξής: F X(x) = P ( X x) = P [(X X 0) x] = P (X x X 0) = P (0 X x) P (X 0) = F X(x) F X (0 ) 1 P (X < 0) F X(x) = F X(x) F X (0 ) 1 F X (0 ), x 0 όπου F X (0 ) = P (X < 0) = lim F X(x). Το διαφορικό της συνάρτησης F X(x) δίνεται x 0 από την Σχέση (4.11): df X(x) = df X(x) P (X 0). (4.11) Επειδή η X είναι μία μη αρνητική τ.μ. (η α.σ.κ. της μπορεί να παρουσιάσει σκαλοπάτι στο 0, αν X διακριτή), εφαρμόζοντας τη Σχέση (4.10) προκύπτει ότι: M(t) (1.8) = inf n 0 0 ( x t ) n dfx (x) (4.11) = P (X 0) inf n 0 0 = P (X 0)M X(t) (4.10) ( x t P (X 0) inf M X(θ) e θt θ 0 = P (X 0) inf = P (X 0) inf (4.11) = inf θ 0 0 inf θ 0 θ 0 0 θ 0 0 e θ(x t) df X (x) ) n df X (x) e θx df X(x) e θt e θ(x t) df X(x) e θ(x t) df X (x) = C(t), όπου η τελευταία ανισότητα της παραπάνω γενικότερης απόδειξης έπεται από το γεγονός ότι η εκθετική συνάρτηση είναι θετική και ότι η α.σ.κ. F X (x) είναι μη φθίνουσα. Εδώ τελειώνει η απόδειξη του Θεωρήματος

82 ΚΕΦΑΛΑΙΟ 4. ΣΥΓΚΡΙΣΗ ΦΡΑΓΜΑΤΩΝ ΓΙΑ ΤΗΝ ΠΙΘΑΝΟΤΗΤΑ ΕΠΙΒΙΩΣΗΣ Σημείωση Για τον υπολογισμό του φράγματος των ροπών M(t) απαιτείται η ελαχιστοποίηση της συνάρτησης E(Xn ) πάνω στους φυσικούς, ενώ για το φράγμα Chernoff t n C(t) χρειάζεται η εύρεση του infimum της συνάρτησης M X (θ)e θt πάνω στο σύνολο των θετικών πραγματικών αριθμών. Το γεγονός αυτό καθιστά το φράγμα C(t) ευκολότερο στον υπολογισμό λόγω ποικίλων τεχνικών εύρεσης infimum. Το φράγμα M(t) επεκτείνεται σε όλες τις πραγματικές ροπές, όπως δείχνει το ακόλουθο Πόρισμα του Θεωρήματος Πόρισμα Για οποιαδήποτε τυχαία μεταβλητή X και για κάθε t > 0, ισχύει ότι ( x ) α P (X t) inf dfx (x) C(t), α R +. α 0 t 0 Σημείωση Το φράγμα των ροπών M(t) όπως ορίστηκε στη Σχέση (1.9) αποτελεί μία ειδική περίπτωση του μετατοπισμένου φράγματος των ροπών (shifted moment bound) S(t), το οποίο ορίζεται ως εξής: P (X t) = P (X α > t α) inf n 0,α<t 0 ( ) n x α df X (x) S(t). (4.12) t α Θέτοντας α = 0 στη Σχέση (4.12), προκύπτει το φράγμα M(t). Το φράγμα S(t) είναι αρκετά χρονοβόρο να υπολογιστεί στην πράξη καθώς απαιτείται η εκτίμηση τόσο των ροπών της τ.μ. X γύρω από το α έως τη n-οστή όσο και της πιθανότητας P (X α). Δίνεται ακολούθως άλλη μία λογική συνέπεια του Θεωρήματος 4.2.1, που έπεται από τον ορισμό του S(t) και το γεγονός ότι το φράγμα C(t) είναι αναλλοίωτο στο μετασχηματισμό της μετατόπισης. Πόρισμα Για οποιαδήποτε κατανομή F X (x) της τυχαίας μεταβλητής X και για κάθε t, ισχύει ότι P (X t) S(t) C(t). 4.3 Σύγκριση ανάμεσα στο φράγμα C(t) και το φράγμα F(t) για διακριτές τυχαίες μεταβλητές Στην ενότητα αυτή συνεχίζουμε με την εργασία του Naveau (1997) στην οποία αποδεικνύεται αυτό που φάνηκε στις γραφικές παραστάσεις των Παραγράφων και

83 4.3. ΣΥΓΚΡΙΣΗ ΑΝΑΜΕΣΑ ΣΤΟ ΦΡΑΓΜΑ C(T ) ΚΑΙ ΤΟ ΦΡΑΓΜΑ F(T ) Δηλαδή ότι για την πιθανότητα επιβίωσης P (X t) το φράγμα των παραγοντικών ροπών F(t) είναι και αυτό καλύτερο (όπως και το M(t)) από το φράγμα του Chernoff C(t). Η πρόταση αυτή βεβαίως αποδεικνύεται στην περίπτωση όπου η τ.μ. X είναι διακριτή στους μη-αρνητικούς ακεραίους. Αυτό οφείλεται στο γεγονός ότι το φράγμα των παραγοντικών ροπών F(t) είναι καλά ορισμένο μόνο για αυτές τις τυχαίες μεταβλητές. Θεώρημα Για κάθε μη αρνητική διακριτή τ.μ. X, ισχύει η παρακάτω διπλή ανισότητα: P (X t) F(t) C(t), t > 0 Απόδειξη: Η πρώτη ανισότητα είναι άμεση εφαρμογή της ανισότητας του Markov (βλέπε πώς προκύπτει το Φράγμα των Παραγοντικών Ροπών στην Παράγραφο 1.2.4). Έστω t και α θετικοί αριθμοί. Οι δύο ακολουθίες u i και v i, οι οποίες εξαρτώνται από το α ορίζονται ως εξής: u 0 = v 0 = 1 u i = αi E[X(X 1)... (X i + 1)] i! v i = αi t(t 1)... (t i + 1) i! για,2,. Από την ισότητα (1 + α) t = v i (ανάπτυγμα Taylor στην περιοχή του μηδενός) και την ύπαρξη του φράγματος F(t), προκύπτει ότι και οι δύο σειρές i=0 u i και v i συγκλίνουν για κάποιο α > 0 (* ή μήπως να γράψω ακτίνα σύγκλισης α < 1). i=0 Επειδή (1 + α) t > 0, μπορεί να οριστεί η συνάρτηση I(t) ως: E[(1 + α) X ] I(t) = inf = inf α 0 (1 + α) t α 0 i=0 u i. v i Η ακολουθία u i είναι μη αρνητική, καθώς η συνάρτηση h n (x) = x(x 1)... (x n) είναι μη αρνητική όταν x N. Η ακολουθία v i είναι μηδενική, όταν i t + 1. Άρα, για 75 i=0 i=0

84 ΚΕΦΑΛΑΙΟ 4. ΣΥΓΚΡΙΣΗ ΦΡΑΓΜΑΤΩΝ ΓΙΑ ΤΗΝ ΠΙΘΑΝΟΤΗΤΑ ΕΠΙΒΙΩΣΗΣ κάθε θετικό ακέραιο i: v i E[X(X 1)... (X n)] inf 0 n t 1 t(t 1)... (t n) u i. Παίρνοντας σειρές και στα δύο μέλη της τελευταίας ανισότητας, προκύπτει ότι: F(t) v i u i F(t) I(t). i=0 i=0 Το τελευταίο βήμα είναι να αποδειχθεί ότι I(t) = C(t). Χρησιμοποιώντας το νέο μη αρνητικό αριθμό α ορισμένο από τη σχέση 1 + α = e θ, άμεσα αποδεικνύεται ότι: C(t) = inf E[exp(θX)] exp( θt) θ 0 = E[(1 + α) X ] inf α 0 (1 + α) t = I(t). Εδώ τελειώνει η απόδειξη του Θεωρήματος Παρατηρήσεις: 1) Όταν t R + ισχύει ότι: P (X t) = P (X t ) όπου και τότε t = inf{n 1 : n N και n t} t P (X t) F( t ) C( t ) C(t). 2) Όταν η τ.μ. X είναι αρνητική, η διπλή ανισότητα του Θεωρήματος αντικαθίσταται από την παρακάτω: P ( X t) E[ X ( X 1)... ( X n)] inf 0 n<t t(t 1)... (t n) E[(1 + α) X ] inf. α 0 (1 + α) t 4.4 Σύγκριση ανάμεσα στο φράγμα M(t) και το φράγμα F(t) για διακριτές τυχαίες μεταβλητές Στην ενότητα αυτή θα παρουσιάσουμε την εργασία του From (2012) στην οποία αποδεικνύεται ότι για την πιθανότητα επιβίωσης P (X t) το φράγμα των παραγοντικών 76

85 4.4. ΣΥΓΚΡΙΣΗ ΑΝΑΜΕΣΑ ΣΤΟ ΦΡΑΓΜΑ M(T ) ΚΑΙ ΤΟ ΦΡΑΓΜΑ F(T ) ροπών F(t) είναι καλύτερο από το φράγμα των ροπών M(t), άρα και το καλύτερο εκ των τριών που μελετήσαμε σε αυτό το Κεφάλαιο. Η πρόταση αυτή βεβαίως αποδεικνύεται στην περίπτωση όπου η τ.μ. X είναι διακριτή στους μη-αρνητικούς ακεραίους. Αυτό οφείλεται στο γεγονός ότι το φράγμα των παραγοντικών ροπών F(t) είναι καλά ορισμένο μόνο για αυτές τις τυχαίες μεταβλητές. Αρχικά, δίνεται το παρακάτω Λήμμα που θα χρησιμοποιηθεί στην απόδειξη της σχέσης, F(t) M(t). Λήμμα Έστω L ένας μη αρνητικός ακέραιος, b 0, b 1,..., b L και u 0, u 1,..., u L μη αρνητικοί πραγματικοί { αριθμοί. Έστω ακόμη v 0, v 1,..., v L θετικοί πραγματικοί αριθμοί u0 και w = min, u 1,..., u } L. Τότε v 0 v 1 v L L b i u i i=0 w L b i v i i=0 υπό την προϋπόθεση ότι ένα τουλάχιστον b i είναι θετικό. L b i v i > 0 και η παρα- Απόδειξη: Χωρίς βλάβη της γενικότητας, έστω w = u L. Τότε v L κάτω ανισότητα L b i u i i=0 u L w = L v L b i v i ισχύει εάν και μόνο εάν i=0 L b i (u i v L u L v i ) 0. i=0 i=0 Το γεγονός ότι u L u i για κάθε i = 0, 1,..., L και b i 0 για κάθε i = 0, 1,..., L v L v i αποδεικνύει το Λήμμα. Υπάρχει τώρα το θεωρητικό υπόβαθρο για να αποδειχθεί το κυρίως αποτέλεσμα της εργασίας του From (2012) το οποίο δίνεται στο Θεώρημα Με συντομία το θεώρημα αυτό αναφέρει ότι αν το φράγμα F(t) είναι μικρότερο ή ίσο της μονάδας, αυτό θα είναι 77

86 ΚΕΦΑΛΑΙΟ 4. ΣΥΓΚΡΙΣΗ ΦΡΑΓΜΑΤΩΝ ΓΙΑ ΤΗΝ ΠΙΘΑΝΟΤΗΤΑ ΕΠΙΒΙΩΣΗΣ τουλάχιστον (στη χειρότερη περίπτωση) ίσο με το φράγμα M(t), ενώ αν το F(t) είναι μεγαλύτερο της μονάδας (τετριμμένο), τότε το ίδιο θα ισχύει και για το M(t). Θεώρημα Έστω X διακριτή τ.μ. με στήριγμα ένα υποσύνολο των μη αρνητικών ακέραιων αριθμών. Τότε για t > 0 ισχύει ότι P (X t) F(t) M(t) αν F(t) 1. (Αν F(t) > 1 τότε M(t) > 1, οπότε και τα δύο φράγματα είναι τετριμμένα.) Απόδειξη: Έστω t > 0 και n = sup{m : m < t}, όπου m N = {0, 1, 2,...}. Τότε n = t, εάν t / N και n = t 1, εάν t N, όπου n =. είναι η συνάρτηση κάτω ακέραιο μέρος. Έστω x i = i, i = 0, 1,..., n. Έστω επίσης k N και f(x) = x k, y i = f(x i ), i = 0, 1,..., n. Τότε, η f(x) προσεγγίζεται από το Πολυώνυμο 4.13: p n (x) = α 0 + α 1 x + α 2 x (x 1) + + α n x (x 1)... (x n + 1). (4.13) Από το Λήμμα έπεται ότι α i 0 με την ύπαρξη ενός τουλάχιστον θετικού α i. Ομοίως, η συνάρτηση t k προσεγγίζεται από το Πολυώνυμο 4.14: p n (t) = α 0 + α 1 t + α 2 t (t 1) + + α n t (t 1)... (t n + 1), (4.14) όπου οι τιμές των α i δίνονται από τον Αλγόριθμο ως α i = F i,i. Από το Λήμμα ισχύουν τα εξής: και x k = p n (x) + f (n+1) (ξ(x)) (n + 1)! t k = p n (t) + f (n+1) (ξ(t)) (n + 1)! x (x 1)... (x n) (4.15) t (t 1)... (t n). (4.16) Υπάρχουν 2 περιπτώσεις. 1) Αν 0 k n τότε f (n+1) (ξ(x)) 0 και οι Σχέσεις 4.13 και 4.14 είναι ακριβείς. 2) Ας υποτεθεί τώρα ότι k > n. Έστω x i = i, i = 0, 1,..., k και y i = f(x i ), i = 0, 1,..., k. Πραγματοποιώντας παρεμβολή του Newton στα σημεία (x 0, y 0 ), (x 1, y 1 ),..., (x k, y k ), οι τιμές των α 0, α 1,..., α n δεν αλλάζουν με την αύξηση του πλήθους των σημείων παρεμβολής από n + 1 σε k + 1. Τότε, αρκεί να υπολογιστούν 78

87 4.4. ΣΥΓΚΡΙΣΗ ΑΝΑΜΕΣΑ ΣΤΟ ΦΡΑΓΜΑ M(T ) ΚΑΙ ΤΟ ΦΡΑΓΜΑ F(T ) άλλοι (k + 1) (n + 1) = k n συντελέστες α i. Άρα, η Σχέση 4.15 τροποποιείται ως εξής: x k = [α 0 + α 1 x + α 2 x (x 1) + + α n x (x 1)... (x n + 1)] + R n,k (x) = p n (x) + R n,k (x) = p k (x), (4.17) όπου R n,k (x) = α n+1 x (x 1)... (x n) + + α k x (x 1)... (x k + 1). Εξισώνοντας τα δεξιά μέλη των Σχέσεων 4.15 και 4.17 και διαγράφοντας τους κοινούς όρους (τα p n (x)), έπεται επίσης ότι: R n,k (x) = f (n+1) (ξ(x)) (n + 1)! x (x 1)... (x n). (4.18) Η Σχέση 4.18 ισχύει και για μη ακέραιες τιμές της μεταβλητής x, άρα διαιρώντας την κατά μέλη με x (x 1)... (x n), προκύπτει η συγκεντρωτική Σχέση 4.19: f (n+1) (ξ(x)) (n + 1)! = 0 αν 0 k n α n+1 αν k = n + 1 α n+1 + α n+2 (x n 1) + + α k (x n 1)... (x k + 1) αν k n + 2 (4.19) Έστω g(x) ολόκληρο το δεξί μέλος της Σχέσης Από το Λήμμα 5.1.1, α i 0 i. Οπότε, η g(x) είναι μία μη αρνητική, μη φθίνουσα συνάρτηση της x, x N με x > n, επειδή x (x 1)... (x n) = 0, x N με x n. Άρα, g(x) g(t) για κάθε φυσικό x > n, επειδή n < t x. Από τις Σχέσεις 4.15 και 4.16, προκύπτει για κάθε φυσικό x > t ότι: g(x) x (x 1)... (x n) g(t) x (x 1)... (x n). (4.20) Αντικαθιστώντας όπου x την τ.μ. X στις Σχέσεις , παίρνοντας αναμενόμενες τιμές και στα δύο μέλη αυτών των Σχέσεων και χρησιμοποιώντας τις Σχέσεις 4.16 και 79

88 ΚΕΦΑΛΑΙΟ 4. ΣΥΓΚΡΙΣΗ ΦΡΑΓΜΑΤΩΝ ΓΙΑ ΤΗΝ ΠΙΘΑΝΟΤΗΤΑ ΕΠΙΒΙΩΣΗΣ 4.18, προκύπτει ότι: E(X k ) = E[ p n(x) + g(x) X (X 1)... (X n)] t k p n (t) + g(t) t (t 1)... (t n) E[ p n(x)] + g(t) E[ X (X 1)... (X n)] p n (t) + g(t) t (t 1)... (t n) = (α 0 u 0 + α 1 u α n u n ) + g(t) u n+1 α 0 v 0 + α 1 v α n v n ) + g(t) v n+1 L b i u i = i=0, L b i v i i=0 όπου L = n + 1, u 0 = 1, u i = E[X(X 1)... (X i + 1)], i = 1, 2,..., n + 1, v 0 = 1, v i = t(t 1)... (t i + 1)], i = 1, 2,..., n + 1. Εφαρμόζοντας το Λήμμα με b i = α i, i = 0, 1,..., n και b n+1 = g(t), προκύπτει ότι: ( E(X k ) u0 min = 1, u 1, u 2,..., u ) n+1 t k v 0 v 1 v 2 v n+1, k = 0, 1, 2,.... Άλλα από τη Σχέση (4.4), ισχύει ότι: ( E(X) E[X(X 1)] F(t) = min,,..., t t(t 1) ( u1 = min, u 2,..., u ) n+1. v 1 v 2 v n+1 ) E[X(X 1)... (X n)] t(t 1)... (t n) Επομένως, E(X k ) min(1, F(t)) t k, k = 0, 1, 2,... ή παίρνοντας ελάχιστη τιμή και στα δύο μέλη, M(t) min(1, F(t)), k = 0, 1, 2,... (4.21) Συμπερασματικά εξάγονται τα παρακάτω αποτελέσματα από τη Σχέση (4.21): Αν F(t) < 1, τότε M(t) F(t). Αν F(t) 1 δηλαδή u i v i 1 για κάποιο i, τότε επίσης M(t) 1. Αυτό τελειώνει την απόδειξη του Θεωρήματος

89 4.4. ΣΥΓΚΡΙΣΗ ΑΝΑΜΕΣΑ ΣΤΟ ΦΡΑΓΜΑ M(T ) ΚΑΙ ΤΟ ΦΡΑΓΜΑ F(T ) Εναλλακτικός τρόπος απόδειξης Οι αριθμοί Stirling δευτέρου είδους, βλέπε Douglas (1981), ορίζονται ως εξής: x m = S(m, 1) x (1) + S(m, 2) x (2) + + S(m, m) x (m) για m N {0} όπου x (i) = x (x 1)... (x i + 1) για x R και i N {0}. Έχουν τις παρακάτω ιδιότητες S(m, 0) = δ m0 όπου 1 εάν m = n δ mn = 0 εάν m n είναι η συνάρτηση Δέλτα του Kronecker. S(m + 1, n) = S(m, n 1) + ns(m, n). Οι αριθμοί που μας ενδιαφέρουν εμάς { S(m, i) 1 εάν 1 i m Έτσι: και E(X k ) = t k = S(m, 0) = 0 εάν m 1 } k S(k, i) E(X (i) ) όπου X (0) = 1 i=0 k S(k, i) t (i) όπου t (0) = 1. i=0 Θέτουμε στο Λήμμα τα εξής: b i = S(k, i), u i = E(X (i) ) και v i = t (i) Πρέπει b i 0 (ισχύει), u i 0 (ισχύει αν η τ.μ. X παίρνει ακέραιες μη αρνητικές τιμές, οπότε κάποια στιγμή η μέση τιμή E(X(X 1)... (X i + 1)) γίνεται μηδέν) και το v i > 0 όταν 0 i t + 1, ενώ v i < 0 όταν 0 < t + 1 < i και t R, όπου t = sup{m N : m < t}. Οπότε t k = k S(k, i) t (i) i=0 min(k, t +1) i=0 S(k, i) t (i) 81

90 ΚΕΦΑΛΑΙΟ 4. ΣΥΓΚΡΙΣΗ ΦΡΑΓΜΑΤΩΝ ΓΙΑ ΤΗΝ ΠΙΘΑΝΟΤΗΤΑ ΕΠΙΒΙΩΣΗΣ και συνεπώς E(X k ) t k = Άρα, δηλαδή (4.4.1) k S(k, i)e(x (i) ) i=0 k S(k, i) t (i) i=0 min(k, t +1) i=0 min(k, t +1) i=0 S(k, i)e(x (i) ) S(k, i) t (i) ( ) E(X (0) ) min, E(X(1) ),..., E(X(n) ) όπου n = min(k, t + 1) t (0) t (1) t (n) ( ) E(X(X 1) (X n + 1)) = min 1, min 1 n min{k, t +1} t(t 1) (t n + 1) ( = min 1, min 0 n min{k, t } { E(X k ) inf inf 1, k 0 t k 0 n<t E(X(X 1) (X n)) t(t 1) (t n) ) } E(X(X 1) (X n)) t(t 1) (t n) M(t) F(t). (4.22) Βελτίωση του φράγματος Chernoff για δοκιμές Poisson Έστω X 1,..., X n ανεξάρτητες δοκιμές Poisson τέτοιες ώστε P (X i = 1) = p i. Στην παράγραφο αυτή θα βελτιώσουμε το φράγμα Chernoff της τυχαίας μεταβλητής n X = X i που δίνεται στη Σχέση (2.1). Για να το κάνουμε αυτό πρέπει να παρατηρήσουμε πρώτα (βλέπε Παράγραφο Σχέση (1.12) ) ότι το φράγμα στη Σχέση (2.1) είναι ουσιαστικά το φράγμα Chernoff μιας τυχαίας μεταβλητής που ακολουθεί την κατανομή Poisson με μέση τιμή µ = p i. n Δηλαδή ( ) e δ µ C P oisson ((1 + δ)µ) =. (1 + δ) (1+δ) 82

91 4.4. ΣΥΓΚΡΙΣΗ ΑΝΑΜΕΣΑ ΣΤΟ ΦΡΑΓΜΑ M(T ) ΚΑΙ ΤΟ ΦΡΑΓΜΑ F(T ) Πρόταση Έστω X 1,..., X n ανεξάρτητες δοκιμές Poisson τέτοιες ώστε n n P (X i = 1) = p i. Έστω X = X i και µ = E(X) = p i. Τότε, για κάθε δ > 0 δµ +1 Γ((1 + δ)µ δµ ) P (X (1 + δ)µ) µ Γ((1 + δ)µ + 1) Απόδειξη: Η πιθανογεννήτρια εκάστης X i είναι ( ) e δ µ. (4.23) (1 + δ) (1+δ) Π Xi (u) = E(u X i ) = u 0 P (X i = 0) + u 1 P (X i = 1) = 1 p i + up i = 1 + p i (u 1). n Επίσης, η πιθανογεννήτρια της τ.μ. X = X i στο σημείο u είναι: Π X (u) = E(u X ) = E(u n X i ) ανεξ. = n E(u X i ) = n Π Xi (u) = n (1 + p i (u 1)) και άρα στο σημείο u + 1 θα είναι η: n H X (u) = Π X (u + 1) = (1 + p i u) = (1 + p 1 u)(1 + p 2 u)... (1 + p n u). Όταν εκτελεστούν όλες οι πράξεις, παίρνει την εξής μορφή: H X (u) = 1 + (p 1 + p p n )u + 2! (p 1 p p 1 p n + + p n 1 p n ) u2 2! + n k+1 + k! i 1 =1 p i1 n k+2 i 2 =i 1 +1 p i2 n 1 i k 1 =i k 2 +1 p ik 1 n i k =i k 1 +1 p ik u k k! n! p 1 p 2... p n u n n!. Όμως H (k) X (0) = Π(k) X (1) όπου H(k) X (0) = k H u k X (u) Π (k) X (1) = u=0 Επειδή για την πιθανογεννήτρια συνάρτηση ισχύει ότι k Π u k X (u). u=1 Π (k) X (1) = E[X(k) ] = E[X(X 1)... (X k + 1)], συμπεραίνουμε πως για 1 k n ( n ) (k) E[X (k) ] = E X i k διαφορετικοί κάθε φορά {}}{ = k! (p 1... p k 1 p }{{} k + p 1... p k 1 p k p }{{} n k+1... p n ). (4.24) }{{} k όροι k όροι k όροι 83

92 ΚΕΦΑΛΑΙΟ 4. ΣΥΓΚΡΙΣΗ ΦΡΑΓΜΑΤΩΝ ΓΙΑ ΤΗΝ ΠΙΘΑΝΟΤΗΤΑ ΕΠΙΒΙΩΣΗΣ Ειδικότερα, ( n ) (1) [ n ] E[X (1) ] = E X i = E X i = p 1 + p p n, και Εάν η Y Poisson ( n ) (n) E[X (n) ] = E X i = n! p 1 p 2... p n, ( λ = E[X (k) ] = 0 για k > n. n p i ), τότε η πιθανογεννήτριά της και οι καθοδικές παραγοντικές ροπές που προκύπτουν είναι: Π Y (u) = e λ(u 1) H Y (u) = Π Y (u + 1) = e λu H Y (u) = λ k uk k! k=0 Άρα, E[Y (k) ] = Π (k) Y (1) = H(k) X (0) = λk = θεώρημα προκύπτει ότι ( n ) k p i, όπου από το πολυωνυμικό E[Y (k) ] = (p p n ) k = k 1 +k 2 + +k n=k ( k k 1, k 2,..., k n ) p k p k n n. Ειδικά για την περίπτωση k n, υπάρχει η δυνατότητα διάσπασης του παραπάνω άθροισματος σε άθροισμα δύο επιμέρους αθροισμάτων. Παρατηρούμε σε αυτήν την περίπτωση ότι μπορούμε να έχουμε όλα τα k i {0, 1} στο πρώτο επιμέρους άθροισμα όπως φαίνε- 84

93 4.4. ΣΥΓΚΡΙΣΗ ΑΝΑΜΕΣΑ ΣΤΟ ΦΡΑΓΜΑ M(T ) ΚΑΙ ΤΟ ΦΡΑΓΜΑ F(T ) ται παρακάτω: E[Y (k) ] = k! p k p k n }{{ n} + k 1 +k 2 + +k n =k }{{} Εμφανίζονται k ακριβώς από τα n όπου k i {0, 1} ( ) k + p k p kn n k 1, k 2,..., k n k 1 +k 2 + +k }{{ n=k } με κάποιο k i 2 ( k ) k 1 +k 2 + +k }{{ n=k } k 1, k 2,..., k n με κάποιο k i 2 (4.24) = E[X (k) ] + p k p kn n. Το πρώτο επιμέρους άθροισμα είναι λοιπόν η παραγοντική ροπή k - τάξης της X. Το δεύτερο επιμέρους άθροισμα είναι αυστηρά θετικό εάν έχει τουλάχιστον έναν όρο, ενώ στην περίπτωση κατά την οποία k = 1 δεν έχει κανένα όρο. Και τότε: Επομένως συμπεραίνουμε ότι E[Y (1) ] = E[X (1) ] = p p n. E[X (k+1) ] E[Y (k+1) ] ( E[X (k+1) ] ) (k+1) (1 + δ)µ ( E[Y (k+1) ] ) (k+1) (1 + δ)µ inf 0 k<(1+δ)µ E[X (k+1) ] ) (k+1) inf ( (1 + δ)µ 0 k<(1+δ)µ F X ((1 + δ)µ) F P oisson ((1 + δ)µ). Όμως από την εργασία του From (βλέπε Σχέση 4.1) ισχύει ότι ( E[Y (k+1) ] ) (k+1) (1 + δ)µ P (X (1 + δ)µ) F X ((1 + δ)µ) F P oisson ((1 + δ)µ) C P oisson ((1 + δ)µ). όπου ( ) e δ µ C P oisson ((1 + δ)µ) = αν δ > 0 (1 + δ) (1+δ) 85

94 ΚΕΦΑΛΑΙΟ 4. ΣΥΓΚΡΙΣΗ ΦΡΑΓΜΑΤΩΝ ΓΙΑ ΤΗΝ ΠΙΘΑΝΟΤΗΤΑ ΕΠΙΒΙΩΣΗΣ και F P oisson ((1 + δ)µ) είναι το φράγμα παραγοντικών ροπών της κατανομής Poisson (βλέπε Σχέση (1.16)) στο σημείο (1 + δ)µ: δµ +1 Γ((1 + δ)µ δµ ) µ αν (1 + δ)µ > µ δ > 0 F P oisson ((1 + δ)µ) = Γ((1 + δ)µ + 1) 1 αν (1 + δ)µ µ δ 0 Δίνουμε στη συνέχεια διάφορες γραφικές παραστάσεις στις οποίες συγκρίνονται τα φράγματα: ( ) e δ µ C 1 (δ) = του Θεωρήματος 2.1.1, (1 + δ) (1+δ) ( ) (1+δ)µ ( n (1+δ)µ pn qn C 4 (δ) = (1+δ)µ n (1+δ)µ) της Πρότασης 2.3.2, δµ +1 Γ((1 + δ)µ δµ ) F 1 (δ) = µ Γ((1 + δ)µ + 1) του Θεωρήματος Σχήμα 4.1: Φράγματα C 1 (δ), C 4 (δ) και F 1 (δ), όταν µ = 10 p i = 1.5 πάνω αριστερά, όταν µ = 40 p i = 10 πάνω δεξιά, όταν µ = 50 p i = 5.5 κάτω αριστερά, και όταν µ = 100 p i = 10.5 κάτω δεξιά. 86

95 Κεφάλαιο 5 Παράρτημα 5.1 Αριθμητική Ανάλυση Παρεμβολή και παρεκβολή Μία από τις βασικότερες έννοιες της Αριθμητικής Ανάλυσης που εμφανίζεται συχνά στις εφαρμογές είναι η έννοια της παρεμβολής η οποία και θα εξηγηθεί μέσω ενός παραδείγματος, βλέπε Vrahatis (2011). Ας υποτεθεί ότι μετρήθηκε η θερμοκρασία ενός ασθενή σε βαθμούς Κελσίου σε χρονικά διαστήματα της μίας ώρας όπως δείχνει ο πίνακας: x 3:00 4:00 5:00 6:00 7:00 8:00 9:00 10:00 11:00 y=f(x) Έστω ότι ζητείται να προσδιοριστεί σύμφωνα με τα παραπάνω δεδομένα του ασθενή μια ενδιάμεση τιμή της θερμοκρασίας όπως, για παράδειγμα, η θερμοκρασία του ασθενή στις 3:15 ή στις 9:30. Ο προσδιορισμός αυτός καθίσταται δυνατός με την παρεμβολή. Δίνεται, ο παρακάτω ορισμός: Ορισμός Αν έχουμε στη διάθεσή μας τιμές μιας συνάρτησης f(x) που αντιστοιχούν σε διάφορες τιμές x 0, x 1, x 2,..., x n της ανεξάρτητης μεταβλητής x, τότε παρεμβολή (interpolation) είναι η διαδικασία με την οποία αποκτούμε, από τις δοθείσες συναρτησιακές τιμές, προσεγγίσεις της f(x) για τιμές της ανεξάρτητης μεταβλητής x που βρίσκονται ενδιάμεσα στις δεδομένες τιμές x 0, x 1, x 2,..., x n. 87

96 ΚΕΦΑΛΑΙΟ 5. ΠΑΡΑΡΤΗΜΑ Σημείωση Η διαδικασία με την οποία αποκτούμε, από δοθείσες συναρτησιακές τιμές, προσεγγίσεις της f(x) για τιμές της ανεξάρτητης μεταβλητής x που βρίσκονται εκτός του διαστήματος των δεδομένων τιμών x 0, x 1, x 2,..., x n ονομάζεται παρεκβολή (extrapolation). Αξίζει να σημειωθεί ότι οι έννοιες της παρεμβολής και της παρεκβολής ισχύουν και για μη ισαπέχουσες τιμές της ανεξάρτητης μεταβλητής x. Γενικά, ένας τρόπος για να πραγματοποιηθεί η παρεμβολή και η παρεκβολή είναι η κατασκευή ενός πολυωνύμου που διέρχεται από όλα τα σημεία (x, f(x)) τα οποία προσδιορίζονται από τα ζεύγη τιμών που έχουμε στη διάθεσή μας. Υπάρχουν διάφορες μέθοδοι κατασκευής του πολυωνύμου παρεμβολής. Στη συνέχεια παρατίθεται η μέθοδος των διαιρεμένων διαφορών του Newton, αφού πρώτα δοθούν οι ορισμοί των διαιρεμένων διαφορών Διαιρεμένες διαφορές, Παρεμβολή του Newton Ορισμός Η διαιρεμένη διαφορά μηδενικής τάξης στο σημείο x i συμβολίζεται με f[x i ] και ορίζεται ως εξής: f[x i ] = f(x i ) (5.1) Οι διαιρεμένες διαφορές ανώτερης τάξης ορίζονται επαγωγικά. Η διαιρεμένη διαφορά πρώτης τάξης των σημείων x i, x i+1 συμβολίζεται με f[x i, x i+1 ] και ορίζεται ως εξής: f[x i, x i+1 ] = f[x i+1] f[x i ] x i+1 x i (5.2) Η διαιρεμένη διαφορά δεύτερης τάξης, f[x i, x i+1, x i+2 ], ορίζεται ως εξής: f[x i, x i+1, x i+2 ] = f[x i+1, x i+2 ] f[x i, x i+1 ] x i+2 x i (5.3) Όμοια, αφού πρώτα προσδιορισθούν οι διαιρεμένες διαφορές k 1 τάξης: f[x i, x i+1, x i+2,..., x i+k 1 ], f[x i+1, x i+2,..., x i+k 1, x i+k ], η διαιρεμένη διαφορά k τάξης δίνεται από τη σχέση: f[x i, x i+1,..., x i+k 1, x i+k ] = f[x i+1, x i+2,..., x i+k 1, x i+k ] f[x i, x i+1, x i+2,..., x i+k 1 ] x i+k x i (5.4) 88

97 5.1. ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ Έστω ότι το παρακάτω πολυώνυμο p n (x) παρεμβάλλεται στα εξής n + 1 σημεία (x 0, y 0 ), (x 1, y 1 ), (x 2, y 2 ),..., (x n, y n ) της άγνωστης συνάρτησης f: p n (x) = α 0 + α 1 (x x 0 ) + α 2 (x x 0 ) (x x 1 ) + + α n (x x 0 )... (x x n 1 ) (5.5) Για τον πλήρη προσδιορισμό του Πολυωνύμου (5.5), εκείνο που απαιτείται, είναι ο προσδιορισμός των συντελεστών α i, i = 0, 1,..., n έτσι ώστε να διέρχεται από τα προαναφερθέντα n + 1 σημεία παρεμβολής. Επομένως, οι συντελεστές α i πρέπει να ικανοποιούν τις σχέσεις p n (x i ) = y i = f(x i ), i = 0, 1,..., n, όπου y i = f(x i ), i = 0, 1,..., n γνωστές τιμές της άγνωστης συνάρτησης f. Πιο συγκεκριμένα, η πρώτη σταθερά α 0 ισούται με: α 0 = p n (x 0 ) = f(x 0 ). Όμοια, απαιτώντας p n (x 1 ) = f(x 1 ), η δεύτερη σταθερά α 1 προσδιορίζεται ως εξής: άρα f(x 0 ) + α 1 (x 1 x 0 ) = p n (x 1 ) = f(x 1 ) α 1 = f(x 1) f(x 0 ) x 1 x 0. Λαμβάνοντας υπόψη τον ορισμό των διαιρεμένων διαφορών δηλαδή τις Σχέσεις (5.1)- (5.4), οι σταθερές παίρνουν τη μορφή: α 0 = f[x 0 ], α 1 = f[x 0, x 1 ],..., α k = f[x 0, x 1, x 2,..., x k ], k = 0, 1,..., n Με αυτές τις αντικαταστάσεις το αρχικό πολυώνυμο (5.5) γράφεται στη μορφή: ή p n (x) = f[x 0 ] + f[x 0, x 1 ](x x 0 ) + f[x 0, x 1, x 2 ](x x 0 )(x x 1 ) + p n (x) = f[x 0 ] + + f[x 0, x 1, x 2,..., x n ](x x 0 )... (x x n 1 ) n f[x 0, x 1, x 2,..., x k ](x x 0 )... (x x k 1 ). (5.6) k=1 Η τιμή της διαιρεμένης διαφοράς f[x 0, x 1, x 2,..., x k ] είναι ανεξάρτητη της διάταξης των σημείων(αριθμών) x 0, x 1, x 2,..., x k. Το παραπάνω πολυώνυμο παρεμβολής δόθηκε από 89

98 ΚΕΦΑΛΑΙΟ 5. ΠΑΡΑΡΤΗΜΑ τον Newton και ονομάζεται τύπος παρεμβολής των διαιρεμένων διαφορών του Newton. Αξίζει να σημειωθεί το γεγονός ότι αν προστεθεί ένα νέο σημείο παρεμβολής x n+1 με τιμή f(x n+1 ), δεν χρειάζεται να προσδιοριστούν εκ νέου όλοι οι συντελεστές α i, i = 0,..., n, n + 1, παρά μόνο ο τελευταίος από αυτούς α n+1. Η σημαντική αυτή ιδιότητα θα φανεί πάραυτα στον αλγόριθμο διαιρεμένων διαφορών του Newton που ακολουθεί Ο αλγόριθμος των διαιρεμένων διαφορών του Newton Ο τύπος (5.6) εφαρμόζεται στον Αλγόριθμο 5.1.1, βλέπε Burden and Faires (1997), ο οποίος παράγει (βλέπε OUTPUT) τους αριθμούς α 0, α 1,..., α n, δηλαδή εξάγει τις διαιρεμένες διαφορές που απαιτούνται. INPUT: Εισαγωγή των σημείων παρεμβολής x 0, x 1, x 2,..., x n και των τιμών τους f(x 0 ), f(x 1 ), f(x 2 ),..., f(x n ) οι οποίες θα περαστούν ως F 0,0, F 1,0,..., F n,0. OUTPUT: Εξαγωγή των εξής διαιρεμένων διαφορών F 0,0, F 1,1,..., F n,n οι οποίες αποτελούν συντελεστές στο παρακάτω πολυώνυμο παρεμβολής του Newton που είναι ισοδύναμο με τον τύπο (5.6): p n (x) = n Παρατήρηση: F i,i = f[x 0, x 1, x 2,..., x i ]. F i,i i 1 i=0 j=0 (x x j ). Αλγόριθμος Αλγόριθμος των διαιρεμένων διαφορών του Newton Βήμα 1. Εισήγαγε τους διακριτούς πραγματικούς αριθμούς x 0, x 1, x 2,..., x n και τις τιμές τους y 0, y 1, y 2,..., y n. Βήμα 2. Θέσε F i,0 = y i, i = 0, 1,..., n. Βήμα 3. Για i = 1, 2,..., n { Για j = 1, 2,..., i { Θέσε F i,j = F i,j 1 F i 1,j 1 x i x i j }} (5.7) Βήμα 4. Θέσε α i = F i,i, i = 0, 1,..., n. 90

99 5.1. ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ Διάφορες μέθοδοι πολυωνυμικής παρεμβολής υπάρχουν, ωστόσο η μέθοδος των διαιρεμένων διαφορών του Newton που δίνεται στον Αλγόριθμο είναι πιο βολική. Ένα σημαντικό χαρακτηριστικό αυτού του αλγορίθμου είναι ότι αν αυξηθεί η τιμή του n σε n + 1 προσθέτοντας ένα ακόμα σημείο παρεμβολής (x n+1, y n+1 ) στο αρχικό σύνολο σημείων παρεμβολής (x 0, y 0 ), (x 1, y 1 ), (x 2, y 2 ),..., (x n, y n ) τότε δε χρειάζεται να υπολογιστούν πάλι τα α 0, α 1,..., α n. Αυτά παραμένουν ίδια. Το μόνο που χρειάζεται είναι να υπολογιστεί ο νέος συντελεστής α n+1. Το χαρακτηριστικό αυτό θα είναι στη συνέχεια πολύ σημαντικό κατά την απόδειξη του Θεωρήματος 4.4.1, το οποίο είναι το κυρίως αποτέλεσμα της εργασίας του From (2012). Οι διαιρεμένες διαφορές F i,j που δίνονται στη Σχέση (5.7) θα παίξουν σημαντικό ρόλο στην απόδειξη των αποτελεσμάτων. Στην απόδειξη του Θεωρήματος θα χρησιμοποιηθούν τα εξής: x i = i, και y i = f(x i ), με f(x) = x k για i = 0, 1,..., n όπου k και n είναι κατάλληλα επιλεγμένοι μη αρνητικοί ακέραιοι. Αν εφαρμοστούν τα βήματα 1-4 χρησιμοποιώντας την Σχέση (5.7) ώστε να υπολογιστούν τα α i, τότε το Πολυώνυμο (5.6) θα δίνει ακριβείς τιμές εάν k n και κατά προσέγγιση τιμές εάν k > n. Αυτό προκύπτει απ το Λήμμα 5.1.1, εάν α = 0 και b x n. Λήμμα Έστω ότι η f(x) έχει n + 1 συνεχείς παραγώγους f (i) (x), i = 0, 1,..., n, n + 1, για α x b. Έστω x 0, x 1, x 2,..., x n, x n+1 διαφορετικοί μεταξύ τους πραγματικοί αριθμοί στο διάστημα [α, b]. Έστω με p n (x) συμβολίζεται το μοναδικό πολυώνυμο παρεμβολής (5.5) βαθμού το πολύ n το οποίο συμφωνεί με τη συνάρτηση f(x) στα σημεία x = x i, i = 0, 1,..., n. Τότε για κάθε x στο [α, b], υπάρχει ένας πραγματικός αριθμός ξ(x) στο [α, b] με f(x) = p n (x) + f (n+1) (ξ(x)) (x x 0 )(x x 1 )... (x x n ) (5.8) (n + 1)! Επιπλέον, οι συντελεστές α i του p n (x) στην (5.5) μπορούν να γραφούν στη μορφή α i = f (i) (θ i ), i = 0, 1,..., n. (5.9) i! για κάποιους πραγματικούς αριθμούς θ i στο [a, b]. Από το Λήμμα 5.1.1, φαίνεται ότι εάν f(x) = x k, k = 0, 1, 2,..., και x 0, τότε α i 0, i = 0, 1,..., n. 91

100 ΚΕΦΑΛΑΙΟ 5. ΠΑΡΑΡΤΗΜΑ 5.2 Κώδικες σχημάτων Κώδικες σχημάτων Κεφαλαίου 1 Κώδικας Mathematica του Σχήματος 1.1 (αριστερά p 0 = 0.2, δεξιά p 0 = 0.7): Κώδικας Mathematica του Σχήματος 1.2 (αριστερά t = 0.8, δεξιά t = 0.3 ): Κώδικας Mathematica του Σχήματος 1.3: 92

101 5.2. ΚΩΔΙΚΕΣ ΣΧΗΜΑΤΩΝ Κώδικας Mathematica του Σχήματος 1.4 (αριστερά α = 2, λ = 0.5, δεξιά α = 2, λ = 3 ): Κώδικας Mathematica του Σχήματος 1.5 (αριστερά α = 0.5, λ = 1, δεξιά α = 2, λ = 1 ): Κώδικας Mathematica του Σχήματος 1.6 (αριστερά λ = 1, t = 1, δεξιά λ = 1, t = 3 ): 93

102 ΚΕΦΑΛΑΙΟ 5. ΠΑΡΑΡΤΗΜΑ Κώδικας Mathematica του Σχήματος 1.8 (αριστερά N = 5, p = 0.2, δεξιά N = 5, p = 0.7 ): Κώδικας Mathematica του Σχήματος 1.9 (αριστερά N = 10, p = 0.4, δεξιά N = 30, p = 0.4 ): 94

103 5.2. ΚΩΔΙΚΕΣ ΣΧΗΜΑΤΩΝ Κώδικας Mathematica του Σχήματος 1.10 (αριστερά p = 0.3,t = 10.5): Η μεγέθυνση του αριστερού Σχήματος 1.10: 95

104 ΚΕΦΑΛΑΙΟ 5. ΠΑΡΑΡΤΗΜΑ Κώδικες σχημάτων Κεφαλαίου 2 Η υλοποίηση των σχημάτων στο κεφάλαιο αυτό έγινε με χρήση των προγραμμάτων R και Maple. Για να παραχθούν τα σχήματα 2.1, 2.2, 2.3, 2.4 και 2.5 εφαρμόστηκε ο παρακάτω αλγόριθμος. Αλγόριθμος Παραγωγή των Σχημάτων 2.1, 2.2, 2.3, 2.4 και 2.5. Βήμα 1. Παράγουμε τυχαία p 1,..., p n στην R. Βήμα 2. Υπολογίζουμε τις ακριβείς πιθανότητες της τ.μ. X = X X n όπου X i Bernoulli(p i ), i = 1,..., n στην Maple. Αυτό γίνεται υπολογίζοντας την πιθανογεννήτρια Π(u) της τ.μ. X, η οποία είναι ένα πολυώνυμο n ου βαθμού ως προς u και παίρνοντας τους συντελεστές του u κ οι οποίοι είναι οι αντίστοιχες πιθανότητες P (X = κ). Βήμα 3. Συγκρίνουμε την ακριβή πιθανότητα P (X (1 + δ)µ) με τα φράγματα C 1 (δ), C 2 (δ), C 3 (δ), C 4 (δ) και F 1 (δ). Υπενθυμίζουμε ότι: για κάθε δ > 0: ( e δ ) µ C 1 (δ) =, (1 + δ) (1+δ) για κάθε 0 < δ 1: C 2 (δ) = e µδ2 /3, και για κάθε (1 + δ)µ 6µ: C 4 (δ) = ( pn (1+δ)µ ) (1+δ)µ ( qn δµ +1 Γ((1 + δ)µ δµ ) F 1 (δ) = µ Γ((1 + δ)µ + 1) Κώδικας του Σχήματος 2.1: Βήμα 1. C 3 (δ) = 2 (1+δ)µ, n (1+δ)µ) n (1+δ)µ του Θεωρήματος 2.3.2, του Θεωρήματος Βήμα 2. 96

105 5.2. ΚΩΔΙΚΕΣ ΣΧΗΜΑΤΩΝ Βήμα 3. 97

106 ΚΕΦΑΛΑΙΟ 5. ΠΑΡΑΡΤΗΜΑ Κώδικας Maple του Σχήματος 2.2: Κώδικας R του Σχήματος 2.2: 98

107 5.2. ΚΩΔΙΚΕΣ ΣΧΗΜΑΤΩΝ 99

108 ΚΕΦΑΛΑΙΟ 5. ΠΑΡΑΡΤΗΜΑ Κώδικας Maple του Σχήματος 2.3: Κώδικας R του Σχήματος 2.3: 100