Πιθανότητες και Αρχές Στατιστικής (5η Διάλεξη) Σωτήρης Νικολετσέας, καθηγητής Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Πανεπιστήμιο Πατρών Ακαδημαϊκό Ετος

Transcript

1 Πιθανότητες και Αρχές Στατιστικής (5η Διάλεξη) Σωτήρης Νικολετσέας, καθηγητής Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Πανεπιστήμιο Πατρών Ακαδημαϊκό Ετος Σωτήρης Νικολετσέας, καθηγητής 1 / 30

2 Περιεχόμενα 5ης Διάλεξης 1 Ανισότητα Markov 2 Διασπορά 3 Συνδιασπορά 4 Ανισότητα Chebyshev 5 Παραδείγματα Σωτήρης Νικολετσέας, καθηγητής 2 / 30

3 1 Ανισότητα Markov 2 Διασπορά 3 Συνδιασπορά 4 Ανισότητα Chebyshev 5 Παραδείγματα Σωτήρης Νικολετσέας, καθηγητής 3 / 30

4 1. Ανισότητα Markov Θεώρημα Χ μη αρνητική t > 0 } : Pr{X t } E(X) t Σωτήρης Νικολετσέας, καθηγητής 4 / 30

5 1. Ανισότητα Markov Θεώρημα Χ μη αρνητική t > 0 } : Pr{X t } E(X) t Φυσική σημασία t = 2 µ P r{x 2 µ} µ 2 µ = 1 2 t = 3 µ P r{x 3 µ} 1 3 Γενικά: P r{x t µ} 1 t Σωτήρης Νικολετσέας, καθηγητής 4 / 30

6 1. Ανισότητα Markov - Απόδειξη E(X) = x P r{x = x} x P r{x = x} x x t t P r{x = x} = t P r{x = x} = t P r{x t} x t x t Σωτήρης Νικολετσέας, καθηγητής 5 / 30

7 1 Ανισότητα Markov 2 Διασπορά 3 Συνδιασπορά 4 Ανισότητα Chebyshev 5 Παραδείγματα Σωτήρης Νικολετσέας, καθηγητής 6 / 30

8 2. Διασπορά - Ορισμός Ορισμός διασποράς (variance) [ V ar(x) = E (X µ) 2] = x (x µ) 2 P r{x = x} όπου µ = E(X) σ = V ar(x) (τυπική απόκλιση) Φυσική σημασία: μέτρο αποκλίσεων από τη μέση τιμή (μέση τιμή τετραγώνου αποκλίσεων από τη μέση τιμή - πιθανοτικά ζυγισμένο άθροισμα αυτών των αποκλίσεων) Σωτήρης Νικολετσέας, καθηγητής 7 / 30

9 2. Variance - Ιδιότητες Ιδιότητες 1) V ar(x) = E(X 2 ) E 2 (X) 2) Αν X, Y ανεξάρτητες V ar(x + Y ) = V ar(x) + V ar(y ) (προσθετικότητα) 3) V ar(c X) = c 2 V ar(x) Σωτήρης Νικολετσέας, καθηγητής 8 / 30

10 2. Variance - Ιδιότητες Απόδειξη 1) [ V ar(x) = E (X µ) 2] = E [ X 2 2 µ X + µ 2] = = E(X 2 ) 2 µ E(X)+E(µ 2 ) = E(X 2 ) 2 µ 2 +µ 2 = E(X 2 ) µ 2 Σωτήρης Νικολετσέας, καθηγητής 9 / 30

11 2. Variance - Ιδιότητες Απόδειξη 2) V ar(x + Y ) = E [ (X + Y ) 2] E 2 (X + Y ) = E [ X X Y + Y 2] [E(X) + E(Y )] 2 = E(X 2 )+2 E(X Y )+E(Y 2 ) E 2 (X) 2 E(X) E(Y ) E 2 (Y ) = (λόγω ανεξαρτησίας ισχύει: E(X Y ) = E(X) E(Y )) = E(X 2 ) E 2 (X) + E(Y 2 ) E 2 (Y ) = = V ar(x) + V ar(y ) Σωτήρης Νικολετσέας, καθηγητής 10 / 30

12 3. Συνδιασπορά - Ορισμός Ορισμός συνδιασποράς (covariance) Καλούμε συνδιασπορά (covariance) δύο τυχαίων μεταβλητών X, Y την: Cov(X, Y ) = E[(X E(X)) (Y E(Y ))] Βασική ιδιότητα: Είναι Cov(X, Y ) = E[XY E(X)Y E(Y )X + E(X)E(Y )] = = E(XY ) E(X)E(Y ) E(Y )E(X) + E(X)E(Y ) Άρα Cov(X,Y) = E(XY) - E(X)E(Y) Φυσική σημασία: Αν X,Y ανεξάρτητες E(XY ) = E(X)E(Y ) Cov(X, Y ) = 0 Δηλαδή η συνδιασπορά είναι μέτρο της εξάρτησης δύο τ.μ. Σωτήρης Νικολετσέας, καθηγητής 11 / 30

13 3. Συνδιασπορά - Παρατήρηση Παρατήρηση: Το αντίστροφο δεν ισχύει! δηλαδή η συνδιασπορά μπορεί να είναι 0 ακόμα και όταν οι τυχαίες μεταβλητές είναι εξαρτημένες. πχ. P r{x = 0} = P r{x = 1} = P r{x = 1} = 1 3 { 0, αν X 0 και έστω Y = 1, αν X = 0 Οπότε προφανώς X Y = 0, οπότε E(XY ) = 0. Αλλά E(X) = = 0 και E(Y ) = 0 P r{x 0} + 1 P r{x = 0} = 1 3 Άρα Cov(X, Y ) = E(XY ) E(X)E(Y ) = 0 ενώ οι X και Y είναι προφανώς εξαρτημένες. Σωτήρης Νικολετσέας, καθηγητής 12 / 30

14 3. Συνδιασπορά - Ιδιότητες Ιδιότητες (ι) Cov(X, Y ) = Cov(Y, X) (ιι) Cov(X, X) = V ar(x) ( n ) n (ιιι) V ar X i = i=1 i=1 V ar(x i ) + i Cov(X i, X j ) j i Απόδειξη της (ιι): Cov(X, X) = E(X X) E(X)E(X) = = E(X 2 ) E 2 (X) = = V ar(x) Σωτήρης Νικολετσέας, καθηγητής 13 / 30

15 1 Ανισότητα Markov 2 Διασπορά 3 Συνδιασπορά 4 Ανισότητα Chebyshev 5 Παραδείγματα Σωτήρης Νικολετσέας, καθηγητής 14 / 30

16 4. Ανισότητα Chebyshev Θεώρημα P r{ X µ t} V ar(x) t 2 Φυσική σημασία: V ar(x) P r{ X µ t} μικρές αποκλίσεις, υψηλή συγκέντρωση γύρω από τη μέση τιμή π.χ. P r{ X µ 2 σ} σ2 4 σ 2 = 1 4 P r{ X µ 2 σ} 0.75 (δηλαδή οποιαδήποτε τ.μ. συγκεντρώνεται ± 2 τυπικές αποκλίσεις γύρω από τη μέση τιμή με πιθανότητα 0.75). Επίσης: P r{ X µ 3 σ} σ2 9 σ 2 = 1 9 Σωτήρης Νικολετσέας, καθηγητής 15 / 30

17 4. Ανισότητα Chebyshev [ Απόδειξη: V ar(x) = E (X µ) 2] = x (x µ) 2 f(x) (x µ) 2 P r {X = x} t 2 P r {X = x} x µ t x µ t = t 2 P r {X = x} = t 2 P r { X µ t} x µ t Σωτήρης Νικολετσέας, καθηγητής 16 / 30

18 4. Ανισότητα Chebyshev - Παράδειγμα Ενα παράδειγμα όπου η Chebyshev δίνει ακριβές αποτέλεσμα 1 k, 2 k 1 2 X = k, 2 k 2 0, 1 1 k 2 1 µ = k 2 k 2 k 1 2 k = 0 V ar(x) = (k 0) k 2 +( k 0)2 1 2 k 2 +(0 0)2 = = 1 Σωτήρης Νικολετσέας, καθηγητής 17 / 30

19 4. Ανισότητα Chebyshev - Παράδειγμα (Συνέχεια) Από την Chebyshev έχω: P r{ X k} = P r{ X µ k} V ar(x) k 2 = 1 k 2 Από την pdf έχω: P r{ X k} = P r{x k} + P r{x k} = P r{x = k} + P r{x = k} = 1 2 k k 2 = 1 k 2 δηλαδη το άνω φράγμα είναι ακριβές. Αλλά πολλές φορές τα άνω φράγματα της Chebyshev δεν είναι πολύ ακριβή μελετάμε υψηλότερες ροπές Σωτήρης Νικολετσέας, καθηγητής 18 / 30

20 1 Ανισότητα Markov 2 Διασπορά 3 Συνδιασπορά 4 Ανισότητα Chebyshev 5 Παραδείγματα Σωτήρης Νικολετσέας, καθηγητής 19 / 30

21 5. Παράδειγμα 1 Να υπολογιστεί η διασπορά κατά την ρίψη ενός ζαριού Σωτήρης Νικολετσέας, καθηγητής 20 / 30

22 5. Παράδειγμα 1 Να υπολογιστεί η διασπορά κατά την ρίψη ενός ζαριού Λύση: Σωτήρης Νικολετσέας, καθηγητής 20 / 30

23 5. Παράδειγμα 1 Να υπολογιστεί η διασπορά κατά την ρίψη ενός ζαριού Λύση: Εστω Χ η τ.μ. των αποτελεσμάτων του ζαριού. Σωτήρης Νικολετσέας, καθηγητής 20 / 30

24 5. Παράδειγμα 1 Να υπολογιστεί η διασπορά κατά την ρίψη ενός ζαριού Λύση: Εστω Χ η τ.μ. των αποτελεσμάτων του ζαριού. Είναι E(X) = Σωτήρης Νικολετσέας, καθηγητής 20 / 30

25 5. Παράδειγμα 1 Να υπολογιστεί η διασπορά κατά την ρίψη ενός ζαριού Λύση: Εστω Χ η τ.μ. των αποτελεσμάτων του ζαριού. Είναι E(X) = = ( )1 6 = 21 6 = 7 2 Σωτήρης Νικολετσέας, καθηγητής 20 / 30

26 5. Παράδειγμα 1 Να υπολογιστεί η διασπορά κατά την ρίψη ενός ζαριού Λύση: Εστω Χ η τ.μ. των αποτελεσμάτων του ζαριού. Είναι E(X) = = ( )1 6 = 21 6 = 7 2 Είναι E(X 2 ) = Σωτήρης Νικολετσέας, καθηγητής 20 / 30

27 5. Παράδειγμα 1 Να υπολογιστεί η διασπορά κατά την ρίψη ενός ζαριού Λύση: Εστω Χ η τ.μ. των αποτελεσμάτων του ζαριού. Είναι E(X) = = ( )1 6 = 21 6 = 7 2 Είναι E(X 2 ) = = 91 6 Σωτήρης Νικολετσέας, καθηγητής 20 / 30

28 5. Παράδειγμα 1 Να υπολογιστεί η διασπορά κατά την ρίψη ενός ζαριού Λύση: Εστω Χ η τ.μ. των αποτελεσμάτων του ζαριού. Είναι E(X) = = ( )1 6 = 21 6 = 7 2 Είναι E(X 2 ) = = 91 6 Άρα V ar(x) = Σωτήρης Νικολετσέας, καθηγητής 20 / 30

29 5. Παράδειγμα 1 Να υπολογιστεί η διασπορά κατά την ρίψη ενός ζαριού Λύση: Εστω Χ η τ.μ. των αποτελεσμάτων του ζαριού. Είναι E(X) = = ( )1 6 = 21 6 = 7 2 Είναι E(X 2 ) = = 91 6 Άρα V ar(x) = E(X 2 ) E 2 (X) = Σωτήρης Νικολετσέας, καθηγητής 20 / 30

30 5. Παράδειγμα 1 Να υπολογιστεί η διασπορά κατά την ρίψη ενός ζαριού Λύση: Εστω Χ η τ.μ. των αποτελεσμάτων του ζαριού. Είναι E(X) = = ( )1 6 = 21 6 = 7 2 Είναι E(X 2 ) = = 91 6 Άρα V ar(x) = E(X 2 ) E 2 (X) = 91 ( ) = Σωτήρης Νικολετσέας, καθηγητής 20 / 30

31 5. Παράδειγμα 2 Να δείξετε την ανισότητα του Boole χρησιμοποιώντας μέσες τιμές δεικνυουσών μεταβλητών. Σωτήρης Νικολετσέας, καθηγητής 21 / 30

32 5. Παράδειγμα 2 Να δείξετε την ανισότητα του Boole χρησιμοποιώντας μέσες τιμές δεικνυουσών μεταβλητών. Απόδειξη: Εστω γεγονότα A 1, A 2,..., A n. Θέλουμε να δείξουμε ότι: n P r{ n i=1a i } P r{a i } i=1 Σωτήρης Νικολετσέας, καθηγητής 21 / 30

33 5. Παράδειγμα 2 Να δείξετε την ανισότητα του Boole χρησιμοποιώντας μέσες τιμές δεικνυουσών μεταβλητών. Απόδειξη: Εστω γεγονότα A 1, A 2,..., A n. Θέλουμε να δείξουμε ότι: n P r{ n i=1a i } P r{a i } i=1 Εστω τ.μ. X 1, X 2,..., X n που δείχνουν αν συνέβη ή όχι κάθε ένα από τα A i, δηλαδή: { 1, αν συνέβη το Ai X i = 0, διαφορετικά Σωτήρης Νικολετσέας, καθηγητής 21 / 30

34 5. Παράδειγμα 2 Να δείξετε την ανισότητα του Boole χρησιμοποιώντας μέσες τιμές δεικνυουσών μεταβλητών. Απόδειξη: Εστω γεγονότα A 1, A 2,..., A n. Θέλουμε να δείξουμε ότι: n P r{ n i=1a i } P r{a i } i=1 Εστω τ.μ. X 1, X 2,..., X n που δείχνουν αν συνέβη ή όχι κάθε ένα από τα A i, δηλαδή: { 1, αν συνέβη το Ai X i = 0, διαφορετικά n Εστω X = X i οπότε η X μετράει τον αριθμό των γεγονότων i=1 που πραγματοποιήθηκαν. Σωτήρης Νικολετσέας, καθηγητής 21 / 30

35 5. Παράδειγμα 2 - Συνέχεια Εστω Y = { 1, αν X 1 0, διαφορετικά δηλαδή η Y δείχνει αν πραγματοποιήθηκε ή όχι τουλάχιστον ένα γεγονός. Σωτήρης Νικολετσέας, καθηγητής 22 / 30

36 5. Παράδειγμα 2 - Συνέχεια Εστω Y = { 1, αν X 1 0, διαφορετικά δηλαδή η Y δείχνει αν πραγματοποιήθηκε ή όχι τουλάχιστον ένα γεγονός. Προφανώς X Y Σωτήρης Νικολετσέας, καθηγητής 22 / 30

37 5. Παράδειγμα 2 - Συνέχεια Εστω Y = { 1, αν X 1 0, διαφορετικά δηλαδή η Y δείχνει αν πραγματοποιήθηκε ή όχι τουλάχιστον ένα γεγονός. Προφανώς X Y Άρα E(X) E(Y ) Σωτήρης Νικολετσέας, καθηγητής 22 / 30

38 5. Παράδειγμα 2 - Συνέχεια Εστω Y = { 1, αν X 1 0, διαφορετικά δηλαδή η Y δείχνει αν πραγματοποιήθηκε ή όχι τουλάχιστον ένα γεγονός. Προφανώς X Y Άρα E(X) E(Y ) ( n ) Αλλά E(X) = E X i = i=1 n E(X i ) = i=1 n 1 P r{a i } i=1 Σωτήρης Νικολετσέας, καθηγητής 22 / 30

39 5. Παράδειγμα 2 - Συνέχεια Εστω Y = { 1, αν X 1 0, διαφορετικά δηλαδή η Y δείχνει αν πραγματοποιήθηκε ή όχι τουλάχιστον ένα γεγονός. Προφανώς X Y Άρα E(X) E(Y ) ( n ) Αλλά E(X) = E X i = i=1 n E(X i ) = i=1 n 1 P r{a i } i=1 και E(Y ) = 1 P r{x 1} = P r{x 1} = P r{ n i=1a i } Σωτήρης Νικολετσέας, καθηγητής 22 / 30

40 5. Παράδειγμα 3 Μία γραμματέας βάζει τυχαία n επιστολές σε n φακέλους. Ποιά είναι η μέση τιμή του αριθμού των επιστολών που μπαίνουν στο σωστό φάκελο; Σωτήρης Νικολετσέας, καθηγητής 23 / 30

41 5. Παράδειγμα 3 Μία γραμματέας βάζει τυχαία n επιστολές σε n φακέλους. Ποιά είναι η μέση τιμή του αριθμού των επιστολών που μπαίνουν στο σωστό φάκελο; Λύση: Εστω δεικνύουσες τ.μ. X i (i = 1, 2,..., n) : { 1, αν η επιστολή i μπαίνει στο σωστό φάκελο X i = 0, διαφορετικά Σωτήρης Νικολετσέας, καθηγητής 23 / 30

42 5. Παράδειγμα 3 Μία γραμματέας βάζει τυχαία n επιστολές σε n φακέλους. Ποιά είναι η μέση τιμή του αριθμού των επιστολών που μπαίνουν στο σωστό φάκελο; Λύση: Εστω δεικνύουσες τ.μ. X i (i = 1, 2,..., n) : { 1, αν η επιστολή i μπαίνει στο σωστό φάκελο X i = 0, διαφορετικά Άρα X = n X i είναι ο αριθμός των επιστολών σε σωστό φάκελο. i=1 Σωτήρης Νικολετσέας, καθηγητής 23 / 30

43 5. Παράδειγμα 3 Μία γραμματέας βάζει τυχαία n επιστολές σε n φακέλους. Ποιά είναι η μέση τιμή του αριθμού των επιστολών που μπαίνουν στο σωστό φάκελο; Λύση: Εστω δεικνύουσες τ.μ. X i (i = 1, 2,..., n) : { 1, αν η επιστολή i μπαίνει στο σωστό φάκελο X i = 0, διαφορετικά Άρα X = n X i είναι ο αριθμός των επιστολών σε σωστό φάκελο. i=1 Είναι E(X i ) = 1 P r{επιστολή i σε σωστό φάκελο} = (n 1)! = = 1 n! n Σωτήρης Νικολετσέας, καθηγητής 23 / 30

44 5. Παράδειγμα 3 Μία γραμματέας βάζει τυχαία n επιστολές σε n φακέλους. Ποιά είναι η μέση τιμή του αριθμού των επιστολών που μπαίνουν στο σωστό φάκελο; Λύση: Εστω δεικνύουσες τ.μ. X i (i = 1, 2,..., n) : { 1, αν η επιστολή i μπαίνει στο σωστό φάκελο X i = 0, διαφορετικά Άρα X = n X i είναι ο αριθμός των επιστολών σε σωστό φάκελο. i=1 Είναι E(X i ) = 1 P r{επιστολή i σε σωστό φάκελο} = (n 1)! = = 1 n! n Άρα E(X) = E ( n i=1 X i) = n i=1 E(X i) = n i=1 1 n = n 1 n = 1 Άρα κατα μέση τιμή 1 επιστολή θα μπει σε σωστό φάκελο. Σωτήρης Νικολετσέας, καθηγητής 23 / 30

45 5. Παράδειγμα 4 Να βρεθεί η διασπορά στο παράδειγμα 3 Σωτήρης Νικολετσέας, καθηγητής 24 / 30

46 5. Παράδειγμα 4 Να βρεθεί η διασπορά στο παράδειγμα 3 Λύση: Σωτήρης Νικολετσέας, καθηγητής 24 / 30

47 5. Παράδειγμα 4 Να βρεθεί η διασπορά στο παράδειγμα 3 Λύση: Είναι X = n X i, όπου X i = i=1 { 1, με πιθανότητα p = 1 n 0, με πιθανότητα 1 p Σωτήρης Νικολετσέας, καθηγητής 24 / 30

48 5. Παράδειγμα 4 Να βρεθεί η διασπορά στο παράδειγμα 3 Λύση: Είναι X = n X i, όπου X i = i=1 { 1, με πιθανότητα p = 1 n 0, με πιθανότητα 1 p Είναι V ar(x i ) = E(X 2 i ) E 2 (X i ) = 1 2 p (1 p) p 2 = = p p 2 = p(1 p) = 1 n n 1 n Σωτήρης Νικολετσέας, καθηγητής 24 / 30

49 5. Παράδειγμα 4 Να βρεθεί η διασπορά στο παράδειγμα 3 Λύση: Είναι X = n X i, όπου X i = i=1 { 1, με πιθανότητα p = 1 n 0, με πιθανότητα 1 p Είναι V ar(x i ) = E(X 2 i ) E 2 (X i ) = 1 2 p (1 p) p 2 = = p p 2 = p(1 p) = 1 n n 1 n Επίσης Cov(X i, X j ) = E(X i X j ) E(X i )E(X j ) Σωτήρης Νικολετσέας, καθηγητής 24 / 30

50 5. Παράδειγμα 4 Να βρεθεί η διασπορά στο παράδειγμα 3 Λύση: Είναι X = n X i, όπου X i = i=1 { 1, με πιθανότητα p = 1 n 0, με πιθανότητα 1 p Είναι V ar(x i ) = E(X 2 i ) E 2 (X i ) = 1 2 p (1 p) p 2 = = p p 2 = p(1 p) = 1 n n 1 n Επίσης Cov(X i, X j ) = E(X i X j ) E(X i )E(X j ) Αλλά E(X i X j ) = 1 P r{x i = 1 X j = 1} = = P r{x i = 1}P r{x j = 1 X i = 1} = 1 n 1 n 1 Σωτήρης Νικολετσέας, καθηγητής 24 / 30

51 5. Παράδειγμα 4 Να βρεθεί η διασπορά στο παράδειγμα 3 Λύση: Είναι X = n X i, όπου X i = i=1 { 1, με πιθανότητα p = 1 n 0, με πιθανότητα 1 p Είναι V ar(x i ) = E(X 2 i ) E 2 (X i ) = 1 2 p (1 p) p 2 = = p p 2 = p(1 p) = 1 n n 1 n Επίσης Cov(X i, X j ) = E(X i X j ) E(X i )E(X j ) Αλλά E(X i X j ) = 1 P r{x i = 1 X j = 1} = = P r{x i = 1}P r{x j = 1 X i = 1} = 1 n 1 ( ) n Άρα Cov(X i, X j ) = n(n 1) 1 = n n 2 (n 1) Σωτήρης Νικολετσέας, καθηγητής 24 / 30

52 5. Παράδειγμα 4 - Συνέχεια Σωτήρης Νικολετσέας, καθηγητής 25 / 30

53 5. Παράδειγμα 4 - Συνέχεια Οπότε από τη σχέση n n V ar( X i ) = i=1 i=1 V ar(x i ) + i Cov(X i, X j ) j i Σωτήρης Νικολετσέας, καθηγητής 25 / 30

54 5. Παράδειγμα 4 - Συνέχεια Οπότε από τη σχέση n n V ar( X i ) = Cov(X i, X j ) i=1 i=1 V ar(x i ) + i Προκύπτει ότι V ar(x) = n n 1 1 n 2 + n(n 1) n 2 (n 1) = n 1 n + 1 n = 1 j i Σωτήρης Νικολετσέας, καθηγητής 25 / 30

55 5. Παράδειγμα 5 (the weak law of large numbers) Εστω X 1, X 2,... μία ακολουθία ανεξάρτητων τ.μ. με την ίδια κατανομή και ίδια πεπερασμένη μέση τιμή E(X i ) = µ και διασπορά V ar(x { i ) = σ 2. Τότε, ɛ > 0 :} X X n P r µ n ɛ 0 καθώς n Σωτήρης Νικολετσέας, καθηγητής 26 / 30

56 5. Παράδειγμα 5 (the weak law of large numbers) Εστω X 1, X 2,... μία ακολουθία ανεξάρτητων τ.μ. με την ίδια κατανομή και ίδια πεπερασμένη μέση τιμή E(X i ) = µ και διασπορά V ar(x { i ) = σ 2. Τότε, ɛ > 0 :} X X n P r µ n ɛ 0 καθώς n Απόδειξη: Σωτήρης Νικολετσέας, καθηγητής 26 / 30

57 5. Παράδειγμα 5 (the weak law of large numbers) Εστω X 1, X 2,... μία ακολουθία ανεξάρτητων τ.μ. με την ίδια κατανομή και ίδια πεπερασμένη μέση τιμή E(X i ) = µ και διασπορά V ar(x { i ) = σ 2. Τότε, ɛ > 0 :} X X n P r µ n ɛ 0 καθώς n Απόδειξη: ( ) X1 + + X n Είναι E = 1 n n n E(X i ) = 1 n n µ = µ i=1 Σωτήρης Νικολετσέας, καθηγητής 26 / 30

58 5. Παράδειγμα 5 (the weak law of large numbers) Εστω X 1, X 2,... μία ακολουθία ανεξάρτητων τ.μ. με την ίδια κατανομή και ίδια πεπερασμένη μέση τιμή E(X i ) = µ και διασπορά V ar(x { i ) = σ 2. Τότε, ɛ > 0 :} X X n P r µ n ɛ 0 καθώς n Απόδειξη: ( ) X1 + + X n Είναι E = 1 n n και (λόγω ανεξαρτησίας): ( ) X1 + + X n V ar = 1 n n 2 n i=1 n E(X i ) = 1 n n µ = µ i=1 V ar(x i ) = 1 n 2 n σ2 = σ2 n Σωτήρης Νικολετσέας, καθηγητής 26 / 30

59 5. Παράδειγμα 5 (the weak law of large numbers) Εστω X 1, X 2,... μία ακολουθία ανεξάρτητων τ.μ. με την ίδια κατανομή και ίδια πεπερασμένη μέση τιμή E(X i ) = µ και διασπορά V ar(x { i ) = σ 2. Τότε, ɛ > 0 :} X X n P r µ n ɛ 0 καθώς n Απόδειξη: ( ) X1 + + X n Είναι E = 1 n n n E(X i ) = 1 n n µ = µ i=1 και (λόγω ανεξαρτησίας): ( ) X1 + + X n V ar = 1 n n n 2 i=1 { } X X n Άρα: P r µ n ɛ V ar(x i ) = 1 n 2 n σ2 = σ2 n σ 2 n ɛ 2 0 Σωτήρης Νικολετσέας, καθηγητής 26 / 30

60 Φυσική σημασία Φυσική σημασία: Ο αριθμητικός μέσος όρος μιας ακολουθίας n ανεξάρτητων τυχαίων μεταβλητών με ίδια κατανομή και μέση τιμή συγκεντρώνεται ισχυρά γύρω από αυτή τη μέση τιμή, καθώς το n μεγαλώνει και τείνει στο άπειρο. Σωτήρης Νικολετσέας, καθηγητής 27 / 30

61 Φυσική σημασία Φυσική σημασία: Ο αριθμητικός μέσος όρος μιας ακολουθίας n ανεξάρτητων τυχαίων μεταβλητών με ίδια κατανομή και μέση τιμή συγκεντρώνεται ισχυρά γύρω από αυτή τη μέση τιμή, καθώς το n μεγαλώνει και τείνει στο άπειρο. π.χ. αν { ρίξω n φορές ένα νόμισμα και 1, αν αποτέλεσμα κεφαλή X i = 0, αν αποτέλεσμα γράμματα Σωτήρης Νικολετσέας, καθηγητής 27 / 30

62 Φυσική σημασία Φυσική σημασία: Ο αριθμητικός μέσος όρος μιας ακολουθίας n ανεξάρτητων τυχαίων μεταβλητών με ίδια κατανομή και μέση τιμή συγκεντρώνεται ισχυρά γύρω από αυτή τη μέση τιμή, καθώς το n μεγαλώνει και τείνει στο άπειρο. π.χ. αν { ρίξω n φορές ένα νόμισμα και 1, αν αποτέλεσμα κεφαλή X i = 0, αν αποτέλεσμα γράμματα τότε E(X i ) = = 1 2 = µ και επομένως: Σωτήρης Νικολετσέας, καθηγητής 27 / 30

63 Φυσική σημασία Φυσική σημασία: Ο αριθμητικός μέσος όρος μιας ακολουθίας n ανεξάρτητων τυχαίων μεταβλητών με ίδια κατανομή και μέση τιμή συγκεντρώνεται ισχυρά γύρω από αυτή τη μέση τιμή, καθώς το n μεγαλώνει και τείνει στο άπειρο. π.χ. αν { ρίξω n φορές ένα νόμισμα και 1, αν αποτέλεσμα κεφαλή X i = 0, αν αποτέλεσμα γράμματα τότε { E(X i ) = = 1 2 = µ και επομένως: X X n P r 1 } n 2 ɛ 0 καθώς n δηλαδή ο αριθμός των αποτελεσμάτων κεφαλή σε n επαναλήψεις συγκεντρώνεται πολύ κοντά στο n 2 Σωτήρης Νικολετσέας, καθηγητής 27 / 30

64 Φυσική σημασία Φυσική σημασία: Ο αριθμητικός μέσος όρος μιας ακολουθίας n ανεξάρτητων τυχαίων μεταβλητών με ίδια κατανομή και μέση τιμή συγκεντρώνεται ισχυρά γύρω από αυτή τη μέση τιμή, καθώς το n μεγαλώνει και τείνει στο άπειρο. π.χ. αν { ρίξω n φορές ένα νόμισμα και 1, αν αποτέλεσμα κεφαλή X i = 0, αν αποτέλεσμα γράμματα τότε { E(X i ) = = 1 2 = µ και επομένως: X X n P r 1 } n 2 ɛ 0 καθώς n δηλαδή ο αριθμός των αποτελεσμάτων κεφαλή σε n επαναλήψεις συγκεντρώνεται πολύ κοντά στο n 2 Παρατήρηση: Ωστόσο, σε κάθε ρίψη η πιθανότητα για κεφαλή είναι πάντα 1 2 ανεξαρτήτως της ιστορίας! π.χ. P r{ κεφαλή κεφαλή στις 100 τελευταίες ρίψεις} = 1 2 Σωτήρης Νικολετσέας, καθηγητής 27 / 30

65 Ο ισχυρός νόμος των μεγάλων αριθμών Ενας ισχυρότερος νόμος: Ο ισχυρός νόμος των μεγάλων αριθμών Με πιθανότητα 1, X X n n µ καθώς n Σωτήρης Νικολετσέας, καθηγητής 28 / 30

66 Ο ισχυρός νόμος των μεγάλων αριθμών Ενας ισχυρότερος νόμος: Ο ισχυρός νόμος των μεγάλων αριθμών Με πιθανότητα 1, X X n µ καθώς n n Φυσική σημασία: Σε ανεξάρτητες επαναλήψεις ενός πειράματος, έστω { 1, αν το γεγονός Ε συμβαίνει στην ι-οστή επανάληψη X i = 0, διαφορετικά Σωτήρης Νικολετσέας, καθηγητής 28 / 30

67 Ο ισχυρός νόμος των μεγάλων αριθμών Ενας ισχυρότερος νόμος: Ο ισχυρός νόμος των μεγάλων αριθμών Με πιθανότητα 1, X X n µ καθώς n n Φυσική σημασία: Σε ανεξάρτητες επαναλήψεις ενός πειράματος, έστω { 1, αν το γεγονός Ε συμβαίνει στην ι-οστή επανάληψη X i = 0, διαφορετικά και έστω P (E) η πιθανότητα να συμβεί το E. Προφανώς E(X i ) = P (E), άρα Σωτήρης Νικολετσέας, καθηγητής 28 / 30

68 Ο ισχυρός νόμος των μεγάλων αριθμών Ενας ισχυρότερος νόμος: Ο ισχυρός νόμος των μεγάλων αριθμών Με πιθανότητα 1, X X n µ καθώς n n Φυσική σημασία: Σε ανεξάρτητες επαναλήψεις ενός πειράματος, έστω { 1, αν το γεγονός Ε συμβαίνει στην ι-οστή επανάληψη X i = 0, διαφορετικά και έστω P (E) η πιθανότητα να συμβεί το E. Προφανώς E(X i ) = P (E), άρα #πραγματοποιήσεων του E P (E) με πιθανότητα 1 καθώς ο #επαναλήψεων αριθμός των επαναλήψεων τείνει στο άπειρο. Σωτήρης Νικολετσέας, καθηγητής 28 / 30

69 Η Διαφορά των δύο νόμων Η Διαφορά των δύο νόμων: Ο ασθενής νόμος λέει ότι για οποιοδήποτε μεγάλο n, ο μέσος όρος των αποτελεσμάτων των πρώτων n επαναλήψεων θα είναι κοντά στη μέση τιμή µ. Δεν εξασφαλίζει όμως ότι για περισσότερες του n επαναλήψεις οι αποκλίσεις θα παραμένουν μικρές, δηλαδή μεγάλες αποκλίσεις μπορεί να εμφανιστούν άπειρες φορές (αν και σε αραιά διαστήματα) Ισχυρός νόμος: μεγάλες αποκλίσεις μόνο σε πεπερασμένο αριθμό επαναλήψεων, με πιθανότητα 1. Σωτήρης Νικολετσέας, καθηγητής 29 / 30

70 5. Παράδειγμα 6 Εστω E(X 1 ) = 75, E(X 2 ) = 75, V ar(x 1 ) = 10, V ar(x 2 ) = 12 και Cov(X 1, X 2 ) = 3. Βρείτε άνω φράγμα για την P r{ X 1 X 2 > 15}. Σωτήρης Νικολετσέας, καθηγητής 30 / 30

71 5. Παράδειγμα 6 Εστω E(X 1 ) = 75, E(X 2 ) = 75, V ar(x 1 ) = 10, V ar(x 2 ) = 12 και Cov(X 1, X 2 ) = 3. Βρείτε άνω φράγμα για την P r{ X 1 X 2 > 15}. Λύση: Είναι E(X 1 X 2 ) = Σωτήρης Νικολετσέας, καθηγητής 30 / 30

72 5. Παράδειγμα 6 Εστω E(X 1 ) = 75, E(X 2 ) = 75, V ar(x 1 ) = 10, V ar(x 2 ) = 12 και Cov(X 1, X 2 ) = 3. Βρείτε άνω φράγμα για την P r{ X 1 X 2 > 15}. Λύση: Είναι E(X 1 X 2 ) = E(X 1 ) E(X 2 ) = = 0 και V ar(x 1 X 2 ) = Σωτήρης Νικολετσέας, καθηγητής 30 / 30

73 5. Παράδειγμα 6 Εστω E(X 1 ) = 75, E(X 2 ) = 75, V ar(x 1 ) = 10, V ar(x 2 ) = 12 και Cov(X 1, X 2 ) = 3. Βρείτε άνω φράγμα για την P r{ X 1 X 2 > 15}. Λύση: Είναι E(X 1 X 2 ) = E(X 1 ) E(X 2 ) = = 0 και V ar(x 1 X 2 ) = V ar[x 1 + ( 1)X 2 ] = Σωτήρης Νικολετσέας, καθηγητής 30 / 30

74 5. Παράδειγμα 6 Εστω E(X 1 ) = 75, E(X 2 ) = 75, V ar(x 1 ) = 10, V ar(x 2 ) = 12 και Cov(X 1, X 2 ) = 3. Βρείτε άνω φράγμα για την P r{ X 1 X 2 > 15}. Λύση: Είναι E(X 1 X 2 ) = E(X 1 ) E(X 2 ) = = 0 και V ar(x 1 X 2 ) = V ar[x 1 + ( 1)X 2 ] = = V ar(x 1 ) + V ar[( 1)X 2 ] + i j Cov[X 1, ( 1)X 2 ] = Σωτήρης Νικολετσέας, καθηγητής 30 / 30

75 5. Παράδειγμα 6 Εστω E(X 1 ) = 75, E(X 2 ) = 75, V ar(x 1 ) = 10, V ar(x 2 ) = 12 και Cov(X 1, X 2 ) = 3. Βρείτε άνω φράγμα για την P r{ X 1 X 2 > 15}. Λύση: Είναι E(X 1 X 2 ) = E(X 1 ) E(X 2 ) = = 0 και V ar(x 1 X 2 ) = V ar[x 1 + ( 1)X 2 ] = = V ar(x 1 ) + V ar[( 1)X 2 ] + i j Cov[X 1, ( 1)X 2 ] = = V ar(x 1 ) + ( 1) 2 V ar(x 2 ) + Cov(X 1, X 2 ) + Cov( X 2, X 1 ) = Σωτήρης Νικολετσέας, καθηγητής 30 / 30

76 5. Παράδειγμα 6 Εστω E(X 1 ) = 75, E(X 2 ) = 75, V ar(x 1 ) = 10, V ar(x 2 ) = 12 και Cov(X 1, X 2 ) = 3. Βρείτε άνω φράγμα για την P r{ X 1 X 2 > 15}. Λύση: Είναι E(X 1 X 2 ) = E(X 1 ) E(X 2 ) = = 0 και V ar(x 1 X 2 ) = V ar[x 1 + ( 1)X 2 ] = = V ar(x 1 ) + V ar[( 1)X 2 ] + i j Cov[X 1, ( 1)X 2 ] = = V ar(x 1 ) + ( 1) 2 V ar(x 2 ) + Cov(X 1, X 2 ) + Cov( X 2, X 1 ) = = V ar(x 1 ) + V ar(x 2 ) + 2Cov(X 1, X 2 ) = Σωτήρης Νικολετσέας, καθηγητής 30 / 30

77 5. Παράδειγμα 6 Εστω E(X 1 ) = 75, E(X 2 ) = 75, V ar(x 1 ) = 10, V ar(x 2 ) = 12 και Cov(X 1, X 2 ) = 3. Βρείτε άνω φράγμα για την P r{ X 1 X 2 > 15}. Λύση: Είναι E(X 1 X 2 ) = E(X 1 ) E(X 2 ) = = 0 και V ar(x 1 X 2 ) = V ar[x 1 + ( 1)X 2 ] = = V ar(x 1 ) + V ar[( 1)X 2 ] + i j Cov[X 1, ( 1)X 2 ] = = V ar(x 1 ) + ( 1) 2 V ar(x 2 ) + Cov(X 1, X 2 ) + Cov( X 2, X 1 ) = = V ar(x 1 ) + V ar(x 2 ) + 2Cov(X 1, X 2 ) = = V ar(x 1 ) + V ar(x 2 ) + 2E(X 1 ( X 2 )) 2E(X 1 )E( X 2 ) = Σωτήρης Νικολετσέας, καθηγητής 30 / 30

78 5. Παράδειγμα 6 Εστω E(X 1 ) = 75, E(X 2 ) = 75, V ar(x 1 ) = 10, V ar(x 2 ) = 12 και Cov(X 1, X 2 ) = 3. Βρείτε άνω φράγμα για την P r{ X 1 X 2 > 15}. Λύση: Είναι E(X 1 X 2 ) = E(X 1 ) E(X 2 ) = = 0 και V ar(x 1 X 2 ) = V ar[x 1 + ( 1)X 2 ] = = V ar(x 1 ) + V ar[( 1)X 2 ] + i j Cov[X 1, ( 1)X 2 ] = = V ar(x 1 ) + ( 1) 2 V ar(x 2 ) + Cov(X 1, X 2 ) + Cov( X 2, X 1 ) = = V ar(x 1 ) + V ar(x 2 ) + 2Cov(X 1, X 2 ) = = V ar(x 1 ) + V ar(x 2 ) + 2E(X 1 ( X 2 )) 2E(X 1 )E( X 2 ) = = V ar(x 1 ) + V ar(x 2 ) 2E(X 1 X 2 ) + 2E(X 1 )E(X 2 ) = Σωτήρης Νικολετσέας, καθηγητής 30 / 30

79 5. Παράδειγμα 6 Εστω E(X 1 ) = 75, E(X 2 ) = 75, V ar(x 1 ) = 10, V ar(x 2 ) = 12 και Cov(X 1, X 2 ) = 3. Βρείτε άνω φράγμα για την P r{ X 1 X 2 > 15}. Λύση: Είναι E(X 1 X 2 ) = E(X 1 ) E(X 2 ) = = 0 και V ar(x 1 X 2 ) = V ar[x 1 + ( 1)X 2 ] = = V ar(x 1 ) + V ar[( 1)X 2 ] + i j Cov[X 1, ( 1)X 2 ] = = V ar(x 1 ) + ( 1) 2 V ar(x 2 ) + Cov(X 1, X 2 ) + Cov( X 2, X 1 ) = = V ar(x 1 ) + V ar(x 2 ) + 2Cov(X 1, X 2 ) = = V ar(x 1 ) + V ar(x 2 ) + 2E(X 1 ( X 2 )) 2E(X 1 )E( X 2 ) = = V ar(x 1 ) + V ar(x 2 ) 2E(X 1 X 2 ) + 2E(X 1 )E(X 2 ) = = V ar(x 1 ) + V ar(x 2 ) 2Cov(X 1, X 2 ) = ( 3) = 28 Άρα Σωτήρης Νικολετσέας, καθηγητής 30 / 30

80 5. Παράδειγμα 6 Εστω E(X 1 ) = 75, E(X 2 ) = 75, V ar(x 1 ) = 10, V ar(x 2 ) = 12 και Cov(X 1, X 2 ) = 3. Βρείτε άνω φράγμα για την P r{ X 1 X 2 > 15}. Λύση: Είναι E(X 1 X 2 ) = E(X 1 ) E(X 2 ) = = 0 και V ar(x 1 X 2 ) = V ar[x 1 + ( 1)X 2 ] = = V ar(x 1 ) + V ar[( 1)X 2 ] + i j Cov[X 1, ( 1)X 2 ] = = V ar(x 1 ) + ( 1) 2 V ar(x 2 ) + Cov(X 1, X 2 ) + Cov( X 2, X 1 ) = = V ar(x 1 ) + V ar(x 2 ) + 2Cov(X 1, X 2 ) = = V ar(x 1 ) + V ar(x 2 ) + 2E(X 1 ( X 2 )) 2E(X 1 )E( X 2 ) = = V ar(x 1 ) + V ar(x 2 ) 2E(X 1 X 2 ) + 2E(X 1 )E(X 2 ) = = V ar(x 1 ) + V ar(x 2 ) 2Cov(X 1, X 2 ) = ( 3) = 28 Άρα P r{ X 1 X 2 > 15} = Σωτήρης Νικολετσέας, καθηγητής 30 / 30

81 5. Παράδειγμα 6 Εστω E(X 1 ) = 75, E(X 2 ) = 75, V ar(x 1 ) = 10, V ar(x 2 ) = 12 και Cov(X 1, X 2 ) = 3. Βρείτε άνω φράγμα για την P r{ X 1 X 2 > 15}. Λύση: Είναι E(X 1 X 2 ) = E(X 1 ) E(X 2 ) = = 0 και V ar(x 1 X 2 ) = V ar[x 1 + ( 1)X 2 ] = = V ar(x 1 ) + V ar[( 1)X 2 ] + i j Cov[X 1, ( 1)X 2 ] = = V ar(x 1 ) + ( 1) 2 V ar(x 2 ) + Cov(X 1, X 2 ) + Cov( X 2, X 1 ) = = V ar(x 1 ) + V ar(x 2 ) + 2Cov(X 1, X 2 ) = = V ar(x 1 ) + V ar(x 2 ) + 2E(X 1 ( X 2 )) 2E(X 1 )E( X 2 ) = = V ar(x 1 ) + V ar(x 2 ) 2E(X 1 X 2 ) + 2E(X 1 )E(X 2 ) = = V ar(x 1 ) + V ar(x 2 ) 2Cov(X 1, X 2 ) = ( 3) = 28 Άρα P r{ X 1 X 2 > 15} = P r{ X 1 X 2 0 > 15} Σωτήρης Νικολετσέας, καθηγητής 30 / 30

82 5. Παράδειγμα 6 Εστω E(X 1 ) = 75, E(X 2 ) = 75, V ar(x 1 ) = 10, V ar(x 2 ) = 12 και Cov(X 1, X 2 ) = 3. Βρείτε άνω φράγμα για την P r{ X 1 X 2 > 15}. Λύση: Είναι E(X 1 X 2 ) = E(X 1 ) E(X 2 ) = = 0 και V ar(x 1 X 2 ) = V ar[x 1 + ( 1)X 2 ] = = V ar(x 1 ) + V ar[( 1)X 2 ] + i j Cov[X 1, ( 1)X 2 ] = = V ar(x 1 ) + ( 1) 2 V ar(x 2 ) + Cov(X 1, X 2 ) + Cov( X 2, X 1 ) = = V ar(x 1 ) + V ar(x 2 ) + 2Cov(X 1, X 2 ) = = V ar(x 1 ) + V ar(x 2 ) + 2E(X 1 ( X 2 )) 2E(X 1 )E( X 2 ) = = V ar(x 1 ) + V ar(x 2 ) 2E(X 1 X 2 ) + 2E(X 1 )E(X 2 ) = = V ar(x 1 ) + V ar(x 2 ) 2Cov(X 1, X 2 ) = ( 3) = 28 Άρα P r{ X 1 X 2 > 15} = P r{ X 1 X 2 0 > 15} V ar(x 1 X 2 ) = Σωτήρης Νικολετσέας, καθηγητής 30 / 30