Περίληψη ϐασικών εννοιών στην ϑεωρία πιθανοτήτων 6 Απριλίου 2009 1 Συνδυαστική Η ϐασική αρχή µέτρησης µας λέει ότι αν σε ένα πείραµα που γίνεται σε δύο ϕάσεις και στο οποίο υπάρχουν n δυνατά αποτελέσµατα της ϕάσης 1, και για το κάθε ένα από αυτά τα n αποτέλεσµατα υπάρχουν m δυνατά αποτελέσµατα στην ϕάση 2, τότε υπάρχουν mn δυνατά αποτελέσµατα στο συνολικό πείραµα. Αν πρόκειται να εκτελεστούν r πειράµατα τα οποία εκτελούνται έτσι ώστε από το πρώτο πείραµα µπορούν να προκύψουν n 1 πιθανά αποτελέσµατα και αν για κάθε ένα από τα n 1 πιθανά αποτελέσµατα του πρώτου πειράµατος υπάρχουν n 2 πιθανά αποτελέσµατα του δεύτε- ϱου πειράµατος και αν για κάθε ένα από τα πιθανά αποτελέσµατα των δύο πρώτων πειραµάτων υπάρχουν n 3 πιθανά αποτελέσµατα για το τρίτο και αν..., τότε συνολικά υπάρχουν n 1 n 2 n r πιθανά αποτελέσµατα. Υπάρχουν n! = n(n 1) 3 2 1 δυνατές (γραµµικές) διατάξεις n διακριτών αντικειµένων. Η ποσότητα 0! ορίζεται να είναι ίση µε 1. Εστω ( ) n = i n! (n i)! i! Το αρχείο ενηµερώνεται περιοδικά 1
όπου 0 i n, και ϑέτουµε την ποσότητα αυτή να είναι µε 0 σε κάθε άλλη περίπτωση. Αυτή η ποσότητα παριστάνει τον αριθµό των διαφορετικών υποσυνόλων µε i στοιχεία που µπορούµε να διαλέξουµε από ένα σύνολο µε n στοιχεία. Η ποσότητα αυτή καλείται συνήθως και ένας διωνυµικός συντελεστής λόγω του σηµαντικού ϱόλου που παίζει στο διωνυµικό ϑεώρηµα, το οποίο µας λέει ότι: (x + y) n = n i=0 ( ) n x i y n i i Αν n 1,...,n r είναι µη αρνητικοί ακέραιοι µε άθροισµα ίσο µε n, η ποσότητα ( ) n = n 1, n 2,...,n r n! n 1!n 2! n r! είναι ο αριθµός όλων των διαιρέσεων n διακριυών αντικειµένων σε r διακριτές οµάδες που δεν έχουν κοινό στοιχείο και πλήθη στοιχείων n 1, n 2,..., n r, αντίστοιχα. (x 1 + x 2 + + x r ) n = (n 1,..., n r ) : n 1 + + n r = n ( n n 1, n 2,...,n r ) x n 1 1 xn 2 2 xnr r 2 Χώρος Πιθανότητας Εστω Ω να συµβολίζει το σύνολο όλων των αποτελεσµάτων ενός πειράµατος. Το σύνολο Ω ονοµάζεται δειγµατοχώρος του πειράµατος. Ενα ενδεχόµενο είναι ένα υποσύνολο του Ω. Για κάθε ενδεχόµενο A, ορίζουµε A c να αποτελείται από εκείνα τα αποτελέσµατα του δειγµατοχώρου που δεν ανήκουν στο A. Ονοµάζουµε το A c, το συµπλήρωµα του ενδεχοµένου A. Το ενδεχόµενο Ω c, που δεν έχει κανένα αποτέλεσµα, συµβολίζεται µε Ø και ονοµάζεται αδύνατο ενδεχόµενο. Αν A B = Ø, τότε λέµε ότι τα A, B είναι ασυµβίβαστα κατά Ϲεύγη. 2
Το σύνολο των ενδεχοµένων συµβολίζεται µε A και είναι µια σ-άλγεβρα δηλαδή έχει τις παρακάτω ιδιότητες : 1. Ω A 2. Αν τα A i, i = 1, 2, 3,... είναι στοιχεία του A τότε και τα i=1 A i, i=1 A i είναι στοιχεία του A. 3. Αν το A είναι στοιχείο του A τότε και το A είναι στοιχείο του A. Ενας χώρος πιθανότητας είναι µια τριάδα (Ω, A, P, όπου το Ω ιναι ένας δειγµατοχώρος, το A µια σ-άλγεβρα υποσυνόλων του Ω, και P µια συνάρτηση από το A η οποία παίρνει τιµές στο διάστηµα [0, 1] ώστε να ικανοποιούνται τα εξής : (i) 0 P(A) 1 (ii) P(Ω) = 1 (iii) Για ασυµβίβαστα κατά Ϲεύγη ενδεχόµενα A i, i 1, ( ) P A i = i=1 P(A i ). i=1 Μπορεί να αποδειχτεί ότι 1. P(A c ) = 1 P(A). 2. P(A B) = P(A) + P(B) P(A B), 3. P ( n i=1 A i) = n i=1 P(A i) i<j P(A i A j )+ i<j<k P(A i A j A k ) + + ( 1) n+1 P( n i A i) 3 εσµευµένη Πιθανότητα Για δύο ενδεχόµενα E και F η δεσµευµένη πιθανότητα του E, δεδοµένου ότι το F έχει πραγµατοποιηθεί, συµβολίζεται µε P(E F) και ορίζεται ως P(E F) = P(E F). P(F) Η ταυτότητα 3
( n ) P E i = P(E 1 )P(E 2 E 1 ) P(E n E 1 E n 1 ) i=1 είναι γνωστή σαν πολλαπλασιαστικό ϑεώρηµα. Μια χρήσιµη ταυτότητα είναι η ακόλουθη P(E) = P(E F)P(F) + P(E F c )P(F c ). Χρησιµοποιείται για να υπολογίσουµε την P(E), «δεσµεύοντας» µε το αν ϑα πραγµατοποιηθεί ή όχι το ενδεχόµενο F. Η P(H)/P(H c ), ονοµάζεται λόγος πιθανοτήτων του ενδεχοµένου H. ταυτότητα Η P(H E) P(H c E) = P(H) P(E H) P(H c )P(E H c ), δείχνει ότι όταν έχουµε κάποια καινούρια πληροφορία E, η νέα τιµή του λόγου πιθανοτήτων του H, ισούται µε την παλιά τιµή, πολλαπλασιασµένη µε τον λόγο της δεσµευµένης πιθανότητας του καινούριου στοιχείου E, όταν το H πραγµατοποιείται, προς την δεσµευµένη πιθανότητα του E όταν το H δεν πραγµατοποιείται. Αν F i, i = 1,..., n, είναι αυµβίβαστα ενδεχόµενα που η ένωσή τους είναι ολόκληρος ο δειγµατοχώρος, η ταυτότητα P(F j E) = P(E F j)p(f j ), n P(E F i )P(F i ) i=1 είναι γνωστή σαν εξίσωση του Bayes. Αν τα ενδεχόµενα (ή ισοδύναµα οι υποθέσεις µας) F i, i = 1,..., n, πληρούν τις παραπάνω συνθήκες, τότε η εξίσωση του Bayes µας δείχνει πως µπορούµε να υπολογίσουµε τις δεσµευ- µένες πιθανότητες αυτών των υποθέσεων όταν έχουµε κάποια επιπρόσθετη πληροφορία E. 4
Αν P(E F) = P(E)P(F), τότε ονοµάζουµε τα ενδεχόµενα E και F ανεξάρτητα. Αυτή η συνθήκη είναι ισοδύναµη µε την P(E F) = P(E) και µε την P(F E) = P(F). Ετσι τα E και F είναι ανεξάρτητα εαν η πληροφορία για την πραγµατοποίηση κάποιου από αυτά δεν επιρεάζει την πιθανότητα του άλλου. Τα ενδεχόµενα E 1,...,E n ονοµάζονται ανεξάρτητα, αν για κάθε υποσύνολο E i1,...,e ir από αυτά ισχύει ότι P(E i1 E ir ) = P(E i1 ) P(E ir ). 4 ιακριτές τυχαίες µεταβλητές Αν (Ω, A, P) είναι ένας χώρος πιθανότητας µια τυχαία µεταβλητή είναι µια συνάρτηση X : Ω R τέτοια ώστε τα σύνολα είναι στοιχεία του A (ενδεχόµενα) [X a] = {ω Ω : X(ω) a} Αν η X είναι µια τυχαία µεταβλητή, τότε η συνάρτηση F(x), η οποία ορίζεται από την σχέση F(x) = P {X x} ονοµάζεται συνάρτηση κατανοµής της X. Ολες οι πιθανότητες που αφορούν την X µπορούν να εκφραστούν µέσω της F. Μια τυχαία µεταβλητή σε ένα διακριτό (πεπερασµένο ή αριθµήσιµο ) χώρο Ω οπότε και της οποίας το σύνολο των τιµών της είναι είτε πεπερασµένο ή αριθµήσιµα άπειρο ονοµάζεται διακριτή. Αν η X είναι µια διακριτή τυχαία µεταβλητή, τότε η συνάρτηση p(x) = P {X = x} ονοµάζεται η συνάρτηση µάζας πιθανότητας ή συνάρτηση πυκνότητας της X. Η ποσότητα E[X], οριζόµενη από την σχέση E[X] = x:p(x)>0 xp(x) 5
ονοµάζεται η µέση τιµή της X. Η E[X] επίσης ονοµάζεται συχνά σαν η αναµενόµενη τιµή ή ο µέσος ή ελπίδα της X. Μια χρήσιµη ταυτότητα είναι η παρακάτω: Για κάθε συνάρτηση g, E[g(X)] = g(x)p(x) x:p(x)>0 Η διασπορά µιας τυχαίας µεταβλητής X, η οποία συµβολίζεται µε Var(X), ορίζεται σαν Var(X) = E[(X E[X]) 2 ] Η διασπορά, η οποία είναι ισούται µε την µέση τιµή της διαφοράς της X την µέση της τιµή, αποτελεί ένα µέτρο του πόσο αποµακρύνονται (διασπεί- ϱονται) οι τιµές της X από την µέση τιµή. Μια χρήσιµη ταυτότητα είναι Var(X) = E[X 2 ] (E[X]) 2 Η ποσότητα Var(X) λέγεται η τυπική διασπορά της X. Η τυχαία µεταβλητή X της οποίας η συνάρτηση µάζας πιθανότητας δίνεται από την p(i) = ( ) n p i (1 p) n i i i = 0,...,n ονοµάζεται µια διωνυµική τυχαία µεταβλητή µε παραµέτρους n και p. Μια διωνυµική τυχαία µεταβλητή µπορεί να ερµηνευτεί σαν ο αριθµός των επιτυχιών που λαµβάνονται όταν εκτελεστούν n ανεξάρτητες δοκιµές, όπου σε κάθε δοκιµή η πιθανότητα να συµβεί επιτυχία έχει πιθανότητα p. Η µέση τιµή και η διασπορά µιας τέτοιας µεταβλητής είναι 6
E[X] = np Var(X) = np(1 p) Η τυχαία µεταβλητή X της οποίας η συνάρτηση µάζας πιθανότητας δίνεται από την p(i) = e λ λ i i! i 0 ή λέγεται µία Poisson τυχαία µεταβλητή µε παράµετρο λ. Αν ένας µεγάλος αριθµός από (προσεγγιστικά) ανεξάρτητες δοκιµές εκτελεστεί, η κάθε µία από τις οποίες έχει µικρή πιθανότητα επιτυχίας, τότε ο αριθµός των επιτυχιών που ϑα συµβούν έχει µια κατανοµή η οποία είναι προσεγγιστικά αυτή µιας Poisson τυχαία µεταβλητή. Η µέση τιµή και η διασπορά µιας Poisson τυχαίας µεταβλητής είναι και οι δύο ίση µε την παράµετρο της λ. ηλαδή, E[X] = Var(X) = λ Η τυχαία µεταβλητή X της οποίας η συνάρτηση µάζας πιθανότητας δίνεται από την p(i) = p(1 p) i 1 i = 1, 2,... λέγεται µια γεωµετρική τυχαία µεταβλητή µε παράµετρο p. Μια τέτοια τυχαία µεταβλητή αντιπροσωπεύει τον αριθµό των δοκιµών που εκτελούνται µέχρι να εµφανιστεί για πρώτη ϕορά επιτυχία, όταν η πιθανότητα επιτυχίας σε µια δοκιµή είναι p. Η µέση τιµή και η διασπορά µιας τέτοιας µεταβλητής δίνεται από τις σχέσεις E[X] = 1 p Var(X) = 1 p p 2 7
Η τυχαία µεταβλητή X της οποίας η συνάρτηση µάζας πιθανότητας δίνεται από την p(i) = ( ) i 1 p r (1 p) i r r 1 i r ονοµάζεται µια αρνητική διωνυµική τυχαία µεταβλητή µε παραµέτρους r και p. Μια τέτοια τυχαία µεταβλητή παριστάνει τον αριθµό των ανεξάρτητων δοκιµών ώστε να προκύψουν r επιτυχίες όταν η πιθανότητα µιας επιτυχίας είναι p. Η µέση τιµή και η διασπορά µιας τέτοιας µεταβλητής είναι E[X] = r p Var(X) = r(1 p) p 2 Μια υπεργεωµετρική τυχαία µεταβλητή µε παραµέτρους n, N, m παριστάνει τον αριθµό των λευκών µπαλών που συλλέγονται όταν διαλέξουµε τυχαία n µπάλες από ένα δοχείο µε N µπάλες, από τις οποίες οι m είναι λευκές. Η συνάρτηση µάζας πιθανότητας δίνεται από p(i) = ( ) ( ) m N m i n i ( ) i = 0,..., m N n Αν ϑέσουµε p = m/n, η µέση τιµή και η διασπορά είναι E[X] = np Var(X) = N n np(1 p) N 1 8
5 Συνεχείς Τυχαίες Ματαβλητές Μια τυχαία µεταβλητή X ονοµάζεται συνεχής αν υπάρχει µια πραγµατική συνάρτηση που παίρνει µη αρνητικές τιµές f X, ή απλά f που λέγεται συνάρτηση πυκνότητας πιθανότητας της X, τέτοια ώστε για κάθε (Borel) υποσύνολο των πραγµατικών αριθµών B P {X B} = B f(x) dx Αν η X είναι µια συνεχής τυχαία µεταβλητή τότε η συνάρτηση κατανοµής της F ϑα είναι µια παραγωγίσιµη συνάρτηση και κάθε (Borel) υποσύνολο των πραγµατικών αριθµών B d F(x) = f(x) dx Η µέση τιµή µιας συνεχούς τυχαίας µεταβλητής X ορίζεται να είναι ίση µε E[X] = xf(x) dx Για κάθε συνάρτηση g, E[g(X)] = g(x)f(x) dx Οπως ακριβώς στην περίπτωση των διακριτών τυχαίων µεταβλητών η διασπορά της X ορίζεται σαν Var(X) = E[(X E[X]) 2 ] Μια τυχαία µεταβλητή X ϑα λέγεται οµοιόµορφη στο διάστηµα (a, b) αν η συνάρτηση πυκνότητας πιθανότητας της είναι η 9
f(x) = 1 a x b b a 0 σε κάθε άλλο x. Η µέση τιµή και η διασπορά µιας οµοιόµορφης τυχαίας µεταβλητής δίνεται από τον τύπο: E[X] = a + b 2 Var(X) = (b a)2 12 Οι παρακάτω ταυτότητες είναι χρήσιµες E[aX + b] = ae[x] + b Var(aX + b) = a 2 Var(X) Var(X) = E[X 2 ] (E[X]) 2 Μια τυχαία µεταβλητή X ϑα λέγεται κανονική µε παραµέτρους µ και σ 2 αν η συνάρτηση πυκνότητας πιθανότητας της είναι η f(x) = 1 2πσ e (x µ)2 /2σ 2 < x < Ισχύει µ = E[X] σ 2 = Var(X) Αν η X είναι κανονική µε µέσο µ και διασπορά σ 2, τότε η Z, που ορίζεται από την 10
Z = X µ σ είναι µια κανονική µεταβλητή µε µέσο 0 και διασπορά 1. Η κανονική τυχαία µεταβλητή µε µέσο 0 και διασπορά 1 λέγεται µια τυπική τυχαία µεταβλητή και οι τιµές της συνάρτησης κατανοµής Φ(x) της δίνονται από τον πίνακα που επισυνάπτεται στο τέλος. Η συνάρτηση κατανοµής της διακριτής διωνυµικής κατανοµής προσεγγί- Ϲεται της οποίας οι παράµετροι είναι n και p, όταν το n είναι µεγάλο από αυτήν της κανονικής κατανοµής µε µέσο np και διασπορά σ 2 = np(1 p). Θεώρηµα: [Το οριακό ϑεώρηµα των DeMoivre Laplace.] Αν µε S n συµβολίσουµε τον αριθµό των εοπιτυχιών που συµβαίνουν αν εκτελεστούν n ανεξάρτητες δοκιµές στην κάθε µία από αυτές η πιθανότητα επιτυχίας είναι ίση µε p, τότε για οποιαδήποτε a < b, { } P a S n np b Φ(b) Φ(a) np(1 p) καθώς το n. Μια τυχαία µεταβλητή ϑα λέγεται εκθετική µε παράµετρο λ αν η συνάρτηση πυκνότητας πιθανότητας της δίνεται από την: f(x) = { λe λx x 0 0 σε κάθε άλλη περίπτωση Η µέση τιµή κει διασπορά της είναι E[X] = 1 λ Var(X) = 1 λ 2 Μια ϐασική ιδιότητα των εκθετικών τυχαίων µεταβλητών είναι ότι «δεν έχουν µνήµη» µε την έννοια ότι για ϑετικά s και t, 11
P {X > s + t X > t} = P {X > s} 12
Πίνακα τιµών της κατανοµής της τυπικής κανονικής µεταβλητής..0.5000.5040.5080.5120.5160.5199.5239.5279.5319.5359.1.5398.5438.5478.5517.5557.5596.5636.5675.5714.5753.2.5793.5832.5871.5910.5948.5987.6026.6064.6103.6141.3.6179.6217.6255.6293.6331.6368.6406.6443.6480.6517.4.6554.6591.6628.6664.6700.6736.6772.6808.6844.6879.5.6915.6950.6985.7019.7054.7088.7123.7157.7190.7224.6.7257.7291.7324.7357.7389.7422.7454.7486.7517.7549.7.7580.7611.7642.7673.7704.7734.7764.7794.7823.7852.8.7881.7910.7939.7967.7995.8023.8051.8078.8106.8133.9.8159.8186.8212.8238.8264.8289.8315.8340.8365.8389 1.0.8413.8438.8461.8485.8508.8531.8554.8577.8599.8621 1.1.8643.8665.8686.8708.8729.8749.8770.8790.8810.8830 1.2.8849.8869.8888.8907.8925.8944.8962.8980.8997.9015 1.3.9032.9049.9066.9082.9099.9115.9131.9147.9162.9177 1.4.9192.9207.9222.9236.9251.9265.9279.9292.9306.9319 1.5.9332.9345.9357.9370.9382.9394.9406.9418.9429.9441 1.6.9452.9463.9474.9484.9495.9505.9515.9525.9535.9545 1.7.9554.9564.9573.9582.9591.9599.9608.9616.9625.9633 1.8.9641.9649.9656.9664.9671.9678.9686.9693.9699.9706 1.9.9713.9719.9726.9732.9738.9744.9750.9756.9761.9767 2.0.9772.9778.9783.9788.9793.9798.9803.9808.9812.9817 2.1.9821.9826.9830.9834.9838.9842.9846.9850.9854.9857 2.2.9861.9864.9868.9871.9875.9878.9881.9884.9887.9890 2.3.9893.9896.9898.9901.9904.9906.9909.9911.9913.9916 2.4.9918.9920.9922.9925.9927.9929.9931.9932.9934.9936 2.5.9938.9940.9941.9943.9945.9946.9948.9949.9951.9952 2.6.9953.9955.9956.9957.9959.9960.9961.9962.9963.9964 2.7.9965.9966.9967.9968.9969.9970.9971.9972.9973.9974 2.8.9974.9975.9976.9977.9977.9978.9979.9979.9980.9981 2.9.9981.9982.9982.9983.9984.9984.9985.9985.9986.9986 3.0.9987.9987.9987.9988.9988.9989.9989.9989.9990.9990 3.1.9990.9991.9991.9991.9992.9992.9992.9992.9993.9993 3.2.9993.9993.9994.9994.9994.9994.9994.9995.9995.9995 3.3.9995.9995.9995.9996.9996.9996.9996.9996.9996.9997 3.4.9997.9997.9997.9997.9997.9997.9997.9997.9997.9998 13