Poglavlje 8 Cetrali graiči teorem i zakoi velikih brojeva 8.1 Cetrali graiči teorem Lema 8.1 Za 1/ x 1 vrijedi Dokaz: Stavimo log1 + x x x. fx := log1 + x x, x [ 1/, 1]. Očito f0 = 0. Nadalje, po teoremu sredje vrijedosti za svaki x [0, 1] svaki x [ 1/, 0] postoji θ [0, x] θ [x, 0] takav da Kako je fx = fx f0 = f θx. f θ = θ, θ [ 1/, 1], θ + 1 zaključujemo da je f epozitiva te f eopadajuća a [0, 1] i erastuća a [ 1/, 0]. Sada za x [0, 1] imamo fx = f θ x max θ [0,x] f θ x = x x + 1 x, 139
8. Cetrali graiči teorem i zakoi velikih brojeva 140 dok je za x [ 1/, 0], fx = f θ x max θ [x,0]] f θ x = x x + 1 x. Lema 8. Neka je a R te eka je {a } N iz realih brojeva takav da lim a = 0. Tada vrijedi 1 + a + a = e a. lim Dokaz: Pokazujemo da lim log 1 + a + a = a. Budući je lim a = 0, postoji 0 N takav da je 1/4 < a < 1/4 i 1/4 < a/ < 1/4 za sve 0. Slijedi da je 1/ < a/ + a < 1/ za sve 0. Po Lemi 8.1, uz x = a/ + a, za sve 0 imamo log 1 + a + a a a + a + a, tj. Zato je Dakle, log 1 + a + a 0 lim sup lim sup lim sup = lim sup = 0. a a + a + a. log 1 + a + a a log 1 + a + a a + a + lim sup a a + a a + aa + a lim log 1 + a + a = a.
8. Cetrali graiči teorem i zakoi velikih brojeva 141 Teorem 8.3 Cetrali graiči teorem Neka je {X } N iz ezavisih jedako distribuiraih slučajih varijabli sa zajedičkim očekivajem µ i zajedičkom varijacom σ. Za N, defiirajmo S := X 1 + + X. Tada za sve x R vrijedi lim P S µ σ x = Φx. Drugim riječima, iz {S µ/σ } N kovergira po distribuciji ka N0, 1. Dokaz: Za N defiirajmo Y := X µ. Dakle, S µ σ = 1 σ Y i. Dokaz teorema ćemo provesti uz pretpostavku da je fukcija izvodica momeata Mt = Ee ty 1 dobro defiiraa tj. koača za t < δ, za eki δ > 0. Uočite da je ta pretpostavka ekvivaleta pretpostavci da je a δ, δ dobro defiiraa fukcija izvodica momeata slučaje varijable X 1. Budući da su slučaje varijable {Y } N jedako distribuirae, vrijedi da je Mt = Ee ty za sve N. Nadalje, eka su {M } N fukcije izvodice momeata od {S µ/σ } N. Sada, po Teoremu 7.14, za t < δσ imamo M t = E e t S µ σ = E e t σ i=1 Y i = E e t σ Y i t = M σ. Budući da je za t < δσ vrijedi M Stavimo sada t σ = i=1 i=1 EY 1 = 0 i EY 1 = VarY 1 = σ, k=0 a t := k 1 t k! σ EY1 k = 1 + t + t k EY1 k k!σ k. k/ k=3 k=3 t k EY k 1 k!σ k k/ 3/, t < δσ.
8. Cetrali graiči teorem i zakoi velikih brojeva 14 Dakle, Budući da je M t = M t σ = 1 + t + a t. 3/ lim a t = 0, t < δ, 3/ po Lemi 8. zaključujemo lim M t = e t, t < δ, što po Teoremu 7.17 dokazuje tvrdju. Kao izravu posljedicu Teorema 8.3 imamo tzv. de Moivre-Laplaceov teorem aproksimacija biome slučaje varijable ormalom. Za N eka je X B, p, 0 < p < 1. Vrijedi EX = p, VarX = pq i σx = pq. Nadalje, defiirajmo Y := X EX σx = X p pq, N. Teorem 8.4 de Moivre-Laplaceov teorem Za svaki x R imamo lim PY x = Φx. Dokaz: Neka je {Z } N iz ezavisih Beroullijevih slučajih varijabli s parametrom p 0, 1. Tada je X d = Z 1 + + Z pa tvrdja slijedi izravo iz Teorema 8.3. Primjer 8.5 Neka su a, b R, a < b. Želimo približo odrediti Pa < X b, gdje je X B, p za N velik i 0 < p < 1. Zamo da je toča vrijedost Pa < X b = p k q k. k a<k b
8. Cetrali graiči teorem i zakoi velikih brojeva 143 Odredimo približu vrijedost primjeom de Moivre-Laplaceovog teorema. Imamo, a p Pa < X b = P < X p b p pq pq pq a p = P < Y b p pq pq = P Y b p P Y a p pq pq b p a p Φ Φ. pq pq 8. Zakoi velikih brojeva Defiicija 8.6 Za iz slučajih vrijabli {X } N kažemo da kovergira po vjerojatosti slučajoj varijabli X ako za svako ε > 0 vrijedi lim P X X > ε = 0. Ozaka je X P X. Niz slučajih vrijabli {X } N kovergira gotovo siguro slučajoj varijabli X ako Ozaka je X X. P lim X = X = 1. Teorem 8.7 Slabi zako velikih brojeva Neka je {X } N iz ezavisih slučajih varijabli takvih da je EX = µ i VarX = σ za svaki N. Tada X 1 + + X P µ. Dokaz: Za N stavimo S := X 1 + + X. Vrijedi ES = µ i, zbog ezavisosti, VarS = σ. Sada, primjeom Čebiševljeve ejedakosti, imamo S P µ > ε VarS / = VarS = σ ε ε ε, što teži u 0 kada teži u.
8. Cetrali graiči teorem i zakoi velikih brojeva 144 Napomea 8.8 Tvrdja gorjeg teorema vrijedi i uz sljedeću pretpostavku: eka je {X } N iz ezavisih jedako distribuiraih slučajih varijabli sa koačim zajedičkim očekivajem EX = µ. Tada S / P µ. Taj rezultat pozat je pod imeom Hičiov slabi zako velikih brojeva. Lema 8.9 Neka je X slučaja varijabla takva da je E X m < za eki m N. Tada je E X < za sve m, N. Dokaz: Uočimo prvo da je E1 X >1 X m E X m <. Slijedi da je za m, E X = E1 X 1 X + E1 X >1 X 1 + E1 X >1 X m <. Teorem 8.10 Jaki zako velikih brojeva Neka je {X } N iz ezavisih jedako distribuiraih slučajih vrijabli takvih da je EX = µ. Tada X 1 + + X µ. Dokaz: Dokaz provodimo samo za slučaj kada je EX1 4 = K <. Pretpostavimo prvo da je µ = 0. Za N stavimo S := X 1 + + X. Račuamo ES 4 = EX 1 + + X X 1 + + X X 1 + + X X 1 + + X. Kada razvjemo desu strau dobit ćemo člaove sljedećeg tipa: X 4 i, X 3 i X j, X i X j, X i X j X k i X i X j X k X l. Zbog ezavisosti imamo EX 3 i X j = EX 3 i EX j = 0 EX i X j X k = EX i EX j EX k = 0 EX i X j X k X l = EX i EX j EX k EX l = 0. Nadalje, za dai i imat ćemo 4 4 = 1 člaova oblika X 4 i te za dai par i j imat ćemo 4 = 6 člaova oblika X i Xj. Dakle, ES 4 = EXi 4 + 6 EXi Xj = K + 6 EXi EXj = K + 6 EX 1.
8. Cetrali graiči teorem i zakoi velikih brojeva 145 Iz zaključujemo da je Dakle, tj. =1 0 VarX 1 = EX 4 1 EX 1 E Sada zaključujemo S 4 E = 4 Specijalo, imamo iz čega zaključujemo da je P lim EX 1 K. ES 4 K + 3 1K, S 4 K 4 + 3K 3, N. S 4 E 4 =1 P =1 S 4 4 = 0 S 4 4 < =1 K + 3K <. 3 = 1, S = P lim = 0 = 1. Neka je sada µ R. Za N stavimo Y := X µ. Tada je {Y } N iz ezavisih jedako distribuiraih slučajih varijabli takav da EY = 0. Primjeom gorjeg dokaza zaključujemo P lim X 1 + + X X 1 µ + + X µ = µ = P lim Y 1 + + Y = P lim = 0 = 1. = 0
8. Cetrali graiči teorem i zakoi velikih brojeva 146 8.3 Kovergecije u vjerojatosti U ovom odjeljku diskutiramo vrste kovergecije slučajih varijabli i jihov odos. U sljedećem teoremu opravdavamo azive jaki i slabi zako velikih brojeva. Teorem 8.11 Kovergecija gotovo siguro povlači kovergeciju po vjerojatosti. Dokaz: Neka iz slučajih varijabli {X } N kovergira gotovo siguro prema slučajoj varijabli X, koje su defiirae a vjerojatosom prostoru Ω, F, P. Fiksirajmo ε > 0 i, za N, defiirajmo A ε := { X X > ε}. Očito, A ε F za N. Nadalje, za N stavimo B ε := k A k ε i Bε := lim sup B ε = N B ε. Sada, budući da X X, zaključujemo da PBε = 0 za svaki ε > 0. Specijalo, zbog eprekidosti vjerojatosti s obzirom a erastuće izove događaja, imamo lim PB ε = 0 za svaki ε > 0. Međutim, kako je A ε B ε za N, imamo lim PA ε = 0 za svaki ε > 0, tj. X P X. Napomeimo da općeito kovergecija gotovo siguro i po vjerojatosti isu ekvivalete. Naime, eka je {X } 1 iz ezavisih slučajih varijabli a vjerojatosom prostoru Ω, F, P. Pretpostavimo, adalje, da je X 0 1, N, 1 1/ 1/ Uzmimo proizvolja ε > 0. Imamo, P X > ε = PX > ε, X = 1 = 1, ε 1 0, ε > 1, što pokazuje da X P 0. Kada bi iz {X } N kovergirao gotovo siguro, tada bi zbog Teorema 8.11 kovergirao g.s prema uli. Pokažimo da je to emoguće. Za N stavimo A := {X > 1/}. Tada imamo PA = =1 =1 1 =.
8. Cetrali graiči teorem i zakoi velikih brojeva 147 Sada Lema.15 implicira da P lim sup A = 1, tj. X > 1/ za beskoačo mogo N a događaju vjerojatosti 1. To pokazuje da {X } N e kovergira prema 0 gotovo siguro, Također, apomeimo da je kovergecija po distribuciji ajslabija od tri kovergecije koje smo spomeuli u ovom kolegiju. Teorem 8.1 Kovergecija po vjerojatosti povlači kovergeciju po distribuciji. Dokaz: Neka iz slučajih varijabli {X } N kovergira po vjerojatosti prema slučajoj varijabli X, koje su defiirae a vjerojatosom prostoru Ω, F, P. Ozačimo s {F } N i F, redom, fukcije distribucije od {X } N i X. Neka je x C F. Tada, za svaki N i ε > 0 vrijedi F x = PX x = PX x, X x + ε + PX x, X > x + ε PX x + ε + PX X > ε PX x + ε + P X X > ε. Dakle, S druge strae, lim sup F x F x + ε. F x ε = PX x ε = PX x ε, X x + PX x ε, X > x PX x + PX X > ε PX x + P X X > ε. Sada imamo, Koačo, kako je F x ε lim if F x. F x ε lim if F x lim sup F x F x + ε,
8. Cetrali graiči teorem i zakoi velikih brojeva 148 puštajući ε u 0 i uzimajući u obzir da je F eprekida u x slijedi tvrdja. Kao i u slučaju kovergecija gotovo siguro i po vjerojatosti, kovergecije po vjerojatosti i po distribuciji isu ekvivalete. Neka je X 0 1 1/ 1/ te eka je X = X za N. Nadalje, stavimo Y = 1 X. Očito {X } N kovergira po distribuciji ka Y. S druge strae za N i 0 < ε < 1 imamo P X Y > ε = P X 1 > ε = 1. Teorem 8.13 Neka iz slučajih varijabli {X } N, defiiraih a vjerojatosom prostoru Ω, F, P, kovergira po distribuciji ka c R. Tada, X P c. Dokaz: Ozačimo s {F } N i F, redom, fukcije distribucije od {X } N i c. Neka je ε > 0 proizvolja. Za N imamo P X c > ε = PX > c + ε + PX < c ε 1 P X c + ε + P X c ε = 1 F c + ε + F c ε. Sada, kako su c + ε i c ε/ točke eprekidosti od F i lim F c + ε = F c + ε = 1 te lim F c ε/ = F c ε/ = 0 slijedi tvrdja. Koačo, kometirajmo vezu zakoa velikih brojeva i cetralog graičog teorema. Neka je {X } N iz ezavisih i jedako distribuiraih slučajih varijabli sa zajedičkim očekivajem µ R i varijacom σ > 0. Za N stavimo S := X 1 + + X. Tada, po Teoremu 8.10, imamo S µ 0. Želimo bolje razumijeti asimptotsko poašaje iza {S µ} N, tj. želimo odrediti iz {a } N 0, za koji iz {S µ/a } N kovergira ka
8. Cetrali graiči teorem i zakoi velikih brojeva 149 ečemu što ije 0 ili ±. Takozvai Marcikiewicz Zygmudov jaki zako velikih brojeva kaže da u daoj situaciji za svaki α 0, vrijedi S µ 1/α 0. Također, takozvai zako poovljeog logaritma kaže da P S µ S σ = lim if µ lim sup = σ log log log log Iz gorjih rezultata zaključujemo dvije stvari: = 1. i ako uzmemo iz {a } N takav da lim a / log log =, oda S µ/a 0. S druge strae, ako je lim a / log log = 0, oda S µ S µ P = lim if lim sup = = 1. a a To sugerira da kovergecija gotovo siguro ije priklada za karakteriziraje asimptotskog poašaja iza {S µ} N. Također, takozvai Lévyev teorem o kovergeciji redova slučajih varijabli koji kaže da red ezavisih slučajih varijabli kovergira gotovo siguro ako, i samo ako, kovergira po vjerojatosti sugerira da iti kovergecija po vjerojatosti ije priklada tip kovergecije u promatraom problemu. ii dobar izbor iza bi mogao biti a =, N. Ituitivo, VarS µ = σ, N. Dakle, dijeljejem S µ s imamo VarS µ/ = σ, N, što zači da dijeljejem s možemo očekivati eku relevatu iformaciju. Na osovu gorje diskusije kao priklada kovergecija ameće se kovergecija po distribuciji ajslabija od spomeute tri kovergecije i kao priklada iz ameće se a =, N, što i potvrđuje cetrali graiči teorem Teorem 8.3.