generator slučajnih brojeva

Transcript

1 Domaći zadatak broj iz predmeta Performanse računarskih sistema student: Milanović Nikola broj indeksa: 0/95 ) Generisanje pseudoslučajnih brojeva Uvod pseudoslučajni brojevi funkcije raspodele i gustine verovatnoće matematičko očekivanje i varijansa diskretne slučajne promenljive problemi pri projektovanju primena Objasnimo najpre naslov prvog dela domaćeg zadatka. Naime, zašto generatori pseudoslučajnih, a ne slučajnih brojeva? Očigledan razlog je to što ćemo za njihovo generisanje koristiti razne algoritme. Ako smo algoritam definisali kao niz koraka koji nas dovodi do rešenja nekog problema, tada prateći korake algoritma možemo predvideti na koji način će se generisati slučajni brojevi, pa oni tada prestaju da budu slučajni. Manje očigledan razlog je konačni kapacitet memorije, tj. memorijskih reči i registara. Kao što ćemo kasnije videti, osnova za generisanje slučajnih brojeva je linearni kongruentni generator, koji radi na sledećem principu: u i+ =(a u i +c) mod n, i = 0,, gde je u i+ sledeća vrednost u nizu slučajnih brojeva, u i prethodno generisana vrednost, dok su a, c i n koeficijenti. Očigledno je da će se zbog konačne vrednosti koeficijenta n sekvenca slučajnih brojeva pre ili kasnije ponoviti. Iz tog razloga je korektnije ove brojeve zvati pseudoslučajni. U daljem tekstu će se, međutim, oni skoro uvek zvati slučajni kako bi se tekst lakše čitao, kao i iz razloga velike zastupljenosti ovog termina. Šta predstavlja cilj generisanja pseudoslučajnih brojeva? Posmatrajmo sliku: ulaz (početni uslovi) generator slučajnih brojeva F(x) sekvenca slučajnih brojeva Na ulazu u generator slučajnih brojeva se nalazi pobuda, koja u većini slučajeva predstavlja početnu vrednost ili skup koeficijenata koje generator koristi. Njih može zadati korisnik, a moguće je realizovati i generator koji sam određuje koeficijente, tj. početne uslove. Generator vrši transformaciju početnih uslova i na osnovu toga na izlazu generiše niz slučajnih brojeva r, r, r 3, r n. Problem generisanja slučajnih brojeva se tada svodi na dobijanje niza brojeva koji slede unapred zadatu funkciju

2 raspodele verovatnoće F(x). Funkcija raspodele verovatnoće slučajne promenljive r se definiše na sledeći način: F r (x) = P [r x ] Dakle, vrednost funkcije raspodele slučajne promenljive r u nekoj tački x predstavlja verovatnoću da će vrednost slučajne promenljive r biti manja ili jednaka vrednosti x. Definiše se i gustina raspodele verovatnoće kao: f r ( x) d dx F r Sada lako možemo naći verovatnoću da se slučajna promenljiva r nalazi između vrednosti a i b: P[ a r b ] = P[r b] P[r a] = F(b) F(a) Na isti način sledi i: P( a r b) a Srednja vrednost ili matematičko očekivanje slučajne promenljive r na intervalu (r min, r max ) se definiše kao: r max b ( x) f r ( x) dx E( r) xf( x) dx r min Varijansa slučajne promenljive r se definiše kao: σ r = Var( r ) = E[(r E(r)) ] = E(r ) E(r) σ r max r min x f( x) dx E( r) Standardna devijacija slučajne promenljive r je σ r. Posmatrajmo sada diskretnu slučajnu promenljivu r koja može da uzme samo vrednosti r (x, x, x 3, x n ). Svakoj vrednosti slučajne promenljive se dodeljuje verovatnoća pojavljivanja, kao u sledećoj tabeli: x x x x n P i Sada je f(x i ) = P [r = x i ], pa se srednje matematičko očekivanje definiše kao: n E( r) x i f x i i = Iz ovog primera je jasno zašto je matematičko očekivanje u stvari srednja vrednost slučajne promenljive. Na sličan način se definiše i varijansa:

3 σ n x i E( r) f x i i = Pri projektovanju generatora slučajnih brojeva moramo obratiti pažnju i na sledeće: period ponavljanja sekvence ne sme biti suviše mali generator mora da zadovolji testove generisanje mora da bude brzo Generatori slučajnih brojeva su našli primenu u velikom broju tehničkih disciplina. Koriste se u Monte Carlo simulacijama, u telekomunikacijama (prenos podataka i njihova zaštita, kodiranje, kriptografija), pri simulacijama procesa u nuklearnoj fizici itd. Neke važnije funkcije raspodele uniformna raspodela eksponencijalna raspodela normalna i standardna normalna raspodela centralna granična teorema Prvo ćemo posmatrati uniformnu raspodelu, koja u ovom razmatranju ima najveći značaj, pošto ćemo korišćenjem generatora slučajnih brojeva sa uniformnom raspodelom biti u stanju da realizujemo generator sa proizvoljnom raspodelom. Neka je slučajna promenljiva u definisana na intervalu [a,b]. Tada je njena gustina raspodele za x (a,b): Funkcija raspodele je za x (a,b): f u ( x) F( x) Za x b, F(x) =, a za x < a, F(x) = 0. Veći značaj ima standardna uniformna raspodela koja je prikazana na slici: F(x) b x b a a a x 3

4 U njoj je a=0 i b=. Na taj način vrednost slučajne promenljive u ograničavamo na interval (0,), a funkcija raspodele i gustina raspodele su u intervalu (a,b): f(x) =, F(x) = x Srednja vrednost i varijansa su: E( u) a b Varu() ba() Pored uniformne raspodele, često se upotrebljava i eksponencijalna raspodela. Neka je slučajna promenljiva u definisana na intervalu [0, ]. Njena gustina raspodele je: f u (x) = λexp(-λx) za x > 0 i f u (x) = 0 za x 0. vrednost λ > 0 se naziva parametar raspodele Funkcija raspodele se dobija integracijom: Matematičko očekivanje i varijansa su: F u (x) = exp(- λx), za x > 0 E( u) λ Var ( u) λ Normalna raspodela se definiše za slučajnu promenljivu u, - < u < +. Gustina raspodele slučajne promenljive u je: xµ exp dok je funkcija raspodele: F( x) f( x) x exp σ σπ tµ σ dt σπ Ako uvedemo smenu y = (t - µ)/σ, dobija se: gde je Φ(x) tabelirana funkcija, analitički zadata sa: F( x)φ xµ σ 4

5 Φ µ σ Φx ( ) x t exp dt π Matematičko očekivanje i varijansa su: E(u) = µ Var(u) = σ Standardna normalna raspodela se dobija za µ = 0 i σ =. Zašto je normalna raspodela toliko važna? Odgovor na to daje centralna granična teorema. Ona predstavlja vrlo važan deo teorije verovatnoće, a mi ćemo je kasnije iskoristiti za projektovanje generatora slučajnih brojeva sa normalnom raspodelom. ) Posmatrajmo n nezavisnih slučajnih promenljivih r, r, r n sa jednakom raspodelom. Neka su njihova matematička očekivanja µ, a standardne devijacije σ. Formirajmo slučajnu promenljivu S n = r + r + + r n. Tada za svako x i y važi: S n nµ lim P x yφy ( )Φx ( ) n σn Pošto je E(S n ) = nµ i Var(S n ) = nσ, očigledno je da se promenljiva S n ponaša kao promenljiva sa normalnom raspodelom. ) Posmatrajmo n nezavisnih slučajnih promenljivih r, r, r n sa različitom raspodelom i matematičkim očekivanjima i standardnim devijacijama µ k i σ k. Formirajmo ponovo slučajnu promenljivu S n = r + r + + r n. Tada za svako x i y važi: S n E S n lim P x yφy ( )Φx ( ) n var S n U ovom slučaju je: n E S n Var S n k = n k = µ k σ ( ) k 5

6 Generisanje slučajnih brojeva sa uniformnom raspodelom linearni kongruentni generator multiplikativni generator mešoviti generator izbor koeficijenata Knuth-ovi uslovi M generator Posle matematičkog uvoda, u stanju smo da počnemo razmatranje o konkretnim realizacijama generatora slučajnih brojeva. Prvo ćemo razmotriti generisanje slučajnih brojeva sa uniformnom raspodelom, jer ćemo u sledećem poglavlju pokazati da uz pomoć takvog generatora možemo realizovati generator sa proizvoljnom raspodelom. Linearni kongruentni generator (u daljem tekstu LKG) na izlazu generiše sekvencu slučajnih brojeva u 0, u, u,, u n-. Dužina sekvence je n. Generisanje sekvence se vrši multiplikativnim generatorom, koji radi na sledeći način: u i+ = (au i ) mod n, i = 0,, Dakle, sledeća vrednost u sekvenci u i+ se generiše na osnovu prethodne vrednosti u i i vrednosti koeficijenata a i n. Međutim, češće se koristi mešoviti generator: u i+ = (au i + c) mod n, i = 0,, Kao što vidimo, realizacija mešovitog generatora je veoma jednostavna, pod uslovom da znamo vrednosti u 0, a, c i n. Pošto početna vrednost u 0 nije kritična, glavni problem u projektovanju LKG se svodi na izbor koeficijenata. Pokazuje se da oni moraju da zadovolje sledeće zahteve: ) n mora biti oblika b p, za binarne generatore b=, a za decimalne b=0 ) c mora biti prost broj u odnosu na n 3) a mora biti multipl svakog prostog činioca n 4) a mora biti multipl od 4, ako je n multipl od 4 Na ovaj način možemo generisati maksimalno n brojeva. Pri izboru vrednosti koeficijenata se mora voditi računa da prilikom množenja ne dođe do prekoračenja. Moguć izbor je n = 3764, a = n+, c = 3. Problemom izbora koeficijenata za LKG bavio se i čuveni matematičar Donald Knuth. On je formulisao uslove koje moraju da zadovolje koeficijenti n, a i c kako bi se dobio LKG maksimalne dužine. To su Knuth-ovi uslovi: ) n treba da bude veliki broj oblika p ili 0 p ) a treba da ima nepravilnu strukturu i da zadovoljava: n a<n n< ili 00 Zatim se za a predlažu sledeće vrednosti: a = 8k + 5 (decimalni generator) a = 00k + (binarni generator) n a<n n< 6

7 3) c = k + (binarni generator) c = k + i nije deljiv sa 5 (decimalni generator) Knuth predlaže vrednost: 3 c 0.5 n 0.35 n 6 Uzimajući u obzir prirodu koeficijenata, najlakše je njihovo generisanje (po bilo kom kriterijumu) prepustiti samom generatoru. Zato je u nastavku priložen program koji računa vrednosti koeficijenata n, a i c po Knuth-ovim uslovima i zatim, koristeći dobijene vrednosti, generiše slučajne brojeve uz pomoć mešovitog generatora. #include <math.h> #include <stdio.h> void main (void) { int i,b, p; double n, a, a, ad, ag; long a, c, u0; printf ("\nbinarni () ili decimalni (0) generator? "); scanf ("%d", &b); if (b!= ) b = 0; printf ("Broj %s cifara? ", b==? "binarnih" : "decimalnih"); scanf ("%d", &p); n = pow (b, p); a = n / 00; a = sqrt (n); ad = a>a? a : a; ag = n - a; printf ("Predlog za faktor \'a\'? "); scanf ("%ld", &a); if (a<ad a>ag) a = (long) sqrt (ad * ag); } while (b== && a%8!=5 b==0 && a%00!=) a--; for (c=0.5*(-/sqrt(3))*n; c%==0 b==0 && c%5==0; c++); printf ("n = %d ^ %d = %.0f\n", b, p, n); printf ("%.0f < a < %.0f\n", ad, ag); printf ("Koeficijenti su: a= %ld, c= %ld, n= %f\n",a,c,n); printf ("u = (%ld * u + %ld) %% %.0f\n", a, c, n); printf("unesite pocetnu vrednost u0: "); scanf("%ld", &u0); printf("%ld\n",u0); for (i=0;i<n;i++) { printf("%ld\t",u0); u0=(u0*a+c) % (long)n; } Ukratko ćemo objasniti način rada. Moguće je računanje koeficijenata za binarni ili decimalni generator, pa se korisniku zato na početku nudi mogućnost da izabere željeni generator. Zatim se bira broj cifara. U zavisnosti od izbora se određuje vrednost koeficijenta n ( broj cifara ili 0 broj cifara ). Kada znamo vrednost koeficijenta n, određujemo granice u kojima se može kretati koeficijent a (ad donja granica i ag gornja granica). Zatim pitamo korisnika da predloži vrednost za a. Ako se uneta vrednost nalazi van opsega, početna vrednost za a će biti geometrijska sredina gornje i donje granice. Zatim smanjujemo vrednost a sve dok ne stignemo do prve vrednosti 7

8 koja zadovoljava Knuth-ove uslove. Za početnu vrednost c uzimamo 0.35n, a zatim povećavamo c sve dok ne dođemo do broja koji zadovoljava Knuth-ove uslove. Na kraju program ispisuje vrednosti koeficijenata. Radi kompletnosti, na kraju je dodata i for petlja u kojoj se na osnovu unete početne vrednosti u 0, korišćenjem dobijenih koeficijenata računaju vrednosti nekoliko slučajnih brojeva. U nastavku se nalaze vrednosti dobijene korišćenjem decimalnog generatora sa koeficijentima a=, c= i n = 000 (trocifreni generator). Početna vrednost je bila 345. Koeficijenti su: a=, c=, m= u = ( * u + ) % 000 Unesite pocetnu vrednost u0:

9 Ako želimo da postignemo bolju izlaznu sekvencu, tj. sekvencu sa boljom slučajnošću (testove generatora ćemo posebno obraditi) možemo koristiti dva LKG, čime dobijamo M generator. Ideja je sledeća: koristimo jedan LKG kako bismo generisali sekvencu slučajnih brojeva dužine n. Zatim, korišćenjem drugog LKG generišemo jedan slučajan broj k koji se nalazi između i n. U izlazni niz stavljamo k-ti broj u prvoj sekvenci, zatim ponovo generišemo broj između i n i tako dalje. Algoritam se može prikazati u pseudokodu:. generisati niz V i pomoću LKG, i =,,,n. generisati slučajan broj k između i n pomoću LKG 3. u nizu V pronaći k-ti element, V k 4. u izlazni bafer staviti V k 5. generisati novu vrednost za V k 6. ponavljati korake -5 dok se ne dobije sekvenca željene dužine 9

10 Postupak se može prikazati sledećom šemom: LKG k LKG 3 V izlaz 5 V k 4 V n Očigledan nedostatak M-generatora je spor rad. Naime, on je približno dva puta sporiji od multiplikativnog i mešovitog. Međutim, njegovom primenom se dobija znatno bolja izlazna sekvenca. Generisanje slučajnih brojeva sa proizvoljnom raspodelom korišćenje uniformne raspodele proizvoljna raspodela (primer) eksponencijalna raspodela normalna raspodela U prethodnom delu smo obratili posebnu pažnju na generatore slučajnih brojeva sa uniformnom raspodelom. Rekli smo da se pomoću njih može generisati sekvenca sa proizvoljnom raspodelom. Tu tvrdnju ćemo ovde i dokazati. Neke je u slučajna promenljiva sa standardnom uniformnom raspodelom, tj. neka je definisana na intervalu [0,] i neka su gustina raspodele i funkcija raspodele na tom intervalu: f u (x) = i F u (x) = x Postavlja se sledeći problem: formirati slučajnu promenljivu r = g(u), tako da ona ima unapred zadatu funkciju raspodele F r (x). Dakle, za poznatu funkciju F r (x) treba odrediti g(u). Pođimo od definicije funkcije raspodele: 0

11 F r (x) = P[r x] = P[g(u) x] = P[g - (g(u)) g - (x)] = P[u g - (x)] Pošto smo pretpostavili da slučajna promenljiva u ima standardnu uniformnu raspodelu (F(x)=x), sledi: Iz ove jednačine se dobija: F r (x) = g - (x) g(x) = F r - (x) Ako zamenimo x u, zbog r = g(u) se konačno dobija: r = F r - (u) Upotrebom izvedenog rezultata i nekog generatora sa uniformnom raspodelom, možemo napraviti generator sa proizvoljnom raspodelom. Na primer, neka je potrebno generisati pseudoslučajne brojeve čija je gustina raspodele verovatnoće: f(x)=asinx (0 < x < π) Funkcija gustine raspodele je prilično egzotična, ali se korišćenjem prethodnog rezultata problem vrlo brzo rešava. Data gustina raspodele izgleda: a f(x) π x Za primenu izvedene jednačine nam je potrebna raspodela F(x). Dobijamo je integracijom: x f( x) f( x) dx a( cosx ) Konstantu a nalazimo iz uslova F(π)=, pa sledi a=/. Dakle, funkcija raspodele je: cosx F( x) Iz gornjeg razmatranja smo videli da važi: u = F(r) i r = F - (u), gde je u slučajna promenljiva sa standardnom uniformnom raspodelom. Dalje je: u cosr

12 cosr= u r = arccos( u) što predstavlja i rešenje problema. Ako na raspolaganju imamo generator slučajnih brojeva sa uniformnom raspodelom urng(), tada se željeni generator realizuje u par linija koda: #include <math.h> double urng(void); double sinrng(void) { double x=-*urng(); return atan(sqrt(-x*x)/x) /; } Jedina modifikacija je bila trigonometrijska transformacija funkcije arccos u arctg kako bi kompajler mogao korektno da prevede izraz. Pogledaćemo i na koji način se mogu realizovati generatori slučajnih brojeva sa eksponencijalnom i normalnom raspodelom. Neka je potrebno generisati slučajnu promenljivu s koja ima eksponencijalnu raspodelu, tj. za koju važi: 0 s f(x) = λexp(-λx), x >0 F(x) = - exp(-λx), x > 0 Neka je -u slučajna promenljiva sa standardnom uniformnom raspodelom. Tada je: s = F - (-u) F(s) = F ( F - (-u)) = -u -u = - exp(-λx) u = exp(-λs) ln(u) = -λs s ln( u) λ Dakle, dobili smo vezu između tražene slučajne promenljive s i slučajne promenljive u sa standardnom uniformnom raspodelom. Na sličan način možemo realizovati i generator slučajnih brojeva sa normalnom raspodelom. Neka je data slučajna promenljiva u sa uniformnom raspodelom: f( x) F( x) x

13 E( u)µ ( σvar Formirajmo slučajnu promenljivu Y kao zbir n slučajnih promenljivih sa uniformnom raspodelom. Prema centralnoj graničnoj teoremi, Y mora imati normalnu raspodelu: Y n u i S n nµ i = σn n n U praksi se najčešće uzima n =, pa se slučajna promenljiva Y formira kao: Y i = u i 6 Možemo zaključiti da je za generisanje slučajne promenljive sa normalnom raspodelom dovoljno imati generator slučajnih brojeva sa uniformnom raspodelom. Proces se odvija tako što generišemo željeni broj uniformno raspodeljenih slučajnih brojeva, saberemo ih i dobili smo normalno raspoređenu slučajnu promenljivu. Hardversko generisanje slučajnih brojeva generisanje slučajnih brojeva upotrebom pomeračkih registara Za generisanje slučajnih brojeva se može iskoristiti i posebna klasa kružnih brojača. Posmatrajmo pomerački registar od n bita. Može se pokazati da uvek postoji bar jedna funkcija povratne sprege za koju će registar zauzeti n različitih stanja pre nego što se ciklus ponovi. Zabranjeno stanje je sve nule. U tabeli koja sledi su prikazane funkcije povratne sprege za registre dužine od do 3 bita: n (broj bita) jednačina povratne sprege SIN = Q Q 0 3 SIN 3 = Q Q 4 SIN 4 = Q 3 Q 5 SIN 5 = Q 4 Q 6 SIN 6 = Q 5 Q 4 7 SIN 7 = Q 6 Q 3 8 SIN 8 = Q 7 Q 5 Q 4 Q 3 SIN = Q Q 0 Q 7 Q 5 6 SIN 6 = Q 5 Q Q Q 0 0 SIN 0 = Q 9 Q 6 4 SIN 4 = Q 3 Q Q Q 6 8 SIN 8 = Q 7 Q 4 3

14 3 SIN 3 = Q 3 Q 30 Q 9 Q 9 Iz tabele se vidi da je serijski ulaz SIN i funkcija povratne sprege koja se dovodi na D ulaz flipflopa Q 0. Ovde je pretpostavljeno da je Q 0 bit najmanje težine. Na slici je prikazan primer realizacije četvorobitnog generatora slučajnih brojeva: Ako je početno stanje, generator će dati sledeću sekvencu slučajnih brojeva:,, 4, 9, 3, 6, 3, 0, 5,, 7, 5, 4,, 8. Međutim, u ovoj realizaciji problem predstavlja stanje sve nule. Naime, ako bi se brojač po uključenju ili zbog smetnji našao u stanju nula, SIN bi bilo jednako nuli i generator bi stao. Očigledno se mora uvesti dodatna logika koja će obezbediti da se izađe iz zabranjenog stanja. Modifikovani generator je prikazan na slici: Ovaj generator dekoduje stanje nula i na sledeći taktni impuls prelazi u dozvoljeno stanje. 4

15 Testiranje generatora slučajnih brojeva hi-kvadrat test test Kolmogrova-Smirnova test k-torki poker test test permutacija test maksimuma (minimuma) test podsekvenci test pomoću Monte Carlo simulacije problema čije je rešenje poznato Floyd-ov algoritam Kada govorimo o testiranju generatora slučajnih brojeva, mislimo na sledeće: ) testiranje kvaliteta slučajnosti ) testiranje verodostojnosti (da li slučajna sekvenca zadovoljava pretpostavljenu raspodelu) 3) otkrivanje petlji (cikličkog ponavljanja) u sekvenci Za testiranje generatora slučajnih brojeva se koriste statistički testovi. Smisao statističkih testova je postavljanje hipoteze o nekoj osobini slučajne promenljive, utvrđivanje potrebnog i dovoljnog faktora poverenja i provera hipoteze. U zavisnosti od rezultata dobijenih primenom testa i zahtevanog faktora poverenja, hipoteza se prihvata ili odbacuje. Najpoznatiji statistički test koji se u primenjuje u ovu svrhu je hi-kvadrat test (χ test). Cilj hi-kvadrat testa je da proveri u kojoj se meri raspodela slučajnih brojeva u dobijenoj sekvenci slaže sa nekom unapred pretpostavljenom (zadatom), tj. očekivanom raspodelom. Test se vrši na sledeći način:. generiše se sekvenca slučajnih brojeva X 0, X, X,, X n-. opseg vrednosti slučajnih promenljivih [X min, X max ] se podeli na m jednakih intervala (intervali ne moraju biti jednaki, ali najčešće jesu) 3. za svaki interval se odredi broj vrednosti X i koje se u njemu nalaze na taj način se dobija frekvencija f i, i=,,,m za svaki interval 4. odredi se teorijska raspodela slučajnih brojeva (tj. očekivana, jer mi proveravamo da li se dobijena sekvenca slaže sa zahtevanom raspodelom) 5. koristeći dobijene podatke o željenoj raspodeli, odredi se teorijska frekvencija F i za svaki interval 6. ako je u nekom intervalu f i <5 ili F i <5, vršimo spajanje intervala kako bi u svakom bilo barem 5 dobijenih i teoretski predviđenih vrednosti, a zatim za nove intervale ponovo računamo f i i F i 7. formiramo vrednost χ prema sledećoj jednačini: m χ f i F i F i = i 8. određujemo broj stepeni slobode (DF degrees of freedom) kao DF=m-p-, gde je p broj parametara karakterističan za očekivanu raspodelu (za normalnu p= (µ, σ), za eksponencijalnu p= (λ) i za uniformnu p=0) 5

16 9. usvajamo vrednost faktora α koji određuje rizik prihvatanja hipoteze da generisana sekvenca ima pretpostavljenu raspodelu (faktor - α predstavlja nivo poverenja za postavljenu hipotezu) 0. zatim određujemo vrednost funkcije χ α (DF, α) koja se računa ili čita iz tabela kao što je sledeća: DF α ako je χ > χ α hipoteza se odbacuje, a ako je χ < χ α hipoteza se prihvata; naravno, ako je χ < χ α ne znači da je hipoteza apsolutno tačna, jer se uvek može pooštriti nivo poverenja ili izvršiti dopunsko testiranje. Da bismo videli kako se ovaj test primenjuje, posmatrajmo sledeći primer. Neka je u toku 40 dana beležen broj kvarova u jednom elektroenergetskom sistemu i neka su dobijeni sledeći podaci: broj kvarova broj slučajeva Zadatak je da sa nivoom značajnosti od 0.05 proverimo hipotezu da broj kvarova ima Poisson-ovu raspodelu. Prvo treba izračunati teorijsku raspodelu. Poisson-ova raspodela opisuje diskretne slučajne promenljive funkcijom raspodele: expλ ( )λ ḳ P x k k! Iz navedenih vrednosti se može proceniti parametar λ raspodele kao λ = µ =.538. Na osnovu toga možemo naći verovatnoće i frekvencije: F i f i Ne moramo ni računati vrednost f i jer u poslednjem intervalu imamo F 6 < 5 pa moramo spojiti intervale 5 i 6. Sada se dobija nova tabela: {5,6} F i f i Koršćenjem ovih vrednosti se računa χ = Iz tabele se dobija (za p=) χ α = Pošto je χ < χ α prihvatamo hipotezu da promenljiva ima Poisson-ovu raspodelu. 6

17 Pored hi-kvadrat testa, veoma popularan je i test Kolmogrova-Smirnova. Test se vrši na sledeći način: posmatrajmo uzorak slučajnih brojeva x i, i=,, n. Formira se empirijska zbirna funkcija raspodele verovatnoće S(x) (na osnovu više merenja). Zatim se računa teorijska raspodela verovatnoće F(x) i formiraju se razlike F(x i ) S(x i ). Sledeći korak je nalaženje maksimalne razlike: D= max ( F(x i ) S(x i ) ), za i N, gde je N broj merenja Iz tabela se za željeni nivo poverenja α nalazi vrednost D α (α, N). Ako je D D α, hipoteza da x ima raspodelu F(x) se prihvata, a inače se odbacuje. Na primer, neka smo u 5 merenja dobili sledeće rezultate: x S(x) F(x) F(x) S(x) Neka je faktor poverenja α=0.05. Iz tabele se vidi da je D=0.4, a pošto je D 0,05 =0., sledi da se hipoteza odbacuje. Testovi iz naredne grupe su empirijski testovi. U većini slučajeva se svode na primenu hi-kvadrat ili testa Kolmogrova-Smirnova na neku jednostavnu funkciju kojom transformišemo slučajnu sekvencu. test k-torki Može se upotrebljavati za k=,3, Ako uzmemo k= dobija se test parova. Od vrednosti iz slučajne sekvence se formiraju parovi (Y j, Y j+ ), gde je 0 j < n. Parovi se tretiraju kao koordinate tačaka u kvadratu dimenzija d x d. Zatim se vrši hi-kvadrat test kako bi se pokazalo da su parovi uniformno raspoređeni u kvadratu. U testu parova mora biti n > 5d, za k = 3,4, mora biti n > 5d 3, n > 5d 4 poker test (particijski test) Od slučajne sekvence formiramo grupe od pet uzastopnih vrednosti: Y 5j, Y 5j+, Y 5j+, Y 5j+3, Y 5j+4, gde je 0 j < n. Mogući su sledeći oblici petorki:. sve različito (++++). par (+++) 3. dva para (++) 4. tri ista (3++) 5. ful (3+) 6. poker (4+) 7. pet istih (5) Sada na ovako formirane grupe primenjujemo hi-kvadrat test, ali za slučajnu promenljivu koja označava pojavljivanje neke od mogućih kombinacija. test permutacija Slučajna sekvenca se podeli na grupe od t elemenata. U svakoj grupi se najmanji element označi sa, sledeći sa, i najveći sa t. Pošto su svih t! permutacija 7

18 jednako verovatne, primenjuje se hi-kvadrat test na slučajnu promenljivu koja označava pojavljivanje mogućih permutacija. test maksimuma (minimuma) Sekvenca slučajnih brojeva se podeli na grupe od t elemenata: U jt, U jt+,, U (j+)t-. Formirajmo slučajnu promenljivu W j = [max(u jt, U jt+,, U (j+)t- )] t Može se pokazati da ove slučajne promenljive imaju uniformnu raspodelu na intervalu (0,). Primenom hi-kvadrat testa ili testa Kolmogrov-Smirnova na hipotezu da sekvenca W j ima uniformnu raspodelu može se proveriti kvalitet generatora slučajnih brojeva. test podsekvenci Od sekvence slučajnih brojeva se formira k podsekvenci na sledeći način: U 0, U k, U k, U, U k+, U k+,. U k-, U k-, U 3k-, Zatim se svaka sekvenca testira na željenu raspodelu. test pomoću Monte Carlo simulacije čije je rešenje poznato Ovde ćemo prikazati kako se slučajni brojevi koriste u Monte Carlo simulacijama, i kako se na sličan način može proceniti kvalitet generatora. Osnovni princip Monte Carlo simulacija je sledeći: neka je na segmentu [a,b] data funkcija x f(x). Pomoću nekog generatora slučajnih brojeva sa uniformnom raspodelom treba generisati n argumenata x, x, x 3,, x n za koje izračunavamo vrednosti funkcije f(x ), f(x ), f(x 3 ),, f(x n ). Srednja vrednost funkcije na segmentu [a,b] je približno: bn xfx()ḋ. ba a N k k= 0 odakle je: b N b a f( x) dx. f x a N k k = 0 Na taj način dobijamo vrednost određenog integrala. Sada je jasno i na koji način možemo proveriti kvalitet generatora slučajnih brojeva. Jednostavno treba primeniti sekvencu slučajnih brojeva na rešavanje određenog integrala čije je rešenje poznato i na osnovu odstupanja rešenja od tačnog se može zaključiti koliko je sekvenca bila kvalitetna. Na kraju ćemo prikazati i Floyd-ov algoritam koji služi za izbegavanje ciklusa u sekvenci slučajnih brojeva. Još na početku smo napomenuli da se zbog konačne dužine memorijskih reči, pre ili kasnije sekvenca slučajnih brojeva mora ponoviti. Posmatrajmo generator tipa X i+ = F (X i ), i =,, m. Ciklus se tada javlja na sledeći način: X 0, X, X,, X µ, X µ+λ-, X µ+λ, 8

19 Sm()m0 Praktično se dešava da su vrednosti X k+λ i X k jednake, pri čemu je λ dužina ciklusa. Da bi se izbeglo javljanje ciklusa osnovni generator se mora modifikovati na sledeći način:. X = X 0 ; Y=Y 0 (zadavanje početnih vrednosti). R = X (izlaz) 3. X = f (X) 4. Y =f ( f (Y) ) 5. ako je X različito od Y prelazi se na korak. 6. kraj Upotrebom ovog algoritma se garantuje generisanje bar λ različitih elemenata pre obustavljanja rada. Problem je što se vreme generisanje sekvence utrostručuje. ) Helermanova formula Helermanova formula pokazuje kako se menja efektivna širina opsega memorije ukoliko je memorija podeljena na m blokova kojima se može nezavisno pristupati. Neka je W dužina podatka, tj. broj bita koji se zahvati pri jednom pristupu memoriji i neka je Tc srednje vreme potrebno za dva uzastopna pristupa (čitanje ili pisanje) istoj adresi. Tada se širina opsega memorije definiše kao: W B mem Ovo razmatranje, međutim, ne važi ako se istovremeno (paralelno) može pristupati (čitati ili upisivati) na više adresa. Neka je memorija podeljena na m blokova i neka se svakom bloku može nezavisno pristupati. Idealno bi bilo kada bismo uspeli da u svakom ciklusu generišemo pristup različitim blokovima. Pošto je to nemoguće, širina opsega memorije se u tom slučaju definiše kao: B mem S( m) W T ċ T c gde je S(m) faktor simultanosti, koji služi da kvantitativno opiše verovatnoću da ćemo u jednom ciklusu pristupa memoriji uspeti da generišemo adrese iz bar k različitih blokova, k m. Iz tog razloga je očigledno da mora biti S(m) m. Može se pokazati da je: m64 m k Sm()m()!. k. mk()! k= Pošto je ovaj izraz teško računati, Helerman je red aproksimirao na sledeći način: S(m) m 0.56 Istim problemom se bavio i Donald Knuth i pokazao da su bolje aproksimacije: i poboljšana varijanta: 9

20 Sm() πm. π m m Naš zadatak je ispitamo grešku Helermanove aproksimacije, pronađemo treću decimalu u njegovoj formuli i da pokušamo da aproksimiramo red S(m) nekim polinomom što veće tačnosti. Prvo ispitujemo grešku. U paketu MathCad Professional 7.0 je napisan program koji izračunava vrednosti reda S(m) za 0 vrednosti argumenta m, nalazi vrednost m 0.56 i daje apsolutnu grešku aproksimacije, tj. S(m) m Rezultati su dati u tabeli i na grafikonu. m S(m) m 0.56 S(m) - m E greška m greška aproksimacije m

21 Iz tabele i sa grafikona se mogu zaključiti dve stvari: ) za male vrednosti argumenta m (do ), greška je pozitivna, a za veće vrednosti je negativna ) apsolutna vrednost greške raste sa porastom argumenta m, što se može videti sa sledećeg grafika: greška apsolutna vrednost greške aproksimacije m 0.56 m Sledeći problem je bio nalaženje treće decimale u eksponentu Helermanove aproksimacije. Problem je verovatno rešiv i analitički, ali ja nisam uspeo da pronađem matematički aparat kojim bih mogao da aproksimiram takav red polinomom čiji stepen nije ceo broj. Sve aproksimacije koje su mi poznate iz numeričke matematike se svode na nalaženje polinoma oblika: a n- x n- + a n- x n- + + a x + a 0 gde se koeficijenti računaju na razne načine (interpolacioni polinomi, metod najmanjih kvadrata, linearna regresija). Dodatni problem je bio to što se samo metod linearne regresije definiše za diskretne funkcije. Iz tog razloga sam problem počeo da rešavam primenom grube sile. Ideja je bila da se pronađu vrednosti funkcije za nekoliko vrednosti argumenta m za sve moguće vrednosti treće decimale u eksponentu (znači za m 0.56, m 0.56,, m ) i da se računanjem odstupanja od tačne vrednosti S(m) pronađe za koju treću decimalu se dobija najmanja greška. Rešenje je dobijeno pisanjem programa u paketu MathCad 7.0 koji je odmah računao vrednosti grešaka za devet vrednosti argumenta m. Dobijeni rezultati su prikazani u sledećim tabelama (navedene su apsolutne vrednosti grešaka):

22 m 0.56 m greška m 0.56 m greška m m greška E m m greška E

23 m m greška E m m greška E m m greška E m m greška E

24 m m greška E Prvobitna zamisao je bila da se zatim vrednosti grešaka prikažu na jednom grafiku i da se jednostavno izabere decimala sa najmanjom greškom, tj. grafikon koji ide ispod svih ostalih. Umanjena verzija tog grafikona je prikazana na sledećoj slici: Međutim, pokazalo se da se greška ponaša neočekivano: grafikoni se seku. Na primer, na grafikonu ispod je prikazano ponašanje za samo dve decimale. Vidi se da je za manje vrednosti argumenta m svetlija kriva ispod tamnije, ali da je za velike vrednosti m obrnuto: svetlija kriva je iznad tamnije. Dakle, na ovaj način se ne može zaključiti za koju decimalu se dobija minimalna greška

25 Sledeća ideja je bila pronalaženje relativne vrednosti greške. Pošto smo videli da se apsolutna vrednost greške uvećava sa porastom parametra m, srednja vrednost se nije mogla naći prostim sabiranjem svih grešaka, jer bi na taj način skoro potpuno potisnuli uticaj grešaka pri malim vrednostima m. Zato je relativna vrednost nađena upotrebom sledeće formule: δ m δ m... δ 9 m 9 Na taj način su dobijeni sledeći rezultati: δ i 9 eksponent relativna vrednost greške Minimalna greška se dobija za eksponent 0.563, što se vidi i sa sledećeg grafika: greška treca decimala Dakle, Helermanova aproksimacija sa tri decimale u eksponentu izgleda: S(m) m 0,563 Preostao je još problem aproksimacije reda S(m) polinomom. Upotrebićemo postupak linearne regresije. Ideja je da red S(m) prikažemo kao: S(m) = C 0 + C m Koeficijenti C 0 i C se nalaze iz sistema jednačina: 5

26 N NC 0 Sm k im = k N 0 C k Sm = k Jedino pitanje koje se ovde postavlja je izbor m k i N, tj. kako ćemo tabelirati diskretnu funkciju. Ako uzmemo svih 9 vrednosti koje smo tabelirali dobićemo polinom: S(m) m +.73 Ovde pravimo veliku grešku za male vrednosti argumenta m. Međutim, kako m raste, tako se i tačnost popravlja. Razlog je način na koji smo tabelirali funkciju. Naime, nismo uzeli ekvidistantni raspored vrednosti m k. Ako na primer izbacimo tri najveće vrednosti m, dobijamo drugačiji polinom: S(m) 0.663m +.79 Sada za male vrednosti m dobijamo bolju tačnost. Generalno gledano, ovo nije najsrećniji problem za linearnu regresiju. Međutim, mogli bismo postići veću tačnost ako bismo izvršili aproksimaciju polinomom višeg stepena (metod najmanjih kvadrata) ili ako bismo pažljivije izvršili analizu greške kod linearne regresije. Tada bismo mogli (metodom probanja) da nađemo kako treba tabelirati red S(m) kako bi greška aproksimacije bila minimalna. Takođe, pošto greška raste sa porastom vrednosti argumenta m, mogli bismo skup vrednosti S(m) podeliti u više podintervala i svaki aproksimirati posebnim polinomom, na isti način na koji smo to već uradili za ceo skup vrednosti. Smanjivanjem koraka i povećanjem broja intervala bismo mogli postići proizvoljnu tačnost. Literatura. Donald E. Knuth, The Art of Computer Programming, Volume : Seminumerical Algorithms. Dobrilo Đ. Tošić, Uvod u numeričku analizu 3. Milan Merkle, Verovatnoća i statistika 4. Dejan B Živković, Miodrag V. Popović, Impulsna i digitalna elektronika 5. Vladan Devedžić, folije sa predavanja iz predmeta Progamski jezici i metode programiranja 6. Laslo Kraus, beleške sa vežbi iz predmeta Programski jezici i metode programiranja 6