Sveučilište u Zagrebu Prirodoslovno - matematički fakultet Matematički odjel mr. sc. Darija Marković Problem procjene parametara u Weibullovom modelu Disertacija Voditelj: Suvoditelj: prof. dr. sc. Dragan Jukić prof. dr. sc. Miljenko Marušić Zagreb, 2009.
Sadržaj 1 Uvod 1 2 Weibullovi modeli 4 2.1 Weibullov 3-parametarski model...................... 4 2.2 Osnovni pojmovi teorije pouzdanosti................... 6 2.3 Klasifikacija Weibullovih modela...................... 12 3 Klasične metode za procjenu parametara u Weibullovom modelu 16 3.1 Grafičke metode............................... 17 3.1.1 Weibullov crtež vjerojatnosti.................... 17 3.1.2 Crtež rizika............................. 25 3.2 Analitičke metode.............................. 27 3.2.1 Metoda momenata......................... 27 3.2.2 Metoda maksimalne vjerodostojnosti............... 32 4 Problem najmanjih kvadrata 38 4.1 Opća formulacija problema najmanjih kvadrata s generalizacijom u p normi 38 4.2 Problem najmanjih kvadrata u regresijskoj analizi............ 40 4.2.1 Problem najmanjih običnih kvadrata............... 40 4.2.2 Problem najmanjih potpunih kvadrata.............. 44 i
4.2.3 Metoda najmanjih običnih kvadrata za transformirani Weibullov model................................ 46 4.3 Nelinearni problem najmanjih kvadrata za 3-parametarski Weibullov model.................................... 55 4.3.1 OLS i TLS problem za funkciju distribucije vjerojatnosti.... 55 4.3.2 OLS i TLS problem za funkciju gustoće vjerojatnosti...... 56 5 Teoremi o egzistenciji optimalnih parametara u Weibullovom modelu 59 5.1 Egzistencija OLS procjenitelja za Weibullovu 3-parametarsku distribuciju 59 5.2 Egzistencija TLS procjenitelja za Weibullovu 3-parametarsku distribuciju 71 5.3 Egzistencija OLS procjenitelja za Weibullovu 3-parametarsku gustoću. 86 5.4 Egzistencija TLS procjenitelja za Weibullovu 3-parametarsku gustoću. 95 Literatura.................................... 111 Sažetak...................................... 119 Summary.................................... 120 Životopis..................................... 121 ii
Poglavlje 1 Uvod U primijenjenim istraživanjima matematički modeli obično sadrže nepoznate parametre koje treba procijeniti na osnovi eksperimentalnih ili empirijskih podataka w i, t i, y i ), i = 1,..., n, gdje su t i vrijednosti nezavisne varijable općenito vektor), y i odgovarajuće vrijednosti zavisne varijable, a w i > 0 je težina i tog podatka. Taj problem u literaturi je poznat pod nazivom Problem procjene parametara engl. Parameter Estimation Problem). U literaturi postoji više metoda za procjenu parametara u modelu opisanom diferencijalnim jednadžbama, kao što su npr. metoda konačnih razlika engl. Finite Differences Method), metoda integracije podataka engl. Integration of Data), metoda izgladivanja podataka engl. Smooth the Data Method), itd. Pri tome treba razlikovati slučaj kada se rješenje sustava diferencijalnih jednadžbi može prikazati pomoću elementarnih funkcija od slučaja kada to nije moguće. U slučaju kada je poznata funkcija-model, metode za procjenu parametara najčešće se baziraju na upotrebi l p norme 1 p < ), tako da se minimizira p-norma odgovarajućeg vektora reziduala. Ako je p = 2, radi se o metodi najmanjih kvadrata LS metoda, od engl. Least Squares Method). Osim LS metode l 2 norme) često se koriste l 1 i l norma. Kod LS metode treba razlikovati dva pristupa: metodu najmanjih običnih kvadrata OLS metoda, od engl. Ordinary Least Squares) i metodu najmanjih potpunih kvadrata TLS metoda, od engl. Total Least Squares). Ukratko, ako su pogreške u nezavisnim varijablama zanemarive, a pogreške u mjerenju zavisne varijable nezavisne i normalno distribuirane slučajne varijable s očekivanjem 0 nula), onda se nepoznati parametri najčešće procjenjuju u smislu metode najmanjih običnih kvadrata OLS metode) tako da se na skupu dopustivih parametara minimizira funkcional koji predstavlja težinsku suma kvadrata odstupanja izmjerenih od modelom predvidenih vrijednosti. Statistički gledano, OLS funkcional predstavlja težinsku sumu kvadrata pogrešaka sadržanih u zavisnoj varijabli. Točka u kojoj funkcional postiže minimum zove se LS procjenitelj. Za optimalnu vrijednost vektora nepoznatih parametara uzima se LS procjenitelj, ako on postoji. 1
Uvod 2 Ako je odgovarajući minimizirajući funkcional linearan u svim svojim parametrima, radi se o dobro izučenom linearnom OLS problemu koji uvijek ima rješenje i za koji postoje dobro razvijene numeričke metode. Za rješavanje nelinearnih OLS problema razvijene su posebne numeričke metode. Medutim, prije same minimizacije postavljaju se teška pitanja vezana uz egzistenciju i jedinstvenost LS procjenitelja te nešto lakši problem odredivanja dobre početne aproksimacije. U najopćenitijem slučaju pogreške se mogu javiti u mjerenjima svih varijabli i zavisnih i nezavisnih). U takvoj situaciji razumno je vektor nepoznatih parametara potražiti u smislu metode najmanjih potpunih kvadrata TLS metode). Kod TLS metode vektor nepoznatih parametara traži se minimizacijom funkcionala koji predstavlja težinsku sumu kvadrata svih pogrešaka. Geometrijski gledano, ovaj funkcional predstavlja težinsku sumu kvadrata udaljenosti točaka t i, y i ) do neke točke na grafu funkcije modela. U statističkoj literaturi TLS metoda je na engleskom jeziku poznata pod nazivima Errors in Variables Regression i Orthogonal Distance Regression. U numeričkoj analizi TLS pristup prvi su izučavali G. H. Golub i C. F. Van Loan [24]. U literaturi je dobro izučen jedino linearni TLS problem. U odnosu na OLS problem, kod nelinearnog TLS problema javljaju se puno teži problemi vezani za egzistenciju, jedinstvenost i efikasno nalaženja TLS procjenitelja. Glavni razlog za to je što TLS funkcional ima puno više nezavisnih varijabli nego li odgovarajući OLS funkcional. Naime, svaki podatak,,donosi jednu novu varijablu, a kako je broj podataka obično velik, radi se o problemu minimizacije funkcionala s puno nezavisnih varijabli. Upravo zbog tog razloga razvijene su specijalne numeričke metode za nalaženje TLS procjenitelja P.T. Boggs, R.H. Byrd, R.B. Schnabel [9], H. Schwetlick, V. Tiller [83], D. Jukić, R. Scitovski, H. Späth, [45]). Glavni problem koji se razmatra u ovom radu je problem egzistencije optimalnih parametara za 3-parametarski Weibullov model. U drugom poglavlju opisan je 3- parametarski Weibullov model, te su navedene neke od njegovih generalizacija. Takoder, istaknute su neke od brojnih primjena ovog modela. Ukratko su navedeni osnovni problemi empirijskog modeliranja. Navedeni su ilustrativni primjeri koji će se koristiti u ostatku rada. U trećem poglavlju razmatraju se neke klasične metode za procjenu nepoznatih parametara u 2-parametarskom i 3-parametarskom Weibullovom modelu. Opisane su dvije grafičke metode: Weibullov crtež vjerojatnosti i crtež rizika. Dodatno su navedeni neki procjenitelji za vrijednost empirijske funkcije distribucije. Od analitičkih metoda u radu su opisane metoda momenata i metoda maksimalne vjerodostojnosti, koje se standardno koriste za procjenu nepoznatih parametara u statističkim modelima. Navedeni su problemi koji se javljaju pri procjeni parametara u ovim statističkim metodama. U četvrtom poglavlju opisan je problem najmanjih kvadrata s posebnim naglaskom
Uvod 3 na OLS i TLS pristup u regresijskoj analizi. Osim toga u ovom poglavlju detaljnije je razradena OLS metoda za transformiranu Weibullovu distribuciju. U petom poglavlju nalazi se glavni doprinos ove disertacije, a to su teoremi o egzistenciji optimalnih parametara, kako u smislu najmanjih običnih kvadrata tako i u smislu najmanjih potpunih kvadrata za 3-parametarski Weibullov model. Pri tome se od podataka zahtjeva da ispunjavaju samo vrlo prirodne uvjete, kao što su pozitivnost, rast i ograničenost zavisne varijable. Takoder dokazana je egzistencija optimalnih parametara za Weibullovu 3-parametarsku gustoću u smislu najmanjih običnih i najmanjih potpunih kvadrata. Svi ti teoremi o egzistenciji optimalnih parametara generalizirani su i u p normi 1 p < ). Neki od tih rezultata već su objavljeni, prihvaćeni za objavljivanje ili se nalaze na recenziji D. Marković, D. Jukić i M. Benšić [57], D. Jukić i D. Marković [36] i D. Marković i D. Jukić [56]).
Poglavlje 2 Weibullovi modeli Weibullov model distribucija) jedan je od najčešće korištenih statističkih modela u teoriji pouzdanosti i teoriji životnog vijeka vidi npr. [4, 5, 12, 32, 48, 60, 64]). Model je nazvan po švedskom fizičaru Waloddi Weibullu 1887.-1979.) koji ga prvi puta spominje u radu [94]. Prije Weibulla sličan model koristili su Rosin i Rammler u radu [79] za opisivanje distribucije veličine čestica, te se isti model često naziva Rosin Rammlerova distribucija. Najraniji poznati rad u kojem se javlja Weibullova distribucija je rad Fishera i Tippeta [20] iz 1928. u kojem je distribucija dobivena kao granična distribucija malih ekstrema u uzorku. U literaturi iz područja farmakologije Weibullova distribucija se pojavljuje pod nazivom Rosin-Rammler-Sperling-Bennet-Weibullova distribucija ili kratko RRSBW distribucija, iako se ponekad izostavlja Weibullovo ime. 2.1 Weibullov 3-parametarski model U ovoj disertaciji najveća pažnja je posvećena problemu procjene parametara u 3- parametarskom Weibullovu modelu distribuciji). Taj model je zadan izrazom F t; α, β, η) = { 1 e t α η ) β, t > α 0, t α 2.1) gdje su α 0 parametar položaja engl. the location parameter), η > 0 parametar skaliranja engl. the scale parameter) i β > 0 parametar oblika engl. the shape parameter) vidi npr. [1, 18, 60, 95]). Na funkciju F možemo gledati kao na kumulativnu funkciju distribucije vjerojatnosti CDF; kratica od engl. cumulative distribution function). Odgovarajuća funkcija gustoće vjerojatnosti PDF; kratica od engl. probability 4
Weibullovi modeli 5 density function) glasi: ft; α, β, η) = { β η ) β 1 t α η e t α η ) β t > α 0, t α. 2.2) Za α = 0, dobiva se 2-parametarska Weibullova distribucija koja se često u literaturi naziva standardnim Weibullovim modelom. Tipičan izgled Weibullove 3-parametarske distribucije prikazan je na slici 2.1. Ft; α, β, η) 1 α t Slika 2.1. Graf 3-parametarske Weibullove distribucije Za nenegativnu slučajnu varijablu T kažemo da je 3-parametarska Weibullova slučajna varijabla i pišemo T W α, β, η) ako su njezina kumulativna funkcija distribucije vjerojatnosti i funkcija gustoće vjerojatnosti zadane s 2.1) i 2.2). Weibullova 3-parametarska distribucija je vrlo fleksibilna. Dobrim izborom parametara oblika β mogu se dobiti različiti oblici funkcije gustoće vjerojatnosti slika 2.2). Na taj je način moguće dobiti aproksimacije drugih distribucija. Za vrijednost parametra 0 < β 1 funkcija gustoće je padajuća. U slučaju β = 1, Weibullova distribucija se svodi na 2-parametarsku eksponencijalnu distribuciju, a za β = 0.5 ona dobro aproksimira gamma distribuciju. Ako je β > 1, funkcija gustoće je zvonolika i unimodalna s maksimumom u točki α + η1 1/β) 1/β. Kada je β = 2 i α = 0 ona je jednaka Rayleigh-evoj distribuciji. Za β = 2.5 aproksimira lognormalu distribuciju. Dobra aproksimacija normalne distribucije dobiva se za β = 3.4. Upravo fleksibilnost Weibullove 3-parametarske distribucije je jedan od glavnih razloga njene široke upotrebe u statističkim istraživanjima, a naročito u teoriji pouzdanosti i teoriji životnog vijeka. Weibullova distribucija ima široku primjenu i u elektrotehnici [21, 59]), biologiji
Weibullovi modeli 6 [33, 88]), kemiji [61, 71]), medicini [82, 98]), meteorologiji [54, 91]), šumarstvu [27, 28]) i inženjerskim istraživanjima [1, 48, 60, 64]). Osim toga, u mnogim primijenjenim istraživanjima Weibullovi modeli se koriste i kao trend krivulje [3, 80, 84]). ft; α, β, η) β=9 β=0.5 β=1 β=3.4 β=2.5 β=2 Slika 2.2: Graf Weibullove 3-parametarske funkcije gustoće za različite vrijednosti parametra oblika β U primijenjenim istraživanjima nepoznate parametre α, β i η 3-parametarskog Weibullova modela treba procijeniti na osnovi uzorka t 1,..., t n koji se sastoji od n opažanja slučajne varijable T W α, β, η). U tu svrhu razvijene su mnoge statističke metode. U ovoj disertaciji naglasak će biti na metodi najmanjih kvadrata. t 2.2 Osnovni pojmovi teorije pouzdanosti U svrhu boljeg razumijevanja mogućnosti primjene Weibullova modela korisno je navesti osnovne stvari iz teorije pouzdanosti. Najjednostavnije rečeno pouzdanost nekog sustava je vjerojatnost da će taj sustav uspješno, bez otkaza, obaviti zadaću koja mu je namijenjena. Preciznije, neka je T slučajna varijabla koja označava vrijeme pojave otkaza, s funkcijom gustoće vjerojatnosti f i odgovarajućom kumulativnom funkcijom distribucije vjerojatnosti F. U teoriji pouzdanosti funkcija F se zove funkcija distribucije
Weibullovi modeli 7 otkaza engl. failure distribution ili life distribution). Dakle, u teoriji pouzdanosti F t) = P T t) predstavlja vjerojatnost da će sustav otkazati do trenutka t. Funkcija pouzdanosti engl. reliability function ili survivor function) Rt) definira se kao vjerojatnost bezotkaznog rada do vremenskog trenutka t, odnosno vjerojatnost da će odredeni element ili uredaj nadživjeti trenutak t. Dakle, Rt) = 1 F t) = P T > t). Za funkciju pouzdanosti koriste se i nazivi funkcija preživljavanja i funkcija opstanka. Uočimo da za Weibullovu 3-parametarsku distribuciju funkcija pouzdanosti glasi: t α Rt; α, β, η) = 1 F t; α, β, η) = e η ) β, t > α. Rt;α, β, η) 1 α t Slika 2.3. Graf Weibullove funkcija pouzdanosti za α = 1, β = 2 i η = 1.2 Funkcija hazarda engl. hazard function ili instantaneous failure rate) ht) definira se formulom ht) = lim t 0 P t < T t + t T > t), t gdje P t < T t + t T > t) označava uvjetnu vjerojatnost, tj. vjerojatnost da slučajna varijabla T poprimi vrijednost iz intervala t, t + t] ako je njezina vrijednost veća od t. Kako je P t < T t + t T > t) = P t < T t + t) P T > t) = F t + t) F t), Rt)
Weibullovi modeli 8 dobiva se ht) = ft) Rt) = ft) 1 F t). Za funkciju hazarda koriste se i nazivi funkcija rizika i funkcija intenziteta otkaza. Prema tome, ht) možemo interpretirati kao vjerojatnosti otkaza u sljedećoj jedinici vremena ukoliko je sistem doživio trenutak t. Za Weibullovu distribuciju funkcija rizika dana je izrazom: ht; α, β, η) = ft; α, β, η) 1 F t; α, β, η) = β η ) β 1 t α, t > α. η Funkcija rizika Weibullove 3-parametarske distribucije je monotono rastuća za β > 1, padajuća za 0 < β < 1 i konstantna za β = 1 slika 2.4). β 1 = 0.5 β 2 = 1 β 3 = 1.5 Slika 2.4: Funkcija rizika Weibullove 3-parametarske distribucije za α = 1, η = 1.2 i neke vrijednosti parametra β Primjedba 2.1 Za mnoge distribucije funkcija rizika ima oblik,,kade, kao na slici 2.5. Na početku faze početnih kvarova engl. infant mortality region) intenzitet kvarova je vrlo velik, ali s vremenom brzo opada. U fazi rada engl. constant failure rate region) intenzitet kvarova je gotovo konstantan. U posljednjoj trećoj tzv. fazi istrošenosti engl. wear-out region) na početku intenzitet kvarova je vrlo mali, ali s vremenom počinje brzo rasti. Razni Weibullovi modeli nabrojani u točki 2.3 koriste se za modeliranje krivulja,,kade. Više o tome može se pronaći u [47].
Weibullovi modeli 9 Faza početnih kvarova Faza rada Faza istrošenosti ht) t 1 t 2 t Slika 2.5. Krivulja,,kade Kumulativna funkcija rizika engl. cumulative hazard rate) Ht) definirana je izrazom Ht) = t 0 hx)dx. Lako je provjeriti da za Weibullovu 3-parametarsku distribuciju kumulativna funkcija rizika glasi ) β t α Ht; α, β, η) =. η Srednje vrijeme otkaza T SR definira se kao matematičko očekivanje slučajne varijable T : T SR = E[T ] = 0 tft)dt. Sada ćemo navesti nekoliko ilustrativnih primjera na koje ćemo se nadalje često pozivati. Na tim primjerima u poglavlju 3 ilustrirat ćemo primjenu raznih metoda za procjenu parametara. Primjer 2.1 U tablici 2.1 navedeni su stvarni podatci preuzeti iz [60], koji predstavljaju otkazivanje jednog dijela fotokopirnog stroja, valjka za čišćenje tonera engl. cleaning web). Stupac,,Brojač predstavlja broj kopija napravljenih do trenutka zamijene
Weibullovi modeli 10 valjka, a stupac,,dani predstavlja odgovarajući broj dana mjerenih od trenutka kada se fotokopirni stroj počeo koristiti). Tablica 2.1. Otkazi valjka za čišćenje Brojač Dani Brojač Dani 60 152 29 900 362 1356 132 079 128 933 785 1412 365 075 397 938 100 1448 427 056 563 994 597 1514 501 550 722 1 045 893 1583 597 739 916 1 068 124 1609 675 841 1016 1 077 537 1640 716 636 1111 Neka t i predstavlja i to vrijeme otkaza. Razlike dviju uzastopnih vrijednosti iz stupca,,dani daju uočena vremena otkaza t i. Ta vremena zajedno s odgovarajućom uredenom statistikom prikazan su u tablici 2.2: Tablica 2.2. Vrijeme otkaza t i i uredena statistika t i) u odnosu na broj dana i 1 2 3 4 5 6 7 8 9 10 11 12 13 14 t i 99 269 166 159 194 100 95 245 56 36 66 69 26 31 t i) 26 31 36 56 66 69 95 99 100 159 166 194 245 269 Vrijeme otkaza takoder možemo promatrati ovisno o broju napravljenih kopija. U tom slučaju imamo sljedeći skup podataka:
Weibullovi modeli 11 Tablica 2.3. Vrijeme otkaza t i i uredena statistika t i) u odnosu na broj kopija i 1 2 3 4 5 6 7 t i 71 927 232 996 61 981 74 494 96 189 78 102 40 795 t i) 4 315 9 413 22 231 33 423 40 795 51 296 56 497 i 8 9 10 11 12 13 14 t i 183 726 33 423 4 315 56 497 51 296 22 231 9 413 t i) 61 981 71 927 74 494 78 102 96 189 183 726 232 996 U inženjerskim modeliranjima često se pretpostavlja da je vrijeme otkaza T Weibullova 3-parametarska slučajna varijabla s kumulativnom funkcije distribucije vjerojatnosti 2.1). Sljedeća propozicija daje nam vrlo jednostavan način generiranja 3-parametarske Weibullove distribucije. Propozicija 2.1 Neka su zadani realni brojevi α 0 i β, η > 0. Ako je U uniformno jednoliko) distribuirana slučajna varijabla nad intervalom 0, 1), onda je T = α + η ln U) 1 β W α, β, η). Dokaz. Zaista, ) ) β P T t) = P α + η ln U) 1 β t α t) = P ln U η = P U e t α η )β) t α = 1 e η )β. Primjer 2.2 Sljedeći Mathematica program generira slučajne vrijednosti 3-parametarske Weibullove varijable s parametrima α = 15, β = 2.5 i η = 30. Needs["Statistics ContinuousDistributions "]; udist = UniformDistribution[0, 1]; alfa = 15; eta = 30; beta = 2.5; data = Sort[alfa + eta*-log[randomarray[udist, 20]])^1/beta)]
Weibullovi modeli 12 Podaci navedeni u tablici 2.4 dobiveni su korištenjem gore navedenog programa. Tablica 2.4. Generirane vrijednosti Weibullove varijable 22.9098 39.7371 24.3443 41.8352 24.8049 45.0089 29.4160 45.8594 29.7389 46.2518 32.8856 46.4610 35.8976 53.2659 36.6185 56.0267 36.7394 66.5152 36.7917 73.5136 2.3 Klasifikacija Weibullovih modela Iako Weibull nije bio prvi koji je upotrijebio model 2.1), sam model vjerovatno ne bi postigao toliku popularnost bez njegovog zalaganja. U radu [95] on navodi sedam studija kod kojih su korišteni 2-parametarski i 3-parametarski Weibullov model, a u radu [96] napravio je iscrpan popis referenci u kojima su se do 1977. godine koristila ta dva modela. Taj popis sadrži 1019 radova, od čega je 38 napisao sam Weibull, kao i klasifikaciju radova po područjima primjene. Iscrpan popis referenci koje sadrže i novije primjena tih modela kao što su modeliranje čvrstoće materija, veličine Antarktičkog ledenjaka, napuknuća u betonu, učestalost poplava i potresa, distribuciju brzine vjetra, veličinu kapljica i slično) može se pronaći u [60] i [77]. Popularnost ta dva modela dovela je do njihovih raznih modifikacija i generalizacija, koje se s obzirom na vezu sa standardnim Weibullovim modelom mogu podijeliti u 7 različitih grupa vidi npr. [60]). Navedimo ukratko te grupe modela kao i neke specijalne modele unutar njih: Modeli tipa I: Ovi modeli se dobivaju transformacijom standardne Weibullove slučajne varijable T. Ta transformacija može biti linearna i nelinearna. Lako je provjeriti da se linearnom transformacijom Z = T + α dobiva 3-parametarski Weibullov model. Nadalje, nelinearnom tranformacijom Z = η2 T
Weibullovi modeli 13 kao rezultat se dobiva inverzni Weibullov model engl. inverse or reverse) Weibull model) čija funkcija distribucije glasi: Gt; β, η) = e η t ) β, t > 0. Odgovararajuća 3-parametarska generalizacija Gt; α, β, η) = e η t α) β, t > α dobiva se transformacijom Z = α + η2 T α. Napomenimo da je problem egzistencije optimalnih parametara za 3-parametarsku inverznu Weibullovu distribuciju razmatran u radu Marković i Jukić [55]. Modeli tipa II su razne generalizacije modela tipa I. Ovoj grupi pripadaju eksponencirana Weibullova distribucija engl. exponentiated Weibull distribution) [ Gt; α, β, η, ν) = 1 e t α η ) β] ν, t > α, α 0; β, η, ν > 0, 4 - parametarski Weibullov model Gt; a, b, β, λ) = 1 e λ t a b t ) β, 0 a t b <, λ, β > 0 i 5 - parametarski Weibullov model Gt; a, b, β 1, β 2, λ) = 1 e t a) β 1 λ b t) β 2, 0 a t b <, λ, β 1, β 2 > 0. Modeli tipa III: modeli jedne varijable izvedeni iz jedne ili više distribucija od kojih je jedna standardna Weibullova distribucija. Modeli tipa IV: modeli kod kojih su parametri promjenjive varijable.
Weibullovi modeli 14 Modeli tipa V: diskretni modeli, odnosno modeli kod kojih slučajna varijabla prima samo nenegativne cjelobrojne vrijednosti. Modeli tipa VI: modele s više varijabli. Modeli tipa VII: stohastički modeli. Weibullovi modeli često se koriste u svrhu empirijskog modeliranja. Za razliku od teorijskog modeliranja, u ovom slučaju nije poznata teorija koja je povezana s problemom koji se modelira. Ova vrsta modela naziva se modeli ovisni o podacima ili,,black-box modeli. Efektivno empirijsko modeliranje zahtjeva: dobro poznavanje metodologije za izgradnju modela, dobro poznavanje svojstva različitih modela, alate i tehnike za procjenu koliko je odredeni model pogodan za modeliranje danog skupa podataka. Sam proces empirijskog modeliranja uključuje sljedeće korake: prikupljanje podataka, analiza podataka odabir modela, procjenu parametara i utvrdivanje pogodnosti vrednovanje) modela. Napomenimo da izbor modela nije uvijek jasan i često se svodi na metodu pokušaja i promašaja. Za procjenu pogodnosti odredenog tipa modela odnosi se za modele tipa I-III) ponekad se koristi Weibullov crtež vjerojatnostni engl. Weibull probability plot). Više o crtežu vjerojatnosti bit će riječi u sljedećem poglavlju, gdje će biti opisane i neke druge metode za procjenu parametara u 3-parametarskom Weibullovom modelu. Kako smo napomenuli, Weibullovi modeli koriste se za modeliranje podataka o životnom vijeku engl. life data) koji su specifični iz razloga što je potrebno poznavanje,,starosti dijelova. Postoje dvije vrste ovakvih podataka: 1. standardni podaci o vijeku, kod kojih je poznata točna starost dijelova koji su otkazali i onih koji nisu otkazali, i 2. grupirani intervalni) podaci o vijeku, kod kojih je točna starost nepoznata, te su podaci grupirani u vremenske intervale Pod starosti možemo podrazumijevati vrijeme rada nekog uredaja, broj njegovih startova i zaustavljanja, prijedenu kilometražu, vrijeme pod visokim opterećenjem ili visokom temperaturom i mnoge druge parametre. Prigodni parametar starosti obično je jednoznačno odreden samim modelom, no ponekad sam model ili nedovoljno poznavanje istog daje nekoliko mogućih izbora parametra. Ukoliko se kao model koristi standardni Weibullov model, tada je najbolji izbor parametra starosti moguće odrediti koristeći Weibullov crtež vjerojatnosti.
Weibullovi modeli 15 Primjer 2.3 Promatramo li problem modeliranja,,starenja kompresora klima uredaja, najbolji parametri bi vjerovatno bili ili ukupno vrijeme koje je klima uredaj bio u funkciji ili točan broj paljenja i gašenja uredaja. Medutim, ukoliko podatake koje želimo modelirati dobijemo od servisera klima uredaja, dostupni će nam biti jedino podaci o vremenu koje je prošlo izmedu dva servisiranja, te ćemo ih bez obzira što oni nisu,,najbolji parametri starenja iskoristiti za modeliranje. Primjer 2.4 Kod problema modeliranja otkaza lopatica turbine elektrane, kao parametri starenja mogu se koristiti ukupno vrijeme rada turbine, vrijeme pod utjecajem visoke temperature ili broj toplo hladnih ciklusa. U ovom slučaju, iskustva inženjera koji održavaju turbine mogla bi pomoći pri izboru izmedu potencijalnih parametara starenja. Kako i sami podaci u sebi mogu nositi velike pogreške posebno u slučaju grupiranih podataka), samo utvrdivanje pogodnosti modela treba odrediti da li su odstupanja nastala zbog lošeg izbora modela ili su uzrokovana greškama u samim podacima.
Poglavlje 3 Klasične metode za procjenu parametara u Weibullovom modelu Metoda maksimalne vjerodostojnosti kraće ML) smatra se najboljom općom statističkom metodom za nalaženje dobrih procjenitelja nepoznatih parametara. Procjenitelji dobiveni ovom metodom imaju dobra i lako odredljiva asimptotska svojstva, te su stoga posebno dobri za procjenjivanje na osnovi velikih uzoraka. Nažalost ML-procjenitelj ne mora uvijek postojati, a nije ni jedinstven. Dokaz egzistencije i jedinstvenosti ML-procjenitelja za 2-parametarski Weibullov model može se naći u radovima [10] i [73]. U ovoj radnji težište je na problemu procjene parametara u 3-parametatrskom Weibullovom modelu. Kao što se može pokazati, kod 3-parametarskog Weibullova modela standardni ML-procjenitelj ne postoji vidi npr. [43] i [48]). U postojećoj literaturi puno pažnje posvećeno je tom problemu nepostojanja ML-procjenitelja vidi npr. [11, 48, 60, 64, 86]). U ovom poglavlju predstavit ćemo samo nekoliko metoda koje se u primijenjenim istraživanjima standardno koriste za procjenu parametara u Weibullovom 2-parametarskom i 3-parametarskom modelu. Te metode se najčešće dijele u dvije grupe: grafičke i analitičke. Zbog svoje jednostavnosti i brzine grafičke metode su popularne u inženjerskim istraživanjima. Nasuprot njima, analitičke metode su matematički egzaktnije i pomoću njih se u pravilu dobiva kvalitetniji procjenitelj nepoznatih parametara, ali nažalost, u slučaju malog uzorka podataka dobivena procjena obično nije zadovoljavajuća vidi npr. [48, 60, 64]). Upravo zbog toga u posljednje vrijeme metoda najmanjih kvadrata postaje sve popularnija numerička metoda za procjenu parametara. 16
Klasične metode za procjenu parametara u Weibullovom modelu 17 3.1 Grafičke metode Predstavit ćemo dvije grafičke metode: Weibullov crtež vjerojatnostni i crtež rizika. Obje metode primjenjuju se za procjenu parametara u standardnom 2-parametarskom) Weibullovom modelu. Uz male modifikacije te se metode mogu primijeniti i za procjenu parametara u 3-parametarskom Weibullovom modelu. 3.1.1 Weibullov crtež vjerojatnosti Weibullov crtež vjerojatnosti WPP; kratica od engl. Weibull probability plot) je prva metoda koja je povijesno korištena za procjenu parametara Weibullovog modela, a i danas se koriste modernizirane varijante ove metode. Detaljno je opisana u radu [94]. Metoda se temelji na takozvanoj Weibullovoj transformaciji. WPP metoda za 2-parametarski Weibullov model. Weibullovu distribuciju Zapišemo li standardnu F t; β, η) = 1 e t η) β, t 0 u obliku e t η) β = 1 F t; β, η), a zatim logaritmiramo, dobivamo ) β t = ln [1 F t; β, η)]. η Nakon množenja gornjeg izraza s 1 i ponovnog logaritmiranja imamo β ln t η = ln [ ln [1 F t; β, η)]], odnosno ln [ ln [1 F t; β, η)]] = β ln t β ln η.
Klasične metode za procjenu parametara u Weibullovom modelu 18 Ukoliko uvedemo oznake y := ln [ ln [1 F t; β, η)]], x := ln t, a := β, b := β ln η posljednju jednakost možemo zapisati u lineariziranom obliku y = ax + b 3.1) koji je ključan za razumijevanje Weibullovog crteža vjerojatnosti. Neka su t 1, t 2,..., t n opažanja nenegativne Weibullove slučajne varijable T. WPP postupak je sljedeći: 1. Posložiti podatke u rastućem poretku t 1) t 2) t n). Tako poredane podatke zovemo uredena statistika; 2. Izračunati vrijednosti empirijske funkcije distribucije ˆF t i) ), i = 1,..., n; [ 3. Izračunati y i = ln ln[1 ˆF ] t i) )], i = 1,..., n; 4. Izračunati x i = ln t i), i = 1,..., n; 5. Nacrtati točke T i = x i, y i ) u koordinatnom sustavu; 6. Nekom metodom odrediti pravac y = ˆβx + ˆb koji najbolje aproksimira zadane podatke; 7. Za procjenu parametra oblika β uzeti koeficijent smjera ˆβ tog pravca; 8. Procjena parametra skaliranja ˆη dana je s ˆη = exp ˆb/ ˆβ). U drugom koraku potrebno je izračunati vrijednosti empirijske funkcije distribucije. U tu svrhu najčešće su koriste procjene sljedećeg oblika vidi [1, 48, 60, 64, 100]) ˆF t i) ) = i c, 0 c < 1, 3.2) n + 1 2c
Klasične metode za procjenu parametara u Weibullovom modelu 19 odakle specijalno dobivamo: - procjenitelj prosječnog ranga engl. mean rank estimator) za c = 0 ˆF t i) ) = i n + 1, - procjenitelj medijan ranga engl. median rank estimator) za c = 0.5 ˆF t i) ) = i 0.5, n - procjenitelj Benardovog medijan ranga eng. Benard s median rank estimator) za c = 0.3 ˆF t i) ) = i 0.3 n + 0.4. U šestom koraku nekom metodom potrebno je odrediti pravac koji najbolje aproksimira dobivene podatke. Ponekad se predlaže da se taj pravac odredi jednostavnim crtanjem pravca koji je vizualno najbliži podacima, te nakon toga procijeni njegov koeficijent smjera ˆβ i odsječak ˆb na osi ordinata, no najčešće se u tu svrhu koristi metoda najmanjih kvadrata koja je opisana u točki 4.2.3. WPP metoda za 3-parametarski Weibullov model. Uz male modifikacije WPP metoda za standardni Weibullov model može se koristiti i za procjenu parametara Weibulove 3-parametarske distribucije, koja zbog dodatnog parametra α ima veću fleksibilnost. U knjizi [1] navedena su četiri kriterija koja trebaju biti zadovoljena prije upotrebe 3-parametarskog Weibullovog modela u primijenjenim istraživanjima: 1. Weibullov crtež treba pokazivati zakrivljenost; 2. Treba postojati fizikalno objašnjenje zbog čega slučajna varijabla T npr. vrijeme otkaza) ne može primiti vrijednost manju od α. Ponekad se zbog toga parametar α naziva i parametrom garancije; 3. Treba imati veći uzorak podataka na raspolaganju barem 21). Ukoliko je od prije poznato da je treći parametar α potreban, tada je i manji uzorak podataka 8-10 podataka) prihvatljiv;
Klasične metode za procjenu parametara u Weibullovom modelu 20 4. Koeficijent korelacije trebao bi se značajno povećati u odnosu na 2-parametarski model. Konkavne,,slike podataka se javljaju puno češće od konveksnih. Konveksnost sugerira negativnu vrijednost parametra α što je teže fizikalno argumentirati. U tom slučaju možemo na primjer smatrati da su neki dijelovi otkazali prije instalacije. U [18] se napominje da velika vrijednost parametra oblika β > 6) takoder ukazuje da je parametar položaja α različit od nule. Za 3-parametarsku Weibullovu distribuciju odgovarajuća Weibullova transformacija glasi ln [ ln [1 F t; α, β, η)]] = β lnt α) β ln η. Uočimo da je uvodenjem novog parametra α izgubljena linearna veza. Kako bi se riješio ovaj problem, prvo se na neki način procijeni parametar položaja ˆα, te se nakon toga podaci t i prvo transformiraju u nove podatke τ i := t i ˆα, a zatim se parametar oblika β i parametar skaliranja η procjenjuju na prije opisan način WPP metodom za 2-parametarski Weibullov model. Najjednostavniji način procjene parametra α je dan s ˆα = t 1). U radu [60] obrazloženo je zašto je ˆα = t 1) 1 bolji procjenitelj. n Primjedba 3.1 U inženjerskim primjenama neki autori sugeriraju da se izbor parametra α napravi na sljedeći heuristički način: Proizvoljno odrediti procjenu ˆα 1 u slučaju konkavnih podataka početni izbor treba biti pozitivan broj, a u slučaju konveksnih negativan), a zatim nacrtati podatke τ i := t i ˆα. Ukoliko novi podaci ne pokazuju zakrivljenost prihvatiti odabrani parametar kao dobru procjenu, u suprotnom u ovisnosti o novoj slici ponovno pokušati pogoditi dobru procjenu parametra položaja. U slučaju ako je slika iz konveksne postala konkavna procjenjeni parametar trebamo povećati, a ako je slika iz konkavne postala konveksna parametar trebamo smanjiti. Ukoliko je slika zadržala konveksni oblik, parametar smanjujemo, a ako je zadržala konkavni oblik parametar povećavamo. U radovima [51, 66, 77] predlaže se da se u slučaju konkavnih podataka za vrijednost parametra položaja α uzme ˆα = t 2) t 3) t 2) )t 2) t 1) ) t 3) t 2) ) t 2) t 1) ), 3.3)
Klasične metode za procjenu parametara u Weibullovom modelu 21 a u slučaju konveksnih podataka vrijednost ˆα = t 3) t 2) )t 2) t 1) ) t 3) t 2) ) t 2) t 1) ) t 2). 3.4) Za procjenu parametra oblika α standardno se koristi i metoda crtež vjerojatnosti crteža koeficijenata korelacije engl. Probability Plot Correlation Coefficient Plot). Za niz vrijednosti parametra položaja izračuna se koeficijent korelacije crteža vjerojatnosti pridruženog toj vrijednosti koeficijenta položaja, te se tako dobiveni podaci prikažu grafički. Vrijednost parametra α kojoj je pridružen maksimalni koeficijent korelacije uzima se za optimalnu aproksimaciju parametra lokacije ˆα. Vrijednost koeficijenta korelacije možemo aproksimirati pomoću izraza ˆρ = n x i x)y i ȳ) n x i x) 2 n y i ȳ) 2 Više o Weibullovu crtežu vjerojatnosti može se pronaći u [1, 48, 60, 64, 70]. Primjer 3.1 Ilustrirajmo WPP metodu na podacima t i iz primjera 2.1. Nakon odabira empirijske funkcije distribucije ˆF, u koordinatnom sustavu treba nacrtati transformirane podatke x i, y i ), i = 1,..., n, gdje je [ [ x i = ln t i), y i = ln ln 1 ˆF ]] t i) ), Za podatke iz tablice 2.2 i za empirijsku funkciju distribucije računatu metodom prosječnog ranga ti su podaci prikazani na slici 3.1. Za ove podatke sada je potrebno odrediti pravac koji ih najbolje aproksimira. U tu svrhu, za ove podatke kao i za one iz tablice 2.3 mi ćemo koristiti metodu najmanjih kvadrata koja je opisana u točki 4.2.3. Korištenjem različitih empirijskih funkcija distribucije dobiveni su sljedeći procjenitelji parametara β i η, koje prikazujemo u tablici 3.1. Pri tome SS označava sumu kvadrata svih rezidula.
Klasične metode za procjenu parametara u Weibullovom modelu 22 y 1.0 0.5 3.5 4.0 4.5 5.0 5.5 x 0.5 1.0 1.5 2.0 2.5 Slika 3.1. Transformirani podaci iz tablice 2.2 Empirijska distribucija Prosječni rang Medijan rang Benardov rang ˆβ = 1.36284 ˆβ = 1.58497 ˆβ = 1.48146 Podaci iz tablice 2.2 ˆη = 131.097 ˆη = 128.183 ˆη = 129.357 SS = 0.0242357 SS = 0.0379534 SS = 0.0308529 ˆβ = 0.966233 ˆβ = 1.1445 ˆβ = 1.06025 Podaci iz tablice 2.3 ˆη = 81961.2 ˆη = 78691.8 ˆη = 80049.2 SS = 0.0507265 SS = 0.0457589 SS = 0.048644 Tablica 3.1: Procjenjeni parametri za standardni Weibullov model na osnovu otkaza čistača valjka s obzirom na broj dana i broj kopija Primjetimo da je u slučaju aproksimacije s obzirom na broj dana podaci iz tablice 2.2) najbolja aproksimacija SS je najmanji) dobivena korištenjem procjenitelja prosječnog ranga, dok je kod aproksimacije s obzirom na broj kopija podaci iz tablice 2.3) najbolja aproksimacija postignuta korištenjem procjenitelja medijan ranga empirijske funkcije distribucije. Na slici 3.2 prikazani su originalni podaci iz tablice 2.2 i graf 2-parametarske Weibullove distribucije t F t; ˆβ, ˆη) čiji su parametri dobiveni koriš-
Klasične metode za procjenu parametara u Weibullovom modelu 23 tenjem procjenitelja prosječnog ranga. Ft; ˆβ, ˆη) 0.8 0.6 0.4 0.2 50 100 150 200 250 300 t Slika 3.2: Originalni podaci i 2-parametarska aproksimacija s obzirom na broj dana i prosječni rang Ukoliko podatke želimo aproksimirati 3-parametarskim Weibullovim modelom potrebno je prvo procijeniti vrijednost parametra položaja α. U tu svrhu koristit ćemo formulu 3.3) alternativni pristup) i metodu temeljenu na koeficijentima korelacije. U slučaju druge metode procjenjena vrijednost koeficijenta korelacije u ovom primjeru izračunata je za vrijednosti parametara α i = t 1) i 1), i = 1,..., 100. Dobiveni 100 procjenitelji parametara prikazani su u tablici 3.2. Na slici 3.3 prikazani su originalni podaci iz tablice 2.2 i graf 3-parametarske Weibullove distribucije t F t; ˆα, ˆβ, ˆη), gdje je ˆα izračunat prema 3.3), a parametri ˆβ i ˆη su dobiveni korištenjem procjenitelja prosječnog ranga za empirijsku funkciju distribucije.
Klasične metode za procjenu parametara u Weibullovom modelu 24 Empirijska distribucija Prosječni rang Medijan rang Benardov rang ˆα = 24.75 ˆα = 25.1667 ˆα = 24.75 Podaci iz tablice 2.2 ˆβ = 0.684935 ˆβ = 0.764788 ˆβ = 0.752056 alternativni pristup) ˆη = 100.972 ˆη = 95.4095 ˆη = 97.6209 SS = 0.0397861 SS = 0.0403428 SS = 0.0363251 ˆα = 18.72 ˆα = 22.62 ˆα = 21.06 Podaci iz tablice 2.2 ˆβ = 0.950657 ˆβ = 0.9561 ˆβ = 0.955168 koeficijenti korelacije) ˆη = 106.931 ˆη = 97.5073 ˆη = 101.434 SS = 0.016313 SS = 0.0219809 SS = 0.019184 ˆα = 2940.76 ˆα = 3326.2 ˆα = 2940.76 Podaci iz tablice 2.3 ˆβ = 0.763538 ˆβ = 0.859474 ˆβ = 0.841251 alternativni pristup) ˆη = 80757.7 ˆη = 76547.7 ˆη = 78178.0 SS = 0.0786588 SS = 0.0796322 SS = 0.0748265 ˆα = 0 ˆα = 0 ˆα = 0 Podaci iz tablice 2.3 ˆβ = 0.966233 ˆβ = 1.1445 ˆβ = 1.06025 koeficijenti korelacije) ˆη = 81961.2 ˆη = 78691.8 ˆη = 80049.2 SS = 0.0534441 SS = 0.0457589 SS = 0.048644 Tablica 3.2: Procjenjeni parametri za 3-parametarski Weibullov model na osnovu otkaza čistača valjka s obzirom na broj dana i broj kopija Ft; ˆα, ˆβ, ˆη) 0.8 0.6 0.4 0.2 50 100 150 200 250 300 t Slika 3.3: Originalni podaci i 3-parametarska aproksimacija s obzirom na broj dana i prosječni rang
Klasične metode za procjenu parametara u Weibullovom modelu 25 3.1.2 Crtež rizika Kumulativna funkcija rizika Ht) standardnog Weibullovog modela dana je izrazom Ht) = ) β t, η i ona je nelinearna funkcija od t. Logaritmiranjem se dobiva ln[ht)] = β ln t β ln η, odakle se vidi da se pomoću supstitucija y = ln[ht)] i x = ln t dobiva linearna zavisnost y = βx β ln η. Procjena parametara provodi se na sličan način kao kod Weibullovog crteža vjerojatnosti. Postupak se sastoji od sljedećih koraka: 1. Posložiti podatke u rastućem poretku: t 1) t 2) t n) ; 2. Za svaki od tako posloženih podataka t i) treba odrediti obrnuti rang koji se definira kao k i := n i + 1, gdje je s i označen rang podatka t i) ; 3. Za svaki podatak t i) izračunati vrijednost rizika kao 100 k i ; 4. Za svaki podatak t i) izračunati kumulativni rizik zbrajanjem svih prethodnih vrijednosti rizika, tj. po formuli Ĥt i) ) = i j=1 100 k j ; 5. Izračunati x i = ln t i), i = 1,..., n; 6. U kordinatnom sustavu nacrtati točke x i, y i ), gdje je y i = ln Ĥt i));
Klasične metode za procjenu parametara u Weibullovom modelu 26 7. Nekom metodom odrediti pravac y = ˆβx + ˆb koji najbolje aproksimira zadane podatke. U praksi to se najčešće radi metodom najmanjih kvadrata; 8. Za procjenu parametra oblika β uzeti koeficijent smjera ˆβ tog pravca; 9. Za procjena parametra skaliranja η uzeti vrijednost ˆη = exp ˆb/ ˆβ). Metoda se može koristiti i za procjenu parametara u 3-parametarskom Weibullovom modelu, s time da se kao i kod Weibullovog crteža prvo treba odrediti procjena ˆα koeficijenta položaja, i tada provesti gore opisani postupak za nove podatke τ i = t i ˆα, i = 1,..., n. Više o crtežu rizika može se vidjeti u [18, 48, 60, 64]. Primjer 3.2 Za podatke zadane u tablicama 2.2 i 2.3 koristeći crtež rizika procijenit ćemo nepoznate parametre za standardni i 3-parametarski Weibullov model. Procjenjene vrijednosti parametara navedene su u tablici 3.3. Podaci iz tablice 2.2 Podaci iz tablice 2.3 ˆβ = 1.4042 ˆβ = 0.993844 Standardni Weibullov model ˆη = 4.6636 ˆη = 736.032 SS = 3628.42 SS = 5449.89 ˆα = 24.75 ˆα = 2940.76 3-parametarski Weibullov model ˆβ = 0.702012 ˆβ = 0.783732 alternativni pristup) ˆη = 0.128175 ˆη = 205.29 SS = 18580.1 SS = 13008.0 ˆα = 17.16 ˆα = 0 3-parametarski Weibullov model ˆβ = 1.02307 ˆβ = 0.993844 koeficijenti korelacije) ˆη = 1.12039 ˆη = 736.032 SS = 6093.72 SS = 5449.89 Tablica 3.3: Procjenjeni parametri za standardni i 3-parametarski Weibullov model na osnovu otkaza čistača valjka s obzirom na broj dana i broj kopija Na slici 3.4 prikazani su originalni podaci iz tablice 2.2 i graf funkcije t Ht; ˆβ, ˆη).
Klasične metode za procjenu parametara u Weibullovom modelu 27 Ht; ˆβ, ˆη) 350 300 250 200 150 100 50 50 100 150 200 250 300 t Slika 3.4. podaci iz tablice 2.2 i graf funkcije t Ht; ˆβ, ˆη) 3.2 Analitičke metode Opisat ćemo dvije statističke metode koje se standardno koriste za problem procjene parametara u statističkim modelima: metodu momenata i metodu maksimalne vjerodostojnosti. Iako se statističke metode često koriste kod rješavanja problema procjene parametara, rezultati dobiveni korištenjem ovih metoda nisu pouzdani u slučaju malog uzorka podataka, te se ne preporučuju za korištenje u takvim situacijama. 3.2.1 Metoda momenata Metoda momenata jedna je od često korištenih i najvjerojatnije najstarija statistička metoda za procjenu parametara nekog modela. Sam koncept statističkih momenata uveo je K. Pearson 1857.-1936.). Metoda momenata se temelji na pretpostavci da su vrijednosti statističkih momenata izračunatih na danom uzorku t 1,..., t n bliske vrijednostima teorijskih momenata vjerojatnosne distribucije koja je pretpostavljena u teorijskom modelu vidi npr. [48, 64, 68]). Ta pretpostavka omogućava formiranje sustava jednadžbi u kojima je na jednoj strani dotični teorijski moment, a na drugoj strani vrijednost odgovarajućeg uzoračkog momenta. Nedostatak metode momenata u odnosu na neke druge metode npr. ML metodu ili metodu najmanjih kvadrata) je to što se ona može primjeniti samo na necenzurirane podatke i što uzorak mora biti
Klasične metode za procjenu parametara u Weibullovom modelu 28 dovoljno velik. Metoda momenata za standardnu Weibullovu slučajnu varijablu T. Za slučajnu varijablu T W β, η) ishodišni pomoćni) moment k-tog reda glasi vidi npr. [60, 77]): M k := E[T k ] = Γ 1 + k ), 3.5) β gdje je Γ tzv. gama funkcija definirana formulom Γu) = 0 t u 1 e t dt. Osnovna svojstva te funkcije su: i) Γ1) = 1, Γu) = u 1)Γu 1) za u > 1, odakle slijedi Γn) = n 1)! za prirodan broj n; ii) Za svaki prirodan broj n je Γ n + 1 ) = 2 1 3 5 7 2n 1) π. 2n Specijalno, za k = 1 iz 3.5) dobivamo da je matematičko očekivanje standardne Weibulllove slučajne varijable T zadano s µ = ET ) = ηγ 1 + 1 ). 3.6) β Nadalje, centralni glavni) moment k-tog reda standardne Weibulllove slučajne varijable T glasi: k ) k µ k = 1) i Γ 1 + k i ) [ Γ 1 + 1 )] i. 3.7) i β β i=0 Specijalno, varijanca σ 2 i treći centralni moment µ 3 su zadani formulama:
Klasične metode za procjenu parametara u Weibullovom modelu 29 σ 2 = η [Γ 2 1 + 2 ) [ Γ 1 + 1 )] 2 ] β β 3.8) µ 3 = η {Γ 3 1 + 3 ) 3Γ 1 + 1 ) Γ 1 + 2 ) [ + 2 Γ 1 + 1 )] } 3. 3.9) β β β β Budući standardni Weibullov model ima dva parametra, procjenitelji parametara modela mogu biti odredeni koristeći očekivanje uzorka t i varijancu uzorka s 2. Oni su zadani sljedećim formulama t = t i n 3.10) i s 2 = t i t) 2 n 1. 3.11) Kako bi se dobila nepristranost procjenitelja varijance uzorka, u nazivnik od 3.11) stavlja se n 1, a ne n. Koristeći 3.6) i 3.8), procjenu ˆβ parametra oblika β dobivamo kao rješenje jednadžbe s 2 t = Γ1 + 2ˆβ ) 2 Γ 2 1 + 1ˆβ 1, 3.12) ) a za procjenu parametra skaliranja η uzima se ˆη = t Γ1 + 1ˆβ ). 3.13) Zbog prisustva složene Γ funkcije jednadžbu 3.12) treba riješiti nekom numeričkom metodom.
Klasične metode za procjenu parametara u Weibullovom modelu 30 Metoda momenata za 3-parametarsku Weibullovu slučajnu varijablu T. U ovom slučaju matematičko očekivanje slučajne varijable T W α, β, η) je dano formulom µ = ET ) = α + ηγ 1 + 1 ), 3.14) β a varijanca i centralni momenti zadani su istim formulama 3.8) i 3.9) kao i kod standardnog modela. Nepoznate parametre α, β i η dobivaju se rješavanjem sljedećeg sustava jednadžbi koji se dobiva izjednačavanjem uzoračkih momenata s odgovarajućom teorijskim momentima: t = α + ηγ 1 + 1 ) β s 2 = η [Γ 2 1 + 2 ) [ Γ 1 + 1 )] 2 ] β β ˆµ 3 = η {Γ 3 1 + 3 ) 3Γ 1 + 1 ) Γ 1 + 2 ) [ + 2 Γ 1 + 1 )] } 3, β β β β gdje je ˆµ 3 centralni moment uzorka definiran formulom: ˆµ 3 = t i t) 3. n Ovaj sustav izuzetno je zahtjevan za rješavanje, a osim toga ne daje dobre rezultate u slučaju malog uzorka. Neke modifikacije metode momenata mogu se pronaći u [60]. Primjer 3.3 Primjenom metode momenata za standardni Weibullov model i podatke iz tablica 2.2 i 2.3 dobivaju se sljedeće vrijednosti za nepoznate parametre:
Klasične metode za procjenu parametara u Weibullovom modelu 31 Podaci iz tablice 2.2 Podaci iz tablice 2.3 ˆβ = 1.47857 ˆβ = 1.13819 ˆη = 127.24 ˆη = 76125.6 Tablica 3.4: Procjenjeni parametri metodom momenata za standardni Weibullov model na osnovu otkaza čistača valjka s obzirom na broj dana i broj kopija Prilikom procjene parametara za 3-parametarski Weibullov model metodom momenata u oba slučaja se za parametar položaja α dobije negativan broj, te ove rezultate ne navodimo. Razlog negativnosti procjenjenog parametra je veličina uzorka. Poznato je da većina statističkih metoda u slučaju malog uzorka daje loše procjene parametara, te se iz tog razloga preporučuje upotreba drugih metoda kao što je na primjer metoda najmanjih kvadrata. Promotrimo i sljedeći primjer. Primjer 3.4 U tablici 3.5 prikazane su vrijednosti procjenjenih parametara dobivene primjenom metodom momenata na generirane podatke navedene u primjeru 2.2: Standardni model ˆβ = 3.37273, ˆη = 45.9139 3-parametarski model ˆα = 16.9743, ˆβ = 1.86718, ˆη = 27.3194 Tablica 3.5: Procjenjeni parametri metodom momenata za standardni i 3-parametarski Weibullov model na osnovu generiranih podataka Na sljedećoj slici prikazani su originalni podaci t i, F t i ; 15, 2.5, 30)) i aproksimacije odgovarajućom Weibullovom distribucijom čiji su parametri procijenjeni metodom momenata.
Klasične metode za procjenu parametara u Weibullovom modelu 32 Ft; ˆβ, ˆη) 1.0 Ft; ˆα, ˆβ, ˆη) 1.0 0.8 0.8 0.6 0.6 0.4 0.4 0.2 0.2 20 40 60 80t 20 40 60 80t Slika 3.5: Originalni podaci i aproksimacija standardnom i 3-parametarskom Weibullovom distribucijom 3.2.2 Metoda maksimalne vjerodostojnosti Metoda maksimalne vjerodostojnosti ili metoda najveće vjerojatnosti ML-metoda; kratica od engl. Maximum Likekihood Method) jedna je od najpopularnijih statističkih metoda iz razloga što se može primjeniti na većinu teorijskih distribucija, te na razne uzorke cenzuriranih podataka vidi npr. [64, 68]). Osim toga, uz odredene uvjete, ova metoda ima dobra statistička svojstva kao što su invarijantnost, konzistentnost i asimptotska nepristranost. Otkriće ML-metode pripisuje se R. A. Fisheru 1890.-1962.), premda se korijeni te metode mogu naći još puno ranije u radovima J. H. Lamberta 1728.-1777.), D. Bernoullija 1708.-1782.) i J. L. Lagrangea 1736.-1813.). Fisher je uveo ovu metodu kao alternativu za metodu momenata i metodu najmanjih kvadrata. Više o povijesnom razvoju ML-metode može se naću u [19]. Neka su t 1,..., t n nezavisna opažanja slučajne kontinuirane varijable T > 0 s funkcijom gustoće pt; θ). Bez smanjenja općenitosti možemo pretpostaviti da je 0 < t 1 < t 2 <... < t n. To je stoga što vjerojatnost da kontinuirana slučajna varijabla dvaput primi istu vrijednost iznosi nula. Odgovarajuća funkcija vjerodostojnosti definira se kao Lθ) = n pt i ; θ). 3.15) Procjenitelj maksimalne vjerodostojnosti ili kraće ML-procjenitelj) je parametar ˆθ koji maksimizira 3.15) na skupu svih mogućih vrijednosti vektora parametara θ. Budući da je logaritamska funkcija strogo rastuća, problem maksimizacije funkcije Lθ) ekvivalentan je problemu maksimizacije funkcije ln Lθ).
Klasične metode za procjenu parametara u Weibullovom modelu 33 Za standardni Weibullov model funkcija vjerodostojnosti zadana je s L 2 β, η) = ) n βt β 1 i e t i η ) β, η β a njezin prirodni logaritam glasi LL 2 β, η) := ln L 2 β, η) = n ln β nβ ln η + β 1) ln t i 1 η β t β i. 3.16) Parcijalnim deriviranjem 3.16) po β i η, i izjednačavanjem s 0 dobivamo: LL 2 β = n β n ln η + ln t i + ln η η β t β i 1 η β t β i ln t i = 0, 3.17) LL 2 η = nβ η + β η β+1 t β i = 0. 3.18) Supstitucijom 3.18) u 3.17) i sredivanjem izraza, jednadžba koju treba zadovoljavati ML-procjenitelj ˆβ glasi n β + ln t i n n tβ i ln t i n tβ i = 0. 3.19) η Uvrštavanjem tog rješenja u 3.18) lako se dobiva ML-procjenitelj ˆη za parametar ˆη = n ) t ˆβ 1ˆβ i. 3.20) n
Klasične metode za procjenu parametara u Weibullovom modelu 34 Jednadžbu 3.19) najčešće rješavamo nekom od standardnih numeričkih metoda, no neki autori [2, 18] spominju i grafičko rješavanje. Iako grafičkim metodama općenito nije moguće postići veliku točnost rješenja, ova je metoda inspirirala jednostavan dokaz jedinstvenosti i egzistencije procjenitelja maksimalne vjerodostojnosti za standardni Weibullov model vidi [2]). Kako bi to pokazali zapišimo izraz 3.19) u sljedećem obliku 1 β = n tβ i ln t i n tβ i 1 n ln t i. 3.21) Kako je lijeva strana izraza 3.21) strogo padajuća funkcija od β i kako vrijedi = 0, za dokaz jedinstvenosti i egzistencije rješenja bilo bi dovoljno pokazati lim β 1 β da je desna strana izraza rastuća funkcija od β s konačnim pozitivnim limesom u beskonačnosti. Naime tada će se graf funkcije s lijeve strane od 3.21) sjeći samo u jednoj točki s grafom funkcije s desne strane od 3.21). Kako bi to pokazali, označimo s Hβ; t) izraz na desnoj strani i promotrimo njegovu derivaciju po β: Hβ; t) β = H β; t) ) 2, 3.22) n tβ i gdje je H β; t) = t β i 2 t β i ln t i) 2 t β i i) ln t 3.23) Kako bi pokazali da je Hβ; t) rastuća dovoljno je vidjeti da je H β; t) 0. Zaista, uvrštavajući a i = t β 2 i i b i = t β 2 i ln t i u Cauchy-Schwarzovu nejednakost a 2 i ) 2 b 2 i a i b i, slijedi da je H β; t) 0. Preostaje pokazati da je lim β Hβ; t) konačan i pozitivan.
Klasične metode za procjenu parametara u Weibullovom modelu 35 Zaista, lim Hβ; t) = lim β β n tβ i ln t i n tβ i 1 n ) ln t i = ln t n) 1 n ln t i = 1 n 1 ln n tn) t i) ) > 0. Time je dokazana egzistencija i jedinstvenost ML-procjenitelja ˆβ, ˆη). Za 3-parametarski Weibullov model funkcija vjerodostojnosti zadana je s L 3 α, β, η) = n [ n ] ft i ; α, β, η) = βn t η βn i α) β 1 e 1 n η β t i α) β. 3.24) Za razliku od standardnog Weibullovog modela gdje procjenitelj maksimalne vjerodostojnosti uvijek postoji i jedinstven je, za 3-parametarski Weibullov model lako se dokaže sljedeća propozicija: Propozicija 3.1 Za bilo koja opažanja 0 < t 1 < t 2 <... < t n 3-parametarske Weibullove slučajne varijable T standardni ML-procjenitelj ne postoji. Dokaz. Fiksirajmo β 0, 1) i η 0, ). Tada ft 1 ; α, β, η) = β η t1 α η ) β 1 e t 1 α η ) β kada α t 1 slijeva, dok ft i ; α, β, η) = β η ti α η ) β 1 e t i α η ) β β ) β 1 ti t 1 e t i t 1 η ) β > 0 η η