STOHASTIČKI SISTEMI I ESTIMACIJE Predavanje 9: Linearna parametarska estimacija Vanr.prof.Dr. Lejla Banjanović- 1 Sadržaj Linearna parametarska estimacija Metoda najmanjih kvadrata (LS metoda) primjenjena na ARX i ARMAX model Metoda pomoćnih varijabli Metoda najveće vjerovatnoće u identifikaciji 2 1
Linearna parametarska estimacija 3 Parametarski postupci estimacije Najvažniji parametarski postupci estimacije (procjene) parametara: Metoda najmanjih kvadrata (LS metoda) Metoda pomoćnih varijabli (IV- metoda) Metoda najveće sličnosti (ML metoda) 4 2
Estimacija metodom najmanjih kvadrata (LSE) N mjerenja Minimizacija Linearan slučaj: 5 Estimacija metodom najmanjih kvadrata (LSE) U linearnom slučaju je kriterijumska funkcija troška kvadratna funkcija Ɵ. Sve parcijalne derivacije moraju biti nula u minimumu: Rješenje skupa jednačina je parametarska estimacija: 6 3
Estimacija metodom najmanjih kvadrata (LSE) Globalni minimum u,, zadovoljava skup jednačina: Ako je matrica inverzibilna, LSE estimator je: 7 Estimacija metodom najmanjih kvadrata (LSE), sumarno Matrična formulacija: Prikupiti izlazna mjerenja u vektor i ulazna mjerenja u Nxd regresionu matricu Kriterijska funkcija Proračunati iz LSE: Najbolja estimacija: 8 4
Linearna parametarska estimacija za ARX model bazirana na LS metodi ARX modelska struktura: sa tj. 9 Linearna parametarska estimacija za ARX model bazirana na LS metodi Na osnovu gornjih izraza dobije se izraz za linearnu regresiju: (**) 10 5
Linearna parametarska estimacija za ARX model bazirana na LS metodi Ako je ε (N) = 0, radi se o identifikaciji determinističkog dijela modela. Određivanje vektora parametara Θ u tom se slučaju svodi na neposredno rješenje jednačine (**) Ako na sistem djeluje stohastička smetnja, jednačina (**) se rješava u smislu najmanjih kvadrata, uz uslov da suma kvadrata greške modela ε (k) bude minimalna. Primjenjuje se kriterij kvaliteta: 11 Linearna parametarska estimacija za ARX model bazirana na LS metodi Uvrštavanjem greške u kriterij kvaliteta: dobivamo tzv. normalnu jednačinu: čije rješenje je estimacija parametra (!): 12 6
Linearna parametarska estimacija za ARX model bazirana na LS metodi Uvođenjem skraćenih zapisa: dobivamo izraz: dobivamo konačan izraz za estimaciju: 13 Linearna parametarska estimacija za ARX model bazirana na LS metodi Računanje sljedećeg izraza zahtjeva inverziju matrice Korištenjem korelacijskih funkcija slijedi: 14 7
Linearna parametarska estimacija za ARX model bazirana na LS metodi Procijenjena vrijednost vektora vektorom parametara Θ). Varijansa greške: konzistentna je (potpuno se slaže s 15 Linearna parametarska estimacija za ARX model bazirana na LS metodi Varijansa procjene parametara, nakon provedenih matričnih operacija: Ako uvedemo terminološki matricu dobivamo matricu kovarijance procjene parametara 16 8
Estimacija metodom najmanjih kvadrata (LSE), primjer ARX 17 Linearna parametarska estimacija za ARMAX model bazirana na LS metodi Jednačinu možemo prikazati u diskretnom vremenskom obliku sa: Za ARMAX vrijedi tj. 18 9
Linearna parametarska estimacija za ARMAX model bazirana na LS metodi Definisanjem vektora podataka: i vektora parametara: izraz pseudoregresije ARMAX modela ima sljedeću formu : 19 Rekurzivno rješenje (RLS-metoda) Prethodno opisana LS procjena parametara zasniva se na rješavanjujednačineneposredno(engl. batch processing), u kojoj se koristi N izmjerenih parova u(k) i y(k). Ako mjerni podaci nanovo pristižu, te ako te podatke treba koristiti zaprocjenu parametara, tada bi za svaku novoprispjelu vrijednost parau(k) i y(k) trebalo nanovo računati matricu podataka i vektor podataka. Ovo se računanjemožezaobići primjenom rekurzivne LS metode (RLS). Zbog računskog postupka rekurzivna se metoda naziva i sekvencijalnommetodom. Najčešće se koristi u on-line identifikaciji. 20 10
Rekurzivno rješenje (RLS-metoda) Kalmanov vektor pojačanja izražen pomoću Procijenjena greška modela (1) odnosi se na trenutak (korak) koji slijedi procijenjeni vektor parametara Stoga se ovagreška naziva predikcijskom greškom. 21 RLS estimacija Novi vektor procijenjenih parametara dobije se iz prethodne procjene korekcijom pomoću otežane predikcijske greške. (2) Predikcijsku grešku možemo prikazati kao razliku izmeđunove mjerne vrijednosti y(k +1) i njene predikcije u trenutku k (na osnovi vektora parametara u prethodnom trenutku). 22 11
RLS estimacija Računanje Kalmanovog pojačanja prema standardnoj formi je računarski zahtjevno pa se koristi sljedeći izraz (3) i (4): 23 RLS estimacija RLS metoda - prikladna za on-line identifikaciju Uz iste uslovekao za neposrednu (nerekurzivnu) LS metodu i RLS metoda daje konzistentnu procjenu parametara. Nije potrebno izračunavati inverziju matrice (za razliku od LS metode). Nedostatak metode -izbor početnih vrijednosti Opisano rekurzivno rješenje neposredno je primjenjivo samo za strukturumodela gdje 24 12
RLS estimacija Za druge modelske strukture, gdje je matrica podataka Φ(k), odnosno vektor podataka ϕ (k) sadrže, kao elemente, greške Kako ove greške nisu mjerljive u trenutku k, potrebno ih je estimirati (procijeniti): 25 RLS estimacija 26 13
Metoda pomoćnih varijabli 27 Metoda pomoćnih varijabli U razmatranju metode pomoćnih varijabli (metoda instrumentalnih varijabli IV) polazimo od jednačine procesa Kao i za LS metodu, predpostavljamo da je Jednačina se može prikazati u vektorskom obliku: Suština IV metode: konzistentno procijeniti vrijednosti parametara, kao i kod LS-metode. IV metode ne postavljaju zahtjeve na nekoreliranost greške modela ε (k). 28 14
Metoda pomoćnih varijabli Transponirana matrica podataka u formalnose može nadomjestitransponiranom matricom pomoćnih varijabli: Da bi matrica W(N) bila matrica pomoćnih varijabli, trebaju biti ispunjeni sljedeći uslovi: Ako su ispunjeni ovi uslovi, onda će procjena parametara biti konzistentna (bez biasa ), kaozaslučajls-metodesnekoreliranomgreškommodelaε (k). 29 Metoda pomoćnih varijabli Kriterij kvaliteta definiše se na osnovu vektora greške Uvrštavanjem dobije se: Jednačina za direktno određivanje parametara: 30 15
Metoda pomoćnih varijabli IV metodom dobiva se konzistentna procjena i za koreliranu grešku modela: 31 RIV metoda Rekurzivne jednačine za IV metodu (RIV metoda) Za ispunjenje uslova morajuse elementi matrice takoizabrati da oni jako koreliraju s korisnim signalima u matrici, a da ne koreliraju sa signalima smetnje. 32 16
RIV metoda Najpovoljniji slučaj bi bio ako bi matrica W direktno sadržavala signale matrice Φ koji ne sadrže smetnje. Pri tome je ulazni signal u(k) poznat (smatra se bez smetnje), a izlazni signal iz procesa (koji ne bi sadržavao smetnju) nije mjerljiv 33 RIV metoda Procjenjuju se vrijednosti izlaznog signala te se procijenjene vrijednosti koriste kao pomoćne varijable. Vektor redova matrice W ima oblik: Procjenjene vrijednosti koriste se kao pomoćne varijable u regresijskoj formi: gdje je definisan sa: 34 17
RIV metoda 35 RIV metoda Vektor parametara određuje se iz vektoraparametara pomoću sljedeće relacije(opisuje niskopropusni filter): Kašnjenje d se bira tako da signali v(k + d) i v(k) ne koreliraju, a koeficijent određuje brzinu filtra. RIV metoda predstavlja brz i djelotvoran postupak, zbog korištenja pa je posebno adekvatna za on-line primjene. 36 18
Metoda maksimalne vjerovatnoće(ml metoda) 37 Metoda maksimalne vjerovatnoće (ML metoda) ML metoda (Maximum Likelihood method) polazi od stohastičkog načina promatranja, pri čemu se formira funkcija gustoće rapodjele promatranih stohastičkih signala i nepoznatih parametara. Neka je funkcija gustoće raspodjele ovisna o jednom ili više nepoznatih parametara opisana sa: Za procjenu parametara na osnovi mjernih uzoraka definiše se funkcija vjerovatnoće(engl. likelihood function), skraćeno L funkcija: Ako je funkcija gustoće raspodjele poznata (npr. Gaussova raspodjela, Poissonova raspodjela), tada se L funkcija može promatrati kao funkcija nepoznatih parametara 38 19
Metoda maksimalne vjerovatnoće (ML metoda) Osnovna zamisao ML metode sadržana je u tome da se iz mogućihprocijenjenih vrijednosti parametara nepoznatih parametara odredeone vrijednosti parametara za koje mjerni uzorci imaju najvećuvjerovatnoću. U tom slučaju L funkcija ima maksimalnu vrijednost Za iz jednačine dobiju se tražene procijenjene vrijednosti za nepoznate parametre kao funkcije mjernih vrijednosti 39 Metoda maksimalne vjerovatnoće (ML metoda) Ova procjena (za dovoljno veliki broj mjernih vrijednosti) konvergira, i u statističkom smislu je: Konzistentna; Djelotvorna; Iscrpna Procjena se naziva iscrpnom (dovoljnom), ako sadrži sve informacije o promatranim vrijednostima, iz kojih se procjenjuju parametri. Informatičnost pri procjeni obrnuto je proporcionalna varijanci. Iz togaslijedi da iscrpna procjena mora imati najmanju moguću varijancu. 40 20
Primjena ML metode u parametarskoj identifikaciji Na osnovuopštogopisa ML procjene, provodi se procjena parametara pri identifikaciji procesa. Pretpostavimo model: Pri tome radi se o ARMAX strukturi: Potrebno je odrediti koeficijente polinoma iz ulazno/izlaznih signala u(k) i y(k) Pretpostavimo da je greška modela ε (k) bijeli šum s Gaussovom raspodjelom 41 Primjena ML metode u parametarskoj identifikaciji Vektor parametara koje treba procijeniti je: Dodatni parametar kojega treba procijeniti je: Kako je Gaussova raspodjela greške modela ε (k) za trenutak k glasi: 42 21
Primjena ML metode u parametarskoj identifikaciji Kako ε (k) nije koreliran, jer je bijeli šum, dobije se za N vrijednosti signala L funkcija: Uz kriterij kvaliteta: dobije se prema 43 Primjena ML metode u parametarskoj identifikaciji Iz slijedi: (*) Iz zadnje jednačine slijedi procjenjena greška modela: 44 22
Primjena ML metode u parametarskoj identifikaciji Za određivanje traženih parametara na raspolaganju su jednačine (*) Za derivaciju funkcionalne greške koristi se Za izračunavanje parcijalnih derivacija prema (*) jednačinu : izrazimo u sljedećoj formi: (**) ε (k) -linearna s obzirom na, nelinearna sobzirom na parametar 45 Primjena ML metode u parametarskoj identifikaciji Zbog ove nelinearne ovisnosti ε (k) o parametru c ne može se minimum funkcije kvaliteta riješiti direktno analitički nego samo primjenom numeričkih postupaka optimizacije. Ovisno o numeričkom postupku optimizacije, koristi se gradijent ili zajedno s i Hesseova matrica 46 23
Primjena ML metode u parametarskoj identifikaciji Sljedeće parcijalne derivacije funkcionale greške računaju se prema: gdje je ɛ iskazano sa (**). 47 Primjena ML metode u parametarskoj identifikaciji Ako se za optimizaciju koristi gradijentni postupak, tada se iterativnim računanjem dobiju procijenjene vrijednosti parametara prema relaciji: 48 24
Primjena ML metode u parametarskoj identifikaciji Iterativni proračun obavlja se prema sljedećim koracima: ML metoda procjene parametara zahtjeva mnogo računanja! 49 Primjena ML metode u parametarskoj identifikaciji 50 25
Zaključak Pristupi sistemske identifikacije i parametarske estimacije: Ulazno/izlazna selekcija Eksperimentalni dizajn Prikupljanje podataka Izbor modelske strukture (skupa mogućih rješenja) Estimacija parametara Validacija dobijenog modela (preferirana sa zasebnim validacijskim podacima). 1. Modeli korišteni za sistemu identifikaciju su matematski. U tom slučaju, fizičko ponašanje je nepoznato ili nekompletno. Za prošrenje uvida u mogući fizički model, koristi se npr. modelska struktura (reprezentacija, red). 2. Parametri u modelima za parametarsku estimaciju imaju više ili manje fizičko značenje. 51 26