1.1. Pregled najvažnijih izraza i pojmova

Transcript

1

2 Teorja formacje, kapactet dskretog komukacjskog kaala, Markovljev lac Pregled ajvažjh zraza pojmova Dskreto bezmemorjsko zvoršte Izvoršte X X = {x,,x,,x } [p(x ) = [p(x) = [p(x ) p(x ) p(x ) X dskreta slučaja varjabla koja poprma vrjedost z skupa {x,,x,,x } p(x ) vjerojatost pojavljvaja vrjedost x, Poruka Sljed a, z koačog skupa X, koje zvoršte geerra Prmjerce: x x 2 x k Kolča formacje koju svojom pojavom doos x I(x )= log 2 p(x ) [bt/ Kolča formacje poruke x x 2 x k I(x x 2 x k )= log 2 p(x ) p(x 2 ) p(x k ) [bt/ poruka Etropja dskrete slučaje varjable X H(X) = p(x ) log 2 p(x ) [ bt Svojstva etropje H(X) 0 H(X) log 2 p(x )=, =,, H(X) =log 2 H(X) =0 p(x )= H(XY) =H(X)+H(Y), X Y ezavse Napomea: Prmar aglasak u Zbrc da je a bare dgtale sustave Iz tog razloga u pregledu ajvažjh zraza pojmova etropja, kao sve druge formacjske mjere, račuaju se korsteć logartam po baz 2 2

3 Pregled ajvažjh zraza pojmova Dskret komukacjsk kaal X Y y, py () ) X Y y, py ( ) 2 2 [( pyx ) j y 2, py () 2) y j, py ( j ) y m, py ( m) 2 2 [( px y j ) y 2, py ( 2) y j, py ( j ) y m, py ( m) Slka Dskret komukacjsk kaal matrce uvjeth vjerojatost prjelaza (pogled sa strae zvoršta [p(y j x ) pogled sa strae odredšta [p(x y j ) ) [p(x ) = [p(x) = [p(x ) p(x 2 ) p(x ) [p(y j ) = [p(y) = [p(y ) p(y 2 ) p(y m ) p(y x ) p(y 2 x ) p(y m x ) p(y [p(y j x ) = [p(y X) = x 2 ) p(y 2 x 2 ) p(y m x 2 ) p(y x ) p(y 2 x ) p(y m x ) p(x y ) p(x y 2 ) p(x y m ) p(x [p(x y j ) = [p(x Y) = 2 y ) p(x 2 y 2 ) p(x 2 y m ) p(x y ) p(x y 2 ) p(x y m ) Potpuost skupova a a ulazu zlazu komukacjskog kaala m p(x )= p(y j )= Odos vjerojatost pojavljvaja ulazog zlazog skupa a te matrca uvjeth vjerojatost prjelaza kaala [p(y j ) = [p(x )[p(y j x ) [p(x ) T =[p(x y j )[p(y j ) T Napomea: Notacja [A[B ozačava matrčo možeje matrca (l vektora) A B, dok otacja [AB ozačava možeje korespodeth elemeata matrca (l vektora) A B Takoder, - kod zapsvaja [p(x ) [p(x) l [p(y j ) [p(y), odoso [p(y j x ) [p(y X), td Notacja [A T predstavlja trasporau matrcu 3

4 Teorja formacje, kapactet dskretog komukacjskog kaala, Markovljev lac Matrca združeh vjerojatost [p(x, y j ) = [p(x )p(y j x ) = [p(x y j )p(y j ) Takoder, - ako su [p(x) [p(y) djagoale matrce tj: p(x ) p(x [p(x) d = 2 ) p(x ) p(y ) p(y [p(y) d = 2 ) p(y m ) tada je [p(x, Y) = [p(x) d [p(y X) = [p(x Y)[p(Y) d Vjerojatost pojave a p(x )= p(y j )= m p(x, y j ), p(x, y j ), =,, j =,,m Prjelaz z aprore u aposteroru vjerojatost pojave x p(x y j )= p(x, y j ) p(y j ) = p(x, y j ) p(x, y j ) = p(x )p(y j x ) p(x )(y j x ) Izraču vjerojatost a ulazu zlazu z matrčog zapsa p(x, y ) p(x, y 2 ) p(x, y m ) } = p(x ) p(x [p(x, y ) = 2, y ) p(x 2, y 2 ) p(x 2, y m ) } = p(x 2 ) p(x, y ) }{{} p(x, y 2 ) }{{} p(x, y m ) } = p(x }{{} ) = p(y ) = p(y 2 ) = p(ym ) Slka 2 Grafčk prkaz zračua a ulazu zlazu z matčog zapsa Vrjed x, y j, =,,, j =,,m 4

5 Pregled ajvažjh zraza pojmova Iformacjske mjere Etropjaaulazusustava H(X) = Etropjaazlazusustava H(Y) = p(x ) log 2 p(x ) m p(y j ) log 2 p(y j ) [ bt [ bt Združea etropja (etropja para slučajh varjabl) H(X, Y) = m p(x, y j ) log 2 p(x, y j ) [ bt Etropja šuma (relevatost) m H(Y X) = p(x, y j ) log 2 p(y j x ) Ekvvokacja (mogozačost) m H(X Y) = p(x, y j ) log 2 p(x y j ) [ bt [ bt Relatva etropja D(p q) = p(x ) log 2 p(x ) q(x ) [ bt p(x ) q(x ) dvje razdobe vjerojatost slučaje varjable X Vrjed D(p q) D(q p) Sredj uzajam sadržaj formacje (trasformacja) I(X;Y) = Vrjed I(X;Y) =I(Y;X) m p(x, y j ) log 2 p(x, y j ) p(x )p(y j ) [ bt 5

6 Teorja formacje, kapactet dskretog komukacjskog kaala, Markovljev lac Medusob - odos medu - etropjama u sustavu I(X;Y) =H(X) H(X Y) I(X;Y) =H(Y) H(Y X) HX ( ) I(X;Y) =H(X) +H(Y) H(X, Y) H(X, Y) =H(X)+H(Y X) H(X, Y) =H(Y)+H(X Y) I(X;X) =H(X) vlastt sadržaj formacje slučaje varjable X I(X;Y) 0 H(X Y) H(X) Kapactet dskretog komukacjskog kaala C = max I(X;Y) = max (H(Y) H(Y X)) {p(x )} {p(x )} HXY (, ) HXY ( ) HYX ( ) IXY ( ; ) HY ( ) Slka 3 Prkaz odosa etropja u sustavu [ bt Kapactet barog smetrčog kaala C = + p g log 2 p g +( p g ) log 2 ( p g ) [ bt p g vjerojatost pogrešog prjeosa a H( X Y) Ulaz HX ( ) IX ( ; Y) Izlaz HY ( ) H( Y X) Slka 4 Iformacjske mjere u komukacjskom sustavu Dskreto zvoršte s memorjom Dskret slučaj proces je matematčk model koj opsuje, u vjerojatosom smslu, damčko poašaje ekog sustava u vremeu 6

7 Pregled ajvažjh zraza pojmova Za dskret slučaj proces, X, s vrjedostma u dskretom skupu S (tzv skup staja), kažemo da je Markovljev ako za svako t, N 0, vrjed sljedeće: p(x t+ =x + X t =x, X t =x,, X t0 =x 0 )=p(x t+ =x + X t =x ) Drukčje rečeo, uvjeta vjerojatost prjelaza z treutačog staja x ueko buduće staje x + jedo ovs o treutačom staju kako e ovs o aču a koj je treutačo staje doseguto Ako Markovljev proces zadovoljava sljedeće uvjete: ) Promatra sustav može se opsat koačm brojem staja Takoder, - sustav može bt samo u jedom staju u ekom vremeskom treutku ) Matrca uvjeth prjelaza [p(x j x ),, j =,,, daa je za sve moguće prjelaze sustava Takoder, - uvjete vjerojatost prjelaza e mjejaju se u vremeu ) Polazo staje sustava je pozato tada se o azva Markovljev laac prvog reda s koačm brojem staja (egl fte-state frst-order Markov cha) Markovljev lac korste se za aalzu mogh procesa pa tako zvoršta s memorjom Za Markovljev laac kažemo da je ergodča ako: () z blo kojeg staja u lacu možemo doć, u koačom broju koraka (e užo u jedom), do blo kojeg drugog staja; () u vremeu gledao (kad t )sustavtež gračoj (stacoaroj) razdob vjerojatost eovso o polazom staju sustava Napomea: U zadacma se uvjek razmatra vremesk dskreta ergodča Markovljev laac prvog reda Prkaz: matrca uvjeth prjelaza vremesk dskretog ergodčog Markovljeva laca [p(x j x ) [p(x j x ) = p(x x ) p(x 2 x ) p(x x ) p(x x 2 ) p(x 2 x 2 ) p(x x 2 ) p(x x ) p(x x ) p(x + x ) p(x x ) p(x 2 x ) p(x x ) p(x x ) p(x x ) p(x 2 x ) p(x x ) p(x x ) 7

8 Teorja formacje, kapactet dskretog komukacjskog kaala, Markovljev lac djagram staja (vremesk dskreta ergodča Markovljev laac) px ( 2 x2) 2 px ( x) 2 px ( x2) px ( - x) pxx ( -) px ( x) pxx ( ) px ( x) px ( x) px ( x) - pxx ( +) px ( x) + px ( x) px ( x ) - - px ( x ) - - px x ( j ) uvjete vjerojatost prjelaza vremesk dskretog ergodčog Markovljeva laca dskreto staje Markovljeva laca Slka 5 Djagram staja vremesk dskretog Markovljeva laca Stacoare vjerojatost vremesk dskretog ergodčog Markovljeva laca Stacoare vjerojatost staja (egl steady-state probabltes) vremesk dskretog ergodčog Markovljeva laca odredujemo - z sljedeća dva uvjeta: p(x )= [p(x ),, =[p(x ) p(x )[p(x j x ) Vlastt sadržaj formacje za slučaj ovsost medu - ma m [ bt H (X) = p(x, x j ) log 2 p(x j x ) Vlastt sadržaj formacje za slučaj eovsost medu - ma [ bt H(X) = p(x ) log 2 p(x ) Preporučea lteratura U clju produbljeja zaja te lakšeg razumjevaja pojmova zraza dah u ovom poglavlju čtatelju se preporuča koršteje ekog od sljedećh udžbeka s popsa lterature: [, [2, [3, [4, [5, [7 [0, [2, [3, [4, [5 [28 8

9 2 Rješe zadac 2 Rješe zadac ZADATAK Komukacjskm kaalom preose se četr poruke geerrae z skupa od četr a X = {x,,x 4 } Omjer vjerojatost jhovog pojavljvaja je p(x ) : p(x 2 ) : p(x 3 ) : p(x 4 )=:2:2:5 Matrcauvjeth vjerojatost prjelaza u kaalu je: 0, 0,2 0,2 0,5 0, 0,2 0,5 0,2 [p(y j x ) = 0, 0,5 0,2 0,2 0,5 0, 0,2 0,2 Rješeje ) Odredte etropju ulazog zlazog skupa a ) Odredte etropju šuma trasformacju u kaalu ) Prema uvjetu zadatka vrjed: p(x ) : p(x 2 ) : p(x 3 ) : p(x 4 )=:2:2:5 Smbol koj se pojavljuju a zlazu z zvoršta moraju sačjavat potpu vjerojatos skup Zato vrjed: 4 p(x )= Iz toga zravo sljed: p(x )=0, p(x 2 )=p(x 3 )=0,2 p(x 4 )=0,5 [p(x ) = [ 0, 0,2 0,2 0,5, =,,4 Matrca združeh vjerojatost račua se prema pozatom zrazu: 0,0 0,02 0,02 0,05 0,02 0,04 0, 0,04 [p(x, y j ) = [p(x )p(y j x ) = 0,02 0, 0,04 0,04 0,25 0,05 0, 0, Iz je dobvamo vektor vjerojatost pojavljvaja a a zlazu: p(y j )= 4 p(x, y j ), j =,,4 9

10 Teorja formacje, kapactet dskretog komukacjskog kaala, Markovljev lac [p(y j ) = [ 0,3 0,2 0,26 0,23, j =,,4 Naposljetku se račuaju etropje: H(X) = 4 p(x ) log 2 p(x )=,76 H(Y) = 4 p(y j ) log 2 p(y j )=,9869 bt bt ) Iz matrce združeh vjerojatost proračuava se odgovarajuća etropja H(X, Y) = 4 4 p(x, y j ) log 2 p(x, y j )=3,529 bt Nako što smo zračual etropju H(X, Y) prema sljedećm zrazma dobvamo trasformacju, odoso etropju šuma: I(X;Y) =H(X) +H(Y) H(X, Y) =0,226 H(Y X) =H(X, Y) H(X) =,76 bt bt ZADATAK 2 Dskreto zvoršte geerra e z skupa a X = {4, 5, 6} Statstčke veze zmedu - dvaju uzastoph a koje geerra zvoršte dae su preko matrce združeh vjerojatost [p(x, x j ) 0,72 0,72 0,563 [p(x, x j ) = 0,073 0,238 0,073 0,2023 0,0253 0,0253 Na zvoršte je prključe sklop (Slka 6) koj a zlazu daje razlku zme - du dvaju uzastoph a geerrah a zvorštu zvoršte Δ t + + Slka 6 Izvoršte + dferecjal sklop Odredte etropju skupa a a zlazu sklopa sa slke 0

11 2 Rješe zadac Rješeje Na zlazu sklopa sa slke pojavljuje se razlka dvaju uzastoph a geerrah a zvorštu Broj mogućh shoda je 5, to: 2,, 0,, 2 Uzmajuć sve moguće kombacje a z skupa X dobvamo sljedeće vjerojatost za pojed doga - daj (x, x j ) : Tablca Vjerojatost pojavljvaja parova a (x, x j ) p(x, x j ) x x j 4, 4 0,72 0 4, 5 0,72 4, 6 0, , 4 0,073 5, 5 0, , 6 0,073 6, 4 0, , 5 0,0253 6, 6 0, Defrajmo dskretu slučaju varjablu Y koja odre - duje vjerojatost pojavljvaja pojedh razlka a zlazu dferecjalog sklopa, tj «2 0 2 Y 0,563 0,72 + 0,073 0,72 + 0, ,0253 0, ,0253 0,2023 «2 0 2 Y 0,563 0,885 0,3563 0,0966 0,2023 Odoso u vektorskom oblku: [p(y j ) = [ 0,563 0,885 0,3563 0,0966 0,2023, j =,,5 Etropja H(Y) odre - duje se prema pozatom zrazu: H(Y) = 5 p(y j ) log 2 p(y j ) H(Y) =2,95 bt

12 Teorja formacje, kapactet dskretog komukacjskog kaala, Markovljev lac ZADATAK 3 [4 Dskret komukacjsk kaal predoče je a slc (Slka 7): x y x 2 y 2 p g p g x 3 y 3 Slka 7 Dskret komukacjsk kaal Vjerojatost pojavljvaja a x defrae su kao p(x ) = p, =, 2, 3 Koj uvjet mora bt spuje (uz p(x )=) tako da vrjed: H(X) =H(Y)? Napomea: p g = kost 0! Rješeje Iz slke kaala možemo dobt matrcu vjerojatost prjelaza kaala, a zatm matrcu združeh vjerojatost: [p(y j x ) = p g p g ; 0 p g p g [p(x, y ) = p p 2 ( p g ) p 2 p g 0 p 3 p g p 3 ( p g ) Iz matrce združeh vjerojatost sljed: [p(y j ) = [ p p 2 + p g (p 3 p 2 ) p 3 + p g (p 2 p 3 ), j =, 2, 3 Iz uvjeta zadatka, H(X) =H(Y), dobvamo: p log 2 p + p 2 log 2 p 2 + p 3 log 2 p 3 = p log 2 p +(p 2 + p g (p 3 p 2 )) log 2 (p 2 + p g (p 3 p 2 )) +(p 3 + p g (p 2 p 3 )) log 2 (p 3 + p g (p 2 p 3 )) 2

13 2 Rješe zadac Iz čega sljed: p 2 = p 2 + p g (p 3 p 2 ) p 2 = p 3 l p 2 = p 3 + p g (p 2 p 3 ) p 2 ( p g )=p 3 ( p g ) p 2 = p 3 Isto se dobje z: p 3 = p 3 + p g (p 3 p 2 ) p 2 = p 3 l p 3 = p 2 + p g (p 3 p 2 ) p 3 ( p g )=p 2 ( p g ) p 2 = p 3 Dakle, da b za da kaal vrjedlo H(X) =H(Y), mora bt: p 2 = p 3 ZADATAK 4 [4 Dgtal sklop za prkaz a (7-segmet dkator) prkazuje e u formatu kao a slc (Slka 8) Sv (0 9) pojavljuju se a dkatoru sklopa s jedakom vjerojatošću pojavljvaja Zbog kvara a uredaju - otkazale su gorje tr ozake (Slka 9) ) Izračuajte etropju po jedom prkazu a 7-segmetom dkatoru prje kvara ) Izračuajte etropju po jedom prkazu a 7-segmetom dkatoru ako kvara Slka 8 Dgtal sklop za prkaz a Slka 9 Kvar 3

14 Teorja formacje, kapactet dskretog komukacjskog kaala, Markovljev lac Rješeje ) Etropju prje kvara dobvamo prema pozatom zrazu: H(X) =log 2 0 = 3,329 bt/ ) Nako kvara 7-segmetog dkatora, počet prelaze u (ov ozače su slovma od a do f ): a) b) c) d) e) d) f) b) f) d) Slka 0 Pojed ako kvara Matrca uvjeth vjerojatost prjelaza je: [p(y j x ) = a b c d e f Iz je dobvamo [p(x, y j ), a potom vektor zlazh vjerojatost: [p(y j ) = [ 0 Etropja jedog prkaza a pokazku ako kvara je: H(Y) = 6 p(y j ) log 2 (y j )=2,4464 bt/ Napomea: Tako - der, može se uočt da se cjel sustav mogao promatrat kao dskret komukacjsk kaal 4