Kirjadus: T.M. Cover, J.A. Thomas "Elemets of iformatio theory", Wiley, 99 ja 2006. Yeug, Raymod W. "A first course of iformatio theory", Kluwer, 2002. Mackay, D. "Iformatio theory, iferece ad learig algorithms", Cambridge 2004 McEliece, R. "Iformatio ad codig", Cambridge 2004 Te Su Ha, Kigo Kobayashi "Mathematics of iformatio ad codig", AMS, 994. Gray, R. "Etropy ad iformatio theory", Spriger 990. Gray, R. "Source codig theory", Kluwer, 990. Shields, P. "The ergodic theory of discrete sample paths", AMS 996. Etroopia ja iformatsioo. Etroopia.. Defiitsioo ja omadused Vaatleme diskreetset juhuslikku suurust X jaotusega P. Olgu X = {x,x 2,...} ülimalt loeduv hulk, mis sisaldab juhusliku suuruse X võimalikke väärtusi. Tähistame p i := P(X = x i )=P (x i ), s.t. p i o tõeäosus, et X võtab väärtuse x i. Jaotus P o üheselt määratud paaridega {(x i,p i )}, sestigahulgaa X korral P (A) =P(X A) = P (x). Tihti esitatakse sellie jaotus tabelia i:x i A p i = x A x x 2 x 3... p p 2 p 3..., kusjuures x i x j,kuii j ja p i 0. Edaspidi ütleme, et jaotus (tõeäosusmõõt) P o atud hulgal X. Paeme tähele, et X võib olla suvalie hulk, mitte ilmtigimata reaalarvude alamhulk. Näiteks võib hulk X olla tähestik, s.t. X = {a,b,...,y}. Sellisel juhul o X juhuslik täht.
Iformatsiooiteoorias imetataksegi hulka X tihti tähestikuks (alphabet). Tuletame meelde, et kui g : X R o suvalie fuktsioo, mis rahuldab tigimust pi g(x i ) <, siis Eg(X) = p i g(x i ). () Alljärgevas tähistame log := log 2 ig lepime kokku, et 0log0=0. Def. Juhusliku suuruse X (jaotuse P ) etroopia H(X) o H(X) = p i log p i = x X P (x)logp (x). Märkused: H(X) sõltub vaid juhusliku suuruse X jaotusest P. Seetõttu tähistame etroopiat H(X) ka H(P ). Seose () tõttu H(X) =E ( log P (X) ) = E log P (X). Et log p i 0, o p i log p i mitteegatiivsete liikmetega rida. Sellise rea summa o alati defieeritud, kuid võib olla lõpmatu. Seega 0 H(X), kusjuures H(X) =0parajasti siis,kui X o peaaegu kidlasti kostat. Etroopia ei sõltu tähestikust X. Tõepoolest, olgu jaotused P ja Q atud tabelitega P : x x 2 x 3... p p 2 p 3... Q : y y 2 y 3... p p 2 p 3... Siis H(P )=H(Q). Põhimõtteliselt võib etroopia defieerida ka mõe muu logaritmi abil. Logaritmi log b abil defieeritud etroopiat tähistame H b. Seega H b (X) = p i log b p i = x X P (x)log b P (x). Et log b p =log b a log a p, siis H b (X) =(log b a)h a (X), millest H b (X) =(log b 2)H(X) ig H e (X) =(l2)h(x). Iformatsiooiteoorias kasutatakse harilikult kahedlogaritmi abil defieeritud etroopiat. Seda mõõdetakse bittides. Naturaallogaritmi kaudu defieeritud etroopiat mõõdetakse attides, kümedlogaritmi kaudu defieerituid etroopiat mõõdetakse dittides. 2
Jaotuse P etroopia ei muutu, kui hulka X laiedada elemetidega, mille tõeäosus o 0. Seega kehtib H(X) = x X P (x)logp (x), (2) kus X o suvalie hulk, mis sisaldab hulka X. Etroopia H(X) mõõdab juhusliku suuruse X "juhuslikkust". Mida suurem o etroopia, seda "juhuslikum" o X. Kostat ei ole juhuslik, seetõttu o kostadi etroopia 0. Etroopiat võib ka iterpreteerida kui iformatsiooihulka, mida juhusliku suuruse väärtuse teadasaamie meile aab. Mida "juhuslikum" o X, seda vähem oskame me ära arvata juhusliku suuruse väärtust (juhusliku katse tulemust) ig seda eam iformatsiooi selle väärtuse (katse tulemuse) teadasaamie meile aab. Esmakordselt defieeris etroopia ameerika matemaatik C. Shao oma 948.-l aastal ilmuud teedrajavas artiklis "A mathematical theory of commuacatio". Seetõttu imetatkse etroopiat tihti ka Shaoi etroopiaks. Näited: Olgu X = {0, }, p = P(X =). Seega o X Beroulli p-jaotusega juhuslik suurus, X B(,p). Leiame H(X) = p log p ( p) log( p) =:h(p). Fuktsiooi h(p) imetatakse biaarseks etroopiafuktsiooiks. Fuktsioo h(p) o õgus, pukti suhtes sümmeetrilie ig saavutab maksimumi juhul, kui p =. 2 2 Siis h( 2 )= 2 log 2 2 log 2 =log2=. Seega o (ihketa) müdi viske etroopia. Teadmie, kas sellise müdi viskel tuli kull või kiri, aab meile täpselt biti iformatsiooi (sellest tuleevalt ogi etroopia defieerimisel võetud aluseks kahedlogaritm). Kui kulli tulemise tõeäosus p o väiksem arvust, siis o etroopia väiksem kui. See ühtib ituitsiooiga: 2 mida väiksem o kulli tulemise tõeäosus, seda "mittejuhuslikum" o X ig seda "kergem" o müdiviske tulemust ära arvata. Sellevõrra vähem iformatsiooi müdivise edas kätkeb. 2 Vaatleme jaotusi P : a b c d e 2 4 8 6 6 Q : a b c d Leiame H(P )= 2 log 2 4 log 4 8 log 8 6 log 6 6 log 6 = 2 + 2 4 + 3 8 + 4 6 + 4 6 = 5 8 H(Q) =log4=2. Seega o jaotus P "vähem juhuslik", kuigi tema aatomite arv o suurem. 3 4 4 4 4.
..2 Etroopia o ragelt õgus Olgu P ja P 2 kaks hulgal X atud jaotust. Eeldus, et P ja P 2 o atud ühel ja samal hulgal pole üldisust kitsedav: kui P o atud hulgal X ja P 2 o atud hulgal X 2, siis defieerime X = X X 2. Mõõtude P ja P 2 segu o ede kumer kombiatsioo Q = λp +( λ)p 2, λ (0, ). Kui X P ja X 2 P 2 ig Z B(,λ), siis juhuslik suurus { X kui Z =, Y = X 2 kui Z =0. o jaotusega Q. O selge, et segu Q kätkeb edas ii P kui ka P 2 juhuslikkust. Lisaks o juhuslik kompoedi valik (juhuslik suurus Z). Järgev väide äitab, et H(Q) o suurem kui λh(p )+( λ)h(p 2 ) ehk etroopia o õgus. Tuletame meelde Jesei võrratuse Teoreem.2 (Jesei võrratus). Olgu g kumer fuktsioo, kusjuures E g(x) < ja E X <. Siis Eg(X) g(ex). (3) Kui g o ragelt kumer, siis (3) o võrdus parajsti siis, kui X = EX p.k. Tõestus. Tuleta meelde (ragelt) kumera fuktsiooi defiitisioo. Kumeral fuktsiooil g o omadus: y R m(y) R : g(x) g(y) m(y)(x y), x R. (m(y) =g (y), kui viimae eksisteerib). Kui g o ragelt kumer, siis o ülaltoodud võrratus võrdus vaid x = y korral. Olgu y = EX R. Iga juhusliku suuruse X väärtuse x i korral g(x i ) g(ex) m(ex)(x i EX). Seega Eg(X) g(ex)= ( g(xi ) g(ex) ) p i m(ex) ( xi EX ) p i = m(ex)(ex EX)=0. Olgu Z := ( g(x) g(ex) ) m(ex) ( X EX ). Juhuslik suurus Z omitteegatiive. Seega EZ =0parajasti siis, kui Z =0p.k., millest ( g(x) g(ex) ) = m(ex) ( X EX ) p.k.. Ragelt kumera g korral tähedab viimae võrdus, et X = EX p.k. 4
Väide. Etroopia o ragelt õgus, s.t. H(Q) λh(p )+( λ)h(p 2 ), kusjuures võrratus o rage välja arvatud juhul, kui P = P 2. Tõestus. Fuktsioo f(y) = y log y o ragelt õgus (y 0). Seega iga x X korral λp (x)logp (x) ( λ)p 2 (x)logp 2 (x) =λf ( P (x) ) +( λ)f ( P 2 (x) ) ( ) f λp (x)+( λ)p 2 (x) = Q(x)logQ(x). Summeerides mõlemad pooled üle X, saame λh(p )+( λ)h(p 2 ) H(Q). Viimae võrratus o rage, kui leidub vähemalt üks x X ii, et P (x) P 2 (x). Näide: Beroulli p-jaotus B(,p) o kostatide ja 0 kumer kombiatsioo. Eelpool ägime, et biaare etroopiafuktsioo o õgus..2 Ühisetroopia Olgu X ja Y diskreetsed juhuslikud suurused väärtuste hulgaga vastavalt X ja Y. Seega (X, Y ) o diskreete juhuslik vektor, mille väärtuste hulk sisaldub hulgas X Y= {(x, y) :x X,y Y}. Olgu (X, Y ) ühisjaotus P. Seega o P hulgal X Yatud tõeäosusmõõt. Tähistame p ij := P (x i,y j )=P ( (X, Y )=(x i,y j ) ) = P(X = x i,y = y j ). Ühisjaotus esitatakse tihti tabelia X\Y y y 2... y j... x P (x,y )=p P (x,y 2 )=p 2... p j... j p j = P (x ) x 2 P (x 2,y )=p 2 P (x,y 2 )=p 22... p 2j... j p 2j = P (x 2 ).................. x i p i p i2... p ij... j p ij = P (x i ).................. i p i = P (y ) i p i2 = P (y 2 )... i p ij = P (y j )... Ülaltoodud tabelis ig ka edaspidi, P (x) :=P(X = x) ja P (y) :=P(Y = y) tähistavad margiaaltõeäosusi. Kui X ja Y o sõltumatud, siis P (x, y) =P (x)p (y) x X,y Y. Et juhuslikku vektorit (X, Y ) võib vaadelda kui diskreetset juhuslikku suurust, avaldub tema etroopia H(X, Y )= p ij log p ij = ( ) P (x, y)logp (x, y) =E log P (X, Y ). (4) ij (x,y) X Y 5
Def.3 Juhusliku vektori (X, Y ) etroopiat (4) imetatakse juhuslike suuruste X ja Y ühisetroopiaks. Kui juhuslikud suurused X, Y o sõltumatud, siis H(X, Y )= P (x, y)logp (x, y) = P (x)p (y)(log P (x)+logp(y)) (x,y) X Y x X y Y = P (x)logp(x) P (y)logp(y) =H(X)+H(Y ). x X y Y Ülaltoodud argumadi saab esitada ka teisiti. Iga x X ja y Y korral kehtib log P (x, y) =logp (x)+logp(y), millest log P (X, Y )=logp(x)+logp(y ). Keskväärtus o lieaare, seega H(X, Y )= E ( log P (X, Y ) ) = E ( log P (X)+logP(Y) ) = E log P (X) E log P (Y )=H(X)+H(Y). Sõltumatute juhuslike suuruste ühisetroopia o seega kompoetide etroopiate summa. See ühtib ituitsiooiga: kui X ja Y o sõltumatud, siis ei aa X väärtuse teadmie migit iformatsiooi Y kohta. See aga tähedab seda, et vektori (X, Y ) väärtuse teadasaamie aab iipalju iformatsiooi kui mõlematest kompoetidest saadava iformatsiooi summa. Aaloogiliselt defieeritakse mitme juhusliku suuruse X,...,X ühisetroopia Kui juhuslikud suurused o sõltumatud, siis H(X,...,X ):= E log P (X,...,X ). H(X,...,X )= H(X i ). i=.3 Tiglik etroopia.3. Defiitsioo Tähistame tiglikud tõeäosused P (x y) :=P(X = x Y = y) = P (x, y) (x, y), P(y x) :=P(Y = y X = x) =P P (y) P (x). Tuletame meelde: juhusliku suuruse Y tiglik jaotus tigimusel X = x o y y 2 y 3... P (y x) P (y 2 x) P (y 2 x).... 6
Selle jaotuse etroopia avaldub H(Y x) :=:H(Y X = x) := y Y P (y x)logp (y x). Vaatleme hulgal X atud fuktsiooi x H(Y x). Võttes selle fuktsiooi argumediks juhusliku suuruse X, saame uue juhusliku suuruse (juhusliku suuruse X fuktsiooi), mille jaotus o H(Y x ) H(Y x 2 ) H(Y x 3 ).... P (x ) P (x 2 ) P (x 3 )... Sellise jaotuse keskväärtus o x X H(Y x)p (x). Def.4 Juhusliku suuruse Y tiglik etroopia tigimusel X o H(Y X) := H(Y x)p (x) = P (x) log P (y x)p (y x) x X x X y Y = ( ) log P (y x)p (x, y) = E log P (Y X). x X y Y Märkused: Kui juhuslikud suurused X ja Y o sõltumatud, siis P (y x) =P (y) x X,y Y, millest H(Y X) =H(Y ). Üldiselt H(X Y ) ei võrdu H(Y X). Olgu äiteks X, Y sõltumatud juhuslikud suurused, kusjuures H(X) H(Y ). Siis H(X Y )=H(X) H(Y )=H(Y X). H(Y X) =0parajasti siis, kui Y o X fuktsioo. Tõepoolest, H(Y X) =0 parajasti siis, kui H(Y X = x) =0iga x X korral. See aga tähedab, et leidub kostat f(x) ii, et P(Y = f(x) X = x) =ehk Y = f(x). Järelikult kehtib ka H(X X) =0. Järgmie väide avab tigliku etroopia olemuse. Väide.2 H(X, Y )=H(X)+H(Y X) =H(Y )+H(X Y). Tõestus. Iga (x, y) X Y korral P (x, y) =P (x)p (y x), millest Seega log P (x, y) =logp (x)+logp (x y) H(X, Y )= E log P (X, Y )= E log P (X) E log P (X Y )=H(X)+H(Y X). Et H(X, Y )=H(Y,X), siis teie võrdus kehtib ka. Vaatleme juhusliku vektori (X, Y ) ühisjaotust P (x, y) =P (x)p (y x). Olgu tiglik(ud) jaotus(ed) P (y x) fikseeritud. Sellisel juhul o vektori (X, Y ) jaotus juhusliku suuruse X jaotuse P fuktsioo. Järelikult o ka Y jaotus P fuktsioo. Millest ka H(Y ) o jaotuse P fuktsioo. Järgeevas äeme, et see fuktsioo o õgus. 7
Väide.3 Fikseeritud P (y x) korral o P H(Y ) õgus fuktsioo. Tõestus. Kehtib P (y) = x X P (x)p (y x). OlguP = λp +( λ)p 2. Nüüd Q(y) := x X( λp (x)+( λ)p 2 (x) ) P (y x) =λ P (x)p (y x)+( λ) P 2 (x)p (y x) =:λq (y)+( λ)q 2 (y). x X x X Fuktsioo H o õgus, seega H(Q) =H(λQ +( λ)q 2 ) λh(q )+( λ)h(q 2 ). Märkus: Fuktsioo P H(Y ) ei pruugi olla ragelt õgus (ülesae). Vaatleme üüd tiglikku etroopiat H(Y X). Väide.4 Fikseeritud P (y x) korral o P H(Y X) lieaare fuktsioo. Fikseeritud P (x) korral o P (y x) H(Y X) õgus. Tõestus. H(Y X) = x X P (x)h(y X = x). Fikseeritud P (y x) korral o H(Y X = x) fikseeritud ja esimee väide tõestatud. Iga x X korral o H(Y X = x) = y Y log P (y x)logp(y x) kui P (y x) fuktsioo ragelt õgus. Seega λp (y x)+( λ)p 2 (y x) y Y( ) log ( λp (y x)+( λ)p 2 (y x) ) λ y Y P (y x)logp (y x) ( λ)logp 2 (y x)p 2 (y x). Võrratus kehtib iga x korral. Korrutame läbi P (x)-ga ja summeerime üle X. 8
.3.2 Ketireeglid Olgu X, Y, Z kolm juhuslikku suurust väärtuste hulgaga X, Y ja Z. Aaloogiliselt H(Y X) defiitsiooiga defieerime H(X, Y Z) ja H(X Y,Z): H(X, Y Z) := P (z) P (x, y z)logp (x, y z) z Z (x,y) X Y = log P (x, y z)p (x, y, z) = E log P (X, Y Z) (x,y,z) X Y Z H(X Y,Z):= P (y, z) P (x y, z)logp (x y, z) (y,z) Y Z x X = log P (x y, z)p (x, y, z) = E log P (X Y,Z). (x,y,z) X Y Z Nüüd o selge, kuidas suvaliste juhuslike suuruste X,...,X korral o defieeritud tiglik etroopia H(X,X,...,X j X j,...,x ). Väide.2 üldistub mitmes suuas. Alljärgev o väite.2 tiglik versioo Väide.5 H(Y,X Z) =H(X Z)+H(Y X, Z). Tõestus. Et P (x, y z) =P (x z)p (y x, z), siis H(X, Y Z) = E log P (X, Y Z) = E log P (X Z) E log P (Y X, Z) =H(X Z)+H(Y X, Z). Väitest.5 järeldub väide.2. Ka järgmie lemma üldistab väidet.2. Lemma. (Ketireegel) Olgu X,...,X juhuslikud suurused. Siis H(X,...,X )=H(X )+H(X 2 X )+H(X 3 X,X 2 )+ + H(X X,...,X ). Tõestus. Olgu juhuslike suuruste väärtuste hulgad vastavalt X,...,X. Et iga x X,...,x X korral kehtib siis P (x,...,x )=P (x )P (x 2 x )P (x 3 x,x 2 ) P (x x,...,x ), H(X,...,X )= Elog P (X,...,X ) = E log P (X ) E log P (X 2 X ) E log P (X X,...,X ) = H(X )+H(X 2 X )+ + H(X X,...,X ). Kehtib ka ketireegli tiglik versioo. 9
Lemma.2 (Tiglik ketireegel) Olgu X,...,X,Z juhuslikud suurused. Siis H(X,...,X Z) =H(X Z)+H(X 2 X,Z)+H(X 3 X,X 2,Z)+ +H(X X,...,X,Z). Tõestus. Olgu juhuslike suuruste X,...,X,Z väärtuste hulgad vastavalt X,...,X ja Z. Väide järeldub sellest, et iga x i X i ja z Zkorral P (x,...,x z) =P (x z)p (x 2 x,z)p (x 3 x 2,x,z) P (x x,...,x,z). Tiglikust ketireeglist järeldub ii väide.5 kui ka ketireegel..4 Kullback-Leibleri kaugus Olgu P ja Q kaks jaotust tähestikul X. tabelitea P : x x 2 x 3... p p 2 p 3... Tuletame meelde, et eed mõõdud esituvad Q : x x 2 x 3... q q 2 q 3..., kusjuures võib olla, et mõe i korral q i =0või mõe j korral p i =0. Lepime kokku, et 0 log( 0)=0, kui q 0, p log( p )=, kuip>0. q 0 Def.5 Mõõtude P ja Q Kullback-Leibleri kaugus o Kui X P, siis kehtib D(P Q) := x X ( D(P Q) =E Kui X P ja Y Q, siis tähistame ka P (x)log P (x) Q(x). (5) log P (X) Q(X) D(X Y ):=D(P Q). Märkused: log P (x) ei pruugi olla positiive. Veedume, et rida (5) o sellegipoolest defieeritud. Olgu Q(x) { X + := x X : P (x) } { Q(x) >, X := x X : P (x) } Q(x). Et P (x)log P (x) Q(x) = P (x)log Q(x) P (x) P (x) Q(x) P (x). x X x X x X Seega o rea (5) egatiive osa kooduv. Kui x X P (x)log P (x) <, orida + Q(x) (5) kooduv, vastasel juhul o tema summa. 0 ).
D(P Q) imetatakse küll Kullback-Leibleri kauguseks, kuid ta pole meetrika: kuigi D(P Q) 0, kusjuures D(P Q) =0parajasti siis, kui P = Q (tõestus allpool), pole üldiselt D(P Q) ja D(Q P ) võrdsed (D pole sümmeetrilie) ig ei kehti ka kolmurga võrratus (vaata ülesae 8). Kullback-Leibleri kaugust imetatakse veel suhteliseks etroopiaks (relative etropy) või divergetsiks (divergece). Tõestame, et D(P Q) 0. Selleks kasutame Jesei võrratust. Väide.6 (Gibbsi võrratus) D(P Q) 0, kusjuures D(P Q) =0parajasti siis, kui P = Q. Tõestus. Kui D(P Q) =, siis väide kehtib triviaalselt. Vaatleme olukorda, kus D(P Q) <, s.t. rida (5) o absoluutselt kooduv. Olgu X jaotusega P juhuslik suurus. Defieerime juhusliku suuruse Y := Q(X). Olgu P (X) g(x) := log(x) ragelt kumer fuktsioo. Seega E g(y ) = x X log Q(x) P (x) P (x) = x X log P (x) P (x) <, Q(x) E Y = x X Q(x) P (x) =. P (x) Jesei võrratusest järeldub, et ( D(P Q) =E log P (X) ) Q(X) ( = E log Q(X) P (X) ) = Eg(Y ) g(ey )= log() = 0, kusjuures D(P Q) =0parajasti siis, kui Y =p.k. ehk Q(x) =P (x) iga sellise x X korral, et P (x) > 0. Sellest järeldub, et Q(x) =P (x) iga x X korral. K-L kaugus mõõdab "üllatust", mille jaotusega P juhuslik suurus meile valmistab, kui eeldame, et tema jaotus o Q. Oletame, et leidub x Xii, et Q(x )=0,kuidP(x ) > 0. sellisel juhul ( P (x) ) ( P (x P (x) P (x ) ) )log =. Q(x) Q(x ) x X + log Seega o üllatus lõpmatu, kui migi (meie arvates) võimatu südmus (x ) toimub (vähemalt üks kord). See ühtib ituitsiooiga: võimatu südmuse toimumist peetakse imeks. Vaatleme aga sellist x X,etQ(x ) > 0, kuidp (x )=0. sellisel juhul ( P (x P (x ) ) )log =0. Q(x ) Sellie südmus kaugust D(P Q) ei suureda. Teisisõu, üllatus ei suuree kui mõi meie meelest positiivse tõeäosusega südmus x toimumata jääb. Ka see ühtib ituitsiooiga: migi positiivse tõeäosusega südmuse mittetoimumist üldiselt imeks ei pada. Sellest vaatepuktist lähtudes o K-L kauguse ebasümmeetrilisus igati loogilie.
Näide: Olgu P = B(, ), Q = B(,q). Siis 2 D(P Q) = 2 log( 2q )+ 2 log( 2( q) )= log(4q( q)), kui q 0 2 D(Q P )=qlog(2q)+( q) log(2( q)) kui q 0. Gibbsi võrratusest järeldub muuhulgas, et lõpliku tähestiku korral o suurim etroopia ühtlasel jaotusel. Järeldus. Olgu X <. Siis iga hulgal X atud jaotuse P korral H(P ) log X, kusjuures võrdus kehtib vaid ühtlase jaotuse korral. Tõestus. Olgu U ühtlae jaotus üle X,s.t.U(x) = X iga x X korral. Siis D(P U) = x X P (x)log P (x) U(x) =log X H(P ) 0. Väide.7 (log-sum võrratus) Olgu a,a 2,...ja b,b 2,...mitteegatiivsed arvud, a i < ja 0 < b i <. Siis ai log a i ai a i log, (6) b i bi kusjuures võrratus o võrdus parajasti siis, kui a i b i = c i. Tõestus. Olgu a i = a i j a j, b i = b i j b. j Seega o {a i } ja {b i } tõeäosusjaotused ig väitest.6 järeldub 0 a i log a i b i = a i j a log j P a i j a j P b i j b j = [ j a ai log a i aj a i log ]. j b i bj Et ai log aj bj <, siis (6) kehtib. Teame, et D({a i } {b i })=0parajastisiis,kuia i = b i, millest a i j = a j b i j b =: c, i. j 2
Märkus: Log-sum võrratuse tõestus põhieb Gibbsi võrratusel. Samas järeldub viimae otseselt log-sum võrratusest. Seega o eed võrratused ekvivaletsed. Olgu P,P 2,Q,Q 2 hulgal X atud jaotused. Vaatleme segusi Järeldus.2 λp +( λ)p 2 ja λq +( λ)q 2. D ( λp +( λ)p 2 λq +( λ)q 2 ) λd(p Q )+( λ)d(p 2 Q 2 ). (7) Tõestus. Fikseerime x X. Log-sum võrratusest järeldub Summeeri üle hulga X. λp (x)log λp (x) λq (x) +( λ)p 2(x)log ( λ)p 2(x) ( λ)q 2 (x) ( ) λp (x)+( λ)p 2 (x) log λp (x)+( λ)p 2 (x) λq (x)+( λ)q 2 (x). Võrratust (98) võime iterpreteerida: K-L kaugus o kumer paaride (P, Q) suhtes. Fikseeritud Q korral järeldub võrratusest (98), et fuktsioo P D(P Q) o kumer. Samamoodi järeldub, et fuktsioo Q D(P Q) o kumer. Veel eam, mõlemad imetatud fuktsiooid o ragelt kumerad (piirkoas kus ad o lõplikud): D(P Q) = P (x)logp (x) P (x)logq(x) = P (x)logq(x) H(P ). (8) Fuktsioo P P (x)logq(x) o lieaare, P H(P ) aga ragelt õgus. Seega P D(P Q) o ragelt kumer. Selles mõttes käitub ta kui kaugus. Seosest (8) järeldub ka, et Q D(P Q) o ragelt kumer..4. Tiglik Kullback-Leibleri kaugus Olgu X, Y,Y 2 juhuslikud suurused. Olgu X väärtuste hulk X, juhuslikud suurused Y ja Y 2 võtku väärtusi hulgal Y. Vaatleme juhuslikke vektoreid (X, Y ) ja (X, Y 2 ). Olgu ede jaotused P (x, y) =P (x)p (y x) ja P 2 (x, y) =P (x)p 2 (y x). Igax X korral o P (y x) ja P 2 (y x) jaotused tähestikul Y; P (y x) o juhusliku suuruse Y jaotus tigimusel, et X = x ig P 2 (y x) o juhusliku suuruse Y 2 jaotus tigimusel, et X = x. Defieerime D(Y Y 2 X = x) :=:D(P (y x) P 2 (y x)) := y Y P (y x)log P (y x) P 2 (y x). Aaloogiliselt tigliku etroopiaga defieerime tigliku K-L kauguse. 3
Def.6 Juhuslike suuruste Y ja Y 2 (tiglike jaotuste P (y x) ja P 2 (y x)) tiglik Kullback- Leibleri kaugus o D(P (y x) P 2 (y x)) :=: D(Y Y 2 X) := x X D(Y Y 2 X = x)p (x) = P (x) P (y x)log P (y x) P 2 (y x) = log P (Y X) P 2 (Y X) x X y Y x X y Y Väide.8 D(Y Y 2 X) 0, kusjuures võrdus kehtib vaid siis kui P (y x) =P 2 (y x) y Y ja iga x X. P (y, x)log P (y x) P 2 (y x) = E ( Tõestus. Iga x X korral D(Y Y 2 X = x) 0, millest järelduvalt D(Y Y 2 X) 0. Meil X o X väärtuste hulk, s.t. P (x) > 0 iga x Xkorral. Oletame, et D(Y Y 2 X) =0. Siis D(Y Y 2 X = x) =0iga x X korral, millest järeldub väide. Väide.9 (Tigimustamie suuredab K-L kaugust) D(Y Y 2 X) D(Y Y 2 ). Tõestus. Log-sum võrratusest saame, et iga y Y korral P (y x)p (x)log P (y x)p (x) P x 2 (y x)p (x) P (y)log P (y) P 2 (y). Summeeri üle Y. Väide.0 (K-L kauguse ketireegel) Olgu (X,...,X ) ja (Y,...Y ) juhuslikud vektorid, mis võtavad väärtusi hulgal X X. Siis ( ) D (X,...,X ) (Y,...,Y ) = D(X Y )+D(X 2 Y 2 X )+D(X 3 Y 3 X,X 2 )+ + D(X Y X,...,X ). Tõestus. Olgu P (x,...,x )=P(x )P (x 2 x )P (x 3 x,x 2 ) P(x x,...,x ) vektori (X,...,X ) jaotus ig olgu Q(x,...,x )=Q(x )Q(x 2 x ) Q(x x,...,x ) vektori (Y,...,Y ) jaotus. Juhuslike vektorite vahelie K-L kaugus o defieeritud D(X,...,X Y,...,Y )=Elog P (X,...,X ) Q(X,...,X ) = E log P (X )P (X 2 X ) P(X X,...,X ) Q(X )Q(X 2 X ) Q(X X,...,X ) = E log P (X ) Q(X ) + E log P (X 2 X ) Q(X 2 X ) + + E log P (X X,...,X ) Q(X X,...,X ) = D(X Y )+D(X 2 Y 2 X )+ + D(X Y X,...,X ). ). 4
.5 Vastastikue iformatsioo Olgu (X, Y ) juhuslik vektor ühisjaotusega P (x, y), (x, y) X Y. Def.7 Juhuslike suuruste X, Y vastastikue iformatsioo o I(X; Y ):= x,y P (x, y)log P (x, y) P (x)p (y) = D( P (x, y) P (x)p (y) ) ( = E log P (X, Y ) ). P (X)P (Y ) Vastastikue iformatsioo o seega K-L kaugus jaotuse P (x, y) ig korrutismõõdu P (x)p (y) vahel. Teisisõu, I(X; Y ) o K-L kaugus vektori (X, Y ) ja samade margiaaljaotusega kuid sõltumatute kompoetidega vektori vahel. Märkused: Vastastikue iformatsioo I(X; Y ) ei sõltu mitte aiult juhuslike suuruste X ja Y jaotusest vaid ka ede ühisjaotusest, s.t. vektori (X, Y ) jaotusest. 0 I(X; Y ). Vastastikue iformatsioo o sümmeetrilie: I(X; Y ) =I(Y ; X). I(X; Y )=0parajasti siis kui X, Y o sõltumatud. Vastastikuse iformatsiooi olemust aitab mõista järgmie seos: I(X; Y )=Elog P (X, Y ) P (X Y )P (Y ) = E log P (X)P (Y ) P (X)P (Y ) Sümmeetria tõttu kehtib = E log P (X Y ) P (X) = E log P (X Y ) E log P (X) =H(X) H(X Y ). I(X; Y )=H(X) H(X Y )=H(Y ) H(Y X). (9) Suurus H(X) o juhusliku suuruse X "juhuslikkus", tema (väärtuse teadasaamisel saadav) iformatsioo. Tiglik etroopia H(X Y ) o juhusliku suuruse X etroopia tigimusel, et Y o teada ehk X tiglik "juhuslikkus". O selge, et mida rohkem aab Y iformatsiooi X kohta, seda väiksem o H(X Y ). KuiX = f(y ), siis H(X Y )=0.KuiX ja Y o sõltumatud, siis H(X Y )=H(X). Mida väiksem o H(X Y ), seda suurem o vahe H(X) H(X Y ) =I(X; Y ). Nüüd o selge, mida I(X; Y ) mõõdab: juhusliku suuruse X etroopia kahaemist juhusliku suuruse Y läbi. Valemist (9) järeldub, et täpselt sama palju kahaeb H(Y ) juhusliku suuruse X läbi. Sellest ka imetus: vastastikue iformatsioo (mutual iformatio). Kui X ja Y o sõltumatud, siis I(X; Y ) =0- juhuslikud suurused X ka Y ei aa teieteise kohta migisugust iformatsiooi. Paeme tähele, et I(X; X) =H(X) H(X X) =H(X), 5
s.t. juhuslik suurus X aab iseeese kohta täpselt H(X) iformatsiooi. Iglisekeelses kirjaduses kutsutaksegi etroopiat teiekord self-iformatio. Väide.2: H(X Y )=H(X, Y ) H(Y ), millest I(X; Y )=H(X)+H(Y ) H(X, Y ). (0) Vastastikuse iformatsiooi, tigliku etroopia ja etroopia omavahelisi seoseid aitab mõista alljärgev diagramm. Teeme veel mõed lihtsad kuid olulised järeldused. Järeldus.3 (tigimustamie vähedab etroopiat) Juhuslike suuruste X ja Y korral kehtib H(X Y ) H(X), kusjuures ülaltoodud võrratus o võrdus vaid sõltumatute juhuslike suuruste korral. Tõestus. H(X) H(X Y )=I(X; Y ) 0. Märkus: Tuleta meelde, et H(X Y )= y H(X Y = y)p (y). Kuigi ülaltoodud summa o väiksem kui H(X), võib mõe y Y korral siiski olla, et H(X Y = y) >H(X). Näide: Y\X a b u 0 3 v 8 4 8 Järeldus.4 Juhusliku vektori (X,...,X ) etroopia rahuldab H(X,...,X ) H(X i ), i= kusjuures võrratus o võrdus vaid sõltumatute kompoetide korral. Tõestus. Ketireegelist saame H(X,...,X )=H(X )+H(X 2 X )+H(X 3 X,X 2 )+ + H(X X,...,X ). Kasuta eelmist järeldust. 6
Lemma.3. Fikseeritud P (y x) korral o P (x) I(Y ; X) õgus. 2. Fikseeritud P (x) korral o P (y x) I(Y ; X) kumer. Tõestus.. I(X; Y )=H(Y ) H(Y X). Väide.3: fikseeritud P (y x) korral o P (x) H(Y ) õgus. Väide.4: fikseeritud P (y x) korral o P (x) H(Y X) lieaare. Vahe o õgus. 2. Olgu P (x) fikseeritud, P (y x) ja P 2 (y x) olgu kaks tiglikku jaotust (formaalselt 2 tigliku jaotuse pere). Olgu P (x, y) =P (y x)p (x) ja P 2 (x, y) =P 2 (y x)p (x). Vastavad margiaalid olgu P (y) ja P 2 (y). Vaatleme kumerat kombiatsiooi Olgu λp (y x)+( λ)p 2 (y x). Q(x, y) :=(λp (y x)+( λ)p 2 (y x))p (x) =λp (x, y)+( λ)p 2 (x, y) sellele kombiatsiooile vastav ühisjaotus ig olgu Q(y) := x Q(x, y) = x λ(p (x, y)+( λ)p 2 (x, y)) = λp (y)+( λ)p 2 (y). selle ühisjaotuse margiaaljaotus. Paeme tähele, et Q(y)P (x) =λp (y)p (x)+( λ)p 2 (y)p (x). Eesmärk o äidata, et D ( Q(x, y) Q(y)P (x) ) λd ( P (y, x) P (y)p (x) ) +( λ)d ( P 2 (y, x) P 2 (y)p (x) ). Järeldub järeldusest.2 sest D (Q(x, y) ) ( Q(y)P (x) = D λp (x, y)+( λ)p 2 (x, y) ) λp (y)p (x)+( λ)p 2 (y)p (x)..5. Tiglik vastastikue iformatsioo Olgu X, Y, Z juhuslikud suurused, olgu Z juhusliku suuruse Z väärtuste hulk. Def.8 Juhuslike suuruste X, Y vastastikue iformatsioo tigimusel Z o I(X; Y Z) :=H(X Z) H(X Y,Z) P (X, Y Z) =E log P (X Z)P (Y Z) = P (x, y z) P (x, y, z)log P (x z)p (y z). x,y,z 7
Väide. I(X; Y Z) 0, kusjuures võrdus kehtib parajasti siis, kui X ja Y o tiglikult sõltumatud, s.t. P (x, y z) =P (x z)p (y z), x X,y Y,z Z. () Tõestus. P (x, y z) P (x, y, z)log P (x z)p (y z) = x,y,z z = z ( P (x, y z) ) P (x, y z)log P (z) P (x z)p (y z) x,y ( ) D P (x, y z) P (x z)p (y z) P (z) 0. Kui võrdus kehtib, siis iga z Z korral (tuletame meelde, et P (z) > 0 iga z Z korral) ( ) D P (x, y z) P (x z)p (y z) =0, millest järeldub (). Tiglikul vastastikusel iformatsiooil o üldiselt samad omadused mis vastastikusel iformatsiooil. Kehtib (ülesae 4) Lisaks kehtib veel (ülesae 4) I(X; X Z) =H(X Z) I(X; Y Z) =H(Y Z) H(Y X, Z) I(X; Y Z) =H(X Z)+H(Y Z) H(X, Y Z). I(X; Y Z) =H(X; Z)+H(Y ; Z) H(X, Y, Z) H(Z). (2) Väide.2 (Vastastikuse iformatsiooi ketireegel) I(X,...,X ; Y )=I(X ; Y )+I(X 2 ; Y X )+I(X 3 ; Y X,X 2 )+ +I(X ; Y X,...,X ). Tõestus. Kasutame etroopia ketireeglit ja tigliku etroopia ketireeglit. I(X,...,X ; Y )=H(X,...,X ) H(X,...,X Y ) =H(X )+H(X 2 X )+ + H(X X,...,X ) H(X Y ) H(X 2 X,Y) H(X X,...,X,Y). Väide.3 (Tigliku vastastikuse iformatsiooi ketireegel) I(X,...,X ; Y Z) =I(X ; Y Z)+I(X 2 ; Y X,Z)+ + I(X ; Y X,...,X,Z). Tõestus. Aaloogilie. 8
.6 Admetöötlusvõrratus.6. Lõplik Markovi ahel Def.9 Juhuslikud suurused X,...,X väärtuste hulkadega vastavalt X,...,X m moodustavad Markovi ahela kui iga x i X i ja iga m =2,..., korral P(X m+ = x m+ X m = x m,...,x = x )=P(X m+ = x m+ X m = x m ). (3) Seega o X,...,X Markovi ahel parajasti siis, kui iga x,...,x korral { P (x,x 2 )P (x 3 x 2 ) P(x x ) kui P (x 2 ) > 0,...,P(x ) > 0, P (x,...,x )= 0 muidu. Asjaolu, et X,...,X o Markovi ahel tähistatakse iformatsiooiteoorias tihti: Seega X Y Z parajasti siis, kui X X 2 X. P (x, y, z) =P (x)p (y x)p (z y). Väide.4 Kui X X 2 X, siis X X X. Tõestus. X X 2 X parajasti siis kui P (x,...,x )P (x 2 ) P (x )=P (x,x 2 )P (x 2,x 3 ) P (x,x ). See o aga sümmeetrilie. Väide.5 Markovi ahela iga alamjada o Markovi ahel, s.t. kui X X 2 X, siis X X 2 X k. Tõestus. Fikseerime m ja äitame, et ehk P(X m+2 = x m+2 X m = x m,...,x = x )=P(X m+2 = x m+2 X m = x m ) P (x m+2 x m,...,x )=P (x m+2 x m ). Kõigepealt paeme tähele, et P (x m+2 x m+,x m )= P (x m+2 x m+,x m,x m,...,x )P (x m,...,x x m,x m+ ) x,...,x m = P (x m+2 x m+ )P (x m,...,x x m,x m+ )=P(x m+2 x m+ ), x,...,x m 9
millest P (x m+2,x m+ x m,...,x )=P(x m+2 x m+,x m,...,x )P (x m+ x m,...,x ) = P (x m+2 x m+,x m )P (x m+ x m ) = P (x m+2,x m+ x m ). Seega P (x m+2 x m,...,x )= x m+ P (x m+2,x m+ x m,...,x ) = x m+ P (x m+2,x m+ x m )=P (x m+2 x m ). Tõestusest äeme, et kui X X 2 X, siis P (x m+,...,x x,...,x m )=P (x m+,...,x x m ). (4) Väide.6 Juhuslikud suurused X,...,X o Markovi ahel parajsti siis, kui iga m = 2,..., korral X,...,X m ja X m+,...,x o atud X m korral tiglikult sõltumatud. Tõestus. Olgu X,...,X Markovi ahel. Tõestame, et P (x,...,x m,x m+,...,x x m )=P (x,...,x m x m )P (x m+,...,x x m ). (5) Seosest (4) saame P (x,...,x )=P (x,...,x m )P (x m+,...,x x,...,x m )=P (x,...,x m )P (x m+,...,x x m ), millest P (x,...,x ) P (x m ) = P (x,...,x m ) P (x m+,...,x x m )=P(x,...,x m x m )P (x m+,...,x x m ). P (x m ) Kehtigu (5). Siis P (x m+,...,x x,...,x m )= P (x,...,x ) P (x,...,x m ) = P (x,...,x ) P (x m )P (x,...,x m x m ) = P (x,...,x m,x m+,...,x x m ) = P (x m+,...,x x m ). P (x,...,x m x m ) Seega X Y Z parjasti siis, kui atud Y korral o X ja Z tiglikult sõltumatud. 20
.6.2 Admetöötlusvõrratus Lemma.4 (Admetöötlusvõrratus) Kui X Y Z, siis I(X; Y ) I(X; Z), kusjuures võrdus kehtib parajasti siis, kui X Z Y. Tõestus. Et X ja Z oatud Y korral sõltumatud, siis I(X; Z Y ) =0. Seega ketireeglist saame I(X; Y,Z)=I(X; Z)+I(X; Y Z) =I(X; Y )+I(X; Z Y )=I(X; Y ). (6) Et I(X; Y Z) 0, siis I(X; Z) I(X; Y ), kusjuures võrdus kehtib parajsti siis, kui I(X; Y Z) =0ehk atud Z korral o X ja Y tiglikult sõltumatud ehk X Z Y o Markovi ahel. Olgu X juhuslik suurus, mille kohta vajame iformatsiooi. Juhuslik suurus X o meil teadmata, meie käsutuses o vaid Y (admed), mis aab X kohta I(X; Y ) bitti iformatsiooi. Kas aga o võimalik Y töödelda ii, et X kohta saadav iformatsioo suureeks? Juhuslikku suurust Y o võimalik töödelda determieeritult, s.t. rakedame talle migit fuktsiooi g. Seega saame uue juhusliku suuruse g(y ). Et aga X Y g(y ) o Markovi ahel, siis admetöötlusvõrratusest saame, et I(X; Y ) I(X; g(y )) ehk g(y ) ei aa rohkem iformatsiooi X kohta, kui Y. Teie võimalus o töödelda Y juhuslikult, s.t. lisada migi X-st sõltumatu lisajuhuslikkus. Olgu Z admete Y juhuslikul töötlemisel saadud juhuslik suurus. Et lisajuhuslikkus o X-st sõltumatu, o X Y Z Markovi ahel ig admetöötlusvõrratusest järeldub I(X; Y ) (X; Z), s.t. ka juhuslik töötlemie ei suureda iformatsiooi. Seega postuleerib admetöötlusvõrratus väga üldise pritsiibi: ademete (juhuslikul või mittejuhuslikul) töötlemisel võib iformatsioo vaid kaotsi mia, mitte migil juhul ei saa aga iformatsiooi juurde võita. Kas sellest järeldub igasuguse statistilise admetöötluse mõttetus? Järeldus.5 Kui X Y Z, siis Tõestus. Ülesae. Järeldus.6 Kui X Y Z, siis Tõestus. Ülesae. H(X Z) H(X Y ). I(X; Z) I(Y ; Z), I(X; Y Z) I(X; Y ). 2
.6.3 Piisav statistik Olgu {P θ } hulgal X atud tõeäosusjaotuste klass. Statistikas iterpreteeritakse hulka {P θ } kui mudelit, ideksit θ imetatakse parameetriks. Olgu X juhuslik valim jaotusest P θ. Juhuslikku valimit X vaatleme kui juhuslikku suurust väärtuste hulgaga X. Seega sõltub X jaotus vaid parameetrist θ. OlguT (X) migi statistik (valimi fuktsioo), mille abil püüame hiata valimi geereerivat jaotust P θ ehk siis parameetrit θ. Vaatleme olukorda, kus parameeter θ o juhuslik eeljaotusega π (Bayesi läheemisviis). Sellisel juhul θ X T (X) o Markovi ahel ig admetöötlusvõrratusest saame, et I(θ; T (X)) I(θ; X). Kui ülaltoodud võrratus o võrdus, siis o statistik T sellie, et T (X) aab parameetri kohta sama palju iformatsiooi kui X (sõltumata parameetri eeljaotusest π). Lemmast.4 teame, et võrdus kehtib parajasti siis, kui atud T (X) korral o X ja θ sõltumatud ehk θ T (X) X. Seos θ T (X) X kehtib aga parajasti siis, kui iga valimi x X korral P(X = x T (X) =t, θ) =P(X = x T (X) =t) ehk atud T (X) korral ei sõltu valimi jaotus parameetrist θ. Statistikas imetatakse selliseid statistikuid piisavateks. Seega oleme tõestaud järelduse. Järeldus.7 Statistik T o piisav parajasti siis, kui iga θ jaotuse korral I(θ; T (X)) = I(θ; X). Näide: Olgu {P θ } Beroulli jaotuste hulk. Statistik T (X) = i= X i o piisav, sest { 0 kui i P(X = x,...,x i = x i T (X) =t, θ) = x i t, kui i x i = t. Tõepoolest, kui i x i = t, siis P(X = x,...,x = x T (X) =t, θ) = P(X = x,...,x = x,t(x) =t, θ) P(T (X) =t, θ) θ t ( θ) t π(θ) = P x,...,x : i x i=t θt ( θ) t π(θ) =, C t sest fikseetud ühtede arvu korral o erievateks valimiteks täpselt C t võimalust..7 Fao võrratus Olgu X tudmatu juhuslik suurus ig olgu ˆX korreleeritud juhuslik suurus, mida vaatleme kui X hiagut. Olgu P e := P(X ˆX) hidamisel tehatava vea tõeäosus. Kui P e =0, siis X = ˆX p.k., millest H(X ˆX) =0. Seega o loogilie, et kui P e o väike, siis H(X ˆX) peaks samuti väike olema. Selgub, et lõpliku tähestiku korral see ii ogi. 22 C t
Teoreem.0 (Fao võrratus) Olgu X ja ˆX juhuslikud suurused tähestikul X. Siis kus h o biaare etroopiafuktsioo. H(X ˆX) h(p e )+P e log( X ), (7) Tõestus. Olgu Seega E = { kui ˆX X, 0 kui ˆX = X. E = I { ˆX X}, E B(,P e ). Etroopia ketireeglist saame sest H(E X, ˆX) =0(miks?) Teisest küljest H(E,X ˆX) =H(X ˆX)+H(E X, ˆX) =H(X ˆX), (8) H(E,X ˆX) =H(E ˆX)+H(X E, ˆX) H(E)+H(X E, ˆX) =h(p e )+H(X E, ˆX). Paeme tähele, et H(X E, ˆX) = x X P( ˆX = x, E =)H(X ˆX = x, E =) + x X P( ˆX = x, E =0)H(X ˆX = x, E =0). Tigimusel ˆX = x ja E =0kehtib X = x, siis o H(X ˆX = x, E =0)=0ehk H(X E, ˆX) = x X P( ˆX = x, E =)H(X ˆX = x, E =). Kui E = ja ˆX = x siis X X\x, millest H(X ˆX = x, E = ) log( X ). Kokkuvõttes H(X E, ˆX) P e log( X ). Seosest (8) saame, et H(X ˆX) P e log( X ) + h(p e ). Järeldus.8 H(X ˆX) +P e log X, ehk P e H(X ˆX). log X 23
Kui X <, siis Fao võrratusest järeldub, et kui P e 0, siis H(X ˆX) 0. Kui aga tähestik o lõpmatu, siis Fao võrratus o trivaale ja ülaltoodud implikatsioo ei pruugi kehtida. Näide: Olgu Z B(,p) ig olgu Y migi sellie juhuslik suurus, et Y > 0 ja H(Y )=. Defieerime juhusliku suuruse X järgmiselt { 0 kui Z =0, X = Y kui Z =. Olgu ˆX =0p.k. Siis P e = P(X >0) = P(X = Y )=P(Z =)=p. Kuid H(X ˆX) =H(X) H(X Z) =ph(y )=. Seega iga p>0 korral H(X ˆX) =, mistõttu H(X ˆX) 0, kuip e 0. Millal o Fao võrratus võrdus? Võrratuse tõestusest o äha, et võrdus kehtib parajasti siis, kui iga x X korral ig H(X ˆX = x, E =)=log( X ) (9) H(E ˆX) =H(E). (20) Seos (9) tähedab, et vektori X tiglik jaotus tigimusel, et X ˆX = x o ühtlae üle ülejääud tähtede X\x. See aga tähedab, et leidub p i ii, et iga x i X korral P( ˆX = x i,x = x j )=p i, j i. Teisisõu, vektori ( ˆX,X) ühisjaotuse tabelis ˆX\X x x 2 x x P( ˆX = x,x = x ) P( ˆX = x,x = x 2 ) P( ˆX = x,x = x ) x 2 P( ˆX = x 2,X = x ) P( ˆX = x 2,X = x 2 ) P( ˆX = x 2,X = x ) x P( ˆX = x,x = x ) P( ˆX = x,x = x ) o igas reas väljaspool peadiagoaali kõik elemedid võrdsed. Seos (20) kehtib, kui iga x Xkorral P (X = x ˆX = x) = P e ehk iga rea peadiagoaali elemedi suhe rea summase o võrde P e. Sellie jaotustabel o äiteks ˆX\X a b a a 3 0 b 25 c 3 50 0 3 25 3 50 0 25 9 50. 24
Ülaltoodud ühisjaotuse korral P e = 2, log( X ) =, millest 5 Teisest küljest aga P e log( X ) + h(p e )= 2 5 + 3 5 log 5 3 + 2 5 log 5 2 = 3 5 log 5 3 + 2 log 5. 5 H(X ˆX = a) =H(X ˆX = b) =H(X ˆX = c) = 3 5 log 5 3 + 2 log 5, 5 millest H(X ˆX) = 3 5 log 5 3 + 2 log 5. 5 Seega o Fao võrratus võrdus..8 Juhusliku protsessi etroopiamäär Käesolevas alajaotuses vaatleme juhuslikku protsessi {X } =. Def. Juhusliku protsessi {X } = etroopiamäär o kui piirväärtus eksisteerib. H X := lim H(X,...,X ), Näited: Olgu {X } = i.i.d. juhuslikud suurused jaotusest P,s.t.X i P. Siis lim H(X,...,X ) = lim i= H(X i ) = lim H(P ). Seega o i.i.d. protsessil etroopiamäär defieeritud, see võrdub jaotuse P etroopiaga. Olgu {X } = sõltumatud juhuslikud suurused. Siis H(X,...,X )= H(X i ). Sellie rida ei pruugi alati kooduda ja siis pole protsessi etroopiamäär defieeritud. Olgu X,X 2,...i.i.d. juhuslikud suurused, X i P. Vaatleme juhuslikku ekslemist, {S } =0,s.t. S 0 =0, S = X,S 2 = X + X 2,...,S = X + + X. Juhusliku ekslemise etroopia o H S = H(P ) (ülesae). 25 i=
Vaatleme piirväärtust H X := lim H(X X,...,X ), mis muidugi ei pruugi alati eksisteerida. Järgevas äeme, et statsioaarsete protsesside korral H X alati eksisteerib ig see o võrde protsessi etroopiamääraga H X.Tuletame meelde statsioaarse protsessi defiitsiooi. Def.2 Juhuslik protsess {X } = o statsioaare, kuiiga ja iga k korral o juhuslikud vektorid (X,...,X ) ja (X k+,...,x k+ ) ühe ja sama jaotusega. Kui {X } = o statsioaare protsess, siis o juhuslikud suurused X,X 2,... sama jaotusega, juhuslikud vektorid (X,X 2 ), (X 2,X 3 ),...o sama jaotusega, juhuslikud vektorid (X,X 2,X 3 ), (X 2,X 3,X 4 ),... o sama jaotusega, je. Väide.7 Kui {X } = o statsioaare protsess, siis H X o alati defieeritud. Tõestus. Et {X } = o statsioaare, siis iga korral o juhuslikud vektorid (X,...,X ) ja (X 2,...,X + ) sama jaotusega. Sellest järeldub, et iga korral Seega H(X X,...,X )=H(X + X 2,...,X ). H(X + X,...,X ) H(X + X 2,...,X )=H(X X,...,X ), millest saame, et {H(X X,...,X )} o mitteegatiive ja mittekasvav jada ig sellisel jadal o piirväärtus. Järgevas tõestame, et statsioaarse protsessi etroopiamäär o alatu defieeritud ja see võrdub H X. Tõestuses kasutame Cesaro lemmat. Lemma.5 (Cesaro lemma) Olgu {a } mitteegatiivsete reaalarvude jada, kusjuures a > 0 ja a =. Tähistame b := i= a i. Olgu x x suvalie kooduv jada. Siis a i x i x, kui. Juhul, kui a =, saame b i= x +...+ x x. Teoreem.3 Kui {X } = o statsioaare protsess, siis H X kusjuures H X = H X. o alati defieeritud, 26
Tõestus. Etroopia ketireeglist saame H(X,...,X )= H(X k X,...,X k ). Et H(X k X,...,X k ) H X, siis Cesaro lemmast saame, et lim H(X,...,X ) = lim k= H(X k X,...,X k )=H X. k= Seega statsioaarse protsessil o etroopiamäär alati defieeritud ig lisaks defiitsiooile saab selle leidmiseks kasutada ka seost H X = H X. Ülaltoodud äidetest selgus, et ka mittestatsioaarsel protsessil võib leidida etroopiamäär (millised äidetes toodud protsessidest pole statsioaarsed?).8. Markovi ahela etroopiamäär Juhusliku protsessi etroopiamäära leidmie ei pruugi üldiselt olla kerge. Teatud protsesside korral (agu äiteks i.i.d. protsess), o aga etroopiamäära lihte leida. Alljärgevas äeme, et ka satsioaarse Markovi ahela etroopiamäära o lihte leida. Tuletame meelde (lõpmatu) Markovi ahela defiitsiooi. Olgu {X } = juhuslik protsess, kusjuures juhuslikud suurused X i võtavad väärtusi hulgal X. Def.4 Juhuslik protsess {X } = o Markovi ahel, kuiigax i X ja iga m korral kehtib (3), s.t. P(X m+ = x m+ X m = x m,...,x = x )=P(X m+ = x m+ X m = x m ). (2) Märkus: Arusaadavalt o võrdus (2) defieeritud vaid siis, kui tiglik tõeäosus o defieeritud, s.t. P(X m = x m,...,x = x ) > 0. Markovi ahelate termioloogias imetatakse hulka X ahela seisudite hulgaks, selle elemete imetatakse Markovi ahela seisuditeks. Markovi ahel o homogeee, kui võrduse (2) parem pool ei sõltu m-st. Sellisel juhul iga m ja iga x i,x j X korral P(X m+ = x j X m = x j )=P (X 2 = x j X = x j )=:P ij. Maatriksit P =(P ij ) imetatakse homogeese MA ülemiekumaatriksiks. Alljärgevas vaatlemegi vaid homogeeset Markovi ahelat {X }. Olgu π(i) =π(x i ) juhusliku suuruse X jaotus (ütleme, et algtõeäosuste vektor). Siis P (X 2 = x j )= i π(i)p ij ehk X 2 jaotus o π T P. Aaloogiliselt o X 3 jaotus π T P 2 ig X k jaotus o π T P k. Seega o {X } jaotus määratud ülemiekumaatriksi P ja algtõeäosuste vektoriga π. Markovi ahel o statsioaare parajasti siis, kui algtõeäosuste vektor π o sellie, et π T P = π 27
ehk π(j) = i π(i)p ij iga j korral. Sellist vektorit imetatakse statsioaarseks. Näide: Olgu X =2ig olgu ülemiekumaatriks ( ) α α. β β Sellise ülemiekumaatriksiga Markovi ahela statsioaare algtõeäosuste vektor o β ( α + β, α α + β ). Teoreem.5 Olgu {X } statsioaare Markovi ahel ülemiekumaatriksiga (P ij ) ja algtõeäosuste vektoriga π. Siis H X = H(X 2 X )= i π(i) j P ij log P ij. Tõestus. Markovi omadusest saame, et iga korral H(X X,...,X )=H(X X ). Et ahel o statsioaare, siis H(X X )=H(X 2 X ) ja teoreemist.3 järeldub Seos H X = H X = lim H(X X,...,X ) = lim H(X X )=H(X 2 X ). o lihte ülesae. H(X 2 X )= i π(i) j P ij log P ij.9 Erievate algjaotustega Markovi ahelad Olgu X,X 2,... homogeee MA ülemiekutõeäosustega R(x y), (str(x y) =P(X = x X = y)) ja algtõeäosustega π (st π(x) = P(X = x)). Olgu X,X 2,... sama ülemiekumaatriksi kuid algjaotusega π MA. Järgev võrratus äitab, et sõltumata algjaotustest π ja π, juhuslike suuruste X ja X + jaotused läheevad teieteisele K-L mõttes. Väide.8 Iga =, 2,... korral kehtib D(X + X + ) D(X X ). (22) Tõestus. Olgu P ja P vastavalt X ja X jaotused. Seega (22) o D(P + P + ) D(P P ). (23) K-L ketireeglist saame D ( (X +,X ) (X +,X ) ) = D ( ) ( ) X + X + + D X X X + = D ( ( ) X X ) + D X+ X + X + X. Arvestades, et D ( X + X + X + X ) sõltub vaid vektorite (X,X + ) ja (X,X + ) jaotustest, veedu, et D ( X + X + X + X ) =0 28
Järeldus.9 Kui π o statsioaare algjaotus, siis (22) o D(P + π ) D(P π ). (24) Seega X jaotus P läheeb statsioaarsele jaotusele K-L mõttes. mitteegatiivsete liikmetega mittekahaeval jadal {D(P π )} o piirväärtus. Juhuslike protsesside teooriast teame, et taadumatu ja mitteperioodilise MA korral P (x) π (x), x X.KuiX o lõplik, siis ellest järeldub ka koodumie D(P π ) 0. Järeldus.0 Kui statsioaare algjaotus π o ühtlae üle lõpliku tähestiku X, siis (24) o H(P ) H(P + ) (25) Tõestus. Ülesae 26. Seega ühtlase algjaotuse korral o juhuslike suuruste X,X 2,... etroopia mittekahaev. Näide. Olgu kaardipakis m kaarti: {,...,m}. Seega o kaardipakil m! võimalikku seisudit. Kaardipaki segamist võib vaadelda Markovi ahelaa. Pole raske veeduda, et sellise Markovi ahela ülemiekumaatriks o sellie, et ka veergude summa o üks. Seetõttu o statsioaare jaotus ühtlae. Seega kaardipaki piirjaotus o ühtlae (see ogi segamise mõte, mitteühtlase piirjaotuse korral oleksid mõed kaardid teatud positsiooidel suurema tõeäosusega). Kaardipaki segamie seega suuredab selle etroopiat..0 Ülesaded. Olgu müdiviskel kulli saamise tõeäosus p. Müti vistatakse kui esimese kullii. Olgu X selleks kuluud visete arv. Leida H(X). 2. Tõestada grupeerimisomadus H(p,p 2,p 3,...)=H(p + p 2,p 2,...)+(p + p 2 )H( (p + p 2 ), p 2 (p + p 2 ) ). 3. Leida sellie P (y x) ja P (x) ja P 2 (x) ii, et P P 2,kuidP (y) =P 2 (y) iga y Y korral. 4. Olgu g : X Xfuktsioo. Tõestada, et 5. Leida P ii, et H(P )=. H(g(X)) H(X), H(g(X) Y ) H(X Y ). 6. Olgu X ja X 2 juhuslikud suurused väärtuste hulgaga vastavalt X = {,...,m}, X 2 = {m +,...,}. OlguX segujaotusega, s.t. { X kui Z =, X = X 2 kui Z =0, 29 p
kus Z B(,p). LeidaH(X). Veedu, et 7. Olgu X P. Tõestada, et 8. Leida jaotused P, Q ja R ii, et 2 H(X) 2 H(X ) +2 H(X 2). P ( P (X) d ) (log d ) H(X). D(P Q) > D(P R) +D(R Q). 9. Olgu X = (X,...,X ) biaarsete kompoetidega juhuslik vektor. Olgu R = (R,...,R ) vektori X blokipikkuste idikaator. Näiteks, kui X =(, 0, 0, 0,,, 0), siis R =(, 3, 2, ). Näidata, et 0 H(X) H(R) mi i H(X i ). 0. Olgu X, Y juhuslikud suurused, olgu Z = X + Y. Näita, et H(Z X) = H(Y X) ig veedu, et kui X ja Y o sõltumatud, siis H(X) H(Z) ja H(Y ) H(Z). Leida X ja Y ii, et H(X) >H(Z) ja H(Y ) >H(Z). Millal kehtib H(Z) =H(X)+H(Y )?. Olgu ρ(x, Y )=H(X Y)+H(Y X). Tõesta, et ρ o poolmeetrika. Millal ρ(x, Y )=0? Veedu, et ρ(x, Y ) =H(X)+H(Y ) 2I(X; Y ) =H(X, Y ) I(X; Y ) =2H(X, Y ) H(X) H(Y ). 2. Tõestada, et iga 2 korral H(X,...,X ) H(X i X j,j i). Veeduda, et 2 [H(X,X 2 )+H(X 3,X 2 )+H(X,X 3 )] H(X,X 2,X 3 ). 3. Olgu X ja X 2 sama jaotusega juhuslikud suurused. Olgu ρ(x,x 2 ):= H(X 2 X ). H(X ) Tõestada, et ρ o sümmeetrilie, ρ [0, ]. Millal o ρ =0? Millal o ρ =? 30 i=
4. Tõestada, et I(X; X Z) =H(X Z) I(X; Y Z) =H(Y Z) H(Y X, Z) I(X; Y Z) =H(X Z)+H(Y Z) H(X, Y Z) I(X; Y Z) =H(X, Z)+H(Y,Z) H(X, Y, Z) H(Z). 5. Tõestada, et H(X, Y Z) H(X Z) I(X, Y ; Z) I(X; Z) H(X, Y, Z) H(X, Y ) H(X, Z) H(X) I(X; Y Z) I(Y ; Z X) I(Y ; Z)+I(X; Y ). Millal kehtivad võrdused? 6. Leida X, Y, Z ii, et 7. Tõestada, et I(X; Y Z) >I(X; Y )=0 0=I(X; Y Z) <I(X; Y ). H(X g(y )) H(X Y ). Leida vektor (X, Y ) ii, et X ja Y pole sõltumatud, g pole üksühee fuktsioo, kuid ülaltoodud võrratus o võrdus. 8. Olgu X =(X,...,X ) biaarsete kompoetidega juhuslik vektor, kusjuures X jaotus o järgmie: { 2 ( ) kui P (x,...,x )= i x i o paarisarv; 0, kui i x i o paaritu arv. Leida X i jaotus. Leida (X i,x i+ ) jaotus. Leida I(X ; X 2 ),I(X 2 ; X 3 X ),I(X 4 ; X 3 X,X 2 ),...,I(X ; X X,X 2,...,X 2 ). 9. Tõestada, et kui X Y Z, siis H(X Z) H(X Y ), I(X; Z) I(Y ; Z) ja I(X; Y Z) I(X; Y ). 20. Olgu {P θ } Beroulli jaotuste hulk, θ Θ, kusθ o migi ülimalt loeduv hulk, π o parameetri eeljaotus. Olgu X juhuslik valim ja T (X) = i= X i.leidah(θ T (X)) ja H(θ X). Veeduda, et iformatsiooivõrratus o võrdus. 3
2. Olgu X X 2 X 3 X 4. Tõestada, et I(X ; X 4 ) I(X 2 ; X 3 ). 22. Olgu X X 2 X.LeidaI(X ; X 2,X 3,...,X ). 23. Oletame, et X X 2 X 3 o Markovi ahel, kusjuures X =, X 2 = k, X 3 = m, kusjuures k<ja k<m. Tõestada, et "pudelikael" vähedab vastastikust iformatsiooi juhuslike suuruste X ja X 3 vahel, s.t. I(X ; X 3 ) log k. Järeldada, et k =korraleisaax 3 kuidagi sõltuda X 3 -st. 24. Olgu X juhuslik suurus lõpliku väärtuste hulgaga, s.t. X = m. Leida väikseima veatõeäosusega mittejuhuslik hiag juhuslikule suurusele X. Olgu P e vea tõeäosus, s.t. P e = P(X ˆX). Millise X jaotuse korral o Fao võrratus võrdus H(X) =P e log( X ) + h(p e )? 25. Olgu P jaotus väärtuste hulgaga, 2,... Olgu selle mõõdu keskväärtus μ. Tõestada, et H(P ) μ log μ +( μ)log( μ), kusjuures võrratus o võrdus parajasti siis, kui P o geomeetrilise jaotusega. Seega fikseeritud keskväärtuse korral o geomeetrilie jaotus suurima etroopiaga. 26. a) Tõestada Järeldus.0 b) Olgu X X. Tõestada, et H(X 0 X ) H(X 0 X 2 ) H(X 0 X 3 ) H(X 0 X ). 27. Olgu {X } = statsioaare juhuslik protsess. Tõestada, et H(X,...,X ) H(X,...,X ) H(X,...,X ) H(X X,...,X ). 28. Tõestada, et statsioaarse MA korral H(X 2 X )= i π(i) j P ij log P ij. 29. Olgu X,X 2,...i.i.d. juhuslikud suurused, X i P. Vaatleme juhuslikku ekslemist, {S } =0, s.t. S 0 =0, S = X,S 2 = X + X 2,...,S = X + + X. Tõestada, et juhusliku ekslemise etroopia o H S = H(P ). 32
30. Koer liigub juhuslikult täisarvudel: ajahetkel 0 o koer positsiooil 0. Seejärel hakkab ta tõeäosusega 0.5 liikuma paremale ja samasuure tõeäosusega vasakule. Pärast esimest sammu jätkab ta liikumist esialgses suuas tõeäosusega 0.9, tõeäosussega 0. vahetab ta suuda je. Seega o koera tüüpilie trajektoor äiteks Leida H X. (X 0,X,...)=(0,, 2, 3, 4, 3, 2,, 0,, 2, 3,...). 3. Vaatleme juhuslikku ekslemist rigil (0,,..., l), s.t. l-le järgeb 0. Olgu S = X i, i= kusjuures X o ühtlase jaotusega juhuslik suurus, X 2,X 3,... o i.i.d. juhuslikud suurused P (X 2 =)=P (X 2 =2)=0.5. LeidaH S. 33
2 Kodeerimie 2. Põhimõisted Vaatleme tähestikku X. Oletame, et iformatsiooi edasiadmiseks o meie käsutuses kaal, mille kaudu saab edastada vaid sümboleid etteatud lõplikust kodeerimistähestikust D. Kui D := D < X (ja sellist olukorda vaatlemegi), tuleb iga tähestiku X täht esitada kodeerimistähtede lõpliku strigia - koodisõaa. Teisisõu, tähestik X tuleb kodeerida. Näiteks kui D = {0, }, tuleb iga tähestiku X elemet kodeerida migiks bitisõaks. Olgu D kõikide kooditähtedest moodustatud lõplike sõade hulk. Olgu X kõikide tähtedest moodustatud lõplike sõade hulk. Formaalselt D := = D, X := = X. Def 2. Kood o kujutis C : X D. Koode o väga palju ig väga erievate omadustega. Näiteks o kood Morse tähestik, mille korral hulga X moodustavad tähestik, umbrid ja kirjavahemärgid, kodeerimistähestik D koosed kolmest elemedist: pukt, kriips ja paus (tegelikult kuulub Morse kodeerimistähestikku ka pikk paus sõavahedeks, kuid ülalkirjeldatud tähestiku kodeerimiseks pole seda vaja). Def 2.2 Kood C o ühee, kui ta o ijektiive, s.t. C(x i ) C(x j ) iga x i x j X korral. Ühee kood kodeerib tähestiku üheselt. Sellest üksi ei piisa aga, et üheselt kodeerida mitmest tähest koosevat sõa x x 2 x. Olgu C kood. Defieerime tema laiedi C : X D, C (x x ):=C(x ) C(x ). Def 2.3 Kood C o üheselt dekodeeritav, kuitemalaiedc o ühee. Üheselt dekodeeritava koodi korral vastab koodisõale C(x ) C(x ) vaid üks origiaalsõa x x. Küll aga võib olla ii, et esimese tähe x dekodeerimiseks tuleb lugeda kogu kodeeritud sõa C(x ) C(x ). O aga loomulik eeldada, et kood C o sellie, et täht x o dekodeeritud iipea kui see saab loetud (s.t. dekodeerimie toimub "o-lie"). Sellisel juhul ei tohi tähe x kood C(x ) olla ühegi teise tähe koodi algus (vastasel juhul ei teaks me, kas C(x ) o x kood või järgeb veel midagi ig C(x ) o vaid osa migi teise tähe koodist). Def 2.4 Kood C o prefikskood, kui ei leidu erievaid tähti x i ja x j ii, et tähe x i kood C(x i ) o tähe x j koodi C(x j ) algus (prefiks). 34
Märkused: Prefikskood o üheselt dekodeeritav ja seetõttu ka ühee. Termii prefikskood asemel oleks ehk loogilisem kasutada termiit mitteprefikskood, kuid viimae tudub kohmakas. Iglisekeelses kirjaduses kasutatakse mõlemaid termieid: ii prefix code kui ka prefix-free code. Tihti kasutatakse ka termiit istataeous code. Üheselt dekodeeritav kood o iglisekeelses kirjaduses uiquely decodable, ühee kood aga o-sigular. Näited: Morse tähestikus tähistab iga koodi lõppu paus. Seega o Morse tähestik prefikskood. Ilma pausideta oleks ei oleks Morse tähestik üheselt dekodeeritav. Olgu X = {a, b, c, d} ig vaatame kahedkoode C, C 2, C 3 ja C 4, millised esitame tabelia X C C 2 C 3 C 4 a 0 0 0 0 b 0 00 00 0 c 0 0 d 0 0 0 Kood C pole ühee. Kood C 2 o küll ühee, kuid pole üheselt dekodeeritav. Näiteks kodeerimissõa 00 võib tähedada ii tähte b kui ka sõu ad ja ca. Kood C 3 o üheselt dekodeeritav kuid mitte prefikskood. Tõepoolest, saamaks teada, kas jada 00...0 kodeerib sõa cbb...b või dbb...b, peame lugema üle kõik ullid ig veeduma kas eid o paaris- või paarituarv. Järelikult ei saa me esimest tähte dekodeerida ee kui oleme kogu sõa ära lugeud. See o sellepärast ii, et koodisõa C(c) =o koodisõa C(d) = 0 prefiks. Kood C 4 o aga prefikskood ig iga tähe saame dekodeerida iipea kui oleme tema koodi lugeud. Dekodeerige "o-lie" strig 0000. Iga prefikskoodi võib esitada D-dpuua, kus igal sõlmel o maksimaalselt D järglast ig igale lehele vastab üks tähestiku X täht. Koodipuu igale oksale vsatab üks täht kooditähestikust D ig tee koodipuu juurest lehei ogi lehele vastava tähe kood. Näide: Olgu D =3. Kostueerige koodi puu. a b c d e f g h 2 00 02 02 000 00 002 35
2.2 Krafti võrratus Vaatleme olukorda, kus tähed o juhuslikud, tähe x X tõeäosus o P (x). Seega o tähestikul X atud migi tõeäosusjaotus P.OlguCmigi kood ig olgu l(x) := C(x), s.t. l(x) o tähe x koodi pikkus. Jaotusega P juhusliku tähe kodeerimiseks kulub seega keskmiselt L(C) = l(x)p (x) x kooditähte. Suurust L(C) imetame koodi C keskmiseks pikkuseks. Alljärgevas otsime koodi, mille keskmie pikkus oleks võimalikult väike, sest sellise koodi korral o (atud jaotusega) juhusliku tähe kodeerimie efektiive. Seejuures o olulie teada, millie o (fikseeritud jaotuse korral) väikseim võimalik keskmie koodipikkus. Näide: Vaatleme koodi C 4.OlguP (a) = 2, P (b) = 4, P (c) =P (d) = 8. Siis Paeme tähele, et ka H(P )= 7 4. L(C 4 )= 2 + 4 2+ 8 3+ 8 3=7 4. Otsime miimaalse keskmise pikkusega prefikskoodi. O selge, et keskmie pikkus o seda väiksem, mida lühemad o koodisõad C(x). Samas o ka selge, et prefikskoodi puhul ei saa koodisõad olla kuitahes lühikesed. Kui X 3, ei saa leida ühest kahedkoodi ii, et l(x) = x X. Alljärgev teoreem väidab, et suvalise prefikskoodi koodisõade pikkused {l(x) :x X}o piisavalt pikad rahuldamaks teatud tigimust. Veel eam, imetatud tigimus o piisav selleks, et leiduks vähemalt üks etteatud pikkustega prefikskood. Teoreem 2.5 (Krafti võrratus) Olgu C : X D prefikskood, l i = l(x i ). Siis D l i. (26) i Teistpidi, olgu {l i } X i= täisarvud. Kui ad rahuldavad võrratust (26), siis leidub prefikskood C : X D ii, et l i = l(x i ) x i X. Tõestus. Olgu D = {0,...,D }. Vaatleme koodisõa d d 2 d li. Olgu 0.d d 2 d li reaalarv, millele vastav D-darv o 0.d d 2 d li,s.t. 0.d d 2 d li = l i j= d j D j. Vaatleme koodisõale d d 2 d li vastavat itervalli [0.d d 2 d li, 0.d d 2 d li + D l i ). (27) 36