TEORIA INFORMAŢIEI ŞI A CODĂRII. Culegere de probleme

TEORIA INFORMAŢIEI ŞI A CODĂRII Culegere de robleme Vol. Hora BALTA Mara KOVACI Radu LUCACIU 9

Curns Ca. Probabltăţ. Informaţa.... Ca. Surse de nformaţe... Ca. Codarea surse... 6 Ca. Canale de transmse... Ca.5 Teste grlă... 5

Ca. Probabltăţ. Informaţa Dcţonar: - aosteror (a osteror) -locuţune latnă: dn ceea ce urmează, duă exerenţă, ornnd de la datele e; - aror (a ror) - locuţune latnă: dn ceea ce recede, anteror exerenţe; - bnar -.care este consttut dn două elemente;.a căru bază este numărul ; - bt/bţ -. Untate de măsură a nformaţe;.smbol bnar; - dscret -care este alcătut dn elemente dstncte; care varază în saltur; cuantfcat; dscontnuu; - echrobabl(e) -de egală robabltate; - nformaţe -necesarul/rezultatul cunoaşter; - robabltate -.însuşrea de a f robabl;.măsură (funcţe) defntă e un câm de evenmente, : Ω [,]. Defnţ: - sursă de nformaţe (sau exerment robablstc) un mecansm (un exerment) rn care se selectează un mesaj (un evenment) dntre n osble duă o lege arbtrară (sau cel uţn necunoscută); - mesaj (evenment) realzarea rodusă în urma efectuăr exermentulu; - bt canttatea de nformaţe furnzată de o sursă de nformaţe bnară, fără memore, echrobablă, rntr-un mesaj al e; - evenment elementar un evenment ce nu oate f defnt ca o reunune de două evenmente dstncte între ele ş de rmul. Brevar teoretc:. Probabltate Determnarea exermentală a robabltăţ de realzare a unu mesaj (evenment) A se face duă relaţa:. Probabltate condţonată Determnarea exermentală a robabltăţ de realzare a evenmentulu (mesajulu) B atunc când s-a realzat evenmentul (mesajul) A se face duă relaţa:. Formula fundamentală a robabltăţlor evenmentelor elementare Dacă A, n sunt evenmentele elementare ale unu exerment robablstc (mesajele une surse de nformaţe) atunc: n ( ) A (.). Relaţa lu Bayes Dacă A ş B sunt două evenmente atunc: ( A,B) ( A) ( B/A) ( B) ( A/B) (.) unde (A, B) robabltatea de a se realza ş A ş B. 5. Formula robabltăţ totale Dacă A cu, n sunt evenmentele elementare ale unu exerment robablstc ş B un evenment oarecare entru acelaş exerment atunc: n ( B) ( A ) ( ) B/A (.5) 6. Evenmente ndeendente Setul de evenmente A, I, sunt ndeendente dacă ş numa dacă entru J I ( A ) Π ( A ) J J În artcular, A ş B sunt două evenmente ndeendente dacă ş numa dacă: (.6)

( A,B) ( A B) ( A) ( B) (.) ş utlzând relaţa (.) ( A) ( A/B) (.8) ( B) ( B/A). Informaţa Canttatea de nformaţe necesară rdcăr nedetermnăr asura evenmentulu A este egală cu cea furnzată de realzarea evenmentulu A ş egală cu : ( A) log [bţ] (.9) ( A). Zece mng sunt use în tre cut C, C, C. Care este robabltatea ca în C să fe mng? Rezolvare: Fecare mnge oate f aşezată în orcare dn cele tre cut; astfel că fecare mnge trlează numărul de varante de aşezare a mnglor în cut. Aşadar numărul de varante de aşezare a mnglor în cut este: N... 59.9 (..) Pentru a avea tre mng în C trebue ca celelalte şate să fe aşezate în C ş C. Numărul de varante cu tre mng în C va f: N C 8 C 5.6 (..) unde C rerezntă numărul de modur de alegere a mng dn osble (consderând mngle dstncte); ar rerezntă numărul de osbltăţ de aşezare a şate mng în două cut, C ş C. Probabltatea cerută este: C PC 6% (..).. Tre trăgător trag smultan asura aceleaş ţnte. Probabltatea ca fecare trăgător să nmerească ţnta este,;,5;,. Notând cu A evenmentul ca ţnta să fe lovtă, B evenmentul ca ţnta să fe lovtă exact o dată să se afle: a) (A); b) (B); c) dacă cele două evenmente A ş B sunt ndeendente.

Rezolvare: a) Calculând robabltatea evenmentulu contrar lu A: rezultă că: b) Avem că: ( A) ( ) ( )( ) 9% ( A) ( A) 9% ( B) ( A A A ) + ( A A A ) + A A A ) ( )( ) + ( ) ( ) + ( )( ) 6% + + (..) (..) (..) unde cu A s-a notat evenmentul ca trăgătorul să nmerească ţnta. c) Pentru ca cele două evenmente să fe ndeendente este necesar ca: dar cum: (A/B) (A) (..) (A/B) % (..5) rezultă că cele două evenmente nu sunt ndeendente... Fe două urne, U (ce conţne ble albe ş ble negre) ş U (ce conţne o blă albă ş 5 ble negre). Se extrage o blă dn U ş se ntroduce în U, ao se extrage o blă dn U. Care este robabltatea ca bla transferată să f fost albă dacă bla extrasă dn U este: a) albă; b) neagră? Rezolvare: Fe evenmentele A bla transferată este albă; B bla extrasă dn U este albă; a) Pentru a calcula (A/B) alcăm formula lu Bayes: Probabltăţle ( A) s ( A) ( A) ( B/A) ( B) ( A/B) se calculează smlu: (..) ( A) ş ( A) 5 (..) 5 Probabltatea condţonată (B/A) este: (B/A) / (..)

ar (B) se oate calcula cu formula robabltăţ totale: Astfel: b) În mod analog + 5 5 ( B) ( A) ( B/A) + ( A) ( B/A) 5 ( A/B) ( A) ( B/A) ( B) 5 5 (..) (..5) 5 ( B/A) ;( B) ( A) ( B/A) + ( A) ( B/A) (..6) 5 6 + 5 5 5 5 ( ) ( A) ( B/A) 5,5 A/B 5! ( A/B) (..) ( B) 5 Se observă, cum era de aştetat, că este ma robabl să se f transferat o blă albă dacă dn a doua urnă a fost extrasă o blă albă... La un examen oral studenţ consderă că dn totalul subectelor m sunt uşoare ş n grele. Preczaţ: a) Probabltatea ca rmul student să extragă un subect uşor; b) Probabltatea ca cel de-al dolea student să extragă un subect uşor. Rezolvare: a) Cu notaţle: A evenmentul rn care rmul student extrage un subect uşor; B evenmentul rn care cel de-al dolea student extrage un subect uşor, avem că: ar m ( A) ( A) m + n n m + n m ( B/A) ( B/A) m + n m m + n (..) (..) c) Pentru calculu lu (B) se utlzează formula robabltăţ totale, relaţa (.5). Rezultă că: ( B) m m + n m m m( m + n ) m ( m + n)( n + m ) m + n m n + + n m + n m + n (..)

adcă (A) (B) cum era de aştetat. Obs: - cele două robabltăţ (A) ş (B) sunt robabltăţ aror (dnante de roducerea evenmentelor). Înante ca rmul student să extragă un subect, toţ studenţ, ndferent de ordnea lor, au şanse egale la a extrage un subect uşor..5. Un tetraedru regulat are feţele colorate, una în roşu, una în galben, una în verde, ar cea de-a trea conţne e toate tre culorle. Se lasă să cadă tetraedrul e una dn feţe. Fe evenmentele: R - faţa e care a căzut tetraedrul conţne roşu; G - faţa e care a căzut tetraedrul conţne galben; V - faţa e care a căzut tetraedrul conţne verde. a) cât este robabltatea evenmentulu roşu, (R)? b) cât este robabltatea condţonată (R/G)? c) sunt evenmentele R, G ş V ndeendente? Rezolvare: a) Probabltatea evenmentulu roşu este: b) Probabltatea de a se realza evenmentulu roşu dacă s-a realzat galben este: ( R/G) (.5.) deoarece una dn două feţe ce conţn galben conţne ş roşu. c) Pentru ca evenmentele R, G ş V să fe ndeendente trebue să fe îndelnte relaţle: ( R G) ( R) ( G) ( R V) ( R) ( V) ( G V) ( G) ( V) ( G R V) ( G) ( R) ( V) (.5.) Alcând relaţa (.), găsm că: ( R) ( G) ( V) ( R G) ( R V) ( G V) ( G R V) Cum ultma relaţe dn (.5.) nu este verfcată evenmentele R, G ş V nu sunt ndeendente. (.5.) 5

.6. Pot f smultan două evenmente ş ncomatble ş ndeendente? Rezolvare: Fe A ş B două evenmente. Incomatbltatea lor resuune ca: ( A B) ar ndeendenţa: ( A B) ( A) ( B) (.6.) (.6.) Dn cele două relaţ rezultă că cele două evenmente ot f ndeendente, fnd ncomatble, doar dacă unul este de robabltate nulă. Altfel sus, două evenmente de robabltăţ nenule ot f ndeendente doar dacă sunt comatble... O magne alb negru se comune dn x 56 xel. Fecare xel oate avea un nvel de gr dntre 6 osble. Aflaţ nformaţa furnzată de: a) un xel; b) întreaga magne. Rezolvare: a) Consderând egal robable nvelele de gr, conform defnţe nformaţe unu evenment: log 6 bţ (..) 6 ( xel) log ( nvel gr) c) Întreaga magne furnzează de x 56 or ma multă nformaţe: ( magne) 56 ( xel) 6,5 bţ (..).8. a) Care este numărul de întrebăr mnme necesare entru a afla un număr necunoscut N x curns între ş? Întrebărle ot f de genul : Numărul N x este ma mare decât N (nomnalzat)? b) Cât este rmul rag N ş cât este nformaţa conţnută de răsunsul la întrebarea: Numărul N x este ma mare decât 8? Rezolvare: a) Informaţa necesară entru a afla numărul N x necunoscut este: log log log bţ (.8.) / N ( N x ) Informaţa obţnută rn răsunsul la o întrebare este: 6

NP ( A ) N log ( A ) N + ( A ) N log ( A ) N (.8.) unde A N este evenmentul rn care numărul N x este ma mare decât ragul N. Evdent: ş utem scre: x A ( A ) + ( A ) N N ( ) ( A ) N N (.8.) (.8.) de unde N x x ( x) xlog + ( x) log cu x [,] (.8.5) Funcţa (x) îş atnge maxmul dacă x (.8.6) Valoarea maxmulu este: m bt (.8.) ş coresunde unu rag: N m 99 (.8.8) Aşadar, dacă ragul este ales la jumătatea ntervalulu în care se cunoaşte că se află N x nformaţa obţnută rn răsunsul la întrebare (în cazul cel ma defavorabl) este maxmă ş egală cu bt. Cert, numărul mnm de întrebăr este: unde [y] su denotă numărul întreg sueror lu y. Obs: numărul n găst cu raţonamentul anteror este mnm în cazul general, acest lucru însemnând că ndferent de N x rn întrebăr de tul cele dn enunţ (cu ragurle alese la jumătate ) se află valoarea sa. Exstă cazur artculare când, entru anumte valor a lu N x, să fe sufcente ma uţne întrebăr (ex: N x ş N ) dar entru astfel de cazur ntervne şansa! b) Dn relaţa (.8.8) N 99; Dacă ragul se alege (la rma întrebare) N 8 avem că

8 ( A),65 ş ( A),8 (.8.) de unde: bţ (.8.) 65 8 ( 8),65 log +,8 log,9 Rezultatul curns în relaţa (.8.) arată că dacă ragurle nu vor f alese la jumătate exstă osbltatea să nu fe sufcente întrebăr!.9. Câte cântărr sunt mnm necesare entru a recza o monedă falsă dn ş dacă moneda este ma grea sau ma uşoară? Moneda falsă dferă rn greutate ar cântărrle se fac e o balanţă cu talere. Rezolvare: Informaţa necesară entru a soluţona roblema este: nec log + log log bţ (.9.) unde log este nformaţa necesară entru a afla moneda dn, ar log este nformaţa necesară entru a afla dacă moneda este ma grea sau ma uşoară. Informaţa maxmă furnzată de o cântărre este: cm log bţ (.9.) ş se atnge dacă cele tre varante rezultat al une cântărr cu balanţa(a-balanţa se înclnă sre dreata, B-balanţa se înclnă sre stânga, C-balanţa nu se înclnă) sunt egal robable: ( A) ( B) ( C) (.9.) Numărul de cântărr cerut va f: nec n n sau nec n cm sau log log (.9.) cm su cu soluţa: n mn (.9.5) Obs: - relaţa (.9.) este valablă doar dacă cele tre varante rezultat ale cântărr sunt egal robable. Astfel dacă cele monez se notează cu M, M,..., M rma cântărre constă în a comara e M + M + M + M cu M 5 + M 6 + M + M 8. O osblă rezolvare a robleme oate f: A moneda falsă este - ma uşoară ş este M, M, M, sau M. - ma grea ş este M 5, M 6, M, sau M 8. B moneda falsă este - ma grea ş este M, M, M, sau M. -ma uşoară ş este M 5, M 6, M, sau M 8. C moneda falsă este ma grea sau ma uşoară ş este M 9, M, M, sau M. 8

Dacă rezultatul rme cântărr este A, ndcele semnfcă rma cântărre, A rezultatul e, atunc se comară M + M + M 5 cu M + M + M 6 - dacă la a doua cântărre rezultă A atunc fe M sau M e ma uşoară fe M 6 e ma grea ş se comară în contnuare M cu M ; - dacă la a doua cântărre rezultă B atunc fe M sau M e ma uşoară fe M 5 e ma grea ş se comară în contnuare M cu M ; - ar dacă la a doua cântărre rezultă C atunc fe M e ma grea fe M 8 ; se comară M cu M 8.În mod analog entru B ş C. Obs: - relaţa (.9.) ndcă că roblema ar utea f rezolvată ş entru monez în locul celor : n log 6 log log cu n În realtate roblema cu monez nu oate f comlet soluţonată dn cântărr entru că nu se oate asgura echrobabltatea rezultatelor... Cât este nformaţa obţnută în dfertele varante de rezolvare a robleme cu monez? Dar cu monez? Răsuns: Pentru varanta A A A (cu monez): 8 8 log + log + log + log, 8 8 bţ I Obs: nformaţa obţnută la a doua cântărre este ma uţnă decât cea resuusă, log bţ... Un convertor analog-numerc (CAN) converteşte tensunea de ntrare U x într-un număr N x conform relaţe: N x U q x (..) unde U x oate lua valor între ş U max,8 V; q este cuanta converse, q 5mV; [y] semnfcă artea întreagă a lu y. a) Câtă nformaţe furnzează la eşrea sa CAN-ul rn fecare număr generat ş câtă nformaţe se erde? b) Dacă CAN-ul foloseşte entru converse, în ma mulţ aş succesv, un comarator, să se stablească câtă nformaţe furnzează comaratorul la un as ş câţ aş sunt necesar entru efectuarea converse? c) Care sunt tensunle de rag ale comaratoarelor utlzate, U, în conversa tensun U x, V, în cazul în care conversa se face într-un număr mnm de aş? Răsuns: a) 8 bţ; în mod deal U x conţne + nformaţe. 9

În realtate măsurarea une tensun U x este lmtată (ca ş recze) fe de rezoluţa aaratelor fe de nvelul zgomotulu. b) c bt; 8 aş; c) U 6, V; U 9,6 V; U 8 V; U, V; U 5,6 V; U 6, V; U,5 V; U 8,5 V... Un CAN de mare vteză utlzează 8 de comaratoare entru a face conversa tensunlor de ntrare dn ntervalul [-,8V, +,8V] la o rezoluţe de qmv. Determnaţ redundanţa în comonente a CAN-ulu. Rezolvare: Numărul de răsunsur dstncte ale CAN ulu entru o tensune U x ce varază de la -,8 V la +,8 V este: U U q 56 max mn N 8 (..) Probabltatea ca o tensune U x să genereze un răsuns dn cele N osble este: /N -8 (..) ar nformaţa conţnută de un răsuns este: log 8bţ (..) Pentru că un comarator alege o varantă dn două osble, nformaţa furnzată de el este: log c bt (..) Aşadar în mod deal, entru o converse sunt sufcente: n / c 8 comaratoare (..5) de unde rezultă că redundanţa este de de comaratoare. Obs: Motvaţa utlzăr a ma multor comaratoare constă în fatul că, la folosrea doar a 8 comaratoare, sunt necesare tensun de rag varable în funcţe de tensunea U x, lucru ce scade vteza de converse... La o transmse numercă nformaţa utlă se transmte rn secvenţe bnare de câte n bţ, numte cuvnte. Câtă nformaţe este necesară entru a recza ozţa unu bt eronat dn ce n? Dar entru do bţ eronaţ? Exemlfcare entru n 8.

Rezolvare: Informaţa cerută se calculează cu formula: log n (bţ) (..) Se consderă că transmterea (mlct eronarea) unu bt este ndeendentă de a celorlalţ. Aşadar, entru un bt eronat bţ; entru do bţ eronaţ log C,8 bţ. 8.. Aceeaş întrebare ca ş la roblema., cu dferenţa că este o transmse ternară. Rezolvare: În cazul transmse ternare corecţa unu smbol (ternar) eronat resuune e lângă aflarea ozţe sale (fat ce necestă aceeaş nformaţe ca ş la secvenţa bnară), ş valoarea smbolulu nţal, valoare ce oate f una dn două osble. Cu aceste justfcăr, răsunsurle vor f: log n (entru aflarea ozţe) + log (entru aflarea valor) bţ (..) log C + log 6,8 bţ (..) n În relaţa (..) s-au adăugat bţ de nformaţe necesar aflăr valor adevărate entru două smbolur ternare eronate..5. La o transmse bnară nformaţa utlă este transmsă rn cuvnte de n8 bţ rntr-un canal cu rata eror -. Câtă nformaţe, în mede e un cuvânt, este necesară entru a face: a) detecţe de o eroare e cuvânt? b) detecţe de una sau două eror e cuvânt? Rezolvare: a) Probabltatea ca un cuvânt să fe eronat într-o ozţe este: n C n ( ) C n [ ( n ) ] 8,99,9 (.5.) este ş robabltatea ca recetorul să detecteze o eroare. Cert - este robabltatea ca recetorul să a decza că nu exstă eroare (ncluzând cazurle corecte ş false). Fe a ş b Ν astfel încât: a/b ş - (b-a)/b (.5.)

Aşadar dn b cuvnte transmse a sunt detectate cu eroare. Pentru a detecta un astfel de cuvânt este necesară nformaţa: log d (.5.) b-a cuvnte dn cele b sunt consderate neeronate, entru un astfel de cuvânt fnd necesară nformaţa: n log ( ) (.5.) Concluzonând entru b cuvnte receţonate este necesară nformaţa: b a d + (b-a) n (.5.5) ar entru un sngur cuvânt receţonat, entru a face detecţe de o eroare: a b a d + n b b log ( ) log ( ),668 bţ/cuvânt (.5.6) b) Ş în acest caz nformaţa cerută are aceeaş formă cu (.5.6) doar că dferă : ( ) log ( ) log (.5.) unde este robabltatea ca un cuvânt să fe eronat într-o ozţe sau în două ozţ: n n ( ) + C ( ),9 C n n (.5.8) de unde rezultă entru valoarea:,6 bţ/cuvânt (.5.9) Obs: Detecţa rezenţe erorlor resuune a decde între două varante: exstă sau nu exstă eror în cuvântul în cauză. Informaţa furnzată de o astfel de decze (una dn două osble) este, în mede, subuntară, încât roblema detecţe dn unct de vedere strct al nformaţe este solvablă cu bt (de nformaţe) e cuvânt, ndferent de sau n.

Ca. Surse de nformaţe Dcţonar: - efcenţă raortul dntre ansamblul efectelor utle (rezultatelor) ce se obţn de e urma une actvtăţ ş totalul eforturlor; - entroe (lmba greacă entroe întoarcere, schmbare) mărme ce ndcă gradul de nedetermnare asura unu sstem; - extense dezvoltare, creştere, amlfcare, extndere; - graf culu format dntr-o mulţme ale căre elemente se numesc vârfur ş dntr-o funcţe care asocază, la orce ereche ordonată de vârfur (rmul numt sursă ar al dolea adresă), un element, numt săgeată, al une alte mulţm. - redundanţă (redondanţă).abundenţă (nutlă) de cuvnte, de fgur retorce, de magn entru exrmarea une de;.excesul de nformaţe faţă de strctul necesar; - stare.stuaţe în care se află ceva sau cneva;.ansamblul valorlor nstantanee a arametrlor ce caracterzează comlet un sstem dat; - staţonar care rămâne în aceeaş stare; Defnţ: - Sursă de nformaţe text sursa de nformaţe, de regulă consderată fără memore, având dret smbolur caracterele dstncte dn textul dat (oţonal se ot nclude semne de unctuaţe, auzele dntre cuvnte, cfrele, etc).. Probabltăţle dfertelor smbolur vor f onderle lor în text. - Extensa une surse fnd dată o SDFM, S cu N smbolur, se defneşte extensa de ordn n a surse, notată S n, sursa având un număr de N n smbolur obţnute dn toate combnaţle osble de mesaje comuse dn n smbolur ale surse S. - Sursă cu memore (Markov) de m aş sursa de nformaţe cu N smbolur entru care emsa celu de-al m+-lea smbol dende de cele m smbolur anteror emse. - Starea surse Markov de m aş setul ultmelor m smbolur emse. Dacă sursa oate emte M smbolur ş este cu memore de m aş atunc admte M m stăr. - Probabltate de trecere (S j /S ) robabltatea ca sursa Markov să treacă în starea S j s km- s km-... s k (rn emterea smbolulu s k), dacă se află în starea S s km- s km-... s k. - Matrcea de tranzţe,t o matrce ătrată de ordn M m ce conţne toate robabltăţle de trecere; - Graful surse cu memore graful ale căru nodur rerezntă stărle surse, ar coardele (săgeţle) ce leagă nodurle robabltăţle de trecere. - Sursă Markov staţonară robabltăţle de trecere în n aş converg către lmte ndeendente de starea nţală când n. - Stare de staţonartate (a une surse Markov staţonare) un vector, P * de dmensune M ce conţne robabltăţle, j, M ce verfcă sstemul: Probabltatea * j * P T P M * j j * * j rerezntă şansa ca sursa Markov, duă n aş cu n să se găsească în starea S j. Notaţ: S sursă de nformaţe; N numărul de smbolur; S, N smbolurle surse;, N robabltăţle de emse a smbolurlor S ; S m extensa de ordn m a surse SDFM, S; S j, j N m stărle surse cu memore, S; T matrcea de tranzţe; m ărţ er mlon (m -6 ). Abrever: SDFM Sursă Dscretă Fără Memore. (.)

Brevar teoretc:. Mărm ce caracterzează sursa de nformaţe: --entroa SDFM: H () S N log --entroa surse cu memore: H N N * () S j( S/S j ) j log S ( /S ) j (..a) (..b) -entroa maxmă: H max () S log N (.) --efcenţa: η s H() S /H max () S (.) --redundanţa: R(S) H max (S) H(S) (.5) --redundanţa relatvă: () S /H () S ρ s R max. Formulă entru schmbarea baze logartmulu: lnx log x ln. Condţa de exstenţă a stăr de staţonartate entru sursă cu memore: n Ν astfel încât T n să fe o matrce regulată (are toate elementele strct oztve) (.6) (.).. O sursă de nformaţe dscretă are entroa egală cu,8 bţ/smbol ş redundanţa relatvă 9,8%. Câte smbolur are sursa? Rezolvare: Dn relaţle de defnţe a entroe maxme ş a redundanţe relatve entru o sursă dscretă fără memore: H max log N ρ () H S H max (..) (..) unde: H(s)-entroa surse; H max -entroa maxmă, ρ-redundanţa relatvă, N-nr. de smbolur a surse, găsm că: ş: H max N () H S ρ Hmax,8 9, (..) (..)

.. Fe sursa de nformaţe S: S S 8 S S 6 S S5 6 Se cere să se calculeze: a) nformaţa mede e smbol, H(s); b) valoarea maxmă a entroe surse H max ; c) efcenţa surse η s ; d) redundanţa surse R; e) redundanţa relatvă ρ. Rezolvare: a) Informaţa mede e smbol sau entroa surse H(S) se calculează cu formula: N H () S ( s ) log (..) ( s ) unde: N numărul de smbolur a surse S; s,, N, smbolurle sau mesajele surse S; (s ) robabltatea ca sursa să emtă smbolul s. Înlocund rezultă că: b) Entroa maxmă este: c) Efcenţa surse este: () S log 8 + log + log 6 + log + log 6 8 6 6 + + + + + + + + 8 8 6 8 8,5 bţ/smbol (..) H H max log N log 5, bţ/smbol (..) η s () H S H max 9,5% (..) d) Redundanţa surse R este dferenţa dntre entroa maxmă ş entroa surse date: R H max - H(S),9 bţ/smbol (..5) e) Redundanţa relatvă, cu formula de calcul (.6), are valoarea: ρ 8,5% (..6) 5

.. Sursa de nformaţe dscretă ş fără memore S are dret smbolur caracterele dstncte dn următoarea roozţe (sursă text): NU UITA NICI PAUZELE DINTRE CUVINTE. Probabltăţle smbolurlor (caracterelor dstncte) sunt onderle lor dn text. Se cere: a) tabloul smbolur-robabltăţ entru sursa S; b) entroa H(S), redundanţa R ş efcenţa η s surse S; c) robabltatea ca sursa să emtă mesajul AUR. Rezolvare: a) tabloul smbolur-robabltăţ este: A C D E I L N P R T U V Z _. S 5 5 (..) 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 b) Conform relaţe de defnţe entroa surse este: N () ( s ) H S k log 6 k ( s ) N N log 6 k log 6 6 N k log 6 k (..) unde: N 5 numărul de smbolur a surse S; k,,5, - robabltăţle smbolurlor. 6 Înlocund în (..) valorle obţnute entru k dn tabloul (..) găsm: 6 + log + 5 log 5) () S log 6 ( log + log + log + H ( + log + 6 + log 5) + log 6 5 69 + log log 5 6 6 6,8 bţ/smbol (..) Redundanţa ş efcenţa surse se obţn cu relaţle: H() S log N H() S () H() S R H max H S η s H log N max (..) Cunoscând N 5 ş cu H(S) dat de (..) găsm: 6

R,6958 bţ/smbol η s 98,% (..5) c) Sursa S fnd fără memore robabltatea cerută va f: 6 6 6 ( AUR) ( A) ( U) ( R),5 (..6).. Fe sursa de nformaţe dscretă ş fără memore: S S S S S5 S6 S S 5 8 5 Să se calculeze entru sursa S: a) entroa H(S); b) valoarea maxmă a entroe surse H max ; c) efcenţa surse η s ; d) redundanţa surse R; e) redundanţa relatvă ρ. Răsuns: a) H(S), bţ/smbol b) H max,8 bţ/smbol c) η s 86,85% d) R, bţ/smbol e) ρ,5%.5. Fe sursa text: STUDENTUL *** REZOLVA O PROBLEMA DE TTI. a) înlocuţ *** cu numele ş renumele dumneavoastră ş construţ în acest caz tabloul surse; b) calculaţ entroa ş efcenţa surse de la unctul a); c) cât este robabltatea ca sursa de la a) să emtă mesajul MAR. Răsuns: entru *** POP ION a) A S B D E I L M N O 5 P R S T U V Z _.

,896 bţ/smbol b) () S log ( 6 + 6 log + 6 + 5 log 5 + log ) H η s,896 9,% log 8 c) ( ) m MAR.6. O sursă de nformaţe bnară cu memore de do aş are graful coresunzător în fgură. Să se afle: a) robabltăţle de trecere nefgurate; b) ce şanse sunt ca duă transmterea mesajulu să se transmtă mesajul. c) matrcea de tranzţe ş o eventuală stare de staţonartate; d) entroa surse date. Rezolvare: a) Probabltăţle cerute sunt: ( S /S ) ( S /S ) ( S /S ) ( S /S ) ( S /S ) ( S /S ) ( S /S ) ( S /S ) 5 (.6.) b) Deoarece sursa are memore de do aş, dn mesajul transms sunt relevanţ, entru defnrea stăr actuale, doar ultm do bţ transmş. Aşadar starea actuală este S. Dn S şansele ca sursa să emtă ş, ca atare, să treacă în starea S sunt de 5% ((S /S )). Prn generarea încă a unu sursa va trece dn starea S în starea S. Probabltatea aceste tranzţ este de 5%. Concluzonând robabltatea ce însoţeşte acest traseu S S S este: ( S S S ),5% (.6.) 8 8

c) Matrcea de tranzţe este: T ( S/S ) ( S/S ) ( S/S ) ( S/S ) ( S/S ) ( S/S ) ( S/S ) ( S/S ) ( S/S ) ( S/S ) ( S/S ) ( S/S ) ( S /S ) ( S /S ) ( S /S ) ( S /S ) 5 5 (.6.) O eventuală stare de staţonartate ar conţne robabltăţle anumtă stare S : * P * * * * [ ] *, ca sursa să se afle într-o (.6.) cu * P îndelnnd condţa: * P T P * (.6.5) Înlocund în (.6.5) e T ş * P date de (.6.) ş (.6.) rezultă: - - * * * * [ ] - 5-5 (.6.6) Sstemul de ecuaţ dat de (.6.6) este comatbl nedetermnat fat ce necestă încă o relaţe între robabltăţle, relaţe care este: * * * * * [ + + + ] (.6.) Soluţa sstemulu obţnut dn (.6.6) ş (.6.) este: 6 8 8 * 99 99 99 99 (.6.8) d) Entroa surse cu memore se calculează cu formula: () S ( S ) ( a j /S ) log ( a j ) H M /S j (.6.9) 9

unde S, cu, sunt cele stăr osble ale surse ar a j, cu j, sunt mesajele osbl a f emse dn fecare stare. Pentru uşurnţa calcululu entroe, elementele cerute de suma dublă dn (.6.9) sunt date în tabelul următor : S a * j ( S ) a j /S S 6 / 99 / ( ) S 8 / 99 / S 8 / 99 / S /5 99 /5 Tabelul. Înlocund în (.6.9) elementele dn tabelul. rezultă : 6 8 () S log + log + log + log 99 99 8 5 5 + log + log + log + log 99 99 5 5,9 bţ/smbol (.6.) H M.. O sursă de nformaţe bnară cu memore de do aş are graful coresunzător în fgură. Dacă în rezent sursa se află în starea S cât este robabltatea ca duă tre smbolur sursa să se regăsească tot în starea S? Răsuns: ( S S S S ) + ( S S S S ) +,% 5

.8. O sursă de nformaţe bnară cu memore de un as are robabltăţle de trecere: (/) 5/ ş (/) /. a) construţ graful surse date; b) calculaţ starea de staţonartate; c) determnaţ entroa surse; d) determnaţ entroa une surse fără memore având aceleaş smbolur ş robabltăţle smbolurlor cele conţnute în starea staţonară. Rezolvare: a) Pentru a utea constru graful surse cu memore aflăm robabltăţle de trecere ce nu sunt date în enunţul robleme: În acest fel graful este: (/) - (/) / (/) - (/) / (.8.) b) Matrcea de tranzţe este: 5 T (.8.) ar starea staţonară se află rezolvând sstemul: * * * * [ ] T [ ] * + * (.8.) Rezultă: * * 5 8 5 (.8.) c) Entroa surse cu memore este dată de relaţa: () S ( S ) ( a j /S ) log ( a j ) H M /S j (.8.5) unde S ; S ; a ; a

5 * ( S ) ( S ) * ar robabltăţle (a j /S ) sunt cele ndcate de graf. Înlocund în (.8.5) rezultă: 8 5 5 8 () S log + log + log + log 5 5 5,855 bţ/smbol (.8.6) H M d) O sursă fără memore conformă cu cernţele robleme are tabloul: S S 5 S 8 5 (.8.) ar entroa: 5 5 8 5,9968 bţ/smbol (.8.8) 5 8 () S log + log H Comarând cele două entro găste H M (S) ş H(S) se observă că ultma este ma mare..9. O sursă de nformaţe bnară cu memore de tre aş are graful coresunzător în fgură. Să se afle: a) matrcea de tranzţe; b) entroa surse; c) robabltatea ca sursa, aflată în starea S, duă emterea a tre smbolur să ajungă în starea S. Răsuns:

a) 5 5 5 5 T b) 959 959 6 959 5 959 96 959 6 959 5 959 96 959 8 * (),965 S H M bţ/smbol c) ( ) 9% 9 S S S S 6.. Fe sursa de nformaţe fără memore având tabloul smbolurrobabltăţ: x,,, d c b a S Se cere: a) valoarea lu x; b) entroa ş efcenţa surse S; c) tabloul surse de nformaţe S (extensa de ordn a lu S); d) entroa ş efcenţa surse S. Rezolvare: a) Deoarece: N rezultă x, (..) b) () N,86 log S H bţ/smbol entroa (..)

() H() S H S η s 9,% efcenţa (..) H log N max b) Extensa une surse S se obţne asocnd câte două mesaje ale surse S. Astfel: S aa ab 8 ac ad 6 ba 8 bb 6 bc bd ca cb cc cd da 6 db dc dd 9 (..) c) ( S ) H() S,69 l H bţ/smbol (..5) ( ) ( S ) () H S H S η η S S H max log N (..6) Obs: Entroa extense de ordnul do a surse S este dublul entroe surse date, efcenţa ăstrându-se. Prn generalzare se oate arăta că: m ( ) m H() S H S η η m S S (..) unde S m este extensa de ordn m a surse S... O sursă ternară cu memore de un as are graful dn fgură a) să se afle cele tre robabltăţ de trecere necunoscute; b) calculaţ starea de staţonartate; c) calculaţ entroa surse date; d) entru ce valor ale robabltăţlor de trecere sursa este ractc fără memore? Răsuns: 5 a) ( S /S ) ( S /S ) ( S /S )

b) c) 9 5 9 * * * Starea actuală Starea vtoare 9 Probabltatea stăr staţonare S S S S /9 S S S S 5/9 S S S S /9 () S H M,5 bţ/smbol Probabltatea de trecere / / / /5 /5 /5 / / / Tabelul. α β γ d) ( S /S ) ( S /S ) ( S /S ) j,, j j j cu α, β, γ R + α + β + γ.. O SDFM are N smbolur ş efcenţa de 5%. Cât sunt entroa, redundanţa ş redundanţa relatvă a surse date? Răsuns: H(S),5 bţ/smbol R,5 bţ/smbol ρ 5% 5

Ca. Codarea surse Dcţnoar: - cod (lmba latnă "codex"- culegere) -.ansamblul unor regul;.culegere de leg;.sstem de semnale sau semne convenţonale cu semnfcaţ bne reczate, ale căror combnaţ sunt foloste entru transmterea unor mesaje; - comrese - reducere a volumulu. Defnţ: - codare rocesul de atrbure a unor succesun (secvenţe) de smbolur elementare mesajelor (smbolurlor) une surse de nformaţe; - alfabetul codăr totaltatea smbolurlor elementare cu ajutorul cărora se ot constru succesunle (secvenţele); - cuvânt de cod o secvenţă (succesune) atrbută rn rocesul de codare a unu mesaj al surse de nformaţe; - cod totaltatea cuvntelor de cod; - cod - bnar alfabetul este bnar: {, }; - bloc cuvntele au aceeaş lungme; - unc decodabl fecăre succesun de cuvnte de cod î coresunde o uncă succesune de smbolur a surse; - nstantaneu nc un cuvânt de cod nu este refxul altu cuvânt; - graful de codare (graful codulu) un arbore ce creşte, dntr-un unct nţal (numt sursă), rn m ramur la fecare nod (m - numărul de smbolur elementare dn alfabet) ş are la fnele orcăre ramur (numtă frunză) câte un smbol (mesaj al surse). Fecare dn cele m ramur ce leacă dntr-un nod este notată cu unul dntre smbolurle elementare ale afabetulu codulu. Secvenţa obţnută rn asocerea smbolurlor elementare ataşate une că, ce leacă de la sursă ş ajunge la o frunză, este cuvântul de cod ce codează smbolul (mesajul) surse ataşat acele frunze; - efcenţa codăr raortul între lungmea mede mnmă a cuvntelor unu cod ce ar utea coda sursa dată ş lungmea mede a cuvntelor codulu dat; - comresa rocedeul de recodare a une surse cu scoul de a obţne o efcenţă sueroară rmulu cod; - factor de comrese raortul efcenţelor codurlor, comrmat ş nţal. Notaţ: L - lungmea mede a cuvntelor codulu; η c - efcenţa codăr; F - factor de comrese. Abrever: LZ - - algortmul de comrese Lemel -Zv '. Brevar teoretc:. Teorema I-a a lu Shannon: entru orce sursă de nformaţe S, rntr-o codare e grue de n smbolur, oate f făcută o codare absolut otmală dacă n ;. Lungmea mede a cuvntelor codulu: N L l (.) unde: l - lungmea cuvântulu ataşat smbolulu surse; s numărul de smbolur elementare dn comonenţa câmulu resectv;. Efcenţa codăr se oate calcula duă formula: () L η H S c (.) 6

.. Fe sursa de nformaţe dscretă ş fără memore: S a, b,5 c, d,5 ş tre codur bnare entru sursa S: C I a b c d C II a b c d C III a b c d a) Ce secvenţă bnară coresunde, entru fecare cod în arte, mesajulu surse: "abacdab"?; b) Arătaţ că decodarea secvenţe construte la unctul a) este uncă doar entru CII ş CIII, nu ş entru CI; c) Calculaţ entroa surse ş efcenţa acestea; d) Calculaţ lungmea mede a cuvntelor fecăru cod, recum ş efcenţa codăr. Rezolvare: a) Secvenţele bnare cerute se obţn rn smla substtuţe a lterelor cu secvenţele bnare (cuvntelor) coresunzătoare lor: Sv Sv (..) Sv b) Decodând secvenţa Sv rn I găsm cel uţn două varante de decodare: abacdab, dacdd, abacabab, etc... fat ce nu se oate întâmla cu Sv ş Sv rn CII, resectv CIII. c) Conform formule de defnţe, entroa surse este: () log, 9 H S N bţ/smbol (..) Pentru calculul efcenţe este necesară în realabl entroa maxmă: Hmax Rezultă efcenţa surse: log N bţ/smbol (..) η () H S H s max 95% (..)

d) Lungmea mede a cuvntelor unu cod se calculează cu formula: N L l (..5) unde l este lungmea cuvântulu de cod numărul. Deoarece CI ş CII au aceleaş lungm entru cuvnte ş lungmea mede va rezulta aceeaş: ar: L L, +,5 +, +,5,95 bţ/smbol (..6) L bţ/smbol (..) fnd un cod bloc. Efcenţele codărlor rezultă: η 9,6% ηc ηs c ηc 95%. (..8) Obs.: - Deş CIII are lungm ale cuvntelor de cod ma mc decât CI ş CII, totuş acestea "codează ma efcent" sursa dată, deoarece atrbue cuvânt de cod scurt (lungme ) smbolulu cel ma frecvent (a). - Codurle CII ş CIII sunt codur unc decodable rn fatul că decodarea une secvenţe codate decurge într-un unc fel. În lus sunt ş codur nstantanee. Un exemlu de cod unc decodabl, dar nu ş nstantaneu, este: CIV a b c d - Cu toate că realzează bunvoctăţ între mulţmea mesajelor surse S ş mulţmea cuvntelor de cod, codul CI nu oate f utlzat deoarece nformaţa transmsă rntr-un astfel de cod oate f deformată la decodare... O SDFM cu smbolur echrobable se codează cu un cod bloc (toate cuvntele au aceeş lungme). a) Cât sunt entroa ş efcenţa surse date? b) Cât este lungmea mede m a cuvntelor codulu, mnm necesară? c) Calculaţ efcenţa codăr. Rezolvare: a) Sursa fnd echrobablă: H(S)H max log, bţ/smbol (..) 8

ş, ca atare: η s % (..) b) Pentru a utea atrbu N secvenţe bnare, de lungme m, celor N mesaje ale surse este necesar ca să exste cel uţn N secvenţe dstncte. Cum numărul de secvenţe bnare de lungme m este m rezultă că m N, unde N este numărul de smbolur al surse, N. În lus, conform cernţelor robleme vom alege e cel ma mc m ce verfcă negaltatea, astfel încât: m < N < m (..) Pentru cazul concret (N) rezultă: m5 (..) c) Lungmea mede a cuvntelor codulu bloc este: N L l m m (..5) relaţe ce este adevărată ndfrent de valorle robabltăţlor. Efcenţa codăr va f: η () S H c L log 5 86,% (..5).. a) Codaţ rn algortmul Huffman statc sursa de nformaţe dscretă ş fără memore: a b c d S,,,5,5 b) Codaţ cu ajutorul aceluaş algortm Huffman statc extensa de ordn a surse date; c) Calculaţ ş comaraţ în cele două cazur efcenţele celor două codur obţnute. Rezolvare: a) Desfăşurarea algortmulu Huffman statc este rezentată în fgura de ma jos: a b c d,,5,,5,,5,5,6, Fgura.. 9

Codul obţnut are lungmea: L l,95 bţ/smbol (..) b) Tabloul surse S (extensa de ordn I a surse date) este: aa S 6 ab 8 ac ad 6 ba 8 bb bc 5 bd ca cb 5 cc 6,5 cd,5 da 6 db dc,5 dd,5 Algortmul de codare Huffman statc entru sursa S este arătat în fgura următoare: aa 6 6 6 6 6 ac ca ab 8 8 8 8 ba 8 8 8 8 8 cc 6,5 6,5 6,5,5 8 ad 6 6 6,5 6,5,5 da 6 6 6 6,5 6,5 bc 5 5,5 6 6 6,5 cb 5 5 5,5 6 6 bb 5 5 5,5 6 cd,5 5 5 5,5 dc,5,5 5 bd,5,5 db dd,5 6,5 8 8,5 6,5 6,5 6 6 6 6,5 6,5,5 58,5,5,5 6 6,5 6,5,5,5,5,5 6 6,5 6,5,5,5,5 6 6,5,5,5 6,5,5 8 8 8,5 8 6,5 Fgura.. În desfăşurarea algortmulu robabltăţle sunt înmulţte cu entru uşurnţa screr. Lungmea mede a cuvntelor codulu obţnut este:

L ( 6 + + ) + ( 8 + 8 + 6,5 + 6 + 6 + 5 + 5) 5 + ( +,5 +,5 + + +,5) 8 + + 98,5..., 85 bţ/smbol (..) Cunoscând că entroa extense de ordn este dublul entroe surse date (vez roblema.) găsm că: H(S),9bţ/smbol ( S ) H() S, 8 H bţ/smbol (..) De unde: η η () H S L Cum L >L η c > η c 9,6% c H( S ) H() S L L c ηc L L L L 99,% (..) (..5).. Fe sursa de nformaţe text (nclusv auzele): "TEORIA TRANSMITERII INFORMATIEI." a) Să se afle tabloul surse; b) Să se codeze cu un cod otmal rn algortmul Huffman; c) Să se calculeze efcenţa codăr ş factorul de comrese faţă de o codare bloc; d) Să se construască graful de codare. Răsuns: a) b) c) A S E F I M A E R F S I T M _ N. η c 98,95% F,85 N O R S T _.

d) A N M I _ O T R F E. S.5. O sursă de nformaţe dscretă ş fără memore, având redundanţa relatvă ρ, a fost codată cu un cod bnar cu efcenţe η c. Ştnd că: η c +ρ ş cunoscând lungmea mede a cuvntelor codulu bloc L5 bţ/smbol aflaţ numărul de smbolur ale surse. Răsuns: N.6. Sursa de nformaţe, fără memore, consttută dn smbolurle A, C, D, E, I, N, R, cu (A),8, (C),, (D),5, (E),8, (I),6, (N),6 se codează cu un cod bnar rn algortmul Huffman statc. Care este lungmea secvenţe bnare ataşate mesajulu "CRIN"? Răsuns: bţ.. O sursă de nformaţe echrobablă cu 5 smbolur se codează cu un cod bnar bloc de efcenţă maxm osblă (codare e smbol). Cât este efcenţa codăr? 5 Răsuns: ηc log 5 98,6% 86

.8. Sursa text (fără auze): VINE EA SI VACANTA ordonată alfabetc, se codează cu un cod bnar (cod bnar natural). Consderând eşrea codorulu dret o sursă bnară secundară, cu cât este egală entroa aceste surse secundare (consderată ş ea fără memore)? Rezolvare: Tabloul smbolur robabltăţ este: ar codul bnar bloc cerut: A C E I N S T V S (.8.) 5 5 5 5 5 5 5 5 A C E I N (.8.) S T V Probabltatea ca sursa secundară să emtă un zero se calculează cu relaţa: N m ( ) E (.8.) m unde: N8 - numărul de smbolur al surse rmare;.n -robabltăţle smbolurlor surse rmare; m lungmea cuvntelor codulu; m - numărul de zerour dn comonenţa cuvântulu. În mod analog: N m ( ) ( ) E E (.8.) m Efectuând calculele, găsm că: 6 ( E ) ( + + + + + + ) 5 5 9 ( E ) ( + + + + + + ) 5 5 (.8.5) astfel tabloul surse secundare este:

S ' (.8.6) 6/ 5 9/ 5 ar entroa: ' 6 5 9 5 ( S ) log + log, 985 H bţ/smbol (.8.6) 5 6 5 9.9. Folosnd algortmul LZ- găsţ: a) rezultatul comrese mesajulu: aaabcbaabcc...; b) mesajul nţal, dacă rezultatul comrese a fost cbcb6; Lungmle blocurlor Lemel resectv Zv sunt 8 ş. Rezolvare: a) Dagrama de ma jos rezntă terat codarea LZ asura mesajulu dat: 5 6 8 9 S L A a a a b a a a a b c 8 b a a a b c b a a c a a a b c b a a b a a a a b c b a a b c c c Rezultatul comrmăr este a8bcac... b) Decodarea mesajulu comrmat se oate urmăr cu ajutorul dagrame: 5 6 8 9 S L A c c c b b c b c b c c c c b c b c c c c b b b c b c c c c b c c b c 6 Aşadar, mesajul nţal este: cbcbccccbccbc...... Comrmaţ mesajul: aaabcca... utlzând algortmul Huffman dnamc. Cât este factorul de comrese? Rezolvare: Vom rezenta evoluţa arborelu (grafulu) asocat codulu în tmul codăr mesajulu dat:

.Arbore nţal: mesaj: --. S-a codat "a": mesaj: a codul: smbol a cuvânt de cod a Obs: Semnfcaţa notaţlor este: -entru nod: x - x: număr de ordne (creşte de la stânga către dreata ş de jos în sus e ln); - : onderea cumulată dn nodurle aferente. - entru frunză (nod termnal): x y - x: număr de ordne; - : ondere (număr de aarţ ale resectvulu smbol); - y: smbolul. Frunza goală, notată cu "", este de ondere. - entru ramură: - sre stânga codare cu zero; - sre dreata codare (atrbure) cu unu..s-a codat "aa" mesaj: a codul: a.s-a codat "aaa" mesaj: a codul: a a a 5.S-a codat "aaab" mesaj: ab codul: a b 5 6.S-a codat "aaabc" mesaj: abc codul: a b a c 5 5 6 a b b c 5

.S-a codat "aaabcc" mesaj: abc codul: a b c 5 6 6 a Schmb între 5 6 6 a b nodurle ş c c b 8.S-a codat "aaabcca" mesaj: abc codul: a b c 5 6 a c b Obs.: la asul s-a rodus un schmb între nodurle ş deoarece onderea rmulu era ma mare ( > ), conform regul care sune că un nod cu număr de ordne ma mc ş ondere ma mare decât un altul va face schmb de ozţe în arbore cu acesta dn urmă. Consderând caracterele în mesajul nţal codate e 8 bţ, lungmea acestua este: L 856 bţ (..) Mesajul comrmat (abc) are: L 8 +9 bţ (..) Rezultă un factor de comrese: 6

F L L, (..).. Fe mesajul "aacacabcabdabadabc". Să se comrme mesajul dat rn alcarea algortmulu: a) LZ ; b) Huffman dnamc; c) Huffman statc, resuunând mesajul dat o SDFM text. d) Calculaţ în fecare caz factorul de comese faţă de o codare bloc e ot bţ a mesajulu nţal. Rezolvare: a) Recodarea aferentă algortmulu LZ este rezentată în dagrama următoare: 5 6 8 9 S L A a a c a a a a c a c 8 c a a c a c a b b a a c a c a b c a b d 6 d a c a b c a b d a b a d a b c a b d a b a d a b c 5 c Mesaj comrmat a 8c b 6d a 5c de lungme: b). L +6 88 bţ (..). a a mesaj codat: "a" mesaj transms: "a" cod: a mesaj codat: "aa" mesaj transms: "a" cod: a

. 5 a mesaj codat: "aac" mesaj transms: "ac" cod: a c c (. 5. 6.). a 8 mesaj codat "aacacab" mesaj transms "acb" cod a b c 5 b 6 c (8. 9..). 9 9 6 8 5 a 5 a 8 6 5 6 c 5 6 c b b d d 8

mesaj codat: "aacacabcabd" mesaj transms: "acbd" cod: a b c (.). 9 6 a 8 mesaj codat: "aacacabcabd" mesaj transms: "acbd" cod: a b c d 5 c 6 b d (. 5. 6..) 8. 9 8 8 a 8 mesaj codat: "aacacabcabd" mesaj transms: "acbd" cod: a b c d 5 b 6 6 c d 9

Lungmea rezultată a mesajulu transms este: L 8+65 bţ (..) c) Pentru a utea coda mesajul transms rn algortmul Huffman statc defnm sursa: a S 8 8 b 8 c 8 d 8 asura cărea utem alca algortmul: a b c d 8 8 6 8 Cu ajutorul codulu obţnut mesajul se transmte rn secvenţa bnară: "" L bţ (..) d) Dacă mesajul nţal este codat bloc e 8 bţ lungmea secvenţe bnare codate este: L 8 8 bţ (..) Cu rezultatele conţnute în relaţle (..,, ş ) găsm entru factor de comrese valorle: F, 8 F,5,F 65 F,5, F (..5)

Canale Ca. Canale de transmse Dcţonar: - canal (de transmse) - cale (medu fzc) de transmse rn care crculă nformaţa între emţător (sursă) ş recetor (utlzator); - câm (cor) - o mulţme K de elemente care satsfac următoarele axome:. - e K sunt defnte două oeraţ: adunarea ş înmulţrea;. - în raort cu adunarea K formează un gru abelan cu elementul nul ;. - K \ {} formează gru abelan entru înmulţre;. - înmulţrea este dstrbutvă faţă de adunare; - echvoc -. susect, îndoelnc;.echvocaţe- măsură a efectulu erturbaţlor asura comuncaţlor rn canale; - caactate valoarea maxmă e care oate să o abă un arametru al unu sstem, arametru ce ndcă erformanţe de înmagaznare, transort sau relucrare. Defnţ:. - transferul nformaţe între câmul de ntrare X, cel de eşre Y ş canal C: Informaţa ce o adaugă canalul, în mede, fecăru smbol bnar H(Y/X) Câm ntrare X H(X) I(X,Y) H(Y) CANAL Câm eşre Y Informaţa, în mede, ce ntră în canal rntr-un smbol bnar H(X/Y) Informaţa ce ese, în mede, dn canal rntr-un smbol bnar Informaţa ce o erde în canal, în mede, un smbol bnar Informaţa ce traversează canalul, în mede, cu un smbol bnar. - Canttatea de decze D a une surse cu m smbolur maxmul entroe surse DH max ; - Debtul de decze D - canttatea de decze generată în untatea de tm; - Debtul de momente M - numărul de momente transmse în untatea de tm; - Baud (Bd) - untatea de măsură a debtulu de momente; - Moment - semnal elementar urtător de nformaţe de durată T M. Notaţ: x E, x E - smbolurle emsble în canalul bnar; X{x, x } - câmul de la ntrare în canal; y R, y R - smbolurle receţonable dn canalul bnar; Y{y, y } - câmul de la eşrea dn canal; (x ) - robabltatea de a emte în canal x ; (y j ) - robabltatea de a receţona dn canal y j ; P(Y/X) - matrcea de tranzţe[(y j / x )] ; (y j /x ) robabltatea (aror) de a se receţona y j când a fost ems x ; P(X,Y) [ (x, y j )] ;

Canale (x, y j ) - robabltatea de a se f ems x ş a se receţona y j ; P(X/Y) [ (x /y j )] ; (x /y j ) - robabltatea (aosteror) de a se f ems x când s-a receţonat y j ; ξ - raort semnal-zgomot. Abrever: RSZ (SNR) - Raort Semnal e Zgomot (Sgnal to Nose Rato); CBS - Canal Bnar Smetrc; BER - Bt Error Rate (rata eror). Brevar teoretc:. Relaţ între matrc ( E ) α β P( X, Y) ( ) ( ) P Y / X (.) E γ δ ( R ) α + γ ( R ) β + δ (.) ( ) ( ) ( ) P X / Y P X,Y R ( ) (.) R. Entro condţonate - eroarea mede H( Y / X) ( x, y ) j - echvocaţa H( X / Y) ( x, y ) - transnformaţa I ( X,Y) ( x, y ) j j j log log ( x, y j) ( x ) ( y ) ( ) H( X / Y) H( Y) H( Y / X) ( y / x ) j ( x / y ) j ; (.) ; (.5) j log j (.6) j H X. Caactatea canalulu C max I X, Y (bţ/smbol) (.) - dscret ( ) C D Mmax log mmax Blog - contnuu ( + ξ) max (.8) 5 unde: M max B - (canal deal); M max B (canal real) (.9) m max + ξ (.). Redundanţa ş efcenţa canalulu R C C I( X, Y) - redundanţa absolută (.) I( X,Y) ρ c - redundanţa relatv (.) C I( X,Y) η c - efcenţa (.) C

Canale.. Fe secvenţa bnară: (..) generată de o SDFM echrobablă, X. În vederea transmter dbţ dn secvenţa se codeză rn: S (t) -V t [,T ] M S (t) -V t [,T M ] S (t) V t [,T M ] S (t) V t [,T M ] cu T M 5µs (..) Se cere: a) Să se calculeze entroa ş efcenţa surse X; (H(X), η X ) b) Debtul de nformaţe al surse X dacă codarea (..) se face în tm real; ( X ) c) Canttatea de decze coresunzătoare unu moment (moment un semnal dntre S, S, S sau S ); (D) d) Debtul de momente; ( M ) e) Ce debt de nformaţe (în bţ/sec) coresunde în acest caz unu Baud? (Bd) f) Să se rereznte grafc semnalul S(t): suort al nformaţe. Rezolvare: a) Probabltăţle de emse (generare) a mesjelor bnare ş fnd egale: ()()/ (..) rezultă entru entroe ş efcenţa surse valorle: b) Prn defnţe: H(X) bt/smbol η% (..) ( ) H X X τx (..5) unde τ x este tmul în care se transmte (generează) un smbol bnar de către sursa X. Ştnd că două smbolur (un dbt) au o durată de transmtere, resectv genereare (în tm real), de T M 5µs rezultă entru τ x valoarea: ş ca atare: τ T 5 x M µ bt/smbol X 8 kbt/sec 5 µ s s (..6) (..)

Canale c) Conform defnţe: Dlog m bţ (..8) unde m rerezntă numărul de nvele de tensune coresunzătoare dbţlor (relaţa (..)). d) Debtul de momente M este numărul de semnale elementare (S, S, S sau S ) e untatea de tm: M T M 5 6 Bd (..9) e) Cum debtul de nformaţe este X 8 bţ/sec, coresunde la vteza de modulaţe (debtul de momente) M Bd, rezultă entru fecare Baud câte bţ de nformaţe. f) Secvenţa bnară dată va avea suort fzc următoarea succesune de semnale elementare: S (..) SSSSSSSSSSS care formează semnalul: [V] S[t] - - - 5 6 8 9 t/t M.. Presuunând semnalul ternar dn fgură: [V] S[t] + 6 8 t/5µs - suortul fzc al une nformaţ, să se afle: a) Vteza de modulaţe M (debtul de momente);

Canale b) Canttatea de nformaţe maxmă ce se oate transmte rntr-un smbol ternar; c) Debtul de nformaţe ce rezultă dacă semnalul S(t) a fost obţnut rn modularea (codarea) une secvenţe bnare echrobable, în tm real, utlzând codul: S + (t) +V t [,T M ] S t) V t [,T M ] S - (t) -V t [,T M ] (..) d) Debtul maxm de nformaţe ce oate f obţnut rntr-o codare adecvată utlzând : - un semnal ternar; - un semnal bnar; - un semnal cuaternar. În toate cazurle se va consdera aceeaş vteză de modulaţe. Răsuns: 5 5 a) M smbol ternar / sec Baud TM b) Dlog,585 (bţ) c) ( S ) () () + ( S ) ( S ) ; H() S log + log bt/smb.ternar + () 5 5 H S DS bt/sec < D M,585 T M bţ/sec d) Semnal D X [bţ / sec] bnar ternar cuaternar bt nf. / sg. bnar,585 bţ nformaţe / sg. ternar bţ nformaţe / sg. cuaternar /T M,585/T M /T M D - canttatea maxmă de nformaţe ce se oate înmagazna într-un semnal elementar de durată T M ; X - debtul maxm de nformaţe relatv la T M [sec]. 5

Canale.. Sursa de nformaţe fără memore consttută dn caracterele echrobable A, C, D, E, I, N, R se codează cu un cod bnar bloc (transunere zecmal bnară a numărulu de ordne; fără cuvântul de ondere zero), ao se culează la un canal de transmse bnar smetrc având rata eror egală cu,. Calculaţ: a) entroa ş efcenţa surse; (H(S) η S ) b) efcenţa codăr; (η c ) c) entroa câmulu de la ntrarea în canal; (H(X)) d) matrcea de tranzţe ş eroarea mede; (P(Y/X), H(Y/X)) e) câmul de la eşrea dn canal ş entroa sa; (Y, H(Y)) f) echvocaţa ş transnformaţa; (H(X/Y), I(X,Y)) g) caactatea canalulu; (C) h) robabltatea ca sursa să f ems mesajul DAC atunc când s-a receţonat mesajul RAC. ((DAC E /RAC R )) Rezolvare: a) Sursa fnd echrobablă: () S H log, 8 H max bţ/smbol η S % (..) b) Conform cernţelor robleme codul bnar bloc este: A C D E I N R Ş are lungmea mede a cuvntelor de cod: L bţ/smbol (..) Pentru efcenţă rezultă valoarea: η () H S L c 9,58% (..) c) Câmul de la ntrarea în canal conţne două smbolur bnare ce ot f emse în canal cu robabltăţle: k 9 E k k S E k ( ) ( S ) ( ) ( ) (..) 6

Canale Astfel, tabloul surse bnare (secundare) ce emte în canal este: E X / ş are entroa: E / (..5) bţ/smbol (..6) ( X) log + log, 9858 H Obs.: În fat, sursa secundară X este cu memore. Pentru a argumenta acest lucru, este sufcent să consderăm sursa X fără memore ş să calculăm robabltatea de a emte A: 6 ( A) ( E ) ( E ) ( E ) ( E ) 9 care dferă de (A)/, dat de echrobabltatea surse rmare. d) Canalul fnd bnar smetrc ş cunoscând rata eror, matrcea de tranzţe are forma: P ( Y / X) ( R / E ) ( R / E ) ( / ) ( / ) R E R E E E R R R R E E,9,,,9 (..) Eroarea mede este "nformaţa" mede, e smbol bnar, ce soseşte la receţe ş nu rovne de la emse c dn canal: H ( Y / X) ( x, y ) j j log ( y / x ) j (..8) unde: - (y j /x ) robabltatea ca la receţe să sosească y j dacă la emse a fost transms x ; robabltăţle de genul (y j /x ) sunt conţnute în matrcea P(Y/X) dată de relaţa (). - (x, y j ) robabltatea de a se emte x ş a se receţona y j ; Aceste robabltăţ formează o matrce de forma P(X,Y) ş se calculează cu ajutorul relaţe lu Bayes: (x, y j )(x ) (y j /x ),j, (..9) sau: P ( X,Y) ( x ) ( x ) P ( Y / X) (..) - x, y j cu,j, sunt notaţle alternatve entru E, E resectv R, R foloste entru a scre relaţle comact: x E x E R y R y (..) Obs.: Deş atât câmul de la ntrare cât ş câmul de la eşre conţn aceleaş două smbolur bnare ş, sunt necesare notaţ dstncte entru a utea f dstnse în dfertele relaţ matematce.

Canale Înlocund rezultatele dn (..) ş (..) în (..) găsm că:,, P ( X,Y),,6 (..) Dsunem acum de toate robabltăţle cerute de (..8) entru a utea calcula eroarea mede: ( X) H Y /,,,,6 log,9 log, log, log,9,9log,9,log,,689955 bt/smbol bnar (..) e) Probabltăţle smbolurlor de la eşrea dn canal, R ş R se află cu ajutorul formulelor: sau comact: ( R ) ( y) ( x, y) + ( x, y) ( E,R ) + ( E,R ) ( ) ( y ) ( x, y ) + ( x, y ) (, ) + (, ) R E R E R (..),,9 r R (..5) [ ( ) ( )] [ ] P( X, Y) Sursa bnară echvalentă eşr canalulu este: R Y, ş are entroa: R,9 (..6,,9,,9,,9,995bţ/smbol bnar (..) ( Y) log + log log log, log, 9 H f) Echvocaţa, notată H(X/Y), este canttatea mede de nformaţe e un smbol bnar ce este erdută de acesta (smbolul bnar) în canal: H ( X / Y) ( x, y ) j j log ( x / y ) j (..8) Calculând robabltăţle aosteror (x /y j ) cu relaţa: P ( X / Y) ( E / R ) ( E /E ) ( / ) ( / ) E R E R P ( X, Y) ( ) R ( ) R 8

Canale,,,,,6,9 (..9) Se găseşte valoarea echvocaţe:,,,,6 log + log + log + log,6666 bţ/smbol bnar (..) ( X / Y) H Transnformaţa I(X,Y) se oate afla utlzând egaltăţle: I(X,Y)H(X)-H(X/Y)H(Y)-H(Y/X) (..) Utlzând (..6) ş (..) găsm valoarea: I(X,Y),556 bţ / smbol bnar (..) Valoare ce se găseşte ş folosnd rezultatele dn (..) ş (..). Obs.: - utlzarea relaţlor necesare în rezolvarea roblemelor de tul rezente mlcă calcule matematce volumnoase. Pentru a obţne rezultate bune este de referat să nu se facă aroxmăr în calculele ntermedare, obtând entru varanta memorăr lor cu ajutorul untăţ de calcul. O bună verfcare a rezultatelor găste se oate face cu ajutorul relaţe (..). g) Caactatea canalulu bnar smetrc se calculează cu formula: ( ) log ( ) C + log + (..) ş, în cazul de faţă entru,, este: C,5bţ/smbol (..) Obs.: - caactatea canalulu, conform defnţe, este maxmul transnformaţe. Rezultatul (..) se oate regăs făcând în (..) H(Y). h) Probabltatea de a se f ems "DAC" atunc când s-a receţonat "RAC" este dentcă cu robabltatea de a se f ems secvenţa bnară " " atunc când s-a receţonat " ": ( DAC / RAC ) E R ( ( / ) ( / ) ( / ) E R E / E R,% E R ) R (..5) 9

Canale Obs.: - în ultma relaţe, (..5), s-a făcut resuunerea că transmsa unu smbol bnar este ndeendentă de a celorlalte... Sursa text (dscretă ş fără memore): "TEORIA TRANSMISIUNII INFORMATIEI" se codează bnar bloc (ordonare alfabetcă, auza la sfârşt, cod bnar natural) ş se culează la un canal de transmse bnar. Cunoscând că ( R / E ), 9 ş ( R /E ), să se afle: a) matrcea de tranzţe a canalulu; (P(Y/X)) b) codul bnar bloc; c) robabltatea ca sursa să emtă mesajul METEOR; d) robabltatea de a se f receţonat TEN dacă s-a ems TEO; e) robabltatea de a se f ems MAR dacă s-a receţonat MAT; f) entrole câmurlor de ntrare ş eşre; (H(X), H(Y)) g) eroarea mede ş echvocaţa; (H(Y/X), H(X/Y)) h) transnformaţa ş caactatea canalulu; (I(X,Y), C) Răsuns: a) P( Y / X) b) E E R R,9,,,8 METEORE, 6 TEN / TEO / c) ( ) d) A / E / F / I 8/ M / N / O / R / S / T / U / _ / ( R E ) ( R E ) ( / 6 ) ( / ) ( / ) ( / 6 ),9,,,8,5% R e) ( ) ( ) E R E R 9 E, 6 6 E în oteza că sursa secundară { E, E } este fără memore. E R E 5