CANALE DISCRETE DE TRANSMISIUNI

CAPITOLUL 2 CANALE DISCRETE DE TRANSMISIUNI 2.. Model ateatic de caal discret de trasisiui Î acest odel trebuie precizate ulţiile sibolurilor aplicate la itrarea caalului, ale sibolurilor recepţioate la ieşirea acestuia, precu şi perturbaţiile care apar. Fie X = { x, x2,..., x} ulţiea sibolurilor de la itrarea caalului (acceptate la itrare), uită şi alfabetul de la itrarea caalului şi Y { y y y } =, 2,..., ulţiea sibolurilor recepţioate, uită şi alfabetul de la ieşirea caalului de trasisiui. Î geeral, cele două ulţii sut diferite, di cauza perturbaţiilor care apar pe caal. Astfel, dacă se presupue că la itrarea uui caal se aplică uai două siboluri, de fora x =000 şi x 2 =, iar zgootele de pe caal se presupu astfel îcât pot odifica u zero î uu sau ivers, la ieşirea acestuia se pot recepţioa sibolurile y =000, y 2 =00, y 3 =00, y 4 =0, y 5 =00, y 6 =0, y 7 =0 şi y 8 =lll. Pri defiiţie, caalul se va ui discret, dacă cele două ulţii sut fiite. 50

Pri defiiţie, u caal discret se ueşte fără eorie, dacă recepţioarea uui sibol u depide de uul sau ai ulte siboluri recepţioate aterior. Pri defiiţie, u caal discret de trasisiui se va ui staţioar, dacă zgootele sau perturbaţiile care apar pe caal sut ivariate î tip. Î cele ce urează se vor aaliza uai caalele discrete, staţioare şi fără eorie. Petru a pue î evideţă perturbaţiile care pot să apară pe caalele discrete, staţioare şi fără eorie, se defiesc trei tipuri de probabilităţi: p x y ; =, ; j =,, pri care se a) probabilitatea ( j) îţelege probabilitatea ca la itrarea caalului să fie sibolul x şi la ieşirea acestuia să fie sibolul y j. Cosiderâd că la itrarea caalului de trasisiui se aplică ulţiea X, uită şi câpul de la itrare, iar la ieşire rezultă ulţiea Y, uită şi câpul de la ieşire, probabilităţile ( yj) p x pot fi ordoate îtr-o atrice de fora ( ) ( 2)... ( ) ( ) ( )... ( ) p x y p x y p x y p x2 y p x2 y2 p x2 y P( X, Y) =............ p( x y) p( x y2)... p( x y) Se pot deostra urătoarele proprietăţi: ( ) = ( j), ( ), p x p x y j= ( j ) = ( j),( ) j, p y p x y = 5 (2.) = (2.2) = (2.3)

= j= ( yj) p x = (2.4) ude p( x ) reprezită probabilitatea cu care se aplică sibolul x la itrarea caalului, iar p( y j ) probabilitatea cu care se recepţioează sibolul y j. Petru a deostra relaţia (2.2), se face observaţia că eveietele ( x y ),( x y ),,( x y ) 2 52, sut disjucte, deoarece, dacă la itrarea caalului este sibolul x, la ieşirea acestuia va rezulta fie sibolul y, fie y 2,..., fie sibolul y. Ţiâd cot că probabilitatea reuiuii uor eveiete disjucte (icopatibile) este egală cu sua probabilităţilor eveietelor copoete, se poate scrie ( 2 ) = ( j) p x y x y x y p x y (2.5) Pe de altă parte ( ) = ( ) p x y x y2 x y p x y y2 y (2.6) Dar y y y = E (2.7) 2 ude E reprezită eveietul sigur, deoarece la ieşire cu certitudie se va recepţioa uul di sibolurile ulţiii Y. Ţiâd cot de (2.5), (2.6) şi (2.7), rezultă j= j= ( j) = ( ) = ( ) p x y p x E p x (2.8) Di (2.7) rezultă p( yj ) = (2.9) Aalog, j=

p( x ) = (2.0) = Relaţia (2.4) rezultă atuci iediat, ţiâd cot fie de (2.2) şi (2.0), fie de (2.3) şi (2.9). p y x, =, ; j =,, pri care se b) Probabilitatea ( j ) va îţelege probabilitatea de a se recepţioa sibolul 53 y j, dacă s-a trasis sibolul x. Aceste probabilităţi codiţioate pot fi ordoate îtr-o atrice, [P(Y X)] uită atrice de zgoot sau de caal. Această atrice poate fi uşor obţiută di atricea [P(X,Y)], dată de relaţia (2.), dacă pria liie se îparte la p( x ), a doua liie la p( x 2 ) ş. a.. d., ultia liie se îparte la p( x ) şi se ţie cot de relaţia j= ( j) ( ) ( j ) p x y = p x p y x (2.) Astfel, atricea de zgoot sau de caal este de fora p( y x) p( y2 x)... p( y x) p( y x2) p( y2 x2)... p( y x2) PY ( X) =............ (2.2) p( y x) p( y2 x)... p( y x) Matricea de zgoot astfel îtocită este stochastică, adică p( yj x) =, ( ) =, (2.3) deoarece, dacă la itrarea caalului se aplică u auit sibol x X, cu certitudie la ieşirea acestuia se va recepţioa uul di sibolurile Y. yj c) Probabilitatea p( x yj), =, ; j =,, pri care se va îţelege probabilitatea de a se fi trasis sibolul x, dacă s-a

recepţioat sibolul y j. Aceste probabilităţi codiţioate pot fi grupate îtr-o atrice, [P(X Y)], ce poate fi uşor obţiută di atricea [P(X,Y)], dacă pria coloaă se îparte la p( y ), a doua coloaă la p( y 2 ) şi aşa ai departe, ultia coloaă se îparte la p( y ) şi se ţie cot de relaţia ( j) ( j) ( j) p x y = p y p x y (2.4) Astfel, această atrice este de fora p( x y) p( x y2)... p( x y ) p( x2 y) p( x2 y2)... p( x2 y ) P( X Y) =............ (2.5) p( x y) p( x y2)... p( x y) Deoarece, atuci câd s-a recepţioat u auit sibol y j, cu certitudie la itrarea caalului s-a aplicat uul di sibolurile x X, se poate scrie relaţia = ( j) ( ) p x y =, j =, (2.6) Di puct de vedere iforaţioal, u caal discret de trasisiui este caracterizat de urătoarele ării iforaţioale ) Etropia itrare - ieşire, H( X, Y ); 2) Etropiile codiţioate, H ( XY ) şi H ( YX ); 3) Trasiforaţia, I(X,Y); 4) Capacitatea caalului, C. 54

2.2. Etropia itrare - ieşire a uui caal discret de trasisiui Se presupue că la itrarea uui caal de trasisiui se aplică câpul X { x, x2,..., x} recepţioează câpul Y { y y y } ( yj) p x =, iar la ieşirea acestuia se =, 2,...,. Dacă se otează cu probabilitatea eveietului că la itrarea caalului se află sibolul x şi la ieşirea acestuia există sibolul ataşată acestui eveiet, otată cu i( x yj) y j, iforaţia, se deteriă cu relaţia (.0), adică i x y = logi x y (2.7) ( j) ( j) Deoarece o iforaţie îlătură o auită edeteriare, rezultă că iforaţia dată de relaţia (2.7) este ueric egală cu edeteriarea ca la itrarea caalului să fie sibolul x şi la ieşirea acestuia să fie sibolul y j. Iforaţia defiită cu relaţia (2.7) deteriă o variabilă aleatoare discretă, ce poate lua valori cu probabilităţile p( x yj) ; =, ; j =,. Valoarea edie statistică a acestei variabile aleatoare discrete defieşte etropia itrare - ieşire şi va fi otată cu H( X, Y ), adică (, ) = ( j) = ( j) log ( j) H XY ix y px y px y (2.8) = j= Îlocuid (2.7) î (2.8), rezultă 55

(, ) H X Y = j= = ( j) log ( j) p x y p x y 56 biţi pereche de siboluri (2.9) Se cosideră, î cotiuare, două situaţii extree ) lipsa perturbaţiilor de pe caal; 2) perturbaţii foarte puterice pe caal, care deteriă practic idepedeţa statistică a ieşirii de itrare, şi ivers. Î priul caz, se poate scrie, dacă x = y j p( x yj) = p( yj x) =δ j = (2.20) 0,dacă x y j Î acest caz, dacă se ştie ce s-a recepţioat, se ştie cu certitudie ce s-a trasis sau, dacă se ştie ce s-a trasis, se ştie cu certitudie ce se va recepţioa. Dacă este adevărată relaţia (2.20), atuci (2.9) devie (, ) ( ) log j ( ) ( j ) H X Y = p x y p p x p y x = = j= ( ) ( j) ( ) ( j ) log ( j ) = logp x p x y p x p y x p y x = = j= = j= p( x) logp( x) p( x) jlog j H( X) (2.2) = δ δ = = = j= Pe de altă parte, este evidet că î lipsa perturbaţiilor câpul de la itrare este idetic cu cel de la ieşire, adică H ( X) = H( Y) (2.22) Rezultă, deci, că î lipsa perturbaţiilor de pe caal se poate scrie relaţia H( X, Y) = H( X) = H( Y) (2.23) Î cel de-al doilea caz are loc relaţia

( j) ( ) ( j) p x y = p x p y (2.24) deoarece la perturbaţii foarte puterice sibolurile de la itrare x, =,, devi statistic idepedete de sibolurile de la ieşirea caalului y, j =,. j Ţiâd cot de (2.24), relaţia (2.9) devie (, ) ( ) log j ( ) ( j) H X Y = p x y p p x p y = = j= logp( x) p( x yj) logp( yj) p( x yj) = = = j= j= = ( ) log ( ) ( j) log ( j) ( ) ( ) = p x p x p y p y = H X + H Y = j= (2.25) Caalele discrete reale se îcadrează ître aceste două situaţii extree. O iterpretare geoetrică ituitivă se poate obţie asociid câpului X de Ia itrarea caalului ulţiea A şi câpului Y de la ieşirea caalului ulţiea B. Pe aceste ulţii se defiesc ăsurile (A), respectiv (B) şi se fac urătoarele corespodeţe (A) H(X), (B) H(Y) şi ( ) (, ) A B H X Y. Iterpretarea geoetrică este dată î Fig. 2.. Î această figură suprafaţa cercului ic este (A), suprafaţa cercului are este (B), iar suprafaţa haşurată ( A B). Fig. 2.. Iterpretarea geoetrică a etropiei H(X,Y). 57

2.3. Etropii codiţioate Fie Y câpul de la ieşirea uui caal de trasisiui. Dacă se cuoaşte acest câp, di cauza perturbaţiilor de pe caalul de trasisiui răâe o auită icertitudie (edeteriare) asupra câpului X de la itrarea caalului. Valoarea edie a acestei edeteriări se ueşte etropia codiţioată a câpului de la itrare de cel de la ieşire. Î scopul stabilirii uei relaţii de calcul petru această etropie, se presupue că la u oet dat s-a recepţioat sibolul y j, j =,. Di cauza perturbaţiilor de pe caal, la itrarea acestuia s-ar fi putut aplica fie x, fie x 2,..., fie x. Graful corespuzător acestei situaţii este reprezetat î Fig.2.2. Fie p( x yj) Fig. 2.2. Graful corespuzător recepţioării sibolului probabilitatea de a se fi trasis sibolul x, dacă s-a recepţioat sibolul otează cu i( x yj) y j. Iforaţia ataşată acestui eveiet se şi se deduce cu relaţia (.0), adică ( ) log p( x y ) j j i x y = (2.26) Deoarece o iforaţie îlătură o auită edeteriare, 58 y j

îseaă că iforaţia calculată cu relaţia (2.26) este ueric egală cu edeteriarea asupra sibolului x, dacă s-a recepţioat sibolul y j. Iforaţia defiită cu relaţia (2.26) deteriă o variabilă aleatoare discretă, ce poate lua valori cu probabilităţile p( x yj), =,. Valoarea edie statistică a acestei variabile aleatoare discrete, otată cu H ( Xy j ), se poate calcula cu relaţia ( j ) = ( j) = ( j) ( j) H X y i x y p x y i x y (2.27) sau, ţiâd cot de (2.26), rezultă = ( j ) = ( j) log( j) H Xy p x y x y (2.28) = Di puct de vedere fizic, această ărie ăsoară edeteriarea edie asupra itrării la recepţioarea sibolului y. Cosiderâd toate posibilităţile de recepţioare, 59 j y j, j =,, rezultă că ăriea defiită cu relaţia (2.28) deteriă o ouă variabilă aleatoare discretă, ce poate lua valori cu probabilităţile p( y j ). Valoarea edie statistică a acestei variabile aleatoare discrete se va ota cu H ( XY ) şi va ăsura edeteriarea edie asupra itrării X, dacă se cuoaşte ieşirea Y, adică etropia codiţioată a câpului de la itrarea caalului de câpul de la ieşirea acestuia. Această ărie se va calcula cu relaţia ( ) = ( j ) = ( j) ( j) H XY H X y p y H X y (2.29) Îlocuid (2.28) î (2.29), rezultă j=

( ) = ( j ) ( j) log( j) H XY p y p x y x y (2.30) = j= sau, ţiâd cot de (2.4), se poate scrie, echivalet ( ) = ( j) log( j) H XY p x y x y (2.3) = j= Etropia codiţioată calculată cu relaţia (2.30) sau (2.3) este deuită ueori echivocaţie, deoarece ăsoară echivocul asupra itrării dacă se cuoaşte ieşirea. Î od aalog, se poate deteria etropia codiţioată a câpului de la ieşire de câpul de la itrare, cu relaţia ( ) = ( ) ( j ) log( j ) H YX p x p y x y x, (2.32) = j= sau, ţiâd cot de (2.), se poate scrie echivalet ( ) = ( j ) log( j ) H YX p y x y x, (2.33) = j= Etropia codiţioată calculată cu relaţia (2.32) sau (2.33) este uită ueori eroare edie. Î cazul extre al perturbaţiilor foarte puterice, ţiâd cot de (2.20), relaţiile (2.30) şi (2.32) devi ( ) ( ) H XY = p yj δ jlogj = 0, (2.34) = j= ( ) ( ) H Y X = p x δ jlogj = 0, (2.35) = j= Î cazul extre al perturbaţiilor foarte puterice, ţiâd cot de (2.) şi (2.24), se poate scrie de ude rezultă ( ) ( j ) ( ) ( j) p x p y x = p x p y, (2.36) ( j ) p( yj) p y x =, (2.37) 60

Î od aalog, ţiâd cot de (2.4) şi (2.24), se poate scrie ( j) p( x) p x y = (2.38) Îlocuid (2.38) î (2.3), rezultă că, î cazul perturbaţiilor foarte puterice, echivocaţia devie ( ) log ( ) ( j) H X Y = p x p x y = = = j= ( ) log ( ) ( ) = p x p x = H X (2.39) Îlocuid (2.37) î (2.33), rezultă că, î cazul perturbaţiilor foarte puterice, eroarea edie devie ( ) log ( j) ( j) H Y X = p y p x y = j= j= = ( j) log ( j) ( ) = p y p y = H Y (2.40) O iterpretare geoetrică ituitivă se poate obţie dacă se fac corespodeţele (A) H(X), (B) H(Y), ( A B) H( X Y) şi ( A ) H( Y X) Β. Î Fig. 2.3, suprafaţa haşurată vertical reprezită H ( XY ), iar cea haşurată orizotal, H ( YX). Fig. 2.3. Iterpretare geoetrică a echivocaţiei şi a erorii edii 6

2.4. Trasiforaţia Trasiforaţia ăsoară iforaţia edie trasisă pe caalul discret de trasisiui. Î scopul stabilirii uei relaţii de calcul petru această ărie iforaţioală, fie sibolul x aplicat la itrarea caalului cu probabilitatea p( x ). Icertitudiea iiţială asupra sibolului x poate fi îlăturată pritr-o iforaţie, i( x ), calculată cu relaţia i( x ) = log p( x ) (2.4) Fie p( x yj) probabilitatea de a se fi trasis sibolul x, dacă s-a recepţioat sibolul y j. Icertitudiea fială asupra sibolului x, adică după recepţioarea sibolului y j se poate îlătura cu o iforaţie, otată cu i( x yj) cu relaţia ( ) log p( x y ) j j, ce poate fi deteriată i x y = (2.42) Dacă i( x ) este iforaţia care îlătură icertitudiea iiţială asupra lui i x yj este iforaţia care îlătură icertitudiea fială asupra aceluiaşi sibol, rezultă că edeteriarea îlăturată asupra acestui sibol se datorează trasisiei uei iforaţii pe caal, uită î cotiuare iforaţie x şi ( ) utuală, otată cu i( x yj) i( x, yj) i( x) i( x yj) şi care se deteriă cu relaţia = (2.43) Îlocuid (2.4) şi (2.42) î (2.43), rezultă 62

( j) p x y i( x, yj) = log p( x) + log p( x yj) = log. (2.44) p x (, j) Dacă p( x y ) p( x ) j ( ) <, rezultă că iforaţia utuală i x y trasisă pe caal este egativă. Acest rezultat teoretic îşi găseşte corespodeţe ueroase î luea reală. De exeplu, dacă u studet are o auită edeteriare (eîţelegere) asupra uei deostraţii şi dacă cere ajutorul uui coleg petru a-şi îlătura această edeteriare, se pot îtâpla două situaţii: dacă edeteriarea a dispărut sau s-a icşorat, îseaă că i s-a trasis o iforaţie pozitivă; dacă edeteriarea a crescut, îseaă că i s-a trasis o iforaţie egativă. Trasiterea uei iforaţii egative este ueori deliberat provocată, petru a se crea o situaţie de icertitudie cu diverse scopuri. Deşi iforaţia utuală poate fi egativă, aşa cu se va deostra ulterior, iforaţia edie trasisă, adică trasiforaţia, este totdeaua eegativă. Ţiâd cot de (2.4), relaţia (2.44) se poate scrie îtr-o foră sietrică, după cu urează ( ) ( ) ( ) ( ) ( ) ( ) ( ) p x yj p yj p x yj i( x, yj) = log = log p x p y p x p y j j (2.45) Sietria î raport cu variabilele x şi y j di relaţia (2.45) are corespodet fizic î faptul că iforaţia dată de x asupra lui y j este egală cu iforaţia dată de y j asupra lui x. Iforaţia utuală defiită cu relaţiile (2.44) sau (2.45) deteriă o variabilă aleatoare discretă, care poate lua valori cu probabilităţile p( x yj) ; =, ; j =,. Valoarea edie 63

statistică a acestei variabile aleatoare discrete se ueşte trasiforaţie şi ăsoară, di puct de vedere fizic, iforaţia edie trasisă pe caalul discret de trasisiui. Notâd această ărie cu I ( XY, ), se poate scrie (, ) = (, j) = ( j) (, j) I X Y i x y p x y i x y (2.46) i= j= Îlocuid (2.44) sau (2.45) î relaţia (2.46), se obţi două relaţii echivalete de calcul petru trasiforaţie: 64 ( j) p x y I( X, Y) = p( x yj) log (2.47) p x ( ) = j= I X, Y p x y log ( ) = ( j) p( x yj) ( ) p( y ) (2.48) p x = j= j Sietria fucţiei I ( XY, ) î raport cu variabilele x şi di relaţia (2.48) seifică fizic faptul că iforaţia câpului de la itrare, X, asupra câpului de la ieşire, Y, este egală cu iforaţia câpului de la ieşire asupra câpului de la itrare. Î cazul liită (extre) al lipsei perturbaţiilor de pe caalul de trasisiui, îlocuid (2.20) î (2.47), rezultă δ j I( X, Y) = p( x yj) log = p x ( ) = j= log p( x ) p( x y ) p( y ) = + δ logδ = j j j j = j= = j= = ( ) log ( ) ( ) = p x p x = H X y j (2.49) Deoarece, î lipsa perturbaţiilor, câpurile de la itrarea şi de la ieşirea caalului de trasisiui sut idetice, X=Y, se poate scrie

(, ) ( ) ( ) I X Y = H X = H Y (2.50) Î celălalt caz liită, al perturbaţilor foarte puterice, îlocuid (2.24) î (2.48), rezultă ( ) p( yj) ( ) p( y ) p x I( X, Y) = p( x yj) log = 0, (2.5) p x = j= j Rezultatul obţiut u este surprizător, deoarece este biecuoscut faptul că pe caalele foarte perturbate (evetual bruiate) u se poate trasite ici o iforaţie. Dacă se fac corespodeţele (A) H(X), (B) H(Y), şi (A B) I(X,Y), rezultă iterpretarea geoetrică ituitivă a trasiforaţiei di Fig. 2.4. Î această figură suprafaţa cercului ic este (A), a cercului are (B), iar suprafaţa haşurată reprezită trasiforaţia. Fig. 2.4 Iterpretarea geoetrică a trasiforaţiei 2.5. Pricipalele relaţii ître ăriile iforaţioale Cele ai iportate relaţii ître ăriile iforaţioale, defiite aterior, sut H XY, = H X + HYX (2.52,a) ( ) ( ) ( ) (, ) ( ) ( ) H XY = HY + H XY (2.52,b) (, ) ( ) ( ) (, ) I X Y = H Y + H X H X Y (2.53) 65

(, ) ( ) ( ) (, ) ( ) ( ) I X Y = H X H X Y (2.54,a) I X Y = H Y H Y X (2.54,b) Relaţia (2.52,a) rezultă di (2.9) şi (2.33), după cu urează (, ) ( ) log j ( ) ( j ) H X Y = p x y p x p y x = = j= log p( x) p( x yj) p( x yj) log p( yj x) = = j= = j= = ( ) log ( ) ( ) ( ) ( ) = p x p x + H Y X = H X + H Y X (2.55) Î od aalog, relaţia (2.52,b) rezultă di (2.9) şi (2.3). Petru a deostra relaţia (2.53), se prelucrează adecvat relaţia (2.48) şi se ţie cot de (2.9), aşa cu este arătat î cotiuare: (, ) log ( ) ( j) log ( j) ( j) I X Y = p x p x y p y p x y + = j= = j= j= = ( j) log ( j ) ( ) ( ) (, ) + p x y p y x = H X + H Y H X Y (2.56) Relaţia (2.54,a) se obţie îlocuid (2.52,b) î (2.53), iar relaţia (2.54,b) se obţie îlocuid (2.52,a) î (2 53). Relaţiile ditre cele şase ării iforaţioale sut utile petru u calcul expeditiv a trei ării iforaţioale, dacă celelalte trei sut cuoscute. Î afara relaţiilor de egalitate ître cele şase ării iforaţioale, ître acestea se pot stabili urătoarele relaţii de iegalitate H X, Y H X + H Y (2.57,a) ( ) ( ) ( ) 66

( ) H( X) ( ) HY ( ) H XY H YX (2.58) (2.59) I( X, Y) 0 (2.60) (, ) H( X) (2.6) (, ) HY ( ) (2.62) I XY I XY Relaţia (2.57,a) este echivaletă cu H X, Y H X H Y 0 (2.57,b) ( ) ( ) ( ) Petru deostrarea iegalităţii (2.57,b), se ţie cot de (2.9), (2.2) şi (2.3), adică (, ) ( ) ( ) ( j) log ( j) H X Y H X H Y = p x y p x y + = j= ( j) log ( ) ( j) log ( j) p( x) p( yj) p( x yj) log = j= p( x yj) + p x y p x + p x y p y = = j= = j= = (2.63) Dacă î (2.63) se face otaţia p x p y p x yj şi se ţie cot de (.36), rezultă ( ) ( j) ( ) = z ( ) p( yj) ( y ) (2.64) p x H( X, Y) H( X) H( Y) loge p( x yj) = = j= p x j = log e p( x) log p( yj) p( x yj) = log e( ) = 0 = j= = j= (2.65) 67

Relaţia (2 58) se obţie îlocuid (2.52,b) î (2.57,a), iar relaţia (2.59), îlocuid (2.52,a) î (2.57,a). Relaţia (2.60) rezultă di (2.53) şi (2.57,a). Relaţiile (2.6) şi (2.62) se deduc di (2.54,a), respectiv (2.54,b), ţiâd cot că orice etropie este eegativă. 2.6. Pricipalele tipuri de caale de trasisiui Î cele ai frecvete situaţii practice, caalele discrete de trasisiui sut caracterizate pri atricea de zgoot (2.2). Fucţie de structura acestei atrice, caalele discrete de trasisiui se clasifică astfel a) caale cu echivocaţie ulă; b) caale cu eroare edie ulă; c) caale uifore faţă de itrare; d) caale uifore faţă de ieşire; e) caale sietrice. Pri defiiţie, u caal este cu echivocaţie ulă, dacă î fiecare coloaă a atricei sale de zgoot există o sigură probabilitate codiţioată diferită de zero, restul fiid ule. De exeplu, atricea de zgoot a uui caal cu echivocaţie ulă, de fora 0 0 0 2 2 2 PYX ( ) = 0 0 0 3 3 0 0 0 0 are graful reprezetat î Fig.2.5. 68

Fig. 2.5. Graful uui caal cu echivocaţie ulă Î cazul acestui tip de caal, dacă se ştie ce s-a recepţioat, se ştie cu certitudie ce s-a trasis, reciproca efiid totdeaua adevărată. Îseaă că, î geeral, petru acest tip de caal, probabilităţile p( x yj) ; =, ; j =,, pot lua fie valoarea, fie 0. Cofor relaţiei (2.30), echivocaţia acestui tip de caal este ( ) ( ) H X Y = p yj δjlogδj = 0 (2.66) = j= ude δ j poate lua fie valoarea, fie valoarea 0. Cofor relaţiei (2.54,a), iforaţia edie trasisă pe u astfel de caal este I( X, Y) = H( X) (2.67) Pri defiiţie, u caal este cu eroare edie ulă, dacă î fiecare liie a atricei sale de zgoot există o sigură probabilitate codiţioată diferită de zero, restul fiid ule. Matricea de zgoot fiid stochastică, rezultă că uica probabilitate codiţioată di fiecare liie diferită de zero este egală cu uitatea. Di această categorie de caale fac parte, de exeplu, toate circuitele cobiaţioale şi secveţiale. 69

De exeplu, cosiderâd o poartă logică ŞI cu două itrări, dacă la itrarea acestui "caal" se aplică sibolurile x,=00, x 2 =0, x 3 =0 şi x 4 =, la ieşire vor rezulta sibolurile y 0,=0 sau y 2 =l, astfel că atricea de zgoot, î acest caz particular, este de 0 0 = 0 0 iar graful caalului este reprezetat î Fig. 2.6. fora PYX ( ) Fig. 2.6 Graful uui caal cu eroare edie ulă Î geeral, î cazul acestui tip de caal discret de trasisiui, dacă se ştie ce se trasite, se ştie cu certitudie ce se recepţioează, reciproca efiid totdeaua adevărată. Ţiâd cot de relaţia (2.32), eroarea edie a uui astfel de caal discret de trasisiui este ( ) ( ) H Y X = p x δjlogδj = 0 (2.68) = j= de ude şi deuirea caalului. Iforaţia edie trasisă pe u astfel de caal este egală cu etropia câpului de la ieşirea caalului. 70

Pri defiiţie, u caal se ueşte uifor faţă de itrare, dacă î fiecare liie a atricei sale de zgoot se foloseşte aceeaşi ulţie de probabilităţi codiţioate, ordiea de scriere a acestor probabilităţi putâd diferi de la o liie la alta. Î cazul acestor caale, se poate deostra că eroarea lor edie u depide de probabilităţile ( ) p x, =,, cu care sut aplicate sibolurile la itrarea caalului. Îtr-adevăr, cofor defiiţiei acestui tip de caal, se poate scrie j= ( j ) ( j ) ( ) p y x logp y x = A= cost, =, (2.69) Ţiâd cot de (2.32) şi (2.69), rezultă ( ) ( j ) log ( j ) ( ) (2.70) H YX = p y x p y x p x = A j= = Pri defiiţie, u caal se ueşte uifor faţă de ieşire, dacă î fiecare coloaă a atricei sale de zgoot se foloseşte aceeaşi ulţie de probabilităţi codiţioate, ordiea de scriere a acestor probabilităţi putâd diferi de la o coloaă la alta. Î cazul acestor caale se poate deostra că, dacă sibolurile se aplică la itrarea caalului echiprobabil, atuci la ieşirea acestuia sibolurile vor rezulta, de aseeea, echiprobabile. Îtr-adevăr, se presupue că p( x) = p( x2) = = p( x ) = (2.7) Cofor relaţiilor (2.3) şi (2.), se poate scrie ( j) ( j ) ( ) ( j ) p y = p y x = p x p y x = = = = ( j ) ( ) = p y x, j =, 7 (2.72)

Dar = ( j ) ( ) p y x = B = cost., j =, (2.73) deoarece î fiecare coloaă se folosesc aceleaşi probabilităţi codiţioate. Ţiâd cot de (2.73), relaţia (2.72) devie B p( y j ) =, ( ) j =, (2.74) Deoarece j= ( j ) p y = (2.75) rezultă B = (2.76) şi deci p( yj ) =, ( ) j =, (2.77) Pri defiiţie, u caal discret de trasisiui se ueşte sietric, dacă este caracterizat de o atrice de zgoot pătrată şi este uifor atât fată de itrare, cât şi faţă de ieşire. 2.7. Defiirea capacităţi, redudaţei şi eficieţei uui caal discret de trasisiui Petru a defii o ăsură a eficieţei cu care se trasite iforaţia pe u caal discret de trasisiui şi apoi o argie superioară a acesteia, C. E. Shao a itrodus oţiuea de capacitatea caalului. 72

Pri defiiţie, capacitatea uui caal discret de trasisiui este valoarea axiă a trasiforaţiei, adică C = ax I( X, Y) = ax H( X) H( X Y) = (2.78) = ax H( Y) H( Y X) Maxiizările î (2.78) se fac î raport cu probabilităţile ( ) i p x, i =,, ale sibolurilor de la itrarea caalului. Petru a realiza acest deziderat, este ecesar ueori ca sursa priară de iforaţie S { s s s } =,,..., N ce-şi furizează esajele cu 2 probabilităţile fixe p( s ),, sursă secudară X { x x x } ( ) i 2 = N, să fie trasforată îtr-o =,,...,, astfel îcât probabilităţile p x, i =,, cu care sursa secudară furizează sibolurile x i la itrarea caalului să axiizeze trasiforaţia. Această trasforare corespude uei adaptări statistice a sursei priare la caalul de trasisiui şi se realizează pri operaţia de codare. Pri operaţia de codare se îtocesc cuvite de cod forate di succesiui de siboluri x i X. Dacă ulţiea cuvitelor de cod se otează cu V { v v v } =, 2,..., N, atuci pri operaţia de codare se realizează bijecţia ditre s S şi v V. Cuvitele de cod se vor aplica la itrarea caalului, evidet, cu aceleaşi probabilităţi cu care sut furizate esajele, adică p( v ) p( s ) =, =, N, iar cuvitele de cod trebuie astfel îtocite, îcât probabilităţile de folosire p( x i ) ale sibolurilor x i să axiizeze iforaţia edie trasisă pe caal, adică trasiforaţia. Pri defiiţie, se ueşte redudaţă absolută a uui caal discret de trasisiui difereţa ditre capacitatea caalului şi 73

iforaţia edie trasisă pe acesta, adică RC = C I( X, Y) (2.79) Redudaţa relativă se obţie pri raportarea redudaţei absolute la capacitatea caalului, adică ρ = R I( X, Y c ) c C = C (2.80) Pri defiiţie, se ueşte eficieţa caalului de trasisiui raportul ditre iforaţia edie trasisă pe caal şi capacitatea acestuia, adică (, ) I X Y η C = (2.8) C 2.8. Deteriarea capacităţii caalului sietric de ordi Matricea de zgoot a uui astfel de caal este p p p p p -p PYX ( ) = (2.82) p p -p ude 0<p<l este u paraetru ce caracterizează caalul respectiv. Caalul fiid uifor faţă de itrare, îseaă că eroarea sa edie este o costată. Îtr-adevăr 74

( ) ( j) log ( j ) H Y X = p x y p y x = = j= = j= ( ) ( j ) log ( j ) = p x p y x p y x = p p = ( p) log( p) + ( ) log p( x ) = = = log log + log = cost. ( p) ( p) p p p ( ) 75 (2.83) Datorită acestei proprietăţi, capacitatea acestui caal discret de trasisiui se deteriă uşor, utilizâd relaţia ( ) ( ) ax ( ) ( ) C = ax H Y H Y X = H Y H Y X (2.84) Pe de altă parte, valoarea axiă a etropiei H(Y) se atige atuci câd p( y) = p( y2) = = p( y ) =, (2.85) obţiâdu-se ax H ( Y) = log (2.86) Caalul fiid uifor şi faţă de ieşire, rezultă că, dacă p( x) = p( x2) = = p( x ) =, (2.87) este adevărată şi relaţia (2.85). Îlocuid (2.83) şi (2.86) î relaţia (2.84), rezultă ( ) ( ) ( ) C = log + p log p + plog p plog (2.88) care reprezită capacitatea caalului sietric de ordiul şi care se atige câd sibolurile de la itrarea acestuia sut aplicate echiprobabil. U caz particular, frecvet îtâlit î aplicaţii, este acela al caalului biar sietric. Acest caz se obţie petru =2. Particularizâd relaţia (2.82) petru =2, se obţie atricea

de zgoot a caalului biar sietric, cu graful reprezetat î Fig. 2.7. p p P( Y X) = p - p (2.89) Fig. 2.7. Graful uui caal biar sietric Î acest caz, p reprezită probabilitatea trasisiei icorecte (eroate), î tip ce -p probabilitatea trasiterii corecte. Î cazurile practice, pri x şi x 2 se pot îţelege "0" şi "" logic, două seale siusoidale de aceeaşi aplitudie, dar de frecveţe diferite, două seale de aceleaşi aplitudii şi frecveţe, dar de faze diferite etc. Capacitatea caalului sietric de ordiul doi se obţie particularizâd relaţia geerală (2.88) petru =2, rezultâd C = + ( p) log( p) + plog p (2.90) sau, cu otaţia (.44), se poate scrie C = H p (2.9) ( ) Avâd î vedere reprezetarea grafică a fucţiei H( p ) (Fig..3), reprezetarea grafică a capacităţii caalului sietric de ordiul doi, fucţie de paraetrul p, este dată î Fig. 2.8. Î această 76

figură, cu liie îtreruptă s-a reprezetat H( p ), iar cu liie cotiuă capacitatea caalului. Atât di relaţia (2.90), cât şi di reprezetarea grafică a capacităţii caalului sietric de ordiul doi rezultă că aceasta este ulă petru p=/2 şi axiă, egală cu C=, petru p=0 sau p=. Fig. 2.8. Reprezetarea grafică a capacităţii caalului sietric de ordi doi 2.9. Deteriarea capacităţii caalului biar cu aulări Acest caal este uifor faţă de itrare, avâd u alfabet de itrare biar şi u alfabet de ieşire terar. Matricea de zgoot a acestui caal este de fora ( ) ( 2 ) ( 3 ) ( 2) ( 2 2) ( 3 2) p y x p y x p y x p q - p- q PYX ( ) = = p y x p y x p y x - p - q q p (2.92) ude p şi q sut uere reale ce caracterizează caalul respectiv, 77

satisfăcâd codiţiile 0 p (2.93) 0 q Dacă, de exeplu, x, reprezită u seal de frecveţă f, iar x 2 u seal de frecveţă f 2, atuci pri y, se va îţelege u seal de frecveţă f, pri y 3, u seal de frecveţă f 2 iar pri y u seal de frecveţă ( f ) + f2 2. 2 La recepţioarea sibolului y 2, egal probabil ar fi putut fi trasise sibolurile x, sau x 2 şi di această cauză, la recepţioarea uui astfel de seal, el se aulează, de ude şi deuirea caalului. Caalul fiid uifor faţă de itrare, îseaă că eroarea sa edie este o costată. Îtr-adevăr 2 3 ( ) ( j) log ( j ) H Y X = p x y p y x = 2 3 = j= = j= ( ) ( j ) log ( j ) = p x p y x p y x = = plog p+ qlog q+ ( p q) log( p q) p( x) + p( x2) = = plog p qlog q ( p q) log( p q) = cost. (2.94) Datorită acestei proprietăţi, capacitatea acestui caal de trasisiui se deteriă uşor utilizâd relaţia (2.84). Spre deosebire de cazul caalului sietric de ordiul, câd valoarea axiă a etropiei H( Y ) se atigea câd sibolurile recepţioate erau echiprobabile, î acest caz, aşa cu se va p y = cost şi, deci, valoarea axiă a deostra ulterior, ( ) 2. 78

etropiei se obţie atuci câd p( y) = p( y3) (2.95) Îtr-adevăr, cofor relaţiei (2.3), se poate scrie p y = p x p+ p x p q (2.96) ( ) ( ) ( 2) ( ) ( ) = ( ) + ( ) = = ( ) ( ) ( ) ( ) p y2 q p x p x2 q cost. (2.97) p y3 = p x p q + p x2 p (2.98) Îlocuid (2.96) şi (2.98) î (2.95), rezultă ( 2p + q ) p( x) = ( 2p+ q ) p( x2) (2.99) Dacă 2p+ q 0 (2.00) ( ) etropia H( Y ) devie axiă atuci câd p( x ) p( x ) şi cu = (2.0) 2 p( x) + p( x2) = (2.02) rezultă că etropia H( Y ) devie axiă, dacă sibolurile x şi x 2 sut aplicate echiprobabil la itrarea caalului, adică p( x) = p( x2) = (2.03) 2 Ţiâd cot de (2.03), relaţiile (2.96) şi (2.98) devi q p( y) = p( y3) = (2.04) 2 Cu relaţiile (2.97) şi (2.04), valoarea axiă a etropiei H( Y) este ( ) ( ) ( ) ax H Y = q q log q qlog q (2.05) Îlocuid relaţiile (2.94) şi (2.05) î relaţia (2.84), rezultă capacitatea caalului biar cu aulări, de fora 79

( ) ( ) ( ) ( ) C = q q log q + plog p+ p q log p q (2.06) Î cazul q=0, caalul biar cu aulări devie biar sietric. Ipuâd q=0 î relaţia (2.06), rezultă capacitatea caalului biar sietric, dată de relaţia (2.90). Dacă relaţia (2.00) u este satisfăcută, se poate scrie q 2p+ q = 0 p = (2.07) 2 Îlocuid (2.07) î (2.06), rezultă C=0. Î acest caz sibolurile y şi y 3 provi egal probabil di sibolurile x, şi x 2, astfel îcât, petru acest caz particular, u se trasite ici o iforaţie pe caalul respectiv. 80