Claude E. Shannon
Vladimir Kotelniov
Câteva limite fundamentale in telecomunicaţii Curs festiv, an 5, promoţia 004 9 iunie 004
Introducere Ieşirea unei surse discrete este o variabilă aleatoare S ce ia valori in alfabetul finit S { s0, s,..., s } cu probabilităţile P S s p Cantitatea de informaţie câştigată după producerea evenimentului Ss I( s log log p 0. p pentru 0.5, ( p I( s bit
Introducere Entropia sursei discrete având alfabetul S K H( S E{ I( s } plog [biti] 0 p S este o etichetă a sursei şi nu un argument. Ieşirile sursei, S, sunt convertite în grupuri de cifre binare b, având lungimea l biţi oarecare
Introducere Sursă discretă Codor al sursei secvenţă binară Lungimea medie a cuvintelor de cod de la ieşirea codorului este: { } K 0 L E l p l. [biti/simbol]
Teorema -a a lui Shannon Fiind dată o sursă discretă cu entropia H(S, lungimea medie a cuvintelor de cod L, pentru orice schemă de codare fără distorsiuni satisface inegalitatea L Eficienţa codării sursei prin η ( H S H( S L η se defineşte
Canale discrete Un canal discret este simbolizat în figură X x0 y0 x y ( X p y xj Y...... x y J - K - X Y descris de cele alfabete, şi şi de probabilităţile de tranziţie ( ( p y x P Y y X x Y j j
Entropie Entropia condiţionată de J j 0 j ( X ( Entropia condiţionată Y y H Y y p x y log K p x { } ( ( 0 ( y H( X Y E H( X Y y p y H X Y y K J ( X Y ( H p x, y log 0 j 0 j p x j ( y j
Entropie ( H X Y Entropia incertitudinea rămasă cu privire la intrarea canalului, după ce ieşirea a fost observată. Dar H ( X este incertitudinea privind intrarea canalului înainte de observarea ei, aşa ca ( XY ; ( X ( X Y I H H este incertitudinea rezolvată (ridicată după observarea ieşirii canalului. I ( X ; Y este o informaţie mutuală.
Capacitatea canalului Capacitatea canalului discret este maximul informaţiei mutuale, I ( X ; Y în oricare utilizare singulară, maximizarea fiind făcută în raport cu toate distribuţiile p x posibile pentru X { ( } j C max I { ( } ( XY ; [biti/utilizare] pxj
Canal binar simetric. p( y0 x p( y x0 p; p( x0 ( ( ( α p y0 x0 p y x p; p x α. ( 0, 0 ( 0 0 ( 0 ( α ( 0, ( 0 ( 0 α (, 0 ( 0 ( ( α (, ( ( ( ( α p x y p y x p x p p x y p y x p x p p x y p y x p x p p x y p y x p x p
Canal binar simetric 3. p p I( XY ; ( p αlog + pαlog p α + p α p α + pα 4. dα conduce la ( ( ( ( p p + p( α log + ( p( α log p α + p α p α + pα di ( ( ( XY ; 0 α 0.5 şi deci ( (
Canal binar simetric C I XY ; + plog p+ p log p ( { 0.5 0.5} ( ( 5. a Dacă canalul nu este afectat de zgomot, adică p 0 se atinge capacitatea C bit / o utilizare. b Dacă canalul este afectat de un zgomot puternic, încât p 0.5 capacitatea este C 0 bit / o utilizare. Canalul nu poate fi utilizat.
Teorema a doua a lui Shannon Pentru creşterea imunităţii comunicaţiei la efectele zgomotului se codează canalul Blocurile de biţi emişi de sursă se transformă în blocuri de lungime n, n > biţi. Rata codului este: r <. n
Teorema a doua a lui Shannon Sursă discretă Codorul canalului Canal discret Emiţător Zgomot aditiv Decodorul canalului Utilizator Receptor
Enunţul teoremei Sursa-> entropia H(S biţi/simbol, emite simboluri cu durată Ts. Fiecare utilizare a canalului durează Tc, Teorema : Tc. Utilizând canalul astfel încât ( H S T C T S C există o schemă de codare pentru care ieşirea sursei poate fi transmisă prin canal şi poate fi reconstruită la ieşire cu o probabilitate aleasă în mod arbitrar, oricât de mică. Utilizând canalul astfel încât ( H S T C > T S C un sistem transmite informaţia prin canal cu o probabilitate de eroare oricât de mică. T S
Capacitatea canalului Pe lângă entropie şi capacitatea canalului este o limită fundamentală în transmiterea informaţiei. Dar r TC TS aşa că este necesar să transmitem cu o rată inferioară capacităţii canalului pe o transmisie r C
Surse şi canale continue Dacă X este o v.a. de la intrarea canalului cu densitatea de probabilitate px ( x se defineşte entropia ei diferenţială h ( X p X ( x log p x dx ( ( Pentru o v.a. cu repartiţie gaussiană ( x µ X ( x µ σ log log h X e πσ edx πσ σ
Surse şi canale continue Sau log ( ( πeσ h X Informaţia mutuală între două v.a. X şi Y ( x y ( x px I ( XY ; pxy, ( x, y log dxdy p Entropia diferenţială condiţionată a v.a. X fiind dată Y se defineşte cu h ( X Y p XY, ( x, y log p dxdy X X ( x y
Teorema capacităţii informaţionale Fie un canal gaussian de bandă W [Hz] prin care se transmite procesul X(t, şi el de bandă limitată la W. Procesul X(t se eşantionează cu frecvenţa Nyquist, W eşantioane/sec. Se prelevează K eşantioane cu valori continue X,,,,K. Durata procesului transmis este T aşa că se preiau: K T W eşantioane
Teorema capacităţii informaţionale Eşantioanele X se transmit prin canal şi sunt afectate aditiv de eşantioanele de zgomot N : X N Y Puterea transmisă este limitată: { X } P [Watt] E Capacitatea informaţională a canalului: C max { P (x} X {I(X ;Y : E{X } P}
Teorema capacităţii informaţionale Avem însă şi (X şi N sunt statistic independente > I(X ;Y h(y h(y h (Y X h(x + N X I(X ;Y Se arată că pentru o v.a. Y având o repartiţie oarecare, dar dispersia aceeaşi, σ avem: h(y h(n h X ( N < hy ( log ( Y, are dispersia σ şi repartiţia este gaussiană Y, are dispersia σ dar altă repartiţie decât cea gaussiană πσ e
Teorema capacităţii informaţionale Altfel spus, o v. a. de dispersia σ dată are entropia diferenţială maximă dacă are repartiţie gaussiană. Dar această constatare nu rezolvă problema capacităţii: X este cu repartiţie gaussiană C I( X; Y unde E{ X } P Avem pentru dispersia lui Y: { } { } Y E{X } + E N P + σ P N W E + 0
Teorema capacităţii informaţionale σ NW 0 C h(y h(n log[πe(p + N0W] log(πen0w N are dispersia, rezultă că: Sau: C P log + [biţi] NW 0 în final avem: P C W log N0W + [biţi / sec.] Dependenţa capacităţii de W are o componentă liniară, în timp ce dependenţa ei de puterea emisă P este logaritmică. În consecinţă se obţine mai uşor o creştere a capacităţii crescând banda decât crescând puterea.
Limita Shannon sistem ideal -> transmite la o rată de bit R b egală cu capacitatea informaţională: R b C [biţi / sec.] Puterea medie transmisă P funcţie de energia pe bit E b pentru sistemul ideal: Avem deci: sau E b N 0 C W log C W C W E + N b 0 C W ; P C W Eb R b E log E + N b 0 b C C W
Limita Shannon E N Pentru o bandă infinită, raportul E b /N 0 devine: (val. absoluta, decibeli C W C W b lim W 0 W ln 0log 0log(ln,6 [db] Limita corespunzătoare a capacităţii inferioare a canalului este: E N b 0 C W lim W log + P N0W P N 0 log e,44p N 0 [biţi / sec.]
Canale cu zgomot colorat x(t H(f y(t Se formulează problema: n(t zgomot colorat Să se găsească densitatea spectrală de putere SX(f ce maximizează informaţia mutuală intrare-ieşire, satisfăcând constrângerea ca puterea medie de intrare a semnalului să fie P. Să se determine capacitatea informaţională optimă a acestui canal.
H(f Canale cu zgomot colorat x(t S X (f z(t Z(f H(f Nf ( y(t S Y (f Zf ( H( f y (t x (t + n (t,,,..., N f f f Puterea medie a semnalului de intrare în subcanalul este: P S(f f,,,..., N
Limita lui Shannon
Canale cu zgomot colorat Dispersia zgomotului n (t, corespunzător subcanalului Capacitatea informaţională a subcanalului Cele N subcanale sunt independente unul de altul şi deci capacităţile lor informaţională se însumează: f H(f N(f f (f Z σ σ + P log f C σ + N N P log f C C
Canale cu zgomot colorat Se caută maximul lui C după P cu constrângerea de putere: J N P P N N f log + + λ P P σ P dj dp f P log + σ e + λ 0,,,..., N
Canale cu zgomot colorat Pentru a obţine o valoare λ independentă de putem lua: P + σ K f,,,..., N unde K este o constantă, aceeaşi pentru orice. N(f X (f K, H(f S,,..., N Dar Sx(f este nenegativă deoarece este o densitate spectrală de putere. Este necesar să avem: K N(f H(f
Canale cu zgomot colorat Fie W e domeniul de frecvenţă în care K satisface condiţia. Putem scrie: N( f S Puterea medie a semnalului de la intrare P N( f P K df f We H( f Din această relaţie se determină K şi din precedenta S X (f optim. Capacitatea se calculează cu: C max N f log K f X ( f σ N K f log, f H ( f 0, în rest K H ( f N( f W e
Canale cu zgomot colorat sau, trecând la limită când f 0 şi N : 0 max ( ( log ( ( log df f N f H K df f N f H K C
Water-filling În figură -> interpretare cunoscută sub numele de waterfilling. Cantitatea de apă, echivalentă puterii se distribuie în relieful N( f determinând valoarea K şi implicit domeniul W e. H ( f Banda W e W poate fi considerată o bandă echivalentă a canalului. N( f H( f K P S X (f W e f
Canalul selectiv afectat de zgomot alb Canalul este selectiv, H(f nu este constant în banda W, dar zgomotul este alb, N(fN 0 ct. Se introduce raportul semnal/zgomot în banda echivalentă, W e ca fiind: P SNRe N 0We Pentru o funcţie f(x oarecare dar pozitivă, se pot defini o medie geometrică f şi o medie geometrică generalizată f prin: f b a b a f ( x dx ; f exp b a b a ln f ( x dx
Canalul selectiv afectat de zgomot alb Se poate arăta că pentru un canal selectiv afectat de zgomot alb este valabilă relaţia: C W e log SNR e + H ( f H ( f
Canal neselectiv afectat de zgomot alb Este cazul canalului cu H(f K şi N(fN 0. Banda echivalentă devine chiar toată banda canalului, W e W. Capacitatea se calculează cu: C PK Py W log + + W log N0W N0W Aici, Py N0W SNR - raportul semnal pe zgomot la receptor.
Canalul selectiv afectat de zgomot colorat Cu notaţia SNR P N0 în cazul general este: W capacitatea canalului C 3 log[ + SNR H(f ] df W e