Elemete de teore a formaţe. Câte ceva desre formaţe la modul subectv Î cele ce urmează vom face câteva cosderaţ legate de formaţe ş măsurare a e. Duă cum se cuoaşte formaţa se măsoară î bţ. De asemeea ş dmesuea ue magstrale, regstru etc. se măsoară tot î bţ. Deş ître cele două tur de bţ (bţ de formaţe ş bţ hardware ) exstă o legătură, ele u sut tocma detce. Char dacă cele două deumr sut oarecum forţate, cosderăm că este foarte utlă delmtarea ma clară a lor, utlzarea oţu de bt î ambele cotexte (hardware ş teora formaţe) utâd duce la cofuz mortate. Să cosderăm următoarea stuaţe. U dsoztv hardware are o magstrală de 8 bţ. Î acest caz are corect să suem că u fr al e trasmte u bt de formaţe la fecare tact. Dar dacă, rvd î terorul dsoztvulu, costatăm că frul resectv e legat la masă ma trasmte el ceva formaţe la fecare tact? 8 8 Să cosderăm u alt exemlu: dăm cu baul. Putem sue că la fecare arucare cu baul obţem u ou bt de formaţe. Dar, duă ce am dat de 00 or cu baul ş a eşt de tot atâtea or stema, ma obţem oare aceeaş formaţe la o arucare? Ma are rost să ma facem arucăr? Pare că formaţa ou obţută scade e măsură ce stema deve î mod evdet tot ma robablă. Să cosderăm că avem o gruă de studeţ ş otele acestora la două dscle la fel de mortate. Care dtre ote este ma relevată (să zcem etru u agajator): ota la dscla la care toată lumea a obţut 0 sau la cea la care otele acoeră o lajă ma mare? Altfel zs, care otă trasmte ma multă formaţe? D toate exemlele de ma sus observăm că formaţa este cu atât ma mare cu cât exstă o ma mcă robabltate a evemetulu resectv. U bt hardware este doar suortul fzc e care s- ar utea trasmte u bt de formaţe dacă redctbltatea este mmă adcă dacă robabltăţle stărlor 0 ş sut egale (duă cum se va demostra la maxmzarea etroe). Dacă robabltăţle sut ma dezechlbrate u bt hardware trasmte ma uţ decât u bt de
formaţe. Remarcăm fatul că oţuea de bt hardware oate refer de exemlu ş u bt al uu fşer (care oate trasmte ş el ma multă sau ma uţă formaţe).. Defţ Cea ma cuoscută măsură a formaţe este cea care leagă formaţa de robabltate î mod logartmc astfel: x ) = log ( x ) ( Î această relaţe x dcă u evemet ar robabltatea acestua. Î aroae toate cazurle logartmul se cosderă a f î baza. Această defţe a formaţe este datorată lu Claude Shao, uam accetat ca ărtele teore formaţe. Î fgura alăturată am rerezetat grafcul aceste fucţ. Se observă că această defţe coresude cu observaţle ateroare, formaţa obţută etru u evemet sgur (de robabltate ) este ulă, ea crescâd odată cu scăderea robabltăţ evemetulu. Utatea de măsură a formaţe este btul. Acesta rereztă cattatea de formaţe care se obţe r roducerea uu evemet de robabltate 0.. 0 0 0. 0. 0. 0.8 Se umesc surse dscrete sursele care emt mesaje î formă dscretă (sre deosebre de sursele care emt semale cotue, aalogce). Smbol (lteră) este elemetul fudametal, reductbl, care coţe o formaţe. Totaltatea smbolurlor care ot f geerate de o sursa costtue alfabetul surse. O succesue ftă de smbolur formează u cuvât ar mulţmea cuvtelor care ot f formate cu u alfabet rereztă o lmbă. Codarea rereztă stablrea ue coresodeţe ître cuvtele formate cu u alfabet ş cuvte formate cu alt alfabet. Î ceea ce rveşte sursele utem face următoarele caracterzăr: o sursă dscretă este cu memore / fără memore duă cum robabltatea de aarţe a uu smbol dede sau u de smbolurle ateroare.
o sursă este estaţoară / staţoară duă cum robabltatea smbolurlor geerate dede sau u de tm. o sursă este cu debt cotrolabl / ecotrolabl duă cum geerarea de smbolur oate f ortă (îtârzată) d exteror sau u. O sursă cu debt ecotrolabl (de exemlu sursa obţută r eşatoarea uu semal aalogc) rdcă robleme legate de relucrarea î tm real. Î fgura următoare rezetăm cele smbolur utlzate î cazul codulu Morse (alfabetul surse). Avem de a face cu uct (s), le (s), saţu ître ltere (s) resectv saţu ître cuvte (s). Acestea sut sgurele mesaje valde, care ot f emse. Motvul etru care am ales rezetarea aceste surse este fatul că î acest caz smbolurle au o rerezetare dstctă, foarte dfertă de la u smbol la altul. Cu toate acestea cosderăm î relucrărle legate de formaţe că sursa geerează smbolur fără să e ma tereseze rerezetarea fzcă a acestora. Î cazul î care sursa este u fşer avem smbolur dferte, dar avâd o rerezetare asemăătoare. s s s s. Etroa Să cosderăm o sursă S care emte smbolur cu robabltăţle P: [S] = [s s... s ] [P] = [... ] Ne teresează să evaluăm cattatea de formaţe e care o dă sursa. Petru aceasta se defeşte etroa surse astfel: = = ( s ) = = log Observăm că etroa rereztă formaţa mede e smbol (o mede a formaţe obţute etru fecare smbol, meda fd ua oderată cu robabltăţle de aarţe ale smbolurlor). Etroa este dec egală cu certtudea mede aror asura evemetelor [S]. Accetuăm fatul că etroa este o măsură a formaţe emse de sursă î asamblul e ş u a formaţe emse de u smbol oarecare.
D defţa etroe observăm că ea este o fucţe cotuă ş smetrcă î raort cu varablele. Î cotuare e rouem să determăm care este valoarea maxmă a etroe. Petru aceasta căutăm maxmul fucţe = ître varablele exstâd legătura (restrcţa) = = log = 0 Petru a căuta u extrem cu restrcţ se foloseşte metoda multlcatorlor lu Lagrage. Se costrueşte fucţa Φ Φ = = log + λ = cărea se caută extremul. Aulăm dervatele arţale î raort cu varablele = 0 Obţem astfel: Pr smlfcare se obţe: adcă: j = log loge + λ = 0 = log loge + λ = 0 log = log j j = j Deoarece dc ş j sut oarecare relaţa este valablă etru orce ş j dec avem: = =... = Acest lucru dovedeşte că formaţa trasmsă de o sursă este maxmă atuc câd smbolurle sut egal robable. Să cosderăm cazul î care sursa emte doar două smbolur avâd robabltăţle ş -. Exresa etroe deve î acest caz: H ( S) = log ( ) log( )
Rerezetarea grafcă a aceste fucţ (ca fucţe de ) este dată î fgura următoare. Se observă că etru tzâd la 0 ş la fucţa tde sre 0. Deş ea u este deftă î aceste ucte (d cauza logartmulu) utem cosdera r coveţe 0log0=0. Itutv acest lucru este corect, î cazul î care o sursă emte u smbol cu robabltate 0 (adcă u îl emte) acel smbol u trasmte formaţe. H.0 0.9 0.8 0. 0. 0. 0. 0. 0. 0. 0.0 0.0 0. 0. 0. 0. 0. 0. 0. 0.8 0.9.0 Reţem că etru o sursă care emte două smbolur formaţa este maxmă (ş egală cu, adcă u bt de formaţe ) câd cele două smbolur sut egal robable. Doar î acest caz emterea uu smbol (a uu bt fzc ) trasmte ş u bt de formaţe. Putem remarca o asemăare cu oţuea de etroe d fzcă. Deş se umesc la fel cele două etro u rereztă acelaş lucru. Î fzcă etroa rereztă o măsură a agtaţe termce. Î teora formaţe etroa rereztă o măsură a certtud asura uu evemet. Î ambele cazur etroa costtue o măsură a dezord exstete. Se ma defeşte redudaţa surse ca fd dfereţa ître etroa maxm osblă ş cea reală (cât emte sursa utl): R S = H MAX ( S) Dacă dorm să lucrăm î terme relatv, utem utlza oţuea de redudaţă relatvă: Î ambele relaţ avem: rs = H MAX MAX ( S) = log coresuzâd etroe ue surse cu smbolur ş robabltăţ egale de aarţe.