Gjeneza dhe nocioni i teorisë së informacionit. Literatura. Gjeneza dhe nocioni i teorisë së informacionit

Transcript

1 Literatura 1. ESSENTIALS OF ERROR-CONTROL CODING, Jore Castiñeira Moreira, Patrick Guy Farrell, 2006 John Wiley & Sons Ltd. 2. Telecommunications Demystified, Carl Nassar, by LLH Technoloy Publishin, Uvod u teoriju informacije i kodiranje, Alen Bažant..., 2007 Zareb. 4. DATA COMMUNICATIONS AND NETWORKING, FOURTH EDITION, Published by McGraw- Hill, 2007 Gjeneza dhe nocioni i teorisë së informacionit Marrë në përjithësi ekzistojnë tri tipare të informacionit: Sintaksor që treon ndërlidhjen ndërmjet simboleve që formojnë mesazhin (lajmin), Semantik që treon domethënien e mesazhit, Pramatik që ndërlidhet me përdorimin e mesazhit. Tipari sintaksor kryesisht trajton formën e informacionit, ndërsa ai semantik dhe pramatik ndërlidhen me përmbajtjen që e mbartë vetë informacioni. Shembulli 1: Le ti marrim në shqyrtim fjalitë e mëposhtme: (1) Bujari ka ardhur me taksi në teatër. (2) Bujarin në teatër e ka sjellë taksi. (3) Në rruën Ferizaj Prishtinë u shkaktua bllokim trafiku. (4) Rrua Ferizaj Prishtinë është rruë me trafik të lartë në Kosovë. Shihet që fjalitë 1) dhe (2) në pikëpamje sintaksore janë të ndryshme, por në pikëpamje semantike dhe pramatike të njëjta: kanë rëndësi të njëjtë dhe të dyja janë njësojë informative. Fjalitë (3) dhe (4) nuk dallohen vetëm në pikëpamje sintaksore, por edhe për na semantika e tyre. Fjalia (3) është shumë më informative se fjalia (4). Tipari pramatik i informacionit kryesisht varet na konteksti. Informacionet që ndodhen në fjalitë (3) dhe (4) janë relevante për dikë në Kosovë por jo edhe për dikë p. sh. në Anli. Gjeneza dhe nocioni i teorisë së informacionit Claude Shannon i pari e ka ndërlidh nocionin e informacionit me nocionin e jasës ose pasiurisë (an. uncertainty). Lidhja e tillë në esencë nuk është jolojike. Nëse marrim në shqyrtim bashkësinë e të jitha njarjeve që paraqiten me jasë të njëjtë, në atë rast ekziston pasiuri e madhe se cila njarje do të ndodhë, kështu që kur ndodh ndonjëra prej tyre ajo na sjellë shumë më tepër informacion në krahasim me rastin kur hapësira e njarjeve strukturohet ashtu që ndonjë njarje ka jasë të madhe të probabilitetit. Pra, informacioni ndërlidhet me nocionin e jasës përmes pasiurisë ose shkallës së befasisë. Na këndvështrimi i teorisë së informacionit, informacioni nuk është njohuri, siç e konsiderojmë zakonisht, por ai ndërlidhet me jasën ose probabilitetin e simboleve të shfrytëzuar për dërimin e mesazheve ndërmjet burimit dhe destinacionit (cakut) përmes një kanali me zhurmë. Sasia kuantitative e informacionit të simboleve ndërlidhet me jasën e paraqitjes së tyre, qoftë duke buruar na burimi ose kur ato mbërrijnë në cakun e tyre. Me paraqitjen e simbolit të cilin si të tillë e shohim, pasiuria jonë zvoëlohet, dhe themi se kemi pranuar ca informacione. Pra, siç shihet, informacioni është zvoëlim i pasiurisë. Gjeneza dhe nocioni i teorisë së informacionit Teoria e informacionit synon analizimin e komunikimit ndërmjet dhënësit dhe marrësit përmes një kanali me zhurmë, dhe qasja e tillë, na njëra anë, merret me analizën e burimit, në veçanti sasinë e informacionit të jeneruar na ai burim, dhe, na ana tjetër, vendos kushtet për kryerjen e transmetimit të siurt (me besnikëri sa më të madhe) nëpër një kanal me zhurmë. Ekzistojnë tri koncepte kryesore të kësaj teorie: 1. I pari është përkufizimi i sasisë që mund të jetë masë valide e informacionit, dhe që do të ishte konsistente me kuptimin fizik të vetive të tij. 2. I dyti ka të bëjë me ndërlidhjen e informacionit dhe burimit që e jeneron atë informacion, dhe konceptit të tillë do t i referohemi si burimit i informacion. Teknikat e njohura të teorisë së informacionit si komprimimi (compression) dhe shifrimi (encryption) ndërlidhen me këtë koncept. 3. Koncepti i tretë ka të bëjë me ndërlidhjen ndërmjet informacionit dhe kanalit me zhurmë nëpër të cili transmetohet informacioni. Koncepti i tillë na shpie deri te përkufizimi i një parametri shumë të rëndësishëm të quajtur kapacitet i kanalit. Një teknikë e njohur e teorisë së informacionit e quajtur kodim për korrijim ose kontrollim të abimeve është nushtë e lidhur me konceptin e tillë. Kodimi është njëra prej teknikave më të shfrytëzuara në teorinë e informacionit, dhe si i tillë synon optimizimin e transmetimit dhe shfrytëzimin në mënyrë efikase të kapacitetit të një kanali të dhënë.

2 Gjeneza dhe nocioni i teorisë së informacionit Çka është në të vërtetë informacioni? Teoria e informacionit jep përjije në tri pyetjet e më poshtme: Sa bita janë të nevojshëm për paraqitjen e burimit të informacionit? Cila është shpejtësia më e madhe e transmetimit me të cilën kanali transmetues mund të transmetojë me besnikëri të dhënat dijitale? Me çfarë siurie ose besnikërie mund të transmetojmë informacionin nëpër kanalin komunikues me zhurmë? Informacioni është madhësi fondamentale që nuk është as materie as enerji, dhe për të do të japim dy përkufizime: Në kuptimin më të përjithshëm: informacioni paraqet lajm që e japin azetat, radiot dhe televizionet, si dhe mesazhet e ndryshme në telekomunikime. Në lëmin e kibernetikësis (shkencë për studim interdisiplinar të strukturës së sistemit rreullues): informacioni është faktor kualitativ i cili përcakton jendjen e ndonjë sistemi dhe ndikimin që sistemi i tillë ka në ndonjë sistem tjetër. Informacioni është bazë për shumë shkenca si: kibernetika, linuistika, biolojia, historia etj. Teorema themelore e Shannon-it vendos një ndërlidhje të nushtë me jasën e paraqitjes së simboleve me të cilat paraqiten mesazhet. Kur kemi parasysh se informacioni mund të memorizohet në procese materiale, p.sh. në CD, DVD, disqe manetike etj., edhe pse me orijinë jometariale, ai kalon në botën materiale në formë të të dhënave dhe të komunikimit. Burimet pa memorie dhe të Markovit Burimet mund të ndahen në dy rupe: (1) Burimet pa memorie, te të cilët nuk ka varshmëri ndërmjet simboleve, që dmth. se çdo simbol i njëpasnjëshëm është një zjidhje e rastit na alfabeti p.sh. bpdin cusvm (2) Burime të Markovit simbolet janë të koreluar ose të bashkëlidhur p.sh. na prift e mbara. Çështja nuk konsiston në atë se varu i tillë i kompozuar i simboleve ka kuptim, por në atë se mund të parashikojmë deri në një masë çdo simbol duke u bazuar në njohuritë paraprake dhe duke shfrytëzuar rreullat e shqipes (në shembullin konkret). I njëjti informacion përmbahet edhe në n prft e mbra, përderisa marrësi merr parasysh se burimi ka shprehinë e heqjes së zanoreve. Burimet e Markovit i hasim më shpesh në praktikë se sa ato pa memorie. Matja e sasisë së informacionit Duke pas parasysh se, siç u tha, informacioni është zvoëlim i pasiurisë, shtrohet pyetja se si do të matet kjo pasiuri. Mënyra më e thjeshtë është që, p. sh. për burimin që jeneron tre simbole (A, B, dhe C) të themi se kemi një pasiuri prej tre simbolesh. Kjo do të vlente për këtë rast, por nëse një burim tjetër në të njëjtën kohë jeneron dy simbole, p.sh. 1 dhe 2, burimi i tillë na jep një pasiuri prej dy simbolesh. Nëse i kombinojmë burimet e tilla në një burim, në atë rast fitojmë jashtë kombinime, A1, A2, B1, B2, C1, C2, dhe burim i tillë ka një pasiuri prej 6 simbolesh. Kjo nuk përputhet me atë që ne zakonisht mendojmë për informacion, sepse nëse marrim dy libra, do të preferonim të themi se kemi marrë dy herë më tepër informacione se sa na një libër. Pra do të dëshironim që matja jonë të jetë aditive. Kjo është lehtë të bëhet nëse marrim së pari loaritmin e numrit të simboleve sepse në atë rast në vend të shumëzimit të numrit të simboleve do të kemi mbledhjen e tyre. Në shembullin tonë, burimi i parë na bënë të pasiurt për lo3, i dyti për lo2 dhe ai i kombinuar për lo3 + lo2 = lo6. Baza e loaritmit përcakton njësinë. Kur e përdorim bazën 2 njësia është bit (baza 10 jep njësinë diit (ose hartley ose dit na decimal unit ose ban) dhe baza e loaritmit natyror, e, jep njësinë nat ose nit. Prandaj nëse një burim jeneron një simbol, kemi pasiurinë prej lo 2 1 = 0 bit, dhe nuk jemi të pasiurt për atë se çka do të jenerojë burimi në vazhdim. Nëse burimi jeneron dy simbole me jasë të barabartë, pasiuria do të jetë lo 2 2 = 1 bit, ndërsa për katër simbole me jasë të barabartë, pasiuria është 2 bite.

3 Matja e sasisë së informacionit Shndërrimi prej njërës në njësinë tjetër bëhet thjeshtë duke shfrytëzuar shprehjen: ln a lo a lo 2 a = = ln 2 lo 2 Na se u tha më lartë, del se shprehja për pasiuria është lo 2 M, ku M paraqet numrin e simboleve. Hapi i ardhshëm është që të zjerojmë shprehjen në mënyrë që të përfshijmë edhe rastet kur simbolet nuk kanë jasë të barabartë të paraqitjes. Për shembull, nëse kemi 3 simbole të mundshme, dhe nëse njëri prej tyre paraqitet shumë më rrallë në krahasim me dy të tjerët, pasiuria jonë do të jetë më e madhe se 1 bit, por jo edhe aq e lartë sa lo 2 3 bite. Të fillojmë me shtruarjen e shprehjes në formë tjetër, pra: 1 1 lo 2 ( M ) = lo 2 ( M ) = lo 2 = lo 2 ( p) M Ku p =1/M është jasa e paraqitjes së cilit do simbol. Nëse e përjithësojmë këtë për jasa të ndryshme të simboleve, p i, të tilla që shuma e tyre të jetë: M p i i= 1 = 1 Matja e sasisë së informacionit Shkalla e befasisë me rastin e vërejtjes së simbolit të tipit i quhet sasi e informacionit (an. surprisal sipas Myron Tribus ), dhe në analoji me - lo 2 p përkufizohet si: ( ) ui = lo 2 p i Na shprehja e fundit shihet se nëse p i i afrohet 0, në atë do të jemi shumë të befasuar që shohin simbolin e i-të (sepse ai ati se nuk paraqitet kurrë), kështu që u i i afrohet. Na ana tjetër, nëse p i = 1, atëherë nuk do të befasohemi aspak nëse shohim simbolin e i-të (sepse ai paraqitet jithmonë) dhe u i = 0. Pasiuria është sasia mesatare e informacionit (averae surprisal) për varun pambarim të simboleve të jeneruar na burimi. Le të njehsojmë tash mesataren për varun me jatësi N që ka një alfabet me M simbole. Matja e sasisë së informacionit Të supozojmë se simboli i tipit i paraqitet N i herë, ashtu që Në atë rast do të kemi N i raste kur sasia e informacionit është u i. Prandaj sasia mesatare për N simbole është: Duke zëvendësua N në emërues dhe duke shënuar atë brenda shumë së epërme, kemi: Matja e sasisë së informacionit Nëse e bëjmë këtë matje për një var pambarim të madh të simboleve, atëherë frekuenca N i /N paraqet jasën p i të simbolit të tipit i. Duke bërë këtë zëvendësim shihet se sasia mesatare e informacionit ose entropia (H) do të jetë: M bite H = = p p i i lo 1 2 i simb Shembulli 2: Të supozojmë se kemi M = 4 simbole A, C, G, T me jasat përkatëse: 1/2, 1/4, 1/8, 1/8. Të njehsohet sasia e informacionit dhe entropia. Na shprehja për sasinë e informacionit fitojmë respektivisht: u A = 1 bit, u c = 2 bite, u G = 3 bite, dhe u T = 3 bite, kështu që entropia, duke shfrytëzuar shprehjen e fundit entropia është H = 1.75 bite/simb. Nëse simbolet kodohet me fjalë të koduara me jatësi sa sasia e fituar e informacionit, pra A = 1, C = 01, G = 000, dhe T = 001, varu ACATGAAC, që ka frekuencë të simboleve të barabartë me jasat përkatëse, kodohet si Pra kemi shfrytëzuar 14 shifra binare ( 0 ose 1 ) për kodimin e 8 simboleve të varut, kështu që 14/8 = 1.75 bite/simb, paraqet entropinë e lloaritur paraprakisht.

4 Matja e sasisë së informacionit Do të caktojmë dhe do të paraqesim në vazhdim entropinë e burimit binar në rastin kur jasa e paraqitjes së zeros është p(0) = p. Është e qartë se jasa e paraqitjes së njëshit është p(1) = 1-p, ndërsa entropia në funksion të jasës jepet me shprehjen H ( p) = p lo 2 p ( 1 p) lo 2 ( 1 p) dhe është treuar në fiurë. Na fiura, ku në absisë kemi jasën e një simboli ndërsa në ordinatë entropinë, lehtë mund të shihet (por edhe të vërtetohet) se entropia ka vlerën maksimale për p = 0.5 (pra për njarje me jasë të barabartë), dhe ka vlerën H max = 1bit/simb. Në rastin e përjithshëm, për një burim me alfabet prej M simboleve, entropia maksimale fitohet kur jasat e simboleve janë të barabarta, pra kur p 1 = p 2 =.= p M = 1/M, dhe është e barabartë me H max = lo 2 M bite/simb. Matja e sasisë së informacionit Shihet se kur ndonjë njarje është e siurt, pra kur p = 1, entropia (informacioni) është 0. Kjo përputhet me përvojën tonë se njarjet e siurta nuk sjellin informacion. I njëjtë është rezultati për p = 0, kur jasa e paraqitjes së njarjes tjetër është 1. Kur p = 1/2 të dy njarjet janë njësoj të mundshme, kështu që pasiuria është maksimale (shembull për këtë është hedhja e monedhës). Te burimi ternar entropia është funksion i dy variblave ose ndryshoreve, sepse variabla e tretë varet na dy të tjerat. Pra kemi jasat p 1, p 2 dhe p 3 = 1 (p 1 + p 2 ) dhe entropinë përkatëse H 3 (P) = H(p 1, p 2, 1 p 1 p 2 ). Entropia maksimale fitohet kur p 1 = p 2 = p 3 = 1/3 dhe është e barabartë me lo 2 3 = bita. Nëse njëra prej jasave është zero (p.sh. p 2 = 0), burimi ternar shndërrohet në burim binar. Nëse simbolet emitohen na burimi me shpejtësi ose debit prej r s simb/sek, në këtë rast mund të shfrytëzojmë këtë element kohor dhe të përcaktojmë shpejtësinë ose debitin mesatar të informacionit (R) si produkt i sasisë mesatare të informacionit ose entropisë dhe debitit të burimit, pra R = r s H bite/sec Modeli i sistemit komunikues Modeli themelor i komunikimit përbëhet na burimi i informacionit i cili jeneron informacionet të cilat duhet transmetuar deri në cak ose destinacion. Tek komunikimet theksi vihet në transmetimin e informacionit prej burimi deri në cak. Problemi themelor i komunikimeve është reproduktimi në një pikë në formë ekzakte ose përafërsisht ekzakte i një mesazhi të zjedhur në një pikë tjetër. Edhe pse memorizimi i informacionit në një medium memorizues nuk është problem klasik i transmetimit të informacionit edhe ky mund të shqyrtohet duke u bazuar në modelin komunikues. Komunikimi realizohet ndërmjet dhënësit në anën e burimit dhe marrësit në anën e destinacionit (fi). Gjatë transmetimit të informacionit mund të shkaktohen abime ose deformime si rezultat i ndikimit të penesave (p.sh. zhurmave) në kanalin komunikues. Natyrisht, jithmonë synohet që transmetimi të bëhet me një shkallë të caktuar të kualitetit të bartjes varësisht na kërkesat e vendosura në marrës. Kështu për shembull, marrësi mund të korrijojë abimet serioze, ndërsa mund të tolerojë disa abime tjera. Modeli i sistemit komunikues Deri sa dhënësi ka për detyrë që informacionin na burimi ta shndërrojë në një formë të përshtatshme për transmetim nëpër kanalin komunikues, detyra e marrësit është që të tentojë të heq deformimet dhe abimet e shkaktuara jatë transmetimit nëpër kanal, si dhe vazhdimisht të transformojë informacionin në një formë të përshtatshme për destinacion. Funksionin e dhënësit mund ta ndajmë në disa nënfunkcione. Në vazhdim do të përshkruhet katër funksionet më kryesoret. Duke ditur se të jitha informacionet që jeneron burimi nuk janë të rëndësishme për cakun, kështu që informacionet e tilla duhet hequr menjëherë. Forma e tillë rëndom quhet reduktim i të dhënave, ndërsa pjesa tjetër e mbetur e informacionit quhet informacion efektiv. Informacioni efektiv shpesh përpunohet duke u shndërruar në një formë tjetër (p.sh. binar) që ka strukturë përkatëse interne të sajë. Me përdorimin e kodimit të burimit, që ndryshe quhet edhe komprimim i të dhënave, informacioni efektiv paraqitet në formë sa të jetë e mundur më kompakte. Burimi Dhënësi Kanali Marrësi Caku Zhurmat

5 Modeli i sistemit komunikues Shpesh është shumë me rëndësi mbrojtja e informacionit na përdorimi i paautorizuar, kështu që është e nevojshme mbrojtja shifrore (kriptimi ose shifrimi), përmes kodeve për shifrim. Informacioni i mbrojtur nuk është imun ndaj abimeve që mund të ndodhin në kanal. Prandaj dhënësi duhet të fusë informacion shtesë e cila do të shfrytëzohet me rastin e rikonstruktimit të informacionit burimor kur jatë transmetimit ndodhin abime. Për këtë kujdeset kodimi i kanalit ose kodimi për kontroll të abimeve (error control codin) që shfrytëzon kode me mundësi detektimi dhe/ose korrijimi të abimeve. Informacionin e tillë të përatitur dhënësi e dëron në kanal. Vetitë fizike të kanalit përshkruhen me kanalin e vazhdueshëm ose analo nëpër të cilin transmetohen sinjalet përkatëse (p.sh. elektrike). Kanal diskret konsiderojmë sistemin i cili në nivel simbolesh paraqet transmetimin e tyre na hyrja deri në dalje të kanalit, shih fi. Shndërrimi i simboleve në sinjale përkatëse quhet modulim. Sinjalet e fituar me modulim i ekspozohen penesave përkatësisht zhurmave të kanalit. Përzierja sinjal zhurmë shndërrohet përsëri në simbole jatë demodulimit. Zhurma që është prezentë mund të shkaktojë që pas demodulimit simbolet e fituar të ndryshojnë na ata të dëruar, pra të shkaktohen abime në transmetim. Në marrës së pari kontrollohet saktësia e informacionit të pranuar në procesin e dekodimit të kanalit. Informacioni i fituar pastaj deshifrimet dekodohet, dhe mandej në rikonstruktimin e të dhënave shndërrohet në formë të përshtatshme për destinacion. Modeli i sistemit komunikues DHËNËSI Burimi Komprimimi Kodimi i b. Shifrimi Kodimi i kanal. Hyrja në kanalin diskret KANALI DISKRET Modulimi Kanali i vazhd. Demodulimi Zhurma MARRËSI Caku i infor. Rikon. i të dh. Dekodimi i bu. Deshifrimi Dekodimi i kan. Hyrja në kanalin diskret Dalja na kanali diskret Dalja na kanali diskret Mesazhet, simbolet dhe sinjalet Burimi zjedh ose selekton mesazhet na një rup i mesazheve të mundshme, p.sh,. ju (në cilësi të burimit) zjidhni po na Përjijet e mundshme {po, jo, ndoshta}. Mesazhi përbëhet na një sekuencë ose var i simboleve (n-d-o-s-h-t-a) që i takojnë një alfabeti (a,b,.zh). Mund të ketë një ose më tepër simbole për mesazh, ndërsa alfabeti mund të konsiderohet si rup i simboleve. Burimi mund të jetë diskret: p.sh. kur simbole janë shkronjat e alfabetit, kodi Morse, sekuenca DNA, bitët ose bajtët, ose i vazhdueshëm: p.sh. zëri, tensioni, intensiteti i dritës Do të shqyrtojmë kryesisht burimet diskrete, duke pas parasysh shndërrimin e burimeve të vazhdueshme në burime diskrete. Sekuenca e mesazheve transformohet ose kodohet në sinjal për të transmetuar atë nëpër kanal si një seri e simboleve. Roli themelor i sistemit komunikues llojet e informacioneve Roli themelor i çdo sistemi komunikues është transmetimi efikas i informacioneve të ndryshme na një objekt ose pjesëmarrës deri te tjetri. Efikasiteti i transmetimit i referohet transmetimit sa më të saktë të të dhënave në një interval të caktuar kohe. Informacionet sipas formës së tyre kryesisht ndahen në: informacione diskrete dhe të vazhdueshme, ndërsa nandonjëherë hasim edhe në kombinimin e tyre. Informacionet diskrete paraqitet me varun që përbëhet na numri i kufizuar i simboleve elementare shenjave alfanumerike siç është rasti i telerafisë (dy ose me tepër impulse elementare), telemetrisë (të dhënave numerike), paraqitjes binare ose dijitale etj. Informacionet e vazhdueshme paraqiten me funksione kohore që marrin numër pambarim të vlerave, siç është rasti i transmetimit të të folurit, muzikës, video sinjalit, telemetrisë (kur transmetohen të dhëna vlerat e të cilave ndryshojnë në mënyrë të vazhdueshme ose analoe). Shndërrimi i informacioneve analoe në ato dijitale bëhet përmes mostrimit, kuantizimit dhe kodimit (shembull: transmetimi i të folurit me anë të sistemit PCM).

6 Disa veti të jasës Njarjet e rastit dhe sasia e informacionit Le të jetë: p(a) jasa e paraqitjes së njarjes A, 1-p(A) jasa që njarja A të mos paraqitet (jasa e komplementit), p(a,b) jasa e paraqitjes së dy njarjeve (jasa e unionit), p(a/b) jasa e paraqitjes së njarjes A, nëse është paraqitur njarja B (jasa me kusht i njarjes B në lidhje me njarjen A), Duke u nis na rreulla e njohur e Bajesit në teorinë e probabilitetit, vlejnë këto barazime: Informacionin e pranojmë nëse njoftohemi për njarjen e cila nuk ka qenë paraprakisht e përcaktuar. Përcaktueshmëria e ndonjë njarjeje mund të matet me jasën e paraqitjes; sa më e madhe të jetë jasa e paraqitjes së njarjes aq më e voël është sasia e informacionit të pranuar pasi të ketë ndodhur njarja. Le të jetë dhënë sistemi i informacionit me numër të fundmë të mesazheve të mundshëm në hyrje dhe në dalje të sistemit. Paraqitja e cilitdo mesazhi konsiderohet si njarje e rastit e cila paraqitet me një jasë të caktuar. Bashkësinë e të jitha mesazheve të ndryshme elementare në hyrje të ndonjë sistemi diskret të informacionit do ta shënojmë me X, x i, i=1,2,,n, ndërsa bashkësinë e të jitha mesazheve elementare në dalje të sistemit të njëjtë me Y, y j, j=1,2,,m., ku x i, y j mesazhet elementare në hyrje/dalje. Modeli i sistemit Modeli i sistemit Në bazë të simbolit të pranuar y j është e nevojshme të caktohet cili simbol x i është dëruar në hyrje të sistemit Hyrja SISTEMI DISKRET KOMUNIK. Dalja Shumica e informacioneve që shfrytëzohet shprehen me ndonjë juhë në të cilën ekziston një varshmëri e caktuar statistikore X Zhurma Y Do të shqyrtojmë informacionin e shprehur përmes n simboleve x i, frekuencat relative të paraqitjes së të cilëve janë statistikisht të pavarur dhe plotësisht të përcaktuar me bashkësinë e jasave në hyrje ose jasave apriore p(x i ), ose jasave të paraqitjes së simboleve të një bashkësie pavarësisht na paraqitja e simboleve të bashkësisë tjetër. Është evidente se bashkësia e të jitha simboleve është e plotë pra shuma e jasave hyrëse duhet të plotësojë barazimin:

7 Modeli i sistemit Modeli i sistemit Tek sistemet reale kemi ndikimin e zhurmës që është prezente në kanal, kështu që nuk kemi pasqyrim të njëvlershëm të të jithë simboleve x i, y j Për këtë arsye mund të shqyrtojmë paraqitjen e njëkohshme të çiftit (x i, y j ), duke shfrytëzuar jasën e përbashkët (joint probability) p(x i,y j ), e cila sipas rreullës së Bajesit ose e shumëzimit të probabiliteteve është Sistemi informativ jep lidhjen ndërmjet paraqitjes së simboleve në hyrje dhe atyre në dalje, dhe nëse dihet mekanizmi fizik i transformimit/transmetimit të simboleve x i në y j, mund të njehsohen jasat me kusht p(y j /x i ) Në këtë mënyrë, duke njohur jasat apriore p(x i ), do të jetë e mundur të caktohet jasat e përbashkëta p(x i,y j ) Gjasa e paraqitjes së simboleve është shumë e jasave të paraqitjes së të jitha çifteve në të cilat paraqitet simboli i tillë Modeli i sistemit Informacioni reciprok Na pikëvështrimi i subjektit që vështron njarjet Y në dalje, paraqitja e rezultatit konkret y j, rezulton me atë që pasiuria paraprake në lidhje me paraqitjen e njarjes x i, e cila karakterizohet me jasën apriore p(x j ) zëvendësohet me pasiurinë e cila mbetet pas paraqitje së njarjes y j e që paraqet jasën aposteriore (jasa kur dihet se cili simbol y j pranohet) Gjasat aposteriore p(x i /y j ) fitohen na shprehjet (2) dhe (3) Tash kemi mjaftë elemente që na pikëvështrimi i teorisë së informacionit të treohet se si transmetohet informacioni nëpër kanal, dhe kuantitativisht të caktohet sasia e informacionit që transmetohet. Mund të supozohet se ekziston vrojtuesi ideal i cili ka mundësi të vështrimit të hyrjes, daljes, si dhe hyrjes dhe daljes së kanalit njëkohësisht. Në këtë rast ai le të vështrojë vetëm daljen e kanalit për një simbol të caktuar x i. Sasia e informacionit që do të pranojë vrojtuesi na pranimi i këtij simboli siç dihet është lo(1/p(x i ). Gjasat e tilla aposteriore quhen ndryshe edhe jasa të kalimit x i në y j ose jasa me kusht, dhe mund t i paraqesim në formë të matricës me dimensione m x n. Matrica e tillë quhet matricë e jasave të kalimit.

8 Informacioni reciprok Informacioni reciprok Nëse shprehjen (5) e shumëzojmë dhe pjesëtojmë me p(y j ), kemi: Le të jetë pranuar simboli y j. Masa e pasiurisë së vrojtuesit për simbolin x i tash ka ndryshuar dhe është: lo(1/p(x i /y j ). Prandaj, sasia e informacionit e transmetuar me këtë çift të simboleve është e barabartë me ndryshimin e pasiurisë fillestare dhe përfundimtare, pra: Me zjedhjen e bazës së loaritmit caktohet njësia e sasisë së informacionit Më i përshtatshëm është përdorimi i loaritmit me bazë 2 (sistemet binare ose dijitale) ose looaritmi dual (ld), dhe në këtë rast njësia është bit (binary diit). Është funksion simetrik ndaj listës së simboleve X dhe Y, pra nuk ndryshon kur X dhe Y ndryshojnë vendet: I(x i ;y j )= I(y j ;x i ) pra njëra variabël për variablën tjetër sjellë informacion të njëjtë (informacioni i cili është rezultat i paraqitjes së njarjes y j, e që bënë fjalë për njarjen x i, është i barabartë me informacionin të cilin e sjellë paraqitja e njarjes x i, kundrejt njarjes y j ). Kjo është edhe arsyeja që ky informacion quhet informacion reciprok. Nëse x i dhe y j janë statistikisht të pavarura ndërmjet veti Prej na del se: Pra nuk ka kurrfarë varshmërie statistikore ndërmjet dy njarjeve x i dhe y j Informacioni reciprok Informacioni reciprok Për vlerë fikse të p(x i ) informacioni reciprok I(x i ;y j ) do të ketë vlerë maksimale kur është p(x i /y j ) = 1, pra kur y j me siuri të plotë dhe njëvlerësisht përcakton x i. Madhësia I(x i ) quhet informacion vetjak për të cilën vlen: I( xi ; y j ) I( xi ); I( xi ; y j ) I( y j ) Informacioni vetjak është jithmonë madhësi pozitive, sepse: 0 p( x ) 1 i Na shprehja (6) shihet se informacioni reciprok mund të ketë edhe vlera pozitive edhe vlera neative. Ka vlera pozitive kur jasa e paraqitjes së përbashkët e çiftit të njarjeve x i dhe y j, p(x i,y j ) është më e madhe se produkti i jasave pa kusht p(x i ) p(y j ), dhe e kundërta, për vlera neative të informacionit reciprok Duke u nis na shprehja (5), informacioni reciprok paraqitet përmes informacionit vetjak me shprehjen Ndërsa na shprehja (6) kemi: I(x i,y j ) është informacioni vetjak i paraqitjes së përbashkët të çiftit të njarjeve x i dhe y j

9 Informacioni reciprok Informacioni reciprok Informacioni vetjak i paraqitjes së përbashkët të çiftit të njarjeve I(x i,y j ) është: Shuma mesatare e informacionit reciprok I(x i ;y j ), që i përket bashkësisë së të jitha njarjeve X = {x i } i = 1,2,,n, dhe që e sjellë paraqitja e ndonjë njarje y j është I(X;y j ) është: ose na shprehja (10) kemi: njësoj fitohet: Informacioni reciprok Entropia dhe vetitë e entropisë Shuma e tërësishme e informacionit reciprok në bashkësinë e njarjeve Y që ndërlidhet me bashkësinë e njarjeve X është Informacioni vetjak i njarjes x i është ajo sasi e informacionit, që është e nevojshme për përcaktimin e njëvlershëm të asaj njarjeje Në analoji me informacionin reciprok mesatar mund të caktojmë edhe informacionin vetjak mesatar në formën: (17) Informacioni vetjak mesatar I(X) është mesatarisht ajo sasi e informacionit, e cila është e nevojshme për të caktuar cilin do mesazh na bashkësia X na mesazhet e mundshme që dërohen me ndonjë sistem Madhësinë I(X) rëndom e quajmë entropi e madhësisë diskrete të rastit X dhe, siç kemi thënë, e shënojmë me H(X) Entropinë mund ta konsiderojmë si masë kuantitative të pasiurisë së ndonjë mesazhi para se ai të pranohet, që në fakt paraqet sasinë e informacionit mesatar e cila dërohet për të njohur cilin do mesazh na bashkësia X

10 Entropia dhe vetitë e entropisë Entropia masë e pasiurisë Entropia nuk mund të jetë madhësi neative sepse informacioni vetjak (18) (19) Kur jasa e ndonjë njarjeje është e barabartë me 1, ndërsa të jitha jasat tjera janë të barabarta me 0, atëherë mund të dërohet vetëm ai mesazh (i cili është siurisht i njohur që më parë) Pas pranimit të mesazhit të tillë (të siurt) nuk pranohet kurrfarë sasie e re e informacionit Entropia H(X) plotëson pabarazimin: (20) Entropia H(X) do të jetë e barabartë me 0 vetëm në rastin kur njëra prej jasave p(x i ), i = 1,2,,n, është e barabartë me një, ndërsa të jitha jasat tjera janë të barabarta me zero. ku n është numri i të jitha njarjeve të mundshme x i (mesazheve, shenjave, simboleve ) Entropia maksimale Entropia me kusht Shenja e barazimit vlen nëse të jitha njarjet janë njësoj të mundshëm (pra janë me jasë të barabartë të paraqitjes). i = 1,2,.n (21) Entropia në këtë rast do të ketë vlerë maksimale të barabartë me Vlera mesatare e informacionit vetjak me kusht është: (22) ku x i janë simbolet elementare të alfabetit. Pra na barazimi i fundit shihet se sasia mesatare e informacionit që e sjellë një simbol na një alfabet i dhënë do të jetë maksimale dhe e barabartë me loaritmin dual të numrit të simboleve të alfabetit, dhe për rastin më të thjeshtë të alfabetit me dy simbole, sasia mesatare e informacionit, siç kemi thënë, është 1 bit. Madhësinë I(Y/X) mund ta quajmë entropi me kusht të bashkësisë së njarjeve Y na bashkësia e njarjeve të dhëna X Entropia e bashkësisë së çifteve të njarjeve X,Y është H(X,Y) (23)

11 Entropia me kusht Entropia me kusht Duke përdorë shprehjen për jasë të përbërë p(x,y)= p(x)p(y/x), kemi: H(X,Y)= H(X) + H(Y/X) (24) Për entropinë me kusht vlen pabarazimi: Shenja e barazimit vlen vetëm në rastin kur njarjet y j dhe x i janë statistikisht të pavarura, pra kur p(y j /x i ) = p(y j ), për të jitha indekset e mundshëm i dhe j. (25) Në transmetimin e informacionit rëndësi të madhe ka informacioni reciprok mesatar të cilin e shprehim në formë të përshtatshme përmes entropisë në formën: (26) (27) (28) Formalisht I(X;Y) mund të shprehet edhe në formën I(X;X) = H(X) H(X/X) = H(X). Pra, informacioni reciprok i ndryshores së rastit me vetveten është në të vërtetë entropia e ndryshores së rastit, së këndejmi entropia disa herë quhet vetinformacion. Një formë e përshtatshme mnemoteknike (mbajtjes në mend) për relacionet e tilla është paraqitja përmes diaramit të Venit Entropia me kusht Diarami i Venit Interpretimet e diaramit të Venit H(X) H(X/Y) I(X;Y) = I(Y;X) H(X,Y) H(Y/X) H(Y) (29) Mund të bëhen tri interpretime të informacionit reciprok mesatar: 1. Na (26) del se informacioni reciprok mesatar është i barabartë me ndryshimin ndërmjet informacionit mesatar të nevojshëm për përcaktimin e bashkësisë së njarjeve X dhe Y veç e veç (si të ishin statistikisht të pavarura) dhe informacionit mesatar të nevojshëm për përcaktimin e bashkësisë së çiftit të njarjeve X,Y. Na (24) del se për njarje të pavarura: H(X,Y) = H(X) + H(Y), ndërsa kjo nënkupton që I(X;Y) = 0. Prandaj madhësia I(X;Y) e karakterizon masën e varësisë së lidhjes statistikore ndërmjet bashkësive X dhe Y. Duke u bazuar në shprehjet (27) dhe (28), nëse x i dhe y j i vështrojmë si simbole elementare në dërim dhe në pranim, në sistemin në të cilin veprojnë penesat, është e dukshme natyra fizike e transmetimit të informacionit. Madhësia I(X;Y) është e qartë se merr kuptimin e transinformacionit H T, sepse pikërisht kjo është pjesë e sasisë së informacionit që e jeneron burimi (entropia e burimit), dhe e cila arrin në pranim pjesa e transmetuar. Transmetimin e informacionit mund ta vështrojmë na ana e dhënësit dhe na ana e marrësit:

12 Interpretimet e diaramit të Venit Kanali komunikues 2. Nëse e vështrojmë na ana e marrësit I(X;Y) = H T (transinformacioni) është i barabartë me ndryshimin ndërmjet sasisë së informacionit të nevojshëm për të përcaktuar bashkësinë e simboleve X para pranimit të simboleve Y dhe sasisë së nevojshme pas pranimit të simboleve Y. Është evidente se entropia H(X) karakterizon sasinë mesatare të informacionit të dëruar, madhësia I(X;Y) = H T karakterizon sasinë mesatare të informacionit të pranuar që ndërlidhet me mesazhin e dëruar, ndërsa entropia me kusht H(X/Y), karakterizon sasinë mesatare të informacionit të humbur (të laruar na kanali shih fi. në vazhdim) për shkak të ndikimit të penesave. H(X/Y) karakterizon pasiurinë në lidhje me bashkësinë X, e cila mbetet pas pranimit të bashkësisë Y, dhe quhet ekuivokacion (shumëkuptueshmëri). 3. Nëse e vështrojmë na ana e dhënësit për shkak të ndikimit të zhurmave marrësi nuk mundet të përcaktojë me siuri të plotë se cili simbol në pranim i referohet simbolit në dërim. Shprehja (28) jep sasinë mesatare të informacionit të transmetuar I(X;Y) = H T si ndryshim të sasisë mesatare të cilën marrësi vërtetë e pranon dhe të sasisë mesatare të informacionit që ndodhet në simbolet e pranuar, me kusht që informacionet e dëruara të jenë të njohura paraprakisht. Madhësia H(Y/X), e cila shpesh quhet edhe entropi e zhurmës, përcaktohet na struktura e penesave dhe na karakteri i interakcionit të tyre me sinjal. Shembulli 3: Kanali binar simetrik Shembulli 3: Kanali binar simetrik Në dalje të sistemit komunikues të treuar në fi. mund të paraqiten dy vlera të ndryshores së rastit Y: y 1 =0 i y 2 =1 Na fi. shihet se jasa e pranimit të abuar është e njëjtë për të dy simbolet dhe e barabartë me P, kështu që: Sistemi sipas të cilit informacioni transmetohet sipas këtij modeli quhet kanal binar simetrik (binary symmetric channel - BSC) Për të njehsuar transinformacionin duhet njehsuar jasat p(y 1 ) dhe p(y 2 ):

13 Shembulli 3: Kanali binar simetrik Shembulli 3: Kanali binar simetrik Së këndejmi fitohet: Me zëvendësimin e vlerave fitojmë: [(1 P ) ld(1 P P ldp ] H ( Y / X ) = ) + Prej na shihet se entropia me kusht e kanalit BSC nuk varet na jasa apriore p Entropia do të arrijë vlerën maksimale për p = 1/2, dhe do të jetë 1 bit/simbol, pa marrë parasysh madhësinë e P. Entropia me kusht është Transinformacioni është T [( p 2pP + P ) ld( p 2pP + P ) + (1 p+ 2pP P ) ld(1 p+ 2pP + P ) + (1 P ) ld(1 P PldP] I ( X; Y) = H = ) + Nëse është p = 0.5, H(Y) = 1 bit/simbol [bite/simbol] Paraqitja rafike e H T =f(p ) Kapaciteti i kanalit Kapaciteti i kanalit është njëri prej nocioneve themelore të teorisë së informacionit, dhe përkufizimin së bashku me rëndësinë e tij do ta bëjmë duke u nis na teorema themelore e kanalit me zhurmë. Do të marrim në shqyrtim transmetimin e informacionit përmes kanalit komunikues në hyrje të të cilit paraqiten simbolet x i, me jasat përkatëse p(x i ). Na shqyrtimet paraprake dihet se sasia mesatare e informacionit të transmetuar është e barabartë me transinformacionin I(X;Y) (bit/simbol), i cili varet na karakteristikat e kanalit dhe na shpërndarja e jasave në hyrje p(x i ), siç mund të shihet na shprehja (15). Kapaciteti i kanalit përkufizohet si vlerë maksimale e transinformacion, në ç rast maksimalizimi bëhet me ndryshimin e të jitha shpërndarjeve të mundshme të jasave të paraqitjes së simboleve në hyrje: C = max { p( )} x i I( X ; Y ) [ bit / simbol].

14 Kapaciteti i kanalit - teorema themelore e kanalit me zhurmë Pra kapaciteti i kanalit i përjijet transinformacionit, i cili do të arrihej në rastin e shpërndarjes ideale të jasave të paraqitjes së simboleve në hyrje të kanalit. Na përkufizimi i tillë shihet se është e pamundur të arrihet transinformacion më i madh për kanalin e dhënë, prandaj thënë ndryshe kapaciteti i kanalit është sasia maksimale e informacionit për simbol e cila mesatarisht mund të transmetohet nëpër kanal. Do të supozojmë kapacitetin e kanalit C [bit/simbol] dhe burimin që karakterizohet me entropi H [bit/simbol]. Nëse H C, atëherë ekziston sistem i tillë i kodimit që mesazhet na burimi mund të transmetohen ndërmjet të kanalit me shpeshtësi ose me jasë arbitrarisht të voël të abimeve (pra me ekuivokacion arbitrarisht të voël). Nëse është H > C, atëherë mund të kodojmë mesazhin ashtu që ekuivokacioni të jetë më i voël se H - C + ε [bit/simbol], ku ε është madhësi arbitrarisht e voël. Nuk ekziston metodë e kodimit me të cilën do të arrihej ekuivokacion më i voël se H C [bit/simbol]. Kapaciteti i kanalit - teorema themelore e kanalit me zhurmë Kjo teoremë është ilustruar me rafikun në fi. i cili treon vlerat e mundshme të ekuivokacionit (humbjeve në kanal të shkaktuara për shkak të penesave) në bit/simbol, në funksion të entropisë së burimit ose sasisë mesatare të informacionit që e jeneron burimi. Deri sa entropia H është më e voël ose e barabartë me kapacitetin e kanalit, humbjet mund të jenë arbitrarisht të vola (afër zeros). Por kur entropia e burimit është me e madhe se kapaciteti i kanalit, humbjet nuk mund të zvoëlohen në zero, dhe kufiri i poshtëm në këtë rejion është drejtëza H(X/Y) = H C. H(X/Y) Rejioni i mundshëm C H Kapaciteti i kanalit - teorema themelore e kanalit me zhurmë Teorema e tillë është njëra prej teoremave më të rëndësishme të teorisë së informacionit. Edhe para paraqitjes së teorisë së informacionit ka qenë e qartë se penesat shkaktojnë humbje, por nuk ka qenë e qartë se në çfarë mënyre ato ndikojnë në mundësinë e transmetimit të informacionit. Teoria e informacionit ka treuar se me rritjen e shpeshtësisë ose të jasës së abimeve në kanal, kapaciteti i kanalit bie radualisht, kështu që teoritikisht është i mundur transmetimi i sasisë së informacionit të barabartë me kapacitetin e kanalit me jasë arbitrarisht të voël të abimit. Në esencë, teoria e informacionit nuk bënë fjalë për mënyrën se si duhet arritur kjo praktikisht, por ajo ka hapur shtijet drejtë zjidhjeve ose metodave praktike që shërbejnë për kodimin e informacionit ashtu që të jetë e mundur detektimi dhe/ose korrijimi i abimeve të shkaktuara për shkak të penesave. Metodat e tilla janë teknika të njohura të kodimit për kontroll të abimeve (error-control codin). Shembulli 4: Kapaciteti i kanalit binar simetrik Duke shfrytëzuar përkufizimin e dhënë me shprehjen (15) dhe të kapacitetit të kanalit në formë të përjithshme, kapaciteti i kanalit binar simetrik me zhurmë është: C = max I( X ; Y ) = max[ H ( Y ) H ( Y / X )]. { p( x )} { p( )} i x i Pasi që vlera maksimale e transinformacionit ose e kapacitetit të kanalit arrihet për p(0) = p(1) = 0.5, në ç rast H(Y) = 1 bit/simbol, duke shfrytëzuar rezultatet na shembulli 3, fitojmë shprehjen e njëjtë për kapacitetin e kanalit të këtillë, që është e njëjtë me shprehjen përfundimtare na shembulli 3 për H T. Na shprehja e tillë shihet se identike është edhe lakorja e varshmërisë së kapacitetit të kanalit në funksion të jasës me lakoren na shembulli 3, H T = f(p).

15 Shembulli 4: Kapaciteti i kanalit binar simetrik Kodimi dhe entropia Kapaciteti i kanalit bie në zero kur jasa e abimit është 0.5, sepse në atë rast për ndonjë vlerë në hyrje, mund të fitojmë 0 dhe 1 në dalje me jasë të njëjtë, kështu që në bazë të simboleve në dalje, nuk mund të nxjerrim përfundim se cili simbol ka qenë në hyrje. Kapaciteti maksimal i kanalit, siç do të pritnim, arrihet kur nuk ka abime, por edhe kur jasa e abimit është 1, pra kur abimi ndodh jithmonë, që do të thotë se kanali është invertuar zeroja në hyrje jep njësh në dalje dhe e kundërta, kështu që na simbolet në dalje me siuri të plotë edhe më tutje mund të caktohen simbolet në hyrje. Kodimi është njëri prej nocioneve më themelore si në teorinë ashtu edhe në praktikën e teknolojive informative dhe komunikuese. Për të dhënë përkufizimin e thjeshtë dhe të përjithshëm për kodim të përkujtojmë se mesazhin në sistemin komunikues e kemi përkufizuar si një var simbolesh të zjedhur na alfabeti, i cili është bashkësi e fundme e simboleve elementare. Kodimi është veprim ose proces i caktimit të fjalëve të koduara (kodeve) për simbolet e mesazhit, duke shndërruar mesazhet (varun e simboleve na një alfabet) në një formë tjetër, dhe të paraqitura me varun e simboleve të një alfabeti tjetër. Çdo fjalë e koduar përbëhet na një ose më tepër simbole të një alfabeti tjetër, kështu që me kodim mesazhet (varu i simboleve) shndërrohet në var të fjalëve të koduara. Arsyeja e kodimit është shndërrimi i mesazhit në formë e cila ka disa veti më të mira për transmetim, kontrollim na abimet ose për memorizim. Kodimi dhe entropia Shembulli 5: Kodimi Kështu për shembull, komprimimi është formë e kodimit ku mesazhi i koduar është më i shkurtër se mesazhi burimor; kriptorafia është kodim ku mesazhi i koduar ka disa veti të caktuara të siurisë; kodimi për kontrollim i jep mesazhit veti të cilat lehtësojnë detektimin dhe/ose korrijimin e abimeve të shkaktuara na penesat jatë transmetimit. Në përdorimet praktike në lëmin e teknolojive informative dhe atyre komunikuese, alfabeti për ndërtimin e fjalëve të koduara është ati jithmonë binar, kështu që çdo fjalë e koduar është var i një ose më tepër shifrave binare, duke paraqitur kështu mesazhin e koduar në formë të varut të shifrave binare (0 dhe 1). Kur bëhet kodimi me qëllim të komprimimit të të dhënave, është e qartë se duhet të ekzistojë një kufi i njeshjes pa humbje, dhe ky kufi është në të vërtetë entropia, sipas të cilës përdoret edhe emri (kodim entropik). Të supozojmë burimin i cili jeneron simbole na bashkësia X = {1, 2, 3, 4}, me jasat e paraqitjes të dhëna në tabelë. Simboli (x i ) Gjasa e paraqitjes (p(x i )= p i ) Fjala e koduar (C i ) Gjatësia e fjalës së koduar (l i ) 1 1/ / / / Me zëvendësimin e vlerave të p i në shprehjen për entropi, lloaritet vlera e saj: H(X) = 1.75 [bit/simbol].

16 Shembulli 5: Kodimi Shembulli 5: Kodimi Në kolonën e tretë të tabelës paraprake është dhënë një kod i mundshëm për këtë burim, duke shoqëruar simbolet (1,2,3,4) me fjalët përkatëse të koduara. Kështu për shembull, varut të simboleve i përjijet kodi Pasi që dihen jasat e paraqitjes së simboleve, lehtë mund të njehsojmë jatësinë mesatare të fjalëve të koduara (duke supozuar se mesazhi është i jatë, ose jatësia e mesazhit tenton në pambarim) L = n i= 1 p l = = 1.75 i i [ bit / simbol] Pra, në mënyrë që të kodojmë informacionin na ky burim, për këtë kod janë të nevojshëm mesatarisht 1.75 bita (shifra binare) për simbol, dhe kjo vlerë është e barabartë me entropinë e burimit. Nuk është e mundur të jendet ndonjë bashkësi e fjalëve të koduara me të cilat simbolet na burimi mund të paraqiteshin njëvlersisht, dhe jatësia mesatare e fjalëve të koduara do të ishte më e voël se 1.75 bita për simbol. Kështu për shembull, nëse do të tentonim (pa sukses) të shkurtonim fjalën e koduar C 4, dhe do të shfrytëzonim 11, në vend të 111, kodimi nuk do të ishte më tutje i njëvlershëm sepse varu i koduar 110 do të mund të dekodohej ose si simbol 3 ose si dy simbole 41. Në rastin e përjithshëm, mund të vërtetohet se është e pamundur të kodohen njëvlersisht simbolet e ndonjë burimi me jatësi mesatare të kodit më të voël se entropia e burimit. Së këndejmi del konkludimi se entropia është kufiri i komprimimit pa humbje, fakt ky i rëndësishëm i cili treon për rëndësinë praktike të entropisë. Kodimi entropik Kodimi entropik përfshin një numër metodash të kodimit me të cilat kryhet komprimimi i mesazheve pa humbje, kështu që kur konteksti është i qartë, nocionet kodim dhe komprimim shpesh shfrytëzohen si sinonime. Dhënësi Marrësi Burimi Kod. i inform. Kod. i kanalit Kanali Dek. i kanalit Dek. i infor. Caku Zhurma Në modelin e përjithshëm të sistemit komunikues komrimimi bëhet në koduesin e informacionit (fi.), i cili mund të jetë shumë kompleks dhe të përfshijë më tepër metoda të komprimimit. Karakteristikat themelore të cilës do metode të komprimimit ndërlidhen me atë se a kemi të bëjmë me komprimim me humbje apo pa humbje, si dhe me herësin e komprimimit. Metodat e komprimimit Te komprimimi pa humbje pas dekodimit fitohet simbole të mesazhit plotësisht të njëjtë me ata para kodimit, pa u dalluar madje edhe në një bit. Si e tillë kjo metodë e kodimit është reverzibile dhe përdoret p.sh. në incizimet medicinale radiolojike ku kërkohet kualitet i lartë (sepse mund të ndodhë që të nevojitet zmadhimi i ndonjë detaji), në incizimet satelitore të cilat mund të përpunohen dhe hulumtohen me metoda të përpunimit të fiurës (dhe kjo nuk do të ishte e mundur nëse fiura paraprakisht i është përshtatur syrit të njeriut). Përveç këtyre dy përdorimeve, shembuj të përditshëm janë komprimimi i teksteve dhe dokumenteve. Por, te disa lloje tjera të të dhënave (p.sh. fiura, video, zëri) mund të jetë e pranueshme madje edhe shmanie qenësore na sinjali orijinal, qoftë për shkak se orani perceptues i njeriut deri në një kufi nuk mund të vërejë ndryshimet, ose për shkak se shfrytëzuesit në disa raste janë të atshëm të pranojnë kualitet më të ulët të sinjalit të dekoduar (p.sh. videokonferenca pa paesë nëpërmjet Internetit). Metodat e komprimimit te të cilat mesazhi i dekoduar nuk është plotësisht i njëjtë me mesazhin e burimit janë metoda të komprimimit me humbje.

17 Metodat e komprimimit Metodat e komprimimit Parametri i rëndësishëm i komprimimit është herësi i komprimimit, i cili paraqet raportin ndërmjet numrit të bitëve të mesazhit të komprimuar dhe atij orijinal (p.sh. 1:10). Metodat e komprimimit ndahen në dy rupe kryesore: kodimi entropik dhe kodimi burimor. Bllok diarami i mëposhtëm treon një klasifikim të mundshëm të metodave të kodimit. Metodat e kodimit entropik bëjnë komprimimin pa humbje dhe mbështeten vetëm në vetitë statistikore të burimit të informacionit, kështu që na ndonjë herë quhen edhe metoda statistikore. Metodat e kodimit burimor më shpesh bëjnë komprimimin me humbje, që do të thotë se në procesin e dekodimit nuk mund të bëhet rikonstruktimi i saktë i mesazhit burimor. Si të tilla këto metoda mbështeten në njohjen e karakteristikave të medieve që kodohen (p.sh., fiura, zëri), si dhe perceptimet e tyre na njeriu. Në praktikë rëndom shfrytëzohet kodimi hibrid, me të cilin në fillim një medium i caktuar kodohet duke shfrytëzuar një ose më tepër metoda të kodimit burimor, dhe pastaj në rezultatet na hapi i tillë i parë, përdoret kodimi entropik (p.sh. JPEG, MPEG, MP3, dhe të jitha metodat tjera të kodimit të fiurës dhe të zërit punojnë duke u bazuar në këtë princip themelor). K. i Hafmanit K. aritmetikor Kodimi entropik Metodat e fjalorit LZ77 LZ78 LZW Shkurtimi i varut Njeshja e zerove Kodimi varor Kodimi Nënmostrimi Kuantizimi Skalar Vektorial K. burimor K. hibrid Kodimi transformues Kodimi i bazuar në modele Kodimi nënbrezor K. Diferencial dhe prediktiv Vetitë e metodave të kodimit entropik Karakteristikat e burimit të informacionit Parimi themelor e cilës do metode të kodimit entropik është paraqitja e shkurtuar e simboleve të shumëfishtë (simboleve që përsëriten) ose e varut të simboleve na mesazhi burimor. Të jitha metodat e kodimit entropik kanë këto veti të përbashkëta: mbështeten drejtpërdrejtë në teorinë e informacionit; bëjnë kodim pa humbje; herësi i komprimimit varet vetëm na vetitë statistikore të burimit të informacionit; mesazhi konsiderohet vetëm si var i vlerave të rastit; nuk merren parasysh vetitë e medieve (për dallim na kodimi burimor), kështu që metodat e tilla nuk marrin parasysh se a kodohet fiura, zëri ose teksti, duke konsideruar mesazhin si var të vlerave të rastit të cilat i jeneron burimi, ndërsa paraqitja e tyre përcaktohet me vetitë statistikore të burimit, përkatësisht me jasat e paraqitjes së simboleve veç e veç. Në teorinë e informacionit burimi i informacionit modelohet si proces stohastik ose i rastit në formë të ndryshoreve ose të variablave të rastit X 1, X 2,, X i,, X n, prej të cilave secila mund të merr vlera na alfabeti i fundmë {x 1, x 2,.., x n }. Procesi i tillë karakterizohet me shpërndarjen e jasave të përbashkëta të paraqitjes së ndonjë varu të variablave të rastit: P{(X 1, X 2,, X n ) = (x 1, x 2,, x n )} = p(x 1, x 2,, x i,, x n ), për çfarëdo varu të vlerave (x 1, x 2,, x i,, x n ), dhe për çfarëdo n N. Duke u nisur na përshkrimi i tillë i burimit të informacionit, do të përkufizojmë dy burime të rëndësishme të informacionit: burimet stacionare dhe burimet erodike.

18 Burimi stacionar Burimi stacionar Burimi është stacionar nëse vetitë e tij statistikore nuk ndryshojnë me kohën, dhe kjo veti e stacionaritetit të burimit matematikisht paraqitet si: P{(X 1, X 2,, X n ) = (x 1, x 2,, x n )} = P {(X 1+l, X 2+l,, X n+l ) = (x 1, x 2,, x n )}, l N, (x 1, x 2,, x n ) X n, n N. Pra, marrim në shqyrtim burimin si var i variablave të rastit, dhe brenda këtij varu shqyrtojmë dy nënvarje me jatësi të njëjtë n, të laruar njëri na tjetri për l vende të varut. Burimi është stacionar nëse cilët do prej dy nënvarjeve të tilla kanë shpërndarje të njëjtë të jasave të paraqitjes së variablave të rastit. Shembulli 6: Do të shqyrtojmë burimin stacionar, i cili jeneron alternativisht simbole A dhe E, pra: AEAEAEAEAEAR Nëse në çdo hap burimi shton na një simbol më tepër, do të fitohet: AEAAEEAAAEEEAAAAEEEEAAAAAEEEEE. Shihet se vetitë statistikore të burimit të këtillë jithmonë ndryshojnë, kështu që burimi i tillë nuk është stacionar. Shihet se burimin mund ta konsiderojmë si bashkësi e të jitha varjeve të simboleve që ai mund t i jenerojë, dhe nëse burimi është stacionar, shpërndarja e simboleve në cilindo vend në këto varje do të jetë e njëjtë. Do të shqyrtojmë këtë në shembullin e burimit i cili jeneron alternativisht simbolet A dhe E, dhe mund të fillojë varun me A ose me E me jasë të barabartë. Pra, bashkësia e varjeve të cilat ky burim mund ti jenerojë është: AEAEAEAEAEAEAE.. EAEAEAEAEAEAEA.. Pa marrë parasysh se cilin vend shqyrtojmë në këto varje, në njërin var është simboli A, ndërsa në të njëjtin vend në varun e dytë simboli E. Nëse shqyrtojmë çiftin e simboleve të njëpasnjëshme, në cilin do vend në njërin var jejmë AE, ndërsa në tjetrin EA. Njësoj vlen edhe për nënvarjet prej tre, katër dhe n simbolesh. Burimi erodik Në shembullin paraprak u pa se për burim stacionar shpërndarja e simboleve ndër ato varje është e barabartë për cilin do vend në varje, dhe shpërndarja e tillë quhet mesatare sipas bashkësisë. Prandaj, pasi që burimi është stacionar mund të konstatojmë se mesatarja sipas bashkësisë është 0.5 (pra shpeshtia e paraqitjes së A, AE, AEA në cilin do vend të varjeve është e njëjtë dhe e barabartë me 50%). Përveç kësaj mesatareje ekziston edhe mesatarja sipas kohës për cilin do var të simboleve na bashkësia e varjeve të mundshme, kështu që kjo mesatare për ndonjë simbol është shpeshtia e paraqitjes së atij simboli në një var të caktuar. Njësoj mund të përkufizohet mesatarja sipas kohës edhe për çiftin e simboleve, si dhe për nëvarun prej tre, katër ose n simboleve. Burimi është erodik nëse është stacionar dhe nëse për çdo simbol, si dhe për çdo nëvar prej n simbolesh, mesatarja sipas bashkësisë është e barabartë me mesataren sipas kohës. Burimi erodik Shembulli 7: Të shqyrtojmë burimin i cili në 1/3 e rasteve fillon varun me simbolin A, në 1/3 e rasteve me simbolin B dhe në 1/3 e rasteve me simbolin E, ashtu që nëse fillon me A ose B, kemi përsëritjen alternative të pafund të këtyre dy simboleve, ndërsa nëse fillon me E, kemi përsëritjen e pafund të E-së. Prandaj, bashkësie e varjeve të cilat ky burim mund t i jenerojë duket: Varu 1: ABABABABABAB. Varu 2: BABABABABABA. Varu 3: EEEEEEEEEE... Mesataret sipas bashkësisë dhe sipas kohës për këtë burim janë në Tab. Simbolet Mes. sipas kohës për varun 1 Mes. sipas kohës për varun 2 Mes. sipas kohës për varun 3 Mes. sipas bashkësisë A 1/2 1/2 0 1/3 B 1/2 1/2 0 1/3 E /3