Vilniaus universitetas Matematikos ir informatikos fakultetas. Algirdas Ma iulis. Duomenu tyrimas. Paskaitu konspektas

Transcript

1 Vilniaus universitetas Matematikos ir informatikos fakultetas Algirdas Ma iulis Duomenu tyrimas Paskaitu konspektas 2011

2 Turinys Ivadas 5 1 Pagrindines tikimybiu teorijos ir informacijos teorijos s vokos Tikimybes. Atsitiktiniai dydºiai ir ju skirstiniai Ivykiu sistemos Informacija ir entropija Atsitiktiniu dydºiu entropijos Pagrindiniai duomenu tyrimo uºdaviniai ir s vokos Pirmieji pavyzdºiai Duomenys apie or Regos korekcija Irisu klasikacija Rankra² io atpaºinimas Skaitine prognoze Duomenys ir ju atributai Pradine duomenu analize ir ju transformacijos Duomenu transformacijos Tolydºiuju kintamuju diskretizavimas Tr ukstamosios reik²mes Objektu artumo matai Duomenu tyrimo uºdaviniu tipai Kontroliuojamo mokymo uºdaviniai: klasikavimas Kontroliuojamas mokymas ir klasikavimas Sprendimu medºiai Sprendimu medºiu konstravimas Skaidymo b udai ir ju palyginimas Klasikatoriaus charakteristikos Modelio perteklumas

3 3.3.2 Modelio klaidos iver iai Kryºminis patikrinimas Pakartotinu im iu metodas Klasikavimo taisykles Klasikavimo taisykliu tarpusavio s ry²iai Tiesioginis klasikavimo taisykliu konstravimas R algoritmas RIPPER algoritmas Netiesioginis klasikavimo taisykliu konstravimas Artimiausiu kaimynu metodas Bajeso klasikatoriai Bajeso formule ir jos taikymas klasikavimui Naivusis Bajeso klasikatorius Bajeso tinklai Kontroliuojamo mokymo uºdaviniai: skaitine prognoze Paprastosios tiesines regresijos modelis Regresijos tiese Regresijos modelio charakteristikos Daugialype tiesine regresija Daugialypes tiesines regresijos modelis Determinacijos ir koreliacijos koecientai Nekontroliuojamo mokymo uºdaviniai Asociacijos taisykles Pirkejo krep²elio uºdavinys Asociacijos taisykliu apimtis ir tikslumas Daºnu elementu rinkiniu paie²ka Asociacijos taisykliu generavimas Asociacijos taisykliu vertinimas Klasterine analize

4 5.2.1 Klasterines analizes metodu klasikacija Jungimo metodai K - vidurkiu metodas Literat ura 166 4

5 Ivadas Duomenu tyrimo ( kartais dar vadinamo duomenu kasyba ) tikslas - atskleisti objektyviai egzistuojan ius desningumus, s ry²ius bei vidin strukt ur didelese ivairios prigimties duomenu aibese. Didºioji dalis kurso skirta tokiu desningumu paie²kos metodams ir algoritmams nagrineti. Negalima nubreºti labai ai²kios ribos tarp duomenu tyrimo ir daugiamates statistikos. Todel dalis ²iame kurse nagrinejamu temu, pavyzdºiui, kai kurie klasikavimo metodai, regresija, klasterizacija lengviau bus suprantamos skaitytojams, jau susipaºinusiems su pagrindinemis algebros bei matematines statistikos s vokomis. Visos kurso temos suskirstytos i penkis skyrius. Pirmajame skyriuje pateikiamos pagrindines tikimybiu teorijos bei informacijos teorijos s vokos ir rezultatai. i skyriu gali praleisti skaitytojai, kuriems ºinomos s vokos: atsitiktinis ivykis ir atsitiktinis dydis, s lygine tikimybe, atsitiktiniu dydºiu pasiskirstymo funkcija, vidurkis, dispersija, koreliacija, entropija, tarpusavio informacija. Antrajame skyriuje aptariamos duomenu r u²ys, galimos ju transformacijos. Apºvelgiamos ir pavyzdºiais iliustruojamos duomenu tyrimo uºdaviniu klases. 3-5 skyriuose nagrinejami konkret us duomenu tyrimo uºdaviniu sprendimo metodai ir algoritmai. Praktiniuose uºsiemimuose patartina naudoti specializuot programin irang. Paminesime tris programu paketus. SAS Enterprise Miner - SPSS Modeler - Weka - Pirmieji du - mokami. Weka yra atviro Java kodo programu paketas, kurio apra²ym galima rasti [10, 11] knygose. 5

6 1 Pagrindin es tikimybiu teorijos ir informacijos teorijos s vokos 1.1 Tikimybes. Atsitiktiniai dydºiai ir ju skirstiniai apibreºimas. Tegu Ω yra baigtine arba skaiti aibe, P(Ω) visu jos poaibiu sistema, P (ω), ω Ω, neneigiami skai iai, tenkinantys s lyg P (ω) = 1. ω Ω Tikimybe vadinsime funkcij P : P(Ω) [0, 1], kiekvienam A Ω apibreºiam lygybe P (A) = P (ω). ω A Por (Ω, P ) vadinsime diskre i ja tikimybine erdve, o Ω - elementariuju ivykiu aibe. Diskre ioji tikimybine erdve vadinama baigtine, kai jos elementariuju ivykiu aibes elementu skai ius Ω yra baigtinis. Jei eksperimentas yra nusakomas tikimybine erdve (Ω, P ), tai aibes Ω elementai ω dar vadinami jo elementariosiomis baigtimis. Tada bet kuri to eksperimento baigtis A, sudaryta i² elementariuju baig iu, vadinama atsitiktiniu ivykiu tikimybineje erdveje (Ω, P ). Kitaip sakant, atsitiktiniu ivykiu laikysime bet kuri aibes Ω poaibi. Kaip iprasta, b utin ji ivyki ºymesime Ω, negalim ji, t.y. neturinti palankiu elementariuju baig iu, ºymesime tu² ios aibes simboliu, ivykiui A prie²ing ivyki - A pavyzdys. (Klasikinis tikimybes apibreºimas.) Tai yra baigtine tikimybine erdve, kurioje visi elementarieji ivykiai vienodai galimi. Taigi, jei Ω = {ω 1, ω 2,..., ω n }, tai P (ω 1 ) = P (ω 2 ) = = P (ω n ) = 1 n. Todel pagal apibreºim ivykio A = {ω i1, ω i2,..., ω ik } Ω tikimybe bus P (A) = k P (ω ij ) = k n. j=1 6

7 Kitaip sakant, ivykio tikimybe yra lygi jam palankiu elementariuju baig iu skai iaus ir visu elementariuju baig iu skai iaus santykiui pavyzdys. Metamos trys simetri²kos monetos. Raskime ivykio A ={atsiverte bent vienas herbas} tikimyb. iuo atveju galime sudaryti toki elementariuju ivykiu aib Ω = {ω 0, ω 1, ω 2, ω 3 }, ia ω i ={atsiverte i herbu}. Tada A = {ω 1, ω 2, ω 3 }. Atrodytu, kad P (A) = 3. Ta iau patyr monetu metytojai pastebes, kad taip nera. I² 4 tikruju ne visi ivykiai ω i yra vienodai galimi. Todel klasikinis tikimybes apibreºimas ia netinka, o eksperimento s lygas atitinkan ios elementariuju ivykiu tikimybes yra Taigi P (ω 0 ) = P (ω 3 ) = 1 8, P (ω 1) = P (ω 2 ) = 3 8. P (A) = P (ω 1 ) + P (ω 2 ) + P (ω 3 ) = apibreºimas. Ivykiai A ir B vadinami nesuderinamais, kai P (A B) = 0. Jei A B =, tai A ir B vadinami nesutaikomais. Pastebesime, kad bet kurie nesutaikomi ivykiai yra ir nesuderinami. Diskre iojoje tikimybineje erdveje, neturin ioje nulines tikimybes elementariuju ivykiu, ²ios dvi s vokos ekvivalen ios pavyzdys. Deºeje yra k baltu ir m juodu rutuliu. Atsitiktinai be gr ºinimo traukiame du rutulius. Nagrinesime ivykius A ={pirmasis rutulys baltas} ir B ={antrasis rutulys baltas}. Tegu Ω = {ω bb, ω bj, ω jb, ω jj }, ia elementariuju ivykiu ω indeksai ºymi i²traukto rutulio spalv. Pavyzdºiui, ω bj = {pirmasis rutulys baltas, o antras - juodas}. Tada A = {ω bb, ω bj }, B = {ω bb, ω jb }, A B = {ω bb }. Matome, kad ivykiai A ir B yra sutaikomi. Rasime ju tikimybes. Kadangi P (ω bb ) = k(k 1) (k + m)(k + m 1), P (ω jj) = 7 m(m 1) (k + m)(k + m 1),

8 tai P (ω bj ) = P (ω jb ) = k m (k + m)(k + m 1), P (A) = P (ω bb ) + P (ω bj ) = P (ω bb ) + P (ω jb ) = P (B) = Ta iau ivykiai A ir B ne visada bus suderinami, nes kai k 1. P (A B) = P (ω bb ) = k(k 1) (k + m)(k + m 1) = 0, k k + m. Tegu A, B, B 1, A 1, A 2,... yra atsitiktiniai ivykiai diskre iojoje tikimybineje erdveje (Ω, P ). Priminsime pagrindines tikimybes savybes, i²plaukian ias i² jos apibreºimo. 1. P ( ) = 0, P (Ω) = Jei A B, tai P (A) P (B). 3. Jei A ir B nesuderinami ir A 1 A, B 1 B, tai ivykiai A 1 ir B 1 taip pat bus nesuderinami. 4. Jeigu ivykiai A 1, A 2,... poromis nesuderinami, t.y. P (A i A j ) = 0 visiems nat uraliesiems i j, tai P ( i A i ) = i P (A i ). 5. Jei A B, tai P (B \ A) = P (B) P (A). 6. P (A) = 1 P (A). 7. P (A B) = P (A) + P (B) P (A B). Tikimybiu teorijoje vartojama ir abstrakti tikimybines erdves s voka. Bendruoju atveju Ω gali b uti bet kuri netu² ia aibe. K tuomet laikyti atsitiktiniais ivykiais? Kai Ω turi be galo daug skirtingu elementu, tai begalines ju s jungos bei sankirtos gali b uti tokie Ω poaibiai, kad, ivedant tikimybes s vok, kils dideli matematiniai sunkumai. Todel atsitiktiniu ivykiu aibe laikoma tik tam tikra, pakankamai "turtinga" Ω paibiu sistema F, turinti tokias savybes: 8

9 i) Ω F, ii) A F A F, iii) A 1, A 2,... F A 1 A 2... F. Paibiu sistema F vadinama atsitiktiniu ivykiu σ (sigma) algebra. Tada tikimybe vadinama funkcija P : F [0, 1], jei i) P (Ω) = 1 ; ii) jei A i F ir A i A j = visiems nat uraliesiems i j, tai P (A 1 A 2... ) = P (A 1 ) + P (A 2 ) Taip apibreºta tikimybe tenkina visas anks iau suformuluotas savybes ir neprie²tarauja apibreºimui. Mes neakcentuosime σ algebros vaidmens. Kalbedami apie atsitiktinius ivykius, turesime omenyje, kad jie priklauso tam tikrai σ algebrai. Pastebesime, kad P(Ω) yra σ algebra. S lygine tikimybe. Daºnai galimybe ivykti vienam ivykiui priklauso nuo to, ar ivyksta kitas ivykis. Tarkime norime rasti ivykio A tikimyb, ºinodami, kad ivyko ivykis B. Tokia tikimybe vadinama ivykio A s lygine tikimybe ir ºymima P (A B) (skaitoma "tikimybe, kad ivyks A su s lyga, kad ivyko B" arba "ivyks A, jeigu ivyko B"). Jei P (B) > 0, tai P (A B) = P (A B) P (B). Prisimin pavyzdºio eksperiment, kai k > 0, nesunkiai rasime, kad i²traukus balt rutuli, tikimybe vel i²traukti balt bus P (B A) = k 1 k + m 1. Kaip matome, ²iuo atveju P (B A) P (B). Tai rodo, kad ivykio B tikimybe priklauso nuo to, ar ivyko ivykis A. Tokie ivykiai vadinami priklausomais. Ivykiu nepriklausomumas - tai viena i² svarbesniuju tikimybiu teorijos s voku. Pateiksime grieºtesni jos apibreºim. I² s lygines tikimybes apibreºimo i²plaukia vadinamoji tikimybiu daugybos teorema : P (A B) = P (B)P (A B) = P (A)P (B A). (1.1) Kai A ir B yra nepriklausomi ivykiai, turesime P (A B) = P (A) ir P (B A) = P (B). Todel, atsiºvelg i (1.1), gauname toki ivykiu nepriklausomumo apibreºim. 9

10 1.1.3 apibreºimas. Ivykius A ir B vadinsime nepriklausomais, jeigu P (A B) = P (A)P (B). Didesnio ivykiu skai iaus nepriklausomumas apibreºiamas sudetingiau. Pavyzdºiui, ivykiai A, B ir C vadinami nepriklausomais, jei teisingos visos keturios lygybes P (A B) = P (A)P (B), P (A C) = P (A)P (C), P (B C) = P (B)P (C), P (A B C) = P (A)P (B)P (C). Nereikia ²ios s vokos painioti su nesutaikomumu. Nepriklausomi ivykiai neb utinai nesutaikomi. Daºnai ivykiu nepriklausomumas pastebimas intuityviai. Ta iau intuicija gali ir suklaidinti pavyzdys. Metame lo²imo kauliuk. Nagrinesime ivykius A={atsiverte lyginis skai ius aku iu}, B={atsiverte ne maºiau kaip 4 akutes}, C={atsiverte daugiau kaip 4 akutes}. Ar ²ie ivykiai priklausomi? Apskai iuosime ivykiu tikimybes. Nesunku suprasti, kad Todel A = {2, 4, 6}, B = {4, 5, 6}, C = {5, 6} A B = {4, 6}, A C = {6}. P (A)P (C) = = 1 6 Taigi ivykiai A ir C nepriklausomi. Ta iau P (A)P (B) = = P (A C). = P (A B). Todel gauname, kad ivykiai A ir B, o tuo pa iu ir visi trys ivykiai A, B ir C, yra priklausomi. Pilnosios tikimybes ir Bajeso formules. Tarkime, kad slaptas prane²imas uº²ifruotas raidemis a, b, c ir ºinoma, kad paprastai pus ²ifruoto teksto sudaro raides a, o raide b 10

11 sutinkama dvigubai daºniau nei c. Be to, kol pasiekia adresat, vidutini²kai 10% raidºiu b bei 5% raidºiu c i²kraipomos ir virsta raidemis a. Kokia tikimybe, kad tryliktas adresato gauto ²ifruoto teksto simbolis bus raide a? Atsakymas b utu ai²kus, jeigu ºinotume koks buvo tryliktas ²ifro simbolis. Ta iau kaip i²spr sti ²i uºdavini to neºinant? Atsakym pades rasti pilnosios tikimybes formule: P (A) = i I P (H i )P (A H i ), (1.2) ia H i, (i I) - baigtine arba skaiti poromis nesuderinamu ivykiu ²eima, tenkinanti s lyg P ( i I H i ) = 1. Pilnosios tikimybes formule teigia, kad apriorin ivykio A tikimyb galima rasti, ºinant aposteriorines (s lygines) A tikimybes, esant s lygoms H i, ir tu s lygu susidarymo tikimybes. Esant toms pa ioms prielaidoms kaip ir pilnosios tikimybes formuleje, galime rasti ir hipoteziu aposteriorines tikimybes P (H j A) : P (H j A) = P (H j)p (A H j ). (1.3) P (H i )P (A H i ) i I (1.3) lygybe vadinama Bajeso hipoteziu tikrinimo formule. Ja galime remtis tokioje sprendimu priemimo situacijoje. Tarkime, ºinome, jog ivyko vienas ivykis i² poromis nesuderinamu ivykiu ²eimos H i (i I) (teisinga viena i² keliu hipoteziu) Kuris i² ivykiu ivyko - neºinome, ta iau turime "netiesiogin " informacij : ivyko ivykis A. Tarkime, reikia nuspr sti, kuria hipoteze H i vadovautis, priimant sprendim apie tolimesnius veiksmus. Maºiausia tikimybe suklysti bus tada, jei savo sprendim grisime ta hipoteze, kuriai P (H i A) yra didºiausia pavyzdys. I²spr sime suformuluot uºdavini apie i²kraipyt ²ifr. Kadangi viskas priklauso nuo to koks buvo nei²kraipyto ²ifro tryliktas simbolis, tai atitinkamai ir parinksime hipotezes H 1, H 2, H 3 : H 1 ={tryliktas siun iamo ²ifro simbolis buvo raide a}, P (H 1 ) = 1 ; 2 H 2 ={tryliktas siun iamo ²ifro simbolis buvo raide b}, P (H 2 ) = 1 ; 3 H 3 ={tryliktas siun iamo ²ifro simbolis buvo raide c}, P (H 3 ) = 1 ; 6 11

12 Tegul A={tryliktas gauto ²ifro simbolis yra raide a}. Tuomet, pagal uºdavinio s lygas, P (A H 1 ) = 1, P (A H 2 ) = 0, 1, P (A H 3 ) = 0, 05. Pritaik pilnosios tikimybes formul, gauname P (A) = P (H 1 )P (A H 1 ) + P (H 2 )P (A H 2 ) + P (H 3 )P (A H 3 ) = = Galime formuluoti ir kit, daºnai ºymiai aktualesni, klausim. Tarkime, kad vienaip ar kitaip adresatas sugebejo perskaityti t nelemt trylikt ji gauto ²ifro simboli - tai buvo raide a. Kokia tikimybe, kad ji nera i²kraipyta? Kitaip sakant, mus dominanti tikimybe yra P (H 1 A). J rasime, pasinaudoj Bajeso formule. Pastebesime, kad trupmenos vardiklis (1.3) lygybeje, pagal pilnosios tikimybes formul, yra lygus P (A). Todel P (H 1 A) = P (H 1)P (A H 1 ) P (A) = = Bernulio eksperimentai. Bernulio eksperimentu schema nusakoma taip: eksperiment atlikus vien kart, jo sekmes tikimybe lygi p. Atliekame n nepriklausomu eksperimentu. Sekmiu skai iu paºymekime S n. Kokia tikimybe, kad eksperimentas pavyks k kartu, t.y. S n = k? Atsakymas i ²i klausim toks: ( ) n P (S n = k) = p k (1 p) n k, k k = 0, 1,..., n. (1.4) Bernulio schema yra vienodu ir nepriklausomu statistiniu eksperimentu matematinis modelis. J naudojant skai iuojamos tikimybes, susijusios su nepriklausomu vienodu bandymu seka, kai kiekviename bandyme galimos tik dvi baigtys pavyzdys. Informacija perduodama triuk²mingu kanalu, kuris vidutini²kai i²kraipo 1% visu siun iamu bitu. Kokia tikimybe, kad baite bus ne daugiau dvieju i²kraipytu bitu? iuo atveju sekme - gauti i²kraipyt bit. Pagal s lyg tokios "sekmes" tikimybe kiekvienu atveju yra p = 0, 01. Mums reikalinga tikimybe, kad "sekmiu" skai ius po 8 bandymu b utu ne didesnis uº 2. Pasinaudoj (1.4) lygybe, gausime P (S 8 2) = P (S 8 = 0) + P (S 8 = 1) + P (S 8 = 2) ( ) ( ) ( ) = 0, , , , , , ,

13 Atsitiktiniai dydºiai. Apibreºdami atsitiktinius ivykius, kalbejome apie eksperimentus ir ju elementari sias baigtis. Prakti²kai beveik visada susiduriame su skaitiniais stebimojo dydºio matavimais, t.y. su kokio nors atsitiktinio dydºio reik²memis apibreºimas. Tarkime, kad (Ω, P ) yra diskre ioji tikimybine erdve. Atsitiktiniu dydºiu ²ioje erdveje vadinama realioji funkcija X : Ω R. Taigi atsitiktinis dydis nusako taisykl, pagal kuri kiekvienam elementariajam ivykiui priskiriama skaitine reik²me. Diskre iosios tikimybines erdves atsitiktiniu dydºiu reik²miu aibe yra baigtine arba skaiti. Tokie atsitiktiniai dydºiai X vadinami diskre iaisiais ir daºniausiai nusakomi reik²miu skirstiniu, nurodant galimas reik²mes x i ir ju tikimybes p i = P (X = x i ) = P (ω), i = 1, 2,.... ω Ω : X(ω)=x i Pavyzdºiui sekmiu skai ius S n, atlikus n Bernulio eksperimentu, yra diskretus atsitiktinis dydis, kurio reik²miu aibe {0, 1, 2,..., n}, o tikimybes nusakomos (1.4) formule. Toki skirstini turintis atsitiktinis dydis vadinamas binominiu ir ºymimas S n B(n, p). Kai elementariuju ivykiu aibe Ω nera skaiti, atsitiktinio dydºio reik²miu aibe gali b uti labai "gausi" ir net nesunumeruojama. Pavyzdºiui, matuojant kliento aptarnavimo laik, priklausomai nuo matavimo vienetu, rezultatas gali b uti bet kuris tam tikro intervalo ta²kas. iuo atveju prasminga kalbeti ne apie pavieniu reik²miu tikimybes, bet apie reik²miu priklausymo nurodytam intervalui tikimyb apibreºimas. Atsitiktinis dydis X, kurio patekimo i interval [a, b] tikimybe skai iuojama pagal formul b P (a X b) = p(x) dx, p(x) 0, a vadinamas absoliu iai tolydºiuoju dydºiu, o funkcija p(x) vadinama jo tankiu. Pastebesime, kad bet kokiam absoliu iai tolydºiam atsitiktiniam dydºiui X ir realiajam skai iui a "ta²kine" tikimybe P (X = a) lygi 0, o tankio funkcija p(x) tenkina s lyg p(x) dx = 1. 13

14 Kita vertus, pasirodo, kad bet kuri neneigiama funkcija funkcija p(x), tenkinanti pastar j lygyb, gali b uti laikoma kaºkokio atsitiktinio dydºio tankiu. Daºnai atsitiktiniai dydºiai ( tiek diskretieji, tiek tolydieji ) nusakomi specialia - pasiskirstymo funkcija. Atsitiktinio dydºio X pasiskirstymo funkcija F (x) yra F (x) = P (X < x), x R. Absoliu iai tolydºiojo atsitiktinio dydºio pasiskirstymo funkcij ir tanki sieja lygybes: F (x) = p(x), x F (x) = p(u) du. Kai nagrinejami keli atsitiktiniai dydºiai, pasidaro svarbi ju tarpusavio priklausomybe. Nat uralu pavadinti atsitiktinius dydºius X 1 ir X 2 nepriklausomais, kai su bet kuriais realiuju skai iu poaibiais B 1, B 2 ivykiai {ω : X 1 (ω) B 1 } ir {ω : X 2 (ω) B 2 } yra nepriklausomi, kitaip sakant, jei P (X 1 B 1, X 2 B 2 ) = P (X 1 B 1 )P (X 2 B 2 ). Diskre iuju atsitiktiniu dydºiu atveju pakanka pareikalauti, kad visiems realiesiems x, y b utu tenkinama lygybe P (X 1 = x, X 2 = y) = P (X 1 = x)p (X 2 = y). Priminsime kai kurias atsitiktiniu dydºiu skaitines charakteristikas. Pradesime nuo vidurkio, nusakan io vidutin atsitiktinio dydºio reik²m. Diskre iojo atsitiktinio dydºio skirstini patogiausia uºra²yti lentele X x 1 x 2 x 3... P p 1 p 2 p 3... šinoma, p 1 + p 2 + = 1, suma p i 0. Taip nusakyto atsitiktinio dydºio vidurkiu vadinama EX = x 1 p 1 + x 2 p 2 + x 3 p

15 Jeigu X turi tanki p(x), tai vidurkis apibreºiamas kaip integralas EX = xp(x) dx. Galima apibreºti ir atsitiktinio dydºio funkcijos vidurki. Dikre iojo ir tolydºiojo dydºiu atvejais funkcijos vidurkis atitinkamai yra Ef(X) = f(x 1 )p 1 + f(x 2 )p 2 + f(x 3 )p , Ef(X) = f(x)p(x) dx. Suformuluosime pagrindines vidurkiu savybes. Tegu X, X 1, X 2,..., X n yra atsitiktiniai dydºiai, turintys baigtinius vidurkius. 1. Su bet kokiomis konstantomis c 1, c 2,..., c n teisinga lygybe 2. Jei X 1 X 2, tai EX 1 EX EX E X. 4. Jei X 1, X 2 yra nepriklausomi, tai E ( n ) c i X i = n c i EX i. E(X 1 X 2 ) = E(X 1 ) E(X 2 ). Kaip jau buvo mineta, vidurkis parodo vidutin atsitiktinio dydºio X reik²m. Jo sklaid apie vidurki apra²o dispersija DX = E(X EX) 2. Kvadratine ²aknis i² dispersijos vadinama standartiniu nuokrypiu σ(x) = DX. Paminesime kelet dispersijos savybiu, laikydami, kad atsitiktiniai dydºiai X, X 1, X 2,..., X n turi baigtines dispersijas. 1. DX DX = EX 2 (EX) D(X 1 + X 2 ) = DX 1 + DX 2 + 2cov(X 1, X 2 ), ia cov(x 1, X 2 ) = E(X 1 EX 1 )(X 2 EX 2 ) = EX 1 X 2 EX 1 EX 2 yra atsitiktiniu dydºiu X 1 ir X 2 kovariacija. 15

16 4. Jei X 1, X 2,..., X n yra nepriklausomi atsitiktiniai dydºiai, tai su bet kokiomis konstantomis c 1, c 2,..., c n teisinga lygybe D ( n ) c i X i = n c 2 i DX i pavyzdys. Rasime binominio skirstinio, nusakyto (1.4) tikimybemis, vidurki ir dispersij. Tegul X i = 1, jei i-tasis Bernulio eksperimentas buvo sekmingas, ir X i = 0 - prie²ingu atveju. Tada sekmiu skai ius po n eksperimentu bus n nepriklausomu, vienodai pasiskirs iusiu atsitiktiniu dydºiu suma S n = X 1 + X X n. Be to, visiems i = 1, 2,..., n atsitiktinio dydºio X i skirstinys yra X i 0 1 P 1 p p Todel EX i = EX 2 i = p, DX i = EX 2 i (EX i ) 2 = p(1 p). Dabar jau nesunkiai randame nepriklausomu atsitiktiniu dydºiu X i sumos vidurki ir dispersij ES n = DS n = n EX i = np, n DX i = np(1 p). 1.2 Ivykiu sistemos Tarkime A = {A i : i I} yra diskre iosios tikimybines erdves (Ω, P ) ivykiu ²eima, I - baigtine arba skaiti indeksu aibe. 16

17 1.2.1 apibreºimas. Jei P (A i A j ) = 0 visiems i, j I, i j ir P ( ) A i = 1, tai A vadinsime tikimybines erdves (Ω, P ) ivykiu sistema. i I Pastebesime, kad poromis nesuderinamiems ivykiams A i P ( ) A i = P (A i ). i I i I Todel antrojoje apibreºimo s lygoje s jungos tikimyb pakeit atitinkamu tikimybiu suma, gautume ekvivalenti²k ivykiu sistemos apibreºim. Taip pat ai²ku, kad jei A i poromis nesutaikomi ir tai A - ivykiu sistema. A i = Ω, i I Atvirk² ias teiginys teisingas tik, kai tikimybineje erdveje nera nulines tikimybes elementariuju ivykiu, t.y. P (ω) > 0 visiems ω Ω apibreºimas. Tarkime A = {A i : i I} ir B = {B j : j J} yra tikimybines erdves (Ω, P ) ivykiu sistemos. A yra sistemos B apvalkalas, jei kiekvienam j J galima rasti toki i I, kad P (A i B j ) = P (B j ). Tokiu atveju sakysime, kad sistema B yra tikslesne uº sistem A. Kitaip sakant, kiekvienai tikslesnes sistemos aibei visada atsiras j dengianti "grubesnes" sistemos aibe teorema. Jei B yra tikslesne uº sistem A, tai visiems i I, j J P (A i B j ) = P (B j ) arba P (A i B j ) = 0. Irodymas. Kai P (B j ) = 0, ²is teiginys akivaizdus. Tarkime, kad P (B j ) 0 ir P (A i B j ) P (B j ). Lieka isitikinti, kad tokiu atveju b utinai P (A i B j ) = 0. Pagal apvalkalo apibreºim, aibeje I galima rasti toki i 0 i, kad P (A i0 B j ) = P (B j ). Vadinasi B j = A i0 B j N, P (N) = 0. 17

18 Taigi P (A i B j ) = P (A i (A i0 B j ) (A i N)) P (A i A i0 ) + P (N) = apibreºimas. Tarkime A = {A i : i I} ir B = {B j : j J} yra tikimybines erdves (Ω, P ) ivykiu sistemos. Ju jungtine sistema A B nusakoma lygybe A B = {A i B j : (i, j) I J}. Akivaizdu, kad A B tikslesne ir uº A ir uº B. Bet pasirodo, kad ji yra pati "grubiausia" i² visu tikslesniu uº A ir B. Teisingas toks teiginys teorema. Jei sistema C yra tikslesne uº A ir B, tai ji tikslesne ir uº A B. Irodymas. I² tikruju, i² teiginio prielaidos i²plaukia, kad kiekvienam C C galima rasti tokius A i ir B j kad P (A i C) = P (B j C) = P (C). Todel B j C = C \ N, N C, P (N) = 0. Dabar gauname P (A i B j C) = P (A i (C \ N)) = P ((A i C) \ (A i N)) = P (A i C) P (A i N) = P (C). Pastaroji lygybe ir irodo, kad C yra tikslesne uº A B apibreºimas. Tikimybines erdves (Ω, P ) ivykiu sistemos A = {A i : i I} ir B = {B j : j J} vadinamos nepriklausomomis, jei P (A i B j ) = P (A i )P (B j ) visiems (i, j) I J. 18

19 1.2.1 pavyzdys. Tarkime X ir Y diskretieji atsitiktiniai dydºiai erdveje (Ω, P ), o {x i R : i I} ir {y j R : j J} - ju galimu reik²miu aibes. Apibreºkime ivykius A i = {X = x i } ir B j = {Y = y j }. Nesunku pastebeti, kad A = {A i : i I} ir B = {B j : j J} yra tikimybines erdves (Ω, P ) ivykiu sistemos. Jos bus nepriklausomos tada ir tik tada, kai nepriklausomi yra jas generuojantys atsitiktiniai dydºiai X ir Y. 1.3 Informacija ir entropija Tarkime A yra tikimybines erdves (Ω, P ) atsitiktinis ivykis, kurio tikimybe P (A) = p. Kiek informacijos gauname, ivykus ²iam ivykiui? Nekalbesime apie gautos informacijos prasm ar naud. M usu tikslas - apibreºti kiekybini informacijos mat, priklausanti nuo ivykio tikimybes p. Iykio A prigimtis, skai iuojant informacijos kieki I(A), nera svarbi. Todel informacijos kieki apibre²ime kaip kintamojo p funkcij ir daºnai ra²ysime I(A) = I(p). Jai kelsime tokius reikalavimus : 1. Informacija turi b uti apibreºta ir neneigiama, t.y. I(p) 0, visiems p (0, 1]. 2. Neºymiai pakitus ivykio tikimybei, informacijos kiekis taip pat turetu pasikeisti nedaug. Kitaip sakant funkcija I(p) turi b uti tolydi. 3. Funkcija I(p) turi b uti grieºtai monotoni²kai maºejanti, t.y. kuo ivykio tikimybe maºesne, tuo didesni informacijos kieki jam ivykus gauname. Jei pastarasis reikalavimas pasirode keistas, panagrinekite du atsitiktinius ivykius: A 1 ={ateinan iu metu liepos septint dien Vilniuje snigs} ir A 2 ={ateinan iu metu liepos septintoji Vilniuje bus sauleta}. Kurio ivykio tikimybe didesne ir, kuriam ivykus, daugiau suºinotumete apie Lietuvos klimato poky ius?! 4. Ivykus dviem nepriklausomiems ivykiams, gautos informacijos kiekis turetu b uti lygus ju informaciju sumai. Prisimin, kad dviems nepriklausomiems ivykiams A ir B tikimybe ivykti kartu yra P (A B) = P (A)P (B), turesime toki reikalavim informacijos kiekio funkcijai: I(p q) = I(p) + I(q) visiems p, q (0, 1]. Pasirodo ²ie, i² pirmo ºvilgsnio, paprasti reikalavimai vienareik²mi²kai nusako juos tenkinan i funkcij. 19

20 1.3.1 teorema. Funkcija I(p) tenkina 1-4 s lygas tada ir tik tada, kai egzistuoja b > 1, jog I(p) = log b 1 p. Irodymas. Logaritmine funkcija ai²ku tenkina minetus reikalavimus. Belieka isitikinti, kad 1-4 s lygas tenkinanti funkcija I(p) yra b utinai logaritmine. Tegul m ir n bet kokie nat uralieji skai iai. I² 4 s lygos i²plaukia, kad I(p n ) = I(p p n 1 ) = I(p) + I(p n 1 ) = I(p) + I(p) + I(p n 2 ) = = ni(p). Todel ir I(p) = I((p 1/m ) m ) = mi(p 1/m ) I(p 1/m ) = 1 m I(p). Taigi, visiems teigiamiems racionaliesiems skai iams n m I(p n/m ) = I((p 1/m ) n ) = n m I(p). Del funkcijos I(p) tolydumo i² ia i²plaukia, kad I(p a ) = ai(p) visiems realiesiems a 0. Todel visiems p (0, 1] ( (1 ) ) ln p I(p) = I = I e ( ) 1 ln p. (1.5) e Kadangi funkcija I(p) yra grieºtai maºejanti ir neneigiama, tai I ( 1 e) > 0 ir galima rasti b > 1, kad I² ia ir (1.5) galutinai gauname I ( ) 1 = 1 e ln b. I(p) = ln p ln b = log 1 b p. 20

21 Dabar jau galime apibreºti ivykio informacij. Logaritmo pagrindo pasirinkimas apsprendºia tik jos matavimo vienetus. ivykiui, kurio tikimybe 1. Tada b = 2. 2 Laikysime, kad informacijos vienet gauname, ivykus apibreºimas. Informacijos kiekiu, gaunamu ivykus ivykiui A, kurio tikimybe p > 0, vadinsime dydi o jo matavimo vienetus - bitais. I(A) = I(p) = log 2 1 p, Kartais naudojami ir kiti informacijos kiekio vienetai. Logaritmo pagrindas (b) Inf ormacijos kiekio vienetas 2 bitas 3 tritas e natas 10 hartlis S ry²iai tarp ²iu matavimo vienetu nusakomi lygybemis 1 bitas = log 3 2 trito = ln 2 nato = lg 2 hartlio. Beje, ia bitas ne atsitiktinai sutampa su dvejetainio skai iaus skaitmens pavadinimu pavyzdys. Metame simetri²k monet. Eksperimento baig iu S={atsiverte skai ius} ir H={atsiverte skai ius} tikimybes yra P (S) = P (H) = 0, 5. Todel bet kurios baigties atveju gaunamas I(S) = I(H) = log 2 2 = 1 bitas informacijos. Jei moneta metama n kartu, tai bet kuri eksperimento baigti galime nusakyti n dvejetainiu skaitmenu, pavyzdºiui }{{} n ƒia 0 ir 1 ºymi ivykius S ir H. Tokios baigties tikimybe yra 2 n, o gaunamas informacijos kiekis I ( ) 1 = log 2 n 2 2 n = n, t.y. lygiai tiek, kiek bitu uºima informacija apie eksperimento rezultat. 21

22 Pastebesime, kad b utino ivykio informacija I(Ω) = 0. Kitaip sakant, kai ivyksta tai "kas ir turejo ivykti", mes nieko naujo nesuºinome. Ta iau, jei ivyktu tai "kas ivykti negali", turetume "labai daug" naujos informacijos. Toks pastebejimas pateisina informacijos kiekio apibreºimo papildym nulines tikimybes ivykiams. Taigi, jei P (A) = 0, tai I(A) = lim p 0 I(p) =. Galima apibreºti ir dvieju ivykiu s lygin informacij apibreºimas. Tegul A ir B yra tikimybines erdves (Ω, P ) atsitiktiniai ivykiai ir P (B) > 0. Ivykio A su s lyga B informacija vadinsime dydi 1 I(A B) = log 2 P (A B) = log P (A B) 2. P (B) Pastebesime, kad I(A B) = I(A) tada ir tik tada, kai ivykiai A ir B yra nepriklausomi. Aptareme pavienio atsitiktinio ivykio informacijos kiekio s vok. nusakyti ivykiu sistemos informacij. Pradesime nuo pavyzdºio. Dabar pabandysime pavyzdys. Tegul galimos bandymo baigtys yra A 1, A 2,... A n, o ju tikimybes atitinkamai p 1, p 2,... p n. Kiek informacijos gausime atlik toki bandym? Noredami atsakyti i ²i klausim, galime samprotauti taip. Atlikus N tokiu nepriklausomu bandymu, baigtis A i pasikartos apytiksliai N p i kartu ir kiekvien kart gaunamos informacijos kiekis bus I(A i ) = log 2 1 p i. Taigi po visos bandymu serijos sukauptas informacijos kiekis bus I N n Np i log 2 1 p i. Todel vidutinis informacijos kiekis, gaunamas atlikus vien bandym, yra I N N n p i log 2 1 p i. Pastebesime, kad de²ineje ²ios apytiksles lygybes puseje esantis rei²kinys yra lygus vidutinei ivykiu A 1, A 2,... A n informacijai. 22

23 1.3.3 apibreºimas. Tegul A = {A 1, A 2,..., A n } yra tikimybines erdves (Ω, P ) ivykiu su tikimybemis p i = P (A i ) sistema. Ivykiu sistemos A entropija vadinsime dydi H(A) = H(p 1, p 2,..., p n ) = n p i log 2 1 p i. ƒia ir analogi²kose sumose toliau visi demenys p i log 2 1 p i arba p i log 2 p i yra lyg us 0, kai p i = 0. Skaitytojams, kuriems toks susitarimas atrodo itartinas, priminsime, kad lim p log 1 2 p 0 p = lim p log 2 p = 0. p 0 Ai²kinantis ivairius s ry²ius, kartais patogu interpretuoti entropij kaip dydi, rei²kianti neapibreºtum, kuri jau iame, neºinodami kuris i² sistemos A ivykiu ivyks. Panagrinekime dvieju ivykiu su tikimybemis p ir 1 p sistem. Jos entropij ºymesime h(p) = H(p, 1 p). Taigi binarines entropijos funkcija 1 h(p) = p log 2 p + (1 p) log 1 2. (1.6) 1 p ios funkcijos grakas pavaizduotas 1.1 paveiksle. Matome, kad didºiausia entropijos reik²me lygi h ( 1 2) = 1. Tai ir rodo, kad sunkiausiai prognozuojama dvieju ivykiu sistema yra ta, kurioje abu ivykiai yra vienodai galimi, t.y. p = 1. Ir prie²ingai - kai p = 0 2 arba p = 1, jokio neapibreºtumo nera, nes i² anksto ai²ku kuris i² dvieju ivykiu ivyks. Tad nenuostabu, kad ²iuo atveju entropija lygi h(0) = h(1) = 0. Ivykus kokiam nors ivykiui B, sistemos A entropija gali pasikeisti. Pavyzdºiui, analizuodami prekybos centro duomenu bazes ira²us, pagal pirkejo krep²eli bandome nuspeti pirkejo amºiu. Jei jis pirko tik duonos, tai ai²ku, nelabai k tegalime pasakyti apie jo amºiu. Bet, kai tarp jo pirkiniu atrandame alu ir skrudint duon, neapibreºtumas pirkejo amºiaus atºvilgiu ºenkliai sumaºeja. Likusio neapibreºtumo laipsni nusako s lygine entropija H(A B) = n P (A i B)I(A i B) = n 1 P (A i B) log 2. (1.7) P (A i B) Tokiu entropiju vidutine reik²me leidºia ivertinti neapibreºtum sistemos A atºvilgiu, kuris lieka, gavus informacij apie kit tos pa ios tikimybines erdves ivykiu sistem B = {B 1, B 2,..., B m }. 23

24 1.1 pav. Binarines entropijos funkcija apibreºimas. Dydi H(A B) = m P (B j )H(A B j ) j=1 vadinsime s lygine A entropija B atºvilgiu, o entropijos pokyti I(A, B) = H(A) H(A B) vadinsime sistemu A ir B tarpusavio informacija. Sistemu A ir B jungtines sistemos A B entropij ºymesime H(A, B). Prisimin apibreºim, turesime H(A, B) = H(A B) = n m j=1 1 P (A i B j ) log 2. (1.8) P (A i B j ) is apibreºimas akivaizdºiai apibendrinamas ir didesniam ivykiu sistemu skai iui k 2 H(A 1, A 2,..., A k ) = H(A 1 A 2 A k ). 24

25 Nagrinejant entropiju savybes ir s ry²ius, mums pravers vienas pagalbinis teiginys. Vektoriu (x 1, x 2,..., x n ), sudaryt i² neneigiamu realiuju skai iu, vadinsime tikimybiniu vektoriumi (kitaip: diskre iuoju skirstiniu), jei n x i = lema (Gibbs'o nelygybe). Tegul b > 1. Tada bet kokiems tikimybiniams vektoriams (x 1, x 2,..., x n ) ir (y 1, y 2,..., y n ) teisinga nelygybe n ( ) yi x i log b 0. (1.9) x i Nelygybe virsta lygybe tada ir tik tada, kai vektoriai (x 1, x 2,..., x n ) ir (y 1, y 2,..., y n ) sutampa. Irodymas. Kaip jau buvo mineta, kai x i = 0, tai i - tasis nagrinejamos sumos demuo taip pat lygus 0. Be to, pastebesime, kad lemos teiginys yra teisingas, jei kuriam nors i, x i > 0 ir y i = 0, nes tada x i log b ( y i x i ) =. Todel, nesiaurindami bendrumo, galime nagrineti tik tokius vektorius, kuriems y i > 0, jeigu x i > 0. Taigi mums lieka irodyti lemos teigini, nelygyb (1.9) uºra²ius ²itaip: n ( ) yi x i log b 0. x i ƒia simbolis * prie sumos ºenklo rei²kia, kad sumuojama tik pagal tas i reik²mes, kurioms x i > 0. Vadinasi, ir visi y i ²ioje sumoje yra teigiami. Padaugin pastarosios nelygybes abi puses i² teigiamo skai iaus ln b, pereisime prie nat uraliuju logaritmu n ( ) yi x i ln 0. (1.10) Kadangi funkcija y = ln x yra i²kila auk²tyn, o jos grako liestine ta²ke x = 1 yra tiese y = x 1, tai x i ln x x 1 visiems x > 0. Be to, nelygybe virsta lygybe tik, kai x = 1. I² ia i²plaukia n ( ) yi n ( ) yi n n x i ln x i 1 = y i x i 0. x i x i Pastebesime, kad abi pastarosios nelygybes, turi virsti lygybemis, jei (1.10) suma lygi 0. Ta iau taip gali atsitikti tik, kai x i = y i visiems i = 1, 2,..., n. Lema irodyta. 25

26 Aptarsime pagrindines entropijos savybes. Pirmiausiai i²siai²kinsime kokios sistemos turi didºiausias ir kokios maºiausias entropijas teorema. Ivykiu sistemos A = {A 1, A 2,..., A n } entropija tenkina nelygybes 0 H(A) log 2 n. (1.11) Maºiausi reik²m H(A) = 0 ji igyja tada ir tik tada, kai sistema sudaryta i² ivykiu, kuriu tikimybes yra 0 arba 1. Didºiausi entropij H(A) = log 2 n tures tos ir tik tos sistemos, kuriose visi ivykiai yra vienodai galimi, t.y. P (A i ) = 1 visiems i = 1, 2,..., n. n Irodymas. Pagal apibreºim entropija yra neneigiamu demenu suma H(A) = n P (A i ) log 2 1 P (A i ). Todel ai²ku, kad H(A) 0. Be to, tokia suma lygi 0 tada ir tik tada, kai visi demenys lyg us 0. Vadinasi, P (A i ) = 0 arba P (A i ) = 1 visiems i = 1, 2,..., n. I² tikruju tik viena i² ²iu tikimybiu bus lygi 1, nes sistem sudaran iu ivykiu tikimybiu suma visada yra 1. Antr j nelygyb irodysime skirtumui H(A) log 2 n pritaik lem. Gausime H(A) log 2 n = = n 1 n P (A i ) log 2 P (A i ) P (A i ) log 2 n n ( ) 1/n P (A i ) log 2 0. P (A i ) Pastaroji nelygybe i²plaukia i² (1.9) nelygybes, pasirinkus x i = P (A i ) ir y i = 1/n. I² ia pagal lem gauname ir paskutini teoremos teigini apie didºiausi entropij. Pastaba. Ivykiu sistemos entropija nepasikeistu i² sistemos pa²alinus nulines tikimybes ivykius (jei tokiu yra). Todel (1.11) nelygybeje n galima pakeisti teigiam tikimyb turin iu sistemos A ivykiu skai iumi. Atrodo, kad kuo sudetingesne ir daugiau ivykiu turi sistema, tuo didesne jos entropija. Ta iau tiesiogines priklausomybes tarp ivykiu skai iaus sistemoje ir jos entropijos dydºio, ai²ku, nera. 26

27 1.3.3 pavyzdys. Tegul A = {A 1, A 2, A 3, A 4 }, B = {B 1, B 2, B 3, B 4, B 5 } ir P (A 1 ) = P (A 2 ) = P (A 3 ) = P (A 4 ) = 1 4 ; P (B 1 ) = P (B 2 ) = P (B 3 ) = P (B 4 ) = 1 16, P (B 5) = 3 4. Apskai iuojame sistemu A ir B entropijas H(A) = log 2 4 ; 1 H(B) = 4 16 log log , Kaip matome, H(A) > H(B). Gaut j nelygyb galime interpretuoti taip: numatyti, kuris i² ivykiu ivyks, sistemoje A yra sunkiau, nei sistemoje B. Kai kurioms ivykiu sistemu klasems ju entropiju santykis visada nusakomas vienareik²mi²kai. Pavyzdºiui, galime palyginti sistemos ir jos apvalkalo entropijas teorema. Jei ivykiu sistema B = {B 1, B 2,..., B m } yra tikslesne uº sistem A = {A 1, A 2,..., A n }, tai H(A) H(B). Irodymas. Kadangi B yra tikslesne uº A, tai pagal teorem P (A i ) = m P (A i B j ) = P (B j ), i = 1, 2,..., n. j J i j=1 ƒia J i - poromis nesikertantys aibes {1, 2,..., m} poaibiai, tenkinantys s lyg n J i = {1, 2,..., m}. Todel H(A) = ( ) ( ) n n P (A i ) log 2 P (A i ) = P (B j ) log 2 P (B j ) j J i j J i n m P (B j ) log 2 P (B j ) = P (B j ) log 2 P (B j ) = H(B) j J i j=1 27

28 Prisiminkime s lygines entropijos H(A B) apibreºim (1.7). Klausimas: ar, ivykus kokiam nors ivykiui B, sistemos A entropija sumaºeja, kitaip sakant, ar galima tvirtinti, kad visada H(A B) H(A)? Neigiam atsakym i ²i klausim pagrindºia toks pavyzdys pavyzdys. Tegul X ir Y yra atsitiktiniai dydºiai, igyjantys reik²mes 0 ir 1, o ju bendrasis dvimatis skirstinys nusakytas lentele Nagrinesime dvi ivykiu sistemas X\Y 0 1 P (X = i) 0 0, 25 0, 25 0, , 5 0, 5 P (Y = j) 0, 25 0, 75 1 A = { {X = 0}, {X = 1} } ir B = { {Y = 0}, {Y = 1} }. Kaip iprasta tokiais atvejais, sistemu A ir B entropijas ºymesime tiesiog H(X) ir H(Y ). Prisimin binarines entropijos funkcijos h(p) apibreºim (1.6), turesime Apskai iuojame s lygines tikimybes Analogi²kai gauname, kad P (Y = 0 X = 0) = H(X) = h(0, 5) = 1, H(Y ) = h(0, 25) 0, 811. P (Y = 0, X = 0) P (X = 0) = 0, 25 0, 5 = 0, 5, P (Y = 1 X = 0) = 1 P (Y = 0 X = 0) = 0, 5. P (Y = 0 X = 1) = 0 ir P (Y = 1 X = 1) = 1. Todel, pagal (1.7) formul, s lygines Y entropijos, kai ºinomos atsitiktinio dydºio X reik²mes, bus H(Y X = 0) = h(0, 5) = 1, H(Y X = 1) = h(0) = 0. 28

29 Vidutine ²iu entropiju reik²me pagal apibreºim yra H(Y X) = P (X = 0) H(Y X = 0) + P (X = 1) H(Y X = 1) = = 1 2. Matome, kad H(Y X = 1) < H(Y ) < H(Y X = 0), ta iau H(Y X) < H(Y ). iame pavyzdyje vidutine s lygine entropija H(Y X) nusako likusi (sumaºejusi) neapibreºtum Y atºvilgiu po to, kai gauta informacija apie atsitiktini dydi X. Pasirodo toks sumaºejimas nera atsitiktinis teorema. Visoms ivykiu sistemoms A = {A 1, A 2,..., A n } ir B = {B 1, B 2,..., B m } ju tarpusavio informacija yra neneigiama: I(A, B) 0. Be to, I(A, B) = 0 tada ir tik tada, kai sistemos A ir B yra nepriklausomos. Irodymas. Kadangi ivykiai su nulinemis tikimybemis neturi itakos I(A, B) reik²mei, tai tarsime, kad P (A i ) P (B j ) > 0 visiems i = 1, 2,..., n; j = 1, 2,..., m. Pagal apibreºim H(A B) = = m P (B j )H(A B j ) = j=1 m j=1 n m j=1 n 1 P (B j )P (A i B j ) log 2 P (A i B j ) ). (1.12) P (A i B j ) log 2 ( P (Bj ) P (A i B j ) I² ivykiu sistemos apibreºimo i²plaukia, kad visiems i = 1, 2,..., n P (A i ) = m P (A i B j ). j=1 Todel H(A) = n m j=1 P (A i B j ) log 2 1 P (A i ). Prisimin apibreºim ir istat gautas i²rai²kas, turesime I(A, B) = H(A B) H(A) = n m j=1 ( ) P (Ai )P (B j ) P (A i B j ) log 2 0. (1.13) P (A i B j ) 29

30 Pastaroji nelygybe i²plaukia i² lemos, pritaikius j tikimybiniams vektoriams (x 1, x 2,..., x mn ) ir (y 1, y 2,..., y mn ), kuriu komponentes yra x (i 1)m+j = P (A i B j ) ir y (i 1)m+j = P (A i )P (B j ), i = 1, 2,..., n, j = 1, 2,..., m. Pagal t pa i lem gauname, kad (1.13) nelygybe virsta lygybe tada ir tik tada, kai visiems i ir j P (A i B j ) = P (A i )P (B j ), kitaip sakant, kai sistemos A ir B yra nepriklausomos. Teorema irodyta. I² k tik irodytos teoremos i²plaukia, kad bet kokioms ivykiu sistemoms A ir B H(A B) H(A), o ²iu entropiju lygybe yra sistemu A ir B nepriklausomumo kriterijus. Jungtines sistemos entropijos H(A, B) reik²me priklauso ne tik nuo j sudaran iu sistemu, bet ir nuo ju priklausomumo laipsnio teorema. Ivykiu sistemoms A ir B teisingi s ry²iai H(A, B) = H(B) + H(A B), (1.14) H(A, B) = H(A) + H(B) I(A, B). (1.15) Irodymas. Pasiremsime kai kuriais teoremos irodymo tarpiniais rezultatais. Kadangi visiems j = 1, 2,..., m P (B j ) = tai lygyb (1.12) galime para²yti taip H(A B) = m j=1 n P (A i B j ), n ( ) 1 P (A i B j ) log 2 P (A i B j ) = H(A, B) H(B). I² ia gauname (1.14) lygyb. Pagal tarpusavio informacijos apibreºim ( m n ) ( ) 1 P (A i B j ) log 2 P (B j ) j=1 H(A B) = H(A) I(A, B). 30

31 Istat ²i s lygines entropijos i²rai²k i (1.14), gauname (1.15) lygyb ir tuo pa iu baigiame teoremos irodym. Pastebesime, kad H(A, B) = H(B, A). Todel i² k tik irodytos (1.15) lygybes i²plaukia, kad simetri²ka yra ir tarpusavio informacija, t.y. I(A, B) = I(B, A). Dvieju sistemu entropiju, s lyginiu entropiju bei tarpusavio informacjos s ry²ius patogu vaizduoti 1.2 paveiksle pateikiama diagrama. H(A, B) H(A B) I(A, B) H(B A) H(A) H(B) 1.2 pav. Entropija ir informacija I² teoremos ir (1.15) lygybes gauname toki jungtines sistemos entropijos iverti H(A, B) H(A) + H(B). Pritaikius indukcij, pastar j nelygyb nesudetinga apibendrinti didesniam ivykiu sistemu skai iui teorema. Jei A 1, A 2,..., A k yra tos pa ios diskre iosios tikimybines erdves ivykiu sistemos, tai H(A 1, A 2,..., A k ) H(A 1 ) + H(A 2 ) + + H(A k ). i nelygybe virsta lygybe tada ir tik tada, kai A 1, A 2,..., A k yra nepriklausomos sistemos. 31

32 1.4 Atsitiktiniu dydºiu entropijos Su diskre iojo atsitiktinio dydºio entropijos s voka mes jau buvome susid ur, nagrinedami pavyzdi. Tad visi²kai suprantamas bus toks apibreºimas apibreºimas. Diskre iojo atsitiktinio dydºio X, igyjan io reik²mes x 1, x 2,..., entropija H(X) yra lygi ivykiu sistemos, sudarytos i² ivykiu A i = {X = x i }, i = 1, 2,..., entropijai, t.y., H(X) = i P (A i ) log 2 1 P (A i ). Todel diskre iojo atsitiktinio dydºio entropijos interpretacija bei savybes niekuo nesiskiria nuo 1.3 skyrelyje aptartos ivykiu sistemos entropijos. Pateiksime kelet i² galimu, su entropijos s voka susijusiu, uºdaviniu pavyzdys. Tegul T yra koks nors tekstas. Pavyzdºiui, T = abrakadabra Kaip matome, tekste sutinkamos penkios skirtingos raides. Tad, noredami para²yti dvejetaini T kod, kiekvienai raidei turesime skirti po tris bitus. Pavyzdºiui, a 000, b 001, d 010, k 011, r 100. (1.16) Vadinasi, viso teksto kodo ilgis bus 33 bitai. Ar imanoma sukonstruoti trumpesni vienareik²mi²kai dekoduojam kod? Galime manyti, kad tekstas T yra sudarytas i² 11 atsitiktinio dydºio X realizaciju. Kitaip sakant, atsitiktinis dydis X rei²kia atsitiktinai pasirinkt T raid. Pagal raidºiu daºnius tekste sudarome atsitiktinio dydºio X skirstini X a b d k r P Apskai iav X entropij (kartais ji dar vadinama teksto T entropija), suºinosime vidutini informacijos kieki, tenkanti vienai teksto raidei. Taigi H(X) = 5 11 log log log ,

33 Tai yra vadinamasis enono reºis vidutiniam vienos raides kodo bitu skai iui. Kitaip sakant, nera tokio vienareik²mi²kai dekoduojamo kodo, kuriuo pakeitus (1.16) kod, tekst T atvaizduotume trumpesne nei 11 H(X) 22, 44 bitu seka. Ta iau ne visiems tekstams enono reºis yra pasiekiamas. Tie skaitytojai, kurie ²iek tiek ºino duomenu kompresijos algoritmus, supras kaip konstruojamas tekstui T geriausi rezultat duodantis kodas (beje ne vienintelis): a 0, b 100, d 110, k 111, r 101. Jis tekst T uºkoduoja 23 bitu seka. Jei norite isitikinti, kad enono reºis yra pasiekiamas, pabandykite uºkoduoti tekst T = abrakadabrakaada pavyzdys. Atliekamas tyrimas, siekiant nustatyti kokie faktoriai itakoja galimyb susirgti tam tikra liga. Ligos poºymi ºymesime kintamuoju Y, igyjan iu reik²mes S ir N (serga, neserga). Nagrinejami trys faktoriai: X 1 paciento lytis, galimos reik²mes {M, V } ; X 2 r ukymas, galimos reik²mes {taip, ne} ; X 3 kraujosp udis, galimos reik²mes {maºas,normalus,didelis}. 100 pacientu tyrimo duomenys pateikti 1.1 lenteleje. Kuris faktorius labiausiai itakoja polinki susirgti? Noredami atsakyti i ²i klausim, turime i²siai²kinti, kaip pasikei ia Y entropija, vieno ar kito poºymio atºvilgiu. Kitaip sakant, turime palyginti tris tarpusavio informacijas I(Y, X i ) = H(Y ) H(Y X i ), i = 1, 2, 3. Pirmiausiai rasime H(Y ). Atsitiktinio dydºio Y skirstinys yra Y N S P 0, 44 0, 56 Vadinasi, H(Y ) = h(0, 44) 0,

34 Paciento R ukymas Kraujosp udis Ligos Pacientu lytis (X 1 ) (X 2 ) (X 3 ) poºymis (Y ) skai ius M ne maºas N 5 M ne maºas S 2 M ne normalus N 10 M ne didelis S 6 M taip maºas N 4 M taip maºas S 2 M taip normalus N 8 M taip didelis N 1 M taip didelis S 8 V ne normalus N 8 V ne didelis S 10 V ne maºas N 2 V taip maºas S 7 V taip normalus N 6 V taip normalus S 5 V taip didelis S lentele. Lig itakojantys faktoriai Skai iuosime H(Y X 1 ). Pasinaudoj (1.7) formule, pagal 1.1 lenteles duomenis gausime Analogi²kai 1 H(Y X 1 = M) = P (Y = N X 1 = M) log 2 P (Y = N X 1 = M) 1 + P (Y = S X 1 = M) log 2 P (Y = S X 1 = M) ( ) 28 = h 0, H(Y X 1 = V ) = h Dabar, prisimin apibreºim, randame H(Y X 1 ) ( ) 16 0, H(Y X 1 ) = P (X 1 = M)H(Y X 1 = M) + P (X 1 = V )H(Y X 1 = V ) ( ) ( ) = 0, 46 h + 0, 54 h 0,

35 Analogi²kai skai iuojame ir likusias entropijas ( ) 25 H(Y X 2 = ne) = h 0, ; 43 ( ) 19 H(Y X 2 = taip) = h 0, ; 57 ( ) ( ) H(Y X 2 ) = 0, 43 h + 0, 57 h 0, ; ( ) 11 H(Y X 3 = maºas) = h = 1; 22 ( ) 32 H(Y X 3 = normalus) = h 0, ; 37 ( ) 1 H(Y X 3 = didelis) = h 0, ; 41 ( ) ( ) 32 1 H(Y X 3 ) = 0, , 37 h + 0, 41 h 0, ; Dabar jau galime rasti ie²kom sias tarpusavio informacijas I(Y, X 1 ) 0, , I(Y, X 2 ) 0, , I(Y, X 3 ) 0, Kaip matome, diagnozuojant lig, labiausiai informatyvus yra kraujosp udºio dydis. Tuo tarpu paciento lytis ir jo iprotis r ukyti galimyb susirgti itakoja neºymiai. Pastaba. 1.1 lenteleje pateikti duomenys yra ktyv us ir skirti tik aptariamu s voku iliustracijai. Todel suformuluotos i²vados jokiu b udu nerei²kia, kad r ukymas nekenkia sveikatai! Tolydºiuju atsitiktiniu dydºiu entropija apibreºiama kitaip. Skiriasi ir jos interpretacija apibreºimas. Tolydºiojo atsitiktinio dydºio X su tankio funkcija p X (x) entropija H(X) yra lygi H(X) = p X (x) log 2 p X (x) dx. I² karto reikia paºymeti, kad toldºiojo atsitiktinio dydºio entropijos negalima interpretuoti kaip vidutines informacijos, nes ²iuo atveju P (X = x) = 0, nepriklausomai nuo tankio 35

36 funkcijos p X (x) reik²mes. Be to, toldºiojo atsitiktinio dydºio entropija gali b uti ir neigiama. Panagrinekime toki pavyzdi pavyzdys. Tegul X yra normalusis (kitaip: Gauso) atsitiktinis dydis su vidurkiu a ir dispersija σ 2, σ > 0. Tokio atsitiktinio dydºio tankio funkcija yra p X (x) = 1 } (x a)2 exp {. 2πσ 2σ 2 Rasime jo entropij. Pagal apibreºim H(X) = = log 2 e 2σ 2 ( (x a) 2 p X (x) (log 2σ 2 2 e) + log 2 ( ) 2πσ) dx (x a) 2 p X (x) dx + log 2 ( 2πσ) = log 2 e 2σ 2 σ 2 + log 2 ( 2πσ) 1 = 1 2 log 2(2eπσ 2 ). p X (x) dx Matome, kad normaliojo atsitiktinio dydºio entropija priklauso tik nuo jo dispersijos σ 2 ir yra neigiama, kai σ 2 < 1 2eπ. Irodysime dar vien idomi normaliojo atsitiktinio dydºio savyb. Tuo tikslu prisiminkime (1.9) nelygyb. Pana²iai irodoma ir jos "tolydºioji" versija ( ) py (x) p X (x) log b dx 0. (1.17) p X (x) ƒia b > 1, o p X (x) ir p Y (x) - bet kokios tankio funkcijos. irodysime toki teigini. Pasinaudoj ²ia nelygybe, teorema. Jei absoliu iai tolydus atsitiktinis dydis X turi baigtin dispersij DX = σ 2, σ > 0, tai jo entropija H(X) 1 2 log 2(2eπσ 2 ). Irodymas. Atsitiktinio dydºio X vidurki paºymesime EX = a. Tegul Y yra normalusis atsitiktinis dydis, turintis tokius pat vidurki ir dispersij, kaip ir atsitiktinis dydis X. Tada jo tankio funkcijos logaritmas (x a)2 log 2 p Y (x) = (log 2σ 2 2 e) log 2 ( 2πσ). (1.18) 36

37 Atsitiktiniams dydºiams X ir Y pritaikysime (1.17) nelygyb. Pasirink b = 2, j galime para²yti taip p X (x) log 2 p X (x) dx p X (x) log 2 p Y (x) dx. Kaireje pastarosios nelygybes puseje esantis rei²kinys, pagal apibreºim, yra atsitiktinio dydºio X entropija H(X). Vadinasi, Ira² log 2 p Y (x) i²rai²k (1.18), gausime H(X) p X (x) log 2 p Y (x) dx. H(X) = log 2 e 2σ 2 ( (x a) 2 p X (x) (log 2σ 2 2 e) + log 2 ( ) 2πσ) dx (x a) 2 p X (x) dx + log 2 ( 2πσ) = log 2 e 2σ 2 DX + log 2 ( 2πσ) 1 = 1 2 log 2(2eπσ 2 ). p X (x) dx I² teoremos i²plaukia, kad tarp visu absoliu iai tolydºiu atsitiktiniu dydºiu, turin iu baigtin dispersij σ 2, didºiausi entropij 1 2 log 2(2eπσ 2 ) turi normalusis atsitiktinis dydis. 37

38 2 Pagrindiniai duomenu tyrimo uºdaviniai ir s vokos Pradin paºinti su duomenu tyrimo pagrindinemis s vokomis ir sprendºiamais uºdaviniais pradesime nuo papras iausiu pavyzdºiu. 2.1 Pirmieji pavyzdºiai Noredami neformaliai supaºindinti su pradine duomenu tyrimo terminologija, pateiksime kelet paprastu duomenu rinkiniu. Jie mums pravers ir veliau nagrinejamu metodu iliustracijai Duomenys apie or Stebimos oro s lygos, kurioms esant "švaigºdºiu" komanda sutinka ºaisti parodom sias rungtynes. 2.1 lenteleje pateikiamas duomenu rinkinys ( imtis ), sudarytas i² 14 ira²u. Kaip matome, kiekvien ira² sudaro penkios kintamuju arba atributu reik²mes, nusakan ios tam tikras ira²o charakteristikas. iuo atveju pirmuju keturiu kintamuju Oras, Temperat ura, Dregnumas, Vejuota rei²mes itakoja kintamojo šaisti igyjam reik²m. Pa ios kintamuju reik²mes ia labiau atspindi kokybinius (kitaip: kategorinius ) esamos meteorologines situacijos parametrus, o ne kiekybinius. Pavyzdºiui Dregnumas gali b uti didelis arba normalus, Temperat ura nusakoma "pagal savijaut " - kar²ta, ²ilta, vesu. Dabar pagal turimus duomenis pabandykime sukonstruoti taisykles, kurios leistu nuspeti "švaigºdºiu" elgesi, esant bet kokioms oro s lygoms. Kitaip sakant, reikia "i²mokti" apskai iuoti kintamojo šaisti reik²m, priklausomai nuo likusiuju kintamuju reik²miu. Taisykles galetu b uti tokios Jei Oras=sauleta ir Dregnumas=didelis tai šaisti=ne Jei Oras=lietinga ir Vejuota=TRUE tai šaisti=ne Jei Oras=debesuota tai šaisti=taip Jei Dregnumas=normalus tai šaisti=taip Kitais atvejais šaisti=taip Pastebesime, kad ²ios taisykles teisingai klasikuoja visus ira²us, jei taikomos tokia tvarka 38

39 Oras Temperat ura Dregnumas Vejuota šaisti 1 sauleta kar²ta didelis FALSE ne 2 sauleta kar²ta didelis TRUE ne 3 debesuota kar²ta didelis FALSE taip 4 lietinga ²ilta didelis FALSE taip 5 lietinga vesu normalus FALSE taip 6 lietinga vesu normalus TRUE ne 7 debesuota vesu normalus TRUE taip 8 sauleta ²ilta didelis FALSE ne 9 sauleta vesu normalus FALSE taip 10 lietinga ²ilta normalus FALSE taip 11 sauleta ²ilta normalus TRUE taip 12 debesuota ²ilta didelis TRUE taip 13 debesuota kar²ta normalus FALSE taip 14 lietinga ²ilta didelis TRUE ne 2.1 lentele. Duomenys apie or kaip uºra²ytos. Tas pa ias taisykles kita tvarka pritaikius, galima gauti kitoki rezultat. Pavyzdºiui, atskirai paimta tasykle Jei Dregnumas=normalus tai šaisti=taip ne visada bus teisinga. Daºnai turim imti patogiau klasikuoti ne pagal taisykliu sek, o ºymiai vaizdesne priemone - sprendimu medºiu. Siekdami suprasti kada "švaigºdes" sutinka ºaisti, o kada ne, pagal 2.1 lenteles duomenis sudarykime 2.1 paveiksle pavaizduot sprendimu medi. Pirmiausiai tikrinama kintamojo Oras reik²me. Pirmosios trys medºio ²akos atitinka tris galimas reik²mes. Jei Oras = debesuota, "švaigºdes" ºaidºia. Tai atspindi medºio lapas pirmame lygyje. Prie²ingu atveju, tikrinamos kintamuju Dregnumas arba Vejuota reik²mes, o galutinius sprendimus matome pavaizduotus antro lygio lapuose. Lapuose para²yti skai iai rodo kiek imties ira²u tenkina visas s lygas nuo ²aknies iki atitinkamo lapo. Kaip matome, visi 14 39

40 2.1 pav. Sprendimu medis duomenims apie or ira²u klasikuojami teisingai. Tam net neprireike informacijos apie kintamojo Temperat ura reik²m. Patikslinkime m usu meteorologinius stebejimus. Kintamuosius ( Oras, Temperat ura, Dregnumas, Vejuota, šaisti ) paºymekime (X 1, X 2, X 3, X 4, Y ) ir i²matuokime oro temperat ur bei dregnum. Rezultatai pateikti 2.2 lenteleje. Dabar kintamieji X 2 ir X 3 jau bus kiekybiniai (arba skaitiniai), nes ju reik²mes nusako temperat ur laipsniais Celsijaus skaleje ir dregnum procentais. Kokybinio kintamojo Y reik²miu aibe yra {taip, ne}. Taisykles, pagal kurias klasikuojami ira²ai kintamojo Y atºvilgiu, galetu b uti tokios Jei X 1 = sauleta ir X 3 > 84 tai Y = ne Jei X 1 = lietinga ir X 4 = TRUE tai Y = ne Kitais atvejais Y = taip Be klasikacijos daºnai dar nagrinejamos ir vadinamosios asociaciacijos taisykles, nusakan ios galimus s ry²ius tarp ivairiu kintamuju. Pavyzdºiui, pagal 2.1 lenteles duomenis galime "i²mokti" tokias taisykles Jei Temperat ura=vesu tai Dregnumas=normalus 40

41 X 1 X 2 X 3 X 4 Y 1 sauleta FALSE ne 2 sauleta TRUE ne 3 debesuota FALSE taip 4 lietinga FALSE taip 5 lietinga FALSE taip 6 lietinga TRUE ne 7 debesuota TRUE taip 8 sauleta FALSE ne 9 sauleta FALSE taip 10 lietinga FALSE taip 11 sauleta TRUE taip 12 debesuota TRUE taip 13 debesuota FALSE taip 14 lietinga TRUE ne 2.2 lentele. Patikslinti duomenys apie or Jei Oras=sauleta ir šaisti=ne tai Dregnumas=didelis Jei Vejuota=FALSE ir šaisti=ne tai Oras=sauleta ir Dregnumas=didelis Ai²ku, galima sugalvoti ir daugiau (pabandykite!) asociacijos ir klasikacijos taisykliu, kurios b utu teisingos visiems minetu im iu ira²ams. Didelems imtims tai padaryti nera taip paprasta. Tada konstruojamos taisykles ar sprendimu medºiai teisingai klasikuojantys didesni j imties ira²u dali Regos korekcija Gydytojai rekomenduoja koreguoti regejim kontaktiniais l ²iais, tik esant tam tikroms s lygoms. 2.3 lenteleje pateikiami duomenys apie galimyb skirti vienokius ar kitokius kontaktinius l ²ius, priklausomai nuo paciento amºiaus, regejimo, astigmatizmo ir a²aru kiekio. 41

42 Amºius Regejimas Astigmatizmas A²aru kiekis L ²iai 1 jaunas trumparegis ne sumaºej s neskirti 2 jaunas trumparegis ne normalus mink²ti 3 jaunas trumparegis taip sumaºej s neskirti 4 jaunas trumparegis taip normalus kieti 5 jaunas toliaregis ne sumaºej s neskirti 6 jaunas toliaregis ne normalus mink²ti 7 jaunas toliaregis taip sumaºej s neskirti 8 jaunas toliaregis taip normalus kieti 9 vidutinis trumparegis ne sumaºej s neskirti 10 vidutinis trumparegis ne normalus mink²ti 11 vidutinis trumparegis taip sumaºej s neskirti 12 vidutinis trumparegis taip normalus kieti 13 vidutinis toliaregis ne sumaºej s neskirti 14 vidutinis toliaregis ne normalus mink²ti 15 vidutinis toliaregis taip sumaºej s neskirti 16 vidutinis toliaregis taip normalus neskirti 17 vyresnis trumparegis ne sumaºej s neskirti 18 vyresnis trumparegis ne normalus neskirti 19 vyresnis trumparegis taip sumaºej s neskirti 20 vyresnis trumparegis taip normalus kieti 21 vyresnis toliaregis ne sumaºej s neskirti 22 vyresnis toliaregis ne normalus mink²ti 23 vyresnis toliaregis taip sumaºej s neskirti 24 vyresnis toliaregis taip normalus neskirti 2.3 lentele. Duomenys apie regos korekcij 42

43 Perspejimas: pavyzdys yra iliustracinis, todel ºemiau formuluojamu rekomendaciju nereiketu laikyti alternatyva j usu gydytojo nuomonei! I² viso yra 24 ira²ai, nusakantys visas galimas ²iu parametru reik²miu kombinacijas ( = 24). Ta iau ju pateikimo b udas vizualiai sunkiai aprepiamas. O jeigu kintamuju skai ius b utu didesnis ir ira²u turetume ne 24, o tarkime 10000? Kitaip sakant, reikalingos kuo paprastesnes taisykles, leidºian ios teisingai klasikuoti visus ar bent jau didesn dali imties ira²u pagal kintamojo Le²iai reik²mes. Pavyzdºiui, tokia paprasta taisykle Jei A²aru kiekis=sumaºej s tai L ²iai=neskirti teisingai klasikuoja 12 ira²u, bet likusieji lieka visai neklasikuoti. Ai²ku galimas ir kitas kra²tutinumas - para²yti taisykliu sek i² 24 s lygu, kuri visi²kai atitiks turimus duomenis. Ta iau taikyti toki "taisykl " b utu, ko gero, daugiau vargo, nei studijuoti pradin lentel. Kaip jau mateme, kita priemone tokiam uºdaviniui spr sti yra sprendimu medis. Vienas i² galimu, ²io pavyzdºio duomenis atitinkantis, sprendimu medis pavaizduotas 2.2 paveiksle. 2.2 pav. Sprendimu medis regos korekcijos duomenims 43

44 Pastebesime, kad jis teisingai klasikuoja 22 ira²us i² 24. Tokiu medºiu konstrukcija bus nagrinejama veliau Irisu klasikacija Turb ut ºymiausias ir klasikiniu tap s klasikavimo uºdavinio pavyzdys priklauso amerikie- iu statistikui R.A.Fi²eriui metais jis pateike duomenis apie tris augalu r u²is: Irissetosa, Iris-versicolor, Iris-virginica. Buvo matuojami keturi kiekvieno augalo parametrai: taurelapio ilgis, taurelapio plotis, vainiklapio ilgis, vainiklapio plotis (centimetrais). Gauta imtis, sudaryta i² 150 ira²u (po 50 kiekvienos r u²ies irisu). Dalis ²ios imties pateikiama 2.4 lenteleje. Skaitiniai kintamieji X 1, X 2, X 3, X 4 ºymi minetus augalo parametrus, o kokybinis kintamasis Y nusako augalo r u²i. Klausimas kaip nepriklausomi kintamieji X 1, X 2, X 3, X 4 itakoja iriso r u²i, t.y. priklausomyb vienai i² triju klasiu, nusakomu priklausomo kintamojo Y reik²memis. I²nagrinejus visus 150 imties ira²u, galima b utu "i²mokti", pavyzdºiui, tokias irisu klasikavimo taisykles: Jei X 3 < 2, 45 tai Y = Iris setosa Jei X 2 < 2, 10 tai Y = Iris versicolor Jei X 2 < 2, 45 ir X 3 < 4, 55 tai Y = Iris versicolor Jei X 2 < 2, 95 ir X 4 < 1, 35 tai Y = Iris versicolor Jei X 3 > 2, 45 ir X 3 < 4, 45 tai Y = Iris versicolor Jei X 1 > 5, 85 ir X 3 < 4, 75 tai Y = Iris versicolor Jei X 2 < 2, 55 ir X 3 < 4, 95 ir X 4 < 1, 55 tai Y = Iris versicolor Jei X 3 > 2, 45 ir X 3 < 4, 95 ir X 4 < 1, 55 tai Y = Iris versicolor Jei X 1 > 6, 55 ir X 3 < 5, 05 tai Y = Iris versicolor Jei X 2 < 2, 75 ir X 4 < 1, 65 ir X 1 < 6, 05 tai Y = Iris versicolor Jei X 1 > 5, 85 ir X 1 < 5, 95 ir X 3 < 4, 85 tai Y = Iris versicolor Jei X 3 > 5, 15 tai Y = Iris virginica Jei X 4 > 1, 85 tai Y = Iris virginica Jei X 4 > 1, 75 ir X 2 < 3, 05 tai Y = Iris virginica Jei X 3 > 4, 95 ir X 4 < 1, 55 tai Y = Iris virginica 44

45 Taurelapio Taurelapio Vainiklapio Vainiklapio Iriso ilgis (X 1 ) plotis (X 2 ) ilgis (X 3 ) plotis (X 4 ) r u²is (Y ) 1 5,1 3,5 1,4 0,2 Iris-setosa 2 4,9 3,0 1,4 0,2 Iris-setosa 3 4,7 3,2 1,3 0,2 Iris-setosa 4 4,6 3,1 1,5 0,2 Iris-setosa 5 5,0 3,6 1,4 0,2 Iris-setosa 50 5,0 3,3 1,4 0,2 Iris-setosa 51 7,0 3,2 4,7 1,4 Iris-versicolor 52 6,4 3,2 4,5 1,5 Iris-versicolor 53 6,9 3,1 4,9 1,5 Iris-versicolor 54 5,5 2,3 4,0 1,3 Iris-versicolor 55 6,5 2,8 4,6 1,5 Iris-versicolor 100 5,7 2,8 4,1 1,3 Iris-versicolor 101 6,3 3,3 6,0 2,5 Iris-virginica 102 5,8 2,7 5,1 1,9 Iris-virginica 103 7,1 3,0 5,9 2,1 Iris-virginica 104 6,3 2,9 5,6 1,8 Iris-virginica 105 6,5 3,0 5,8 2,2 Iris-virginica 150 5,9 3,0 5,1 1,8 Iris-virginica 2.4 lentele. Irisu r u²ys 45

46 Kaip matome, ²ios taisykles yra labai komplikuotos. Veliau nagrinesime specialius klasi- kavimo taisykliu konstravimo metodus, leidºian ius gauti toki pat informacij suteikian- ias, ta iau ºymiai kompakti²kesnes taisykles Rankra² io atpaºinimas Skanuojant ranka ra²ytus skaitmenis, pavyzdºiui pa²to indeksus ant voko, asmens kodus dokumentuose ar anketose, del rankra² io ir ra²ymo priemoniu skirtumu galimos klaidos juos atpaºistant. Tarkime, kad po tam tikru transformaciju skaneris kiekvien ranka ra²yt skaitmeni i²saugo kaip nespalvot 16 x 16 = 256 pikseliu pie²ini. Keliasde²imt tokiu pie²iniu pavyzdºiu matome 2.3 paveiksle. 2.3 pav. Ranka ra²ytu skaitmenu pavyzdºiai Kiekvieno pikselio ²viesumas kinta nuo 0 iki 255 todel apra²omas skaitiniu kintamuoju X i {0, 1,..., 255}, (i = 1, 2,..., 256). Taigi kiekvienas imties ira²as (X 1, X 2,..., X 256, Y ) tures 256 nepriklausomus kintamuosius, kuriu reik²mes apsprendºia ojo ( priklausomo ) kategorinio kintamojo Y reik²m. ƒia Y nusako klas, kuriai priklauso visas pie²inys t.y. koks skaitmuo jame pavaizduotas. Tad vel turime spr sti klasikavimo uºdavini ir Y {0, 1,..., 9}. Ta iau, jei skaitmuo para²ytas labai neai²kiai, reiketu numatyti pakartotinio 46

47 skanavimo arba "rankinio" identikavimo galimyb. Tam reiketu klasiu skai iu padidinti iki vienuolikos, leidºiant kai kuriuos ira²us priskirti klasei neperskaitau. Tai sumaºintu klaidos tikimyb Skaitine prognoze Nors irisu imtyje visi nepriklausomieji kintamieji buvo skaitiniai, ta iau klasikavimas buvo atliekamas pagal kategorini kintam ji. 2.5 lenteleje pateikiama dalis duomenu apie ivairias ( hipotetines ) kompiuterio kong uracijas, siekiant i²siai²kinti kaip priklauso jo na²umas, i²reik²tas s lyginiais vienetais, nuo ivairiu sistemos parametru. Takto Pagr.atm. Pagr.atm. Spart. Kanalai Kanalai Na²uilgis (ns) min (Kb) max(kb) atm.(kb) min max mas X 1 X 2 X 3 X 4 X 5 X 6 Y lentele. Kompiuterio darbo na²umo duomenys Laikydami, kad na²umas (priklausomas kintamasis Y ) tiesi²kai priklauso nuo kintamuju 47

48 X 1, X 2, X 3, X 4, X 5, X 6, galetume gauti, pavyzdºiui, toki kintamojo Y iverti: Ŷ = 66, , 066X 1 + 0, 014X 2 + 0, 0066X 3 + 0, 494X 4 0, 172X 5 + 1, 20117X 6. Tai yra vadinamasis tiesines regresijos modelis, o gautoji lygybe kartais dar vadinama tiesines regresijos lygtimi. Kaip randami ²ios lygties koecientai bei kaip atrodo kitokie regresijos modeliai kalbesime veliau. 2.2 Duomenys ir ju atributai Pereisime prie kiek nuoseklesnio destymo. Vieno populiacijos objekto stebejimo (matavimo) rezultatas vadinamas ira²u. Visi ira²ai sudaro imti, o ju kiekis vadinamas imties dydºiu. Tuo atveju, kai matuojame tik vien atribut (pvz., ugi), ira²as tures vienintel komponent, o stebimasis dydis (ir pati imtis) vadinami vienma iais. Jei mums r upi kelios stebimojo objekto charakteristikos (pvz., lytis, ugis ir svoris), tai ira² sudarys p komponen iu (paminetuoju atveju p=3), o pats stebimasis dydis (ir imtis) vadinami p- ma iais. Pavyzdºiui, Fi²erio irisu imtis i² skyrelio yra penkiamate ( p = 5 ), o jos dydis lygus 150. Komponentes sudaro ivairiu tipu kintamieji. Daºniausiai sutinkami skaitiniai (kitaip: kardinalieji ar kiekybiniai) kintamieji, jie dar skirstomi i tolydºiuosius (temperat ura, t uris, laikas,...) ir diskre iuosius (vaiku ²eimoje skai ius, avariju ar klientu per dien skai ius,...). Bet kuris i² ²iu tipu skirstomas dar i dvi grupes - santykinius (svoris, ugis ir pan.; prasm turi ne tik svoriu skirtumas, bet ir santykis) ir intervalinius ( kitaip: skirtuminius ) (temperat ura, IQ, data; skirtumai turi prasm, ta iau santykiai - ne). Dydºio priskyrimas vienai ar kitai grupei i² esmes priklauso nuo to, galime ar ne ivesti prasming nuli. Santykiniams kintamiesiams teiginys pavidalo: Jonas (60 kg) yra du kartus sunkesnis uº maº ji August (30 kg), yra teisingas (nes, kokius svorio vienetus beivestume, s voka "svoris lygus nuliui" rei²kia t pati), ta iau teigti, kad ²iandien (+20 C) yra dvigubai ²il iau negu vakar (+10 C) yra neteisinga, nes, pvz., Farenheito skaleje ²ios temperat uros uºra²omos kaip +68 F ir +50 F. Pana²iai yra su intelektualumo koecientu IQ (nes psichologai nesutaria, k rei²kia IQ=0) ar su data (paprastai atskaitos pradºia (pvz., Kristaus gimimas) yra susitarimo reikalas). Antra vertus, teiginys, kad futbolo rungtyniu kelinys trunka du su puse 48

49 karto ilgiau negu krep²inio, yra teisingas (laiko momentu (ar temperat uru) skirtumas yra santykinis kintamasis, nes s voka "ivykis truko 0 laiko" yra vienareik²mi²kai suprantamas). Kit dydºiu klas sudaro kokybiniai ( kitaip: kategoriniai) kintamieji, kurie savo ruoºtu skirstomi i ranginius ir vardinius. Ranginiai (kitaip: tvarkos arba ordinalieji ( lot. ordinatio - sutvarkymas)) kintamieji (pvz., varºybose uºimta vieta, i²simokslinimas,...). Tarkime, kad keturiu komandu turnyre komandos U, V ir Z po pirmojo rato surinko atitinkamai 45, 16 ir 18 ta²ku. 1-as ratas 2-as ratas Galutinis rezultatas U A S A V B A S Z S B B Kadangi 0 yra nat urali vertinimo skales pradºia, ta²ku skai ius yra skaitinis santykinis kintamasis. Antra vertus, sporto esme yra kuo auk²tesne vieta, todel komandas galima i²destyti pagal uºimt viet. Kitais ºodºiais, U yra 1-ji, V - 3-ji, o Z - 2-ji komanda, ta iau dabar skai iai 1, 2, ir 3 yra komandos vieta arba rangas. Ties sakant, tai netgi ne skai iai, o simboliai, komandas mes galime pavadinti auksine, sidabrine arba bronzine (A, S ir B). Jei tartume, kad pirmenybese buvo ir antrasis ratas, kuriame komandos surinko atitinkamai 28, 30 ir 12 ta²ku, tai ai²ku, kad ju ta²kus galima (ir reikia) sudeti, ta iau simboliu (ranginiu kintamuju) A, S ir B suma prasmes neturi. Prisiminkime 2.1 lenteleje pateikt oro s lygu stebejimo imti. Visi penki kintamieji ²ioje imtyje yra kategoriniai. Ta iau tik Temperat ura ir Dregnumas bus ranginiai. Tuo tarpu likusieji trys yra vardiniai (arba nominalieji (nominus - lot. vardas)) kintamieji, nes ²iuo atveju jokio nat uralaus i²destymo "didejimo tvarka" nera. Kiti vardiniu kintamuju pavyzdºiai galetu b uti : akiu spalva, socialine grupe, automobilio gamintojo vardas ir t.t. Taip pat vardinis yra ir skyrelyje skaitmenu atpaºinimo uºdavinyje nagrinejamas kintamasis Y. Nors Y {0, 1,..., 9}, ta iau jo negalime laikyti ranginiu, nes pavyzdºiui, tai kad Y = 5 49

50 ²iuo atveju rei²kia, kad pie²inyje buvo "nupie²tas" penketas. Kitaip sakant, tai yra tam tikros klases, kuriai priklauso pie²inys, kodas. Mes susipaºinome su ivairiais kintamuju tipais. Atkreipsime demesi, kad skai ius prasmingu operaciju, kurias galime atlikti su kintamaisiais, priklauso nuo ju tipo. Pavyzdºiui, nera jokios prasmes skai iuoti vardinio kintamojo vidurki, net jei galimos tokio kintamojo reik²mes uºkoduotos skai iais. 2.6 lenteleje i²vardintos leistinos operacijos ivairiems kintamiesiems. Kintamojo tipas Leistinos operacijos Kategorinis Vardinis Ira²u, patekusiu i kiekvien kategorij, skai iaus radimas Ranginis Ira²u, turin iu konkretu rang, skai iaus radimas. Rangu palyginimas (santykiai "daugiau", "maºiau") Skaitinis Intervalinis Sudetis, atimtis, daugyba, dalyba i² skai iaus Santykinis Visos matematines operacijos 2.6 lentele. Kintamuju tipai ir leistinos operacijos 2.3 Pradine duomenu analize ir ju transformacijos Pradiniai duomenys beveik niekada neb una "graº us" ir i² karto tinkami naudojimui. Todel prie² pradedant spr sti vienoki ar kitoki duomenu tyrimo uºdavini, duomenis reikia paruo²ti taip, kad jie b utu tinkami numatomam tyrimo uºdaviniui ir jo sprendimo algoritmui. Aptarsime daºniausiai pasitaikan ias problemas ir galimus ju sprendimo b udus Duomenu transformacijos Galimu reik²miu skai iaus atºvilgiu, papras iausi yra kategoriniai kintamieji. Ju reik²mes, priklausomai nuo duomenu prigimties, yra labai ivairios. Ta iau, kaip ºinia, bet koks matematinis aparatas labiausiai "pritaikytas" dirbti su skai iais. Todel, turedami kategorini 50

51 kintam ji X, igyjanti k (k 1) skirtingu reik²miu, galime galvoti, kad X {1, 2,..., k}. Prisiminkime oro s lygu imti 2.2 lenteleje. Juk kiekvienam matematikui ir, gal b ut, daugumai duomenu tyreju uºra²as X 1 {1, 2, 3} yra ºymiai malonesnis ir ai²kesnis nei X 1 {saulėta, debesuota, lietinga}. Dvi reik²mes igyjanti kintam ji galima koduoti binariniu kodu : 0 ir 1. Beje, kartais statistiniuose tyrimuose k -reik²mis kategorinis kintamasis X transformuojamas i vadinam ji ktyvu ( angl. dummy) kintam ji X, kurio reik²mes yra k - ºenkliai binariniai ºodºiai, sudaryti i² k 1 nulio ir vieno vieneto. Pavyzdºiui, jau minetas oro s lygas nusakantis kintamasis X 1 b utu koduojamas taip X 1 X 1 sauleta 100 debesuota 010 lietinga 001 Skaitiniu kintamuju transformacijos priklauso nuo naudojamu duomenu tyrimo metodu. Daºnai algoritmai, besiremiantys atstumo p - mateje erdveje skai iavimu, reikalauja, kad skaitiniu kintamuju reik²mes b utu standartizuotos, kitaip sakant, priklausytu, pavyzdºiui, intervalui [ 1; 1] arba [0; 1]. Tarkime, kad n yra imties dydis, o x 1, x 2,..., x n yra ²ioje imtyje stebetos skaitinio kintamojo X reik²mes. Yra ivairiu X reik²miu standartizavimo b udu. Pateiksime tris i² ju. 1. De²imtainis standartizavimas. Apibreºkime sveik neneigiam skai iu K: K = min { k : k 0, 10 k max 1 i n x i 1 }. Tada standartizuotos reik²mes x i randamos, pastumiant kableli per K poziciju i kair. Taigi x i = x i 10 K. Akivaizdu, kad taip transformuotos reik²mes priklausys intervalui [ 1; 1]. 51

52 2. Min-max standartizavimas. De²imtainio standartizavimo tr ukumas gali pasireik²ti, kai visos reik²mes x i yra "sustumiamos" i palyginti maº intervalo [ 1; 1] dali. Pavyzdºiui, jei visi x i [100; 200], tai x i [0, 1; 0, 2]. Tokios reik²miu koncentracijos leidºia i²vengti min-max transformacija. Paºymekime m = min 1 i n x i ir M = max 1 i n x i. Tada x i = x i m M m. Taip standartizuotos reik²mes priklausys intervalui [0; 1]. Norint jas "i²sklaidyti" intervale [ 1; 1], pastar j lygyb reiketu pakeisti tokia x i = 2x i M m M m. 3. z - standartizavimas. Tai labiausiai paplit s standartizavimas, kuris rei²kia vadinamuju z reik²miu skai iavim. Tarkime, kad x yra kintamojo X imties vidurkis, o s - imties standartinis nuokrypis : x = 1 n s = 1 n 1 n x i, n (x i x) 2. Tuomet z reik²mes skai iuojamos pagal formul z i = x i x s iai transformacijai b udinga tai, kad bet kurios duomenu aibes {x 1, x 2,..., x n } z reik²miu vidurkis visada lygus 0, o standartinis nuokrypis visada lygus 1 : z = 0, s z = 1. Gali kilti klausimas, kodel vienaip ar kitaip duomenys transformuojami prie² pradedant juos tirti. Ar neb utu papras iau, jei reikalingos transformacijos b utu tiesiog sudedamoji atitinkamu duomenu tyrimo algoritmu dalis? Atsakymui i ²i klausim, galima pamineti du argumentus. Visu pirma tokia pat transformacija reikalinga keliems skirtingiems duomenu 52.

53 tyrimo metodams. Todel kiekvien kart j skai iuoti i² naujo neracionalu. Dar svarbesnis yra kitas motyvas. Duomenu tyrimo metu ir testuojant gautas i²vadas, daºnai tenka dirbti tiek su visa imtimi, tiek su dalimi jos ira²u. Kad kiekvien kart negautume vis kitaip standartizuotus duomenis, atitinkamu transformaciju parametrai, kart juos suskai iavus, turetu b uti saugomi kartu su tyrimo rezultatais Tolydºiuju kintamuju diskretizavimas I² skaitiniu tolydºiuju kintamuju galima gauti ranginius, o i² ²iu - vardinius kintamuosius, ta iau taip prarandama dalis informacijos. Pavyzdºiui, tegul kintamasis yra ugis. Renkame informacij apie studentu vaikinu ugi. Mums tereikia ºinoti, ar vaikinas ºema ugis ( iki 160cm ), ar vidutinio ugio ([160; 180] ), ar auk²ta ugis ( per 180 cm). iuo atveju ugis jau nusakomas ranginiu kintamuoju, turin iu tris leistinas reik²mes: ºema ugis,vidutinio ugio ir auk²ta ugis. Informacijos nuostoliai bus tuo maºesni, kuo "teisingiau" suskaidysime pradini reik²miu interval i 3 dalis ( jei i² anksto apsispr sta grupuoti studentus i 3 ugio kategorijas ). Aptarsime vien i² galimu pana²aus uºdavinio sprendimo b udu. Tarkime, kad X yra vienas i² tolydºiu nepriklausomu kintamuju, o Y - priklausomas kategorinis kintamasis, turintis k kategoriju. Galime laikyti, kad Y {1, 2,..., k}, o imties ira²ai yra {(x i, y i ), i = 1, 2,..., N}. Diskretizuosime kintam ji X, transformuodami ji i kategorini kintam ji, turinti ne daugiau kaip k X kategoriju (2 k X < N). Pirmiausiai vis kintamojo X leistinu reik²miu interval skaidome i nesikertan ius intervalus taip, kad skirtingos reik²mes x i priklausytu skirtingiems intervalams. Tarkime, kad I 1 ir I 2 yra bet kurie du gretimi dalinimo intervalai. Toliau, pasirink reik²mingumo lygmeni 0 < α < 1, tikriname ar statisti²kai reik²mingas skirtumas tarp kintamojo Y skirstiniu, kai X priklauso intervalams I 1 ir I 2. Tikrinimui naudosime χ 2 kriteriju. Paºymekime n mj skai iu ira²u, kuriems X I m ir Y = j ( m = 1, 2 ; j = 1, 2,..., k ), t.y. n mj = N x i Im,y i =j 1. 53

54 Be to, tegul n j = n 1j + n 2j, n m = ir k n mj. j=1 n = n 1 + n 2 = Kitaip sakant, n yra ira²u, kuriems X I 1 I 2, skai ius. Visi ²ie ºymejimai ir ju tarpusavio s ry²iai atsispindi 2.7 lenteleje. k j=1 n j. X\Y k Σ I 1 n 11 n n 1k n 1 I 2 n 21 n n 2k n 2 Σ n 1 n 2... n k n 2.7 lentele. Porine daºniu lentele Kriterijaus funkcija ( kitaip dar vadinama kriterijaus statistika) yra χ 2 = 2 k m=1 j=1 (n mj E mj ) 2 E mj, ia E mj - tiketinieji daºniai. Jie apskai iuojami pagal formul E mj = n m n j n. Laisves laipsniu skai ius lygus k 1. Jei daºniu lenteleje kuris nors i² n m ar n j lygus 0, laikysime, kad E mj lygus kokiam nors maºam teigiamam skai iui, tarkime E mj = 0, 1. Tuo siekiama i²vengti dalybos i² 0, skai iuojant χ 2. Jei gautoji χ 2 reik²me yra maºesne uº χ 2 skirstinio su k 1 laisves laipsniu α lygmens kritin reik²m χ 2 α(k 1), tai galime tvirtinti, kad kintamojo Y skirstinys nepriklauso nuo to kuriam i² intervalu I 1 ar I 2 priklauso X reik²mes. Todel intervalus I 1 ir I 2 galime sujungti ir vienetu sumaºinti turimu intervalu skai iu. 54

55 Prakti²kai procedura atliekama taip. Suskai iuojamos χ 2 reik²mes visoms gretimu intervalu poroms. Tegul I 1 ir I 2 yra gretimi intervalai, kuriems ²i reik²me buvo maºiausia, tarkime χ 2 = u. Toliau nagrinejame du galimus atvejus. a) Jei u < χ 2 α(k 1), tai intervalus I 1 ir I 2 sujungiame ir vel skai iuojame χ 2 reik²mes tik jau maºesniam intervalu skai iui. Tai kartojame tol, kol intervalu skai ius taps ne didesnis uº pageidaujam kategoriju kieki k X. Pastebesime, kad kiekviename ºingsnyje (ai²ku, i²skyrus pirm ji) reikes perskai iuoti ne daugiau, kaip dvi χ 2 reik²mes. b) Kuriame nors ºingsnyje gauname, kad u χ 2 α(k 1) ir turimas intervalu skai ius vis dar didesnis uº k X. Tada, sumaºin reik²mingumo lygmeni α, padidiname χ 2 α(k 1) ir t siame proced ur (ºr. punkt a)) Jei reikia diskretizuoti kelis kintamuosius, ²i proced ura kartojama, kiekvienam i² ju parenkant tinkamus parametrus k X ir α. Pastebesime, kad χ 2 α(k 1) reik²mes randamos lentelese arba skai iuojamos, panaudojant specialias statistiniu paketu funkcijas. Panagrinekime pavyzdi. Pavyzdys. Buvo tiriamas naujos gydymo metodikos efektyvumas pacientams, kuriu amºius iki 60 metu. Rezultat nusako kintamasis Y. Jei po gydymo kurso uºksuotas pagerejimas, tai Y = 1. Prie²ingu atveju Y = lenteleje pateikti duomenys apie 12 stebetu ligoniu. Pasirink reik²mingumo lygmeni α = 0, 1 ir jo nekeisdami, suskaidysime X leistinu reik²miu interval (0; 60] taip, kad gautume kuo maºesni diskretizuoto kintamojo kategoriju skai iu. Turime, kad Y kategoriju skai ius k = 2. Tada χ 2 skirstinio kritiniu reik²miu lenteleje randame χ 2 0,1(1) = 2, 706. Pradinius intervalo skaidymo ta²kus pasirinksime, imdami vidurius tarp dvieju gretimuju kintamojo X reik²miu. Taigi pradinis skaidinys tures 12 intervalu : (0; 2], (2; 5],..., (52, 5; 60]. Vienuolikai gretimu intervalu poru apskai iuojame χ 2 reik²mes. Maºiausia bus kai 55

56 Paciento amºius (m.) Gydymo rezultatas X Y lentele. Gydymo rezultatai I 1 = (7, 5; 8, 5], I 2 = (8, 5; 10]. Paºi urekime kaip ji randama. iuos intervalus atitinkanti porine daºniu lentele yra X\Y 1 2 Σ I 1 = (7, 5; 8, 5] n 11 = 1 n 12 = 0 n 1 = 1 I 2 = (8, 5; 10] n 21 = 1 n 22 = 0 n 2 = 1 Σ n 1 = 2 n 2 = 0 n = 2 Pagal ²iuos duomenis apskai iuojame tiketinuosius daºnius. Turesime E 11 = E 21 = = 1 ir E 12 = E 22 = 0, 1, nes n 2 = 0. Todel χ 2 = (1 1)2 1 + (0 0, 1)2 0, 1 + (1 1)2 1 + (0 0, 1)2 0, 1 = 0, 2. 56

57 Kadangi χ 2 < 2, 706, tai sujung nagrinejamus intervalus, vietoje I 1 ir I 2 turesime vien nauj interval (7, 5; 10]. Toliau t sdami intervalu jungimo proces, ateisime iki triju intervalu skaidinio : (0; 10], (10; 42], (42; 60]. Ar galima kuriuos nors i² ju sujungti? Suskai iuosime dvi ²io skaidinio gretimu intervalu poras atitinkan ias χ 2 reik²mes. 1. Skai iavimai intervalams (0; 10] ir (10; 42]. X\Y 1 2 Σ I 1 = (0; 10] n 11 = 4 n 12 = 1 n 1 = 5 I 2 = (10; 42] n 21 = 1 n 22 = 3 n 2 = 4 Σ n 1 = 5 n 2 = 4 n = 9 E 11 2, 78, E 12 2, 22, E 21 2, 22, E 22 1, 78. Todel χ 2 2, Skai iavimai intervalams (10; 42] ir (42; 60]. X\Y 1 2 Σ I 1 = (10; 42] n 11 = 1 n 12 = 3 n 1 = 4 I 2 = (42; 60] n 21 = 3 n 22 = 0 n 2 = 3 Σ n 1 = 4 n 2 = 3 n = 7 E 11 2, 29, E 12 1, 71, E 21 1, 71, E 22 1, 29. I² ia gauname χ 2 3, 96. Kaip matome, abiem atvejais χ 2 reik²mes didesnes uº kritin reik²m χ 2 0,1(1) = 2, 706. Tai rodo, kad tarp ²iu intervalu yra esminiai skirtumai ir jungti juos nerekomenduojama. Tiriam imti dabar galime uºra²yti daºniu lenteles pavidalu 57

58 Paciento Gydymo rezultatas Amºius 1 2 jaunas 4 1 vidutinis 1 3 vyresnis 3 0 ƒia pacientai skirstomi i tris amºiaus grupes, nusakomas gautais metu intervalais (0; 10], (10; 42], (42; 60]. šinoma, dalies informacijos, lyginant su 2.8 lentele, netekome. Pavyzdºiui, vidutiniam pacientu amºiui skai iuoti pastaroji lentele nebetiktu. Ta iau ji lengviau vizualiai suvokiama Tr ukstamosios reik²mes Daºnai del tam tikru prieºas iu neimanoma i²matuoti kai kuriu vieno ar keliu objektu parametru. Tai rei²kia, kad kai kuriuose ira²uose nera vieno ar keliu kintamuju reik²miu. Tai vadinamosios tr ukstamosios reik²mes ( praleistieji stebejimai ). Jei tokiu ira²u dalis visoje imtyje nedidele, galima juos papras iausiai i²mesti arba, atliekant skai iavimus, ignoruoti. Priklausomai nuo to, kokiomis programinemis priemonemis atliekamas tyrimas. Ta iau kartais ir tr ukstamos reik²mes (arba ju skai ius) yra informatyvios. Pavyzdºiui, papra²ius ivertinti politiko populiarum 10 balu skaleje, 1% apklaustuju ji ivertino de²imtukais, o 99% nurode, kad tokio politiko neºino ( t.y. turime net 99% tr ukstamu reik²miu ). Taigi ar ²is politikas gali laikyti save populiariu? iuo atveju, matyt, reiketu kitaip planuoti apklaus. Pavyzdºiui, galima i²plesti populiarumo vertinimo skal iki 11, laikant, kad nepaºistamo politiko populiarumas lygus 0. Kita vertus, jei imtis nedidele ir yra galimybe, reiketu pabandyti atstatyti tr ukstamas reik²mes, pasitelkiant i pagalb ir duomenu savininkus ar tyrimo uºsakovus. Pagaliau papras iausias (bet neb utinai geriausias ) b udas eliminuoti tr ukstamas reik²mes, automati²kai pakei iant jas tam tikromis konstantomis. Galimi, pavyzdºiui, tokie variantai. 1. Visas tr ukstamas vieno kintamojo reik²mes kei iame viena konstanta. ios konstantos reik²me labai priklauso tiek nuo tiriamu duomenu prigimties, tiek nuo tyrimo metodu. 58

59 2. Visas tr ukstamas vieno skaitinio kintamojo reik²mes kei iame jo vidurkiu. 3. Jei ira²ai jau yra kokiu nors b udu klasikuoti, tai tr ukstamas vieno skaitinio kintamojo reik²mes kei iame jo vidutine reik²me toje klaseje, kuriai priklauso nagrinejamas ira²as. ie paprasti problemos sprendimo b udai atrodo viliojan iai. Ta iau jais piktnaudºiauti nevertetu. Kei iant vieno ar, juo labiau, keliu kintamuju tr ukstamas reik²mes, duomenys yra i²kraipomi. Viena konstanta kei iant visu kintamuju tr ukstamas reik²mes, galime gauti taip vadinamas i²skirtis t.y. maºai tiketinas arba net visi²kai neimanomas kai kuriu kintamuju reik²mes. Pavyzdºiui, nutar visu skaitiniu kintamuju tr ukstamas reik²mes pakeisti 0, galime "atrasti", kad kai kurie pilie iai visai nieko nesveria arba ju svoris normalus, bet ugis lygus 0. Bet kuriuo atveju, tr ukstamu reik²miu pakeitimas daºniausiai remiasi prielaida, kad tos tr ukstamos reik²mes "nedaro dideles itakos" tyrimo rezultatui. Ar tikrai taip, reiketu isitikinti sprendºiant t pati uºdavini skirtingais metodais, taikant skirtingus tr ukstamu reik²miu eliminavimo b udus ar net atsisakant kintamuju, turin iu daug neºinomu reik²miu. Beje, i²skirtys gali atsirasti ne tik eliminuojant tr ukstamas reik²mes. Tai gali b uti papras iausia duomenu ivedimo ar anketos pildymo klaida, pvz. nurodant kliento amºiu, para²yta 96 vietoje 69. Bet kartais i²skirtys atspindi koki nors objektyvu rei²kini. Tai liudija toks pavyzdys. Analizuojant prekybos tinklo nuolaidu korteliu duomenis, buvo pastebeta nedidele grupe klientu, perkan iu neitiketinai daug. Atidºiau i²tyrus ²ias i²skirtis, paai²kejo, kad visos korteles priklauso to paties prekybos tinklo parduotuviu kasininkams. Jie papras iausiai "paskolindavo" savo korteles ju neturintiems klientams, siekdami gauti daugiau premijiniu ta²ku. Kategorinio kintamojo i²skirtimi paprastai laikoma reik²me, nepriklausanti jo leistinu reik²miu aibei. Sunkiau apib udinti skaitinio kintamojo i²skirti. Pavyzdºiui, kokia kreditines korteles apyvarta laikytina i²skirtimi? Intuityviai ai²ku, kad tai priklauso ne tik nuo apyvartos dydºio, bet ir nuo tiriamos populiacijos. Juk auksiniu korteliu savininku imtyje ir studentu imtyje i²skirtines apyvartos dydis turetu skirtis. Todel daºniausiai i²skirtimis laikomos tos skaitinio kintamojo reik²mes x i, kuriu z reik²mes absoliu iuoju didumu didesnes uº 3 : z i > 3. Toks apibreºimas grindºiamas tikimybiu 59

60 teorijoje gerai ºinoma ƒeby²ovo nelygybe. Beje, kai kurie autoriai si ulo laikyti "itartinomis" jau tas reik²mes x i, kurioms z i > 2. Taigi tiek tr ukstamas reik²mes, tiek i²skirtis reikia analizuoti atidºiai, gerai suprantant turimu duomenu prigimti. Pageidautina, kad ²iame procese dalyvautu ir duomenu savininkai arba tos srities ekspertai Objektu artumo matai Skiriamos dvi objektu artumo matu r u²ys: atstumai ir pana²umo ( kitaip: asociatyvumo ) koecientai apibreºimas. Atstumu tarp dvieju objektu a ir b vadinsime neneigiam skaitin funkcij d(a, b), nusakan i kiek skirtingi a ir b. Objektai yra pana² us, jei atstumas tarp ju maºas apibreºimas. Dvieju objektu a ir b pana²umo koecientu vadinsime skaitin funkcij s(a, b), nusakan i kiek pana² us a ir b. Kuo didesnis pana²umo koecientas, tuo pana²esniais vadinami objektai. Daugelis atstumu yra metrikos apibreºimas. Atstumas d(a, b) yra metrika, jei jis tenkina s lygas: 1) simetri²kumo: d(a, b) = d(b, a) ; 2) trikampio nelygybes: d(a, b) d(a, c) + d(c, b) ; 3) netapa iu objektu atskiriamumo: d(a, b) = 0 a = b. Artumo mato pasirinkimas labai priklauso nuo matuojamu objektu atributu tipo, matavimo skales bei sprendºiamo uºdavinio. Tarsime, kad objektas nusakomas imties ira²o atributu reik²memis. Todel toliau neskirsime s voku "objektu artumas" ir "ira²u artumas" 1. Pradºioje aptarsime paprastu vieno atributo ira²u artumo matus. Tegul dvieju ira²u atributo reik²mes yra u ir v. Daºniausiai sutinkami atstumai ir pana²umo koecientai, priklausomai nuo atributo tipo, pateikiami 2.9 lenteleje Nesunku isitikinti, kad kad visi ²ioje lenteleje 1 I² tikruju objektas ir jo atributu reik²miu rinkinys ai²ku nera tas pats. Pavyzdºiui gali sutapti dvieju ºmoniu ugis, bet ne patys ºmones. 60

61 Atributo tipas Atstumas Pana²umo koecientas Vardinis 0, jei u = v, d(u, v) = 1, jei u v. s(u, v) = 1 d(u, v) Ranginis (galimos reik²mes vaizduoja- d(u, v) = mos skai iais 0, 1, 2,..., M ) u v M Skaitinis d(u, v) = u v s(u, v) = s(u, v) = 1 d(u, v) d(u, v) s(u, v) = e d(u,v) s(u, v) = 1 d(u, v) d min d max d min 2.9 lentele. Vieno atributo reik²miu u ir v artumo matai pamineti atstumai yra metrikos. Kai objekt nusako k skaitiniu atributu, tenka matuoti atstumus tarp vektoriu u = (u 1, u 2,..., u k ) ir v = (v 1, v 2,..., v k ). Daºniausiai naudojami Minkovskio metrikos ( k ) 1/q d(u, v) = u i v i q, q 1, (2.1) atskiri atvejai. q = 1. Manheteno (blokinis) atstumas k d(u, v) = u i v i. (2.2) Kai u ir v yra binariniai vektoriai, ²i metrika dar vadinama Hamingo atstumu ir rei²kia nesutampan iu bitu skai iu. q = 2. Euklido metrika d(u, v) = k u i v i 2. (2.3) 61

62 q =. ƒeby²ovo ( maksimumo ) atstumas d(u, v) = max i u i v i. (2.4) Skai iuojant ƒeby²ovo atstum, naudojama tik dalis turimos informacijos apie objektus. Kada tai pateisinama? Tarkime, grupei keliautoju atliekamas suderinamumo testas. Norima sudaryti grupeles (klasterius), i kurias patektu pana²iu charakteriu (matuojamu atributu) ºmones, t.y. visi ju skirtumai neb utu ry²k us. Tinkamiausias ²iuo atveju pana²umo kriterijus yra maºas ƒeby²ovo atstumas. Vienas i² metriniu atstumu matu tr ukumu - nevienoda skirtingai matuojamu atributu itaka. Kintamieji, kuriu sklaidos charakteristikos igyja dideles reik²mes, gali nustelbti maºai ivairuojan iu kintamuju itak. Tarkime, turime du vektorius (1; 200) ir (1, 1; 500). Euklido atstumas tarp ju yra 0, , Atstum fakti²kai nulemia antroji vektoriu koordinate. Vienas i² b udu ²io tr ukumo i²vengti - uºuot naudojus pa ius atributus, imti ju standartizuot sias reik²mes ( ºr skyreli ). Kitas b udas - turint tokius duomenis, naudoti m steliu skirtumus kompensuojan i metrik. Viena i² tokiu - Mahalanobio atstumas d M (u, v) = (u v)σ 1 (u v) T, (2.5) ia Σ 1 yra atributu kovariaciju matricos Σ = (σ ij ) k k atvirk²tine matrica. Priminsime, kad i - tojo ir j - atributu kovariacija apibreºiama taip: σ ij = cov(x i, x j ) = 1 n 1 n (x li x i )(x lj x j ), (2.6) l=1 ia x i = (x 1i, x 2i,..., x ni ) T i - tojo atributo reik²miu stulpelis, x i = 1 n n x li, l=1 i = 1, 2,..., k. 62

63 Kai kovariaciju matrica yra vienetine, Mahalanobio atstumas sutampa su Euklido metrika. Atstumas tarp diskre iuju vektoriu paprastai rei²kiamas nesutapimu metrika d (u, v) = 1 k k 1. (2.7) u i v i Aptarsime ir kelet vektoriu pana²umo matu. Vektoriu skaliarin sandaug ir vektoriaus ilgi ºymesime u v = k u i v i, v = v v. Be to, paºymesime v - vidurkiu vektoriu, sudaryt i² k vienodu koordina iu v v = ( v, v,..., v), v = 1 k k v i. Keletas daºniausiai naudojamu pana²umo koeciento i²rai²ku pateikiama 2.10 lenteleje. Palyginsime binariniu vektoriu suderinamumo ir šakardo pana²umo koecientus. Jei u ir v yra binariniai vektoriai, tai 0 ir 1 i²sidestym ju koordinatese nusako daºniu lentele u i \v i k 00 k 01 1 k 10 k 11 ƒia k lm rei²kia koordina iu, tenkinan iu s lygas u i = l, v i = m, skai iu. Ai²ku, kad k 00 + k 01 + k 10 + k 11 = k, o sutampan iu koordina iu skai ius yra lygus k 00 + k 11. Todel suderinamumo koecientas s sud (u, v) = 1 d (u, v) = k 00 + k 11 k Skai iuojant šakardo pana²umo koecient s J (u, v), sutampantys nuliai nera svarb us s J (u, v) = k 11 k 01 + k 10 + k

64 Pavadinimas s(u, v) formule Suderinamumo 1 d (u, v) šakardo Vektoriu kampo kosinusas Koreliacijos u v u 2 + v 2 u v u v u v (u ū) (v v) u ū v v 2.10 lentele. Vektoriu u ir v pana²umo koecientai s(u, v) pavyzdys. Parduotuve prekiauja 10 pavadinimu prekemis. Dvieju pirkeju "krep²eliai" vaizduojami binariniais vektoriais u = (0, 1, 0, 1, 0, 0, 0, 0, 0, 0) v = (1, 0, 1, 0, 0, 0, 0, 0, 0, 0). Tai rodo, kad pirmasis pirkejas pirko tik antro ir ketvirto, o antrasis - pirmo ir tre io pavadinimo prekes. Kaip matome, pirkeju poreikiai skirtingi. Ta iau suderinamumo koecientas rodo k kita s sud (u, v) = 1 d (u, v) = 1 0, 4 = 0, 6. Toki rezultat s lygoja daug sutampan iu nuliu. Bet prekes, kurios nesudomino ne vieno pirkejo, nera svarbios (pagalvokite koki rezultat gautume, jei parduotuves asortimentas b utu ne 10, o pavyzdºiui, pavadinimu ). šakardo koecientas ²iuo atveju objektyvesnis, nes jis ignoruoja sutampan ius nulius: s J (u, v) = = 0. Tokie atributai, kuriems svarbios yra tik nenulines reik²mes, kartais dar vadinami asimetriniais. 64

65 Koreliacijos koecientai paprastai naudojami kaip atsitiktiniu dydºiu ( atributu ) pana²umo matai. Kartais jais remiantis vertinamas objektu ( ira²u ) pana²umas. Statistikoje iprastas u ir v koreliacijos koeciento apibreºimas yra r(u, v) = cov(u, v) s u s v, ia kovariacija cov(u, v) randama pagal (2.6) formul, o s v ir s u yra vektoriu standartiniai nuokrypiai Nesunku isitikinti, kad s u = 1 k 1 k (u i ū) 2, s v = 1 k 1 r(u, v) = (u ū) (v v) u ū v v. k (v i v) 2. Koreliacijos koecientas visada priklauso intervalui [ 1; 1]. Jei jis lygus +1 arba 1, tai vektoriai yra tiesi²kai priklausomi v = au + b, be to krypties koecientas a ir r(u, v) tures vienodus ºenklus. Ta iau, jei r(u, v) = 0, tai dar nerei²kia, kad tarp vektoriu nera jokios priklausomybes. Pavyzdºiui, imkime vektorius u = ( 2, 1, 0, 1, 2), v = (4, 1, 0, 1, 4), kuriu koordinates susietos lygybe v i = u 2 i. Ta iau, neºi urint to, r(u, v) = 0. Kitaip sakant, koreliacijos koeciento lygybe nuliui rodo, kad nera tiesines priklausomybes. Jau aptareme homogeni²ku vektoriu pana²umo matus, t.y. kai visos vektoriaus komponentes yra vieno tipo atributu reik²mes. Deja daºniausiai imties atributai b una skirtingu tipu. Tad kaip matuoti atstum tarp heterogeni²ku vektoriu? Nat uralus problemos sprendimas b utu toks: pasirinkti i² 2.9 lenteles tinkam mat kiekvienam atributui ( vektoriaus koordinatei ) ir i² ju sudaryti bendr mat ( pavyzdºiui, apskai iuojant vidutin reik²m ). Esant galimybei, patartina kiekvieno atributo mat taip normuoti, kad jis priklausytu intervalui [0; 1]. Be to, galima ivesti papildomus svorio koecientus, leidºian ius atsiºvelgti i galim atributu asimetrij ir pageidaujam itak bendrajam matui. Gautume toki heterogeni²ku vektoriu u ir v artumo mato konstrukcij. 65

66 1. Pasirenkame i -tojo atributo atstum d i (u, v) = d(u i, v i ) [0; 1] arba pana²umo koecient s i (u, v) = s(u i, v i ) [0; 1]. 2. Apibreºiame i -tojo atributo asimetrijos ir tr ukstamu reik²miu indikatoriu δ i. Jis lygus 0, jei i - tasis atributas asimetrinis ir u i = v i = 0 arba kai kuriame nors vektoriuje tr uksta i - tosios koordinates. Kitais atvejais δ i = Pasirenkame i -tojo atributo svori w i 0 taip, kad visu svoriu suma b utu lygi 1 k w i = Randame atstum tarp vektoriu u ir v ( k ) 1 d(u, v) = δ i k w i δ i d i (u, v) (2.8) arba ju pana²umo koecient ( k ) 1 s(u, v) = δ i k w i δ i s i (u, v) (2.9) Skaitiniams vektoriams svorius analogi²kai galima ivesti ir Minkovskio metrikoje (2.1) ( k ) 1/q d(u, v) = w i u i v i q, q 1. (2.10) Jau mateme, kad objektu artumo mato pasirinkimas labai priklauso nuo imties atributu tipo. Ta iau ²i pasirinkim itakoja ir kiti faktoriai: sprendºiamo uºdavinio specika, naudojama programine iranga, ankstesne pana²iu uºdaviniu sprendimo patirtis ir t.t. Todel gali tekti pabandyti ivairus artumo matus, norint rasti tinkamiausi. 2.4 Duomenu tyrimo uºdaviniu tipai Turedami vienokius ar kitokius duomenis, priklausomai nuo poreikio, galime formuluoti ir spr sti ivairius duomenu tyrimo uºdavinius. Kontroliuojamo mokymo uºdaviniai. Tarkime imties ira²ai sudaryti i² nepriklausomo kintamojo X ir priklausomo kintamojo Y 66

67 reik²miu: (x 1, y 1 ),..., (x n, y n ). Beje kintamieji gali b uti ir daugiama iai. Tada ºymesime X = (X 1,..., X k ), o priklausomas kintamasis Y = (Y 1,..., Y m ). Analogi²kai x i = (x i1,..., x ik ) ir y i = (y i1,..., y im ) ºymesime i - tojo imties ira²o reik²mes. Priklausomai nuo kintamojo Y tipo, skiriami tokie kontroliuojamo mokymo uºdaviniai Klasikavimas. Kintamasis Y - kategorinis. I² turimu imties duomenu reikia "i²mokti" visoje populiacijoje nustatyti Y reik²m pagal ºinom X reik²m. Kitaip sakant, reikia "i²mokti" nustatyti kuriai kintamojo Y kategorijai priklauso bet kuris populiacijos objektas, kai ºinoma tik jo X reik²me pavyzdyje (ºr. 2.2 lentele ) kintamasis X = (X 1, X 2, X 3, X 4 ) nusako oro s lygas, pagal kurias reikia nuspr sti kuriai Y kategorijai priklauso konkreti meteorologine situacija, t.y., rungtynes ivyks ar ne. Pana²iai pavyzdyje pagal vainiklapio ir taurelapio matmenis irisai klasikuojami i tris kategorijas (r u²is); pavyzdyje pagal 256 pikseliu ²viesum nustatomas pie²inyje pavaizduotas skaitmuo. Ai²ku, kad ne visada pavyks vis populiacij klasikuoti tiksliai arba sukonstruotas absoliu iai teisingas klasikatorius (pavyzdºiui klasikacijos taisykliu seka arba sprendimu medis ) bus per daug sudetingas. Todel i² tikruju yra konstruojamas kintamojo Y ivertis Ŷ = f(x), (2.11) stengiantis, kad kuo didesnei imties ira²u daliai jis b utu teisingas, t.y. f(x i ) = y i. Kitaip sakant, turedami ira²us (x i, y i ), mes galime kontroliuoti gautojo iver io patikimum pavyzdyje ivertis, nusakomas 2.2 paveiksle pavaizduotu sprendimu medºiu, yra teisingas 22 ira²ams i² 24. Pastebesime, kad ²is pavyzdys skiriasi nuo kitu dar ir tuo, kad 2.3 lenteleje pateikiamos visos galimos keturma io nepriklausomo kintamojo reik²mes. Todel ia pagrindinis uºdavinys - suteikti turimiems duomenims kuo ai²kesn strukt ur, nurodant ai²ki ir patikim iver io funkcij f. Skaitine prognoze. Uºdavinys pana²us i klasikavimo uºdavini, tik ²iuo atveju priklausomas kintamasis Y - skaitinis. Todel, konstruojant iverti (2.11), svarbios yra prielaidos apie funkcijos f analizines savybes ir kintamojo X komponen iu itakos 67

68 svori. Kiek ivertis atitinka tikr ji kintam ji Y nusako vadinamoji klaidu ( nuostoliu ) funkcija L(Y, f(x)). ios funkcijos parinkimas taip pat itakoja galutini rezultat pavyzdyje visi kintamieji yra skaitiniai ir daroma prielaida, kad f yra tiesine nepriklausomu kintamuju funkcija 6 f(x) = β 0 + β j X j. Koecientai β = (β 0, β 1,..., β 6 ) rasti vadinamuoju maºiausiu kvadratu metodu. Kitaip sakant, pasirinkus klaidu funkcij L(Y, f(x)) = (Y f(x)) 2, j=1 buvo minimizuojama suma 209 S(β) = L(y i, f(x i )). Taigi, tiek spr sdami klasikavimo, tiek skaitines prognozes uºdavini, tai ko "i²mokstame" (t.y. sukonstruojame iverti Ŷ ) galime "pasitikrinti" palygindami gaut rezultat su imtyje turimais ira²ais. Ta iau yra ir tokiu uºdaviniu, kuriuos tenka spr sti be "mokytojo pagalbos". Nekontroliuojamo mokymo uºdaviniai. iuo atveju nera priklausomo kintamojo, todel imtis susideda tik i² kintamojo X reik²miu x 1,..., x n. Beje kintamojo X dimensija k gali b uti net didesne uº imties dydi n. I²skirsime tokius nekontroliuojamo mokymo uºdavinius Asociacijos taisykliu konstravimas. Papras iausios asociacijos taisykles buvo sukonstruotos pavyzdyje. Buvo stengiamasi 2.1 lenteleje iºvelgti kokius nors desningumus, t.y., kokias nors "desningas" kintamuju reik²mes. Paprastai ²is uºdavinys kyla analizuojant dideles dimensijos kategoriniu kintamuju imtis. Tipi²kas pavyzdys - vadinamasis pirkejo krep²elio uºdavinys: analizuojant prekybos centro pardavimu duomenis, stengiamasi nustatyti kokios prekes daºniausiai perkamos kartu. 68

69 Klasterine analize. Tikslas : turimus imties ira²us suskirstyti i tam tikras "nat uralias" grupes (klasterius). Klasteriu skai ius gali ir neb uti ºinomas i² anksto. Griºkime prie pavyzdºio. Tarkime, kad mes turime taurelapiu ir vainiklapiu matmenis, bet neºinome kokios r u²ies buvo augalai. Tada vietoje 2.4 lenteles turetume duomenis, pateiktus 2.11 lenteleje. Taurelapio Taurelapio Vainiklapio Vainiklapio ilgis (X 1 ) plotis (X 2 ) ilgis (X 3 ) plotis (X 4 ) 1 5,1 3,5 1,4 0,2 2 4,9 3,0 1,4 0,2 3 4,7 3,2 1,3 0,2 4 4,6 3,1 1,5 0,2 5 5,0 3,6 1,4 0,2 50 5,0 3,3 1,4 0,2 51 7,0 3,2 4,7 1,4 52 6,4 3,2 4,5 1,5 53 6,9 3,1 4,9 1,5 54 5,5 2,3 4,0 1,3 55 6,5 2,8 4,6 1, ,7 2,8 4,1 1, ,3 3,3 6,0 2, ,8 2,7 5,1 1, ,1 3,0 5,9 2, ,3 2,9 5,6 1, ,5 3,0 5,8 2, ,9 3,0 5,1 1, lentele. Irisu matmenys Turimos imties klasterine analize turetu "i²mokyti" mus atsakyti i tris klausimus: 1) Keliu r u²iu irisai buvo matuojami? 2) Kurios r u²ies buvo kiekvienas i² 150 jau i²matuotu augalu? 69

70 3) Kaip nustatyti bet kurio, naujai i²matuoto, iriso r u²i? Ai²ku, kad ²io ar kurio nors kito klasterizacijos uºdavinio sprendimas ir atsakymas priklausys ir nuo to kaip bus matuojamas dvieju imties ira²u atstumas. Kitaip sakant, k rei²kia "pana²ios kintamuju reik²mes". Tai ypa aktualu, kai dalis kintamuju yra kategoriniai. Skirtingai nuo klasikacijos ir skaitines prognozes, ²is apmokymas nera "kontroliuojamas" imties ira²ais. Todel patikrinti gautus rezultatus galima tik atsiºvelgiant i tai, kiek jie atitinka reali praktik. 70

71 3 Kontroliuojamo mokymo uºdaviniai: klasikavimas 3.1 Kontroliuojamas mokymas ir klasikavimas Tarkime imties ira²ai sudaryti i² nepriklausomo kintamojo X ir priklausomo kintamojo Y reik²miu: (x 1, y 1 ),..., (x n, y n ). Bendriausiu atveju kontroliuojamo mokymo uºdavinys yra pagal ²iuos duomenis sukonstruoti taisykles, leidºian ias kuo patikimiau prognozuoti Y reik²m bet kuriai nepriklausomo kintamojo X reik²mei. Daºniausiai Y priklauso nuo daugelio parametru. Tada nepriklausomas kintamasis yra daugiamatis X = (X 1,..., X k ), o jo komponentes kartais vadinamos atributais. Kontroliuojamo mokymo uºdavinio sprendimas gali b uti pavaizduotas tokia schema Atributai (X 1,..., X k ) = Sukonstruotos taisykles = Kintamojo Y reik²me Priklausomai nuo kintamojo Y tipo, skirsime klasikavimo ir skaitines prognozes uºdavinius Kai priklausomas kintamasis Y yra kategorinis, tada pagal jo reik²m imties ira²as (x i, y i ) priskiriamas klasei, kuriai Y = y i. Todel Y vadinamas klases kintamuoju, o klasiu skai iu apsprendºia jo galimu reik²miu aibes dydis. 3.1 lenteleje pateikiami duomenys apie kai kuriu stuburiniu gyv unu klasikacij. Zoologijoje skiriamos penkios stuburiniu klases: ºinduoliai, pauk² iai, ºuvys, ropliai ir varliagyviai. Klase, kuriai priskiriamas gyv unas, priklauso nuo daugelio charakteristiku (atributu): k uno temperat uros, reprodukcijos b udo, galimybes skraidyti ir t.t. Lenteleje pateikiamos ²e²iu atributu X = (X 1, X 2,..., X 6 ) ir klases kintamojo Y reik²mes. iame pavyzdyje visi kintamieji yra kategoriniai. Bendruoju atveju klasikavimo uºdavinyje, skirtingai nuo regresijos, priklausomas kintamasis b utinai kategorinis. Tuo tarpu atributai gali b uti ir skaitiniai apibreºimas. Tegul A X yra nepriklausomu kintamuju X = (X 1, X 2,..., X k ) galimu reik²miu aibe, o baigtine aibe A Y sudaryta i² visu galimu klases kintamojo Y reik²miu. Klasikavimo uºdavinys yra pagal imties duomenis sukonstruoti funkcij f : A X A Y. i funkcija vadinama klasikavimo modeliu. 71

72 Pavadinimas Kraujo Odos Gyva- Gyvena Skraido Turi Klase tipas danga vedis vandenyje kojas (X 1 ) (X 2 ) (X 3 ) (X 4 ) (X 5 ) (X 6 ) (Y ) ºmogus ²iltas plaukai taip ne ne taip ºinduolis pitonas ²altas ºvynai ne ne ne ne roplys la²i²a ²altas ºvynai ne taip ne ne ºuvis banginis ²iltas plaukai taip taip ne ne ºinduolis varle ²altas nera ne kartais ne taip varliagyvis komodo varanas ²altas ºvynai ne ne ne taip roplys ²ik²nosparnis ²iltas plaukai taip ne taip taip ºinduolis balandis ²iltas plunksnos ne ne taip taip pauk²tis kate ²iltas kailis taip ne ne taip ºinduolis tigrinis ryklys ²altas ºvynai taip taip ne ne ºuvis veºlys ²altas ºvynai ne kartais ne taip roplys pingvinas ²iltas plunksnos ne kartais ne taip pauk²tis dygliuotis ²iltas dygliai taip ne ne taip ºinduolis ungurys ²altas ºvynai ne taip ne ne ºuvis salamandra ²altas nera ne kartais ne taip varliagyvis 3.1 lentele. Stuburiniai gyv unai Klasikavimo modelio pagalba sprendºiami uºdaviniai gali b uti tokie. 1. Turimu duomenu klasikavimas. Klasikavimo modelis naudojamas kaip priemone, leidºianti nustatyti kriterijus, kuriais remiantis, objektas priskiriamas vienai ar kitai klasei. Pavyzdºiui, b utu naudinga (ne tik biologui ), 3.1 lenteleje pateiktu duomenu pagrindu, nustatyti kokie poºymiai apsprendºia ar tiriamasis gyv unas yra ºinduolis, pauk²tis, ºuvis, roplys ar varliagyvis. 2. Neºinomu duomenu prgnoze. Turedami naujo objekto (imties ira²o) atributu reik²mes, klasikavimo modelio pagalba priskiriame ji vienai i² galimu klasiu. Pavyzdºiui, anks iau nesutiktas gyv unas ²iurpusis nuodadantis pasiºymi tokiomis savybemis 72

73 Pavadinimas Kraujo Odos Gyva- Gyvena Skraido Turi Klase tipas danga vedis vandenyje kojas (X 1 ) (X 2 ) (X 3 ) (X 4 ) (X 5 ) (X 6 ) (Y ) ²iurpusis nuodadantis ²altas ºvynai ne ne ne taip? Kokiai klasei jis priklauso? Atsakym gali duoti 3.1 lenteleje pateiktu duomenu pagrindu sukonstruotas klasikavimo modelis. Klasikavimo modeliai daºniausiai taikomi binariniu arba vardiniu kintamuju imtims. Ranginiu kintamuju atveju jie yra maºiau efektyv us, nes, kaip taisykle, neatsiºvelgia i nat urali rangu tvark (pvz. pradinis i²silavinimas yra maºesnis uº universitetini ). Klasikavimo modelio konstravimo (kitaip: mokymo algoritmo) pagrindas yra imtis. Reikia rasti toki modeli kuris teisingai atspindetu s ry²i tarp imties atributu ir klases kintamojo. Modelis turi kuo tiksliau atitikti turimus imties duomenis ir tuo pa iu teisingai nustatyti klases, kurioms priskirtini nauji ira²ai. Kitaip sakant, geras modelis turi sugebeti apibendrinti tai, ko "i²moko" i² imties duomenu. Bendroji klasikavimo modelio konstravimo schema pavaizduota 3.1 paveiksle. Pirmiausiai turima duomenu aibe skaidoma i dvi dalis. Didesnioji imties ira²u su ºinomomis klases kintamojo reik²memis dalis patenka i mokymo imti, o likusieji ira²ai sudaro kontrolin imti. Pagal mokymo imties duomenis, naudojant vienoki ar kitoki mokymo algoritm, konstruojamas klasikavimo modelis. Po to jis taikomas kontrolines imties ira²ams. Modelio patikimum nusako teisingai ir neteisingai klasikuotu kontrolines imties ira²u skai iu santykis. I² ²iu skai iu sudaryta lentele vadinama nesutapimu matrica. 3.2 lenteleje pavaizduota binarinio klasikavimo modelio nesutapimu matrica. ƒia n ij yra kontrolines imties ira²u, priklausan iu klasei i, bet priskirtu klasei j, skai ius. Neteisingai klasikuotu kontrolines imties ira²u dalis e = n 01 + n 10 n 00 + n 01 + n 10 + n 11 vadinama modelio klaidos koecientu. Dauguma mokymo algoritmu, konstruodami klasi- kavimo modelius, siekia minimizuoti klaidos koecient. 73

74 ÅÓ ÝÑÓ ÑØ ÅÓ ÝÑÓ Ð ÓÖ ØÑ ÅÓ Ð Ó ÓÒ ØÖ Ú Ñ ÃÐ Ú ÑÓ ÑÓ Ð ÅÓ Ð Ó Ø ÝÑ ÃÓÒØÖÓÐ ÒÅ ÑØ 3.1 pav. Klasikavimo modelio konstravimas Prognozuojama klase 0 1 Tikroji 0 n 00 n 01 klase 1 n 10 n lentele. Binarinio klasikavimo nesutapimu matrica 3.2 Sprendimu medºiai Viena i² paprastesniu klasikavimo modelio ( trumpiau sakant, klasikatoriaus) formu yra sprendimu medis. Del savo paprastumo ir vaizdumo sprendimu medºiai gana pla iai naudojami. Kaip jie atrodo? Iliustracijai pasitelksime pavyzdi apie stuburiniu gyv unu klasi- kavim ( ºr. 3.1 lent.). Uºdavini ²iek tiek supaprastinsime. Visus stuburinius skirstysime ne i penkias, o tik i dvi skirtingas kategorijas: ºinduolius ir ne ºinduolius. Kitaip sakant, turesime binarini klases kintam ji. 74

75 Tarkime, aptiktas iki ²iol neºinomas gyv unas. šinduolis jis ar ne? Ai²ku, kad tai priklauso nuo atsakymu i kelet klausimu apie ²i gyv un. Pirmas klausimas galetu b uti apie jo k uno temperat ur. Jei gyv unas ²altakraujis, jis tikrai ne ºinduolis. Prie²ingu atveju jis yra pauk²tis arba ºinduolis ir todel ²i savoti²k ºaidim "Taip-Ne" t siame toliau. Skaitytojas, kuris yra ºaid s toki ºaidim, jau suprato, kad norint greitai laimeti, reikia protingai formuluoti klausimus. ši urint i 3.1 lenteles duomenis, tinkamas klausimas b utu: ar paslaptingasis gyv unas yra gyvavedis? Taip - ºinduolis, ne - pauk²tis. Nelabai vykusio klausimo pavyzdys: ar gyv unas turi kojas? Akivaizdu, kad i²girdus atsakym "taip", tektu ºaidim t sti toliau. Kaip matome, klasikavimo problem galima spr sti atsakant i eil gerai apgalvotu klausimu apie nagrinejamo ira²o atributu reik²mes. Be to, kiekvienas sekantis klausimas priklauso nuo atsakymo i prie² tai uºduot klausim. Kitaip sakant, klausimai - atsakymai sudaro hierarchin strukt ur, kuri galima pavaizduoti sprendimu medºiu. Jo ²aknis ir visos vidines vir² unes atspindi pateiktus klausimus, ²akos atitinka galimus atsakymus, o lapuose randasi klases kintamojo reik²mes. Tuo b udu, perej klausimu - atsakymu grandin nuo ²aknies iki lapo atrandame klas, kuriai priklauso nagrinejamas ira²as. 3.2 paveiksle pavaizduotas auk² iau i²nagrineto pavyzdºio sprendimu medis, klasikuojantis gyv unus i ºinduolius ir ne ºinduolius. ÃÖ Ù Ó Ø Ô ÐØ ÐØ ÝÚ Ú Æ ö Ò ÙÓÐ Ø Ô Ò ê Ò ÙÓÐ Æ ö Ò ÙÓÐ 3.2 pav. šinduoliu klasikavimo sprendimu medis 75

76 Sukonstravus sprendimu medi, pati klasikavimo procedura tampa labai paprasta. Pavyzdºiui, anks iau jau sutiktas ²iurpusis nuodadantis labai nesunkiai klasikuojamas kaip ne ºinduolis, nes yra ²altakraujis. Lieka atsakyti i du "paprastus" klausimus. Kaip suformuluoti gerus klausimus ir kaip ivertinti klasikatoriaus patikimum? Toliau apie tai ir pakalbesime Sprendimu medºiu konstravimas Galimu sprendimu medºiu skai ius yra eksponentinis atributu kiekio atºvilgiu. Todel rasti optimalu medi tiesioginio perrinkimo b udu didesniam kintamuju skai iui yra prakti²kai nei²sprendºiama problema. Ta iau yra efektyv us algoritmai, leidºiantys konstruoti, nors ir ne visada optimalius, ta iau pakankamai tikslius sprendimu medºius. Paprastai tokie algoritmai "augina" medi, kiekviename ºingsnyje optimaliai parinkdami kintamuosius tolesniam imties skaidymui. Reikia paºymeti, kad optimalumo kriterijai gali b uti ivair us ir pasirenkami, priklausomai nuo sprendºiamo uºdavinio. Vienas i² tokiu yra, dar 1966 metais paskelbtas ir klasikiniu tap s, E.B.Hunt'o algoritmas. Jo pagrindu buvo konstruojami daugelis velesniu algoritmu, pavyzdºiui, ID3, C4.5, CART. iame skyrelyje aptarsime ir pavyzdºiais iliustruosime bendruosius Hunt'o algoritmo principus. Hunt'o algoritmas Hunt'o algoritmas konstruoja sprendimu medi rekursi²kai skaidydamas mokymo imti i maºesnes dalis. Tarkime D T yra su medºio vir² une T susijusi mokymo imties ira²u aibe, o A Y - visu klasiu aibe. Kitaip sakant, A Y yra sudaryta i² visu galimu priklausomo (klases) kintamojo Y reik²miu. Algoritm sudaro du ºingsniai. H1. Jei visi aibeje D T esantys ira²ai priklauso vienai klasei y T A Y, tai vir² une T yra lapas, ºymintis klas y T. H2. Jei aibeje D T yra ira²u, priklausan iu skirtingoms klasems, tai T tampa vidine medºio vir² une, kurios vaikams priskiriami aibes D T poaibiai. Poaibiu skai ius ir sudetis priklauso nuo pasirenkamos atributu reik²miu tikrinimo s lygos, t.y. nuo suformuluoto klausimo. Toliau algoritmas kartojamas kiekvienam vir² unes T vaikui. 76

77 Antr jame ºingsnyje atributu tikrinimo s lygu parinkimas nedetalizuojamas ir priklauso nuo konkre ios algoritmo modikacijos. i problem aptarsime veliau. o kol kas algoritm iliustruosime tokiu pavyzdºiu pavyzdys. Prie² skirdamas paskol, bankas analizuoja ar potencialus klientas bus mokus, t.y. laiku mokes periodines imokas. iuo atveju mokymo imti sudaro banko turima informacija apie 10 ankstesniu jo klientu. Namu valda eimynine Metines pajamos Mokus (X 1 ) padetis(x 2 ) (t ukst.lt)(x 3 ) klientas(y ) 1 taip ved s 65 taip 2 ne ved s 50 taip 3 taip viengungis 35 taip 4 taip ved s 60 taip 5 ne i²siskyr s 47 ne 6 ne viengungis 30 taip 7 taip i²siskyr s 110 taip 8 ne viengungis 42 ne 9 taip ved s 37 taip 10 ne viengungis 45 ne 3.3 lentele. Banko klientai 3.3 lenteleje pateikiama tokia informacija apie banko klientus: turi ar neturi savo vardu registruot nam arba but, ²eimynine padetis, metines pajamos, mokumas (ar tvarkingai gr ºino paskol ). Algoritmas pradeda darb nuo pradinio medºio, sudaryto i² vienos vir² unes, paºymetos Mokus=taip (ºr.3.3(a) paveiksl ). Tai rei²kia, kad dauguma buvusiu klientu atsiskaite tvarkingai. Ta iau medi reikia i²plesti, nes mokymo imtyje yra abiems klasems priklausan iu ira²u. Todel visi klientai dalijami i dvi dalis pagal kintamojo X 1 (Namu valda) galimas reik²mes, kaip pavaizduota 3.3(b) paveiksle. Kodel b utent pagal X 1? Kaip jau buvo mineta, atributu parinkimo problem 77

78 ÅÓ Ù Ø Ô Ø Ô Æ ÑÙ Ú Ð Ò ÅÓ Ù Ø Ô ÅÓ Ù Ò µ µ Ø Ô Æ ÑÙ Ú Ð Ò Ø Ô Æ ÑÙ Ú Ð Ò ÅÓ Ù Ø Ô Ú Ò ÙÒ ÝÖ â ÑÝÒ ÒÅ Ô Å Ø Ú ÅÓ Ù Ø Ô Ú Ò ÙÒ ÝÖ â ÑÝÒ ÒÅ Ô Å Ø Ú Å Ø ÒÅ Ô ÑÓ < ÅÓ Ù Ø Ô ÅÓ Ù Ò ÅÓ Ù Ø Ô ÅÓ Ù Ø Ô ÅÓ Ù Ò µ µ 3.3 pav. Hunt'o algoritmas sprendimu medºio konstrukcijai nagrinesime veliau. Dabar tiesiog manysime, kad ia si ulomi imties skaidiniai yra geriausi. Toliau analizuojame abu ²aknies vaikus. 3.3 lenteleje matome, kad visi namu valdos savininkai sekmingai gr ºino paskol. Todel kairysis ²aknies vaikas lieka lapu, atitinkan iu klas Y =taip (ºr. 3.3(b) pav.). Tuo tarpu de²inysis vaikas skaidomas toliau, rekursi²kai vykdant Hunt'o algoritmo H1 ir H2 ºingsnius, kol gaunamas medis, kurio kiekvienas lapas atitinka tik vienos klases ira²us. Tai pavyko padaryti po dvieju ºingsniu. Po kiekvieno ºingsnio kintantys medºiai pavaizduoti 3.3(c) ir (d) paveiksluose. Kad Hunt'o algoritmo apra²ymas b utu pilnas, liko atskirai aptarti dvi i²skirtines situacijas. 1. Kuriai nors vir² unei T, nera j atitinkan iu ira²u, t.y. D T =. Tokiu atveju T 78

79 paskelbiama lapu, atitinkan iu klas, daºniausiai sutinkam aibeje D T, ia T ºymi vir² unes T tev. 2. Visi aibes D T ira²ai, turi vienodas nepriklausomu kintamuju reik²mes, bet priklauso ne vienai klasei. Tai rei²kia, kad H2 ºingsnyje situacija pradetu kartotis. Tokiu atveju T paskelbiama lapu, atitinkan iu klas, daºniausiai sutinkam aibeje D T. Bet kuris sprendimu medi konstruojantis mokymo algoritmas b utinai turi i²spr sti tokias dvi problemas. 1. Kaip skaidyti mokymo imti? Turi b uti parinktas objektyvus ir pagristas skaidinio "gerumo matas", kiekviename ºingsnyje leidºiantis pasirinkti geriausi skaidini. Be to, formuluojant s lygas, b utina atsiºvelgti i atributu tipu skirtumus. 2. Kada sustoti? Pagal Hunt'o algoritm, vir² une nebeskaidoma tik kai visi jos ira²ai priklauso vienai klasei arba turi vienodas atributu reik²mes. Ta iau, labai "²akotas" medis ne visada yra geras. Todel reikalingi kriterijai, leidºiantys anks iau sustabdyti medºio auginimo proces Skaidymo b udai ir ju palyginimas Kaip mateme, pagrindinis sprendimu medºio konstravimo algoritmo elementas yra mokymo imties ira²u skaidymas i dalis, priklausomai nuo pasirinktu atributu galimu reik²miu. Todel tiek p ios s lygos formulavimas, tiek galimi atsakymai ( o tuo pa iu ir skaidomos vir² unes vaiku skai ius) priklauso nuo atributu tipo. Binariniai kintamieji. Tai papras iausias kintamasis, kartais dar vadinamas "taip-ne" atributu. Medºio vir² un skaidant tokio kintamojo atºvilgiu, visada gaunami du vaikai, vaizduojantys du galimus atsakymus pavyzdyje tokio tipo yra atributas X 1 ir klases kintamasis Y, o medºio vir² unes skaidymas pagal X 1 pavaizduotas 3.3(b) paveiksle. Vardiniai kintamieji. Jei vardinio kintamojo galimu reik²miu skai ius yra k, tai jo atºvilgiu turim ira²u aib galima suskaidyti B k 1 b udu. ƒia B k yra kombinatorikoje ºinomi Belo skai iai, nesunkiai randami i² rekurentinio s ry²io k ( ) k B k+1 = B m, B 0 = 1. m m=0 79

80 I² viso turesime 2 k 1 1 binariniu skaidiniu, o likusieji bus daugianariai. Pavyzdºiui, pavyzdyje vardinis kintamasis X 2 ( eimynine padetis) igyja k = 3 skirtingas reik²mes: viengungis, ved s, i²siskyr s. Todel X 2 atºvilgiu atitinkam medºio vir² un galima i²skaidyti 4 b udais: vienas skaidinys yra daugianaris, o kiti 3 - binariniai (ºr. 3.4(a),(b) paveikslus). Kai kurie algoritmai, pavyzdºiui CART, dirba tik su binariniais vardiniu kintamuju skaidiniais. â ÑÝÒ ÒÅ Ô Å Ø ßÚ Ò ÙÒ Ð ßÚ Ð ß ÝÖ Ð µ Ù Ò Ö ÒÝ â ÑÝÒ ÒÅ Ô Å Ø â ÑÝÒ ÒÅ Ô Å Ø â ÑÝÒ ÒÅ Ô Å Ø ßÚ Ð ßÚ Ò ÙÒ ßÚ Ò ÙÒ Ð ßÚ ß ÝÖ Ð ßÚ Ò ÙÒ ÝÖ Ð ÝÖ Ð Ú Ð µ Ò Ö Ò Ò 3.4 pav. Skaidiniai pagal vardini kintam ji Ranginiai kintamieji. Pana²iai kaip ir vardiniai kintamieji, ranginiai atributai gali generuoti tiek binarinius tiek daugianarius skaidinius. Tik ²iuo atveju, grupuojant reik²mes, daºniausiai atsiºvelgiama i ju nat urali tvark. 3.5 paveiksle pavaizduoti trys galimi imties ira²u grupavimo b udai ranginio kintamojo Mar²kiniu dydis atºvilgiu. Nat urali tokio atributo reik²miu tvarka yra S, M, L, XL. Kaip matome, tik grupavimas, pavaizduotas 3.5(c) paveiksle, ²i tvark paºeidºia. Tolyd us kintamieji. Mokymo imties ira²ai grupuojami tolydºiojo kintamojo X atºvilgiu, 80

81 Å Ö Ò Ù Ý Å Ö Ò Ù Ý Å Ö Ò Ù Ý ßË ÅÐ ßÄ ÄÐ ßËÐ ßÅ Ä ÄÐ ßË ÄÐ ßÅ ÄÐ µ µ µ 3.5 pav. Ranginio kintamojo reik²miu grupavimas prie² tai ji diskretizavus. Bendruoju atveju diskretizavimo proced ura buvo i²nagrineta skyrelyje. Jei reikalingas binarinis skaidinys, galima papras iausiai tikrinti s lygas X < x arba X x, tinkamai parinkus x. 3.6 paveiksle pavaizduoti du skaidiniai kintamojo X 3 (Metines pajamos) atºvilgiu (ºr. 3.3 lent.). Ø Ô Å Ø ÒÅ Ô ÑÓ ¼ Ò Å Ø ÒÅ Ô ÑÓ ¼ ¼ ¼µ ¼ ¼µ ¼ ¼µ ¼ µ µ 3.6 pav. Skaidiniai pagal tolyduji kintam ji Noredami palyginti galimus skaidinius, sieksime nustatyti kuris i² ju suteikia daugiau ai²kumo klases kintamojo Y galimu reik²miu atºvilgiu, kitaip sakant, kada neapibreºtumas yra maºiausias. Galimi ivair us neapibreºtumo matai, priklausantys nuo atstiktinio dydºio Y skirstinio. Paprastai lyginami neapibreºtumo poky iai iki ir po padalinimo. Geriausiu pripaºistamas tas skaidinys, kuris labiausiai sumaºina neapibreºtum. Tegul T yra sprendimu medºio vir² une, o galimu klasiu aibe A Y = {y 0, y 1,..., y c 1 }. 81

82 šymesime P T (i) = P T (Y = y i ) klases y i santykini daºni vir² un T atitinkan ioje ira²u aibeje D T. Nagrinesime tris neapibreºtum vir² uneje T apib udinan ius dydºius: entropij H T (Y ), Gini indeks G T (Y ) ir klasikavimo klaid E T (Y ) : c 1 H T (Y ) = P T (i) log 2 P T (i), (3.1) i=0 c 1 G T (Y ) = 1 PT 2 (i), (3.2) i=0 E T (Y ) = 1 max 0 i c 1 P T (i). (3.3) Sprendºiant binarinio klasikavimo uºdavini, ²ie neapibreºtumo matai yra ekvivalent us. 3.7 pav. Neapibreºtumo charakteristiku palyginimas binariniam klasikavimui Ju grakai pavaizduoti 3.7 paveiksle. iuo atveju tai yra kintamojo p funkcijos, ia p = P T (0) = 1 P T (1) 82

83 Kaip ir reikejo tiketis, didºiausias neapibreºtumas gaunamas, kai abieju klasiu daºniai sutampa ( p = 0, 5 ). Kai visi ira²ai priklauso vienai klasei ( p lygu 0 arba 1 ), jokio neapibreºtumo nelieka. Tarkime, kad vir² une T skaidoma kurio nors kintamojo X atºvilgiu ir igyja k vaiku V 1, V 2,..., V k ( ºr. 3.8 pav. ). Vir² un T atitinkan iu ira²u skai iu ºymesime N(T ). Ai²ku, T V 1 V 2 V k 3.8 pav. k - naris skaidinys kad N(T ) = N(V 1 ) + N(V 2 ) + + N(V k ). Noredami nusakyti gaut ji neapibreºtumo pokyti, paºymekime F V (Y ) pasirinkt ji neapibreºtumo mat vir² uneje V. Pavyzdºiui, tai gali b uti bet kuri i² (3.1) - (3.3) funkciju. Tada vidutinis neapibreºtumo pokytis bus matuojamas dydºiu I T (Y, X) = F T (Y ) k j=1 N(V j ) N(T ) F V j (Y ). (3.4) Kai F T (Y ) = H T (Y ), prisimin s lygines entropijos apibreºim 1.3.4, i² (3.4) gausime, kad I T (Y, X) = H T (Y ) H T (Y X). (3.5) Kitaip sakant, tai yra atsitiktiniu dydºiu X ir Y tarpusavio informacija vir² uneje T. Todel ²i vir² un skaidome pagal atribut ˆX, suteikianti daugiausiai informacijos apie klases kintam ji Y, t.y. Kadangi ˆX = argmax X I T (Y, X). argmax X I T (Y, X) = argmin X H T (Y X), tai daºniausiai yra minimizuojama (3.4) i²rai²koje esanti suma, kuri rei²kia vidutini neapibreºtum po i²skaidymo. 83

84 Prisiminkime pavyzdi pavyzdys. Paºi urekime ar teisingai buvo pasirinktas pirmojo skaidymo kintamasis (X 1 ), konstruojant pavyzdºio sprendimu medi. Paprastumo delei 3.4 lenteleje kintamuju X 1 ir Y reik²mes ne, taip uºkoduosime 0 ir 1, o kintamojo X 2 reik²mes viengungis, ved s, i²siskyr s pakeisime i 1, 2 ir 3 atitinkamai. Taip uºra²yti banko klientu duomenys pavaizduoti 3.4 lenteleje. Kl.kodas X 1 X 2 X 3 Y lentele. Modikuoti banko klientu duomenys Konstruosime binarini sprendimu medi pagal Gini indeks. Kadangi i² 10 ira²u tik 3 priklauso nulinei klasei (Y = 0), tai ²aknies T Gini indeksas G T (Y ) = 1 0, 3 2 0, 7 2 = 0, 42. Binarinius skaidinius pagal kintamuosius X 1 ir X 2 atitinkantys skai iavimai pateikiami 3.9 paveiksle. Geriausi binarini skaidini tolydºiojo kintamojo X 3 atºvilgiu rasime tikrindami s lyg X 3 < x. Dalinimo ta²k x rasime imdami tarpinius ta²kus tarp dvieju gretimu X 3 reik²miu 3.4 lenteleje. Rinksimes t x, kuriam skaidinys tures maºiausi Gini indeks. Skai iavimai ºenkliai palengveja, kai mokymo imties duomenys i² anksto sur u²iuojami pagal kintamojo 84

85 3.9 pav. Binariniai skaidiniai pagal kategorinius kintamuosius X 3 reik²mes. Rezultatai pateikiami 3.10 paveiksle. Kaip matome, maºiausias Gini indeksas, o tuo pa iu ir didºiausias neapibreºtumo sumaºejimas, gaunamas, kai x = 48. Palygin 3.9 ir 3.10 lentelese matomus skai iavimus, galime tvirtinti, kad binarini sprendimu medi reikia pradeti konstruoti nuo skaidinio pagal X 1, nes I T (Y, X 1 ) > max I T (Y, X 2 ) = max I T (Y, X 3 ). Tai ir yra pavaizduota 3.3(b) paveiksle. Kai sprendimu medis nera binarinis, renkantis skaidini, reikia atsiºvelgti ir i kintamojo reik²miu skai iu. Gali atsitikti taip, kad (3.1) - (3.3) neapibreºtumo matai tinkamiausiais pripaºins skaidinius pagal daugiausiai skirtingu reik²miu igyjan ius kintamuosius. Pavyzdºiui, jei 3.4 lenteles ira²u skaidymui pasirinksime atribut X 0 = Kl.kodas, gausime, kad visiems j = 1, 2,..., 10 H Vj (Y ) = G Vj (Y ) = E Vj (Y ) = 0, 85

86 3.10 pav. Binariniai skaidiniai pagal tolyguji kintam ji nes kiekvien vaik atitiks tik vienas ira²as. Todel I T (Y, X 0 ) > I T (Y, X 1 ). Ta iau toks medis visi²kai netinkamas b usimu ira²u klasikavimui, nes kliento kodas yra unikalus. Kai kurie algoritmai, pavyzdºiui C4.5, neapibreºtumo poky iui matuoti vietoje tarpusavio informacijos (3.5), naudoja santykin tarpusavio informacij Ĩ T (Y, X) = I T (Y, X) H(V ) ƒia H(V ) ºymi vir² unes T skaidinio, pavaizduoto 3.8 paveiksle, entropij H(V ) = k j=1 N(V j ) N(T ) log N(V j ) 2 N(T ). Tokia modikacija leidºia neutralizuoti per daug susmulkinto skaidinio itak. Pavyzdºiui, jau minetiems banko klientu duomenims turesime I T (Y, X 0 ) = H T (Y ) H T (Y X 0 ) = h(0, 3) 0 0, 8813, Ĩ T (Y, X 0 ) = I T (Y, X 0 ) 0, 2653, log 2 10 I T (Y, X 1 ) = H T (Y ) H T (Y X 1 ) = h(0, 3) (0, 5 h(0, 4) + 0, 5 h(0)) 0, 3958, Ĩ T (Y, X 1 ) = I T (Y, X 1 ) 0, log 2 2. Renkames skaidini pagal X 1, nes ĨT (Y, X 1 ) > ĨT (Y, X 0 ). 86