SVEUČILIŠTE J. J. STROSSMAYERA U OSIJEKU Odjel za matematiku Sveučilišni diplomski studij matematike i računarstva

Transcript

1 SVEUČILIŠTE J. J. STROSSMAYERA U OSIJEKU Odjel za matematiku Sveučilišni diplomski studij matematike i računarstva Zrinka Bertić Neke metode za analizu kvalitete procijenjene particije Diplomski rad Osijek, godina 2015.

2 SVEUČILIŠTE J. J. STROSSMAYERA U OSIJEKU Odjel za matematiku Sveučilišni diplomski studij matematike i računarstva Zrinka Bertić Neke metode za analizu kvalitete procijenjene particije Diplomski rad Mentor: izv.prof.dr.sc. Kristian Sabo Osijek, godina 2015.

3 Sadržaj 1. Uvod 2 2. Osnovni pojmovi 4 3. Mjere temeljene na prebrojavanju parova Chi kvadrat koeficijent Randov indeks Prilagodeni Randov indeks Fowlkes-Mallows indeks Jaccardov indeks Mjere temeljene na preklapanju skupova F mjera Van Dongen mjera Mjere temeljene na uzajamnoj informaciji Normalizirana uzajamna informacija (Strehl, Ghosh) Normalizirana uzajamna informacija (Fred, Jain) Varijacija informacija Primjena na konkretnim primjerima Baza Iris Baza Glass Usporedba prijedloga konfiguracije izbornih jedinica u Republici Hrvatskoj s postojećim stanjem

4 1. Uvod Jedno od najvažnijih pitanja koja se pojavljuju pri analizi i klasteriranju podataka je koju metodu za klasteriranje upotrijebiti. I dok možda ne bi bili u stanju specificirati metodu, možda bismo mogli reći koje karakteristike ta metoda treba imati. Recimo, jedan zahtjev bi mogao biti da metoda prepoznaje i u stanju je vratiti prirodne klastere. To je slučaj kada u podacima primjećujemo odredenu strukturu koju želimo da i metoda prepozna. Zatim, bilo bi dobro da metoda nije osjetljiva na male promjene u podacima. Na primjer, kada skupu podataka koji je particioniran dodamo nove podatke takve da imaju srednju vrijednost nula i malu varijancu, htjeli bismo da ponovno particioniranje takvog skupa podataka bude što bliže početnom. Tada bismo imali metodu koja nije osjetljiva na greške u mjerenju do kojih često dolazi. Idući zahtjev je da metoda ne bude osjetljiva na nedostajuće podatke. Razlog je taj što često podaci s kojima se radi nisu potpuni. Ipak, htjeli bismo da particija koju dobijemo analizirajući takve podatke bude što bliža particiji koju bismo dobili analizirajući potpunije podatke. Posljednji u ovom nizu zahtjeva bi bio taj da ukoliko imamo dvije različite metode za klasteriranje one ne daju za rezultat različite particije. Primjerice, bilo bi korisno utvrditi možemo li umjesto kompleksne metode koja zahtijeva mnogo računanja kao njezinu aproksimaciju koristiti neku jednostavniju metodu i dobiti isti rezultat. Ovi zahtjevi bi se mogli formulirati tako da pomoću njih evaluiramo kvalitetu metode koju koristimo za particioniranje skupa podataka. Problem nastaje zbog toga što nije poznata optimalna metoda za particioniranje koja bi vrijedila za općeniti slučaj. Zato se ovaj rad bavi metodama koje bi mogle pomoći u smislu traženja dobre metode za klasteriranje ovisno o podacima koji se analiziraju. U drugom poglavlju su dani osnovni pojmovi vezani uz samo grupiranje podataka i notacija koja će biti korištena kroz rad. U trećem poglavlju su obradene neke mjere koje se temelje na prebrojavanju neuredenih parova podataka, što je intuitivni i najčešće korišteni način za provjeru kvalitete procijenjene particije. Za svaku mjeru je dano kratko objašnjenje kako i zašto su nastale, na kakvim podacima se one koriste, definicija mjere i njezina osnovna svojstva te jednostavni primjer. U četvrtom poglavlju su uvedene dvije mjere koje se temelje na preklapanju skupova. F mjera je objašnjena na primjeru klasifikacije teksta te je dan detaljan izvod korektnosti njezine definicije i analogna definicija u smislu klasteriranja. Za Van Dongen mjeru je dana definicija u smislu udaljenosti particija na grafovima te je pokazano da je ona metrika. Na kraju poglavlja je dan primjer koji pokazuje najveći nedostatak ovih mjera. U petom poglavlju je detaljnije obradena teorija informacija gledana najprije s aspekta vjerojatnosti. Dana su objašnjenja i definicija pojmova informacije i njezina sadržaja. Uvedena je entropija slučajne varijable i dana su njezina svojstva koja ju opravdavaju kao mjeru. Takoder je entropija definirana za zajednički dogadaj dviju slučajnih varijabli te uvjetna entropija za općenito zavisne slučajne varijable. Objašnjena je veza entropije i Kullback- Leiblerove divergencije. Definirana je uzajamna informacija i dana su njezina svojstva koja ju opravdavaju kao mjeru. Nakon toga je pokazana analogija izmedu slučajne varijable i klastera u smislu teorije informacija. Obradene su tri mjere temeljene na teoriji informacija, od toga dvije normalizacije uzajamne informacije i definirana je varijacija informacije kao 2

5 treća mjera te su dana njezina glavna svojstva. U šestom i završnom poglavlju su pokazane neke od mjera koje su obradene u prethodnim poglavljima na konkretnim primjerima baza podataka iris i staklo. 3

6 2. Osnovni pojmovi Definicija 2.1. Neka je A skup s m 2 elemenata i k N, 1 k m. Rastav skupa A na k podskupova π 1,..., π k tako da vrijedi (i) k π i = A, (ii) π i πj =, i j, (iii) m j := π j 1, j = 1,..., k zovemo particija skupa A, a skupove π 1,..., π k klasteri (grupe). Skup svih particija skupa A sastavljenih od k klastera koje zadovoljavaju (i) (iii) označit ćemo s P(A, k). Lema 2.1. (Formula uključivanja - isključivanja) Neka su X 1,..., X k podskupovi od konačnog skupa X. Broj elemenata od X koji ne leže niti u jednom od podskupova X i, i = 1,..., k jednak je k X i = X X i + X i X j + + ( 1) k X i X k. 1 i k 1 i j k Teorem 2.1. Broj svih particija skupa A sastavljenih od k klastera jednak je Stirlingovom broju druge vrste P(A, k) = 1 k ( ) k ( 1) k j j m. k! j Dokaz. Promatrajmo skup svih surjekcija sa skupa {1,..., m} u skup {1,..., k}. Broj takvih surjekcija prebrojat ćemo na dva različita načina iz čega će proizaći eksplicitna formula za P(A, k). Prvi način: Promatrajmo particiju skupa {1,..., m} na k nepraznih i disjunktnih podskupova C j te definirajmo funkciju f : {1,..., m} {1,..., k} tako da je f(x) = j, ako je x C j. Ovakva kontrukcija se može napraviti na ukupno P(A, k) načina. Permutiramo li k skupova C j, slijedi da ukupni broj surjekcija sa skupa {1,..., m} u skup {1,..., k} iznosi k! P(A, k). Drugi način: Neka je X skup svih funkcija sa {1,..., m} u {1,..., k}. Uočimo da ukupni broj takvih funkcija iznosi X = k m. Za i = 1,..., k označimo s X i skup svih funkcija f za koje se i ne nalazi u slici od f. Tada za svaki x, f(x) može biti bilo koji od k 1 brojeva različitih od i, odakle je X i = (k 1) m. Analogno s X i X j, 1 i < j k označimo skup svih funkcija f za koje se i i j ne nalaze u slici od f. Tada za svaki x, f(x) može biti bilo koji od k 2 brojeva različitih od i te j, odakle je X i X j = (k 2) m itd. Funkcija iz X je surjekcija ako i samo ako ne leži niti u jednom od skupova X i, odnosno onda i samo onda ako pripada skupu k X i. Stoga iz leme 2.1 slijedi da je broj surjekcija 4

7 dan s k X i = X 1 i k X i + 1 i j k X i X j + + ( 1) k X i X k ( ) ( ) ( ) k k k = k m (k 1) m + (k 2) m + + ( 1) k (k k) m 1 2 k k ( ) k = ( 1) j (k j) m j = j=0 k ( ) k ( 1) k j j m j Sukladno prvom načinu prebrajanja slijedi da je broj surjekcija sa skupa A u skup {1,..., k} jednak k! P(A, k), dok je sukladno drugom načinu taj broj jednak k ( 1)k j( k j) j m, odakle slijedi P(A, k) = 1 k ( ) k ( 1) k j j m. k! j Iz razloga što broj svih particija može biti izuzetno velik, odredivanje optimalne particije analizom svih particija neće biti moguće. Stoga ćemo koristiti neki od algoritama kako bismo odredili lokalno optimalnu particiju. Pretpostavimo li da na neki način doznamo koja je globalno optimalna particija, željeli bismo vidjeti koliko je naša lokalno optimalna particija udaljena od globalno optimalne. Na taj način bismo mogli usporedivati kvalitetu procijenjene particije za različite metode klasteriranja. Definicija 2.2. Funkciju d : R n R n R + koja ima svojstvo pozitivne definitnosti zovemo kvazimetrička funkcija. x, y R n d(x, y) 0 & d(x, y) = 0 x = y, Neke od tipičnih kvazimetričkih funkcija na skupu R su: Least Squares (LS) kvazimetrička funkcija d LS : R R R + zadana s d LS (x, y) = (x y) 2. l 1 metrička funkcija ili Manhattan metrika d 1 : R R R + zadana s d 1 (x, y) = x y. Euklidska ili l 2 metrička funkcija d 2 : R R R + zadana s d 2 (x, y) = (x y) 2 (primjetimo da općenito u R vrijedi d 1 (x, y) = d 2 (x, y) = d p (x, y) = d (x, y) za p 1). Neka je φ : S R strogo konveksna funkcija definirana na konveksnom skupu S R, takva da je φ diferencijabilna na ints. Funkciju d φ : S ints [0, zadanu formulom d φ (x, y) = φ(x) φ(y) φ (y)(x y) zovemo Bregmanova diveregencija. Pretpostavimo li da je φ(x) = ln x, dobivamo Itakura-Saito divergenciju zadanu sa d φ (x, y) = x y ln x y 1 =: d IS(x, y). 5

8 Pretpostavimo li da je φ(x) = x ln x, dobivamo Kullback-Leibler divergenciju zadanu sa d φ (x, y) = x x y x + y =: d KL(x, y). Definicija 2.3. Neka je d : R n R n R + kvazimetrička funkcija. Kažemo da je c R n najbolji reprezentant podataka y 1, y 2,..., y m R n u odnosu na kvazimetričku funkciju d onda ako je c = argmin c R n m d(c, y i ), to jest, ako je c R n točka globalnog minimuma funkcionala F : R n R + F (c) = m d(c, y i ). Na skupu svih particija P(A, k) skupa A sastavljenih od k klastera možemo definirati kriterijsku funkciju cilja F : P(A, k) R +, F(Π) = k y i π j d(c j, y i ), a d-optimalnu particiju Π tražimo rješavanjem optimizacijskog problema F(Π ) = min F(Π). Π P(A,k) Pretpostavimo da je Π = {π1,..., πk } poznata particija skupa podataka na k klastera s odgovarajućim centrima c 1,..., c k. Takoder pretpostavimo da smo kao rezultat neke metode za klasteriranje skupa podataka na l klastera dobili particiju Π = {π 1,..., π l } s odgovarajućim centrima c 1,..., c l te da particiju Π želimo usporediti s particijom Π. Matrica konfuzije M = (m ij ) para particija Π i Π je općenito k l matrica kojoj se na mjestu ij nalazi broj elemenata koji se nalaze u presjeku klastera πi i π j: m ij = π i π j, 1 i k, 1 j l. Primjer 2.1. Generirane su točke u ravnini normalnom distribucijom standardne devijacije 1 oko sljedećih centara: oko (2, 1) 30 točaka, oko (5, 1) 20 točaka i oko (6, 4) 40 točaka, prikazano na slici (2.1). Matrica konfuzije za ovaj primjer dana je sljedećom tablicom: C 1 C 2 C 3 C C C

9 Slika 2.1.: Graf generiranih točaka 7

10 3. Mjere temeljene na prebrojavanju parova Intuitivan pristup usporedbi klastera je prebrojiti parove objekata koji su klasificirani na isti način u obje particije, recimo parovi elemenata iz A koji su u istom klasteru (ili različitim klasterima) u obje particije. U tom slučaju možemo sve neuredene parove elemenata iz A prikazati pomoću sljedećih disjunktnih skupova: (A, A) 00 - sadrži skup parova takvih da objekti pripadaju različitim klasterima u obje particije Π i Π (A, A) 10 - sadrži skup parova takvih da objekti pripadaju istim klasterima u particiji Π, a različitim u particiji Π (A, A) 01 - sadrži skup parova takvih da objekti pripadaju različitim klasterima u particiji Π, a istim u particiji Π (A, A) 11 - sadrži skup parova takvih da objekti pripadaju istim klasterima u obje particije Π i Π Označimo sa n ij := (A, A) ij, i, j {0, 1} veličinu danih skupova. Tada vrijedi ( ) n n 00 + n 10 + n 01 + n 11 = Chi kvadrat koeficijent Prva mjera koja će biti obradena u ovom radu, i prema Wagner i Wagner (2007.) jedna od najstarijih, je Chi kvadrat koeficijent. Njegova originalna primjena je u statistici pod nazivom Pearsonov Chi kvadrat test i služi prvenstveno za provjeru odgovara li broj ponavljanja dogadaja početnim pretpostavkama te jesu li dva dogadaja, A i B, statistički nezavisni. U tu svrhu se koristi Chi kvadrat statistika: χ 2 (A, B) = a A b B (m ab E ab ) 2 E ab. U ovoj formuli varijabla m ab predstavlja relativnu frekvenciju dogadaja ab, dok varijabla E ab predstavlja očekivanu frekvenciju dogadaja ab. Primjenimo li danu statistiku u slučaju klastera, tada Chi kvadrat koeficijent ima sljedeći oblik: k l χ 2 (Π, Π (m ij E ij ) 2 ) =, gdje je E ij = Π i Π j. E ij n Primjetimo da sada varijabla m ij odgovara ij-tom mjestu u matrici konfuzije. 8

11 Važna pretpostavka kod Chi kvadrat testa je nezavisnost dogadaja, medutim u općenitom slučaju ne možemo pretpostaviti nezavisnost particija pa je tada i rezultat usporedbe koristeći ovaj koeficijent upitan. Primjer 3.1. Izračunajmo Chi kvadrat koeficijent za primjer (2.1). Ponovimo, matrica konfuzije je: C 1 C 2 C 3 C C C Primjetimo da obje particije C i C imaju po 3 klastera pa je k = l = 3. Izračunajmo prvo vrijednosti E ij za i, j = 1, 2, 3. Za E 11 dobivamo E 11 = C 1 C 1 = = 40. Nastavljajući n 90 3 na isti način, za E ij dobivamo sljedeću matricu: E = Sada možemo izračunati Chi kvadrat koeficijent za ovaj primjer: χ 2 (C, C ) = 3 3 (m ij E ij ) 2 = = E ij Kako imamo tri retka i tri stupca matrice konfuzije, ukupno je za ovaj primjer (3 1) (3 1) = 4 stupnja slobode. Promotrimo li tablice distribucije Chi kvadrat statistike, primjetit ćemo da zbog vrlo visoke vrijednosti od χ 2 moramo odbaciti hipotezu o jednakosti ovih dviju particija. Medutim, kako je već navedeno, glavna pretpostavka za pravilno izračunavanje Chi kvadrat koeficijenta je nezavisnost particija, što ovdje ne možemo tvrditi, pa ovaj rezultat nema veliki značaj Randov indeks Randov indeks je mjera sličnosti izmedu dviju particija čiji nastanak je motiviran standardnim problemom klasifikacije gdje rezultat klasifikacijske sheme treba biti usporeden s ispravnom klasifikacijom. Iz tog razloga Rand u svom radu iz godine uzima u obzir one parove kod kojih su objekti pravilno raspodijeljeni u klastere, odnosno one koji su u istim klasterima u obje particije i one koji su u različitim klasterima u obje particije (skupovi (A, A) 00 i (A, A) 11 ) i daje im jednaku težinu. Prema tome, Randov indeks je definiran s: R(Π, Π ) = n 00 + n 11 = n 00 + n ) 11 = 2(n 00 + n 11 ). n 00 + n 10 + n 01 + n 11 n(n 1) ( n 2 9

12 Randov indeks R prima vrijednosti iz intervala [0, 1], pri čemu je 0 kada particije nemaju sličnosti, a 1 kada su particije identične. Kako je R mjera sličnosti, R 1 je mjera udaljenosti, odnosno metrika na skupu svih particija. Takoder, R ovisi i o broju klastera i o broju elemenata, što nije poželjno, te vrijedi da njegova vrijednost konvergira ka 1 s porastom broja klastera. Primjer 3.2. Pretpostavimo da imamo skup od 10 podataka koji su podijeljeni u dva klastera na sljedeći način: particija A: 1, 1, 2, 2, 2, 1, 1, 1, 1, 1 particija B: 1, 2, 1, 1, 2, 1, 2, 2, 1, 1 Trebamo promotriti sve neuredene parove elemenata u obje particije i usporediti pripadaju li oni istim ili različitim klasterima u tim particijama. Pogledajmo prva dva elementa danih particija. Vidimo da se u particiji A oni nalaze u istim klasterima, medutim u particiji B se nalaze u različitim klasterima što znači da taj par pripada skupu (A, B) 10 te je n 10 = 1. Nadalje, usporedimo li prvi i treći element danih particija, primjećujemo da se oni u particiji A nalaze u različitim klasterima, ali u particiji B se nalaze u istom klasteru pa oni pripadaju skupu (A, B) 01 i n 01 = 1. Analognim razmatranjem svih ( ) 10 2 = 45 neuredenih parova elemenata particija dobivamo sljedeću tablicu: parovi u različitom klasteru u B parovi u istom klasteru u B parovi u različitom klasteru u A parovi u istom klasteru u A Sada možemo izračunati Randov indeks: R(A, B) = Prilagodeni Randov indeks = = Budući da očekivana vrijednost Randovog indeksa dviju slučajnih particija nije konstantna vrijednost, Hubert i Arabie su godine predložili prilagodbu koja za nul hipotezu ima generaliziranu hipergeometrijsku distribuciju: slučajno su izabrane dvije particije uz fiksan broj klastera i fiksan broj elemenata u svakom klasteru (ti brojevi ne moraju biti jednaki za obje particije). Tada je prilagodeni Randov indeks normalizirana razlika Randovog indeksa i njegove očekivane vrijednosti pod pretpostavkom istinitosti nul hipoteze. Definira se kao: ( n ) R adj (Π, Π (n00 + n 2 11 ) [(n 11 + n 10 )(n 11 + n 01 ) + (n 01 + n 00 )(n 10 + n 00 )] ) = ( n ) 2 2 [(n11 + n 10 )(n 11 + n 01 ) + (n 01 + n 00 )(n 10 + n 00 )] što možemo zapisati i kao gdje je t 1 = R adj (Π, Π ) = k l k ( ) Π i, t 2 = 2 ( mij ) 2 t3 1 (t, t 2 ) t 3 l ( ) Π j, t 3 = 2t 1t 2 2 n(n 1). 10

13 U ovom slučaju je očekivana vrijednost indeksa jednaka nuli, a maksimalna vrijednost je 1. Prilagodeni Randov indeks je postao jedan od najuspješnijih indeksa za analizu kvalitete procijenjene particije, a posebno se preporučuje za mjeru slaganja izmedu dviju particija koje imaju različit broj klastera. Primjer 3.3. Izračunajmo prilagodeni Randov indeks za primjer (3.2). Ponovimo isti postupak usporedbe pripadnosti neuredenih parova s analognom tablicom: parovi u različitom klasteru u B parovi u istom klasteru u B parovi u različitom klasteru u A parovi u istom klasteru u A Prilagodeni Randov indeks je sada: R adj (A, B) = ( 10 2 ) ( ) [( )( ) + ( )( )] ( 10 2 ) 2 [( )( ) + ( )( )] = Negativan broj u ovom slučaju znači da prilagodeni Randov indeks pokazuje manje slaganje izmedu particija nego što bi to bilo očekivano slučajnim odabirom raspodjela particija Fowlkes-Mallows indeks Fowlkes-Mallows indeks, uveden u radu Fowlkesa i Mallowsa godine, takoder ima ishodište u Randovom indeksu, ali je razvijen prije svega za hijerarhijsko grupiranje, iako je primjenjiv i za partitivno grupiranje. Pretpostavimo da imamo dvije hijerarhijske particije koji imaju jednak broj objekata n i označimo ih sa A 1 i A 2. Hijerarhijska stabla koja predstavljaju A 1 i A 2 možemo presjeći na odredenim razinama kako bismo dobili k = 2,..., n 1 klastera za svako stablo. Za svaku vrijednost od k možemo označiti klastere za A 1 i A 2 proizvoljno od 1 do k i formirati matricu konfuzije za ta dva stabla na isti način kao kod partitivnog grupiranja. Tada možemo za svaki k izračunati Fowlkes-Mallows indeks na sljedeći način: gdje je B k = T k Pk Q k, T k = P k = Q k = k k m 2 ij n, k k ( m ij ) 2 n, k k ( m ij ) 2 n, a m ij broj objekata koji su zajednički i-tom klasteru stabla A 1 i j-tom klasteru stabla A 2, odnosno broj koji se nalazi na ij mjestu u matrici konfuzije. Primjetimo i da vrijednosti 11

14 Slika 3.1.: Dendrogrami za dvije hijerarhijske particije koje imaju pet objekata i formiranje matrice konfuzije k m ij i k m ij predstavljaju broj objekata i-tog klastera stabla A 1, to jest j-tog klastera stabla A 2. B k se, dakle, računa za svaki k i vrijedi 0 B k 1, a opis sličnosti izmedu particija možemo dobiti iz grafa B k po k. B k će biti jednak 1 kada matrica konfuzije M ima točno k elemenata koji su različiti od 0, što se dogada kada se k klastera u particijama u potpunosti podudaraju, dok će B k biti jednak 0 u slučaju da je svaki m ij jednak 0 ili 1, dakle svaki par objekata koji su u istom klasteru u A 1 dodijeljeni su različitim klasterima u A 2. Jasno je da se ovaj indeks može primjeniti samo ako su particije koje usporedujemo dobivene koristeći istu metriku ili isti algoritam. Medutim, on takoder ovisi o topologiji samih hijerarhijskih stabala koja se dobivaju za A 1 i A 2 te o obilježavanju čvorova stabla, kao što se može vidjeti na slici (3.2). Generaliziramo li Fowlkes-Mallows indeks na način da služi kao mjera za particije s različitim brojem klastera, na primjer Π i Π, dobivamo sljedeći oblik: k l FM(Π, Π ) = ( i m 2 ij n Π i 2 n)( j Π j 2 n) = n 11 (n11 + n 01 )(n 11 + n 01 ). Primjer 3.4. Pretpostavimo da smo usporedivanjem pripadnosti klasterima neuredenih parova dviju particija α i β koje imaju 30 podataka dobili slijedeće vrijednosti: parovi u istom klasteru u β parovi u različitom klasteru u β parovi u istom klasteru u α parovi u različitom klasteru u α Fowlkes-Mallows indeks za ove particije je: 121 FM(α, β) = = ( )( ) 12

15 Slika 3.2.: Dendrogrami za dvije hijerarhijske particije koje imaju pet objekata i efekt promjene oznaka klastera na indeks B k 3.4. Jaccardov indeks Jaccardov indeks ili Jaccardov koeficijent sličnosti je sličan Randovom indeksu, razlika je u tome što Jaccardov indeks zanemaruje one parove objekata koji pripadaju različitim klasterima u obje particije. Definira se na sljedeći način: J (Π, Π n 11 ) =. n 11 + n 10 + n 01 Vrijednost ovog indeksa se kreće izmedu 0 i 1, gdje 0 označava da nema sličnosti izmedu particija. Može se definirati i Jaccardov koeficijent različitosti kao d J (Π, Π ) = 1 J(Π, Π n 01 + n 10 ) = n 11 + n 10 + n 01 koji je ujedno i metrika, a može se shvatiti kao odnos simetrične razlike dva klastera prema njihovoj uniji. Može se postaviti pitanje kada bi ovaj indeks bio bolja mjera sličnosti nego, na primjer, Randov indeks. Jaccardov indeks je vrlo često korišten u ekološkim istraživanjima kada znanstvenike zanima prisutnost ili odsustvo odredenih karakteristika ili vrsta na nekom staništu. Ako žele provjeriti može li odredena vrsta živjeti na nekom mjestu, u pravilu im neće biti važni faktori kojih nema niti na jednoj od lokacija pa je tada Jaccardov indeks sasvim primjeren. Primjer 3.5. Izračunajmo Jaccardov indeks za primjer (3.4): J (α, β) = =

16 4. Mjere temeljene na preklapanju skupova 4.1. F mjera F mjera dolazi iz područja klasteriranja dokumenata, odnosno teksta, gdje se koristi kako bi se procijenila točnost rezultata klasteriranja. Najočitiji primjer klasteriranja teksta su web tražilice koje, kada unesemo tekst, nastoje uz traženi upit ponuditi i što više sinonima i pojmova na neki način vezanih uz upit, a izbaciti one koje na neki način procijeni da su manje važni. Pretpostavimo da imamo nekakav softver za analizu teksta i pretpostavimo da želimo u nekoliko tekstova (na primjer web stranica) tim softverom odrediti koliko se puta spominju riječi iz odredene skupine, recimo robne marke. Pošto možemo reći da takve riječi nisu česte u nasumično odabranim tekstovima, za potrebe ovog primjera je razumno pretpostaviti da će se u riječi naći možda 10 takvih da odgovaraju našoj klasifikaciji. Slika 4.1.: Matrica konfuzije u prediktivnoj analizi Iz matrice konfuzije koja je predstavljena kao na slici (4.1) možemo definirati nekoliko mjera koje bi nam mogle poslužiti u ocjeni kvalitete klasifikacije. Ona koja bi bila potpuno intuitivna je točnost, koju bismo mogli definirati kao sumu riječi koje su ispravno klasificirane (bilo kao robne marke ili kao ostale riječi) podijeljenu s ukupnim brojem riječi. Medutim, upravo na ovom primjeru vidimo zašto takva ocjena nije dobra. Recimo da softver nije pronašao riječi koje su ustvari robne marke, što bi značilo da je dobro klasificirao ostale 14

17 riječi, ali je i riječi koje su robne marke klasificirao kao ostale riječi. Tada je točnost takvog softvera jednaka 9990 = 99, 9%, ali je očigledno da nam takva točnost ne znači ništa kada nije izvršeno ono što smo ustvari htjeli. Bolja mjera kvalitete takvog softvera je preciznost (eng. precision, positive predictive value) koja je definirana kao T P P = T P + F P, što možemo shvatiti kao postotak odabranih koji su dobro klasificirani. Još jedna dobra mjera je osjetljivost (eng. recall, sensitivity, true positive rate) definirana kao R = T P T P + F N, što možemo shvatiti kao postotak točno klasificiranih koji su odabrani. Na primjer, recimo da se u tekstovima i dalje nalazi 10 riječi koje su robne marke, ali je softver njih klasificirao na sljedeći način: Slika 4.2.: Primjer za preciznost i osjetljivost U ovom primjeru je, dakle, osjetljivost softvera jednaka 8 = 80%, što je prilično dobro, ali je 10 preciznost jednaka 8 = 20%, što u pravilu ne želimo. U većini praktičnih primjera se mora 40 napraviti kompromis izmedu preciznosti i osjetljivosti softvera, što ovisi o tome što nam je važnije - da softver pronade što više riječi od kojih možda neke neće zadovoljavati kriterij ili da nade samo one koji zadovoljavaju kriterij, ali možda takvih riječi u tekstu ima puno više od onoga što je pronadeno. F mjera je prema Sasakiju (2007.) ustvari harmonijska sredina preciznosti i osjetljivosti, a definira se kao F β = (1 + β 2 ) preciznost osjetljivost (β 2 preciznost) + osjetljivost = (1 + β 2 ) T P (1 + β 2 ) T P + β 2 F N + F P. 15

18 Najčešća je F 1 mjera koja onda glasi F 1 = 2 preciznost osjetljivost preciznost + osjetljivost, medutim β može za vrijednost poprimiti bilo koji nenegativni realni broj, ovisno o tome želimo li veću težinu pridati preciznosti ili osjetljivosti. F mjera je izvedena tako da F β mjeri učinovitost povrata informacija u odnosu na korisnika koji pridaje β puta više važnosti osjetljivosti nego preciznosti. Temelji se na Van Rijsbergenovoj mjeri učinkovitosti (eng. effectiveness) koja je dana izrazom 1 E = 1 α 1 + (1 α) 1, P R gdje vidimo da je to ustvari razlika broja 1 i težinske harmonijske sredine vrijednosti P i R 1 s faktorom α. Zamijenimo li α sa dobivamo slijedeće: β 2 +1 E = 1 = β (1 1 P P R 1 R + β β 2 +1 β 2 +1 = 1 (β2 + 1)P R R + β 2 P = 1 F β. β 2 +1 ) 1 R Ostaje pitanje zašto baš zamjena α = 1? Van Rijsbergen je parametar β definirao kao β 2 +1 R β = P R, gdje je E P = E R. Primjenimo li pravilo za derivaciju složene funkcije, dobivamo E P E R Tada je E P = E R ekvivalentno što je pojednostavljeno = R(αR + (1 α)p ) P R(1 α) (αr + (1 α)p ) 2 = P (αr + (1 α)p ) P Rα (αr + (1 α)p ) 2. R(αR + (1 α)p ) P R(1 α) = P (αr + (1 α)p ) P Rα, αr 2 = (1 α)p 2. Kako je β = P, R možemo zamijeniti sa βp iz čega slijedi R αβ 2 P 2 = (1 α)p 2 αβ 2 = 1 α α(β 2 + 1) = 1 α = 1 β

19 Isto to možemo primijeniti i na particije. Možemo shvatiti to na način da je svaki klaster prve particije nekakva klasa dokumenta, a svaki klaster druge particije je rezultat nekakvog upita. Tada F mjera za klaster C j u odnosu na neku klasu Ci pokazuje koliko dobro klaster C j opisuje klasu Ci računajući harmonijsku sredinu preciznosti, koja se računa kao p ij = m ij C j, i osjetljivosti, koja je dana sa r ij = m ij Ci, na sljedeći način: F(C i, C j) = 2 r ij p ij r ij + p ij = 2 m ij C i + C j. Tada se ukupna F mjera za klaster C definira kao težinska suma maksimalnih F mjera u tom klasteru: F(C, C ) = F(C ) = 1 k l n i max n {F(C i, C j)} Van Dongen mjera Stijn van Dongen je u svom radu iz godine Van Dongen mjeru uveo proučavajući udaljenosti particija na grafovima. Neka je X skup koji sadrži n elemenata i neka su A i B proizvoljne particije toga skupa. Projekcijski broj p A (B) od A na B se definira kao p A (B) = max a b. b B a A Udaljenost d izmedu A i B se tada definira kao d(a, B) = 2n p A (B) p B (A). (4.1) Uobičajeno se ova udaljenost zapisuje kao par nenegativnih brojeva (n p A (B), n p B (A)), što je jednako uredenom paru (d(a, A B), d(b, A B)). Razlog iz kojega to može biti korisno je taj što ukoliko je bilo koji element uredenog para jednak nuli, tada znamo da je odgovarajuća particija podskup druge. Vrijede slijedeće jednakosti: p A (A B) = p A (B) p A B (A) = n d(a, B) = d(a, A B) + d(b, A B). Primjer 4.1. Neka je n = 12, particije A i B {{1, 2, 3, 4}, {5, 6, 7}, {8, 9, 10, 11, 12}} i {{2, 4, 6, 8, 10}, {3, 9, 12}, {1, 5, 7}, {11}} redom, a njihov presjek je {{1}, {2, 4}, {3}, {5, 7}, {6}, {8, 10}, {9, 12}, {11}}. Tada je p A (B) jednako , p B (A) je jednako , a udaljenost d(a, B) je jednaka = 11 te je dana uredenim parom (6, 5). Intuitivno je jasno da mala vrijednost za p A (B) implicira da je A blizu toga da bude subparticija od B. Ukoliko identificiramo d(a, B) sa težinom najkraćeg puta u grafu, tu tvrdnju možemo i formalizirati. Teorem 4.1 (Van Dongen (2002.)). Van Dongenova udaljenost definirana sa (4.1) zadovoljava aksiome metrike. Dokaz. Očito treba provjeriti samo nejednakost trokuta. Dokaz slijedi ukoliko se pokaže da udaljenost odgovara najkraćem putu izmedu A i B u nekom neusmjerenom težinskom grafu 17

20 konstruiranom na skupu svih particija skupa {1,..., n}. U takvom grafu dvije su particije povezane bridom ako i samo ako jedna može biti konstrirana pomoću druge spajajući dva njezina skupa (ekvivalentno, druga se konstruira iz prve dijeleći jedan skup na dva). Težina brida jednaka je veličini manjeg od dva skupa koje spaja. Tvrdnja je da je d(a, B) duljina najkraćeg puta (u smislu ukupne težine) izmedu A i B. Označimo sa (UV ) (U V ) dijeljenje skupa UV na dva dijela U i V, a sa (U V ) (UV ) spajanje dijelova U i V u jedan skup UV. Označimo put izmedu A i B nizom dijeljenja i spajanja. Lako je provjeriti da je d(a, B) cijena puta koji se sastoji od uzastopnih dijeljenja () () s početkom u A sve do infimuma presjeka A B, a zatim uzastopnih spajanja () () do B te da ne postoji sličan put s takvim slijedom strijelica (sa samo jednom promjenom orijentacije) koji ima manju cijenu. Poanta je da se svaki drugi put kroz graf može pretvoriti u gore opisan put bez povećavanja cijene puta. Dovoljno je pretvoriti jedan gore/dolje slijed strijelica u gore/dolje slijed bez povećanja cijene. Ponavljanje takve pretvorbe dovodi do željenog rezultata. Promatramo dva slučaja. Prvo razmotrimo slijed (T U V W ) (T UV W ) (T V UW ), čija je cijena min( T + U, V + W ) + min( T + V, U + W ). On može biti pretvoren u slijed (T U V W ) (T U V W ) (T U V W ) (T V U W ) (T V UW ) čija je cijena min( T, U ) + min( V, W ) + min( T, V ) + min( U, W ). Iz sljedećih nejednakosti proizlazi da druga cijena ne prelazi prvu: min( T, U ) + min( V, W ) min( T + V, U + W ) min( T, V ) + min( U, W ) min( T + U, V + W ). Drugo, razmotrimo slijed (U V XY ) (UV XY ) (UV X Y ) čija je cijena min( U, V ) + min( X, Y ). On može biti pretvoren u slijed (U V XY ) (U V X Y ) (UV X Y ) koji ima identičnu cijenu kao prethodni slijed, iz čega slijedi tvrdnja teorema. Slika 4.3.: Primjer nelogičnosti zanemarivanja ostalih presjeka klastera u particijama Primjer 4.2. Ono što je zajedničko F mjeri i Van Dongen mjeri je da obje gledaju samo najveće presjeke klastera u particijama, a ostalo zanemaruju. Promotrimo primjer prikazan na slici (4.3). Neka je C particija koja sadrži k = 3 klastera jednakih veličina. Particija 18

21 C je dobivena iz particije C pomicanjem dijela točaka veličine f iz svakog klastera C k u klaster C k+1(mod k). Particija C je dobivena iz particije C preraspodjelom f točaka iz klastera C k ravnomjerno u preostale klastere. Ako za veličinu f vrijedi da je f < 0.5, tada je F(C, C ) = F(C, C ) i d(c, C ) = d(c, C ), dok je intuitivno jasno da je particija C bliža originalnoj particiji C. 19

22 5. Mjere temeljene na uzajamnoj informaciji Jedan od temeljnih pojmova teorije informacija koji je nužan za opis mjera je pojam entropije. Slika 5.1.: Komunikacijski sustav sa smetnjama Promatrajmo komunikacijski sustav prikazan slikom (5.1). Neka je X diskretna slučajna varijabla iz konačnog alfabeta Σ = {x 1, x 2,..., x n } s nizom pripadnih vjerojatnosti x i p(x i ) = P {X = x i }, x i Σ. U smislu komunikacijskog sustava, kako ga definira Jeričević (2009.), prijenos poruka odgovara prijenosu simbola alfabeta. Dakle, neka se na izvoru pojavio simbol x i, i {1,..., n}. U idealnom slučaju bi se na odredištu pojavio isti slijed simbola kao na izvoru, medutim općenito se na odredištu pojavljuje neki drugi niz simbola y j, j {1,..., m} koji ima niz pripadnih vrijednosti y j p(y j ) = P {Y = y j }. U općenitom slučaju vrijedi da su distribucije slučajnih varijabli X i Y različite. Nakon opažanja simbola y j možemo reći da smo primili informaciju. Sadržaj informacije dogadaja x i (u oznaci I(X = x i )) je količina informacije koju sam o sebi nosi dogadaj X = x i i ovisi isključivo o vjerojatnosti p(x i ) tog dogadaja na način da što je manja vjerojatnost dogadaja X = x i, to je veći sadržaj informacije koja je povezana s primanjem informacije da je dogadaj uistinu dogodio. Dakle, sadržaj informacije I(X = x i ) koja je povezana s dogadajem X = x i čija je vjerojatnost p(x i ) definiran je sa ( 1 ) I(X = x i ) = log = log(p(x i )). p(x i ) Primjetimo da baza logaritma nije odredena definicijom. Ovisno o bazi imamo razne mjerne jedinice za sadržaj informacije: u slučaju da je baza 2, mjerna jedinica je bit, ako je baza logaritma 10, mjerna jedinica je hartley, a ukoliko se radi o prirodnom logaritmu i bazi e, mjerna jednica je nat. U pravilu se najčešće koristi baza 2. Entropiju H(X) diskretne slučajne varijable X Cover i Thomas (1991.) definiraju kao H(X) = E[I(X)] = n p(x i ) log p(x i ). 20

23 Ona označava mjeru neodredenosti slučajne varijable X, a dobiva se kao očekivanje sadržaja informacije slučajne varijable X. Entropija ima neka svojstva koja potvrduju da ima smisla kao mjera, a iskazao ih je Shannon (1948.). 1. H(X) 0, što možemo jednostavno provjeriti preko svojstava vjerojatnosti. Naime, znamo da vrijedi 0 p(x i ) 1 što povlači log 1 p(x i 0 iz čega slijedi tvrdnja. ) 2. H = 0 ako i samo ako vrijedi da! i takav da je p(x i ) = 1, što znači da su vjerojatnosti pridružene ostalim dogadajima jednake nuli. Dakle, entropija iščezava jedino kad smo sigurni u ishod dogadaja. 3. Za dani n, H(X) za maksimalnu vrijednost poprima log n u slučaju kada su sve vrijednosti p(x i ) jednake. Intuitivno, nesigurnost u ishod dogadaja je najveća ako su svi ishodi jednako vjerojatni. 4. Pretpostavimo da promatramo dva dogadaja X i Y, za koje vrijedi da dogadaj X ima n, a dogadaj Y ima m mogućih ishoda. Neka je p(x i, y j ) vjerojatnost ishoda i za dogadaj X i ishoda j za dogadaj Y. Entropija takvog zajedničkog dogadaja je tada n m H(X, Y ) = p(x i, y j ) log p(x i, y j ) gdje je H(X) = H(Y ) = n n m p(x i, y j ) log m p(x i, y j ) log m p(x i, y j ) n p(x i, y j ). Lako je iz gornjih jednakosti pokazati da općenito vrijedi H(X, Y ) H(X) + H(Y ), pri čemu jednakost vrijedi samo ako su x i i y j nezavisni dogadaji, prema svojstvu vjerojatnosti unije dogadaja. 5. Pretpostavimo, kao u točki 4., da promatramo dva dogadaja X i Y koji općenito nisu nezavisni. Za svaku vrijednost od i koju X može poprimiti postoji uvjetna vjerojatnost p(y j x i ) da Y ima vrijednost j. Uvjetnu vjerojatnost računamo kao p(y j x i ) = p(x i, y j ) j p(x i, y j ). Definiramo uvjetnu entropiju od Y kao prosjek entropija od Y za svaku vrijednost od X čemu su dodane težine koje odgovaraju vjerojatnosti da će ishod biti točno taj X, odnosno n m H(Y X) = p(x i, y j ) log p(y j x i ). Uvjetna entropija je mjera prosječne preostale neodredenosti dogadaja Y nakon što je ishod od X poznat. Zamijenimo li izraz za p(y j x i ), dobivamo n m n m m H(Y X) = p(x i, y j ) log p(x i, y j ) + p(x i, y j ) log p(x i, y j ) = H(X, Y ) H(X) 21

24 Prema tome, entropija (neodredenost) zajedničkog dogadaja X, Y jednaka je zbroju entropije od X i entropije od Y kad je X poznat. 6. Iz prethodne dvije točke proizlazi iz čega slijedi H(X) + H(Y ) H(X, Y ) = H(X) + H(Y X), H(Y ) H(Y X). Dakle, entropija dogadaja Y nikada neće biti povećana ako znamo ishod dogadaja X. Bit će smanjena osim ako su X i Y nezavisni dogadaji, a u tom slučaju će ostati nepromijenjena. Takoder, vrijedi H(X, Y Z) = H(X Z) + H(Y X, Z). U kontekstu entropije možemo promatrati i razliku izmedu pretpostavljene i stvarne distribucije, na primjer vjerojatnosti pojavljivanja simbola na izvoru komunikacijskog kanala. Recimo da želimo poruku koja je poslana komprimirati na način da šaljemo što manje simbola, a da sadržaj ostane isti. Jedan od načina je da znamo vjerojatnost pojavljivanja odredene riječi ili niza simbola te njih zamijenimo nekim drugim, kraćim nizom simbola, a da primatelj poruke može dobiti istu informaciju. Naravno pri tome može doći do pogrešaka. Relativna entropija ili Kullback-Leiblerova divergencija je prema Coveru i Thomas (1991.) mjera udaljenosti izmedu dviju distribucija P = {p(x i )} i Q = {q(x i )}, i {1,..., n} jedne slučajne varijable. Definirana je na sljedeći način: D(p q) = n p(x i ) log p(x i) q(x i ). (5.1) Dakle, relativna entropija je mjera koja govori koliko više bitova koristimo za kodiranje od onoga što bi bilo potrebno da poznajemo točnu distribuciju. Ukoliko se procijenjena distribucija q razlikuje od stvarne distribucije p, tada prosječno trebamo H(p) + D(p q) bitova za opisivanje slučajne varijable distribucije p. Kullback-Leiblerova divergencija je izvedena iz Bregmanove divergencije, a to znači da ona nije metrika već kvazimetrika. Svojstva simetričnosti i nejednakosti trokuta koja su potrebna da bi bila metrika općenito ne vrijede, medutim svojstvo nenegativnosti vrijedi. Teorem 5.1 (Cover i Thomas (1991.)). Kullback-Leiblerova divergencija definirana sa (5.1) ima svojstvo nenegativnosti, to jest vrijedi D(p q) 0 pri čemu jednakost vrijedi ako i samo ako je p(x i ) = q(x i ), i {1,..., n}. Dokaz. Obzirom da je ranije rečeno da je entropija definirana za bilo koju bazu logaritma, u dokazu će biti korištena baza e, odnosno prirodni logaritam. Takoder će biti korišteno svojstvo da je ln x x + 1 za svaki x > 0 pri čemu jednakost vrijedi ako i samo ako je x = 1. 22

25 Označimo sa I skup svih indeksa i za koje vrijedi za je p(x i ) 0. Tada vrijedi p(x i ) ln p(x i) q(x i ) = p(x i ) ln q(x i) p(x i ) i I i I ( q(xi ) ) p(x i ) p(x i ) 1 i I = i I q(x i ) + i I p(x i ) = i I q(x i ) + 1 ( ) 0. Dakle, i I p(x i ) ln q(x i ) ( ) i I p(x i ) ln p(x i ), iz čega trivijalno slijedi n p(x i ) ln q(x i ) n p(x i ) ln p(x i ) jer indeksi i / I ne utječu na desnu stranu nejednakosti, dok lijeva strana može biti veća ili jednaka dodavanjem tih indeksa. Da bi vrijedila jednakost, potrebno je: 1. q(x i ) = 1 za sve i I kako bi aproksimacija ln q(x i) = q(x i) p(x i ) p(x i ) p(x i 1 bila egzaktna. ) 2. q(x i ) = 1 kako bi umjesto (*) i (**) u dokazu vrijedila jednakost. i I Gornje tvrdnje vrijede ako i samo ako je p(x i ) = q(x i ), i {1,..., n}. Uzajamna informacija (srednji uzajamni sadržaj informacije, transinformacija), kako ju definiraju Cover i Thomas (1991.), je mjera količine informacija koju jedna slučajna varijabla posjeduje o drugoj slučajnoj varijabli. Definira se kao relativna entropija zajedničke distribucije i produkta marginalnih distribucija, odnosno: I(X; Y ) = n m p(x i, y j ) log p(x i, y j ) p(x i )p(y j ). Ovu definiciju možemo zapisati na sljedeći način: n m I(X; Y ) = p(x i, y j ) log p(x i, y j ) p(x i )p(y j ) n m = p(x i, y j ) log p(x i y j ) p(x i ) n m n = p(x i, y j ) log p(x i ) + = n ( p(x i ) log p(x i ) = H(X) H(X Y ), n m p(x i, y j ) log p(x i y j ) m ) p(x i, y j ) log p(x i y j ) 23

26 što znači da uzajamnu informaciju možemo shvatiti kao smanjenje neodredenosti varijable X zbog poznavanja varijable Y. Sličnim nizom zaključivanja može se pokazati da je uzajamna informacija simetrična, odnosno da vrijedi I(X; Y ) = n m p(x i, y j ) log p(x i, y j ) p(x i )p(y j ) n m = p(x i, y j ) log p(y j x i ) p(y j ) n m = p(x i, y j ) log p(y j ) + = m ( p(y j ) log p(y j ) = H(Y ) H(Y X). Vrijede i sljedeće jednakosti i ocjene: n n m p(x i, y j ) log p(y j x i ) m ) p(x i, y j ) log p(y j x i ) I(X; Y ) = H(X) + H(Y ) H(X, Y ) (5.2) I(X; X) = H(X) H(X X) = H(X) I(X; Y ) min [H(X), H(Y )] H(X)H(Y ) 1 ( ) H(X) + H(Y ) 2 max [H(X), H(Y )] H(X, Y ) (nejednakosti sredina), a odnosi izmedu entropije i uzajamne informacije prikazani su na slici (5.2). Slika 5.2.: Vennov dijagram odnosa izmedu entropije i uzajamne informacije Nenegativnost uzajamne informacije slijedi direktno iz dokaza nenegativnosti Kullback- Leiblerove divergencije. Naime, uzajamnu informaciju možemo zapisati kao I(X; Y ) = D(p(x i, y j ) p(x i )p(y j )), što je uvijek nenegativno, a jednakost vrijedi ako i samo ako je p(x i, y j ) = p(x i )p(y j ), odnosno ako su dogadaji X i Y nezavisni. Teorija informacija u klasteriranju Uzajamna informacija u statističkom smislu mjeri koliko se smanjuje neodredenost jedne varijable ukoliko poznajemo drugu. Medutim, možemo to primijeniti i na particije, to jest 24

27 možemo izmjeriti sadržaj informacije koju dijele dva klastera i na taj način procijeniti njihovu sličnost. Promatrajmo slučajno odabran element skupa svih elemenata X. Vjerojatnost da on pripadne klasteru π i particije Π jednaka je P (i) = π i n. Na taj način definiramo diskretnu slučajnu varijablu koja prima π i vrijednosti i jedinstveno je pridružena particiji Π. Entropiju particije Π tada definiramo kao H(Π) = k P (i) log P (i). Entropija H(Π) je nenegativna i poprima vrijednost 0 samo kada nema neodredenosti pri odredivanju pripadnosti elementa klasteru, odnosno kada je samo jedan klaster u particiji. Primjetimo da neodredenost ne ovisi o ukupnom broju elemenata u particiji, nego o relativnim proporcijama klastera. Slično, entropija particije Π je definirana kao H(Π ) = l P (j) log P (j), gdje je P (j) = π j n. Uzajamna informacija dviju particija Π i Π je tada definirana sa I(Π, Π ) = k l P (i, j) P (i, j) log P (i)p (j), gdje P (i, j) označava da element pripada klasteru π i particije Π i klasteru π j particije Π : P (i, j) = π i π j. n Primjetimo da uzajamnu informaciju možemo zapisati i u terminima matrice konfuzije: I(Π, Π ) = H(Π) + H(Π ) H(Π, Π ) = k l m ij n log m ijn π i π j. Intuitivno o uzajamnoj informaciji možemo razmišljati i na sljedeći način. Dana nam je slučajna točka iz početnog skupa podataka X. Neodredenost koja se tiče pripadnosti klasteru u particiji Π se mjeri entropijom H(Π ). Pretpostavimo sada da nam je rečeno kojem klasteru dana točka pripada u particiji Π. Koliko će ova spoznaja smanjiti neodredenost koja se tiče particije Π? To smanjenje neodredenosti, uzeto u prosjeku po svim točkama, je jednako I(Π, Π ). Uzajamna informacija izmedu dviju slučajnih varijabli je uvijek nenegativna i simetrična, I(Π, Π ) = I(Π, Π) 0. Nadalje, uzajamna informacija nikada ne prelazi ukupnu neodredenost u particiji, što znači da vrijedi I(Π, Π ) min (H(Π), H(Π )), (5.3) 25

28 pri čemu jednakost vrijedi u slučaju kada jedna particija potpuno odreduje drugu. primjer, ako je particija Π dobivena iz Π spajanjem dva ili više klastera, tada vrijedi Na I(Π, Π ) = H(Π ) < H(Π). U slučaju kada su dvije particije jednake, i samo u tom slučaju, vrijedi I(Π, Π ) = H(Π ) = H(Π). (5.4) 5.1. Normalizirana uzajamna informacija (Strehl, Ghosh) U svom radu iz 2002., Strehl i Ghosh su promatrali problem spajanja particija za koje nije poznato na koji su način dobivene (nepoznat algoritam klasteriranja, nepoznati podaci, nepoznati kriteriji...) u jednu particiju. Slika 5.3.: Funkcija Γ spaja particije Π k dobivene iz raznih izvora, bez poznavanja originalnih podataka iz skupa X ili algoritama Φ Pogledajmo jedan ilustrativni primjer. Slika 5.4.: Problem spajanja particija sa 4 grupe podataka, k 1, k 2, k 3 = 3 i k 4 = 2 klastera Primjer 5.1. Neka su dane particije podataka kao na slici (5.4). Particije Π 1, Π 2, Π 3, Π 4 predstavljaju vektore koji sadrže indekse klastera. Budući da algoritmi za klasteriranje 26

29 uglavnom ne vode računa o jednakom indeksiranju klastera, možemo zaključiti da su particije Π 1 i Π 2 logički jednake. Particija Π 3 unosi razliku u objektima x 3 i x 5. Particija Π 4 nije konzistentna s ostalima, sadrži dvia klastera te ima i nedostajuće elemente. Pokušajmo sada odrediti kako bi izgledala particija koja bi bila kombinacija ovih particija sa tri klastera. Intuitivno, dobra kombinacija bi dijelila što je više moguće informacija sa danim particijama. Kada bismo provjerili svih 301 kombinaciju jedinstvenih particija od sedam elemenata podijeljenih u tri grupe, dobili bismo da je particija koja dijeli najviše informacija s ostale četiri (2, 2, 2, 3, 3, 1, 1) T (ili neka od k! = 6 njoj ekvivalentnih, kao na primjer (1, 1, 1, 2, 2, 3, 3) T ). Strehl i Ghosh za funkciju koja spaja particije u jednu predlažu normaliziranu uzajamnu informaciju definiranu na sljedeći način: NMI SG (Π, Π ) = I(Π, Π ) H(Π)H(Π ). (5.5) Pošto uzajamna informacija kao mjera nema gornju granicu, normalizacija se predlaže zbog lakše interpretacije dobivenih rezultata. Jedan od kriterija za normalizaciju je svojstvo (5.3). Tada je najjednostavnija normalizacija uzajamne informacije koristeći aritmetičku ili geometrijsku sredinu od H(Π) i H(Π ). Kod ovakve normalizacije raspon se kreće od 0 (u slučaju nezavisnosti particija) do 1 (u slučaju jednakosti particija). Bližim promatranjem samog izraza (5.5) vidimo zašto je odabrana normalizacija geometrijskom sredinom. Primjećuje se analogija s normalizacijom vektora u euklidskom prostoru. Naime, kako je I(Π, Π) = H(Π), promatramo li particiju Π kao vektor indeksa kao u primjeru, dobivamo izraz za normalizaciju vektora: NMI SG (Π, Π) = I(Π, Π) H(Π)H(Π) = H(Π) H(Π), gdje je euklidska norma vektora. Vrijednost za NMI SG može biti procijenjena u terminima elemenata matrice konfuzije. Neka je n a h broj podataka u klasteru π h particije Π a i n b l broj podataka u klasteru π l particije Π b. Neka je m hl broj podataka koji se nalaze u klasteru π h particije Π a i u klasteru π l particije Π b. Tada možemo izraziti procjenitelja za NMI SG kao: φ (NMI SG) (Π a, Π b ) = ( k a h=1 k a k b h=1 l=1 m hl log n m hl n a h nb l )( n a h log kb na h n l=1 ). n b l log nb l n Koristeći ovu mjeru za par particija, možemo definirati mjeru izmedu r particija Π i jedne particije Π kao prosječnu normaliziranu uzajamnu informaciju (ANMI): φ (ANMISG) (Π, Π ) = 1 r φ (NMISG) (Π, Π q ). r Tada je predloženo da optimalna particija Π opt bude ona koja ima maksimalnu prosječnu uzajamnu informaciju sa svim pojedinačnim particijama Π q u Π, pod pretpostavkom da je željeni broj klastera jednak k. Drugim riječima, funkcija koja odreduje optimalnu particiju je Π opt = argmax Π q=1 r φ (NMISG) (Π, Π q ), q=1 gdje se Π traži medu svim mogućim k-particijama. 27

30 5.2. Normalizirana uzajamna informacija (Fred, Jain) Promatrajući isti problem kao Strehl i Ghosh, Fred i Jain (2003.) normalizacije uzajamne informacije. Koristeći ocjenu predlažu novi način I(Π, Π ) H(Π) + H(Π ), 2 koja se dobiva direktno iz svojstva (5.3), dobivamo novi izraz za normaliziranu uzajamnu informaciju: NMI F J (Π, Π 2I(Π, Π ) ) = H(Π) + H(Π ). Primjetimo da i za NMI F J vrijedi 0 NMI F J 1, pri čemu je NMI F J = 1 za Π = Π, a NMI F J = 0 kada su particije Π i Π nezavisne. Takoder možemo izraziti procjenitelja kao i za NMI SG. Neka je n a h broj podataka u klasteru π h particije Π a i n b l broj podataka u klasteru π l particije Π b. Neka je m hl broj podataka koji se nalaze u klasteru π h particije Π a i u klasteru π l particije Π b. Tada je procjenitelj za NMI F J jednak φ (NMI F J ) (Π a, Π b ) = k a h=1 2 ka k b h=1 l=1 n a h log ( n ) a h n + kb m hl log ( ) n m hl n a h nb l n b l log ( n ). b l n l=1 Opet možemo definirati mjeru izmedu r particija Π i jedne particije Π kao prosječnu normaliziranu uzajamnu informaciju (ANMI): φ (ANMI F J ) (Π, Π ) = 1 r r φ (NMI F J ) (Π, Π q ), q=1 te analognu funkciju koja odreduje optimalnu particiju Π opt = argmax Π 5.3. Varijacija informacija r φ (NMI F J ) (Π, Π q ). q=1 Varijacija informacija je još jedna mjera koja može biti korištena za usporedbu dviju particija. Za particije Π i Π Melia (2003.) ju definira na sljedeći način: Možemo to zapisati i kao V I(Π, Π ) = H(Π) + H(Π ) 2I(Π, Π ). (5.6) V I(Π, Π ) = [H(Π) I(Π, Π )] + [H(Π ) I(Π, Π )]. (5.7) Primjetimo da gornju jednakost možemo zapisati i na sljedeći način: V I(Π, Π ) = H(Π Π ) + H(Π Π). 28

31 Slika 5.5.: Varijacija informacije i vezane veličine Vrijednost H(Π Π ) mjeri količinu informacija koje gubimo o particiji Π, dok vrijednost H(Π Π) mjeri količinu informacija koje možemo dobiti kada promatramo particiju Π u odnosu na particiju Π. Iskoristimo li jednakost (5.2), dobivamo treći ekvivalentni izraz za varijaciju informacija u terminima zajedničke entropije dviju particija: V I(Π, Π ) = 2H(Π, Π ) H(Π) H(Π ). U nastavku slijedi nekoliko svojstava varijacije informacija koje predlaže Melia (2003.) i kako se ta svojstva ponašaju u odnosu na intuitivno shvaćanje različitosti izmedu dviju particija istog skupa podataka. 1. Nenegativnost. V I(Π, Π ) je uvijek nenegativno i V I(Π, Π ) = 0 ako i samo ako vrijedi Π = Π. Dokaz. Nenegativnost varijacije informacija možemo lako pokazati ukoliko primijenimo svojstvo uzajamne informacije dano jednakošću (5.3) na definiciju varijacije informacija danu jednakošću (5.7). Naime, kako je uzajamna informacija dvaju particija manja ili jednaka minimalnoj vrijednosti entropija pojedinih particija, u definiciji varijacije informacija tada imamo sumu dva nenegativna izraza iz čega slijedi nenegativnost. Da bismo pokazali drugi dio tvrdnje, koristimo svojstvo uzajamne informacije dano jednakošću (5.4) i istu definiciju varijacije informacija kao i u prvom dijelu tvrdnje danu sa (5.7). Iz toga slijedi V I(Π, Π ) = [H(Π) I(Π, Π )] + [H(Π ) I(Π, Π )] = [H(Π) H(Π)] + [H(Π ) H(Π )] = 0, ako i samo ako Π = Π, čime je dokazan drugi dio tvrdnje. 2. Simetričnost. V I(Π, Π ) = V I(Π, Π) Dokaz. Trivijalno slijedi iz definicije (5.6) i ranije pokazane simetričnosti uzajamne informacije. 29

32 3. Nejednakost trokuta. Za svake tri particije Π 1, Π 2, Π 3 skupa podataka X vrijedi V I(Π 1, Π 2 ) + V I(Π 2, Π 3 ) V I(Π 1, Π 3 ). Dokaz. Vidyasagar (2011.) Navedimo za početak definicije i svojstva koji će biti korišteni u dokazu. Prvo, prema definiciji entropije zajedničkog dogadaja imamo da je H(Π 1, Π 2 ) = H(Π 2 ) + H(Π 1 Π 2 ). Ova jednakost vrijedi i kada je uvjetovana na Π 3 pa tada imamo H(Π 1, Π 2 Π 3 ) = H(Π 2 Π 3 ) + H((Π 1 Π 2 ) Π 3 ). Prema zakonu o ponovljenom uvjetovanju vrijedi H((Π 1 Π 2 ) Π 3 ) = H(Π 1 Π 3, Π 2 ). Drugim riječima, nema razlike ako uvjetujemo Π 1 istovremeno na par (Π 3, Π 2 ) ili prvo uvjetujemo Π 1 na Π 2 pa zatim uvjetujemo Π 1 Π 2 na Π 3, konačne uvjetne entropije će biti jednake. Zatim, H(Π 1 Π 3, Π 2 ) H(Π 1 Π 3 ). To znači da uvjetovanje na više particija ne može povećati entropiju, ali ju može smanjiti. Konačno, H(Π 1, Π 2 Π 3 ) H(Π 1 Π 3 ), odnosno, entropija zajedničkog dogadaja H(Π 1, Π 2 ) nije manja od entropije jedne particije H(Π 1 ) što izlazi iz definicije H(Π 1, Π 2 ) = H(Π 1 ) + H(Π 2 Π 1 ) jer je uvjetna entropija H(Π 2 Π 1 ) nenegativna. Isto vrijedi i kada se uvjetuje na particiju Π 3. Iz gornjih razmatranja slijedi H(Π 1 Π 3 ) H(Π 1, Π 2 Π 3 ) = H(Π 2 Π 3 ) + H(Π 1 Π 2, Π 3 ) H(Π 2 Π 3 ) + H(Π 1 Π 2 ). (5.8) Kako bi dokazali nejednakost trokuta, koristimo nejednakost (5.8) i dobivamo V I(Π 1, Π 3 ) = H(Π 1 Π 3 ) + H(Π 3 Π 1 ) H(Π 1 Π 2 ) + H(Π 2 Π 3 ) + H(Π 3 Π 2 ) + H(Π 2 Π 1 ) = V I(Π 1, Π 2 ) + V I(Π 2, Π 3 ). 4. Gornja granica. Kako je varijacija informacija metrika koja je definirana na konačnom skupu podataka X, ona mora biti ograničena. Njezina gornja granica nije konstanta, ali može se izraziti pomoću broja podataka skupa X i vrijedi da je za dvije particije Π i Π V I(Π, Π ) log n. Ovo je gruba ocjena, na primjer ukoliko usporedujemo trivijalne particije Π = {{1}, {2}, {3},..., {n}} i Π = {X}, dobivamo V I(Π, Π ) = H(Π) + H(Π ) 2I(Π, Π ) = log n = log n. 30

33 Ako je broj klastera u particijama odozgo omeden nekom konstantom K za koju vrijedi da je K n, tada vrijedi V I(Π, Π ) 2 log K. Ova gornja granica će biti postignuta uvijek kada je n višekratnik od K 2. Ovo svojstvo ima jednu važnu posljedicu. Za dovoljno veliki n, particije različitih skupova podataka s različitim brojem podataka koje ti skupovi sadrže koji zadovoljavaju da je gornja granica broja klastera neka konstanta mogu biti usporedeni pomoću varijacije informacija. To nam može poslužiti za usporedivanje algoritama za klasteriranje na različitim skupovima podataka jer su dobivene udaljenosti medusobno usporedive. Dakle, ukoliko imamo ekvivaletne probleme klasteriranja na različitim skupovima podataka, ima smisla usporedivati udaljenosti dobivene varijacijom informacija na dva ili više različitih skupova koji su različitih veličina. 5. Kolinearnost Kartezijevog produkta particija. Prvo navedimo dvije definicije koje će nam pomoći u razmatranju ovog svojstva. Kažemo da particija Π profinjuje particiju Π ako za svaki klaster pi k Π postoji (jedinstveni) klaster π k Π takav da vrijedi π k π k. Drugim riječima, profinjenje Π je dobiveno dijeljenjem nekih klastera u originalnoj particiji Π. Ako Π profinjuje Π, lako je vidjeti da je K K, gdje je K gornja granica broja klastera u Π, a K gornja granica broja klastera u Π, dok se jednakost postiže samo u slučaju da je Π = Π. Kartezijev produkt particija Π i Π definiramo na sljedeći način: Π Π = {π k π k π k Π, π k Π, π k π k }. Prema tome, Kartezijev produkt dviju particija je particija sastavljena od svih nepraznih presjeka klastera iz Π s klasterima iz Π. Slika 5.6.: Dvije maksimalno odvojene particije C i C sa K = 3 klastera i njihov Kartezijev produkt koji ima 9 klastera Nejednakost trokuta vrijedi s jednakošću za dvije particije i njihov Kartezijev produkt: V I(Π, Π ) = V I(Π, Π Π ) + V I(Π, Π Π ). Kao što je prikazano na slici (5.7), Kartezijev produkt dviju particija je kolinearan s tim particijama i nalazi se izmedu njih u ovom metričkom prostoru. 6. Najbliži susjedi. Iz ranijih svojstava je vidljivo da je varijacija informacija metrika ograničena odozgo. Posljedica toga je da oko svake particije možemo definirati kuglu radijusa ɛ pri čemu gornja granica metrike daje apsolutnu gornju granicu na ɛ. S druge 31

34 Slika 5.7.: Ilustracija svojstva kolinearnosti Kartezijevog produkta za particije C i C strane, kugle čiji je radijus ispod odredene granice će sadržavati samo particiju oko koje su smještene. Pretpostavimo da je particija Π dobivena iz particije Π dijeljenjem klastera π k u klastere π k 1,..., π k m. Vjerojatnosti pridružene klasterima u Π su { P (k P (k ) ako π k ) = Π P (k k)p (k) ako π k π k Π Pri tome je P (k k) za k {k 1,..., k m } P (k l k) = π k l π k, a entropija, koja predstavlja neodredenost pridruženu dijeljenju klastera π k, jednaka je H k = P (k l k) log P (k l k). l Tada je V I(Π, Π ) = P (k)h k. (5.9) Primjetimo da jednakost (5.9) pokazuje da je udaljenost dobivena dijeljenjem klastera proporcionalna relativnoj veličini klastera pomnoženoj entropijom te podijele. To znači da dijeljenje (analogno i spajanje) manjih klastera ima manji utjecaj na varijaciju informacija nego dijeljenje (odnosno spajanje) većih klastera. Takoder, varijacija informacija pri spajanju ili dijeljenju klastera ne ovisi o ničemu što se nalazi izvan tih klastera što je poželjno svojstvo. Dakle, najbliži susjedi particiji Π u pogledu udaljenosti dobivene varijacijom informacija su particije dobivene iz Π dijeljenjem ili spajanjem najmanjih klastera. 7. Donja granica na udaljenost medu susjedima. Kao posljedicu prethodna svojstva imamo sljedeća tri rezultata: Ako je particija Π dobivena iz particije Π dijeljenjem π k na q jednakih klastera, tada vrijedi V I(Π, Π ) = P (k) log q. Ako je particija Π dobivena iz particije Π dijeljenjem jedne točke iz klastera π k te proglašavanjem te točke novim klasterom u Π, vrijedi V I(Π, Π ) = 1 n [n k log n k (n k 1) log (n k 1)]. 32

35 Za bilo koje dvije particije Π i Π vrijedi V I(Π, Π ) V I(Π, Π Π ). Iz ovoga možemo zaključiti kakva je donja granica udaljenosti izmedu particije Π i bilo koje druge particije istog početnog skupa podataka. Ta donja granica ovisi o samoj particiji Π. Uzimajući minimum za sve particije, koji je postignut kada spajamo dva klastera koji oba imaju samo jednog člana ili dijelimo klaster koji ima dva člana, dobivamo V I(Π, Π ) 2 n za Π Π. To znači da se najmanja udaljenost izmedu dviju particija smanjuje kada ukupan broj podataka raste. Razlog za to je što s većim brojem podataka imamo i veći broj mogućih particija. Pokazano je u ranijim razmatranjima da vrijednosti varijacije informacija imaju raspon od 2 do log n. Nameće se pitanje normalizacije ovih vrijednosti. Naravno, normalizacija je n moguća dijeljenjem varijacije informacija sa log n, V I n (Π, Π ) = 1 log n V I(Π, Π ), medutim u tom slučaju ne možemo ovu mjeru koristiti za usporedbu skupova podataka različitih veličina što smo spomenuli kao dobru osobinu. Druga mogućnost je normalizacija gornjom granicom 2 log K kada je broj klastera omeden istom konstantom K u svim eksperimentima. V I k (Π, Π 1 ) = 2 log K V I(Π, Π ). Ovakva normalizacija čuva mogućnost usporedbe različitih skupova podataka, neovisno o njihovoj veličini. Negativna strana ovakve normalizacije je što mjerna jedinica za V I k više neće biti bit, nego postaje proizvoljna mjerna jedinica. Ovako dobivene vrijednosti neće biti usporedive, na primjer, izmedu različitih autora ili različitih eksperimenata bez poznavanja vrijednosti K i ponovne normalizacije. 33

36 6. Primjena na konkretnim primjerima 6.1. Baza Iris Iris je baza podataka koja se vrlo često koristi u strojnom učenju za testiranje raznih algoritama za klasificiranje i klasteriranje. Sadrži 150 podataka koji imaju ukupno 5 karakteristika u bazi: duljinu i širinu latice (petal length, petal width), duljinu i širinu lapova (sepal length, sepal width), kao što je prikazano na slici (6.1), te vrstu kojoj cvijet pripada. Podaci su ravnomjerno rasporedeni po vrstama cvijeta, dakle ima 50 podataka za vrstu Iris Setosa, 50 podataka za Iris Virginica te 50 podataka za Iris Versicolor. Slika 6.1.: Duljina i širina latice te duljina i širina lapova Osnovna statistička analiza daje sljedeće rezultate: baza sadrži 4 numeričke varijable i jednu kategorijsku (vrsta cvijeta). Prva numerička varijabla je duljina lapa cvijeta izražena u centimetrima. Najmanja vrijednost ove varijable je 4.3 cm, najveća vrijednost je 7.9 cm, dok je srednja vrijednost cm. Druga varijabla je širina lapa cvijeta izražena u centimetrima. Njezina je najmanja vrijednost 2 cm, najveća 4.4 cm, a srednja vrijednost joj je cm. Treća varijabla je duljina latice. Najveća vrijednost te varijable je 1 cm, najveća vrijednost je 6.9 cm, dok je srednja vrijednost cm. Zadnja numerička varijabla je širina latice i njezine vrijednosti su sljedeće: najmanja vrijednost je 0.1 cm, najveća je 2.5 cm, a srednja vrijednost joj je cm. Za potrebe ovih primjera na podacima baze Iris (uzimajući u obzir samo numeričke varijable) izvršeno je klasteriranje podataka koristeći četiri različita algoritma za klasteriranje, dok su podaci iz varijable koja označava vrstu cvijeta korišteni kao optimalna particija za usporedbu s ostalima. Prvi algoritam koji je korišten je k-means (k-sredina) algoritam koji je standardni algoritam za partitivno klasteriranje. Drugi algoritam je algoritam k-medioida, a razlikuje se od k-means algoritma po tome što za centre klastera uzima samo točke koje se nalaze u klasteru, dok k-means za centar klastera u pravilu ima točku koju generira na temelju suma kvadrata 34