Nenad Mitić Matematički fakultet nenad@matf.bg.ac.rs
Uvod Formiranje Za dati skup transakcija (slogova) naći koja predvidjaju pojavljivanje stavke (objekta) na osnovu pojavljivanja ostalih (objekata) u transakcijama Osnovni pojmovi (iz uvodnog dela) Skup Podrška Pouzdanost Pravilo 5.2
Uvod Formiranje Za dati skup transakcija (slogova) T cilj način odredjivanja je pronaći sva koja imaju podršku minsup (minimalni prag podrške) pouzdanost minconf (minimalnog prag pouzdanosti) Visoko poverenje jako pravilo, ukazuje na visok nivo uzročnosti, izmedju artikala/elemenata ovakva su od interesa 5.3
Uvod Visoka podrška pojavljuje se često, manje je verovatno da se pravilo slučajno pojavilo uočavanje čestih nudi više mogućnosti za akciju U slučaju jako velikih baza podataka minconf (minimalni nivo poverenja) se obično postavlja visoko (npr. 80%) minsup (minimalni nivo podrške) je uobičajeno značajno niži (npr. 5-10%), zbog velike raznolikosti Formiranje 5.4
Uvod Formiranje Kako odrediti česte stavke? Teorijski dokaz postojanja algoritma: metoda grube sile Izlistati sva moguća Izračunati podršku i pouzdanost za svako pravilo Odbaciti koja ne zadovoljavaju minsup i minconf prag 5.5
Formiranje Utvrditi koji se artikli prodaju zajedno Ako kupac kupi odredjene artikle, koji su još proizvodi verovatni da se nadju u njegovoj korpi Primena: npr. organizovati promotivnu kampanju (rasprodaju) tako da se popust ne daje istovremeno na artikle koji se uobičajeno kupuju zajedno Pored uobičajenih paketa proizvoda, naći i iznenadjujuće (neuobičajene) pridružene artikle (npr. novi trend) 5.6
- primer Formiranje Podaci - Shopping dataset sa http://dmg.org/pmml/pmml_examples/index.html 5.7
Definicija pridruži vanja Formiranje Neka su X i Y dva skupa. Tada se pravilo u oznaci X Y naziva pravilo sa minimalnom podrškom minsup i minimalnom pouzdanošću minconf ako važi: 1 Podrška stavke X Y je minsup 2 Pouzdanost X Y je minconf 5.8
Formiranje Formiranje Dve faze: 1 Formirati sve skupove kod kojih je podrška minsup 2 Formirati iz svakog skupa sa pouzdanošću minconf 5.9
Formiranje Formiranje Formiranje svih čestih skupova artikala je problem jer u primenama se obično pojavljuju stotine hiljada različitih artikala (npr. potrošačka korpa) za d artikala postoji 2 d 1 mogućih skupova (+ prazan skup) njihovu frekvenciju treba proveriti na osnovu miliona transakcija svakog dana/sata Računarski vrlo zahtevan proces da li je moguće smanjiti prostor pretrage za česte skupove? 5.10
Formiranje Formiranje 5.11
Formiranje definicije i princip: ako je skup čest, tada su i svi njegovi podskupovi takodje česti Anti-Monotonost podrške: Podrška svakog podskupa J skupa I je jednaka ili veća od podrške skupa I sub(j) sup(i) J I Formiranje 5.12
Formiranje definicije i Zatvorenje na niže (eng. downward closure): svaki podskup od podržanog (čestog) skupa je takodje podržan (čest) Posledica: ako neki skup artikala koji nije podržan (nije frekventan), onda ni njegovi nad-skupovi ne mogu biti podržani (anti-monotonost) tj. ako {A} nije čest, onda bilo šta što sadrži {A} ne može biti često ne treba da bude razmatrano Formiranje 5.13
Formiranje Formiranje 5.14
Formiranje definicije i Maksimalno česte stavke: skup je maksimalno čest ako ni jedan od njegovih neposrednih nadskupova nije čest Formiranje 5.15
Formiranje definicije i Monotonost pouzdanosti: Ako su X 1, X 2 i I skupovi takvi da važi X 1 X 2 I, tada važi conf (X 2 I X 2 ) conf (X 1 I X 1 ) Formiranje Koristi se za eliminaciju redundantnih : npr. u slučaju {Hleb} {Pivo, Mleko} i {Hleb, Pivo} {Mleko} drugo pravilo može da se ukloni jer ima istu podršku, ali manju pouzdanost od prvog 5.16
Metoda grube sile Svaki skup u rešetki je kandidat da bude čest Prebrojati podršku za svakog kandidata pregledanjem baze Uparuje se svaka transakcija sa svakim kandidatom Složenost O(NMw) - jako skupo jer je M = 2 d 1- broj, w - maksimalna širina transkacije, N - broj transakcija Ukupan broj mogućih za d je d 1 ( ) d d k ( ) d k k j k=1 j=1 Formiranje 5.17
algoritam Formiranje R. Agrawal i R. Srikant 1994. Xindong Wu and Vipin Kumar: The Top Ten Algorithms in Data Mining - glava 4 Varijante algoritma + algoritam za formiranje 5.18
algoritam (nastavak) Formiranje Formiranje čestih skupova Elementi skupova poredjani leksikografski Na osnovu čestih skupova dužine k formira skupove dužine k + 1 Skupovi k se spajaju ako su im jednaki previh k 1 elemenata Nalazi podršku skupova dužine k + 1 Odbacuje retke skupove k + 1 i ne razmatra njihove nadskupove (posledica zatvorenja na niže) Odbacuje skupove k + 1 ako neki od podskupova k nije čest 5.19
algoritam (nastavak) Formiranje /* Ck+1 skup kandidata duzine k+1 */ (Transakcije: T, Podrska: minsup) begin k=1; F1={sve ceste 1-stavke}; while Fk nije prazno do begin Generisati Ck+1 spajanjem iz Fk; Odbaciti stavke iz Ck+1 koje ne zadovoljavaju zatvorenje na nize; Odrediti Fk+1 brojanjem podrske (Ck+1, T); odbaciti one sa podrskom manjom od minsup; k=k+1; end; return (unija svih Fi, i=1;k); end 5.20
algoritam (nastavak) Formiranje Smešta stavke u rešetku u širinu, nivo po nivo Grupiše podatke u korpe (eng. buckets) po dužini skupova Svaka korpa se predstavlja u obliku heš strukture sa fiksnim brojem grana u čvoru Na i-tom nivou heš funkcija se primenjuje na i-tu stavku skupa Uvećava se broj do kojih se dodje u listovima heš strukture Stavke iz transakcija se porede sa sadržajem svoje (kandidatske) korpe umesto sa celim skupom kandidata 5.21
algoritam (nastavak) Numeracija 3- transakcije {a, b, d, e, g} Transakcija a b d e g Formiranje a b d e g b d e g d e g a b d e g a d e g a e g b d e g b e g d e g a b d a b e a b g a d e a d g a e g b d e b d g b e g d e g Koja od ovih odgovara kandidatskim niskama? 5.22
algoritam (nastavak) Primer: Za heš funkciju Heš f-ja Formiranje a, d, g b, e, h c, f, i i skup {a, b, c, d, e, f, g, h, i} drvo kandidatskih družine 3 Heš f-ja Heš f-ja b c d e f g Heš f-ja a d e Heš f-ja a c f c d e c e f c e g f h i c f g c f h a b d d e f a b e d e h a e i 5.23
algoritam (nastavak) Formiranje U transakciji koja sadrži {a, b, d, e, g} 3-stavke koje se poklapaju sa kandidatskim stavkama se dobijaju preko heš drveta Heš f-ja na a, b, d, e, g Heš f-ja b c d e f g Heš f-ja a d e Heš f-ja a c f c d e c e f c e g f h i c f g c f h a b d d e f a b e d e h a e i 5.24
algoritam (nastavak) Heš f-ja Formiranje a, d, g b, e, h c, f, i Heš f-ja na a, b, d, e, g a b d e g b c d e f g Heš f-ja a d e a b d e g a c f c d e c e f c e g f h i c f g c f h a b d d e f a b e d e h a e i Uparene su tri stavke (ade), (abd), (abe) 5.25
algoritam (nastavak) Formiranje Formiranje Svaki čest k-skup može da proizvede do 2 k 2 (ignorišu se sa praznom levom ili desnom stranom) Pravilo se izdvaja deljenjem skupa Y na dva neprazna podskupa X i Y X, takve da X Y X ima veću pouzdanost od zadatog praga Svako pravilo mora da zadovoljava i uslov da ima veću podršku od zadatog praga podrške 5.26
Drveta sa Formiranje Drveta sa leksikografskim uredjenjem Kandidatske stavke se formiraju širenjem drveta (u širinu, u dubinu,...) Na kraju sadrži samo česte stavke 5.27
Drveta sa Definicija: drvo sa koje sadrži samo česte stavke Čvorovi sadrže šeste stavke; koreni čvor sadrži praznu stavku Neka je I = i 1,..., i k česta stavka gde su i 1, i 2,..., i k navedene u leksikografskom poretku. Roditelj čvora I je stavka i 1,..., i k 1. Dete čvor može da se proširi samo sa stavkama koje se nalaze leksikografski posle svih koje se nalaze u tom čvoru. Može da se posmatra i kao prefiksno drvo leksikografski uredjenih Formiranje 5.28
Drveta sa Formiranje Null a b c d e f ab ac ad af bc bd cd cf df abc abd acd acf adf bcd cdf acdf 5.29
Drveta sa Oznake F(Q) proširenja leksikografskog drveta čestim stavkama u čvoru Q Neka je i F(Q) česta stavka koja proširuje čest čvor Q u čest čvor P = Q {i} C(P) podskup iz F(Q) koji se leksikografski javlja posle stavke i koja se koristi za proširenje čvora Q u čvor P C(P) - skup kandidata za proširenje čvora P Važi: F(P) C(P) F(Q) Formiranje Kandidati za proširenje C(P) predstavljaju pandan susednim čvorovima u alg. 5.30
Načini obilaska rešetke Formiranje 5.31
Načini obilaska rešetke Formiranje 5.32
Načini obilaska rešetke Formiranje 5.33
Vertikalni raspored podataka Formiranje Promena načina predstavljanja baze Br. trans. hleb mleko pelene pivo jaja kola 1 1 1 0 0 0 0 2 1 0 1 1 1 0 3 0 1 1 1 0 1 4 1 1 1 1 0 0 5 1 1 1 0 0 1 Stavka Skup ident. tr. Binarna repr. hleb 1, 2, 4, 5 11011 mleko 1, 3, 4, 5 10111 pelene 2, 3, 4, 5 01111 pivo 2, 3, 4 01110 jaja 2 01000 kola 3, 5 00101 5.34
Vertikalni raspored podataka Formiranje Za prebrojavnaje k + 1- koriste se preseci listi skupova transakcija k- Veća potrošnja memorije zbog čuvanja listi/manja potrošnja CPU Eclat i VIPER algoritmi koriste rekurzivne preseke listi transakcija 5.35
algoritam / Ck+1 skup s t a v k i kandidata duzine k+1 / V e r i k a l n i A p r i o r i ( Transakcije : T, Podrska : minsup ) begin k =1; F1={ sve ceste 1 stavke } ; F o r m i r a t i v e r t i k a l n u l i s t u t r a n s a k c i j a za stavke ; while Fk n i j e prazno do begin G e n e r i s a t i Ck+1 spajanjem parova s t a v k i i z Fk ; O d b a c i t i stavke i z Ck+1 koje ne zadovoljavaju z a t v o r e n j e na nize ; F o r m i r a t i t r _ i d l i s t e svake kandidatske stavke i z Ck+1 kao presek t r _ i d l i s t i para s t a v k i i z Fk k o r i s c n i h za f o r m i r a n j e Ck+1; O d r e d i t i podrsku s t a v k i u Ck+1 brojanjem duzine l i s t e ; Fk+1=Ceste stavke Ck+1 zajedno sa t r _ i d l i s t a m a ; k=k +1; end ; return ( u n i j a svih Fi, i =1; k ) ; end Formiranje 5.36
Upotrebljava komprimovanu reprezentaciju baze podataka pomoću FP-drveta (eng. frequent pattern) Formiranje 5.37
Formiranje Maksimalano česte stavke (ranije definisano...) - ne sadrže informacije o podršci podskupova maksimlanih Skup X je zatvoren ako nijedan od njegovih neposrednih nadskupova nema istu podršku Skup je čest i zatvoren ako je zatvoren i ima podršku minsup Može da se odredi podrška pojedinačne stavke 5.38
Formiranje 5.39
Karakteristike algoritama u SPSS i KNIME Videti IBM SPSS Modeler 18.0 Algorithms Guide KNIME? Formiranje 5.40
interantsnosti Formiranje Cilj - eliminisati neinteresantna Veliki broj potencijalni interesantnih se eliminiše zbog male podrške/pouzdanosti Jedna od korisnih osobina mere je simetričnost - isto ponašanje u slučaju prisutnosti i odsutnosti neke vrednosti 5.41
Formiranje Tabela kontingenata za par binarnih promenljivih A i B B B A f 11 f 10 f 1+ A f 01 f 00 f 0+ f +1 f +0 N A - prisutno u transakciji A - nije prisutno u transakciji f ij - brojač frekvencije f 10 - broj trans. koje sadrže samo A f 11 - broj trans. koje sadrže i A i B f 01 - broj trans. koje sadrže samo B f 00 - broj trans. koje ne sadrže ni AniB f 1+ - brojač podrške za A f 0+ - brojač podrške za A f +1 - brojač podrške za B f +0 - brojač podrške za B 5.42
Formiranje Primeri: 1 Neka svaka transakcija u potrošačkoj korpi sadrži mleko. Tada mleko može da se nadje u svakom skupu, bez promene frekvencije tog skupa. Medjutim, pravilo X mleko je beskorisno bez obzira što ima pouzdanosti 100%. 2 U tabeli kontingenata Kafa Kafa Čaj 15 5 20 Čaj 75 5 80 90 10 100 Na prvi pogled važi pravilo Čaj Kafa - podrška je 15% i pouzdanost 75% Medjutim, kako je sup(kafa Čaj)=0.75 i sup(kafa)=0.9 to je conf(kafa Čaj)= 0.75/0.9=0.83.3%, što znači da je prvo pravilo beskorisno odnosno pogrešno 3 Problem: pouzdanost ne uzima u obzir podršku desne strane 5.43
Formiranje = conf (A B) sup(b) Deployability - mogućnost rasporedjivanja, razvijanja - procenat trening skupa koji zadovoljava uslov prethodnika ali ne i naslednika. (Antecedent Support in # of Records) (Rule Support in # of Records) deployability = 100 Number of Records gde Antecedent Support označava broj slogova u kojima se javlja leva strana, dok Rule Support označava broj slogova u kojima se javljaju i leva i desna strana 5.44
Formiranje Pirsonov koeficijent korelacije ρ = E[X Y ] [X] [Y ] σ(x) σ(y ) gde je E[X] očekivanje od X, a σ(x) standardna devijacija od X ρ ij = sup(i, j) sup(i) sup(j) sup(i) sup(j) (1 sup(i)) (1 sup(j)) gde je sup(i, j) relativna podrška skupa {i,j} Simetrična mera 5.45
je uvek u intervalu [ 1, 1] Formiranje 5.46
Za binarne promenljive, Pirsonov koeficijent korelacije može da se meri koristeći φ koeficijent φ = f 11 f 00 f 01 f 10 f1+ f +1 f 0+ f +0 Formiranje p q 880 50 930 q 50 20 70 Ograničenja p 930 70 1000 r s 20 50 70 s 50 880 930 r 70 930 1000 Iako se p i q zajedno javljaju češće nego r i s važi φ(p, q) = phi(r, s) = 0.232 jer daje jednaku važnost prisustvu i odsustvu u transakcijama Ne ostaje invarijantan sa proporcionalnom promenom veličine ulaznih podataka 5.47
Simetrična mera Neka su O i i E i osmotrena i očekivana vrednost apsolutne podrške u stanju i. Tada se definiše kao χ 2 (X) = 2 X i=1 (O i E i ) 2 E i Formiranje 5.48
(eng. Interest ratio, Interset factor) za skup i 1, i 2,..., i k je definisan sa I(i 1, i 2,..., i k ) = sup(i 1, i 2,..., i k ) k sup(i j ) j=1 Za binarne promenljive A i B odnos kamata je I(A, B) = sup(a, B) sup(a) sup(b) = N f 11 f 1+ f +1 U slučju kada je neka stavka ekstremno retka, odnos kamate daje netačne rezultate Ne zadovoljava osobinu zatvorenja naniže Formiranje 5.49
Formiranje Kosinusni koeficijent može da se primeni i na radi računanja sličnosti medju stavkama Najčešće se računa koristeći vertikalnu tid reprezentaciju listi odgovarajućih binarnih vektora Formula cos(i, j) = sup(i, j) sup(i) sup(j) Simetrična mera 5.50
Formiranje U literaturi se javlja veliki broj mera Neke mere su dobre za neke primene, ali ne i za neke druge Koji kriterijum treba koristiti pri proceni kvaliteta mere? 5.51
Formiranje 5.52
Formiranje Piatetsky-Shapiro: Dobra mera mora da zadovoljava 3 osobine: M(A, B) = 0 ako su A i B statistički nezavisne M(A, B) se monotono povećava sa P(A, B) kada P(A) i P(B) ostaju nepromenjene M(A, B) se monotono smanjuje sa P(A) [ili P(B)] kada P(A, B) i P(B) [ili P(A)] ostaju nepromenjene 5.53
Formiranje Osteljivost mera na permutaciju promenljivih M(A, B) = M(B, A)? - simetrične mere skaliranje vrednosti u redu ili koloni inverzija (npr. kod vektora binarnih vrednosti prelazak 0 u 1 i obratno) dodavanje praznih slogova 5.54
Primer: rangiranje tabele kontingenata pomoću različitih mera Formiranje 5.55