v skupine Fakulteta za družbene vede Univerza v Ljubljani Zgledi uporabe statistike na različnih strokovnih področjih DMFA, Ljubljana 27. in 28.1.

Transcript

1 Razvrščanje v skupine Anuška Ferligoj Fakulteta za družbene vede Univerza v Ljubljani Photo: Vladimir Batagelj, UNI-LJ Zgledi uporabe statistike na različnih strokovnih področjih DMFA, Ljubljana 27. in

2 A. Ferligoj: Razvrščanje v skupine 1 Kazalo 1 Uvod Osnovni pojmi Osnovni pojmi Merjenje podobnosti in različnosti Nekaj mer ujemanja Problem razvrščanja v skupine Primer Reševanje problema razvrščanja v skupine Hierarhično zruževanje v skupine Metoda voditeljev Koraki reševanja problema razvrščanja v skupine Primer 1: Sodelovanje v okvirnih programih EU (OP) Indikatorji sodelovanja v OP Primer 2: Drobno gospodarstvo v Sloveniji

3 A. Ferligoj: Razvrščanje v skupine 1 Uvod Razvrščanje v skupine, tako da so enote znotraj skupin kar čim bolj podobne med seboj in enote različnih skupin kar čim bolj različne med seboj, je zelo star. Čeprav je problem razvtrščanja v skupine intuitivno preprost in razumljiv, je njegovo reševanje še vedno zelo aktualno. To dokazuje veliko število objavljenih člankov s tega področja, tako v teoretičnih kot v uporabnih revijah. Obstajata dve reviji s področja razvrščanja v skupine: Journal of Classification, ki je začel izhajati v letu 1984 in Advances in Data Analysis and Classification, ki izhaja od leta V letu 1985 je bilo ustanovljeno tudi združenje International Federation of Classification Societies, katerega člani so raziskovalci s področja razvrščanja v skupine.

4 A. Ferligoj: Razvrščanje v skupine 2 Dva najpomembnejša razloga za tako velik interes sta: Pred letom 1960 se je področje razvrščanja v skupine razvijalo ločeno v različnih znanstvenih področjih. V šestdesetih letih je zaznati prve poskuse združitve različnih pristopov reševanja problema razvrščanja v skupine in v letu 1963 prvo obsežnejše delo Sokala and Sneatha s tega področja. Od tedaj se področje razvrščanja v skupine razvija kot samostojna disciplina znotraj multivariatne analize. Na razvoj razvrščanja v skupine je zelo vplival razvoj računalniške tehnologije. Računalniki so omogočili uporabo kompleksnejših pristopov in analizo velikih količin podatkov. Tudi teoretični rezultati v računalništvu glede računske zahtevnosti algoritmov je za to področje zelo pomembno.

5 A. Ferligoj: Razvrščanje v skupine 3 Osnovni pojmi Opredelimo nekaj pojmov, ki jih potrebujemo za formulacijo problema razvrščanja v skupine: X enota U končna množica enot C skupina, C U C razvrstitev, C = {C i } Φ množica dopustnih razvrstitev P kriterijska funkcija, P : Φ R + 0

6 A. Ferligoj: Razvrščanje v skupine 4 Razvrstitev Poznamo različne tipe razvrstitev, npr. razbitje, hierahija, piramida, fuzzy ravzrstitev, razvrstitev s prekrivajočimi skupinami itd. Najpogosteje se uporablja razbitje in hierarhija. Razvrstitev C = {C 1, C 2,...C k } je razbitje množice enot U, če velja: C i = U i i j C i C j = Razvrstitev H = {C 1, C 2,...C k } je hierarhija, če za vsak par skupin C i in C j iz H velja C i C j {C i, C j, } in je popolna hierarhija, če za vsako enoto X velja {X} H in U H.

7 A. Ferligoj: Razvrščanje v skupine 5 Osnovni pojmi Opredelimo nekaj pojmov, ki jih potrebujemo za formulacijo problema razvrščanja v skupine: X enota U končna množica enot C skupina, C U C razvrstitev, C = {C i } Φ množica dopustnih razvrstitev P kriterijska funkcija, P : Φ R + 0

8 A. Ferligoj: Razvrščanje v skupine 6 Merjenje podobnosti in različnosti Podobnost količinsko popišemo s preslikavo - mero podobnosti, ki vsakemu paru enot (X, Y ) priredi neko realno število Pogosto merimo različnost, s : (X, Y ) R d : (X, Y ) R Mera različnosti d mora zadoščati naslednjim pogojem: 1. d(x, Y ) 0 nenegativnost 2. d(x, X) = 0 3. d(x, Y ) = d(y, X) simetričnost Mera različnosti lahko zadošča še nekaterim pogojem. Če zadošča še pogojema 4. d(x, Y ) = 0 = X = Y razločljivost 5. Z : d(x, Y ) d(x, Z) + d(z, Y ) trikotniška neenakost ji pravimo razdalja.

9 A. Ferligoj: Razvrščanje v skupine 7 Različnosti za številske podatke Za enoti X in Y, ki sta opisani z m številskimi spremenljivkami X = (x 1, x 2,..., x m ) Y = (y 1, y 2,..., y m ) je evklidska razdalja med njima definirana takole: d(x, Y ) = m (x i y i ) 2 i=1 Pogosto je uporabljena tudi razdalja Manhattan d(x, Y ) = m x i y i i=1

10 A. Ferligoj: Razvrščanje v skupine 8 Obe razdalji sta posebna primera razdalje Minkowskega d(x, Y ) = ( m x i y i r ) 1 r, r > 0 i=1 Če je r = 2, je razdalja Minkowskega evklidska razdalja, če je r = 1, je razdalja Manhattan. Razdalja Minkowskega ima naslednjo lastnost: pri večjih vrednostih r-ja imajo večjo težo pri merjenju razdalje med enotama večje razlike x i y i. V limiti, to je pri r =, je Minkowskijeva razdalja d(x, Y ) = max i x i y i Imenuje se razdalja Čebiševa ali trdnjavska razdalja.

11 A. Ferligoj: Razvrščanje v skupine 9 Standardizacija Če so spremenljivke merjene z različnimi merskimi lestvicami, številske spremenljivke pred računanjem različnosti med enotami standardiziramo. Najpogostejša standardizacija je: z ij = x ij µ j σ j kjer je x ij vrednost j-te spremenljivke X j za enoto i, µ j je aritmetična sredina in σ j standardni odklon spremenljivke X j. Tako standardizirana spremenljivka ima aritmetično sredino 0 in standardni odklon 1.

12 A. Ferligoj: Razvrščanje v skupine 10 Mere podobnosti za binarne podatke Za enote, ki so določene s samimi dihotomnimi spremenljivkami, je poznanih več mer podobnosti. Te so določne s frekvencami v kontingenčni tabeli za par enot, med katerima merimo podobnost. Kontingenčno tabelo za enoti X in Y, kjer so vrednosti vseh m spremenljivk + in, je naslednja Enota X Enota Y + + a b c d Vsota vseh širih frekvenc je enaka številu vseh merjenih spremenljivk (a+b+c+d = m).

13 A. Ferligoj: Razvrščanje v skupine 11 Nekaj mer ujemanja 1. Sokal-Michenerjeva mera (1958) 2. Prva Sokal-Sneathova mera (1963) 3. Rogers-Tanimotova mera (1960) a + d a + b + c + d 2(a + d) 2(a + d) + b + c a + d a + d + 2(b + c) 4. Russell-Raova mera (1940) a a + b + c + d

14 A. Ferligoj: Razvrščanje v skupine Jaccardova mera (1908) 6. Czekanowskijeva mera (1913) a a + b + c 2a 2a + b + c 7. Druga Sokal-Sneathova mera (1963) a a + 2(b + c) Vse mere podobnosti so definirane na intervalu od 0 do 1.

15 A. Ferligoj: Razvrščanje v skupine 13 Kriterijska funkcija Kriterijske funkcije lahko konstruiramo indirektno kot funkcijo ustrezne mere različnosti med pari enot (npr. evklidska razdalja) ali direktno. Najpogosteje je kriterijska funkcija definirana indirektno. V primeru razbitij v k skupin običajno uporabljamo Wardovo kriterijsko funcijo P (C) = d(x, t C ) C C X C kjer je t C centroid skupine C in d kvadrat evklidske razdalje. V literaturi je poznanih še več drugih kriterijskih funkcij.

16 A. Ferligoj: Razvrščanje v skupine 14 Problem razvrščanja v skupine Z vpeljanimi pojmi lahko zastavimo problem razvrščanja v skupine (tudi klasifikacije, taksonomije) kot optimizacijski problem takole: Določi razvrstitev C Φ tako, da bo P (C ) = min C Φ P (C) kjer je Φ množica dopustnih razvrstitev. Ker je množica enot U končna, je tudi množica dopustnih razvrstitev končna. Zato je množica vseh rešitev tega problema Min(Φ, P ) (optimalne razvrstitve) neprazna množica. Teoretično lahko poiščemo množico rešitev Min(Φ, P ) s popolnim preborom.

17 A. Ferligoj: Razvrščanje v skupine 15 Primer Kot primer vzemimo množico petih enot U = {a, b, c, d, e}, ki jih določata dve spremenljivki (U in V): a b c d e U V

18 A. Ferligoj: Razvrščanje v skupine 16 V e b d c a U

19 A. Ferligoj: Razvrščanje v skupine 17 Razvrstimo dane enote v dve skupini (razbitje), kjer je kriterijska funkcija določena takole: P (C) = d(x, t C ) C C X C kjer je t C = (u C, v C ) težišče (centroid) skupine C ter različnost d evklidska razdalja. Vse dopustne razvrstitve (razbitja z dvema skupinama) ter izračunane vrednosti zgoraj zapisane kriterijske funkcije za vsako razvrstitev so zapisane v naslednji tabeli:

20 A. Ferligoj: Razvrščanje v skupine 18 C C 1 C 2 t 1 t 2 P (C) 1 a bcde (1.0, 1.0) (3.75, 3.25) b acde (2.0, 3.0) (3.50, 2.75) c abde (3.0, 2.0) (3.25, 3.00) d abce (5.0, 3.0) (2.75, 2.75) e abcd (5.0, 5.0) (2.75, 2.25) ab cde (1.5, 2.0) (4.33, 3.33) ac bde (2.0, 1.5) (4.00, 3.67) ad bce (3.0, 2.0) (3.33, 3.33) ae bcd (3.0, 3.0) (3.33, 2.67) bc ade (2.5, 2.5) (3.67, 3.00) bd ace (3.5, 3.0) (3.00, 2.67) be acd (3.5, 4.0) (3.00, 2.00) cd abe (4.0, 2.5) (2.67, 3.00) ce abd (4.0, 3.5) (2.67, 2.33) de abc (5.0, 4.0) (2.00, 2.00) 5.41

21 A. Ferligoj: Razvrščanje v skupine 19 Kriterijska funkcija ima najmanjšo vrednost pri zadnji razvrstitvi: Najboljša razvrstitev je torej P (C 15 ) = 5.41 C = {{a, b, c}, {d, e}} Iz primera (razvrščamo le pet enot v razbitje z dvema skupinama) je razvidno, da je število vseh dopustnih razvrstitev, za katere je potrebno pregledati vrednosti kriterijske funkcije, 15. V splošnem je v primeru razvrščanja n enot v dve neprekrivajoči skupini 2 n 1 1 vseh dopustnih razvrstitev, kar pomeni, da z naraščanjem števila enot število razvrstitev eksponentno narašča.

22 A. Ferligoj: Razvrščanje v skupine 20 V primeru razvrščanja n enot v k skupin je število vseh popolnih razvrstitev enako Stirlingovemu številu druge vrste S(n, k) = 1 k! k ( k ( 1) k i i i=0 Na primer: število vseh možnih različnih razvrstitev tridesetih enot v deset skupin je ) i n S(30, 10) =

23 A. Ferligoj: Razvrščanje v skupine 21 Reševanje problema razvrščanja v skupine Nekatere probleme razvrščanja v skupine je mogoče učinkovito (v polinomskem času) rešiti. V splošnem pa lahko rečemo, da je večina teh problemov računsko zelo zahtevnih in, kot je videti, sodijo med NP-težke probleme (NP je oznaka za Nedeterminističen Polinomski). Iz teh rezultatov izhaja, da za večino problem razvrščanja v skupine ne obstajajo učinkoviti (polinomski) postopki za eksaktno reševanje teh problemov. Zato se moramo zateči k približnim (hevrističnim) postopkom, ki so relativno hitri in dajo dobre rezultate, a ne vedno najboljše.

24 A. Ferligoj: Razvrščanje v skupine 22 Postopki razvrščanja v skupine Najpomembnejši tipi teh postopkov so: lokalna optimizacija (metoda prestavljanj) hierarhični (združevanja, cepitve in dodajanja) metoda voditeljev metode teorije grafov...

25 A. Ferligoj: Razvrščanje v skupine 23 Hierarhično zruževanje v skupine Postopki hierarhičnega združevanja ponavadi predpostavljajo, da so mere različnosti med n enotami iz množice enot U že izračunane in zapisane v simetrični matriki različnosti D = [d ij ]. Postopek je naslednji: vsaka enota je skupina: C i = {X i }, X i U, i = 1, 2,..., n; ponavljaj, dokler ne ostane ena sama skupina: določi najbližji si skupini C p in C q : d(c p, C q ) = min u,v d(c u, C v ) ; združi skupini C p in C q v skupino C r = C p C q ; zamenjaj skupini C p in C q s skupino C r ; določi mere različnosti d med novo skupino C r in ostalimi skupinami.

26 A. Ferligoj: Razvrščanje v skupine 24 Različnosti med skupinami C i C j 1 d(c i, C k ) 1 C k d(c i, C j ) d(c j, C k ) 1

27 A. Ferligoj: Razvrščanje v skupine 25 Metode Minimalna metoda ali enojna povezanost (Florek et al., 1951; Sneath, 1957): d(c i C j, C k ) = min(d(c i, C k ), d(c j, C k )) Maksimalna metoda ali polna povezanost (McQuitty, 1960): d(c i C j, C k ) = max(d(c i, C k ), d(c j, C k )) McQuittyjeva metoda (McQuitty, 1966; 1967): Wardova metoda (Ward, 1963): d(c i C j, C k ) = d(c i, C k ) + d(c j, C k ) 2 d(c i C j, C k ) = (n i + n j )n k (n i + n j + n k ) d2 (t ij, t k ) kjer s t ij označimo težišče (center) združene skupine C i C j in t k težišče skupine C k. n i označuje število enot v skupini C i.

28 A. Ferligoj: Razvrščanje v skupine 26 Drevo združevanja Potek združevanja si lahko grafično ponazorimo z drevesom združevanja - dendrogramom. Listi tega drevesa so enote, točke združitve pa sestavljene skupine: levi in desni naslednik vsake točke sta skupini, iz katerih je nastala. Višina točke, ki jo imenujemo nivo združevanja, je sorazmerna meri različnosti med skupinama.

29 A. Ferligoj: Razvrščanje v skupine 27 Lastnosti postopka hierarhičnega združevanja v skupine Kaže se požrešna hevristika postopka hierarhičnega združevanja v skupine. V naslednjih korakih postopka se lahko izkaže, da bi bilo bolje, ko bi v prejšnjih korakih združevali drugače, vendar tega postopek ne more popraviti. Zato se učinek požrešnosti manj pozna na nižjih nivojih združevanja in bolj pri višjih (z manjšim številom skupin). Postopek hierarhičnega združevanja v skupine je zelo priljubljen, ker je relativno preprost, rezultat združevanja je mogoče nazorno prikazati z dendrogramom, v splošnem postopek zahteva relativno malo računalniškega časa, uporabniku ni potrebno vnaprej določiti števila skupin.

30 A. Ferligoj: Razvrščanje v skupine 28 Lastnosti metod hierarhičnega združevanja v skupine Minimalna metoda je zelo učinkovita pri razkrivanju dolgih klobasastih, neeliptičnih skupin, ki so izrazito ločene med seboj. V primeru prekrivajočih se skupin se kaže verižni učinek metode, ko v vsakem koraku združevanja skupini dodaja le posamezno enoto. maksimalna metoda dobro razkriva okrogle skupine. Wardova metoda pa je najprimerješa za eliptično strukturirane podatke.

31 A. Ferligoj: Razvrščanje v skupine 29 Metoda voditeljev Med nehierarhične metode lokalne optimizacije sodi tudi metoda voditeljev (Hartigan, 1975), imenovana tudi K-MEANS (e.g., MacQueen, 1967) ali postopek dinamičnih oblakov (Diday, 1974). Postopek predpostavlja, da uporabnik lahko določi število skupin razbitja. Osnovna shema metode voditeljev je: določi začetno množico voditeljev L = {l i }; ponavljaj določi razvrstitev C tako, da prirediš vsako enoto njej najbližjemu voditelju; za vsako skupino C i C izračunaj njen centroid C i. in ga določi za novega voditelja l i skupine C i ; dokler se voditelji ne ustalijo.

32 A. Ferligoj: Razvrščanje v skupine 30 Nekatere lastnosti metode voditeljev Z metodo voditeljev je mogoče učinkovito razvrščati zelo veliko število enot v skupine, medtem ko metode hierarhičnega združevanja v skupine zmorejo razvrščati le nekaj sto enot v skupine. Postopek metode voditeljev je lokalno optimalni postopek. Različne začetne množice voditeljev lahko skonvergirajo v lokalno optimalne razvrstitve. Zato je potrebno postopek večkrat ponoviti z različnimi začetnimi voditelji, da bi dobili čim boljšo razvrstitev.

33 A. Ferligoj: Razvrščanje v skupine 31 Koraki reševanja problema razvrščanja v skupine Običajni koraki so (Hansen, Jaumard, Sanlaville 1993): 1. Izberi množico enot. 2. Določi ustrezno množico spremenljivk, ki določajo enote. 3. Izberi problemu razvrščanja v skupine in tipu spremenljivk ustrezno mero različnosti. 4. Izberi ustrezni tip razvrstitve (npr. razbitje, hierarhija). 5. Izberi ali poišči ustrezno kriterijsko funkcijo (e.g., Wardova kriterijska funkcija). 6. Izberi ali poišči postopek za ravrščanje v skupine glede na postavljeni problem. 7. Določi razvrstitev (razvrstitve), ki so optimalne glede na izbran kriterij in postopek. 8. Z metodami opisne statistike poišči lastnosti dobljenih skupin in z ustreznimi postopki razišči, če je dobljena razvrstitev razkrila naravno strukturo podatkov.

34 A. Ferligoj: Razvrščanje v skupine 32 Primer 1: Sodelovanje v okvirnih programih EU (OP) Raziskovalni problem Namen študije je dobiti vpogled v vzorce sodelovanja držav članic EU v Okvirnem programu EU za raziskave in tehnološki razvoj (OP). Vprašanji sta: 1. Ali obstoja razlika v sodelovanju držav EU12 in EU15 v 7OP? 2. Kakšna je tipologijo držav članic glede na indikatorje sodelovanja v 7OP?

35 A. Ferligoj: Razvrščanje v skupine 33 Indikatorji sodelovanja v OP Podatkovna baza E CORDA (Evropska komisija): 1. Število sprejetih projektov na prebivalca 2. Število sprejetih projektov na BDP 3. Finančni prispevek OP na prebivalca 4. Finančni prispevek OP na BDP 5. Finančni prispevek OP na sprejeti projekt 6. Delež koordiniranih projektov med sprejetimi projekti

36 A. Ferligoj: Razvrščanje v skupine 34

37 A. Ferligoj: Razvrščanje v skupine 35

38 A. Ferligoj: Razvrščanje v skupine 36

39 A. Ferligoj: Razvrščanje v skupine 37 Primer 2: Drobno gospodarstvo v Sloveniji Raziskovalni problem Ali obstajajo skupine lastnikov malih podjetij v Sloveniji, ki podobno menijo, kaj je pomembno za poslovni uspeh njihovih podjetij? Podatki Populacijo sestavljajo podjetja v Sloveniji, ki zadoščajo naslednjima pogojema (J. Prašnikar: Drobno gospodarstvo v Sloveniji - Rezultati ankete o obnašanju malih podjetij. Ljubljana: Ekonomska fakulteta, 1994): poleg lastnika mora podjetje imeti zaposlenega vsaj enega delavca in ne več kot petdeset delavcev, podjetje lahko deluje v vsaki aktivnosti razen kmetijstva.

40 A. Ferligoj: Razvrščanje v skupine 38 Za slučajni izbor podjetij v vzorec sta bila uporabljena dva spiska malih podjetij (vzorčni okvir): spisek, ki vključuje mala podjetja, ki so v evidenci Gospodarske zbornice Slovenije, spisek, ki vključuje obrti, ki so v evidenci Obrtne zbornice Slovenije. V vsakem spisku je bilo slučajno izbranih 100 podjetij. 49 podjetij je sodelovanje odklonilo. Stopnja anketiranja je torej bila 75,5 %. Podatki so bili zbrani z osebnim anketiranjem (CAPI). Anketa je bila izvedena v poletnih mesecih 1993.

41 A. Ferligoj: Razvrščanje v skupine 39 Anketno vprašanje: Prosim, ocenite v kolikšni meri vplivajo na vaš poslovni uspeh naslednji faktorji (uporabite petstopenjsko lestvico: 1 - sploh ni pomembno, 5 - zelo pomembno): PROD-MET MARK-MET PRODUKT ODNOSI USP-ZAP USP-MAN DRUZINA GOSP-ZDR POL-ZVE LOK-OBL DRZAVA PODJETJA izboljšave produkcijskih metod izboljšave marketinških metod izboljšave samih produktov dobri odnosi med zaposlenimi usposobljenost zaposlenih usposobljenost managementa podpora družine podpora gospodarskih združenj zveze v politiki podpora lokalnih oblasti podpora države podpora drugih podjetij

42 A. Ferligoj: Razvrščanje v skupine 40 Rezultati Razvrstitev je bila dobljena z Wardovo metodo hierarhičnega združevanja v skupine. Spremenljivke so bile standardizirane, uporabljena je bila evklidska razdalja. Dendrogram (glej naslednjo stran) je pokazal 5 tipičnih skupin.

43 A. Ferligoj: Razvrščanje v skupine I I I I I I I I +-+ I I I I I I I I I I I I I I I I I I I I I I I I I +-+ I I I I I I I 6 I I I I I I I I I I I I I I I I I I I I I I _ I I I I I I I

44 A. Ferligoj: Razvrščanje v skupine 42 Aritmetične sredine za 5 dobljenih skupin ar. sredina CLU 1 CLU 2 CLU 3 CLU 4 CLU 5 PROD-MET MARK-MET PRODUKT ODNOSI USP-ZAP USP-MAN DRUZINA GOSP-ZDR POL-ZVE LOK-OBL DRZAVA PODJETJA št. enot

45 A. Ferligoj: Razvrščanje v skupine 43 Opis skupin skupina število opis enot skupine 1 62 POVPREČNA 2 32 YES - SAYERS 3 18 BAD GUYS 4 24 NO - SAYERS 5 15 GOOD GUYS