MULTIVARIJACIONA ANALIZA

Transcript

1 UNIVERZITET U BEOGRADU EKONOMSKI FAKULTET Zlatko J. Kova~i} MULTIVARIJACIONA ANALIZA Beograd, 994.

2 P r e d g o v o r U knjizi su izlo`eni osnovi multivarijacionih statisti~kih metoda. Neosredan ovod za njenu ojavu jeste otreba za u~ilom studenata Ekonomskog fakulteta u Beogradu. Naime, na tom fakultetu studenti redovnih i osledilomskih studija slu{aju Multivarijacionu analizu u okviru istoimenog redmeta. Iz tog razloga su kori{}eni rimeri iz ekonomije i marketinga za ilustraciju izlo`enih metoda. Me utim, kao rvi ud`benik iz ove oblasti na na{em jeziku, ova knjiga je namenjena i studentima drugih fakulteta kao i onima koji koriste metode multivarijacione analize u raksi. Zbog njih sam oku{ao na}i komromis izme u otrebne rigoroznosti matemati~kog izlaganja i rakti~ne uotrebljivosti teorijskih modela. Nagalasak je ri tome na razumevanju i usvajanju osnovnih ojmova izlo`enih metoda kao i ravilnoj interretaciji dobijenih rezultata. Na ~itaocu je da oceni u kojoj sam meri u tome useo. Struktura svake glave je takva da uu}uje ~itaoca na roveru razumevanja ro~itanog. Tako je nakon izlaganja svakog zna~ajnijeg teorijskog rezultata ura en rimer koji ilustruje numeri~ke asekte metode. Nivo izlaganja rilago en je onom obimu znanja iz statisti~ke analize i matri~ne algebre koju dobijaju studenti Ekonomskog fakulteta u okviru jednogodi{njih kurseva. Zahvalnost dugujem kolegama rofesoru Vladislavu Milo{evi}u i rofesoru Tomislavu Ze~evi}u na korisnim sugestijama tokom isanja knjige. Njihovo kriti~ko ~itanje rvobitne verzije dorinelo je obolj{anju knjige u finalnoj verziji. Posebnu zahvalnost izra`avam svom studentu Branku Jovanovi}u koji je edantno ro{ao kroz rukois isravljaju}i risutne gre{ke, istovremeno sugeri{u}i bolju formulaciju u izvesnim delovima teksta. Preostale gre{ke ili neuskla enosti, kojih nije imuna ni ova knjiga, treba riisati isklju~ivo autoru. Zato su sve rimedbe i sugestije ~itaoca dobrodo{le. U Beogradu, jula 994. Z.J.K.

3 - Zna{ li sabiranje? - uitala je Bela Kraljica. - Koliko je jedan i jedan i jedan i jedan i jedan i jedan i jedan i jedan i jedan? - Ne znam - odgovorila je Alisa - izgubila sam se u tom duga~kom nizu. - Ona ne zna Sabiranje - rekla je Crna Kraljica. - A zna{ li Oduzimanje? Hajde da vidimo. Koliko je osam manje devet. - Da oduzmem devet od osam? Ne znam - odgovorila je Alisa malo stidljivo - ali... - Ona ne zna Oduzimanje - zaklju~ila je Bela Kraljica. - A zna{ li Delenje? Podeli veknicu hleba no`em, {ta }e{ dobiti? - Mislim... - o~ela je Alisa, ali Crna Kraljica je reduhitri odgovorom: - Sendvi~ s maslacem, naravno, Hajdemo jo{ jedan minut da oku{amo sa Oduzimanjem. Oduzmi od jednog sa jednu kost. [ta ostaje? Alisa je razmi{ljala. -Kosti vi{e ne}e biti, ako je uzmem. Onda vi{e ne}e biti ni sa, jer }e dojuriti da me ugrize, a onda ni mene vi{e ne}e biti. - I o tvome ni{ta ne bi trebalo da ostane? - uitala je Crna Kraljica. - Ja mislim da je to ravi odgovor - uzvratila je Alisa. - Oet ogre{an odgovor - rekla je Crna Kraljica - jer bi svakako trebalo da ostane odjek se}eg lave`a. - Ali ne shvatam kako... - Vidi{ - rekla je Crna Kraljica - o svoj rilici as bi trebalo da laje re no {to te ujede, zar ne? - Pa trebalo bi da bude tako - odgovorila je Alisa orezno. - A kada ode as, osta}e samo njegov lave`! - uzviknula je Crna Kraljica obedonosno. Luis Kerol: Alisa u svetu s one strane ogledala

4 Predgovor iii UVOD. Definicija i klasifikacija metoda multivarijacione analize. Vrste odataka i merne skale 5.3 Grafi~ki rikaz multivarijacionih odataka 7 VI[EDIMENZIONI RASPOREDI 3. Vi{edimenzione slu~ajne romenljive 3.. Zdru`eni rasoredi 4.. Marginalni rasoredi 4..3 Uslovni rasoredi 5..4 Sredina i kovarijaciona matrica 6..5 Korelaciona matrica 9. Uzorak iz vi{edimenzionog rasoreda 0.. Uzora~ka sredina, kovarijaciona i korelaciona matrica 0.. Geometrijska interretacija uzorka 8..3 Generalizovano odstojanje Generalizovana varijansa 38 3 VI[EDIMENZIONI NORMALAN RASPORED 4 3. Funkcija gustine verovatno}e 4 3. Marginalni i uslovni rasoredi vi{edimenzione normalne romenljive Uzorak iz vi{edimenzionog normalnog rasoreda Zaklju~ivanje o sredini Oblast overenja sredine Testiranje hioteze o vrednosti sredine Simultani intervali overenja Zaklju~ivanje o kovarijacionoj i korelacionoj matrici 64 4 KANONI^KA KORELACIONA ANALIZA Uvod Kanoni~ke romenljive i kanoni~ka korelacija Definicija i osobine Kanoni~ka korelacija, koeficijenti korelacije i regresiona analiza Uzora~ka kanoni~ka korelaciona analiza Matrica gre{ke aroksimacije Proorcija obja{njene varijanse Mera redundantnosti Testovi kanoni~ke korelacije Interretacija kanoni~kih romenljivih i kanoni~ke korelacije 9

5 5 MULTIVARIJACIONA ANALIZA VARIJANSE (M A N O V A) Uvod Slu~aj dve oulacije Potuno slu~ajan lan Pore enje arova Plan onovljenih merenja MANOVA sa jednim faktorom 5.4. Model MANOVA sa jednim faktorom Zaklju~ivanje kod MANOVA sa jednim faktorom Analiza rofila MANOVA sa dva faktora Model MANOVA sa dva faktora Zaklju~ivanje kod MANOVA sa dva faktora 34 6 DISKRIMINACIONA ANALIZA Uvod Deskritivna diskriminaciona analiza Fisherov ristu - slu~aj dve oulacije Fisherov ristu - slu~aj vi{e oulacija Zaklju~ivanje u kanoni~koj diskriminacionoj analizi Interretacija kanoni~ke diskriminacione analize Diskriminaciona funkcija i klasifikacija Klasifikacija za slu~aj dve oulacije Klasifikacija za slu~aj vi{e oulacija Vrednovanje funkcije klasifikacije Problemi u rimeni diskriminacione analize Izbor romenljivih Uklju~ivanje kvalitativnih romenljivih Anormalnost odataka 85 7 GLAVNE KOMPONENTE Uvod Poulacione glavne komonente Definicija glavnih komonenata Osobine glavnih komonenata Interretacija glavnih komonenata Uzora~ke glavne komonente Ocena glavnih komonenata Testiranje zna~ajnosti glavnih komonenata Izbor broja glavnih komonenata Primena glavnih komonenata Primena u regresionoj analizi Identifikacija nestandardnih oservacija Robustna analiza glavnih komonenata 3

6 8 FAKTORSKA ANALIZA 5 8. Uvod 5 8. Model faktorske analiza i ocenjivanje Model faktorske analiza Metodi ocenjivanja Odre ivanje broja faktora Rotacija faktora Jednostavna struktura Metodi ortogonalne rotacije Metodi neortogonalne rotacije Interretacija faktora Faktorski skorovi Direktno izra~unavanje faktorskih skorova Ocena faktorskih skorova regresionom metodom Ocena faktorskih skorova onderisanim najmanjim kvadratima 5 9 ANALIZA GRUPISANJA Uvod Mere sli~nosti i razlike izme u objekata Mere sli~nosti i razlike na bazi kvantitativnih romenljivih Mere sli~nosti i razlike na bazi kvalitativnih romenljivih Mere sli~nosti i razlike izme u grua Metodi gruisanja Hijerarhijski metodi gruisanja Dendrogram i izvedena mera sli~nosti Izbor broja grua Statisti~ko vrednovanje kvaliteta gruisanja Nehijerarhijski metodi gruisanja Kori{}enje analize gruisanja sa drugim multivarijacionim metodama 9 LITERATURA 93

7 UVOD Poslednjih godina svedoci smo {iroke rimene metoda multivarijacione analize odataka skoro u svim nau~nim oblastima. Dva su osnovna razloga za tako ne{to. Prvi, razvoj komjuterske tehnike i softverskih roizvoda koji su omogu}ili relativno jednostavnu rimenu metoda multivarijacione analize, i drugi, sagledavanje otrebe mnogih nau~nih istra`ivanja da se analiziraju simultane me uzavisnosti izme u tri ili vi{e romenljivih. U okviru ove uvodne glave ukaza}emo na definicije multivarijacione analize kao i na razli~ite klasifikacije njenih metoda. U bliskoj vezi s tim je razmatranje vrste odataka koje koristimo u multivarijacionoj analizi, a koji sa svoje strane uslovljavaju izbor kori{}ene metode. Na kraju je osve}ena a`nja grafi~koj rezentaciji multivarijacionih odataka kao istra`iva~koj fazi multivarijacione analize.. DEFINICIJA I KLASIFIKACIJA METODA MULTIVARIJACIONE ANALIZE U rocesu nau~nog obja{njenja rirode nekog fenomena olaznu osnovu analize sa~injavaju odaci koji se odnose na jedan ili vi{e skuova objekata. Ovi objekti u analizi mogu biti: ojedinci, ljudske zajednice, razli~iti redmeti, a tako e rirodni fenomeni ili one ojave koje su roizvod aktivne delatnosti ~oveka. ^esto nismo u rilici da komleksnu rirodu objekata sagledamo u otunosti. Me utim, na rasolaganju nam stoji mogu}nost obuhvata razli~itih karakteristika jedne, o svojoj rirodi, vi{edimenzione ojave. Te karakteristike, odnosno obele`ja redstavljaju redmet na{eg merenja. Njih }emo jednostavno zvati romenljive. Poku{avamo, dakle, isitati rirodu objekata istovremenim merenjem ve}eg broja romenljivih na svakoj jedinici osmatranja iz jednog ili vi{e skuova objekata. Mada ne ostoji o{te rihva}ena definicija multivarijacione analize u gornjim redovima naveli smo nekoliko elemenata koje bi takva jedna definicija morala da sadr`i. To su: ve}i broj obele`ja i osmatranje simultanih me uzavisnosti me u romenljivama. Ako bismo se iak oredelili za jednu definiciju, tada bismo rekli da multivarijaciona

8 Glava Uvod analiza redstavlja sku statisti~kih metoda koje simultano analiziraju vi{edimenziona merenja dobijena za svaku jedinicu osmatranja iz skua objekata koji isitujemo. Pretostavimo da smo tokom merenja sakuili odatke za i objekata, i =,,..., n, o njihovih j svojstava, j =,,...,. Dobijeni odaci redstavljaju osnovu multivarijacione analize i rezentiramo ih u vidu matrice odataka (tabela u kojoj se red odnosi na objekat, a kolona na romenljivu). Pretostaviv{i da imamo n redova (objekata) i kolona (obele`ja, odnosno romenljivih), tabela odataka ima izgled: Promenljiva Promenljiva Promenljiva j Promenljiva Objekat : X X X j X Objekat : X X X j X Objekat i : X i X i X ij X i Objekat n : X n X n X nj X n gde (, i j ) element matrice redstavlja vrednost j te romenljive merene na i tom objektu. U matri~noj notaciji ovu matricu odataka ozna~avamo sa X, odnosno [ X ], i =,,..., n; j =,,...,. ij Izbor odgovaraju}eg metoda za analizu matrice odataka zavisi od mnogih faktora, a oredeljen je re svega vrstom roblema, tiom odataka, karakteristikama same metode i u krajnjem slu~aju ciljem istra`ivanja. Direktno zaklju~ivanje o me uzavisnosti romenljivih, odnosno o me uodnosu objekata je veoma te{ko, ako je uo{te mogu}e, s obzirom na dimenzije matrice odataka. U te svrhe mo`emo koristiti metode multivarijacione analize za redukciju velike koli~ine odataka i njihovom iskazivanju reko nekoliko veli~ina. Ovim metodama istovremeno osti`emo ojednostavljivanje slo`ene strukture osmatranog fenomena u cilju njegove lak{e interretacije. Pored ovog, re svega deskritivnog zadatka, metode multivarijacione analize koristimo u rocesu zaklju~ivanja, tako {to ocenjujemo, na rimer steen me uzavisnosti romenljivih i/ili testiramo njihovu statisti~ku zna~ajnost. Naosletku, naominjemo da su neke od metoda multivarijacione analize istra`iva~kog karaktera, {to }e re}i da se koriste ne za testiranje ariori definisanih hioteza, nego za njihovo generisanje, odnosno konstruisanje. Klasifikacije metoda multivarijacione analize zasnovane su na razli~itim klasifikacionim kriterijumima. Prva klasifikacija metoda ravi razliku me u njima rema tome da li su orijentisane ka isitivanju me uzavisnosti romenljivih ili im je osnovni zadatak isitivanje me uzavisnosti objekata. Kada istra`ujemo me uzavisnost romenljivih, tada osmatramo kolone matrice odataka. Jedan od na~ina merenja me uzavisnosti romenljivih baziran je na izra~unatom koeficijentu korelacije me u

9 . Definicija I klasifikacija metoda multivarijacione analize 3 njima. Osnovu ovih metoda multivarijacione analize redstavlja kovarijaciona ili korelaciona matrica. Kod drugog ristua, u cilju ore enja dva objekta ili osobe, osmatramo odgovaraju}e redove u matrici odataka, odnosno defini{emo razli~ite mere bliskosti izme u dva objekta ili osobe. Osnovu ovih metoda multivarijacione analize redstavlja matrica odstojanja izme u objekata. Prema drugoj klasifikaciji, metode delimo u dve grue: metodi zavisnosti i metodi me uzavisnosti. Ukoliko smo u istra`ivanju zainteresovani za isitivanje zavisnosti izme u dva skua romenljivih, gde jedan sku redstavlja zavisne romenljive, a drugi nezavisne romenljive, tada se odgovaraju}a klasa metoda naziva metodi zavisnosti. S druge strane, ako nema ariornog, teorijskog osnova za odelu svih romenljivih na dva odskua romenljivih (zavisnih i nezavisnih), tada koristimo metode me uzavisnosti. Treba uo~iti da kod metoda zavisnosti te`imo da objasnimo ili redvidimo jednu ili vi{e zavisnih romenljivih na osnovu skua nezavisnih romenljivih. Metodi me uzavisnosti, s druge strane, nisu o svojoj rirodi rediktivni. Njima se oku{ava u~initi rodor u komleksnu unutra{nju strukturu odataka i to njenim ojednostavljenjem, rvenstveno kroz redukciju odataka. Na osnovu odele metoda multivarijacione analize na metode zavisnosti i me uzavisnosti klasifikujmo konkretne metode u jednu od ovih klasa, istovremeno daju}i njihov sa`et ois. Metode zavisnosti. Multivarijaciona regresija. Ovo je najoznatija metoda multivarijacione analize. Koristimo u njenom nazivu izraz multivarijaciona da bismo i na taj na~in razlikovali dva slu~aja. Prvi, u okviru koga se bavimo analizom zavisnosti jedne romenljive (zavisna romenljiva) od skua drugih romenljivih (nezavisne romenljive). Ovaj metod analize oznatiji je od nazivom metod vi{estruke regresije. Drugi slu~aj je kad sku zavisnih romenljivih sadr`i vi{e od jednog ~lana. Za ovaj slu~aj ka`emo da redstavlja o{tiji model multivarijacione regresije. Kod oba modela zadatak nam je ocenjivanje ili redvi anje srednje vrednosti zavisne, odnosno srednjih vrednosti zavisnih romenljivih na bazi oznatih vrednosti nezavisnih romenljivih.. Kanoni~ka korelaciona analiza. Ova analiza se mo`e smatrati uo{tenjem vi{estruke regresione analize. Naime, njome `elimo usostaviti linearnu zavisnost izme u skua nezavisnih i skua zavisnih romenljivih. Kod izra~unavanja kanoni~ke korelacije formiramo dve linearne kombinacije, jednu za sku nezavisnih, a drugu za sku zavisnih romenljivih. Koeficijente ovih linearnih kombinacija odre ujemo tako da obi~an koeficijent korelacije izme u njih bude maksimalan. 3. Diskriminaciona analiza. Bavi se roblemom razdvajanja grua i alokacijom oservacija u ranije definisane grue. Primena diskriminacione analize omogu}ava identifikaciju romenljive koja je najvi{e dorinela razdvajanju grua kao i redvi anje verovatno}e da }e objekat riasti jednoj od grua, na osnovu

10 4 Glava Uvod vrednosti skua nezavisnih romenljivih. 4. Multivarijaciona analiza varijanse (MANOVA). Multivarijaciona analiza varijanse je odgovaraju}a metoda analize kada nam je cilj isitivanje uticaja razli~itih nivoa jedne ili vi{e "ekserimentalnih" romenljivih na dve ili vi{e zavisnih romenljivih. U tom smislu ona redstavlja uo{tenje jednodimenzione analize varijanse (ANOVA). Od osebne je koristi u situaciji kada je mogu}e srovesti kontrolisani ekseriment (maniuli{u}i sa nekoliko tretmana). Osnovni cilj je testiranje hioteze koja se ti~e varijanse efekata grua dve ili vi{e zavisnih romenljivih. 5. Logit analiza. Kada je u regresionom modelu zavisna romenljiva dihotomnog tia (na rimer, romenljiva ola sa modalitetima: mu{ko-`ensko), tada takav model nazivamo regresioni model sa kvalitativnom zavisnom romenljivom. Kod njih je zavisna romenljiva, tzv. logit funkcija, logaritam koli~nika verovatno}a da }e dihotomna zavisna romenljiva uzeti jednu ili drugu vrednost. Modele ovog tia nazivamo i modeli logisti~ke regresione analize. Metode me usobne zavisnosti. Analiza glavnih komonenti. Analiza glavnih komonenata je metoda za redukciju ve}eg broja romenljivih koje razmatramo, na manji broj novih romenljivih (nazivamo ih glavne komonente). Naj~e{}e manjim brojem glavnih komonenata obja{njavamo rete`an deo varijanse originalnih romenljivih, {to omogu}ava lak{e razumevanje informacije sadr`ane u odacima. Osnovni zadatak jeste konstruisanje linearne kombinacije originalnih romenljivih (glavnih komonenata) uz uslov da obuhvate {to je mogu}e ve}i iznos varijanse originalnog skua romenljivih. Sukcesivne glavne komonente izdvajaju se uz ograni~enje da su me usobom nekorelisane i da obuhvataju u maksimalnom iznosu reostali deo ukune varijanse koji nije obuhva}en rethodno izdvojenim komonentama.. Faktorska analiza. Sli~na je metodi glavnih komonenti o tome {to se koristi za ois varijacija izme u romenljivih na osnovu manjeg broja romenljivih (nazivamo ih faktori). Me utim, za razliku od nje, retostavlja ostojanje odgovaraju}eg statisti~kog modela kojim originalnu romenljivu iskazujemo kao linearnu kombinaciju faktora lus gre{ka modela, odnosno veli~ina koja odra`ava steen nezavisnosti osmatrane romenljive od svih ostalih. Na taj na~in se celokuna kovarijansa ili korelacija obja{njava zajedni~kim faktorima, a neobja{njeni deo se ridru`uje gre{ci (naziva se secifi~an faktor). Dakle, kod faktorske analize, za razliku od glavnih komonenata gde smo zainteresovani za obja{njenje varijanse, na{ interes je usmeren ka obja{njenju kovarijanse, odnosno onog dela ukune varijanse koji romenljiva deli sa ostalim romenljivama iz osmatranog skua romenljivih. 3. Analiza gruisanja. Analiza gruisanja je metoda za redukciju odataka, no za razliku od rethodne dve metode koje su orijentisane ka kolonama (romenljivama), ona je orijentisana ka redovima (objektima) matrice odataka.

11 . Definicija I klasifikacija metoda multivarijacione analize 5 Ovom analizom kombinujemo objekte u grue relativno homogenih objekata. Zadatak u mnogim istra`ivanjima uravo je identifikovanje manjeg broja grua, tako da su elementi koji riadaju nekoj grui u izvesnom smislu sli~niji jedan drugom, nego {to su to elementi koji riadaju drugim gruama. 4. Vi{edimenziono roorcionalno rikazivanje. Priada klasi metoda koji su orijentisani kao objektima, a koristi meru sli~nosti, odnosno razlike izme u njih u cilju njihovog rostornog rikazivanja. Izvedena rostorna rerezentacija sadr`i geometrijski rasored ta~aka na mai, gde se svaka ta~ka odnosi na jedan od objekata. Ukoliko se za ovo roorcionalno rikazivanje koristi mera bliskosti dobijena na osnovu merljivih (kvantitativnih) romenljivih nazivu metode dodajemo ridev kvantitativno, a ako smo za ra~unanje mera sli~nosti koristili kvalitativne romenljive, tada nazivu metode dodajemo ridev kvalitativno. 5. Loglinearni modeli. Ovi modeli omogu}avaju isitivanje me usobne zavisnosti kvalitativnih romenljivih koje formiraju vi{edimenzionu tabelu kontingencije. Ukoliko se jedna od romenljivih u tabeli kontigencije mo`e smatrati zavisnom, tada na osnovu ocenjenih loglinearnih modela mo`emo izvesti, ranije somenute logit modele. Me utim, kod tabela kontingencije logit funkcija se izra`ava reko }elijskih frekvencija, za razliku od modela logisti~ke regresije gde logit funkciju iskazujemo reko skua nezavisnih romenljivih koje mogu biti kvantitativne ili kvalitativne.. VRSTE PODATAKA I MERNE SKALE Statisti~ka obele`ja mogu biti kvantitativna (merljiva) ili kvalitativna (nemerljiva). Kvantitativne romenljive su one kod kojih se vrednosti razlikuju o veli~ini. Primeri kvantitativnih romenljivih su cena, dohodak, du`ina radnog sta`a i veli~ina orodice. Kvalitativne romenljive su one kod kojih se vrednosti razlikuju ne o veli~ini nego o vrsti. Primeri kvalitativnih romenljivih su ol, bra~ni status i socijalno oreklo. Klasifikaciju metoda multivarijacione analize mogu}e je izvr{iti i rema vrsti odataka koji se koriste. Primer takve klasifikacije uz ranije uveden kriterijum odele metoda na metode zavisnosti i me uzavisnosti rikazan je u Tabeli.. Merenja kvantitativnog obele`ja iskazujemo na razli~itim vrstama skala i u razli~itim jedinicama mere. Ukoliko se jedinica mere mo`e beskona~no deliti (na rimer: tone, kilogrami, grami), tada ka`emo da je romenljiva iskazana u toj jedinici mere nerekidna. Kada jedinica mere nije deljiva (na rimer: veli~ina orodice), tada merenu romenljivu nazivamo rekidnom. Naj~e{}e kori{}ena merna skala kod kvantitativnih romenljivih jeste skala odnosa. Ona ima slede}e osobine: (a) koli~nik ma koje dve vrednosti na ovoj skali ima smislenu interretaciju, (b) rastojanje izme u dva objekta mereno na ma kom delu ove skale je jednako i (c) oservacijama ozicioniranim na ovoj skale mogu se dodeliti rangovi od vi{eg ka ni`em. Na rimer, dohodak se obi~no meri na skali odnosa. (a) Odnos (koli~nik) dohodaka 50 i 00 nov~anih jednica ima jasno zna~enje u smislu da je drugi dohodak dva uta ve}i od rvog. (b) Vrednost od 0 nov~anih jedinica ista je bez obzira da li je dobijena

12 6 Glava Uvod na osnovu razlike dohodaka, na rimer: 80 i 60 ili 970 i 950 nov~anih jedinica. (c) Za dohodak od 300 nov~anih jedinica ka`emo da je ve}i, odnosno da ima vi{i rang od dohotka u iznosu 00 nov~anih jedinica. Tabela. Klasifikacija metoda multivarijacione analize Metodi me uzavisnosti Metodi zavisnosti Jedna zavisna romenljiva Vi{e zavisnih romenljivih Kvantitativne romenljive Glavne komonente Faktorska analiza Analiza gruisanja Kvantitativno vi{edimenziono roorcionalno rikazivanje Vi{estruka korelacija Vi{estruka regresija Vi{edimenziona regresija Vi{edimenziona analiza varijanse Kanoni~ka korelaciona analiza Kvalitativne romenljive Kvalitativno vi{edimenziono roorcionalno rikazivanje Loglinearni modeli Diskriminaciona analiza (samo zavisna mora biti kvalitativna) Logit analiza Kanoni~ka korelaciona analiza sa ve{ta~kim romenljivama Slede}i ti merne skale je intervalna skala, koja za razliku od skale odnosa nema fiksni o~etak. Na rimer, kod merenja temerature arbitrarno je izabrana nulta vrednost kako na Celzijusovoj, tako i na Farenhajtovoj skali. Pri tome, vrednost temerature jednaka nuli ne zna~i odsustvo temerature, a mo`emo registrovati i temerature ni`e od nule. Tako e je oznato da koli~nik dve temerature iskazane na Celzijusovoj skali nije jednak njihovom koli~niku iskazanom na skali Farenhajta. Dakle, intervalna skala ima samo osobine (b) i (c) navedene kod skale odnosa. Naosletku, kod kvantitativnih obele`ja oslednji ti skale je ordinarna skala koja oseduje samo osobinu (c). Podaci iskazani na ordinarnoj skali su rangovi ridru`eni svakoj jedinici osmatranja. Najni`i nivo merne skale koriste kvalitativna obele`ja i naziva se nominalna skala. Ona ne omogu}ava ~ak ni rangiranje jedinica osmatranja. Pri analizi kvalitativnog obele`ja kao {to je na rimer bra~ni status (kategorije: neo`enjen, o`enjen, razveden, udovac i razdvojen) roizvoljno ridru`ujemo vrednosti,, 3, 4 ili 5 svakoj od navedenih kategorija. To ne zna~i da smo rangirali kategorije nego smo ih samo kodirali radi lak{e statisti~ke obrade. Razumevanje razli~itih vrsta odataka i tiova mernih skala veoma je bitno, jer oni uslovljavaju izbor odgovaraju}e metode multivarijacione analize. Na rimer, ako su nezavisne romenljive kvantitativne, a zavisne romenljive kvalitativne, tada je adekvatan metod analize tih odataka diskriminaciona analiza i analiza kanoni~ke korelacije sa ve{ta~kim romenljivama.

13 .3 Grafi~ki rikaz multivarijacionih odataka 7.3 GRAFI^KI PRIKAZ MULTIVARIJACIONIH PODATAKA Prvobitno kori{}enje grafikona u statistici bilo je u cilju ilustracije tabelarno rezentiranih statisti~kih odataka. Grafi~ki rikazi su o~iglednije, ~ak i u slu~aju relativno malog skua odataka, ukazivali na odre ene ravilnosti u odacima nego numeri~ki odaci iskazani u tabeli. Kao ilustraciju ove na{e tvrdnje neka oslu`e hioteti~ki odaci rezentirani u Tabeli.. Posmatrajmo izdvojeno rve dve romenljive X i X. Pregledom oservacija tih romenljivih ne uo~avamo neke ravilnosti u odacima. Me utim, ako se oslu`imo grafi~kim rikazom te dve romenljive, odnosno standardnim dijagramom rasturanja (Slika.), odmah ostaje jasno da se arovi oservacija ove dve romenljive grui{u u tri grue, me usobno jasno razdvojene. ^esto se ve} ovakvim rezultatom, odnosno grafikonom, iscrljuje na{ dalji interes za slo`enijim metodama statisti~ke analize. Ograni~enje klasi~nih na~ina grafi~kog rikaza odnosi se na broj romenljivih (dve do tri) koje se mogu istovremeno rikazati. Ta ograni~enja se oku{avaju revazi}i konstruisanjem novih grafi~kih rikaza osebno za multivarijacione statisti~ke odatke. Istovremeno, oni ne redstavljaju vi{e samo alternativan na~in rezentacije odataka, nego se koriste i za njihovu jednostavnu analizu. U tom smislu, u oslednje vreme razvijani grafi~ki rikazi u vidu ta~aka, linija, ovr{ina, lica ili drugih geometrijskih formi i figura redstavljaju korisno sredstvo za obja{njenje, interretaciju i analizu odataka. U ovom odeljku diskutova}emo i ilustrovati naj~e{}e grafi~ke rikaze odataka: zvezde, Andrewsove krive i Chernoffova lica. Tabela. Hioteti~ki multivarijacioni odaci Osoba X X X 3 X 4 X 5 Stojan Vladan Marko Zorica Miodrag Danica Ljubomir Bojan Dubravka Milena

14 8 Glava Uvod Slika. Dijagram rasturanja za X i X a) Zvezde Pretostavimo da rasola`emo odacima za romenljivih. Za jedinicu osmatranja (na rimer, osobu) formiramo zvezdu tako {to za svaku romenljivu iz ishodi{ta ovla~imo zrak ~ija je du`ina roorcionalna vrednosti odnosne romenljive. Zrake ovla~imo od jednakim uglom me usobno, o~ev{i sa rvom romenljivim "u tri sata" i kre}u}i se u smeru surotnom kretanju kazaljke na satu. Sajanjem krajeva zraka kona~no formiramo zvezdu. Svaka zvezda dakle, rerezentuje jednu multivarijacionu oservaciju. Pored navedenog na~ina konstruisanja zvezde ostoje brojne modifikacije osnovnog rikaza. Navedimo samo jedan rimer takve modifikacije, oznat od nazivom sun~evi zraci (eng. sun rays). Slika. Zvezde Za ovaj grafi~ki rikaz otrebno je rethodno izvr{iti standardizaciju oservacija. Zatim, ovla~imo zrake jednake du`ine iz centra u koji lociramo odnosnu najmanju standardizovanu oservaciju unutar osmatranog skua odataka. Sredina svakog zraka

15 .3 Grafi~ki rikaz multivarijacionih odataka 9 redstavlja lokaciju sredine odnosne romenljive. Ukoliko je vrh zvezde na tom zraku lociran isod, odnosno iznad sredine zraka, to zna~i da je kod osmatrane osobe vrednost te romenljive isodrose~na, odnosno iznadrose~na. Zvezde nam omogu}avaju gruisanje osoba u relativno homogene grue bez otrebe za kori{}enjem formalizovanih ostuaka gruisanja koji su ina~e sastavni elementi analize gruisanja. Podaci iz Tabele. su istovrsne veli~ine, a nije otrebno vr{iti njihovu standardizaciju. Ovim bi se ostukom izgubila informacija o me usobnoj srazmeri osmatranih romenljivih. Na Slici. rikazani su odaci iz Tabele. za deset osoba kori{}enjem grafi~kog rikaza u vidu zvezde. Na osnovu vizuelne sli~nosti njihovih zvezda izdvajaju se tri grue osoba: {Milena, Stojan, Ljubomir}, {Dubravka, Miodrag, Danica, Marko} i {Zorica, Bojan, Vladan}. b) Andrewsove krive Andrews (97) je sugerisao da se romenljivih za svaku jedinicu osmatranja rika`e kona~nom Fourierovom serijom u kojoj }e oservacije biti koeficijenti ove eriodi~ne funkcije: X f( t) = + Xsin t+ X3cost+ X4sin t+ X5cos t+..., π t π (.) Grafi~ki rikaz Fourierovih serija svakog multivarijacionog odatka bi}e krive koje se mogu, sli~no zvezdama, vizuelno gruisati. Uka`imo na dva svojstva Andrewsove krive: a) Andrewsova kriva sredine multivarijacionih oservacija jednaka je sredini Andrewsovih krivi ojedinih multivarijacionih oservacija i b) odstojanje izme u dve Andrewsove krive roorcionalno je Euklidskom odstojanju izme u odgovaraju}ih vi{edimenzionih ta~aka. Kako se izmenom koeficijenata u izrazu (.) menja i Andrewsova kriva, rakti~na iskustva sugeri{u da se ekserimenti{e sa njihovim razli~itim redosledom. Tako e se sugeri{e da se rethodno izvr{i standardizacija odataka. Slika.3 Andrewsove krive

16 0 Glava Uvod Andrewsove krive mogu se, sli~no zvezdama, koristiti za subjektivno gruisanje osoba u relativno homogene grue i za otkrivanje nestandardnih oservacija u skuu odataka. Na osnovu odataka iz Tabele. (bez standardizacije i u originalnom redosledu romenljivih) izra~unate su Andrewsove krive rezentirane na Slici.3. Tri krive koje le`e iznad ose (uzimaju samo ozitivne vrednosti) odnose se na gruu {Zorica, Bojan, Vladan}. Punom linijom ozna~ene su krive koje se odnose na gruu {Milena, Stojan, Ljubomir}, a reostale krive sugeri{u formiranje osebno izdvojene grue {Dubravka, Miodrag, Danica, Marko} koja je iak bli`a drugoj nego rvo nazna~enoj grui. c) Chernoffova lica Chernoff (973) je redlo`io rikazivanje multivarijacionih oservacija kori{}enjem ljudskog lica ~ije karakteristike (oblik lica, zakrivljenost usta, du`ina nosa, veli~ina o~iju, olo`aj obrva itd.) su odre ene oservacijama romenljivih. Prvobitno redlo`eni grafi~ki rikaz retreo je brojne izmene, a ri njegovom kori{}enju, rema Flury i Riedwylu (988, 4. glava), treba obratiti a`nju na slede}e. Potrebno je izvr{iti standardizacija romenljivih na interval od nule do jedinice. Ekstremne vrednosti (nula, odnosno jedinica) svake od osamnaest romenljivih rikazani su na Slici.4 u vidu lica kod kojih je svaka od romenljivih, odnosno arametar ridru`en karakteristici lica (na levoj i desnoj strani) u skladu sa Tabelom.3. Slika.4 Chernoffova lica - ekstremni slu~ajevi (Izvor: Flury i Reidwyl (98)) Tabela.3 Sisak karakteristika lica Promenljiva Karakteristika lica Promenljiva Karakteristika lica veli~ina o~iju 0 vertikalna olo`aj obrva veli~ina zenice gornja linija kose 3 olo`aj zenice donja linija kose 4 isko{enost o~iju 3 linija lica 5 horizontalna olo`aj o~iju 4 zatamnjenost kose 6 vertikalna olo`aj o~iju 5 isko{enost {rafure kose 7 zakrivljenost obrva 6 du`ina nosa 8 debljina obrva 7 otvorenost usta 9 horizontalna olo`aj obrva 8 zakrivljenost usta

17 .3 Grafi~ki rikaz multivarijacionih odataka Za vrednost romenljivih izme u nule i jedinice odgovaraju}a karakteristika lica dobijena je interolacijom izme u ova dva ekstremna slu~aja. Na Slici.5 rikazane su karakteristike lica iz Tabele.3, tako {to je za svaku romenljivu individualno ostavljena ekstremna vrednost, ri ~emu su ostale karakteristike lica uzele srednju vrednost, odnosno 0.5. Tako je na rimer kod rvog lica na njegovoj levoj strani samo rva romenljiva uzela vrednost, a ostalih sedamnaest su jednaki 0.5, dok je na desnoj strani vrednost rve romenljive jednaka 0, a ostalih sedamnaest su jednaki 0.5. Pregledom lica sa Slike.5 istra`iva~ je u rilici da roceni koja karakteristika lica u najve}oj meri dorinosi o{tem utisku i da u skladu sa tim ridru`i zna~ajniju romenljivu uravo toj karakteristici lica. Ovo ridru`ivanje redstavlja svojevrstan iterativan roces, sve dok se ne ostigne zadovoljavaju}a rerezentacija. Ukoliko smo sasvim siguran da su neke dve ili tri romenljive "odgovorne" za razliku, odnosno formiranje relativno homogenih grua, tada te romenljive treba ridru`iti va`nijim karakteristikama lica (recimo du`ina nosa, veli~ina o~iju, zakrivljenosti usana i sl.). Slika.5 Ekstremne vrednosti 8 arametara lica (Izvor: Flury i Reidwyl (98)) [to se kori{}enja Chernoffovih lica ti~e va`i isto ono {to je re~eno kod zvezda, odnosno Andrewsovih krivi. Njihova rimena, uz dobro ridru`ivanje romenljivih karakteristikama lica, olak{ava formiranje grua osoba ili objekata me usobno sli~nih, obja{njenje eventualnih razlika izme u njih kao i otkrivanje nestandardnih oservacija. No, za razliku od rethodnih grafi~kih rikaza crtanje lica je tehni~ki veoma zahtevan osao. Za njihovo kori{}enje u statisti~koj analizi zahteva se kori{}enje ra~unara, lotera i odgovaraju}eg rograma. Na Slici.6 rikazani su odaci iz Tabele. za deset osoba kori{}enjem grafi~kog rikaza Chernoffova lica. Promenljivima u Tabeli. su ridru`ene slede}e karakteristike lica iz Tabele.3:

18 Glava Uvod X : Linija lica (Promenljiva 3 u Tabeli.3) X : Veli~ina o~iju (Promenljiva u Tabeli.3) X 3 : Zakrivljenost usta (Promenljiva 8 u Tabeli.3) X 4 : Zatamnjenost kose (Promenljiva 4 u Tabeli.3) X 5 : Debljina obrva (Promenljiva 8 u Tabeli.3) Na osnovu vizuelne sli~nosti njihovih lica izdvajaju se tri grue osoba: {Milena, Stojan, Ljubomir}, {Dubravka, Miodrag, Danica, Marko} i {Zorica, Bojan, Vladan}. Slika.6 Chernoffova lica - Primer Iscran rikaz navedenih i ostalih grafi~kih rikaza u analizi multivarijacionih odataka mo`e se na}i kod Chambersa i Kleinera (98), Clevelanda (985) i Tuftea (983).

19 VI[EDIMENZIONI RASPOREDI Vi{edimenzionost fenomena koje izu~avamo metodama multivarijacione analize zahtevaju definisanje odgovaraju}eg statisti~kog teorijskog modela. Kao {to smo u slu~aju jednog statisti~kog obele`ja teorijsku osnovu gradili na koncetu slu~ajne romenljive i njoj ridru`ene funkcije rasoreda, tako u okviru ove glave uvodimo koncet vi{edimenzione slu~ajne romenljive i vi{edimenzione funkcije rasoreda. Preko njih zatim iskazujemo osnovne okazatelje kako oulacije tako i uzorka: vektor srednjih vrednosti, kovarijacionu i korelacionu matricu. Sledi zatim geometrijska interretacija uzorka i njegovih osnovnih okazatelja. Ona omogu}ava jednostavno obja{njenje i usvajanje osnovnih ojmova multivarijacione analize kao {to su: generalizovano odstojanje i generalizovana varijansa.. VI[EDIMENZIONE SLU^AJNE PROMENLJIVE Ozna~imo jednodimenzionih slu~ajnih romenljivih sa X, X,..., X. Sku ovih slu~ajnih romenljivih i{emo kao ( ) slu~ajan vektor X X X X =. X Zna~i da je slu~ajan vektor vektor ~iji su elementi slu~ajne romenljive. Zbog kasnijih otreba naominjemo da kolekciju slu~ajnih vektora mo`emo redstaviti u vidu matrice. Takvu matricu ~iji su elementi slu~ajne romenljive nazivamo slu~ajna matrica. [to se kori{}enih oznaka ti~e, odse}amo da rema uobi~ajenim oznakama u statistici, slu~ajne vektore i slu~ajne matrice ozna~avamo masnim velikim slovima, a malim masnim slovima njihove realizovane vrednosti.

20 4 Glava Vi{edimenzioni rasoredi.. Zdru`eni rasoredi Funkcija rasoreda ( ) slu~ajnog vektora X, odnosno zdru`ena funkcija rasoreda slu~ajnih romenljivih X, X,..., X defini{e se na slede}i na~in [ ] F ( ) F ( x, x,..., x) P P X x, X x,..., X x X x = X = X x = (.) i ona u otunosti defini{e zdru`enu rasodelu svih slu~ajnih romenljivih. Naominjemo da izlaganje u ovoj glavi zasnivamo na nerekidnim slu~ajnim romenljivim. U rekidnom slu~aju jedina izmena, ojednostavljeno re~eno, ti~e se zamene oznake za integral oznakom za sumiranje kao {to na rimer u izrazu: x x x FX( x) = fx( x) dxdx dx (.) koja defini{e funkciju rasodele nerekidnog slu~ajnog vektora X, relaskom na rekidan slu~aj integrale na desnoj strani treba zameniti sumama. U izrazu (.) fx( x ) = fx( x, x,, x ) ozna~ava zdru`enu, odnosno vi{edimenzionu funkciju gustine od X. Do vi{edimenzione funkcije gustine slu~ajnog vektora X dolazimo diferenciraju}i vi{edimenzionu funkciju rasoreda F X ( x ). Vi{edimenziona funkcija gustine f X ( x ) ima slede}e osobine: () f ( x X ) 0, za svako X x x R i () f ( ) dxdx dx =... Marginalni rasoredi Funkciju rasoreda ili funkciju gustine jedne slu~ajne romenljive dobijenu na osnovu vi{edimenzione funkcije rasoreda ili vi{edimenzione funkcije gustine nazivamo marginalna jednodimenziona funkcija rasoreda, odnosno marginalna jednodimenziona funkcija gustine. Pretostavimo da nam je oznata funkcija rasoreda, F X ( x ), tada do marginalne funkcije rasoreda slu~ajne romenljive X dolazimo na osnovu izraza F ( x ) = FX ( x,,,..., ) (.3) X a ako nam je oznata funkcija gustine, f X ( x ), tada marginalnu funkciju gustine od X dobijamo na osnovu izraza f ( x ) f ( x, x,..., x ) dx dx (.4) = X X

21 . Vi{edimenzione slu~ajne romenljive 5 U o{tem slu~aju zdru`enu funkciju rasoreda ili zdru`enu funkciju gustine ma kog odskua od X, X,..., X dobijenu na osnovu F X ( x ) ili f X ( x ), nazivamo marginalnom. Pretostavimo da je ( ) slu~ajan vektor X odeljen na dva odskua X X X, gde je X ( q ), a X ( s ) slu~ajan vector i = q + s. (.5) = Tada na osnovu funkcije rasoreda slu~ajnog vektora X, F X ( x ), mo`emo odrediti marginalnu funkciju rasoreda od X, tj. F X ( x ), reko izraza x F ( x ) F ( x, x,..., x ) f ( x, x ) dx dx dx (.6) = = X X q X x q gde smo sa f X ( x, x ) ozna~ili zdru`enu funkciju gustine od X. Na osnovu zdru`ene funkcije gustine od X, mo`emo odrediti zdru`enu marginalnu funkciju gustinu od X, tj. f X ( x ), reko izraza f ( x ) f ( x, x,..., x ) f ( x, x ) dx dx (.7) = = X X q X q+..3 Uslovni rasoredi Kori{}enjem odele (.5) slu~ajnog vektora X, mo`emo odrediti rasored jednog odskua slu~ajnih romenljivih za date vrednosti drugog odskua. Takav rasored nazivamo uslovni rasored. * * Uslovni rasored od X za dato X = x roorcionalan je f X ( x, x ), gde se koeficijent roorcionalnosti mo`e odrediti na osnovu ~injenice da je integral ove uslovne funkcije gustine verovatno}e jednak jedinici. Na osnovu toga, uslovna funkcija * gustine verovatno}e od X za dato X = x je f ( x, x ) * * ( = ) = X X X x X x * fx ( x ) f (.8) * gde je retostavljeno da je f X ( x ) razli~ito od nule. Uslovnu funkciju gustine od X * za dato X = x sli~no defini{emo. Dva slu~ajna vektora X i X su nezavisni ako i samo ako je f ( x X = x ) = f ( x ) za svako dato * * X X X s X = x i svako x R (.9) *

22 6 Glava Vi{edimenzioni rasoredi Uslov nezavisnosti slu~ajnih vektora mo`emo izraziti i na osnovu jednakosti zdru`ene funkcije gustine i roizvoda marginalnih funkcija gustina f ( x) = f ( x ) f ( x ) za svako X X X x R. (.0)..4 Sredina i kovarijaciona matrica Neka je X ( ) slu~ajan vektor, ~iji svaki element redstavlja jednodimenzionu slu~ajnu romenljivu sa svojim marginalnim rasoredom. Za svaku jednodimenzionu slu~ajnu romenljivu mo`emo odrediti sredinu µ = EX ( ) i varijansu σ j = E( X j µ j), j =,,...,. Zbog kasnijih otreba varijansu ozna~avamo σ jj i Var( X j ). Sredina slu~ajnog vektora X je ( ) vektor ~iji su elementi µ j = EX ( j), j =,,..., i ozna~avamo ga sa µ EX ( ) µ EX ( ) µ µ = E( X) = =. (.) EX ( ) µ Za ma koji ar slu~ajnih romenljivih X j i X k defini{emo kovarijansu: σ jk = E[( X j µ j )( Xk µ k )]. Nju ozna~avamo i kao Cov( X j, X k), ri ~emu je na osnovu definicije: Cov( X, X ) = Var( X ) i Cov( X, X ) = Cov( X, X ) = σ = σ. j j j j j k k j kj jk Za slu~ajan vektor X defini{emo ( ) simetri~nu matricu kod koje je j ti dijagonalni element σ jj = Var( X j ), a ~iji je ( jk, ) element σ jk = Cov( X j, X k ), j k. Ovu matricu nazivamo kovarijaciona matrica od X i ozna~avamo sa Var ( X ) ili Cov( X ), odnosno Σ. Tako je Cov ( X) σ σ σ σ σ σ σ = Σ = jk = σ σ σ Var( X) Cov( X, X ) Cov( X, X ) Cov( X, X ) Var( X ) Cov( X, X ) =. (.) Cov( X, X ) Cov( X, X ) Var( X ) j

23 . Vi{edimenzione slu~ajne romenljive 7 Kovarijacionu matricu mo`emo iskazati i kao o~ekivanu vrednost slu~ajne matrice. Za slu~ajan vektor X sa sredinom µ defini{emo ( ) simetri~nu slu~ajnu matricu kvadrata, odnosno uzajamnih roizvoda odstuanja elemenata slu~ajnog vektora od odgovaraju}e sredine ( X µ ) ( X µ )( X µ ) ( X µ )( X µ ) ( X µ )( X µ ) ( X µ ) ( X µ )( X µ ). (.3) ( X µ )( X µ ) ( X µ )( X µ ) ( X µ ) Slu~ajna matrica (.3) roizvod je slu~ajnih vektora odstuanja od sredine, tj. ( X µ )( X µ )', a je njena o~ekivana vrednost [( )( )'] E X µ X µ = Σ. (.4) ^esto se tokom istra`ivanja javlja otreba da romenljivih razdvojeno osmatramo, odnosno da ih tretiramo kao da riadaju dvema gruama romenljivih. Metode zavisnosti su bazirane uravo na takvoj odeli romenljivih. Pretostavimo da isitujemo uticaj dru{tveno- demografskih karakteristika otro{a~a na otro{nju izvesne grue roizvoda. Tada }emo na{ ( ) vector X odeliti tako da u rvi odsku romenljivih u u dru{tveno-demografske romenljive (na rimer ol, starost, {kolska srema i sl.), a u drugi, romenljive otro{nje svakog roizvoda iz osmatrane grue roizvoda. U skladu sa odelom (.5) slu~ajnog vektora X, vr{imo odelu sredine µ i kovarijacione matrice Σ µ µ = µ i Σ Σ = Σ Σ Σ (.5) gde su µ ( q ) i µ ( s ) sredine slu~ajnih vektora X i X resektivno, a Σ ( q q) i Σ ( s s) su njihove kovarijacione matrice. Elementi matrice Σ ( q s) su kovarijanse izme u elemenata slu~ajnih vektora X i X sa osobinom Σ = Σ. Navedimo nekoliko va`nih rezultata vezanih za osobine sredine slu~ajnog vektora X i njegove kovarijacione matrice. Prethodno se odsetimo dobro oznatog svojstva kovarijanse. Neka su slu~ajne romenljive X j i X k linearno transformisane. To zna~i da su definisane nove slu~ajne romenljive cx j + a i dxk + b, gde su a, b, c i d realne konstante. Na osnovu definicije kovarijanse sledi Cov( cx + a, dx + b) = cd Cov( X, X ). (.6) j k j k

24 8 Glava Vi{edimenzioni rasoredi Jednostavno re~eno, zna~i da samo romena jedinice mere osmatranih romenljivih uti~e u istom iznosu na kovarijansu. Uo{timo ovaj slu~aj na linearnu kombinaciju slu~ajnih romenljivih iz slu~ajnog vektora X, sa sredinom µ i kovarijacionom matricom Σ. Linearnom kombinacijom Y = ax+ ax ax =ax, ' za dati vektor koeficijenata linearne kombinacije: a ' = [ a, a,..., a ], defini{emo novu slu~ajnu romenljivu Y ~ija funkcija gustine fy ( y ) zavisi od f X ( x ). Njena o~ekivana vrednost (sredina) je i varijansa µ Y = EY ( ) = E( ax ' ) = aµ ', (.7) Y Var Y Var aiajσij i= j= σ = ( ) = ( ax ' ) = = aσa '. (.8) Zna~i da je varijansa od Y data kao kvadratna forma i u otunosti je odre ena kovarijacionom matricom Σ slu~ajnog vektora X i koeficijentima a, a,..., a. Razmotrimo o{tiji slu~aj q linearnih kombinacija slu~ajnih romenljivih: Y = a X + a X a X Y = a X + a X a X Y = a X + a X a X q q q q (.9) Ove linearne kombinacije su u matri~noj notaciji: Y= AX, gde je Y ( q ) vektor i A ( q ) matrica koeficijenata linearnih kombinacija. Sredina slu~ajnog vektora Y je a kovarijaciona matrica µ = E( Y) = E( AX) = Aµ, (.0) Y X Σ = Cov( Y) = Cov( AX) = AΣ A '. (.) Y gde su µ X i Σ X sredina slu~ajnog vektora X i njegova kovarijaciona matrica resektivno. Naosletku, neka su date ( q ) matrica A i ( s r) matrica B ~iji su elementi realni brojevi. Formiramo q linearnih kombinacija slu~ajnih romenljivih, odnosno Y= AX i s linearnih kombinacija r slu~ajnih romenljivih Z ' = [ Z, Z,..., Z r ], odnosno W = BZ. Ako Σ XZ ozna~ava ( r) matricu kovarijansi izme u X, j =,,..., i Z, k =,,..., r, tada je j k X

25 . Vi{edimenzione slu~ajne romenljive 9 Cov( YW, ) = Cov( AXBZ, ) = AΣXZB '. (.) Na osnovu ovog najo{tijeg rezultata svi rethodni mogu se tretirati kao njegovi secijalni slu~ajevi...5 Korelaciona matrica Koeficijent korelacije izme u dve slu~ajne romenljive X j i X k defini{emo kao ρ jk σ jk = (.3) σ jj σ kk {to redstavlja normalizovanu kovarijansu izme u X j i X k. On uzima vrednost iz intervala od do +. Ukoliko ρ jk uzme donju ili gornju grani~nu vrednost, tada ka`emo da ostoji erfektna linearna veza izme u X j i X k i to sa negativnim ( ρ jk = ), odnosno ozitivnim redznakom ( ρ jk = + ). Korelacionu matricu ρ mo`emo dakle dobiti na osnovu oznate kovarijacione matrice, a njen ( jk, ) ti element definisan je gornjim izrazom. U matri~noj notaciji veza izme u korelacione i kovarijacione matrice data je sa / / ( ) ( ) ρ = D Σ D σ σ σ σ σ 0 0 σ 0 0 σ σ σ = σ σ σ σ σ σ ρ ρ ρ ρ = ρ ρ (.4) gde smo sa D ozna~ili dijagonalnu matricu koja sadr`i elemente na glavnoj dijagonali kovarijacione matrice Σ. Na osnovu usostavljene relacije izme u korelacione i / / kovarijacione matrice, mo`emo ovu otonju isati kao: Σ = D ρd.

26 0 Glava Vi{edimenzioni rasoredi. UZORAK IZ VI[EDIMENZIONOG RASPOREDA Matricu odataka X dimenzija ( n ) mo`emo dvojako tretirati rema tome da li je osmatramo o redovima ili o kolonama. Ako je osmatramo o redovima, tada svaki red redstavlja jednu vi{edimenzionu oservaciju slu~ajnih romenljivih X, X,..., X. U tom slu~aju matrica odataka X sadr`i n oservacija vi{edimenzione slu~ajne romenljive, u oznaci X, X,..., X n, tako da matricu odataka mo`emo isati kao X X ' X ' = ' X n Ako matricu odataka osmatramo o kolonama, tada svaka kolona redstavlja n oservacija jedne od romenljivih, odnosno svaka kolona od X je ( n ) vektor oservacija jedne od romenljivih koji ozna~avamo sa X, X,..., X, gde je. X j X j X j =, j =,,...,, i X= [ X, X,..., X ]. X nj U zavisnosti od metode koja se izla`e nekad }e nam interes biti da matricu odataka osmatramo o redovima, a nekad o kolonama. U rvom slu~aju od vektorom X i odrazumeva}emo ( ) slu~ajni vektor oservacija romenljivih X, X,..., X za i tu jedinicu osmatranja, a u drugom slu~aju odrazumeva}emo ( n ) vektor oservacija i te romenljive... Uzora~ka sredina, kovarijaciona i korelaciona matrica Bez obzira na formu funkcije gustine slu~ajnog vektora na osnovu matrice odataka, kao oblika rezentacije slu~ajnog uzorka uzetog iz vi{edimenzionog rasoreda, u mogu}nosti smo da izra~unamo okazatelje uzorka: sredinu, kovarijacionu i korelacionu matrica. Ove okazatelje koristimo u deskritivne svrhe, a njihovim uvo enjem Za slu~ajan vektor i matricu njegovih realizovanih vrednosti (matrica odataka) koristimo istu oznaku. U toku izlaganja zna~enje kori{}ene oznake bi}e jasno iz konteksta. Isti na~in ozna~avanja slu~ajnog vektora i matrice odataka koriste i autori kao {to su nr. Karson (98, s. 67) i Morrison (976, s. 98).

27 . Uzorak iz vi{edimenzionog rasoreda riremamo osnovu za statisti~ko zaklju~ivanje o okazateljima oulacije, odnosno funkcije gustine slu~ajnog vektora X. Uzora~ka sredina, u oznaci X, defini{e se kao ( ) slu~ajan vektor ~iji su elementi uzora~ke sredine odnosnih romenljivih X X X, gde je X = n X j = Xij, j =,,...,. (.5) n i = Primer. Realizovane vrednosti slu~ajnog uzorka od n = 3 elementa iz dvodimenzionog osnovnog skua ( = ) date su slede}om matricom odataka x x 3 X = x x 4 =. x3 x 3 Odrediti realizovanu vrednost sredine X. Prema definiciji sredine (.5), a na osnovu realizovanih vrednosti uzorka imamo n x + 4+ j n j= 3 x = = = n 3 x + + j n j= 3 Zna~i da je sredina rve romenljive x =, a druge x =. Uzora~ku matricu uzajamnih roizvoda odstuanja od sredine, u oznaci X * ' X *, defini{emo kao ( ) simetri~nu slu~ajnu matricu n n n ( Xi X) ( Xi X)( Xi X) ( Xi X)( Xi X ) i= i= i= n n n ( X * * i X)( Xi X) ( Xi X) ( Xi X)( Xi X ) X X = i= i= i= n n n ( Xi X )( Xi X) ( Xi X )( Xi X) ( Xi XP) i= i= i=

28 Glava Vi{edimenzioni rasoredi gde je * X matrica centriranih odataka X X X X X X X X X X X X X X X X X X X * = n n n Preko matrice X * X * defini{emo uzora~ku kovarijacionu matricu, u oznaci S, kao ( ) simetri~nu slu~ajnu matricu S X ' X ( X X )( X X )' (.6) n * * = = i i n n i= gde ( ) vector ( X X ) ima za elemente ~lanove i tog reda matrice * X. i. Primer. Za odatke date u Primeru. odrediti matricu centriranih oservacija i matricu uzajamnih roizvoda centriranih oservacija, kao i realizovanu vrednost uzora~ke kovarijacione matrice. Na osnovu matrice originalnih odataka i izra~unate sredine izra~unavamo matricu centriranih oservacija x x x x 3 3 * X = x x x x = =. x3 x x3 x 0 Matrica uzajamnih roizvoda centriranih oservacija je 3 * * X ' X = 3 0 = Konstatujemo da je matrica X * ' X * simetri~na dimenzija ( ), odn. ( ). Realizovanu vrednost uzora~ke kovarijacione matrice odre ujemo rema izrazu n S= ( xi x)( xi x )' n i= Uo~iti da i ti sabirak u izrazu za realizovanu vrednost uzora~ke kovarijacione matrice ima u razvijenom obliku izgled

29 . Uzorak iz vi{edimenzionog rasoreda 3 x x x x i i [ x x x x ] i i {to zna~i da je ( x i x )' i ti red matrice centriranih oservacija. Realizovana vrednost uzora~ke kovarijacione matrice je rema tome S = [ 3 ] [ 3 0] [ 0 ] = = = Pretoslednja matrica dobijena kod realizovane vrednosti uzora~ke kovarijacione matrice jeste matrica uzajamnih roizvoda centriranih oservacija. Zato se kovarijaciona matrica mo`e direktno reko nje izra~unati. Iz kovarijacione matrice ~itamo varijansu rve romenljive: s = 9 i varijansu druge romenljive: s =, dok je njihova kovarijansa s = s = 3/. Zna~i da ostoji negativna linearna veza ove dve romenljive. Na osnovu ( j, k) tog elementa uzora~ke kovarijacione matrice n S = ( X X )( X X ), j, k =,,...,, (.7) jk ij j ik k n i= mo`emo odrediti uzora~ku korelacionu matricu ~iji je ( j, k) ti element a sama korelaciona matrica je S jk rjk =, j, k =,,...,, (.8) S S R jj kk r r3 r r r r. (.30) r r r3 3 = r3 r3 r 3

30 4 Glava Vi{edimenzioni rasoredi Do uzora~ke korelacione matrice mogli smo do}i koriste}i relaciju koju smo usostavili izme u oulacione kovarijacione i korelacione matrice. Kod uzora~ke / / kovarijacione i korelacione matrice imamo relaciju: ( ) R = D S( D ). Sli~no ostuku dola`enja do uzora~ke kovarijacione matrice reko matrice centriranih oservacija, X *, do uzora~ke korelacione matrice mo`emo do}i reko ( n ) matrice standardizovanih oservacija X, gde je X X X X X X S S S X X X X X X X = S S S, X X n X Xn X n X S S S a je uzora~ka korelaciona matrica data izrazom R = ' n X X. (.3) Primer.3 Za odatke iz Primera. odrediti realizovanu vrednost uzora~ke korelacione matrice koriste}i relaciju usostavljenu izme u nje i kovarijacione matrice. Na osnovu izra~unate kovarijacione matrice formiramo dijagonalnu / / matricu D, a rema relaciji ( ) R = D S( D ) izra~unavamo korelacionu matricu. Kako je 9 0 D = 0 to je realizovana vrednost uzora~ke korelacione matrice R = 3 3 = Pokazati da se isti rezultat dobija ako se korelaciona matrica ra~una na osnovu matrice standardizovanih oservacija.

31 . Uzorak iz vi{edimenzionog rasoreda 5 * * Pored matrice uzajamnih roizvoda centriranih oservacija, u oznaci X X, i matrice uzajamnih roizvoda standardizovanih oservacija, u oznaci XX, u multivarijacionoj analizi od interesa je definisati i matricu uzajamnih roizvoda originalnih oservacija, matricu koju }emo ozna~iti sa XX. Zbir uzajamnog odstuanja dve romenljive od svojih sredina koji figuri{e u izrazu za kovarijansu, mo`emo odrediti bez izra~unavanja odstuanja za svaku oservaciju, tj. bez njihovog centriranja, {to sledi na osnovu relacije n ( X X)( Y Y) = X Y nxy. (.3) i i i i i= i= Vi{edimenzioni analogon relacije (.3) sugeri{e da je matricu uzajamnih roizvoda centriranih oservacija, X * X, * mogu}e izraziti reko matrice uzajamnih roizvoda originalnih oservacija, XX. Ovaj rezultat dobijamo olaze}i od definicije matrice * * X X i na osnovu matri~nog ra~una kao {to sledi n n * * X X = ( Xi X)( Xi X)' = X' X nxx '. (.33) i= Naominjemo da svi rezultati i relacije navedene za oulacionu sredinu i kovarijacionu matricu, va`e i u slu~aju da se oulacioni okazatelji zamene odgovaraju}im uzora~kim okazateljima. Ova naomena odnosi se tako e i na odelu uzora~ke sredine i kovarijacione matrice. Primer.4 Izra~unati sredine, varijanse i kovarijanse slede}e dve linearne kombinacije na osnovu odataka datih u Primeru. X X Y = ax = [ a a ] = [ ] = X + X ' X X X X Y = ax = [ a a ] = [ 3 ] = 3X X ' X X na dva na~ina: direktno na osnovu oservacija za Y i Y i indirektno na osnovu izra~unate uzora~ke sredine x i izra~unate uzora~ke kovarijacione matrice S. Za rvu linearnu kombinaciju imamo realizovane vrednosti oservacija ' y = ax = ( ) + (3) = 8, ' y = ax = (4) + () = 0,