MULTIVARIATNA ANALIZA VARIANCE

Univerza v Ljubljani Filozofska fakulteta Oddelek za psihologijo MULTIVARIATNA ANALIZA VARIANCE MULTIVARIATNE METODE PREDSTAVITEV Študijsko leto 2002/2003 MIHA KOČEVAR Ljubljana, 13.12.2002 13.12.2002 MULTIVARIATNA ANALIZA VARIANCE STRAN 1 OD 17

UVOD Namen t testa je oceniti verjetnost, da prihajata aritmetični sredini dveh skupin iz iste vzorčne distribucije. Namen ANOVA-e je testirati ali aritmetične sredine dveh ali večih skupin prihajajo iz iste vzorčne distribucije. Multivariatni ekvivalent t testa je Hotteling-ov T 2, s katerim preverjamo ali sta dva vektorja aritmetičnih sredin dveh skupin vzeta iz iste vzorčne distribucije. MANOVA pa je multivariatna analogija Hottelingovega T 2. Namen MANOVE je testirati ali vektorji aritmetičnih sredin dveh ali večih skupin pripadajo isti vzorčni distribuciji. Ravno tako, kot nam Hotteling-ov T 2 predstavlja verjetnost izbora dveh naključnih vektorjev aritmetičnih sredin iz ene distribucije, nam MANOVA daje splošno verjetnost, da dva ali več vektorjev aritmetičnih sredin prihaja iz iste populacije. Obstajata dve splošni situaciji v katerih MANOVA-o uporabljamo najpogosteje. V prvi imamo več koreliranih odvisnih variabel, na katerih želimo izvesti en, splošen statistični test, namesto večih individualnih testov. Druga situacija, ki ima v nekaterih primerih pomembnejšo vlogo, pa omogoča raziskavo, kako več neodvisnih variabel vpliva na več odvisnih variabel. Tako ANOVA, kot tudi MANOVA sta še posebej uporabni v povezavi z eksperimentalnimi načrti to so raziskovalni načrti, s katerimi eksperimentator direktno nadzira ali manipulira eno ali več neodvisnih spremenljivk z namenom, da ugotovi njen vpliv na eno (ANOVA) ali več (MANOVA) odvisnih spremenljivk. ANOVA in MANOVA vsebujeta postopke oz. orodja, s katerimi lahko presojamo opažene učinke t.j. ali je opažena razlika posledica manipulacije neodvisne variable, ali pa zgolj zaradi variabilnosti naključnih vzorcev. Pri MANOVA-i se pojavljajo enaki problemi multiplih post hoc primerjav, kot pri ANOVA-i. ANOVA nam poda en splošni test enakosti aritmetičnih sredin za različne skupine, na eni variabli. Pri tem nam ANOVA ne pove, katera skupina in kako se razlikuje od ostalih skupin. MANOVA nam podaja en splošni test enakosti vektorjev aritmetičnih sredin za različne eksperimentalne skupine. Pri tem pa nam MANOVA ne pove, katere variable so odgovorne za razlike v vektorjih aritmetičnih sredin. Izračunavanje t testov ali Hotteling-ovega T 2 za vsak par aritmetičnih sredin oz. vektorjev aritmetičnih sredin namesto izvedbe ANOVA-e oz. MANOVA-e ni priporočljivo (ter v nekaterih primerih celo nedopustno) za ugotavljanje razlik med posameznimi skupinami iz naslednjih razlogov: s povečevanjem števila t testov (T 2 ), povečujemo tudi verjetnost naključno dobljenih pomembnih razlik, zakon t testa (T 2 ) velja za naključne vzorce, s povečevanjem števila skupin se izračunavanje vseh možnih parov izredno zavleče, z upoštevanjem samo dveh (vektorjev) aritmetičnih sredin, izgubimo na natančnosti, ki je vsebovana v variabiliteti vseh skupin in ne samo tistih, ki ju izračunavamo. Hotteling-ov T 2 zagotavlja izračun razlik med dvema skupinama glede na eno variato, ki je formirana iz večih odvisnih variabel tako, da ti dve skupini razlikuje v največji možni meri. To pomeni, da v postopku poiščemo takšen set uteži za posamezne odvisne variable, ki nam zagotavlja največjo t vrednost. To vrednost nato kvadriramo, da dobimo Hotteling-ov T 2, ki ga nazadnje še primerjamo s kritičnim T 2 krit. Postopek lahko simbolično opišemo v naslednji obliki: C = W Y + W Y + + W Y 1 1 2 2 n n C = kompozit oz. vrednost variate za respondenta W i = utež za odvisno variablo i Y i = vrednost odvisne variable i T 2 krit pn ( 1+ N2 2) ( N1+ N2 p 2) = F krit p = število odvisnih variabel F krit = mejna vrednost F pri df 1 /df 2 (p/n 1 +N 2 -p-1) za določeno verjetnost napake (0.05) 13.12.2002 MULTIVARIATNA ANALIZA VARIANCE STRAN 2 OD 17

MANOVA MANOVA-o lahko obravnavamo kot preprosto nadgradnjo Hotteling-ovega T 2, t.j. na enak način pripišemo odvisnim variablam uteži tako, da tvorijo nov kompozit oz. variatne vrednosti. Razumevanje MANOVA-e zahteva določeno razumevanje teorije vzorčenja. Kljub temu, da pogosto razpravljamo o vzorčenju vrednosti ali številk in kako jih naključno izvlačimo iz klobuka, pa v resnici vzorčimo opazovanja in ne vrednosti. Med izvedbo eksperimenta ima namreč objekt opazovanja (oseba, miška itd.) mnogo različnih atributov. Pri univariatni ANOVA-i smo zainteresirani le za en atribut in torej lahko razmišljamo v smislu kvantifikacije tega atributa v vrednosti. V resnici pa naredimo to, da vzamemo opazovanje in pri tem ignoriramo prav vse atribute opazovanja razen tistega, ki je predmet našega zanimanja. MANOVA je nadalje odvisna od razumevanja, da vzorčimo opazovanja in pri tem ignoriramo prav vse atribute razen tistih (dveh ali več), za katere smo zainteresirani. Ta dva ali več atributov predstavlja odvisne spremenljivke. Namesto uporabe posamezne vrednosti, govorimo pri MANOVA-i o vektorju vrednosti. V primeru, ko želimo evaluirati tri različna reklamna sporočila, glede na njihovo privlačnost in moč spodbujanja k nakupu izdelka, potem bomo uporabili MANOVA-o. S postopkom MANOVA-e želimo najti set uteži, s katerimi bomo dosegli najvišjo F vrednost ANOVA-e, pri obdelavi variate vseh odvisnih spremenljivk. Med drugim lahko MANOVA-o uporabimo tudi kot razširitev diskriminantne analize, v kolikor imamo tri ali več odvisnih spremenljivk iz katerih lahko tvorimo več variat. Prva variata, ki jo imenujemo diskriminantna funkcija nam določi set uteži, ki maksimizirajo razlike med skupinami, torej maksimizirajo F vrednost. Nadalje nam maksimizirana F vrednost omogoča izračun t.i. največjega karakterističnega korena (gcr), ki nam služi za statistični test prve diskriminantne funkcije.izračunamo ga po enačbi: k 1 gcr = Fmax N k Za izvedbo enega testiranja hipoteze o enakosti med temi prvimi vektorji aritmetičnih sredin, lahko uporabimo tabelo vrednosti gcr distribucije. Prav tako kot F vrednosti sledijo znani distribuciji pod nulto hipotezo o enakosti aritmetičnih sredin ene odvisne variable, tako gcr vrednosti sledijo znani distribuciji pod nulto hipotezo o enakosti vektorjev aritmetičnih sredin. Primerjava med opaženim gcr in gcr krit nam daje osnovo za zavrnitev splošne nulte hipoteze o enakosti vektorjev aritmetičnih sredin. Vse nadaljne diskriminantne funkcije so ortogonalne maksimizirajo razlike med skupinami, pri čimer bazirajo na preostalem nepojasnjenem ostanku variance, ki ga niso pojasnile predhodne funkcije. V veliko primerih tako vsebuje test razlik med skupinami ne le vrednosti prve variate, temveč set vrednosti večih variat, ki jih primerjamo vzporedno. Na razpolago imamo paleto multivariatnih testov (Wilksova lambda, Pillaijev kriterij), od katerih se vsak najbolje vede v specifičnih situacijah. MANOVA nam poleg prikaza splošnih razlik med kategorijami, za razliko od diskriminantne analize lahko prikaže tudi katera kategorija ima večji/manjši vpliv na pojav razlik. Kdaj uporabiti MANOVA-o? S sposobnostjo raziskovanja večih odvisnih meritev hkrati ima uporabnik na voljo več načinov uporabe. Kontrola eksperimentalne napake Uporaba večkratne uporabe ANOVA-e ali t testa lahko povzroči težave, če želimo kontrolirati splošno eksperimentalno stopnjo napake. Serija ločenih statističnih testov nam namreč ne omogoča učinkovitega nadzora nad splošno stopnjo α napake. V kolikor želi raziskovalec nadzorovati splošno α napako in med odvisnimi spremenljivkami obstaja vsaj majhna stopnja interkorelacije, potem je uporaba MANOVA-e ustrezna. Razlike med kombinacijo odvisnih spremenljivk Serija univariatnih ANOVA testov ignorira verjetnost, da lahko nek kompozit (linearna kombinacija) odvisnih spremenljivk 13.12.2002 MULTIVARIATNA ANALIZA VARIANCE STRAN 3 OD 17

zagotavlja dokaz o celotni skupinski diferenciaciji in ga zato lahko spregledamo. Individualni testi zanemarjajo korelacije med odvisnimi variablami in ne uporabljajo celotnega spektra informacij, ki je na voljo za ocenjevanje razlik med skupinami. V prisotnosti multikolinearnosti med odvisnimi spremenljivkami bo MANOVA imela večjo statistično moč od ločenih univariatnih testov. V tem pogledu lahko z MANOVA-o zaznamo kombinirane razlike, ki jih univariatne metode ne zaznajo. Poleg tega lahko ob formiranju multiplih variat zagotavlja tudi dimenzije razlik, ki morda razlikujejo med skupinami bolje od posameznih variabel. V nekaterih situacijah z velikim številom odvisnih variabel pa lahko statistična moč ANOVA testov preseže moč posameznega MANOVA testa. Proces odločanja za MANOVA-o KORAK 1 Raziskovalni Problem Določi tip raziskovalnega problema Multipli univariatni Strukturni multivariatni Intrinzični multivariatni Izbor odvisnih variabel KORAK 2 Raziskovalno načrtovanje Adekvatna velikost vzorca po skupinah Uporaba kovariat Izbor neodvisnih spremenljivk Število neodvisnih spremenljivk Ena Preprosta MANOVA Dve ali več Faktorski design, interakcije KORAK 3 Predpostavke Neodvisnost Homogenost matrik variance/kovariance Normalnost Linearnost/multikolinearnost odvisnih spr. Občutljivost na zunanje vplive OK Nadaljuj s korakom 4 Slika 1. Koraki od 1 do 3 pri odločitvenemu diagramu MANOVA-e. 13.12.2002 MULTIVARIATNA ANALIZA VARIANCE STRAN 4 OD 17

KORAK 1: Cilji MANOVA-e Izbira MANOVA-e temelji na zahtevi po analizi razlik seta odvisnih spremenljivk, glede na različne skupine, ki jih kreiramo z eno ali večimi neodvisnimi meritvami. MANOVA predstavlja močno analitično orodje za širši spekter raziskovalnih vprašanj. Njena uporaba v pravem ali kvazi eksperimentu, nam omogoča vpogled, ne le v naravo in napovedno moč neodvisnih spremenljivk, temveč tudi v notranjo povezanost in v razlike seta odvisnih spremenljivk. Tipi multivariatnih vprašanj, primernih za MANOVA-o MANOVA poseduje fleksibilnost, ki omogoča raziskovalcu, da izbere testno obdelavo, ki je najbolj ustrezna za obravnavo postavljenega raziskovalnega vprašanja. Hand in Taylor (po Hair idr., 1998) sta klasificirala multivariatne probleme v tri kategorije, od katerih vsaka zajema različne aspekte MANOVA-e. Te tri kategorije so multipla univariatna, strukturirana multivariatna in intrinzična multivariatna vprašanja. Multipla univariatna vprašanja Raziskovalec v obdelavi multiplih univariatnih vprašanj identificira določeno število različnih odvisnih varibel, ki jih analizira ločeno, vendar pa zahteva splošno kontrolo nad obsegom eksperimentalne napake. V tem primeru uporabi MANOVA-o za ocenitev splošne razlike med skupinami, nato pa glede na rezultat analize, izvede še ločene univariatne teste z namenom odkrivanja individualnih lastnosti za vsako odvisno spremenljivko. Strukturirana multivariatna vprašanja Raziskovalec pri obravnavi strukturiranih multivariatnih vprašanj uporablja dve ali več odvisnih spremenljivk, ki so specifično povezane. Tipična situacija za to kategorijo so ponovljene meritve, kjer so multipli odzivi pridobljeni od enega udeleženca, v določenem časovnem intervalu ali pa v pretest-posttest situaciji, v kateri je udeleženec med meritvami izpostavljen vplivanju določenega dražljaja (npr. oglaševanju izdelka). MANOVA tukaj zagotavlja strukturirano metodo za določanje primerjav skupinskih razlik na setu odvisnih meritev, pri čimer ohranja statistično učinkovitost. Intrinzična multivariatna vprašanja Ta kategorija zajema set odvisnih meritev za katere nas v osnovi zanima, kako razlikujejo med skupinami kot celota. Razlike individualnih odvisnih meritev nimajo tolikšnega pomena, kot njihov skupni učinek. Primer bi bil testiranje multiplih meritev, ki naj bi bile konsistentne (npr. nakupovalne navade, preference in namere potrošnikov). MANOVA lahko v takšnem primeru pokaže tudi na razlike med skupinami, ki jih izračuna na osnovi kombinacij odvisnih spremenljivk ter jih z drugimi postopki ne bi odkrili. Ta tip vprašanj je dobro pokrit s sposobnostjo MANOVA-e, da detektira multivariatne razlike tudi tam, kjer jih ne zazna noben posamičen univariatni test. Izbira odvisnih spremenljivk Po definiranju ustreznih vprašanj je nadalje potrebno skrbno oblikovanje le teh, še posebej pri izbiri odvisnih spremenljivk. Pogost problem pri uporabi MANOVA-e je v težnji raziskovalcev, da napačno uporabijo eno od njenih prednosti sposobnost obravnave multiplih odvisnih spremenljivk z vključevanjem variabel brez kančka konceptualne ali teoretične osnove. Problem nastane, ko rezultati nakazujejo, da ima manjše število odvisnih variabel sposobnost, da vpliva na splošne razlike med skupinami. V kolikor nekatere od odvisnih spremenljivk z močno izraženostjo razlik niso v resnici primerne za raziskovalno vprašanje, potem lahko»napačne«razlike vodijo do tega, da raziskovalec povleče napačne zaključke o celotnem setu odvisnih variabel. Poleg tega moramo, kot možen efekt upoštevati tudi vrstni red variabel. MANOVA vsebuje poseben test, postopno (stepdown) analizo, s katero ocenjujemo statistične razlike v smislu zaporedja odvisnih spremenljivk. V splošnem lahko povzamemo, da mora raziskovalec skrbno oceniti vse aspekte raziskovalnega vprašanja in zagotoviti uporabo MANOVA-e v pravilni in najustreznejši obliki. 13.12.2002 MULTIVARIATNA ANALIZA VARIANCE STRAN 5 OD 17

KORAK 2: Raziskovalni načrt MANOVA-e Kljub temu, da MANOVA testira pogoje na enak način kot ANOVA in sledi enakim bistvenim načelom, pa je nekaj elementov unikanih zgolj za aplikacijo MANOVA-e. Velikost vzorca celotnega in po skupinah MANOVA zahteva večje vzorce kot univariatna ANOVA, pri čimer mora velikost vzorca preseči določeno mejo v vsaki celici (skupini). Priporočena najmanjša velikost vzorca v celici je 20 opazovanj, pri čimer je številka lahko višja za doseganje ustrezne statistične moči. Skrajni minimum vzorca za vsako celico, mora biti večji od števila vključenih odvisnih spremenljivk. Kljub temu, da je ta zahteva navidezno blaga, pa nam že vključitev majhnega števila odvisnih variabel (5 do 10) v analizo včasih vnese neprijetne omejitve pri zbiranju podatkov. Ta problem je še posebej izražen v terenskih eksperimentih v katerih imamo manj nadzora nad pridobljenim vzorcem. Faktorski dizajn dve ali več smeri Pogosto želi raziskovalec preučiti efekte večih neodvisnih variabel. Analizo, ki vsebuje več kot dve neodvisni spremenljivki imenujemo faktorski dizajn. V splošnem imenujemo dizajn z n neodvisnimi spremenljivkami n-smerni faktorski dizajn. Izbira neodvisnih spremenljivk Najpogostejša uporaba faktorskega dizajna vključuje tista raziskovalna vprašanja, ki primerjajo dve ali več neodvisnih spremenljivk s setom odvisnih variabel. V teh primerih so neodvisne variable določene v dizajnu eksperimenta (terenskega eksperimenta, raziskovalnega-survey-vprašalnika). Vendar pa so v nekaterih primerih lahko neodvisne spremenljivke dodane naknadno. Najbolj pogosta uporaba dodatnih variabel je v primeru blok fakorja, ki je nemetrična karakteristika uporabljena post hoc in je namenjena segmentaciji respondentov, s čimer dosežemo večjo homogenost znotraj skupin in zmanjšamo MS W izvor variance. Z uvedbo blok faktorja se poveča sposobnost statističnega testa za ugotavljanje razlik. Uporaba kovariat ANCOVA in MANCOVA V katerikoli univariatni ANOVA dizajn lahko vključimo metrično neodvisno variablo kovariato. V tem primeru govorimo o ANCOVA dizajnu. Metrične kovariate so tipično vključene v eksperimentalni načrt z namenom, da odstranimo zunanje vplive iz odvisne spremenljivke, ki zvišujejo varianco znotraj skupin (MS W ). Učinek je podoben, kot pri uporabi blok faktorja, le da imamo tokrat metrično variablo. Za odstranitev variance iz odvisne variable je uporabljen postopek podoben linearni regresiji. Nato izvršimo konvencionalno ANOVA-o na modificirani odvisni spremenljivki. Multivariatna analiza kovariance (MANCOVA) je preprosta razširitev principov ANCOVA-e na multivariatno analizo. Cilji analize kovariance Analizo kovariat uporabljamo z dvema specifičnima namenoma: (1) za eliminacijo neke sistematične napake izven kontrole, ki jo ima raziskovalec ter lahko popači rezultate in (2) z obzirom na razlike v odzivih, ki so posledica edinstvenih karakteristik respondentov. Sistematično napako lahko izločimo z naključnim dodeljevanjem udeležencev v različne skupine. Vendar pa je takšna kontrola v neeksperimentalnem raziskovanju nemogoča. Namen kovariat je eliminirati vse efekte, ki (1) vplivajo zgolj na del respondentov in (2) variirajo med respondenti. Raziskovalec uporabi kovariate za izločanje katerihkoli razlik, ki so posledica teh faktorjev, preden se izračuna efekte eksperimenta. Izbor kovariat Efektivna kovariata pri ANCOVA-i je tista, ki visoko korelira z odvisno variablo in ne korelira z neodvisnimi variablami. S tem zmanjšamo varianco odvisne variable, ki ni pojasnjena s strani neodvisnih variabel. V kolikor pa kovariata korelira tudi z neodvisnimi variablami, potem od skupne MS W variance odštejemo tudi varianco, pojasnjeno z neodvisnimi spremenljivkami. Ker najprej izvedemo kovariato, odvzamemo vso varianco, 13.12.2002 MULTIVARIATNA ANALIZA VARIANCE STRAN 6 OD 17

ki je povezana z njo, neodvisnim variablam. Pogosto vprašanje je, koliko kovariat vključiti v analizo. Vedeti moramo, da veliko število kovariat zmanjšuje statistično učinkovitost procedur. Pravilo palca pomeni, da mora biti kovariat manj kot: (0.10 Nvzorca ) ( Nskupin 1). Raziskovalec bi moral poskušati čimbolj zmanjšati število kovariat, pri čimer pa bi moral paziti, da vključi pomembne kovariate, ki lahko v večini primerov, še posebej pri majhnih vzorcih, pomembno izboljšajo občutljivost statističnih testov. Za uporabo analize kovariate moramo zadostiti dvema pogojema: (1) kovariata mora biti v nekem odnosu z odvisno spremenljivko in (2) kovariata mora imeti homogen regresijski efekt (t.j. kovariata mora imeti enak efekt na odvisno spremenljivko za vse skupine). Obstajajo statistični testi, s katerimi lahko to preverimo. V primeru, ko katerikoli od teh dveh pogojev ni izpolnjen, je uporaba kovariate neupravičena. Poseben primer MANOVA-e: Ponovljene meritve Posebna oblika preverjanja razlik na setu odvisnih variabel je v primeru, ko isti respondent poda rezultate večih meritev (npr. testne vrednosti skozi čas), ki jih želimo primerjati z namenom odkrivanja trenda sprememb. Brez posebne obravnave bi kršili najbolj pomemben pogoj neodvisnost meritev. Obstaja poseben model MANOVA-e z imenom ponovljene meritve (repeated measures), ki upošteva to odvisnost in zagotavlja podatke o razlikah med posamezniki na setu odvisnih variabel. KORAK 3: Predpostavke MANOVA-e Za pravilno izvedbo MANOVA-e moramo zadostiti trem pogojem: (1) opazovanja morajo biti neodvisna, (2) matrike varianc-kovarianc morajo biti enake pri vseh eksperimentalnih skupinah in (3) set p odvisnih variabel mora slediti multivariatni normalni distribuciji. Neodvisnost Najbolj bazična in najpomembnejša je kršitev te domneve, ko obstaja pomanjkanje neodvisnosti med opazovanji. Obstaja mnogo eksperimentalnih in neeksperimentalnih situacij v katerih je ta domneva zlahka kršena. Naprimer efekt vrstnega reda (serialna korelacija) lahko nastopi, če meritve izvajamo dlje časa, četudi na različnih udeležencih. Nadaljni pogost problem predstavlja zbiranje informacij v okviru skupine tako, da je prisotna skupna izkušnja (npr. hrup ali zmeden set navodil), ki na delu preizkušancev povzroči odgovore, ki so v nekem smislu korelirani. Nazadnje lahko zunanji in nemerjeni efekti vplivajo na rezultate z ustvarjanjem odvisnosti med udeleženci. Četudi z nobenim testom ne moremo absolutno izključiti vseh možnih oblik odvisnosti, pa mora raziskovalec preučiti vse mogoče efekte in jih popraviti. V kolikor najdemo odvisnost med skupinami udeležencev je možna rešitev kombiniranje rezultatov udeležencev znotraj skupin in analiza skupinskega povprečja namesto vrednosti posameznih respondentov. Naslednji pristop je uvedba blok faktorja ali neke oblike kovariatne analize, s katero zmanjšamo odvisnost. V obeh primerih ali v primeru suma na odvisnost, moramo uporabiti nižje stopnje pomembnosti (0.01 ali nižje). Enakost matrik variance-kovariance Nadaljna domneva MANOVA-e je o enakosti kovariančnih matrik odvisnih meritev med skupinami. Zahteva po enakosti je natančen test, saj namesto enakosti varianc za eno variablo pri ANOVA-i, MANOVA test preuči vse elemente kovariančne matrike odvisnih variabel. Na srečo ima kršitev te domneve majhen efekt, če so vse skupine približno enake velikosti, t.j. če je razmerje med velikostjo največje in najmanjše skupine manjše od 1,5. V kolikor je to razmerje večje, mora raziskovalec testirati in popraviti neenake variance, če je le mogoče. Programi za izračun MANOVA-e vsebujejo tudi programe za testiranje kovariančnih matrik tipično je to Boxov test. Boxov test pa je občutljiv na odklone od normalnosti, zaradi česar moramo pred njegovo uporabo preveriti univariatno normalnost za vse odvisne spremenljivke. V kolikor ugotovimo odklon od enakosti imamo na voljo več postopkov za stabilizacijo varianc. 13.12.2002 MULTIVARIATNA ANALIZA VARIANCE STRAN 7 OD 17

Normalnost Zadnja domneva za MANOVA-o govori o normalnosti odvisnih spremenljivk. Domneva se, da so vse variable multivariatno normalne, t.j. da je skupni efekt dveh variabel normalno distribuiran. Žal pa ne obstaja test, ki bi meril stopnjo multivariatne normalnosti, zato večina raziskovalcev testira univariatno normalnost vsake variable. Čeprav univariatna normalnost še ne garantira tudi multivariatne normalnosti, pa so odstopanja od le te v večini primerov minimalna, v kolikor je na vseh individualnih variablah ugotovljena normalnost. Odstopanja od te dmneve imajo majhen vpliv pri velikih vzorcih, povzročajo pa težave pri uporabi Boxovega testa, kar v večini primerov rešujemo s transformacijami. Linearnost in multikolinearnost med odvisnimi spremenljivkami Čeprav MANOVA ocenjuje razlike med kombinacijami odvisnih spremenljivk, lahko konstruira linearni odnos samo med odvisnimi spremenljivkami (in kovariatami, če so vključene). Raziskovalec naj bi sprva raziskal podatke z namenom ocenjevanja nelinearnih odnosov. V kolikor le ti obstajajo se pojavi vprašanje, ali jih moramo vključiti v set odvisnih spremenljivk, za ceno večje kompleksnosti, pa tudi večje reprezentativnosti. Odvisne spremenljivke pa naj ne bi imele visoke kolinearnosti, saj to pokaže na njihovo visoko redundantnost, s čimer se zniža statistična učinkovitost. Občutljivost na zunanje vplive MANOVA je še posebej občutljiva na zunanje vplive in njihovo delovanje na α napako. Zato bi moral raziskovalec najprej preučiti podatke v zvezi z zunanjimi vplivi ter jih ob morebitni prepoznavi tudi izločiti iz analize, če je le mogoče, saj imajo lahko neustrezen in neskladen vpliv na splošne rezultate. 13.12.2002 MULTIVARIATNA ANALIZA VARIANCE STRAN 8 OD 17

KORAK 4: Ocenjevanje MANOVA modela Potem, ko smo MANOVA analizo formulirali in testirali domneve, lahko začnemo ocenjevati pomembnost razlik med skupinami. Pri ocenjevanju mora raziskovalec izbrati najprimernejšo testno statistiko. Poleg tega mora v vsaki situaciji, a še posebej pri kompleksnejših analizah preveriti moč statističnih testov, z namenom zagotavljanja najboljšega vpogleda v dobljene rezultate. Nadaljuj od koraka 3 KORAK 4 Ocenjevanje pomembnosti skupinskih razlik Izbor kriterija za teste pomembnosti Ocenjevanje statistične moči Povečevanje moči Uporaba v planiranju in analizi Efekti multikolinearnosti odvisnih spremenljivk KORAK 5 Interpretacija efektov variabel Evaluacija kovariat Ocenjevanje vpliva neodvisnih spremenljivk Post hoc vs. a priori testi Postopna (step-down) analiza Identifikacija razlik med skupinami Post hoc metode A priori ali načrtovane metode primerjanja KORAK 6 Validacija rezultatov Ponovitev Analiza razdeljenega vzorca Slika 2. Koraki od 4 do 6 pri odločitvenemu diagramu MANOVA-e. 13.12.2002 MULTIVARIATNA ANALIZA VARIANCE STRAN 9 OD 17

Kriterij za testiranje pomembnosti MANOVA vsebuje več kriterijev s katerimi ocenjujemo multivariatne razlike med skupinami. Štiri najbolj uporabljene so: Royev gcr, Wilksova lambda (ali U), Hotellingov ostanek (trace) in Pillaijev kriterij. Royev gcr (največji karakteristični koren) meri razlike zgolj na prvem kanoničnem korenu med odvisnimi variablami. Ta kriterij ima nekaj prednosti v moči in natančnosti, a je manj uporaben v situacijah, kjer moramo upoštevati vse dimenzije. Royev gcr test je najprimernejši takrat, ko so odvisne variable v močnem medsebojnem odnosu z eno samo dimenzijo, a hkrati je tudi test, ki je najbolj podvržen morebitnim kršitvam domnev. Nadaljne tri meritve ocenjujejo vse izvore razlik med skupinami. Najpogosteje od njih se navaja Wilksovo lambdo. V resnici imamo lahko p oz. (k 1) katerikoli je manjši različnih karakterističnih korenov ali diskriminantnih funkcij, kjer je p število odvisnih variabel in k je število skupin. Za razliko od gcr statistike, ki temelji na prvem (največjem) karakterističnem korenu, Wilksova lambda upošteva vse karakteristične korene. Manjša ko je vrednost Wilksove lambde, večja je pomembnost. Distribucija Wilksove lambde je kompleksna, zato jo pogosto transformiramo v F vrednosti. Ostale široko uporabljene statistike, vključujoč Pillaijev kriterij in Hotellingov ostanek, so podobne Wilksovi lambdi, saj upoštevajo vse karakteristične korene in jih lahko izrazimo z F statistiko. Meritev, ki jo bomo uporabili naj bo najbolj imuna na kršitve domnev in hkrati naj poseduje največjo statistično moč. Takšna naj bi bila predvsem Pillaijev kriterij in Wilksova lambda, pri čimer je Pillaiev kriterij bolj robusten in ga uporabljamo, kadar imamo manjši vzorec, neenake celice ali v primeru kršitve homogenosti varianc. Če pa je raziskovalec prepričan, da so vse domneve striktno izpolnjene in odvisne spremenljivke predstavljajo eno dimenzijo efektov, potem je Royev gcr najmočnejša testna statistika. Statistična moč multivariatnih testov Preprosto povedano je statistična moč verjetnost, da bo statistični test identificiral efekte postopka, ki v resnici obstajajo. Stopnja moči štirih statističnih kriterijev Royevega gcr, Wilksove lambde, Hotellingovega ostanka in Pillaijevega kriterija bazira na treh dejstvih: na alfa stopnji, na velikosti efekta statističnega postopka in na velikosti vzorca skupin. Moč je obratna stopnji alfa večja ko je stopnja alfa (bolj konzervativna, npr. prehod iz 0.05 na 0.01), manjša je moč. Povečevanje moči MANOVA-i Primarno orodje za povečevanje moči je velikost vzorca v skupinah. Pri tem pomembno vlogo igra tudi velikost efekta veličine (effect size), ki ponazarja standardizirano mero skupinskih razlik. Pri konstantni velikosti vzorca bo moč testa večja, če bo večja velikost efekta veličine. Obratno je v primeru, ko v postopku pričakujemo majhen efekt veličine, zaradi česar potrebujemo večji vzorec znotraj skupin za doseganje večje moči. V analizi z manj kot 50 udeleženci v skupini je doseganje zadovoljive moči lahko problematično. Leta opazno narašča do velikosti skupin s 150 udeleženci, nato pa se rast upočasni. Uporaba moči pri planiranju in analizi Ocenjevanje moči bi morali uporabiti tako pri planiranju analize, kot pri ocenjevanju rezultatov. V stopnji planiranja raziskovalec definira velikost vzorca, ki bo identificiral ocenjen efekt veličine. V večini primerov lahko efekt veličine ocenimo na podlagi predhodnih raziskav ali z razumnim presojanjem Izračun stopnje moči Večina računalniških programov že zagotavlja oceno moči za pomembnost testa in s tem omogoča raziskovalcu, ali naj opis moči vključi v interpretacijo ali ne. V pripravljalni fazi uporabljamo tabele za doseganje ustrezne moči. Primer si lahko ogledamo v tabeli 1. 13.12.2002 MULTIVARIATNA ANALIZA VARIANCE STRAN 10 OD 17

Tabela 1 Zahtevana velikost vzorca v skupini za doseganje statistične moči 0.80 pri MANOVA-i število skupin 3 4 število odvisnih variabel število odvisnih variabel efekt veličine 2 4 6 2 4 6 zelo velik 13 16 18 14 18 21 velik 26 33 38 29 37 44 srednji 44 56 66 50 64 74 majhen 98 125 145 115 145 165 Vpliv multikolinearnosti odvisnih spremenljivk na statistično moč Raziskovalec mora v fazi planiranja ali v fazi analize upoštevati velikost in smer korelacij odvisnih variabel, skupaj z efektom veličine. Če klasificiramo variable po efektu veličine na močne in šibke, lahko sestavimo več vzorcev. Najprej, če vzamemo korelirani par, sestavljen iz močne-močne ali iz šibke-šibke variable, potem največjo moč dosežemo, če je korelacija med spremenljivkama visoka in negativna. Primer za takšno povečanje moči bi bila nadomestitev ene (redundantne) spremenljivke od dveh, ki merita zadovoljstvo s spremenljivko, ki meri nezadovoljstvo. Kadar pa je koreliran par mešanica močne in šibke variable, je moč maksimizirana z visoko korelacijo, ne glede na smer. KORAK 5: Interpretacija rezultatov MANOVA-e Potem, ko je ocenil statistično pomembnost pogojev lahko raziskovalec preuči rezultate skozi kombinacijo treh metod: (1) interpretacija efektov kovariat, (2) ocenitev katere odvisne spremenljivke poudarjajo razlike med skupinami in (3) identifikacija skupin, ki odstopajo na eni sami odvisni variabli ali na celotni odvisni variati. Najprej preučimo metode s katerimi identificiramo pomembnost kovariat in odvisnih spremenljivk, šele nato pa tudi metode s katerimi merimo razlike med skupinami. Evaluacija kovariat Pri uporabi kovariat je raziskovalec običajno zainteresiran za interpretacijo aktualnega efekta le teh na odvisno spremenljivko in njihovega vpliva na statistične teste. Vpliv kovariat ocenjujemo skozi obliko regresijske enačbe, ki je formirana za vsako kovariato. V kolikor kovariate predstavljajo teoretične efekte, potem nam rezultati zagotavljajo objektivno bazo za potrditev ali zavrnitev predlaganih odnosov. V praktične namene lahko raziskovalec preuči vpliv kovariat in eliminira tiste z majhnim ali nikakršnim efektom. Raziskovalec bi moral prav tako ugotoviti splošni vpliv kovariat na statistične teste eksperimentalnih pogojev. Najbolj neposreden pristop k temu je izvedba statističnih testov z vključenimi kovariatami in brez njih. Efektivne kovariate bodo izboljšale statistično moč testov in zmanjšale varianco znotraj skupin. Če pa raziskovalec ne zazna bistvenih izboljšav, pa lahko kovariate izpusti, saj zmanjšujejo stopnje svobode, ki so na voljo pri ugotavljanju razlik med efekti eksperimentalnih pogojev. Takšen pristop nam omogoča tudi identifikacijo»premočnih«kovariat, ki zmanjšajo varianco do takšne mere, da so vsi efekti eksperimentalnih pogojev nepomembni. To je pogosto posledica korelacije med kovarianco in eno ali večimi neodvisnimi spremenljivkami. Ocenjevanje odvisne variate Naslednji korak je analizna odvisne variate z namenom ugotoviti, katera od odvisnih spremenljivk največ doprinese k splošnim razlikam ugotovljenim s statističnim testom. Ta korak je ključnega pomena, saj lahko obstaja del odvisnih variabel, ki poudarja razlike, medtem ko preostale variable ne doprinesejo k zaznavanju razlik in lahko maskirajo 13.12.2002 MULTIVARIATNA ANALIZA VARIANCE STRAN 11 OD 17

pomembnost efektov. Uporabimo proceduro post hoc testov, ki so testi na odvisnih variablah, katere izvedemo po preučitvi podatkov. Podoben pristop je uporaba a priori testov to so testi, ki jih planiramo vnaprej, s teoretičnega ali iskustvenega gledišča. Najbolj običajna izvedba je v obliki univariatnih testov. Pri tem se moramo zavedati, da z naraščanjem števila univariatnih meritev, narašča tudi verjetnost α napake. Le to kontroliramo s tem, da priredimo stopnjo α po načelu Bonferronijeve neenakosti, ki pravi, da je prirejena stopnja α enaka splošni stopnji α ulomljeno s številom univaritnih testov. Uporabimo lahko še proceduro, znano kot postopna analiza (stepdown analysis) za ocenjevanje razlik pri posameznih odvisnih spremenljivkah. Procedura vključuje izračun univariatne F statistike za odvisno spremenljivko potem, ko je eliminirala efekte preostalih odvisnih variabel. Postopek je podoben postopni regresiji, le da tu preučujemo ali določena odvisna variabla vsebuje edinstveno (nekorelirano) informacijo glede skupinskih razlik. Rezultati postopne analize bodo natanko enaki, kot če uporabimo analizo kovariat, pri čimer vzamemo za kovariate vse ostale odvisne spremenljivke. Kritična domneva pri postopni analizi je, da mora raziskovalec natanko poznati vrstni red v katerem vnaša odvisne variable, saj se interpretacija v različnih zaporedjih lahko dramatično razlikuje. V kolikor ima zaporedje teoretično ozadje je uporaba postopne analize upravičena. Variable, ki jih zaznamo kot nepomembne predstavljajo redundanco za predhodne pomembne variable, saj ne doprinesejo nobene nadaljne informacije glede razlik med skupinami. Vrstni red lahko variiramo z namenom ugotavljanja edinstvenih in redundantnih spremenljivk, a se postopek pri večjem številu le teh zakomplicira. Odkrivanje razlik med posameznimi skupinami MANOVA procedura nam omogoča zavreči hipotezo o enakosti med skupinami, ne pove pa, kje leži razlog za razliko, če imamo več kot dve skupini. Multipli t testi niso ustrezna rešitev za odkrivanje pomembnosti razlik med aritmetičnimi sredinami parov skupin, saj s številom parov narašča tudi verjetnost α napake. Obstaja več postopkov, ki jih lahko uporabimo post hoc ali a priori in uporabljajo različne pristope za kontrolo α napake. Post hoc metode Med največkrat uporabljenimi so Scheffejeva metoda, HSD, LSD, Duncanov test in Newman-Kuelsov test. Vse te metode preverjajo, katere primerjave med skupinami imajo statistično pomembno razliko. Vendar pa imajo vse te metode majhno moč. Zaradi narave post hoc testa moramo preveriti vse možne kombinacije med skupinami in zato je moč posameznega testa majhna. Sheffejeva metoda naj bi bila najbolj konzervativna v smislu α napake, sledijo pa ji HSD, LSD, Newman-Kuels in Duncan, v tem vrstnem redu. Če so efekti veličine veliki ali pa je število skupin majhno, potem s post hoc testi lahko prepoznamo skupinske razlike. A priori ali planirane primerjave Raziskovalec se lahko za primerjanje med specifičnimi skupinami posluži a priori ali planiranih primerjav. Ta metoda je podobna post hoc testom, le da raziskovalec vnaprej določi, med katerimi skupinami bo izvedel primerjave in ne testira vseh kombinacij. Načrtovane primerjave imajo zato večjo moč, ki pa ima le majhen efekt, če ne primerjamo»pravih«skupin. Planirane primerjave so najprimernejše, kadar jih določimo na konceptualni osnovi. Zato naj jih ne bi uporabljali v eksploratorne namene, saj nimamo nadzora nad splošno α napako. Raziskovalec določi skupine za primerjavo s pomočjo kontrasta, ki je zgolj kombinacija aritmetičnih sredin skupin, ki reprezentirajo specifično načrtovano primerjavo. Kontrast lahko v splošnem definiramo kot: C = W 1 G 1 + W 2 G 2 +... + W k G k ( C = vrednost kontrasta, W = uteži, G = arit.sredine skupin ) Vsi statistični paketi zmorejo izvesti post hoc in a priori teste za eno odvisno spremenljivko. V kolikor pa želi raziskovalec izvesti primerjave s celotno odvisno variato, so na voljo tudi razširitve omenjenih metod. 13.12.2002 MULTIVARIATNA ANALIZA VARIANCE STRAN 12 OD 17

KORAK 6: Validacija rezultatov Tehnike z analizo variance so bile razvite v tradiciji eksperimentiranja, ki za osnovno sredstvo validacije uporablja ponovitve meritev. Specifičnost eksperimentalnih pogojev nam dovoljuje široko uporabo istega eksperimenta na večih populacijah z namenom ocenjevanja generalibilnosti rezultatov. Vendar pa je v družbenih znanostih in poslovnem raziskovanju pravo eksperimentiranje pogosto zamenjano s statističnim testiranjem v neekspirimentalnih situacijah. Zmožnost validacije rezultatov v teh situacijah temelji na lastnosti eksperimentalnih pogojev, da jih lahko ponovimo. V mnogih primerih so za eksperimentalne pogoje, izbrane demografske značilnosti, kot so starost, spol, dohodek itd. Pri takšnih pogojih lahko izgleda, da izpolnjujemo zahtevo po primerljivosti, vendar mora raziskovalec hkrati zagotoviti tudi dodatni element naključnega vzorčenja, v posamezno skupino. Naprimer, če imamo starost in spol kot neodvisni spremenljivki v temu primeru so udeleženci pogojeni s pripadnostjo eni od skupin in le ta ni posledica naključnega vzorčenja, temveč je posledica lastnosti udeležencev. 13.12.2002 MULTIVARIATNA ANALIZA VARIANCE STRAN 13 OD 17

PRIMER: Faktorski dizajn MANOVA-e z dvema neodvisnima spremenljivkama Korak 1: Raziskovalni problem Naša analiza bo usmerjena v raziskovanje vpliva medikamentozne terapije (X 14 ) in vpliva psihološke obravnave (X 13 ), na dve odvisni spremenljivki, in sicer na rezultat Beckove samoocenjevalne lestvice depresivnosti (X 9 ) in na rezultat čekliste simptomov depresivnosti za svojce (X 10 ). Pri obeh vprašalnikih pomeni višji rezultat blažjo stopnjo depresivnosti. Tip raziskovalnega problema je torej intrinzični multivariatni. Korak 2: Raziskovalni načrt Faktorski načrt z dvema neodvisnima variablama postavi vprašanje ustrezne velikosti vzorca v posamezni skupini. Imamo tri stopnje na X 14 (placebo, zdravilo A ter zdravilo B) in dve stopnji na X 13 (kognitivna terapija in klinična psihoterapija), kar pomeni 3 x 2 faktorski dizajn s šestimi skupinami. Pri kreiranju faktorskega dizajna pazimo da imamo za vsako skupino ustrezno velikost vzorca, (1) da zagotovimo minimalno število udeležencev v skupini, ki mora presegati število odvisnih variabel in (2) da poskrbimo za ustrezno statistično moč za praktično zaključevanje. V našem primeru imamo 16-18 udeležencev v skupini, s čimer smo zadovoljili kriterij 1, medtem ko je statistična moč takšnega vzorca majhna. Iz standardnih tabel lahko razberemo, da bo naša velikost vzorca v šestih skupinah MANOVA-e primerna za odkrivanje zmerno velikih efektov veličine z močjo 0.70. Korak 3: Predpostavke Največjega pomena je homogenost matrik varianc-kovarianc pri vseh šestih skupinah. Univariatni testi (tabela 1) so pokazali tako pri zdravilih, kot tudi pri psihološki obravnavi na nepomembnost razlik (razen Bartlett-Box test pri psihološki obravnavi = 0.038). Zaradi zaznane nepomembnosti univariatnih testov lahko napredujemo na multivariatno obdelavo. Boxov M test je pokazal stopnjo pomembnosti 0.09, kar nam omogoča sprejetje nulte hipoteze o homogenosti matrik varianc-kovarianc na nivoju 0.05. Z zadovoljitvijo te domneve lahko rezultate direktno interpretiramo, ne glede na velikost skupin, stopnjo kovarianc v skupini itd. Tabela 1 Rezultati testiranj enakosti matrik variance-kovariance X 9 : Beckova lestvica X 10 : čeklista simptomov skupaj statistika p statistika p statistika p Univariatni testi Cochranov C 0,248 0,447 0,291 0,115 Bartlett-Box 1,062 0,380 2,363 0,038 Levenov test 1,332 0,257 1,519 0,191 Multivariatni test Boxov M 24,050 0,090 Korak 4: Ocenjevanje pomembnosti skupinskih razlik Boxploti (slika 3, slika 4) za vsako odvisno variablo kažejo, da med skupinami obstajajo razlike. Razlike so najbolj opazne pri medikamentozni terapiji, zaznamo pa jih lahko tudi pri psihološki terapiji. MANOVA ne testira samo glavnih efektov obeh variabel, temveč tudi interakcijo. Prvi korak je usmerjen k preučitvi efekta interakcije in k ugotovitvi ali je le ta statistično pomemben. Tabela 2 prikazuje rezultate testiranja efekta interakcije. Vsi štirje multivariatni test nakazujejo, da interakcijski efekt ni pomemben. To pomeni, da so razlike med tipoma psihološke obravnave približno enake pri vseh treh medikamentoznih situacijah, za obe odvisni variabli skupaj. Univariatni testi so prav tako potrdili nepomembnost interakcije na vsaki odvisni variabli posebej. Sliki 5 in 6 prikazujeta interakcijski efekt za vsako odvisno spremenljivko. Glede na nepomembnost interakcijskega efekta lahko glavne efekte interpretiramo direktno, brez popravljanja ali prirejanja. 13.12.2002 MULTIVARIATNA ANALIZA VARIANCE STRAN 14 OD 17

B e c k o v a 65 60 55 50 c e k l i s t a 6.5 6 5.5 l e s t v i c a 45 40 35 30 25 1 2 3 4 5 6 skupina Slika 3. Boxplot prikaz rezultatov za Beckovo lestvico depresivnosti, po posameznih skupinah. Opombe (velja za celotno poročilo): 1-placebo,kognitivna; 2-placebo,klinična; 3-zdr.A,kognitivna; 4-zdr.A,klinična; 5- zdr B,kognitivna; 6-zdr B,klinična. s i m p t o m o v 5 4.5 4 3.5 1 2 3 4 5 6 skupina Slika 4. Boxplot prikaz rezultatov za čeklisto simptomov depresivnosti za svojce, po posameznih skupinah. Tabela 2 Rezultati multivariatnega testiranja interakcije med neodvisnima spremenljivkama ime testa vrednost F df hipotetična df napake p Pillaijev kriterij 0,02 0,464 4 188 0,762 Wilksova lambda 0,98 0,461 4 186 0,764 Hotellingov ostanek 0,02 0,458 4 184 0,766 Royev gcr 0,02 0,921 2 94 0,402 60 50 kognitivna klinična 6 5,5 5 kognitivna klinična 40 4,5 4 30 placebo zdravilo A zdravilo B 3,5 placebo zdravilo A zdravilo B Slika 5. Prikaz interakcije med obema faktorjema pri Beckovi lestvici depresivnosti. Slika 6. Prikaz interakcije med obema faktorjema pri čeklisti simptomov. Tabeli 3 in 4 vsebujeta rezultate MANOVA-e za glavne efekte medikamentozne in psihološke terapije. Efekt psihološke obravnave ima nivo pomembnosti 0.069 pri multivariatnem testiranju, kar nakazuje na nepomembnost razlik med skupinami, ki jih pripisujemo psihološki terapiji. Raziskovalec mora pri tem razmisliti o znižanju kriterija za pomembnost, saj je moč multivariatnega testa oslabljena zaradi nizkega števila udeležencev v skupinah. Z upoštevanjem tega dejstva lahko zaključimo, da ima psihološka obravnava pomemben efekt. Druga neodvisna spremenljivka, medikamentozna terapija nam pokaže visoko pomembnost efekta na vseh multivariatnih testih. Ugotovili smo tudi statistično moč 1.0, kar pomeni, da nam visoka stopnja efekta veličine zagotavlja veliko moč tudi pri majhnih vzorcih. Vpliv neodvisnih spremenljivk lahko primerjamo tudi skozi relativno velikost vpliva veličine. Vpliv veličine je v našem primeru pri medikamentozni terapiji 8 do 10-krat večji (glede na različne teste), od vpliva veličine pri psihološki obravnavi. Ta primerjava daje raziskovalcu možnost evaluacije praktične pomembnosti posameznih glavnih efektov, ločeno 13.12.2002 MULTIVARIATNA ANALIZA VARIANCE STRAN 15 OD 17

od statističnih testov pomembnosti. V našem primeru ima medikamentozna terapija dominantni efekt, efekt psihološke terapije pa je le majhen. Tabela 3 Rezultati testiranja učinka glavnih efektov psihološke obravnave za MANOVA 3x2 faktorski dizajn ime testa vrednost F df hipotetična df napake p ε 2. moč Pillaijev kriterij 0,056 2,752 2 93 0,069 0,056 0,531 Wilksova lambda 0,944 2,752 2 93 0,069 0,056 0,531 Hotellingov ostanek 0,059 2,752 2 93 0,069 0,056 0,531 Royev gcr 0,059 2,752 2 93 0,069 0,056 0,531 Tabela 4 Rezultati testiranja učinka glavnih efektov medikamentozne terapije za MANOVA 3x2 faktorski dizajn ime testa vrednost F df hipotetična df napake p ε 2 moč Pillaijev kriterij 0,786 30,41 4 188 0,000 0,393 1,000 Wilksova lambda 0,250 46,45 4 186 0,000 0,500 1,000 Hotellingov ostanek 2,852 65,60 4 184 0,000 0,588 1,000 Royev gcr 2,801 131,64 2 94 0,000 0,737 1,000 Korak 5: Interpretacija rezultatov Primerjave med šestimi skupinami ne bi smeli izvesti s post hoc testi, kot je Scheffejeva metoda, ki izvede vse možne primerjave pri čimer kontrolira splošno α napako. V našem primeru nam relativno majhna velikost vzorca in veliko število testov zahtevanih za vse primerjave povzroči tako nizko stopnjo statistične moči, da bomo lahko zaznali zgolj zelo velike efekte veličine. Raziskovalec mora zato preučiti razlike v smislu praktične in ne statistične pomembnosti. Če lahko formuliramo primerjave med skupinami, potem lahko planirane primerjave izvedemo direktno med analizo. Čeprav so primerjave skupin omejene z majhnim vzorcem, pa lahko vseeno izvedemo primerjavo na odvisnih spremenljivkah (tabela 5). Naprimer, psihološka obravnava nima statistične pomembnosti na nivoju 0.05, če jo testiramo na setu odvisnih variabel. Toda, če preučimo univariatne teste, odkrijemo nekaj zanimivih točk. Kot prvo se izkaže za pomembnega vpliv psihološke obravnave na rezultat Beckove lestvice (p=0.036), ne pa tudi na rezultate čekliste (p=0.115). V primeru druge neodvisne variable (medikamentozna terapija) pa nam univariatno testiranje z obema odvisnima variablama potrjuje njen multivariatni efekt. To lahko preverimo tudi s postopno analizo, iz katere nadalje sklepamo, da ima medikamentozna terapija vpliv, ne samo na skupni set odvisnih variabel, temveč tudi na vsako odvisno spremenljivko posebej. Tabela 5 Rezultati univariatne analize variance za posamezno odvisno spremenljivko glede na tip terapije. izvor odvisna variabla SS df MS F p ε 2 moč X13 X9 114,02 1 114,02 4,54 0,036 0,046 0,559 X10 0,87 1 0,87 2,53 0,115 0,026 0,350 X14 X9 5580,66 2 2790,33 111,06 0,000 0,703 1,000 X10 39,25 2 19,63 56,88 0,000 0,548 1,000 Opombe: X 14 = medikamentozna terapija, X 13 = psihološka obravnava, X 9 = Beckova samoocenjevalna lestvica depresivnosti in X 10 = čeklista simptomov depresivnosti za svojce. 13.12.2002 MULTIVARIATNA ANALIZA VARIANCE STRAN 16 OD 17

LITERATURA ANOVA. (n.d.) Sneto 10.11.2002 s http://www2.chass.ncsu.edu/garson/pa765/anova.htm Carey, G. (1998). Multivariate Analysis of Variance (MANOVA). Sneto 10.11.2002 s http://ibgwww.colorado.edu/~carey/p7291dir/handouts/ GLM: MANOVA and MANCOVA. (n.d.). Sneto 10.11.2002 s http://www2.chass.ncsu.edu /garson/pa765/manova.htm Hair, J.F., Anderson, R.E., Tatham, R.L. in Black, W.C. (1998). Multivariate data analysis. New Jersey: Prentice Hall, Inc. Petz, B. (2002). Osnovne statističke metode za nematematičare. Jastrebarsko: Naklada Slap. Spiegel, M.R. in Stephens, L.J. (1999). Statistics. Singapore: McGraw-Hill. 13.12.2002 MULTIVARIATNA ANALIZA VARIANCE STRAN 17 OD 17