Regresija i korelacija

Transcript

1 Regresija i korelacija Goran Trajković septembar, 008. godine

2 Regresija i korelacija Regresijom i korelacijom analizira se povezanost (asocijacija, odnos) dve ili više varijabli. Korelacija podrazumeva analizu jačine i smera povezanosti. Regresija podrazumeva analizu oblika i smera povezanosti i analizu u smislu nezavisnih/zavisnih (prediktor/ishod) varijabli sa ciljem predikcije. U regresionom modelu poznavanje vrednosti nezavisnih varijabli omogućava predikciju vrednosti zavisnih varijabli. Uopšte uzev, kad god postoji značajna korelacije između dve varijable može se vrednost jedne varijable iskoristiti za predikciju vrednosti druge varijable.

3 Smer povezanosti Pozitivan Negativan Karakteristike povezanosti Jačina povezanosti Deterministička (funkcionalna) povezanost Stohastička (statistička) povezanost Oblik povezanosti Linearan Nelinearan Zavisno od broja varijabli: Jednostruka (prosta) povezanost Višestruka (multipla) povezanost Za sva obeležja, čiji se odnos analizira metodama regresije i korelacije, treba simultano posedovati podatke sa istih statističkih jedinica.

4 Dijagram rasturanja Svaka tačka na dijagramu rasturanja predstavlja par podataka sa jedne statističke jedinice. Dijagram rasturanja sugeriše oblik odnosa dve varijable. Linearni odnos dve varijable postoji ako je prava linija provučena kroz sredinu tačaka na dijagramu rasturanja najprihvatljivija za date opservacije. Koeficijent korelacije je mera bliskosti tačaka i prave linije. Pozitivna linearna povezanost (r 0.65) Nema povezanosti (r 0.00) Negativna linearna povezanost (r -0,68) Krivolinijska povezanost

5 Pearsonov koeficijent linearne korelacije r SD x xy SD SD y SD xy kovarijansa, SD x i SD y standardne devijacije varijabl x i y SD xy xy x xy SD x y x SD y y n n n Testiranje hipoteze da li postoji povezanost dve varijable: H 0 : ρ 0, H 1 : ρ 0 Nulta hipotezu testira se t-testom: t r n 1 r za broj stepena slobode DF n

6 Osobine Pearsonovog koeficijenta linearne korelacije Bezdimenzionalna veličina tj. nema jedinicu mere. Vrednosti koeficijenta linearne korelacije kreću seu opsegu od 1 do 1. U procesu izračunavanja varijable označene kao x i y mogu zameniti mesta bez uticaja na konačnu vrednost koeficijenta korelacije. Smer povezanosti: Vrednosti od 0 do 1 ukazuju na pozitivnu povezanost. Porast jedne varijable praćen je porastom druge varijable. Vrednosti od 1 do 0 ukazuju na negativnu povezanost. Porast jedne varijable praćen je padom druge varijable. r koeficijent determinacije. Predstavlja proporciju zajedničkog varijabiliteta dve varijable

7 Interpretacija Pearsonovog koeficijenta linearne korelacije Jačina povezanosti 0.70 ili više Vrlo jaka povezanost Jaka povezanost Osrednja povezanost Slaba povezanost Zanemarljiva povezanost 0.00 Nepostojanje linearne povezanosti (ne isključuje postojanje nelinearnog oblika povezanosti)

8 Model jednostruke (proste) linearne regresije Regresiona jednačina y ˆ a + bx ŷ x a b očekivana vrednost zavisne varijable (ishodna varijabla) nezavisna varijabla, eksplanator, prediktor odsečak na ordinati (konstanta). Odgovara prosečnoj ocenjenoj vrednosti zavisne varijable kada je vrednost nezavisne varijabla jednaka nuli. nagib u regresionom modelu. Odgovara prosečnoj promeni očekivane vrednosti zavisne varijable za jediničnu promenu nezavisne varijable. a, b regresioni koeficijenti a, b su uzoračke ocene populacionih parametara α i β

9 Regresiona linija y ˆ a + bx y y Δy Δx a a b Δy / Δx x x

10 Metod najmanjih kvadrata a, b su određeni metodom najmanjih kvadrata na taj način da je suma kvadrata vertikalnih odsupanja tačaka od linije regresije najmanja y x

11 Ocena regresionih koeficijenata Ocena nagiba u regresionom modelu: b SD SD Ocena konstante u regresionom modelu: a xy x v v y bx Regresiona jednačina: y a + bx

12 Pretpostavke za primenu regresionog modela Odnos varijabli mora biti linearan Merenje je najmanje na ordinalnom nivou Opservacije su nezavisne (jedna opservacija po jedinici analize) Raspodela skorova Y varijable bi trebala da bude normalna za sve vrednosti X varijable Varijabilitet skorova Y varijable bi trebao da bude konstantan za sve vrednosti X varijable

13 Evaluacija regresionog modela Tabela analize varijanse Totalni varijabilitet zavisne (Y) varijable je podeljen na komponente: Varijabilitet objašnjen regresijom Rezidualni (neobjašnjeni) varijabilitet R Proporcija varijanse zavisne varijable koja je objašnjena nezavisnom varijablom Standardna greška regresije

14 Predikcija pomoću regresionog modela interpolacija i ekstrapolacija Interpolacija predviđanje unutar opsega varijable x Ekstrapolacija predviđanje van opsega varijable x Položaj regresione linije može se odrediti izračunavanjem vrednosti zavisne varijable za dve proizvoljno uzete vrednosti nezavisne varijable.

15 Druge mere povezanosti Spearman ρ (r s ) Koeficijent korelacije za podatke sa ordinalne skale merenja. Neparametarski koeficijent korelacije. Point-biserial koeficijent korelacije Korelacija podataka sa intervalne (ili omerne) skale merenja i dihotomnih podataka. Phi koeficijent Mera povezanosti kada su podaci obe varijable dihotomni.

16 Spearmanov koeficijent korelacije rangova Neparametarski metod za ocenu jačine povezanosti koji se primenjuje kada: Najmanje jedna varijabla merena na ordinalnoj skali Podaci za najmanje jednu varijablu dati su u vidu rangova Najmanje jedna varijabla nema normalnu raspodelu Odnos između varijabli nije linearan

17 Izračunavanje Spearmanovog koeficijenta korelacije rangova Dodeliti rang vrednostima x varijable vodeći računa da rangiranje počne od najmanjeg do najvećeg podatka u rastućem nizu ili obrnuto. Podacima sa istim vrednostima obeležja dodeljuje se tzv. vezani rang (prosečna vrednost rangova koji pripadaju tim podacima) Isto to učiniti i sa varijablom y Izračunati vrednosti koeficijenta korelacije rangova pomoću formule: r S 6 d 1 n i ( n 1) d razlika rangova, n broj jedinica analize

18 Spearmanov koeficijent korelacije rangova Testiranje hipoteze da li postoji povezanost dve varijable Hipoteze: H 0 : ρ 0, H 1 : ρ 0 Ako je broj jedinica analize 10 nulta hipotezu se testira t-testom za broj stepena slobode DF n : t r S n 1 r S Ako je broj jedinica analize 9, empirijske vrednosti testa se upoređuju sa kritičnim tabličnim vrednostima za odgovarajući broj parova podataka i nivo značajnosti

19 Primer: Za dvanaest ispitanika muškog pola data je starost i vrednosti sistolne tenzije. Ispitati povezanost ova dva obeležja. Prognozirati sistolnu TA za starost od 77 godina. ID Starost Sistolna TA Sistolna TA (mmhg) Dijagram rasturanja starosti i sistolne tenzije Starost (godine)

20 Σ x y y x y x n x x v n y y v

21 SD x x v x n SD xy SD y y v y n xy vv xy n r SD x xy SD SD y t Postoji statistički značajna jaka pozitivna povezanost starosti i sistolne TA (r 0.605, t.4, DF 10, p 0.05). Koeficijent determinacije 0.366

22 Ocena regresionih koeficijenata Ocena nagiba u regresionom modelu: b SD SD xy x 0.83 Ocena konstante u regresionom modelu: a v v y bx Regresiona jednačina: y a + bx x

23 Prognozirana vrednost sistolne TA za starost od 77 godina iznosi: y a + bx Sistolna TA (mmhg Starost (godine)

24 Primer: Za 10 trudnica data je telesna masa na pocetku trudnoće i telesna masa novorođenčadi. Da li postoji povezanost ova dva obeležja? Testirati za nivo značajnosti tm na pocetku trudnoće Rx tm novorođ enčeta Ry d Σ 11.00

25 Vrednosti koeficijenta korelacije rangova je: r S 6 di n ( n 1) 10( 10 1) 0.31 Testiranje nulte hipoteze t-testom: t r S n 1 r S Ne postoji statistički značajna povezanost telesne mase trudnica na početku trudnoće i telesne mase novorođenčadi (r S 0.3, t0.96, DF 8, p > 0.05).