Zanesljivost psihološkega merjenja Osnovni model, koeficient α in KR-
Osnovni model in KTT V kolikšni meri na testne dosežke vplivajo slučajne napake? oziroma, kako natančno smo izmerili neko lastnost. Klasična testna teorija (teorija pravega dosežka) temeljni aksiom KTT razdeli dejanski testni dosežek udeleženca i na j-ti meritvi na dva neodvisna dela: pravi dosežek in napako: X ij T i + E j (aditivna razdelitev testnega dosežka) Pravi dosežek (T i ) je pričakovana vrednost pravega dosežka povprečni dejanski dosežek pri neskončno meritvah merjene lastnosti. T i E(X i ) (pravi dosežek pričakovani dejanski dosežek)
Osnovni model in KTT Posledice: r TE E T X (nekoreliranost pravih dosežkov in napak merjenja) (povprečje napak znaša ) (pravi in dejanski dosežki imajo enako povprečje) ker je r TE, lahko zapišemo: + X T E in C X C T + C E (aditivna delitev variance) Koeficient zanesljivosti r XX T X E X (zanesljivost delež prave variance) Predpostavka: r E.E (nekoreliranost napak merjenja)
Osnovni model in KTT Primer 4 5 C T? 5 4 7 3 3 6 5 C X C E r XX?
Ocenjevanje koeficienta zanesljivosti dve testiranji eno testiranje - ponovno testiranje (retest) -»notranja skladnost«- vzporedni obliki (»interna konsistentnost«) Zanesljivost korelacija. Pogoj: enakovrednost meritev! Pogoj: nekoreliranost napak merjenja. Koeficienti notranje skladnosti temeljijo na kovariancah med deli testa (postavkami). Logika ocenjevanja zanesljivosti kot notranje skladnosti: Postavke merijo isto lastnost, zato bi morale med seboj popolnoma korelirati. Nepopolne korelacije so zato posledica napak merjenja, kar pomeni, da je zanesljivost povezana s povprečno kovarianco ali korelacijo.
Koeficient α in α KR- Koeficient alfa (Cronbachov α) n ij n i α S n S Kuder-Richardsonov koeficient št. α KR n s s ( n X ( n ) s s X )
Hoytov postopek Uporabimo takrat, ko smo z analizo variance preverjali hipotezo o enaki težavnosti postavk (rezultat pa je enak kot pri uporabi Cronbachove alfe!). Najprej izračunamo vsote kvadratov (SS) za posamezne vire variabilnosti (osebe, postavke in napako/interakcijo): SS osebe nσ(m O M OP ) df N SS postavke NΣ(M P M OP ) df n SS napaka Σ(X OP M P M O + M OP ) df (n )(N ) SS skupaj Σ(X OP M OP ) df nn skupaj OP OP M O povprečje osebe na vseh postavkah M P povprečje vseh oseb na postavki M OP skupno povprečje (povprečje odgovorov vseh oseb na vseh postavkah) N število oseb n število postavk
Hoytov postopek Hoytov postopek za izračun koeficienta zanesljivosti: α Hoyt MS osebe MS napaka MS osebe Primer: 8 oseb, 3 postavke (5-stopenjska lestvica) oseba p p p3 M O A 3,33 B 3 3 4 3,33 C 3 4,67 D 5 3 3 3,67 E 3 5 5 4,33 F,33 G 5 5 4 4,67 H 3,33 M P,88 3,5 3,3 3,8 vir SS df MS osebe 6,5 7 3,79 postavke,58 napaka,75 4,9 skupaj 39,83 3 α Hoyt (3,79,9) / 3,79 α Hoyt,76
Razpolovitveni koeficient zanesljivosti Pri razpolovitveni metodi test razdelimo na dva čim bolj enakovredna dela zanesljivost ocenimo na osnovi odnosa med obema deloma. Problem test lahko razdelimo na več načinov slabša objektivnost. Kdaj primerno? kadar se postavke zelo razlikujejo v variabilnosti (npr. test iz esejskih nalog in nalog izbirnega tipa) kadar se postavke zelo razlikujejo v težavnosti (enakomerno porazdeljeni indeksi težavnosti v širokem razponu rangiramo in izmenično razvrščamo) Torej, test razdelimo na dva dela: izračunamo varianco obeh delov izračunamo varianco skupnega dosežka izračunamo razpolovitveni koeficient α + S
Razpolovitveni koeficient zanesljivosti Primer V prvi del uvrstimo., 3. in 5. postavko, v drugi del pa. in 4. postavko. oseba p p p3 p4 p5 vsota vsota skupaj A 3 7 3 B 3 3 4 5 8 8 6 C 3 4 4 9 5 4 D 4 3 3 3 4 6 7 E 3 5 3 5 3 9 9 F 3 5 4 9 G 5 5 4 5 4 7 H 3 3 4 9 5 4 6,5 4,5 5, α - ( (6,5 + 4,5) / 5,) α -,57 α + S
Razpolovitveni koeficient zanesljivosti pa še izračun na osnovi kovariančne matrike. A B C D A 6 4 B 7 8 C 6 7 3 6 D 4 8 6 7 Var(XY) Var(X) + Var(Y) + * Cov(XY) Var(AD) + 7 + * 4 35 Var(BC) + 3 + * 7 48 Var(skupaj) {vsota vseh elementov matrike} 43 α - ( (35 + 48) / 43) α -,84 + α S
Koeficient λ Temelji na povprečni kvadrirani kovarianci med postavkami (vedno je višji od koeficienta α). Uporabimo ga kot dopolnilo ali alternativo koeficientu α, še posebej v primerih, če je vzorec velik in nas ne zanima interval zaupanja za koeficient zanesljivosti. λ S i + n n S ij i j Kvadriramo vse kovariance nad in pod diagonalo! A B C D A 6 4 B 7 8 C 6 7 3 6 D 4 8 6 7 Σ(Var i ) / Var sk 6 / 43 Σ(Cov ij ) 6 λ 6/43 + ((4/3) * 6) / 43 λ,77
Cohenov κ (kapa) Če je merska lestvica pri ocenjevanju nominalna oz. če ocenjevalci uvrščajo udeležence v kvalitativne kategorije, si z dosedanjimi postopki ne moremo pomagati. zato uporabimo koeficient κ, ki nam pokaže stopnjo ujemanja klasifikacij dveh ocenjevalcev oz. za koliko je ujemanje med ocenjevalcema boljše od naključnega ujemanja. pu p κ p n n f u N f f n n p u (f u ) delež (število) dejanskih ujemanj p n (f n ) delež (število) ujemanj, ki bi jih pričakovali po naključju Psiholog A podpov. povprečen nadpov. podpov. 5 4 9 Psiholog B povprečen 9 5 6 nadpov. 3 6 3 6 5 f u + 9 + 3 3 f n (3*9 + 6*6 + *6) / 5 6,76 κ (3 6,76) / (5 6,76),45