بررسي روايي و پايايي در پژوهش

Transcript

1

2 دانشگاه علوم پزشکی و خدمات درمانی تبریز مرکز کشوری مدیریت سالمت )NPMC( عنوان دوره: بررسي روايي و پايايي در پژوهش گردآورنده: محمد تقي خداياری پايیز 9316

3 عنوان دوره: بررسی روایی و پایایی در پژوهش اهداف درسی دوره: از شرکت کنندگان در این دوره انتظار می رود پس از پایان دوره آموزشی: با مفهوم روایی انواع روایی را آشنا شوند. نام ببرند. مفهوم روایی محتوا را دانسته و نحوه محاسبه و تفسير شاخص های آنرا یاد بگيرند. مفهوم روایی سازه را دانسته و نحوه ارزیابی آنرا توضيح دهند. روایی همگرایی را دانسته و نحوه ارزیابی آنرا توضيح دهند. مفهوم پایایی را بيان نمایند. انواع پایایی را بدانند. شاخص های پایایی و تفسير آنها را بيان نمایند. با نحوه محاسبه پایایی با استفاده از کامپيوتر آشنا شوند. گروه هدف: کارشناسان آمار مدت دوره: 03 ساعت 3

4 فلا- ج- فلا- ب- فهرست مطالب مقدمه:...7 انواع پرسشها: پرسشهای چند گزینه ای پرسشهای صحیح غلط پرسشهای جور کردنی...8 پرسشهای کامل کردنی پرسشهای کوته پاسخ پرسشهای انشایی یا تشریحی پرسشهای نگرشی... 9 مبانی نظری اثرات عدم وجود پایایی : پایایی : : اعتبار باز آزمایی retest( )Test تست های موازی: الف: روش دو نیمه کردن method( )Split half : روش کودر- ریچاردسون Richardson( )Kuder- : ضریب آلفای کرونباخ:...16 روشهای افزایش اعتبار الف : مراحل تجزیه و تحلیل سوالهای چند گزینه ای...19 سطح دشواری سوالهای آزمون در چه صورتی مناسب تجزیه و تحلیل گزینه ها در پرسشهای چند گزینه است... ای:...3 خصوصیات گزینه ه یا انحرافی 3... : : همبستگی دورشته ای نقطه ای) correlation )Point biserial 4

5 فلا- -3: ضریب همبستگی ف ی:ا ارزیا یب مناسبت سوال با استفاده از ضریب همبستگی ف ی:ا ب : نحوه ارزشیا یب سوالهای نگرشی:... 6 روش اندازه گیری تعریف سنتی تعریف جدید اعتبار پایایی و تفسیر آن:... 8 روایی:...8 روایی:...8 انواع روایی :...9 مفهوم دقت در اندازه گیری مفهوم پایایی و اعتبار :)validity( رابطه بین اعتبار و پایایی:...31 عوامل موثر بر اعتبار و پایایی:...31 وجوه مختلف اعتبار نه انواع آن: شیوه سنجش اعتبار پرسشنامه:...36 شیوه سنجش اعتبار پاسخها:...36 تعریف و انواع روایی ) روایی محتوایی ( CV روش تعی نی روایی محتوایی...38 روشهای پیشنهادی برای کمی سازی محاسبه روایی نحوه محتوایی : اندازه گیری : CVR محاسبه "شاخص روایی محتوا") CVI ( : روایی صوری :

6 روش تعی نی روایی صوری : روایی مالکی :...44 روایی پیش بینی : روش تعی نی پیش روایی بینی:...45 روایی همزمان :...45 روایی سازه: روش تعی نی روایی سازه :...46 عوامل موثر بر روایی عوامل درونی موثر بر روایی عوامل بیرونی موثر بر تعریف آزمون:...48 آزمون:...48 روایی آزمون:...49 پایایی :...51 روش ه یا پایایی تعی نی : پایایی روش ارزیاب ها: روش باز آزمایی:...5 روش فرمهای هم ارز )موازی(:...53 روشهای همسانی درونی روش دو نیمه کردن روش ضریب عوامل موثر در پرسشنامه...54 الفا...55 پایایی پرسشنامه:...56 نحوه بررسی پایایی درونی پرسش نامه با شاخص آلفا با استفاده توصیف و 57...: از SPSS تفسیر خروجیها:

7 مقدمه: در بيشتر مطالعه هاي علوم اجتماعي روانشناسي و يا ساير علوم كه جمع آوري و اندازه گيري اطالعات از طريق پرسشنامه صورت مي گيرد بيشتر اوقات محققين با چالش ارزيابي روايي و پايايي پرسشنامه روبرو هستند و ضروري است پاسخ روشني از نحوه ارزيابي و تاييد پرسشنامه از منظر روايي و پايايي به داوران تحقيق داده شود. در بيشتر اوقات محققين به منظور كسب اطالعات الزم در خصوص اين موضوع ترجيح مي دهند با يك كارشناس و متخصص آمار مشاوره نمايند. ذكر اين نكته براي محققين و متخصصين آمار ضروري است كه ارزيابي روايي و پايايي بايد در فرآيند تكميل پروپوزال تحقيق و قبل از جمع آوري كامل اطالعات و پرسشنامه صورت گيرد. مطالب زير حاصل گرد آوري از منابع مختلف و تجربيات شخصي مي باشد اميد است مطالب بيان شده مفيد واقع شده و سبب ارتقاي هر چه بيشتر پژوهش هاي صورت گرفته بر پايه نظرسنجي و پرسشنامه شود. انواع پرسشها: 9- پرسشهای چند گزينه ای - بهترين گزينه را گزينه كليد و ساير گزينه ها را گزينه هاي انحرافي مي گوييم. اين پرسشها مي توانند به صورت و گزينه اي مطرح شوند اما متداولترين نوع گزينه ايست. - يك پرسش سه گزينه اي با گزينه هاي صحيح به يك پرسش چهار يا پنج گزينه اي كه بعضي از گزينه هاي آن نا مناسب است برتري دارد. 7

8 - پرسشهای صحیح غلط - بسته به نوع پرسش )به صورت سوالي يا خبري( يك گزينه از بين بلي/خير و يا صحيح/غلط انتخاب مي شود. - اين پرسشها گونه اي از پرسشهاي چند گزينه اي است كه فقط دو گزينه دارد. 3- پرسشهای جور کردني - گونه اي از پرسشهاي چند گزينه اي است كه در آن چند پرسش در يك ستون و چند پاسخ پيشنهادي )كه لزوما با تعداد پرسش ها برابر نيست( در ستون مقابل آن بطور نامنظم نوشته مي شود. آزمودني بايد تعيين كند كدام پاسخ به كدام پرسش مربوط است. 4- پرسشهای کامل کردني - يك جمله خبري است كه يك كلمه يا عبارت كوتاه آن حذف شده است. 5- پرسشهای کوته پاسخ - صورت ديگري از پرسشهاي كامل كردني است. با اين تفاوت كه به صورت جمله هاي سوالي نوشته مي شود و آزمودني بايد پاسخ را )كه معموال يك كلمه يا عبارت كوتاه است( بنويسد. 6- پرسشهای انشايي يا تشريحي - اينگونه پرسشها براي اندازه گيري توانايي هاي عالي تر ذهن مانند تنظيم افكار سازمان دادن به مطالب استدالل و... مناسبتر از ساير انواع پرسشها مي باشد. 8

9 7- پرسشهای نگرشي در اين پرسشها پاسخ درست يا غلط وجود ندارد بلكه از آزمودني خواسته مي شود كه درجه موافقت يا مخالفت خود را نسبت به موردي روي پيوستاري كه از موافقت كامل تا مخالفت كامل را در بر مي گيرد اعالم دارد. فرض كنيم هدف برآورد مقدار مجهول a ابزار(. مي باشد)ميزان آگاهي دانشجو از نحوه استريل كردن 9

10 مباني نظری پايايي: فرض كنيم T نمره واقعي يك آزمودني در ارتباط با يك خصوصيت باشد. نمره اي كه ابزارساخته شده در مورد اين خصوصيت از اين فرد نشان مي دهد را X در نظر مي گيريم. داريم : E + T = X كه در آن E خطاي اندازه گيري است و فرض مي كنيم كه داراي توزيع نرمال با ميانگين صفر و E واريانس مي باشد. X T و اگر را به تر تيب واريانس نمره هاي واقعي و نمره هاي مشاهده شده در نظر بگيريم در اين صورت ضريب اعتبار) R ( به صورت زير تعريف مي شود. R T X T T E 10

11 با- اثرات عدم وجود پايايي: 1 -همبستگي بين دو متغيري كه با ابزار فاقد پايايي اندازه گيري مي شوند كمتر از مقدار واقعي نشان داده مي شود. X, Y T, U R X R Y عث افزايش حجم نمونه الزم مي شود. * n n R 3- باعث اريبي انتخاب در افراد مورد نياز براي مطالعه مي شود) 1 (. پايايي به دقت اندازه گيري و ثبات آن مربوط است و دو معناي متفاوت دارد : 1- ثبات نمره ها در طول زمان )تكرارپذيري( Stability( )Repeatability or - همساني دروني Consistency( )Internal 11

12 ا ف- براي بررسي ثبات نمره ها در طول زمان دو روش اعتبار يابي وجود دارد : 9 ل : اعتبار باز آزمايي retest( )Test - آزمون در مورد گروه نمونه واحدي از آزمودنيها در دو زمان متفاوت اجرا گرديده و ضريب همبستگي بين نمرات دو بار اجرا محاسبه مي گردد.اين ضريب كه حالت خاصي از ضريب اعتبار است به ضريب ثبات stability( )Coefficient of معروف است. نكات مهم اين روش: اين روش براي اندا زه گيري صفاتي مناسب است كه در طول زمان تغيير نمي كنند. به اثر انتقال effect( )Carry over بايد توجه شود. به اثر تمرين effect( )Practice بايد توجه شود. در تفسير اين ضريب بايد دقت شود. تست های موازی: دو فرم همتاي آزمون را يكي پس از ديگري )با يا بدون فاصله( اجرا كرده ضريب همبستگي نمره هاي حاصل از دو آزمون به عنوان ضريب اعتبار محاسبه مي شود. نکات مهم : - دو فرم را در صورتي همتا گوييم كه هر دو براي اندازه گيري خصيصه واحدي در مورد جامعه واحدي تهيه شده باشند. 1

13 - سوالهاي آزمونهاي همتا يكسان نيستند اما سطح دشواري سوالها در هر دو فرم يكسان است. - روش مطلوبي براي برآورد اعتبار است اما به دليل عدم وجود فرمهاي همتا معموال اجرا نمي شود. برای بررسي همساني دروني آزمون روشهای مختلفي وجود دارد: - الف: روش دو نیمه کردن method( )Spl i t half - آزمون روي گروهي از آزمودني ها اجرا مي شود. - سوالها به دو نيمه مساوي تقسيم شده و هر نيمه آن جداگانه نمره كذاري مي شود. - ضريب همبستگي بين نمره هاي دو نيمه آزمون ( ) محاسبه مي شود. اگر واريانس نمرات دو نيمه آزمون يكسان باشد مي توان با استفاده از فرمول براون )Spearman-brown( ضريب اعتبار را به صورت زير محاسبه كرد. اسپيرمن- - مثال: ضريب همبستگي بين دو نيمه يك آزمون 9/09 است. ضريب اعتبار اين آزمون چقدر است 0.90 R اگر واريانس نمرات دو نيمه آزمون يكسان نباشد مي توان با استفاده از فرمول زير ضريب اعتبار را محاسبه كرد. [ s R t ( s s x t s y )] 13

14 ب- S X S t كه در آن واريانس نمره هاي كل آزمون واريانس نمره هاي S Y يكي از دو نيمه آزمون و واريانس نيمه ديگر آزمون مي باشند. نكات: اين فرمول را بعضي از محققين به كرنباخ و بعضي به فلنگان نسبت داده اند. اين ضريب كمترين حد ضريب اعتبار مورد انتظار آزمون است. پس اگر زياد باشد خيالمان از بابت اعتبار راحت است. اگر مقدار اين ضريب كم باشد نمي توان گفت آزمون فاقد اعتبار است. زيرا اعتبار واقعي ممكن است باالتر باشد. مثال: واريانس يك نيمه آزموني 5 و نيمه ديگر 7 است. اگر واريانس كل نمرات اين آزمون 16 باشد ضريب اعتبار آن چقدر است R [16 (7 5)] توجه : در دو نيمه كردن سواالت بايد به سطح دشواري آنها دقت شود. : روش کودر- ريچاردسون Richardson( )Kuder- - اين روش مشكالت و محدوديتهاي دو روش قبل را ندارد اما مانند آنها براي آزمونهايي مناسب است كه داراي سوالهايي با جوابهاي درست يا غلط مي باشند. 14

15 - ضريب اعتبار در اين روش به صورت زير محاسبه مي شود. k R (1 k 1 PQ ) s كه هر يك از اقالم فرمول عبارتند از: K: تعداد سوالهاي آزمون P: نسبت افرادي كه به هر سوال جواب درست داده ند )سطح دشواري سوال( ) Q=1-P ( نسبت افرادي كه به هر سوال جواب درست نداده ند Q: s²: واريانس نمره هاي خام آزمون : PQ مجموع واريانس هاي همه سوالهاي آزمون 1 و 59 يك آزمون مثال: 39 سوالي را روي نفر انجام داده ايم. واريانس نمره هاي خام اين آزمون مجموع واريانسهاي سوالها 4 بدست آمد. ضريب اعتبار اين آزمون چقدر است R 30 9 (1 4 ) نکات مهم: - اين ضريب با تعداد سوالها رابطه مستقيم دارد. - براي دستيابي به پايايي مطلوب الزم است بين سوالها همبستگي مناسبي وجود داشته باشد. 15

16 ج- - اين روش بسيار كلي است و براي محاسبه همساني دروني مناسب تر از روش دو نيمه كردن است. : ضريب آلفای کرونباخ: اين ضريب براي بررسي پايايي سوالهاي نگرشي است. - اين ضريب بر اساس روش كودر ريچاردسون ارائه شده است. k R (1 k 1 s s i t ) كه هر يك از اقالم فرمول عبارتند از: K: تعداد سوالها يا اظهار نظرها )در مقياس نگرش سنج( :st² واريانس نمره هاي خام آزمودنيها :si² واريانس هر يك از سوالها يا اظهار نظرهاست. مثال: يك آزمون 9 سوالي نگرش سنج را روي نمونه اي انجام داده ايم. واريانس نمره هاي خام اين آزمون 16 و مجموع واريانسهاي سوالها بدست آمد. ضريب اعتبار اين آزمون چقدر است R 0 19 (1 )

17 نکات مهم - هر سه روش فوق براي ارزشيابي همساني دروني آزمون استفاده مي شوند. اگر آزمون خصايص مختلف را اندازه گيري كند براي بدست آوردن گروههاي فرعي با همساني دروني مناسب مي توان از تحليل عاملي Analysis( )Factor استفاده كرد. تفسیر ضريب اعتبار اگر ضريب اعتبار يك آزمون 9/69 باشد بدين معني است كه 69 در صد تغييرات نمره مشاهده شده مربوط به تغييرات واقعي بين آزمودنيها و 49 درصد مربوط به خطاي تصادفي است. ضريب اعتبار بايد چه اندازه باشد براي هدفهاي پژوهشي ضريب اعتبار بايد باالي 79 در صد باشد. روشهای افزايش اعتبار 1- افزايش تعداد سوالها - ارزيابي سوالها و حذف سوالهاي نا همساز الف : 1- اگر تعداد سوالها θ برابر شود ضريب پايايي چقدر مي شود R N RO 1 ( 1) R O كه در آن : θ ضريب افزايش 17

18 Ro ضريب پايايي آزمون موجود RN ضريب پايايي آزمون جديد كه تعداد سوالهاي آن θ برابر شده است. 49 9/79 آزموني با مثال: 9 سوال داراي ضريب اعتبار اگر است. سوال ديگر به اين آزمون اضافه كنيم ضريب اعتبار چقدر خواهد شد R N (3 1) ب : چه تعداد سوال به آزمون اضافه شود تا ضريب پايايي به مقدار مورد نظر برسد R opt (1 R ) R (1 R o o opt ) كه در آن : θ ضريب افزايش تعداد سولها Ro ضريب پايايي آزمون موجود Ropt ضريب پايايي مطلوب 9/55 9/76 آزموني با مثال: 9 سوال داراي ضريب اعتبار است. براي رسيدن به ضريب اعتبار چند سوال ديگر بايد به اين آزمون اضافه كنيم 0.85(1 0.76) (1 0.85) پس تعداد سوالهاي آزمون جديد بايد برابر 1/70 ضربدر 9 آزمون موجود اضافه شود. يعني 36 باشد. لذا بايد 16 سوال به 18

19 - الف : مراحل تجزيه و تحلیل سوالهای چند گزينه ای -الف- 9 : روش ساده )1 مرحله ای( 1- اجراي آزمون روي نمونه اي تصادفي به حجم N ازجامعه مورد نظر. - تصحيح اوراق و مرتب كردن آنها بر اساس نمره كل از كمترين به بيشترين. 3- به اندازه %7 اوراق را از باال )مربوط به افراد گروه قوي( و به اندازه %7 اوراق را از پايين )مربوط به افراد گروه ضعيف( جدا مي كنيم. %46 افراد باقي مانده وسط را كنار مي گذاريم. 4- تعداد پاسخهاي درست آزمودنيهاي هر يك از دو گروه قوي و ضعيف را براي هركدام از سوالها N l N u محاسبه مي كنيم و آنها را به ترتيب و مي ناميم. 5- سطح دشواري هر كدام از سوالها براي هر يك از دو گروه قوي و ضعيف را با استفاده از فرمولهاي زير محاسبه مي كنيم. Nu pu 0.7N Nl pl 0.7N 6- سطح دشواري كلي هر كدام از سوالها را با فرمول زير محاسبه كرده و از روي آن Q=1-P را حساب مي كنيم. P p u p l 19

20 ضريب تشخيص سوالها را به صورت D=Pu-Pl محاسبه مي كنيم. اين مقدار برآورديست از -7 ضريب همبستگي سوال با نمره كل آزمون. 5- براي آزمون معني دار بودن D )مناسب بودن سوال( از فرمول زير استفاده مي كنيم. 0- اگر مقدار محاسبه شده فوق براي هر سوال از 3/54 كوچكتر باشد سوال مناسب نيست و بايد از آزمون حذف شود. 0.7 N D P Q اگر مقدار محاسبه شده فوق براي هر سوال بين 3/54 و 6/64 باشد ضريب همبستگي در سطح 9/95 معني دار است و سوال مناسب است. 9/91 6/64 اگر مقدار محاسبه شده فوق براي هر سوال بزرگتر از باشد ضريب همبستگي در سطح معني دار است و سوال مناسب است. 0

21 يك آزمون مثال: سوالي گزينه اي روي نفر انجام شده و نفر از افراد به عنوان گروه ضعيف و 13 نفر از افراد به عنوان گروه قوي انتخاب گرديده و نتايج مربوط به 3 سوال در جدول زير آمده است. اين 3 سوال را تحليل نماييد. No. 1 3 Nu Nl 8 0 Pu Pl P Q PQ D χ α

22 بررسي سطح دشواری سوالهای آزمون: اند. كاپالن و ساكوزو در سال 1050 حد مطلوب سطح دشواري را براي سوالها به صورت زير مشخص كرده P opt P opt براي سوال هاي چهار گزينه اي: براي سوال هاي صحيح-غلط براي سوال هاي كوته پاسخ: P opt سطح دشواری سوالهای آزمون در چه صورتي مناسب است 1- سطح دشواري هر يك از سوالها را محاسبه مي كنيم. - بسته به نوع سوال با استفاده از فرمول زير يك فاصله اطمينان براي حد مطلوب سطح دشواري حساب مي كنيم. P opt t 0.54N,1 P opt (1 P 0.54N opt ) 3- اگر عدد محاسبه شده در فاصله فوق قرار بگيرد سطح دشواري سوال را مطلوب محسوب مي كنيم.

23 اگر عدد محاسبه شده كوچكتراز حد پايين فاصله فوق قرار بگيرد سوال را مشكل در نظر مي گيريم. اگر عدد محاسبه شده بزرگتر از حد باالي فاصله فوق قرار بگيرد سوال را آسان قلمداد مي كنيم. مثال: در مثال قبل فاصله اطمينان 00 در صد را براي مقدار بهينه سطح دشواري سوالها چيست (0.36,0.89) 0.65(1 0.65) 6 يكي از اصول آزمون سازي آن است كه سوالها از آسان به مشكل تنظيم شوند. انتخاب ترتیب سوالها: 1- سوالهاي با سطح دشواري )P( بيشتر را اول مي آوريم. - اگر اندازه P براي دو يا چند سوال برابر باشد سوالي جلوتر قرار مي گيرد كه Pu آن بزرگتر است. 3- اگر اندازه P و Pu براي چند سوال يكسان باشند تعيين ترتيب آنها مهم نيست. تجزيه و تحلیل گزينه ها در پرسشهای چند گزينه ای: در اين سوالها عالوه بر آنكه ضريب تشخيص و سطح دشواري بايد با هدفهاي آزمون هماهنگ باشند گزينه ها ي انحرافي نيز بايد از كارايي الزم برخوردار باشد. خصوصیات گزينه های انحرافي : درصد انتخاب اين گزينه ها توسط افراد گروه ضعيف بايد بيشتر از در صد انتخاب افراد گرو ه قوي باشد. 3

24 -الف :- همبستگي دورشته ای نقطه ای) on )Poi nt bi seri al correl ati با توجه به دومقداري بودن جواب هركدا م از سوالها مي توان از اين ضريب همبستگي با فرمول زير براي اندازه گيري ميزان وابستگي هركدام از سوالها با نمره كل آزمون استفاده كرد. r pbis M p M S t t Pi 1 P i كه در آن: : ميانگين نمره هاي خام آزمودنيهاييست كه به سوال مورد نظر پاسخ درست داده اند. Mp : ميانگين نمره هاي خام همه آزمودنيهاست. Mt : انحراف معيارنمره هاي خام همه آزمودنيهاست. St : نسبت آزمودنيهاييست كه به سوال مورد نظر پاسخ درست داده اند. Pi نحوه ارزشیابي سوال بر اساس rpbis زماني که 30<N است: r pbis N سوال مناسب نیست 1.96 r N pbis.58 N همبستگی در سطح 1/15 معنی دار است.. 58 r pbis N همبستگی در سطح 1/11 معنی دار است. توجه: براي ارزشيابي سوال بر اساس rpbis زماني كه 30>N باشد بايد از توزيع t استفاده كرد. 4

25 -الف -3: ضريب همبستگي فای: فرمول محاسبه اين ضريب به صورت زير است: P P u P(1 P) l كه در آن: Pu و Pl سطح دشواري سوال مورد نظر به ترتيب در دو گروه قوي و ضعيف وP نسبت پاسخ هاي صحيح همه آزمودنيها به سوال مورد نظر است ارزيابي مناسبت سوال با استفاده از ضريب همبستگي فای: بعد از محاسبه ضريب فاي براي هر سوال مقدار كنيم. حال داريم: را نيز براي آن سوال محاسبه مي سوال مناسب نيست اگر: همبستگی در سطح 1/15 معنی دار است اگر: همبستگي در سطح 9/91 معني دار است اگر:

26 6 ب : نحوه ارزشیابي سوالهای نگرشي: با توجه به مقدار ضريب همبستگي هر سوال با نمره كل مقدار ضريب پايايي كل آزمون بعد از حذف تك تك سوالها بررسي مي شود. اگر همبستگي پايين يا منفي باشد در صورت حذف سوال ضريب پايايي افزايش مي يابد. در اين حالت به سمت حذف سوالها پيش مي رويم. توجه : قبل از حذف سوال بايد شرايط را كامال بررسي نماييم تا در صورت امكان سوال اصالح شود. مثال: پرسشنامه 19 سوالي براي اندازه گيري اضطراب- قبل از تحليل سوال: R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A) Scale Scale Corrected Mean Variance Item- Alpha if Item if Item Total if Item Deleted Deleted Correlation Deleted Q Q Q Q Q Q Q Q Q Q Reliability Coefficients N of Cases = 80.0 N of Items = 10 Alpha =.3910

27 مثال: پرسشنامه 7 سوالي براي اندازه گيري اضطراب- بعد از تحليل سوال: R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A) Item-total Statistics Scale Scale Corrected Mean Variance Item- Alpha if Item if Item Total if Item Deleted Deleted Correlation Deleted Q Q Q Q Q Q Q Reliability Coefficients N of Cases = 80.0 N of Items = 7 Alpha =

28 پايايي اندازه های کمي )حاصل از آزماينده ها يا روشهای مختلف (: 9 DMFT از مثال 1 : 5 دندانپزشك خواسته ايم تا شاخص مربوط به دانش آموز را اندازه گيري نمايند مثال : عمق پوسيدگي دندان را با استفاده از روش )شامل ليزري چشمي با سوند با راديوگرافي( اندازه گيري نمايند. روش اندازه گیری پايايي و تفسیر آن: در اين مواقع از Reliability) ICC (Intraclass Correlation Coefficient of شود. استفاده مي اگر < 0.4 ICC نشانه پايايي poor مي باشد. اگر < 0.75 ICC < 0.4 نشانه پايايي fair to good مي باشد. اگر > 0.75 ICC نشانه پايايي excellent مي باشد. تعريف سنتي روايي: روايي يك آزمون عبارتست از ميزان كارايي آن آزمون براي اندا زه گيري خصيصه اي كه به منظور اندازه گيري آن ساخته شده است. تعريف جديد روايي: روايي عبارتست از توافق بين نمره آزمون با صفت يا خصيصه اي كه آزمون براي اندازه گيري آن ساخته شده است. 8

29 انواع روايي : 1- روايي وابسته به محتوا validity( )Content-related - روايي وابسته به مالک validity( )Criterion-related 3- روايي وابسته به سازه validity( )Construct-related نکات مهم: خطاهاي اندازه گيري سيستماتيك گرچه نمره هاي آزمون را تحت تاثير قرار مي دهند اما پايايي آزمون را كاهش نمي دهند. )ايكن 1055( خطاهاي اندازه گيري غير سيستماتيك بر نمره هاي آزمون تاثيرمي گذارند و باعث كاهش پايايي آزمون مي شوند. روايي آزمون هم تحت تاثير خطاهاي سيستماتيك و هم تحت تاثير خطاهاي غير سيستماتيك قرار مي گيرد. پايايي شرط الزم روايي است اما به تنهايي روايي آزمون را تضمين نمي كند. آزمون ممكن است در عين داشتن پايايي فاقد روايي باشد اما آزمون نمي تواند داراي روايي باشد بي آنكه پايايي داشته باشد. 9

30 مفهوم دقت در اندازه گیری به عنوان يك اصل كلي هيچ اندازه گيري خالي از خطا نيست. در يك كالم دقت در اندازه گيري يعني اينكه مقدار سنجيده شده چه ميزان به واقعيت نزديك است. دقت در انداره گيري توسط دو شاخص اعتبار و پاياي به صورت كمي در مي آيد. مفهوم پايايي و اعتبار پايايي :)reliability( ميزان ثبات در پاسخها را نشان مي دهد اعتبار accuracy( :)validity or ميزان صحت اطالعات را نشان مي دهد پايايي يا ثبات )reliability( در صورت تكرار يك اندازه گيري تا چه ميزان مقادير سنجيده شده به يكديگر نزديك هستند. اگر دو مرتبه از يك فرد به فاصله چند دقيقه و در شرايط كامال يكسان فشارخون گرفته شود تا چه ميزان مقادير به يكديگر نزديك هستند اگر به فاصله چند روز از يك فرد در خصوص تعداد ساعات مشاهده تلويزيون سوال شود آيا اعداد بيان شده به يكديگر نزديك هستند اعتبار :)validity( 30

31 مقدار سنجيده شده چه ميزان به واقعيت نزديك است اندازه گيري فشارخون با يك كاف كوچك هرچند ممكن نيست. است پايا باشد ولي معتبر سوال در خصوص بعضي موضوعات خاص ممكن است پايا باشد ولي معتبر نباشد. ميزان درآمد شما در ماه چقدر است در هفته چند ساعت كتاب مي خوانيد چه ميزان سيگار كشيدن را مضر مي دانيد )به خصوص اگر از افراد سيگاري پرسيده شود( چند مرتبه فرزندتان را كتك زده ايد رابطه بین اعتبار و پايايي: اعتبار شرط كافي براي پايايي است. پس هرچه معتبر است پايا نيز است. پايايي شرط الزم براي اعتبار است. پس يك اندازه پايا ممكن است معتبر نباشد. عوامل موثر بر اعتبار و پايايي: شيوه طراحي سواالت: 31

32 كدام سوال احتماال معتبرتر است در سال گذشته چند بار سردرد داشته ايد در ماه گذشته چند بار سردرد داشته ايد در دو روز گذشته چند بار سردرد داشته ايد اگر بخواهيم در خصوص بستري در بيمارستان سوال كنيم فكر مي كنيد بهترين بازه زماني چقدر است نوع سواالت و گزينه ها بعضي مواقع گذاردن گزينه باعث سوگيري پاسخها مي شود. لذا در اين مواقع سواالت كوته پاسخ ارجح هستند. گزينه ها گاه با مفهوم سوال همخواني ندارد. چه اندازه رفتار پرستاران با بيماران مناسب است بسيار خوب خوب نمي دانم بد بسيار بد بسيار خوب خوب تاحدودي خوب بد بسيار بد بسيار خوب خوب نيمه مطلوب بد بسيار بد صحيح تا حدودي درست ميانه بد غير مسوالنه 3

33 راضي تا حدودي راضي كمي راضي ناراضي بسيار ناراضي موافقم تا حدودي موافقم بي نظرم مخالفم بسيار مخالفم هميشه اغلب اوقات گاهي اوقات بسيار كم ابدا 9 %5 %59 %75 %199 ترتيب سواالت سوال در مورد خصوصيات و مسايل حساس در ابتداي پرسشنامه اعتبار سواالت بعدي را ممكن است به شدت كاهش دهد. به هم ريختگي زياد و ارتباط مبهم سواالت ممكن است باعث مخشوش شدن ذهن پاسخ دهنده شود. گذاردن سواالت انگيزشي در ابتداي پرسشنامه و همچنين مقدمه روشن و كامل در ابتداي پرسشنامه و يا قبل از هر سوال اعتبار سواالت را افزايش مي دهد. مثال: كدام سوال معتبرتر است نظرتان در خصوص رفتار دانشجويان با بيماران چيست دانشجويان بايست بتوانند در طول دوره خود شيوه صحيح ارتباط برقرار نمودن با بيمار را فرابگيرند و به شكلي منطقي با بيمار ارتباط برقرار كنند. ارتباط بسيار نزديك با بيمار و يا ارتباطي يك طرفه و آمرانه مطلوب نيست و باعث مي شود كه بيمار به 33

34 خوبي به پزشك خود اعتماد نكند. با توجه به اين توضيحات فكر مي كنيد شيوه ارتباط دانشجويان با بيماران چگونه است فرد پرسشگر شكل ظاهري موقعيت اجتماعي اخالق و رفتار آيا پاسخهاي دريافت شده توسط پرسشگران زن و مرد برابر است آيا پاسخ داده شده توسط بيمار به استاد معتبرتر است يا به دانشجو آيا پاسخ بيمار به دانشجويي كه مرتب است و خود را معرفي مي كند دقيقتر است يا به دانشجويي كه با لباس چروكيده و با چهره اي نامرتب دارد به نظر شما سن پرسشگر و سواد وي در دريافت پاسخها تاثير دارد شرايط پرسشگري در يك محيط متناسب و آرام سوال در خصوص كيفيت تدريس در زمان امتحان پرسشگري از مردم در هنگام رانندگي و پشت چراغ قرمز هنگام گردش در پارک شكل ظاهري پرسشنامه تعداد صفحات و تعداد سواالت 34

35 رنگ كاغذ فونت مورد استفاده آرايش متن بكار بردن كلمات ملموس و مورد استفاده در فرهنگ مربوطه دقت در عدم استفاده از كلمات منفي به صورت مكرر در جمله وجوه مختلف اعتبار نه انواع آن: اعتبار ظاهري يا صوري) validity )face آيا پاسخ دهنده مفهوم متن را همان مي يابد كه محقق مد نظر داشته است آيا ظاهر متن به اندازه كافي شكيل است كه حواس پاسخ دهنده را جلب كند اعتبار محتوا validity( )content محتواي پرسشنامه در راستاي هدف اصلي و سوال پژوهش است اعتبار ساختاري validity( )construct اسكلت پرسشنامه با مفهوم انتزاعي موضوع تطابق دارد اعتبار پيشگويي كننده validity( )predictive پاسخهاي داده شده تا چه ميزان با نتايج آينده همخواني دارد 35

36 شیوه سنجش اعتبار پرسشنامه: بايد دقت شود كه اعتبار پرسشنامه با اعتبار پاسخها يكي نيست. براي سنجش اعتبار بايد gold standard داشت كه در مورد پرسشگري تقريبا در اكثر موارد وجود ندارد. آيا نظرات كارشناسان را مي توان مالک قرار داد و به عنوان نوعي gold standard دانست در صورت مثبت بودن پاسخ شايد يك راه درخواست از كارشناسان براي نظر دادن به كيفيت تك تك سواالت و يا گروه سواالت است. به اين شكل كه حدود 5 تا 19 نفر كارشناس به كيفيت سواالت امتياز داده و سپس امتيازات آنها با يكديگر جمع زده و ميانگين گيري مي شود. به نظر من نظرات تنها يك كارشناس دقيق و كارپشته بسيار با ارزشتر از جمع نظرات تعداد زيادي كارشناس است كه يا دقيق جواب ندهند و يا با موضع آشنا نباشند. شیوه سنجش اعتبار پاسخها: مصاحبه با پاسخ دهندگان و تعيين ميزان دقت پاسخ مكتوب آنها سنجش متغيرها پرسشنامه با شيوه عيني در صورت امكان مقايسه پاسخها با نتايج gold standard در صورت وجود 36

37 گذارن check questions و حذف پاسخهاي غير دقيق و همچنين تعيين ميزان خطاهاي موجود در پاسخها به عنوان شاخصي از اعتبار پاسخها) (. تعريف و انواع روايي روايي اصطالحي است كه به هدفي كه آزمون براي تحقق بخشيدن به آن درست شده است اشاره مي كند. به سخن ديگر آزموني داراي روايي است كه براي اندازه گيري انچه مورد نظر است مناسب باشد براي مثال يك آزمون پيشرفت تحصيلي آمارزيستي در صورتي يك آزمون رواست كه محتوا و هدفهاي آن درس را به خوبي اندازه گيري كند و بجز يادگيري دانشجويان از آن درس چيز ديگري را شامل نباشد. به عنوان مثالي ديگر از روايي يك آزمون هوشي روا آزموني است كه تنها هوش افراد را اندازه گيري كند نه چيز ديگري را. بنابراين يك آزمون ممكن است از جهتي روا باشد اما از جهاتي ديگر روا نباشد. پس روايي يك امر نسبي است نه يك ويژگي كه هست يا نيست. آزمونهاي مورد استفاده در علوم مختلف داراي سه هدف عمده هستند كه به سه پرسش زير پاسخ ميدهند: آيا سئوالهاي آزمون از محتواي موضوع مورد نظر يك نمونه خوب ارائه مي دهند آيا امتيازات آزمون عملكرد فعلي يا آتي روش مورد نظر را پيش بيني مي كنند -1 - امتيازات آزمون با مفاهيم نظري يا سازه هايي كه براي سنجش آنها درست شده است 3- آيا مربوطند 37

38 سه مورد باال به ترتيب سه نوع روايي محتوايي مالكي و سازه را نشان مي دهند. حاال به معرفي اين روايي ها مي پردازيم. 1 روايي محتوايي ) CV ( روايي محتوايي به اين مطلب اشاره مي كند كه نمونه سئوالهاي مورد استفاده در يك آزمون تا چه حد معرف كل جامعه سئوالهاي ممكن است كه مي توان از محتوا يا موضوع مورد نظر تهيه كرد. هر چه آزمون از اين لحاظ بهتر باشد داراي روايي بيشتري است. بنابراين اگر بخواهد براي محقق موضوع خود يك پرسشنامه بسازد روا پرسشنامه او بايد در برگيرنده نمونه اي درست و دقيق از مطالب موضوع مربوطه باشد. در ضمن اين پرسشنامه نبايد چيزي خارج از محتوا و هدفهاي موضوع را اندازه گيري بكند. با توجه به توضيحات باال براي ساختن پرسشنامه اي روا بايد بكوشيم تا سئوالهاي پرسشنامه نمونه كاملي از هدفها و محتوا موضوع باشند. روش تعیین روايي محتوايي براي تعيين روايي محتوايي يك پرسشنامه از قضاوت متخصصان و بررسي ميزان پوشش و تناسب سواالت با اهداف موضوع تحقيق استفاده مي شود در اين باره كه سئوالهاي تحقيق تا چه ميزاني معرف محتوا و هدفهاي هستند. با اين حال قضاوتهاي مربوط به روايي محتوايي نه قطعي هستند و نه نهايي چرا كه متخصصان در قضاوتهاي خود هميشه با هم توافق نظر ندارند. 1 Content Validity 38

39 روشهای پیشنهادی برای کمي سازی محاسبه روايي محتوايي : الف: بعد از طراحي و انتخاب نهايي سواالت پرسشنامه حاوي سوال ها به خبرگان محتوا و متخصصين موضوع مربوطه )افراديكه واقف به محتوا و اهداف موضوع هدف بوده( داده مي شود كه در مورد تك تك سوال ها به سوال هاي زير پاسخ دهند: )1 ضرورت سوال مورد نظر تا چه اندازه مي باشد كامال ضروري نه ضروري و نه غير ضروري غير ضروري ) مرتبط بودن سوال مورد نظر تا چه اندازه مي باشد كامال مرتبط مرتبط با مختصرتغيير نياز به مقداري تغيير غير مرتبط )3 شفافيت سوال مورد نظر تا چه اندازه مي باشد كامال شفاف شفاف با مختصرتغيير نياز به مقداري تغيير غير شفاف 4( سادگي سوال مورد نظر تا چه اندازه مي باشد كامال ساده ساده با مختصرتغيير نياز به مقداري تغيير غير ساده )5 ابهام مفهوم سوال مورد نظر تا چه اندازه مي باشد كامال روشن روشن با مختصرتغيير نياز به مقداري تغيير مبهم الزم به توضيح مي باشد كه تعداد متخصصين كه بايد سوال هاي مورد نظر را مورد ارزيابي قرار دهند بايد شرايط جدول زير را داشته باشند كه از مرجع شده است. شرح جدول به اين )3( صورت مي باشد كه مثال اگر افرادي متخصصي كه براي ارزيابي سوال ها مورد استفاده قرار مي گيرد متعلق به اعضاي آكادميك باشد حداقل بايد تعدادشان چهار نفر باشد كه سه نفرشان داراي 39

40 يم( مدرک تحصيلي دكتري بوده و يك نفر كارشناس ارشد باشد و همچنين متوسط تجربه كاري آنها پانزده سال باشد)رديف اول(. براي سوال اول باال به ترتيب براي گزينه اول امتياز 3 گزينه دوم امتياز و گزينه سوم امتياز 1 را منظور مي نماييم. مثال اگر يكي از متخصصين در خصوص سوالي آنرا با توجه به سوال يك "كامال ضروري" دانست امتياز 3 را منظور مي كنيم اگر گزينه "نه ضروري و نه غير ضروري" را عالمت زد امتياز و در صورتي كه گزينه "غيرضروري" را عالمت زد امتياز 1 را در نظر مي گيريم. به هركدام از سواالت طراحي شده بر حسب شاخص هاي فوق ميانگين امتياز نظرات خبرگان محاسبه شده و سپس ميانگين امتياز كل پرسشنامه نيز با محاسبه ميانگين سواالت بدست مي آيد به ميانگين حاصله ضريب روايي محتوايي از ديدگاه )LAWSHE) اطالق ميشود. براي سوال هاي بعدي نيز كه چهار گزينه اي مي باشند به ترتيب از راست به چپ امتيازهاي 3 4 و 1 را منظور مي نماييم. يكي از شاخص هايي كه روايي محتوايي را مورد ارزيابي قرار مي دهد "نرخ روايي محتوا" CVR( باشد. اين شاخص با استفاده از سوال اول و بر اساس ضرورت سوال مطرح شده اندازه گيري مي شود. 1 Content Validity Rate 40

41 نحوه اندازه گیری : CVR نرخ روايي محتوا با استفاده از رابطه زير محاسبه مي گردد: كه در آن عبارت است از تعداد متخصصيني را كه سوال را كامال ضروري تشخيص داده اند و تعداد كل متخصصيني مي باشد كه در خصوص ضرورت سوال نظر داده اند. بنابراين شاخص CVR يك تبديل خطي مستقيمي از متخصصيني است كه سوال را ضروري مي دانند. همچنان كه مالحظه مي شود مقدار باال مي تواند منفي صفر و يا عدد مثبتي مابين صفرو يك باشد. بعد از محاسبه شاخص CVR براي يك سوال بر اساس مقدار آن به ترتيب زير در خصوص سوال تصميم گيري مي نماييم: اگر مقدار CVR منفي باشد ضرورت سوال مورد نظر را رد كرده از پرسشنامه بايد و سوال -1 حذف گردد. اگر مقدار CVR صفر يا بيشتر باشد مقدار مربوطه را با مقادير جدول زير كه به جدول - 1 الوشه معروف مي باشد مقايسه مي نماييم. اگر مقدار CVR از مقدار مربوطه از جدول الوشه بزرگتر باشد سوال ضروري تلقي شده و در پرسشنامه مي ماند. تذكر: همچنان كه مالحظه مي شود جدول الوشه بر اساس اينكه پرسشنامه به چند متخصص به منظور ارزيابي سوال ها توزيع شده است مقادير مختلفي را نشان مي دهد. به طور مثال اگر 1 Lawshe 41

42 0.6 CVR پرسشنامه به 19 متخصص جهت ارزيابي توزيع شده باشد بايد مقدار با عدد مقايسه گردد. 3- اگر مقدار CVR عددي مابين صفر و مقدار درج شده در جدول الوشه باشد در اين صورت ميانگين امتيازهاي كسب شده آن سوال از نظرات همه متخصصين را محاسبه مي نماييم. اگر ميانگين محاسبه شده از عدد بزرگتر باشد سوال ضروري در نظر گرفته مي شود. ولي اگر ميانگين امتيازها از عدد كوچكتر باشد ضرورت سوال رد شده و از پرسشنامه حذف مي گردد. 4

43 محاسبه "شاخص روايي محتوا" )CVI( : شاخص روايي محتوا با استفاده از رابطه زير محاسبه مي گردد: يعني تعداد متخصصيني كه گزينه 3 و 4 را انتخاب نموده اند جمع كرده و در صورت قرار مي دهيم و 79 به كل متخصصين تقسيم مي نماييم. CVI اگر مقدار باالي درصد باشد اعتبار سوال تاييد مي شود ولي بطور مثال اگر مقدار CVI مربوط به شفافيت سوال پايينتر از 79 درصد باشد آن سوال بايد مورد بازبيني قرار گرفته و به شكل ديگري كه شفافيت بيشتري داشته باشد مطرح شود. اين موضوع در خصوص سادگي مرتبط بودن و ابهام نيز صادق است) 3, 4(. روايي صوری : روايي صوري يكي از مشتقات روايي محتوايي است. روايي صوري به اين مطلب اشاره مي كند كه سئوالهاي پرسشنامه تا چه حد در ظاهر شبيه به موضوعي هستند كه براي اندازه گيري آن تهيه شده اند. در واقع روايي صوري هر چند كه يك ويژگي مطلوب آزمون است ولي در بعضي از پرسشنامه ها اين ويژگي نشانگر تناسب بين شكل و ساختار پرسشنامه با اهداف پژوهش است) 4 (. روش تعیین روايي صوری : 1 Content Validity Indexes Face Validity 43

44 از آنجا كه روايي صوري نوع خاصي از روايي محتوايي است همان روشي كه براي تعيين روايي محتوايي به كار مي رود يعني استفاده از نظر متخصصان در اينجا نيز براي تعيين روايي صوري قابل استفاده است) 4 (. 9 روايي مالکي : منظور از روايي مالكي ميزان ارتباط بين امتيازهاي حاصل از يك پرسشنامه يا وسيله اندازه گيري ديگر است. بنابراين هر زمان كه امتيازهاي يك پرسشنامه را براي پيش بيني عملكرد افراد در پژوهشي ديگر استفاده مي كنيم با روايي مالكي سروكار داريم. پژوهش دوم كه عملكرد فرد در آن پيش بيني مي شود مالک نام دارد. گاهي اين پيش بيني براي آينده است يعني امتيازهاي تحقيقي كه به صورت مالک به كار خواهد رفت پس از گذشت يك فاصله زماني از اجراي پرسشنامه اول گردآوري خواهد شد كه به آن روايي پيش بيني گفته مي شود و زماني اين پيش بيني بدون فاصله و در زمان حال صورت مي پذيرد كه به آن روايي همزمان مي گويند. هر قدر رابطه بين امتيازهاي پرسشنامه اي كه مي خواهيم روايي مالكي آن را بسنجيم با نمرات پرسشنامه مالک بيشتر باشد ضريب روايي مالكي آن پرسشنامه به همان نسبت بيشتر خواهد بود. زماني كه پرسشنامه مورد نظر ما قرار است براي پيش بيني به كار برود رابطه بين با محاسبه امتيازهاي حاصل از آن پرسشنامه و امتيازات پرسشنامه اي كه با فاصله اي در آينده اجرا خواهد شد تعيين مي گردد. اما زماني كه مي خواهيم از امتيازهاي يك پرسشنامه براي پيش بيني نمرات افراد 1 criterion validity 44

45 در يك پرسشنامه يا مقياس اندازه گيري ديگر استفاده كنيم رابطه همزمان بين دو دسته را امتياز محاسبه مي كنيم) 5 (. 1 روايي پیش بیني : چنانچه گفته شد روايي پيش بيني ويژه پرسشنامه هايي است كه براي پيش بيني موفقيت افراد در امور تحصيلي يا شغلي به كار مي روند. روش تعیین روايي پیش بیني: براي تعيين روايي پيش بيني يك آزمون دو آزمون ضروري هستند. ضريب همبستگي بين نمرات حاصل از اين دو آزمون شاخص روايي پيش بيني آزمون مورد نظر است. هر چه اين ضريب بزرگتر باشد آزمون داراي روايي بيشتري خواهد بود و هر چه اين ضريب كوچكتر باشد آزمون مورد نظر روايي كمتري خواهد داشت) 6 (. روايي همزمان : روايي همزمان نوعي روايي پيش بيني است كه در آن به جاي تعيين رابطه بين دو آزمون پس از گذشت يك فاصله زماني رابطه بين دو آزمون به طور همزمان تعيين مي شود. هدف از تعيين روايي همزمان بين دو آزمون اين است كه معلوم سازيم آيا مي توان يكي از دو آزمون را به جاي آزمون ديگر مورد استفاده قرار داد يا نه. 1 Predictive Validity Concurrent Validity 45

46 روش تعيين روايي همزمان هنگام اندازه گيري متغير پيش بين عالوه بر اين متغير متغير ديگري نيز موجود است در حالي كه در تعيين روايي پيش بيني چنانكه ديديم متغير مالک در آينده اندازه گيري مي شود) 6 (. 1 روايي سازه : روايي سازه بيشتر از روايي محتوايي و روايي پيش بيني جنبه نظري دارد. بنا به تعريف يك آزمون در صورتي داراي روايي سازه است كه امتيازهاي حاصل از اجراي آن به مفاهيم يا سازه هاي نظريه مورد نظر مربوط باشند. براي مثال يك آزمون يا پرسشنامه هوش در صورتي داراي روايي سازه است كه نمرات حاصل از آن به سازه هايي كه در نظريه هاي ضريب هوشي آمده اند ارتباط داشته باشند. به عنوان مثالي ديگر يك آزمون خواندن و فهميدن )درک مطلب( در صورتي داراي روايي سازه است كه امتيازهاي آن مستقيما به ميزان درک و فهم دانشجويان از مطالب خواندني مربوط باشد. سازه يك مفهوم است اما يك معني اضافي بر مفهوم نيز دارد و آن اين است كه سازه براي مقاصد ويژه علمي به طور عمد و از روي آگاهي ابداع مي شود. انگيزش اضطراب پيشرفت تحصيلي برون گرايي و جز اينها را نام برد. روش تعیین روايي سازه : براي تعيين روايي سازه نخست بايد سازه يا متغير مورد نظر را تعريف كرد. اين متغير به صورت يك سازه در نظامي از مفاهيم قرار خواهد داشت كه در ان نظام اين سازه به طريقي منطقي با سازه هاي ديگر در رابطه خواهد بود. اين روابط در نظريه به خصوصي بيان شده اند پس از تعريف كردن سازه 1 Construct Validity 46

47 براي اندازه گيري آن آزموني تهيه مي شود سپس با توجه به پيش بيني هاي نظريه نمرات حاصل از اين آزمون بايد با متغيرهاي ديگر مورد بحث در نظريه روابط پيش بيني شده نشان داده شود. اگر وجود اين روابط محرز شد. آزمون مورد نظر داراي روايي سازه است براي تعيين روايي سازه مي توان راههاي مختلف زير را مورد استفاده قرار داد: تعيين همبستگي آزمون با ساير آزمون هاي روا. يكي از راههاي تعيين روايي سازه اين است -1 كه همبستگي بين امتيازهاي آزمون مورد نظر را با يك آزمون موجود داراي روايي كه براي همان سازه ساخته شده است تعيين كنيم اگر آزمون جديد با آزمون موجود همبستگي زيادي داشته باشد فرض مي شود كه اين دو آزمون سازه واحدي را اندازه مي گيرند و در نتيجه آزمون جديد نيز براي سازه مورد نظر يك آزمون رواست. 1 به اين نوع روايي روايي همگرا مي گويند. از سوي ديگر آزمون مورد نظر بايد با آزمون هاي ديگري كه سازه هاي متفاوتي را اندازه گيري مي كنند همبستگي نداشته باشد اين گونه روايي را روايي واگرا يا روايي تميزي مي نامند) 7 (. 3 تحليل عامل. راه ديگر تعيين روايي سازه استفاده از تحليل يك عامل تحليل است. عاملي - روش پيشرفته آماري است كه از طريق آن تعداد و ماهيت متغيرهايي را كه يك آزمون اندازه مي گيرد مشخص مي كنند. اين روش روابط دروني ميان داده هاي مورد تحليل را تعيين مي كند و براي ايجاد سهولت متغيرها را به خوشه ها يا عوامل كاهش مي دهد بعد اين خوشه ها يا عوامل را با توجه به انچه به وسيله سئوالهاي آزمون اندازه گيري مي شوند. نام گذاري مي كنند. بنابراين يك آزمون را مي توان برحسب عواملي كه آن را تشكيل مي دهند نام گذاري 1 Convergent Validity Discriminant Validity 3 Factor analysis 47

48 كرد. مثال اگر يك آزمون براي اندازه گيري سازه آفرينندگي درست شده است تركيب عاملي آن آزمون بايد نشان دهنده عوامل آفرينندگي در آن آزمون باشد) 5 (. همساني دروني. آخرين روش تعيين روايي سازه كه در اينجا معرفي مي شود همساني دروني -3 است. در اين روش ساخت دروني آزمون بررسي مي شود. مالک مورد استفاده براي بررسي همساني دروني نمره كل آزمون است. روش معمول براي اين كار اين است كه همبستگي بين امتيازهاي آزمونهاي فرعي يا خرده آزمونها با امتياز كل آزمون محاسبه مي شود خرده آزمونهايي كه با نمره كل آزمون همبستگي اندكي داشته باشند از آزمون حذف مي شود. در ضمن خرده آزمونها نبايد با يكديگر همبستگي زيادي داشته باشند زيرا در چنين حالتي فرض مي شود كه همه آنها يك چيز اندازه مي گيرند و لذا تكراري هستند. به جاي خرده آزمونها از ماده ها يا سواالت آزمون نيز مي توان استفاده كرد. در اين صورت همبستگي ميان ماده هاي آزمون با كل آزمون و با يكديگر محاسبه مي شود. عوامل موثر بر روايي آزمون: عوامل مختلفي وجود دارند كه بر روايي آزمون ها تاثير مي گذارند و بنابراين با كنترل آنها مي توان سطح روايي يك آزمون را افزايش داد. اين عوامل را ميتوان به دو دسته عوامل دروني و عوامل بيروني معرفي كرد: عوامل دروني موثر بر روايي آزمون: يكي از عواملي كه بر روايي پرسشنامه تاثير بسزايي دارد كيفيت سئوالهاي آن است. سئوالهايي كه طبق قواعد درست سئوال نويسي تهيه شده باشند به روايي مي افزايند و برعكس سئوالهايي كه از 48

49 هر لحاظ مشكل داشته باشند به روايي پرسشنامه لطمه مي زنند و عالوه بر اين هر كدام از سئوالها كه از هدف اصلي پرسشنامه جدا مي افتد و چيزي جدا از آن را شامل مي شود نيز به سهم خود از روايي كل پرسشنامه را مي كاهد. عامل دروني ديگري كه بر روايي پرسشنامه تاثير دارد ترتيب قرار گرفتن سئوالها به دنبال يكديگر است قرار دادن سئوالهاي بسيار دشوار در آغاز ممكن است باعث شود كه پاسخ دهندگان نتوانند وقت خود را براي بخش هاي مختلف به درستي تقسيم كنند همچنين اگر سئوالهاي مختلف از لحاظ درجه دشواري متنوع نباشند روايي پرسشنامه صدمه مي بيند. پرسشنامه اي كه داراي مجموعه سئوالهاي بسيار دشوار يا بسيار ساده اند و از سطح روايي خوبي برخوردار نيستند باز هم از عوامل ديگر موثر بر روايي طول يك آزمون يا تعداد سئوال هاي آن است. عوامل بیروني موثر بر روايي آزمون: عالوه بر عوامل دروني چندين عامل بيروني نيز وجود دارند كه بر روايي آزمون ها تاثير مي گذارند. و براي افزايش دادن سطح روايي يك آزمون مي توان آنها را كنترل كرد. يكي از اين عوامل بيروني اجراي نامناسب آزمون است. راهنمايي ها يا دستور العمل گيج كننده كمبود زمان فضاي نامناسب مكان نامناسب و جز اينها از عوامل اجرايي هستند كه بر عملكرد آزمون و در نتيجه بر رواي آزمون تاثير نامطلوبي به جاي مي گذارند. عالوه بر اجراي نامناسب آزمون اشكاالت موجود در پاسخ هاي تكميل كننده هاي پرسشنامه و امتياز بندي آنها مي تواند نتايج حاصل را مخدوش ساخته و لذا از روايي بكاهد. 49

50 عامل ديگر موثر بر روايي پرسشنامه تركيب پاسخ دهندگان از لحاظ توانايي مورد اندازه گيري است. هر چه گروه پاسخ دهندگان از لحاظ توانايي مورد اندازه گيري نامتجانس تر باشند روايي آزمون بيشتر خواهد بود. به همين دليل آزمون هايي كه وقتي با گروههاي نامتجانس به كار مي روند داراي روايي قابل مالحظه اي هستند در حاليكه اگر با گروههاي داراي تجانس بيشتر به كار گرفته شوند سطح روايي كمتري از خود نشان خواهند داد. عالوه بر عوامل فوق ويژگيهاي روايي پاسخ دهندگان نيز مي توانند بر روي امتيازهاي حاصل از يك پرسشنامه تاثير داشته باشند. براي نمونه باال و پايين بودن سطح انگيزش پاسخ دهندگان با عالقه بودن و بي عالقه بودن آنان نسبت به پاسخ دادن به سئوالهاي پرسشنامه بر ميزان روايي امتيازهاي حاصل تاثير مي گذارد. عالقمندي پاسخ دهندگاه به شركت در پژوهش بردقت آنان و روايي نتايج پرسشنامه تاثير مثبت به جاي مي گذارد. اما بي عالقگي افراد شركت كننده در تحقيق هم بر دقت و هم بر روايي نتايج حاصل تاثير منفي دارد) 0 (. تعريف پايايي: پايايي يك وسيله اندازه گيري به دقت اندازه گيري و ثبات نتايج با تكرار اندازه گيري اشاره مي كند. يك آزمون در صورتي داراي پايايي است كه اگر آن را در يك فاصله زماني كوتاه چندين بار به گروه واحدي از افراد بدهيم نتايج حاصل نزديك به هم باشند. رابطه بين روايي و پايايي از اين قرار است كه يك آزمون بايد پايا باشد تا بتواند روا باشد. تحقيقي اگر در هر بار اجرا بر روي تعدادي افراد نتايج مختلفي به دست بدهد پايا پژوهش يك نخواهد بود و در واقع هيچ چيز را به درستي اندازه نخواهد گرفت و اگر يك تحقيق چيزي را به درستي اندازه گيري نكند هيچ اطالع مفيدي به ما 50

51 نخواهد داد. پس براي اينكه يك آزمون روا باشد بايد نخست پايا باشد. يعني پايايي شرط روايي است اما روايي براي پايايي ضروري نيست) 19 (. روش های تعیین پايايي : روش پايايي 3 1 ارزياب ها روش باز آزمايي روش فرم هاي موازي و روش هاي همساني دروني )روش دو نيمه كردن روش كودر ريچارد سون و روش ضريب آلفاي كرانباخ (. در زير اين روش ها را به تفصيل توضيح مي دهيم) 11 (. روش پايايي ارزياب ها: براي تعيين پايايي پرسش هاي تشريحي يا انشايي كه امتيازهاي آنها تحت تاثير قضاوت ارزياب ها قرار مي گيرد بايد از دو يا چند كه مستقال ارزياب مي كنند بررسي را پرسش ها استفاده كرد با محاسبه همبستگي امتياز هاي اين ارزيابان شاخص پايايي به دست مي آيد. البته اين پايايي مربوط به ارزيابان پرسشنامه است و نبايد آن را با پايايي تحقيق كه مربوط به سئوالهاي خود پرسشنامه 1 Raters Test- retest 3 Parallel 4 Split-half 5 Kuder-Richardson 6 Cranach s alpha 51

52 است اشتباه گرفت. در اين روش ضريب همبستگي باال بين امتيازهاي ارزيابان مختلف ميزان توافق نظر آنان را نشان مي دهد در حالي كه ضريب همبستگي باالي مربوط به پايايي پرسشنامه حاكي از اين است كه بين عملكرد افراد شركت كننده در مطالعه در پاسخ دادن به سئوالهاي يك پرسشنامه معادل در چندين بار اجرا هماهنگي يا شباهت وجود دارد) 1 (. روش باز آزمايي:. ساده ترين روش تعيين پايايي يك پرسشنامه بازآزمايي است در اين روش پرسشنامه را در دو نوبت به گروه واحدي از افراد شركت كننده در مطالعه مي دهند و امتيازهاي حاصل را با هم مقايسه مي كنند. ضريب همبستگي بين امتيازهاي حاصل از دو بار اجراي آزمون ضريب پايايي آزمون است. به اين پايايي پايايي باز آزمايي مي گويند. روش باز آزمايي هر چند كه يك روش ساده و قابل اجراست ولي متخصصان اندازه گيري و ارزشيابي به آن انتقاد وارد كرده اند. از جمله اينكه گفته اند تجريه نوبت اول آزمون سبب مي شود كه افراد شركت كننده پرسشنامه با آشنا شوند و اين آشنايي سبب خواهد شد كه آنان در پاسخ دادن به همان سئوالها در نوبت دوم اجراي آزمون بهتر عمل كنند. همچنين گفته شده است كه چون نمونه سئوالها ي به كار رفته در هر دو آزمون يك نمونه واحد است لذا نمرات حاصل از باز آزمايي هيچ گونه اطالعي مبني بر اينكه اگر نمونه ديگر از سئوالهاي مربوط به همان مطلب يا موضوع مورد اندازه گيري به كار روند چه تغييراتي حاصل خواهد شد به دست نمي دهد. همچنين گفته شده است كه اگر فاصله زماني بين دو بار اجراي آزمون زياد باشد ممكن است خطاي اندازه گيري با تغييرات واقعي ايجاد شده در توانايي آزمون شوندگان كه در نتيجه يادگيري حاصل مي شود در هم آميزد و انتقاد 5

53 آخر اينكه اجراي مجدد يك آزمون براي تعيين پايايي آن مورد عالقه افراد شركت كننده در مطالعه و پژوهشگران نيست و آن را كاري بيهوده مي دانند كه سبب اتالف وقت پژوهش مي شود) 13 (. روش فرمهای هم ارز )موازی(: روش ديگري كه براي رفع مشكالت روش باز آزمايي به كار مي رود روش فرمهاي هم ارز است در اين روش دو پرسشنامه معادل يا هم ارز براي يك مطلب يا موضوع تهيه مي كنند و آنها را در فاصله زماني كوتاهي به يك گروه واحد از افراد شركت كننده در مطالعه مي دهند. دو فرم يك پژوهش در صورتي هم ارز يا معادل هستند كه ميانگين و واريانس آنها برابر باشند. ضريب همبستگي بين امتيازهاي حاصل از اجراي اين دو پرسشنامه ضريب پايايي ان پرسشنامه ها به حساب مي آيد. هر چند كه در اين روش تعيين پايايي برخي از مشكالت روش باز آزمايي رفع شده است اما اين روش داراي مشكالت مخصوص به خود است و مشكل عمده روش فرمهاي هم ارز تهيه دو پرسشنامه هم ارز است. معموال پرسشنامه هاي موجود براي هر پژوهش به صورت واحد بوده و طراحي پرسشنامه اي مشابه آن مشكل است. حتي اگر چنين فرمهايي نيز تهيه شوند باز هم مشكل بي عالقگي افراد شركت كننده و پژوهشگر به اجراي دو فرم از يك تحقيق باقي است. ايراد ديگري كه به اين روش تعيين پايايي مي گيرند اين است كه در بعضي موارد افراد پاسخگو در جواب دادن به سئوالهاي فرم اول ازمون با اصولي آشنا مي شوند كه عملكرد آنان را در فرم دوم تحت تاثير قرار مي دهد. براي رفع مشكالت روش ديگري براي تعيين پايايي پيشنهاد شده است كه روش دو نيمه كردن پرسشنامه نام دارد. اين روش در زير به عنوان يكي از روشهاي همساني دروني توضيح داده خواهد شد) 13 (. 53

54 روشهای همساني دروني بر خالف روشهاي قبلي كه بر ثبات نتايج تحقيق )روش باز آزمايي( يا همترازي نتايج تحقيق )روش فرمهاي هم ارز( تاكيد دارند. در روش همساني دروني بر همساني يا يكنواختي ماده ها يا اجزاي تشكيل دهنده يك پرسشنامه تاكيد مي شود براي اين منظور پرسشنامه اي را كه مي خواهند ضريب پايايي اش را تعيين نمايند يك بار با گروه واحدي از شركت كنندگان اجرا مي كنند و بعد با يكي از روشهاي زير به تعيين ضريب پايايي آن مي پردازند) 13 (. روش دو نیمه کردن پرسشنامه در روش دو نيمه كردن چنانچه در باال گفته شد پرسشنامه مورد نظر را يك بار با گروه واحدي از شركت كنندگان اجرا مي كنيم و پس از اجرا آن را به دو نيمه تقسيم مي نماييم. در اين روش بهترين راه دو نيمه كردن پرسشنامه اين است كه همه سئوالهاي فرد را يك آزمون به حساب آورده و همه سئوالهاي زوج را نيز آزمون ديگري محسوب كنيم. ضريب همبستگي حاصل از امتيازات دو نيمه آزمون ضريب پايايي هر يك از دو نيمه خواهد بود. براي محاسبه ضريب پايايي كل آزمون ضريب همبستگي بين نيمه ها را در فرمول زير كه به فرمول اسپيرمن- براون شهرت دارد قرار مي دهيم. نتيجه حاصل ضريب پايايي كل آزمون خواهد بود: كه در آن است. ضريب همبستگي بين نيمه هاي آزمون مي باشد. و ضريب پايايي كل آزمون 54

55 براي نشان دادن چگونگي استفاده از فرمول اسپيرمن براون براي برآورد ضريب پايايي پرسشنامه 39 اي كه تعدادي سئوال به آن افزوده ايم فرض كنيد پرسشنامه اي با سئوال در دست داريم كه 49 r ضريب پايايي آن 9/6= است. اگر تعداد سئوالهاي اين پرسشنامه را به سئوال افزايش دهيم ضريب پايايي آزمون جديد چند خواهد شد روش كودر در ريچاردسون نيز آزمون تنها يك بار اجرا مي شود اما در اين روش همه ماده هاي آزمون تحليل مي شوند. كودر و ريچاردسون براي بررسي همساني دروني پرسشنامه و تعيين پايايي آن دو فرمول مورد استفاده قرار داده اند: كه در آن ضريب پايايي آزمون تعداد سوال هاي آزمون واريانس كل سوال هاي آزمون نسبت افرادي كه به سوال پاسخ درست داده اند و نسبت افرادي كه به سوال پاسخ نادرست داده اند) 13 (. روش ضريب الفا سومين روش تعيين پايايي پرسشنامه با تاكيد بر همساني دروني روش ضريب آلفا نام دارد كه به آن ضريب آلفاي كرونباخ يا حتي آلفا نيز گفته مي شود: 55

56 كه در آن α ضريب پايايي كل پرسشنامه تعداد سوال هاس پرسشنامه واريانس امتيازهاي هر سوال و واريانس امتياز هاي كل آزمون مي باشد. تفسير مقادير بدست آمده به صورت جدول زير خواهد بود: عوامل موثر در پايايي پرسشنامه: عوامل زير بر پايايي پرسشنامه اثر مي گذارند و مي توان از آنها براي افزايش ضريب پايايي استفاده كرد: با افزودن برتعداد سئواالت يك پرسشنامه پايايي آن نيز افزايش مي يابد. با متجانس تر و همگون تر كردن سئواالت يك پرسشنامه پايايي آن بيشتر مي شود. با افزودن تعدادي سئوال با ضريب تميز زياد به يك پرسشنامه پايايي آن باال مي رود. با افزودن تعدادي سئوال داراي ضريب دشواري متوسط به يك پرسشنامه پايايي آن افزايش مي يابد. 56

57 5. اگر يك پرسشنامه را در مورد گروهي از افراد كه از نظر توانايي مورد سنجش تجانس كمتري با يكديگر دارند اجرا كنيم پرسشنامه پايايي بيشتري نشان خواهد داد. پرسشنامه هايي كه در زمان كمي توزيع مي شوند نسبت به پرسشنامه هايي كه زمان.6 بيشتري در اختيار پاسخ دهنده است ضريب پايايي بيشتري را نشان مي دهند) 13 (. نحوه بررسي پايايي دروني پرسش نامه با شاخص آلفا با استفاده از : SPSS برای بررسی پایایی هر دسته از پرسش ها آلفای کرونباخ را جداگانه بررسی می کنیم. روش استفاده از SPSS و نتایج بررسی در تصاویر زیر آمده است. هرستون نظیر یک پرسش است و هر سطر نشان دهنده شماره پاسخ دهنده است. برای محاسبه آلفای کرونباخ ابتدا مطابق شکل زیر گزینه Analyze )تحلیل داده ها(و سپس گزینه Scale )مقیاس(و در نهایت گزینه Reliability Analysis را انتخاب می کنیم. 57

58 از پنجره ای که باز می شود پرسشهای مجموعه ای را که می خواهیم بررسی کنیم انتخاب می کنیم مثال در شکل زیر داده های 4 پرسش را انتخاب کرده ایم )متغیرهای pasokh1 تاpasokh4 آلفای کرونباخ را برای پرسشهای مربوط به بعد پاسخگویی محاسبه می کند. (با تایید متغیرها (OK) نرم افزار 58

59 وبه عنوان مثال نتیجه بررسی پایایی مربوط به 4 پرسش مربوط به در اینجا آمده است: توصیف و تفسیر خروجیها: 59

60 در جدول اول تعداد پرسشنامه های قابل قبول و تعداد مواردحذف شده از نظر زیر آزمون مورد بررسی مشخص شده است. در جدول دوم آلفای کرونباخ نشان داده شده است و مقدار برای آن بدست آمده است که پس از استاندارد سازی به صورت بدست آمده است. در جدول سوم میانگین و انحراف معیار استاندارد هر کدام از پرسشهای مربوط به تک تک سوال ها و تعداد آنها آمده است.در جدول چهارم میانگین و واریانس کل پرسش ها آورده شده است. نتیجه اینکه چون آلفای کرونباخ مربوط به این مجموعه پرسشها بزرگتر از 1/7 است بنا بر این این سوال ها پایایی و یا اعتبار الزم را دارد. پس از بررسی پایایی هرکدام از زیر آزمونها می توان کل پرسشنامه را بررسی کرد و بر اساس واریانس کلی هر آزمون و واریانس کل پرسشنامه آلفای کرونباخ مربوط کل پرسشنامه را بدست آوردکه اگر مقدار بیش از 1/7 بدست آمد می توان نتیجه گرفت که پرسشنامه پایایی الزم را دارد. منابع: 1. Fleiss JL. Design and analysis of clinical experiments: John Wiley & Sons; Chow S-C, Liu J-P. Design and analysis of clinical trials: concepts and methodologies: John Wiley & Sons; Ehlers LI. A validated model of the South African Labour Relations system Hosseini Z, Ghorbani Z, Ebn Ahmady A. Face and content validity and reliability assessment of change cycle questionnaire in smokers. Journal of Mashhad Dental School. 015;39(): Jenkinson C, Wright L, Coulter A. Criterion validity and reliability of the SF-36 in a population sample. Qual Life Res. 1994;3(1):

61 6. Pintrich PR, Smith DA, Garcia T, McKeachie WJ. Reliability and predictive validity of the Motivated Strategies for Learning Questionnaire (MSLQ). Educ Psychol Meas. 1993;53(3): Cronbach LJ, Meehl PE. Construct validity in psychological tests. Psychol Bull. 1955;5(4): Emmons RA. Factor analysis and construct validity of the narcissistic personality inventory. J Pers Assess. 1984;48(3):399, Twinn S. An exploratory study examining the influence of translation on the validity and reliability of qualitative data in nursing research. J Adv Nurs. 1997;6(): Carmines EG, Zeller RA. Reliability and validity assessment: Sage publications; Krippendorff K. Reliability: Wiley Online Library; Gwet KL. Handbook of inter-rater reliability: The definitive guide to measuring the extent of agreement among raters: Advanced Analytics, LLC; Meeker WQ, Escobar LA. Statistical methods for reliability data: John Wiley & Sons;