Skills) (Direct Observation of Procedural است.

مقاله پژوهشي ارزيابي روايي و پايايي آزمون DOPS روايي و پايايي آزمون مشاهده مستقيم مهارتهاي عملي (DOPS) در ارزيابي مهارتهاي باليني دانشجويان پرستاري دانشكده پرستاري و مامايي زاهدان 3 2 1 محمد صاحبالزماني حجت االله فراهاني مژگان جهانتيغ استاديار مديريت آموزشي دانشگاه آزاد اسلامي واحد علوم پزشكي تهران استاديار روانسنجي دانشگاه آزاد اسلامي واحد علوم پزشكي تهران كارشناس ارشد پرستاري دانشگاه علوم پزشكي و خدمات بهداشتي درماني زاهدان دانشكده پرستاري و مامايي تاريخ دريافت مقاله: تاريخ پذيرش مقاله:.1.2.3 چكيده زمينه و هدف: مشاهده مستقيم مهارتهاي عملي روشي براي ارزيابي عيني مهارتهاي عملي و دادن بازخورد در دانشجويان است. اين پژوهش با هدف بررسي روايي و پايايي آزمون (Direct Observation of Procedural Skills ) DOPS در پرستاري انجام شد. مواد و روشكار: در مطالعهاي از نوع پژوهش ارزشيابي 55 دانشجوي پرستاري دوره كارورزي در عرصه دانشكده پرستاري و مامايي زاهدان به شيوه سرشماري انتخاب شدند. طبق نظرات اعضاء هيي ت علمي دانشگاههاي علوم پزشكي مستقر در تهران از بين پروسيجرهاي اصلي پرستاري 8 پروسيجر جهت مواد آزمون انتخاب و چك ليست ارزيابي آنان تهيه شد. دانشجو در حين انجام پروسيجر در محيط كار واقعي توسط آزمونگر مشاهده و نتايج بر طبق چك ليست ساختار يافته ثبت شده و در محيط مناسب بازخورد عيني اراي ه گرديد. روايي محتوايي روايي ملاكي (همبستگي ميانگين نمرات دروس باليني و نظري پرستاري به تفكيك با نمره هر گويه با نمره (DOPS روايي سازه (بررسي ساختار دروني) پايايي (تعيين همساني دروني پايايي بين ارزيابان) بررسي شد. DOPS رابطه يافتهها: همبستگي نمرات DOPS با ميانگين نمرات نظري و باليني به ترتيب (0/429=p) 0/117 و (0/008=p) 0/376 بود. همبستگي هر مهارت با نمره كل DOPS ارتباط معنيداري داشت (=p) كه بيانگر ساختار دروني مطلوب آزمون بود. پايايي آزمون توسط ضريب آلفاي كرانباخ 0/94 اندازهگيري شد. كمترين و بيشترين مقدار ضريب همبستگي در پايايي بين ارزيابان به ترتيب 0/42 و 0/84 بود كه در تمام موارد معنيدار (=p) بودند. نتيجهگيري: با توجه به نتايج مطالعه استفاده از DOPS براي سنجش عيني مهارتهاي پروسيجرال در پرستاري داراي روايي و پايايي مي باشد.[ م ت ع پ ز ():] كليدواژهها: آزمون مشاهده مستقيم مهارتهاي عملي روايي پايايي مقدمه امروزه در آموزش پزشكي دو ويژگي مهم مطرح است: 1 -تاكيد بر ارزيابي به عنوان ابزاري براي اطمينان از كيفيت در برنامههاي آموزشي به منظور ايجاد انگيزه و تحريك دانشجويان و هدايت آنان به سوي آنچه كه بايد فرا گيرند. 2- حركت به سمت آموزش مبتني بر پيامد كه در آن پيامدهاي يادگيري تعريف و براساس آنها تصميمگيري درسي صورت 1 ميگيرد. در آموزش پرستاري نيز ارزيابي برنامه و كيفيت پيامدها نقش مهمي را ايفا كرده و از آنجا كه پرستاري يك دانش عملي است دانشجويان بايد براي كار پرستاري يك برنامه ارزيابي و آزمون معيني را با 2 موفقيت پشت سر بگذارند. دانشجويان مقطع ليسانس حرفه پرستاري براي داشتن توانمندي و تبحر باليني در اراي ه مراقبت از بيمار نيازمند مهارتهاي گوناگون و دانش به روز ميباشند. لذا ارزشيابي دانشجو در محيط باليني نه تنها مستلزم عملكرد صحيح مهارتهاي رواني حركتي ميباشد بلكه بايد علم آگاهي قضاوت و ميزان توانايي وي در واكنش نسبت به تغييرات را نيز 3 منعكس نمايد. بنابراين براي قضاوت در مورد رسيدن دانشجو به سطحي از شايستگي در مهارت عملي وي بايد نشان دهدكه ميتواندمهارت باليني 1 4 اصلي و ضروري را انجام دهد. اين درحالياست كه عملكرد باليني در 4 سطح انجام دادن سنجيده ميشود. در تقسيمبندي هرم Miller يكي از روشهاي مختلف ارزيابي عملكرد مشاهده مستقيم مهارتهاي عملي Skills) (Direct Observation of Procedural است. *مشاهده * كار پوشه *كتابچه گزارش روزانه عملكرد *ارزيابي توسط همتايان( peer ) ارزيابي عملي و باليني مانند OSCE آزمون هاي نوشتاري آزمون هاي نوشتاري عملا" آنرا انجام مي دهد چگونگي انجام آن را نشان مي دهد مي داند چگونه بايد آن عمل را انجام دهد مي داند يك آزمون DOPS شامل مشاهده يك كارآموز در حين انجام يك پروسيجر عملي است كه بر روي بيمار واقعي در محيط وا قعي انجام ميشود. مشاهدات توسط آزمونگر در يك چك ليست ثبت و نسخهاي از آن در كار پوشه نگهداري ميشود پس از آن بر اساس يافتههاي عيني و واقعي بازخورد email: jahanmed@gmail.com 36 آدرس نويسنده مسي ول: زاهدان- بيمارستان علي بن ابيطالب

ارزيابي روايي و پايايي آزمون DOPS محمدصاحب الزماني و همكاران داده ميشود. معمولا" 8-6 آزمون DOPS در سال از ميان مهارتهاي اصلي رشته انجام ميشود. مهارتهاي آزمون بسته به تخصص و ميزان تجربه 5 6 دانشجو متفاوت خواهد بود. هر مهارت توسط مشاهدهگران متفاوت 7 ارزيابي ميشود. دانشكده سلطنتي پزشكي انگلستان كه در ابتدا DOPS را در برنامههاي آموزشي خود اجرا كرد اظهار داشت كه اين روش از روايي و پايايي بالايي در مقايسه با روشهاي قبلي ارزيابي عملكرد از جمله كتابچه ثبت عملكرد برخوردار است اما نياز به مطالعات بيشتر در اين زمينه را نيز لازم 6 8 دانسته است. در حال حاضر استفاده از كتابچه ثبت عملكرد و آزمون 9 OSCE جهت سنجش عملكرد مقبوليت بالايي يافته است از آنجا كه پرستاري يك حرفه عملي است بنابراين ارزيابي باليني به شكل مشاهده مستقيم در موقعيتهاي عملي و واقعي اطمينان آزمونگرها را از توانايي دانشجو در رويارويي و پيشبيني تغييرات و وقايع باليني در شرايط خاص بيمار فراهم كرده و به تعيين توانمندي وي كمك ميكند لذا ارزيابي به اين 8 شيوه ضروري به نظر ميرسد. اين نكته كه مهارتهاي عملي و تكنيكي بايد در طول آموزش ارزيابي شوند براي تضمين كيفيت عملكرد در آينده مهم رشته شامل: اعضاء هيي ت علمي گروه داخلي جراحي دانشگاههاي علوم پزشكي ايران تهران شهيد بهشتي آزاد اسلامي و سرپرستاران با تجربه بيمارستانهاي تابعه دانشگاههاي مذكور قرار گرفت و از آنان خواسته شد پروسيجرهاي اساسي در پرستاري را رتبه بندي نمايند. سپس 8 پروسيجر كه داراي بالاترين ميانگين رتبه اي بودند جهت مواد آزمون انتخاب شدند (جدول 1). جدول 1 : پروسيجرهاي ارزيابي شده در DOPS شماره پروسيجر پروسيجر مورد ارزيابي 1 2 3 4 5 6 7 8 شستن دست ها جايگذاري كاتتر فولي تغذيه از طريق سوند بيني-معدي 10 9 است. اما كيفيت يك روش ارزشيابي با روايي و پايايي آن تعيين ميشود. در حال حاضر در حيطههاي مختلف پزشكي از جمله: جراحي بيهوشي كودكان و... در ارزيابي دانشجويان و دستياران از روش DOPS استفاده ميشود. اما تاكنون تجربهاي از آن دركشور ما در پرستاري بهطور عملي گزارش نشده است. DOPS روش مناسبي براي فراهم كردن فرصتي جهت اراي ه بازخوردهاي سازنده و توجه و تمركز دانشجو به نكاتي كه براي انجام مهارت مورد نظر لازم است ميباشد چرا كه ارزيابي با هدف بهبود عملكرد 4 نياز به بازخورد اختصاصي و به موقع دارد. طبق شواهد پژوهشهاي انجام شده در كشور در زمينه ارزيابي به روش DOPS در حوزه پرستاري محدود است. اهميت و لزوم برگزاري آزمون معتبر براي ارزيابي عملكرد باليني دانشجو و كمبود پژوهش در اين زمينه موجب شد تا اين مطالعه به منظور بررسي روايي و پايايي آزمون انجام شود. روشكار DOPS در دانشجويان پرستاري سال چهارم اين پژوهش يك مطالعه از نوع پژوهش ارزشيابي است كه در نيمه دوم سال تحصيلي 1388-89 در دانشكده پرستاري و مامايي زاهدان انجام شده است.جامعه پژوهش كليه دانشجويان پرستاري سال چهارم دانشكده پرستاري بودند كه كليه افراد جامعه مورد نظر (55 نفر) به روش سرشماري به عنوان نمونه با نظر موافق و توضيح شرايط بطور داوطلبانه در مطالعه انتخاب شدند. با 12 توجه به اينكه حداقل حجم نمونه براي روا سازي ابزار 30 نفر است لذا حجم نمونه كافي به نظر ميرسد. جهت كسب روايي محتوايي آزمون فهرستي از پروسيجرهاي عملي رشته پرستاري در اختيار 45 نفر افراد حرفهاي سپس چك ليست ارزيابي با استفاده از فرمت DOPS و تعيين معيارهاي عملكردي مربوطه در هر پروسيجر با استخراج از كتب مرجع پرستاري و نظرات اعضاء هيي ت علمي دانشگاههاي مذكور تدوين شد. سوالات چك ليست 9 DOPS مورد و شامل: آگاهي فراگير از انديكاسيونها و آناتومي مربوطه اخذ رضايت مرحله آمادگي قبل از پروسيجر رعايت شرايط استريل توانايي تكنيكي اقدامات پس از پروسيجر مهارتهاي ارتباطي ملاحظات اخلاقي و اصول رفتار حرفهاي و عملكرد كلي را مورد پرسش قرار ميداد. هر پرسش با نمرهاي بين 0-9 (از مشاهده نشد نامطلوب و... تا عالي) بر حسب عملكرد دانشجو نمره گذاري گرديد. تمامي دانشجويان پرستاري سال چهارم در دانشكده پرستاري و مامايي زاهدان در اين مطالعه شركت داده شدند.آموزش آزمونگرها (11 نفر عضوهيي ت علمي پرستاري) شامل اراي ه راهنماي آزمونگر در ارزيابي به روش DOPS بهصورت نوشتاري وجلسه توجيهي دو ساعته بود. براي پايايي بيشتر و همگن شدن قضاوت آزمونگرها دستورالعملهاي نمرهدهي وراهنماي استفاده از چك ليست همراه با معيارهاي لازم كه بايد در هرقسمت از چك ليست براي هر مهارت انجام شود در اختيار آنان قرار گرفت. آموزش دانشجويان بهصورت اراي ه راهنماي نوشتاري كه شامل: اهداف پژوهش نحوه ارزيابي به روش DOPS نوع پروسيجرها و اسامي آزمونگرها و چك ليست ارزيابي مهارتها در يك جلسه توجيهي و با اراي ه راهنماي فراگيران توجيه شدند. زمان انجام داپس توسط دانشجو تعيين شد. هر زمان كه دانشجو احساس كرد در پروسيجر مربوطه شايستگي لازم را كسب نموده از آزمونگر درخواست نموده تا 37

مجله تحقيقات علوم پزشكي زاهدان دوره شماره عملكرد وي را ارزيابي نمايد. آزمونگر در حين انجام پروسيجر دانشجو را مشاهده و مشاهدات خود را در چك ليست ساخت يافته ثبت نمود و پس از تكميل در محيط مناسب بازخورد به دانشجو داده شد و نقاط ضعف و قوت مورد بحث قرار گرفت. براي هر دانشجو 8 آزمون DOPS در طي دوره شش ماهه انجام شد. كوشش شد آزمونگرهاي متفاوت هر مهارت را ارزيابي كنند. مهارتهاي ساده در ابتداي دوره و بهتدريج مهارتهاي پيچيده در پايان دوره آموزش ارزيابي شد. به منظور عدم ايجاد چالش در روش مشاهده ارزيابي در زمان و مكانهاي شلوغ انجام نگرفت. براي ارزيابي پايايي بين مشاهدهگران 20 نفر دانشجو توسط دوآزمونگر ارزيابي شدند. براي بررسي روايي ملاكي همزمان آزمون ضريب همبستگي پيرسون بين نمراتDOPS با ميانگين نمرات دروس نظري و باليني سال اول دوم و سوم محاسبه شد. جهت تعيين پايايي به روش همساني دروني نمره كل DOPS با نمرات دانشجو در هر مهارت از طريق ضريب آلفاي كرونباخ محاسبه شد. محاسبه ساختار دروني آزمون براي بررسي روايي سازه انجام گرديد. يافتهها اين پژوهش بر روي 55 دانشجوي پرستاري سال چهارم (48 دختر 7 پسر) انجام شد. ميانگين سني دانشجويان 22-27 سال بود. 440 فرم ارزيابي تكميل گرديد. ميانگين زمان مشاهده و بازخورد به ترتيب 8/3 و 5 دقيقه بود. ارزيابيها در بخشهاي داخلي و جراحي بيمارستانهاي علي ابن ابيطالب(ع) و خاتم الانبياء(ص) زاهدان انجام شد. اعتبار صوري و ظاهري آزمون DOPS در ارزيابي مهارتهاي عملي بر روي بيمار واقعي با استخراج نظرات افراد متخصص در حوزه پرستاري بالا گزارش شد. روايي ملاكي همزمان: همبستگي بين نمرات DOPS با ميانگين نمرات دروس نظري و باليني سه سال قبل دانشجو به تفكيك 0/429=p وp=0/008 محاسبه شد. همچنين رابطه هر گويه با نمره هر مهارت براي بررسي روايي ملاكي گويه محاسبه گرديد. نتايج نشان دادند رابطه هر گويه با نمره كل رابطه مطلوبي است (بيشتر از 0/3) كه نشاندهنده روايي ملاكي گويه ميباشد. براي بررسي روايي سازه رابطه هر مهارت با نمره كل DOPS به عنوان ساختار دروني از طريق ضريب همبستگي پيرسون تعيين شد (جدول 3 ). جدول 3 - همبستگي بين نمره كل آزمون DOPS و نمرات DOPS در هر مهارت كاتتريزاسيون ادراري شستن دست تغذيه از طريق سوند بيني معدي مهارت(تعيين ساختار دروني) ضريب همبستگي با نمره كل داپس پايايي: نتايج مربوط به پايايي بين آزمونگرها به كمك ضريب همبستگي پيرسون در جدول 4 اراي ه شده است. ضرايبهاي آلفاي به دست آمده در هر مهارت در جدول 5 اراي ه گرديده است. جدول 4 - ضرايب همبستگي بين دو آزمونگر در هر مهارت ضريب همبستگي P مهارت كاتتريزاسيون ادراري شستن دست تغذيه از طريق سوند بيني معدي كل 0/004 0/004 0/62 0/81 0/69 0/56 0/42 0/81 0/84 0/81 0/84 جدول 5 ضريب هاي آلفاي كرونباخ به دست آمده در هرمهارت براي بررسي پايايي α كرونباخ مهارت بحث كاتتريزاسيون ادراري شستن دست تغذيه از طريق سوند بيني معدي كل 0/87 0/84 0/88 0/91 0/86 0/82 0/78 0/90 0/94 يافتههاي اين پژوهش روايي و پايايي آزمون DOPS برگزار شده در دانشجويان پرستاري سال چهارم را مورد تاييد قرار داد. اعتبار صوري و ظاهري طبق نظرات افراد متبحر براي ارزيابي مهارتهاي باليني و عملي ازطريق DOPS بر روي بيمار واقعي بالا گزارش شد. Wilkinson و همكارانش در بررسي اعتبار DOPS از نظرات متخصصين روايي ظاهري 6 13 بالايي را براي آن ذكر ميكنند. در اين مطالعه نتايج بررسي همساني دروني هر يك از مهارتها نشان داد كه مقدار α كل مهارتها در صورت حذف هريك از گويهها تغيير محسوسي نميكند. بنابراين تمامي گويهها براي سنجش مهارت مربوطه داراي همساني دروني است. Moorthy روايي 9 ظاهري بالاي DOPS را در رشته جراحي تاييد ميكند. Bould و همكارانش نيز در مطالعهاي انجام آزمون DOPS در ارزيابي مهارتهاي 10 عملي در بيهوشي را داراي روايي بالايي ميدانند. در ارتباط با روايي DOPS نياز به انجام مطالعات بيشتر وجود دارد. عليرغم اينكه امروزه بهطور گسترده در ارزيابي توانمندي دستياران پزشكي استفاده ميشود اما 13 نويسندگان فقدان مطالعات درباره روايي و پايايي آن را بيان ميكنند. با وجود اين نميتوان اين نكته را مردود دانست كه اعتبار واقعي اين موضوع P 0/631 0/442 0/71 0/579 0/661 0/513 0/523 0/554 38

ارزيابي روايي و پايايي آزمون DOPS محمدصاحب الزماني و همكاران كه پرستاران به علت اضطراب از اينكه در حال مشاهده هستند ممكن است مهارت را مطابق استاندارد انجام ندهند مورد نقد قرار گيرد اما عليرغم اين انتقاد در اكثر مطالعات روايي بالايي براي DOPS ذكر كردهاند چرا كه آشنايي دانشجويان در طول سالهاي تحصيل با اين روش و گنجاندن آن در برنامه درسي دانشكدهها مطابق با سطح تجربه آنان به اعتبار آن ميافزايد. از طرفي در ارتباط با روشهاي قبلي از جمله logbook كه تنها بيانگر كميت انجام پروسيجر بوده و OSCE كه بر روي مدل مصنوعي انجام ميشود روايي 8 9 ظاهري DOPS بيشتر است. در تعيين روايي سازه با توجه به نتايج بين هر مهارت و نمره كل آزمون DOPS ارتباط معنيداري وجود دارد. بنابراين آزمون داراي ساختار دروني 12 مطلوب ميباشد. ساختار دروني شواهدي از وجود روايي سازه است. Wilkinson و همكارانش در يك مطالعه آزمايشي روايي سازه آزمون را با 6 كسب نمرات بالاتر توسط كار آموزان رده بالاتر را مورد تاييد قرار ميدهند. براي بررسي روايي ملاكي آزمون DOPS با ساير آزمونها ضريب همبستگي پيرسون بهكار برده شد. بين نمرات آزمون DOPS با نمرات دروس نظري پرستاري همبستگي معنيداري وجود نداشت ولي با نمرات دروس باليني كه آن نيز مهارت دانشجو را ميسنجد همبستگي مثبت و معنيداري داشت. اين يافته با توجه به ماهيت تمام امتحانات كه اولويت آنها تكيه بر دانش نظري و سنجش ميزان دانش دانشجو است همخواني دارد. عدم وجود همبستگي بين نتايج آزمون DOPS با دروس نظري وجود فاصله بين دروس نظري و عملي كه هميشه به عنوان چالش در امر آموزش بوده است را بيان ميكند. همانطور كه معطري و همكاران در پژوهش خود ارتباط مثبت ضعيف بين نمرات آزمون OSCE با نمرات دروس نظري و همچنين ارتباط 14 مثبت و معنيدار با نمرات دروس باليني را ذكر ميكنند. در اين رابطه Gray معتقد است ممكن است دانشجو دانش تي وري درباره مهارت را داشته 15 باشد اما اين بدان معني نيست كه وي آن را در عمل انجام خواهد داد. بنابراين با توجه به اينكه آزمون DOPS دانش توانايي تكنيكي توانايي تصميمگيري مهارتهاي ارتباطي و توانايي رهبري دانشجو را مورد ارزيابي قرار ميدهد پيدا كردن ملاكي كه كليه اين حيطهها را بهطور مستقيم تحت پوشش قرار دهد عملا ممكن نيست.رابطه هر گويه با نمره كل نيز مطلوب به دست آمد كه نشان دهنده روايي ملاكي هر گويه ميباشد. حداقل ضريب 16 روايي گويه 0/3 است. پايايي ميان آزمونگرها در هر مهارت معنيدار بود. ميزان آلفاي كرونباخ آزمون DOPS دركليه مهارتها در حد مناسبي (0/7<α) بود. حداقل آلفاي 12 مطلوب 0/7 ميباشد. Bould و همكاران مقدار α بين 0/8 تا 1 را پايايي 10 خوب و با اطمينان بالا براي ابزار ارزيابي بيان كردهاند. بنابراين آزمون DOPS از پايايي مطلوبي برخوردار است. در اين آزمون به علت زياد بودن تعداد دفعات ارزيابي و متفاوت بودن آزمونگرها در هر نوبت DOPS نسبت به ساير روشها از پايايي مناسبتري برخوردار است البته اين نكته را بايد در نظر داشت كه براي پايايي بهترآزمون علاوه بر موارد ذكر شده بايستي از 15 معيارهاي واضح در نمرهدهي مهارتها و آموزش آزمونگرها استفاده نمود. يافتههاي مطالعه حاضر در زمينه پايايي در جهت همسو با يافتههاي مطالعاتي است كه در رابطه با ويژگيهاي روانسنجي آزمونهاي عملي انجام شدهاند. مطالعه Weller و همكارانش در بررسي پايايي آزمون كوتاه باليني همساني 17 دروني بالايي را با =α 0/95 گزارش كردند يافته درساير آزمونهاي عملي از جمله OSCE در پزشكي ميزان پايايي توسط 0/79 Al-Naami در رشته 19 18 جراحي و 0/96 توسط Tudvir و همكاران گزارش شده است. معطري و همكارانش در تحقيقي پيرامون روايي و پايايي OSCE در حوزه پرستاري به 14 پايايي 0/38 تا 0/95 رسيدند. لازم به ذكر است كه استفاده از ساير روشهاي تعيين پايايي نظير بازآزمايي به علت وجود بازخورد در آزمون و ايجاد يادگيري در DOPS قابل استفاده نبود. يكي از معيارهاي انتخاب ابزار 20 ارزيابي مقبوليت آزمون از ديدگاه آزمون شوندهها و آزمونگرها است. در اين مطالعه 78/2 درصد اعضاء هيي ت علمي و 70/9 درصد دانشجويان رضايت از آزمون DOPS را در محدوده راضي تا بسيار راضي گزارش كردند و اين بيانگر اين نكته است كه دانشجويان از اينكه توسط افراد با تجربه بيشتر از خودشان مشاهده شوند و بازخورد بگيرند احساس رضايت دارند. تلاش ما بر اين بود كه پيشرفت حاصل در دهه گذشته در ارزيابي عيني مهارتهاي عملي را در حوزه پرستاري بررسي كنيم. جامعه پرستاري مي- تواند از روشهاي ارزيابي متعددي در ابتدا و در طول آموزش براي عينيت بخشيدن به بازخورد و معيارهاي ارزيابي استفاده نمايد. بهطور كلي اين بررسي روايي (صوري محتوايي ملاكي) و پايايي (بين ارزيابان همساني دروني آلفاي كرونباخ) خوبي براي اجرا به عنوان يك امتحان تكويني و تراكمي معتبر براي آزمودن مهارتهاي عملي باليني در دانشجويان پرستاري ميباشد. استفاده از DOPS در ارزيابي توانمندي دانشجويان پرستاري علاوه بر آگاهي از عملكرد دانشجو وتصميمگيري در مورد برنامه درسي مراقبت ايمن و مطلوب از بيمار را بهدنبال خواهد داشت. اما با توجه به اينكه تنها مهارتهاي اساسي رشته ارزيابي ميشود لذا در رتبهبندي دانشجويان اعتبار لازم را ندارد. سپاسگزاري از همكاري صميمانه كليه اعضاء هيي ت علمي دانشكده پرستاري و مامايي زاهدان تشكر مينماييم. اين پژوهش حاصل پايان نامه با شماره ثبت شده 13610403871010 در دانشگاه آزاد اسلامي واحد علوم پزشكي تهران است. References 1. Shumwy JM, Harden RM. AMEE Guide No. 25: The assessment of learning outcomes for the competent and reflective physician. Med Teach 2003; 25(6): 569-584. 2. Mattiesen V, Wilhem C. Quality outcomes and program evaluation in nursing education. Qual Manage Health Care 2006; 15(4): 279-84. 39

مجله تحقيقات علوم پزشكي زاهدان دوره شماره 3. Bourbonnais FF, Longford S, Giannatonio L. Development of a clinical evaluation tool for baccalaureate nursing students. Nurse Educ Pract 2008; 8(1): 62-71. 4. Bhugra D, Malik A, Brown N. Workplace-based assessment in psychiatry. London: Royal college of psychiatrists; 2007: 1-13. 5. Amin Z, Chong Y, Khoo H. Direct observation of procedural skills (chapter16). In:Amin Z, Chong Y, Khoo H. Practical guid to medical student. 1 st ed. Singapore: World Scientific Printers CO; 2006: 71-4. 6. Wilkinson JR, Crolley JGM, Wragg A, et al. Implemnting workplace-based assessment across the medical specialities in the united Kingdon. Med Educ 2008; 42(4): 364-373. 7. Dent JA, Harden RM. Curriculum planning(chapter1). In: A practical guide for medical teachers. 3th ed. Edinburg: Churchil Livingstone; 2009: 61. 8. Wilkinson J, Benjamin A, Wade W. Assessing the performance of doctors in training. BMJ 2003; 327(7416): s91-2. 9. Moorthy K, Munz Y, Sarker S and Darzi A. Objective assessment of technical skills in surgery. BMJ 2003; 327(7422): 1032-1037. 10. Bould MD, Crabtee NA, Naik VN. Assessment of procedural skills in anesthesia. Br J Anaesth 2009; 103(4): 472-83. 11. Gill F, Leslie G, Southerland K. Evaluation of a clinical performance assessment tool (CPAT) within a critical car content. Aust Crit Care 2006; 19(3): 105-113. 12. Kamkar SH, Asraie A. Theoretical principle of exam and examine. Tehran: Behineh Press; 2006. 13. Review of work-based assessment methods. CIPHER. Australia: The University of Sydney; 2007: 11-17. 14. Moatarri M, Abdollahzargar SH, Moosavinasab M, et al. [survey on validity and reliability of the test OSCE in evaluating the clinical skills of nursing students at Shiraz nursing college] Persian. Med Res 2007; 31(1): 55-59 15. Gray MA, Donaldson J. National approach to practice assessment for nurse and midwives. Edinburgh Napier 2010;(1): 32-47. Available from: http//www.nes. scot.nhs.uk/.../exploring_issuesin_the_use_of_grading_i n_practice_volume%202.pdf 16. Barahani MN. Psychometry. Tehran: Tehran University Press; 2008: 534-535 17. Weller JM, Jolly B, Misur MP, et al. Mini-clinical evaluation exercise in anaesthasia training. Br J Anaesth 2009; 102(5): 633-641. 18. Al-Naami MY. Reliability, validity and feasibility of the Objective structured clinical examination in assessing clinical skills of final year surgical clerkship. Saudi Med J 2008; 29(12): 1802-7. 19. Tudiver F, Rose D, Banks B and Pfortmiller D. Reliability and validity testing of an evidence-based medicin OSCE station. Fam Med 2009; 41(2): 89-91. 20. Norcini JJ, Mackinley DW. Assessment methods in medical education. Teach Teacher Educ 2007; 23(3): 239-50. 40

ارزيابي روايي و پايايي آزمون DOPS محمدصاحب الزماني و همكاران Validity and reliability of direct observation of procedural skills in evaluating the clinical skills of nursing students of Zahedan nursing and midwifery school Mohamad Sahebalzamani, 1 Hojatallah Farahani, 2 Mojgan Jahantigh 3 Background: To evaluate the validity and reliability of assessing the performance of nursing students using the Direct Observation of Procedural Skills (DOPS). Materials and Method: This research was conducted on 55 nursing internship students in 8 procedures. A DOPS consisted of an assessor observing a student when performing skills, completing a checklist with the student and providing verbal feedback. The procedures were selected among the core skills of nursing according to the views of faculty members. Content validity, criterion validity (correlation the average scores of nursing clinical and theoretical courses separately with DOPS score, relation of each item with DOPS), construct validity (inspection of internal construction), reliability (examination of internal consistency, inter-rater reliability) were examined. Results: Correlation of DOPS scores with the theoretical and clinical average scores were 0.117 (p=0.429) and 0.376 (p= 0.008) respectively. There has been a significant relation between each skill and DOPS total score (p= 0.001) that indicates a desired internal construction of the exercise. The reliability of the exercise was measured as 94% by Cronbach alpha coefficient. Minimum and maximum correlation coefficient in the inter-rater reliability were 42% and 84% respectively which were significant in all cases (p=0.001). Conclusion: In conclusion, our results showed that DOPS has the validity and reliability for objective evaluation of procedural skills in nursing. Keywords: DOPS, Validity, Reliability 1. Assistant Professor of Educational Management, 2. Assistant Professor of Psychology 3. MSc of Nursing, School of Nursing and Midwifery, Zahedan University of Medical Sienses and Health Services, Zahedan, Iran. 41