Using Artificial Neural Networks in Multiple Linear Regression. Abstract

Transcript

1 كلية الا دارة والاقتصاد-جامعة الموصل تنمية الرافدين العدد ٩٩ مجلد ٣٢ لسنة ٢٠١٠ ص ص[ ١-٣٣] استخدام الشبكات العصبية الاصطناعية في تحليل الانحدار الخطي المتعدد ندوى خزعل رشاد مدرس مساعد - قسم نظم المعلومات كلية الادارة والاقتصاد عزة حازم زكي مدرس مساعد - قسم الاحصاء والمعلوماتية كلية علوم الحاسبات والرياضيات azza_master@yahoo.com المستخلص يعد تحليل الا نحدارا نموذجا توقعي ا ا حصاي يا ويهتم بوصف وتقييم العلاقة بين متغير معطى (يسمى المتغير التابع عادة) وواحد ا و عدة متغيرات ا خرى والتي تسمى عادة بالمتغيرات التوضيحية. وتحليل الانحدار من الوساي ل الا حصاي ية ذات التطبيقات الواسعة عند المهتمين في مختلف العلوم الاجتماعية والاقتصادية والصحية. ومن الا ساليب الحديثة التي ا خذت اهتماما واضحا وخاصة في مجال علوم الحاسبات حيث ظهر في الا ونة الا خيرة ا سلوب الشبكات العصبية الاصطناعية.Artificial Neural Networks ويهدف هذا البحث ا لى تحليل الانحدار المتعدد باستخدام الشبكات العصبية ومقارنته مع ا سلوب تحليل الانحدار المتدرج Stepwise.Regression وتم التوصل ا لى ا ن الشبكات العصبية ذات دقة ا كثر من طريقة الانحدار الخطي المتعدد في كشف المتغيرات ذات الفروقات غير المعنوية. Using Artificial Neural Networks in Multiple Linear Regression Nadwa Kh. Rashad Assistant Lecturer Department of Management Information Systems University of Mosul Azza H. Zaki Assistant Lecturer Department of Statistics and Information University of Mosul azza_master@yahoo.com Abstract The regression analysis is considered as an expectative and statistical model. It concerns with the description and standardization of the relationship between a given variable which is called (dependent variable) and other variables called independent variables. Regression analysis is one of the statistical methods that have wide applications to those concerning with many different societies, economic and health sciences. One of the modern methods that clearly concerned with the computer field which has appeared these تا ريخ استلام البحث ٢٠٠٨/٧/١٣ تا ريخ قبول النشر ٢٠٠٩/٥/٢٤

2 رشاد وزكي[ ٢ ] days is Artificial Neural Networks. The aim of this research is the comparison between Neural Networks Method with multiple regressions using stepwise regression method. المقدمة يعرف ا نموذج الانحدار الخطي المتعدد با نه عملية تقدير العلاقة الخطية بين عدة متغيرات ا حدها متغير الاستجابة والباقي متغيرات توضيحية يعتقد با نها تو ثر في متغير الاستجابة. العلاقة للدالة Function Relationship بين المتغير المعتمد (الاستجابة) Y والمتغيرات التوضيحية ) m X) 1 X, X, في تحليل الانحدار الخطي المتعدد تاخذ الصيغة الاتية (شربجي ١٩٨١): Y = β + β X + β X β X + U.(1) i o 1 i1 i m im i m Y i = β0 + β jxij + Ui, i=1,,,n ; j=1,,,m j= 1 حيث ا ن: Y: i المتغير المعتمد ا و التابع ا و قيمة متغير الاستجابة Y. نقطة تقاطع مستوى الانحدار بالمحور β: o β1:, β تمثل معلمات الا نموذج المجهولة.,..., βm σ. الخطا العشواي ي المعدل= ٠ وتباين U: i وبتطبيق الصيغة ادناه والتي تعرف بصيغة المعادلات الطبيعية Normal Equations نحصل على مقدر المربعات الصغرى لمتجه المعلمات (شربجي ١٩٨١). ˆ b = ( X ' X ) 1 X ' Y () حيث ان Information Matrix مصفوفة مربعة تدعى مصفوفة المعلومات : 'X X :X'Y متجه لحاصل ضرب المتغيرات التوضيحية في متغير الاستجابة اي ان n xi1 xi... xim xi1 xi1 xi1xi... xi1xim X 'X = x im ximxi1 ximxi... xim

3 [٣] استخدام الشبكات العصبية الاصطناعية... X 'Y =.. Y i Y X i Y X i Y X i i1 i im ويمكن تنظيم جدول تحليل التباين كما في الجدول الا تي للتعرف على معنوية معلمات دالة الانحدار واختبار الفرضية لا اتية (الراوي ٢٠٠٤): H o : β 1 =β = =β m H 1 :β 1 β β m جدول تحليل التباين للانحدار المتعدد S.o.V. d.f S.S MS F.cal. R(X 1, X,, X m ) m SSR MSR MSR MSe Error (X 1, X,, X m ) n-m-1 SSe MSe Total n-1 SST SST=S YY SST SST SSR = = y' y y i = β 'x ' y ( y i ) n ( yi ) n ( y n i ) حيث ا ن: :SST مجموع المربعات الكلي :SSR مجموع المربعات العاي دة الى الانحدار

4 رشاد وزكي[ ٤ ] SSR MSR = m n yi i= 1 n xi1 yi i= 1 ( yi ) = [ β oβ1... β m ]. n. n xim yi i= 1 :MSR متوسط مجموع المربعات :SSe مجموع المربعات العاي دة الى الخطا SSe MSe = n m 1 فا ذا كانت قيمة F المحسوبة مساوية ا و ا كبر من قيمة F الجدولية تحت مستوى معنوية α يدل على معنوية المتغيرات قيد الدراسة. طريقة الانحدار المتدرج Stepwise Regression Procedure تستخدم هذه الطريقة في تحليل الانحدار المتعدد لانتخاب المتغيرات ذات التا ثير المعنوي والمهم في المتغير المستجيب ا ذ ا ن جميع المتغيرات التوضيحية التي دخلت المعادلة تحسب فيها قيمة F الجزي ية في كل خطوة وتقيم على ا ساسها مرة ا خرى لا نه لابد عند اختيارنا المبكر لا حد المتغيرات التوضيحية احيانا قد يعطي قيمة F الجزي ية اقل F الجدولية في المرحلة المتا خرة وذلك لوجود علاقة قوية بينه وبين ا حد من قيمة المتغيرات التوضيحية الاخرى التي اختيرت في المعادلة وهذه القيمة تحتاج الى قيمتين F out F in وتستخدم لادخال المتغيرات التوضيحية الى المعادلة و من قيم F الجدولية هما وتستخدم لحذف المتغير الذي ليس له تا ثير على المتغير المستجيب. ويمكن تلخيص ا هداف تحليل الانحدار المتدرج في النواحي الا تية: تنبو سلوك المتغير التابع في ضوء تا ثره بالمتغيرات التوضيحية. ١. تقرير مساهمة كل متغير توضيحي في مدى التباين الحاصل في المتغير المستجيب. ٢. قياس مدى الترابط الكلي بين المتغير المستجيب والمتغيرات التوضيحية. ٣. ا جراء سلسلة من الاختبارات الفرضية لا ي من العلاقات المشار ا ليها في النقاط ٤. السابقة. وبفرض ا ن لدينا متغير استجابة Y وعدد من المتغيرات التوضيحية ) i.s X) فيمكن احتساب طريقة الانحدار المتدرج Stepwise Regression حسب المراحل الا تية : Y X 1 ا. ا يجاد جدول تحليل التباين لانحدار Y على ) i.s X) لكل متغير على حدة (Y على (X p وكما في الجدول الا تي: Y... X على على

5 ا ( [٥] استخدام الشبكات العصبية الاصطناعية... S.o.V. d.f S.S MS F.cal. R(X 1 ) p B' X' Y ny (SSR*X 1 )/d.f MSR MSe Error(X i ) n-p-1 Y ' Y B ' X ' Y SSe/d.f. Total n-1 Y ' Y n Y حيث ا ن: (1*p). عبارة عن متجه المعلمات ذات سعة B: X: عبارة عن مصفوفة ذات سعة (p*n) من المتغيرات التوضيحية. (1*p). عبارة عن متجه مشاهدات ذات سعة Y: نقوم باختيار جدول تحليل التباين ذي القيمة الاكبر. ب. ا يجاد جدول تحليل التباين لانحدار ا على ) i.s X) مع ا ضافة المتغير المنتخب في الخطوة ( وبحسب جدول تحليل التباين الا تي: S.o.V. d.f S.S MS F.cal. R(X i,x k ) p B' X' Y ny R(X k ) 1 B ' X ' Y n Y R(X i /X k ) 1 B ' X ' Y n Y Error(X i,x k ) n-p Y ' Y B ' X ' Y Total n-1 Y ' Y ny SSR (X i / X d.f SSe d.f k ) MSR (X i / X MSe وتمت اضافته الى معادلة الانحدار k X k هو المتغير ذو الرتبة حيث ا ن: :R(X i,x k ) X k حيث ا ن X L بتثبيت و( i=(1,,3,,p-1 اي عدد المتغيرات المتبقية. بعد اختيار ا كبر قيمة لجدول تحليل التباين لانحدار Y على X L هو المتغير ذو الرتبة L وتم اضافته الى الا نموذج. X k وهكذا نستمر الى ا ن نحصل X L و ج. هذه الخطوة هي انحدار Y على ) i.s X) بتثبيت على ا نموذج يحتوي على المتغيرات ذات التا ثير المهم في الا نموذج اي يمكن (الراوي استخدام هذه المتغيرات في الحصول على تمييز افضل بين مجتمعين.(١٩٨٧ والشكل الا تي يبين خوارزمية الانحدار المتدرج (Wikipedia,008) k )

6 رشاد وزكي[ ٦ ] البدء: حساب الجزء الثابت من دون ادخال المتغيرات ا عادة الا نموذج وا عادة الاختبار لكل الاجزاء معنوي اهمال المتغيرات نعم غير المعنوية اختيار الا نموذج ا ضافة الجزء الخطي اضافة جزء التقاطع ا ضافة ا على درجة للمعادلة لا نعم ضروري لا الخطوة ١: اختبار الا نموذج الخطي نعم ضروري لا الخطوة ٢: اختبار جزء التقاطع نعم ضروري لا الخطوة ٣ : اختبار درجة المعادلة الشكل ١ خوارزمية الانحدار المتدرج الشبكات العصبية الاصطناعية Artificial Neural Networks هي تقنيات حاسوبية مصممة لمحاكاة الطريقة التي يو دي بها الدماغ البشري مهمة معينة وذلك عن طريق معالجة ضخمة موزعة على التوازي. فالشبكات العصبية الاصطناعية تتشابه مع الدماغ البشري في ا نها تكتسب المعرفة بالتدريب وتخزن هذه المعرفة باستخدام قوى وصل داخل العصبونات تسمى الا وزان التشابكية. وهناك ا يضا تشابه عصبي حيوي مما يعطي الفرصة لعلماء البيولوجيا في الاعتماد على ANN لفهم تطور الظواهر الحيوية. مكونات الشبكة العصبية الاصطناعية

7 [٧] استخدام الشبكات العصبية الاصطناعية... تتكون الشبكات العصبية من مجموعة من وحدات المعالجة والشكل ٢ يبين ا نموذجا لاخطيا وبسيطا للعصبون الاصطناعي : ويسمى ا حدها عصبون الشكل ٢ خلية عصبية اصطناعية كما ا ن للا نسان وحدات ا دخال توصله بالعالم الخارجي وهي حواسه الخمس فكذلك الشبكات العصبية تحتاج لوحدات ا دخال. ووحدات معالجة يتم فيها عمليات حسابية تضبط بها الا وزان ونحصل من خلالها على ردة الفعل المناسبة لكل مدخل من المدخلات للشبكة. فوحدات الا دخال تكو ن طبقة تسمى طبقة المدخلات ووحدات المعالجة تكو ن طبقة المعالجة وهي التي تخرج نواتج الشبكة. وبين كل طبقة من هذه الطبقات هناك طبقة من الوصلات البينية التي تربط كل طبقة بالطبقة التي تليها والتي يتم فيها ضبط الا وزان الخاصة بكل وصلة بينية وتحتوي الشبكة على طبقة واحدة فقط من وحدات الا دخال ولكنها قد تحتوي على ا كثر من طبقة من طبقات المعالجة. البنية المعمارية للشبكات العصبية معمارية الشبكة العصبية الاصطناعية, هي الطريقة التي ترتبط بها العصبونات مع بعضها البعض لتشكيل الشبكة وترتبط كل مركبة من مركبات متجه الادخال بكل عصبون من خلال مصفوفة الوزن. W كل عصبون يحوي وحدة مجموع تقوم بجمع الادخال الموزون مع الا زاحة لتشكيل الاخراج العددي للعصبون وفي النتيجة ا ن مركبات اخراج طبقة العصبونات تشكل متجه الاخراج مركبات متجه الادخال تدخل ا لى الشبكة من خلال مصفوفة الا وزان الا تية:

8 رشاد وزكي[ ٨ ] الشبكة ذات الطبقات المتعددة الا مامية الشبكة العصبية يمكن ا ن تتا لف من عدة طبقات وفي هذه الحالة يكون لكل طبقة مصفوفة وزن,W ومتجه ا زاحة ومتجه ا خراج ومن ا جل التمييز يضاف رقم الطبقة كدليل علوي لكل من المتحولات المستعملة من خلال الشبكة المبينة مركبة الادخال عصبون في الطبقة الا ولى عصبون في الطبقة الثانية وهكذا بالا سلوب نفسه. ومن الملاحظ ا يضا ا ن ا خراج كل طبقة متوسطة هو ادخال للطبقة التي تليها وبذلك تعد كل طبقة في هذه الشبكة كا نها شبكة ذات طبقة وحيدة والطبقة التي تعطي الاخراج تسمى طبقة الاخراج ا ما الادخال فلا يعد طبقة وبقية الطبقات تسمى الطبقات المخفية (Orna, (001. والشكل الا تي يبين معمارية الشبكات ذات التغذية الامامية: الطبقة ٣ الطبقة ٢ الطبقة ١ الادخال الشكل ٣ خوارزمية الشبكات ذات التغذية الامامية خوارزمية الشبكات ذات التغذية الامامية في تحليل الانحدار (1998 (Bacure, ١. ابدا بالمعادلة الا تية حيث ا ن: :L δ: دالة L p = δ( λi δ(x * w i )) (3) i= 1 عدد الطبقات المخفية δ( x) = 1/1 + exp( x)) ويعبر عنها بالمعادلة Sigmoid

9 [٩] استخدام الشبكات العصبية الاصطناعية... L log( p/(1 p)) = λ δ(x * w (4) x j i= 1 i i ) log(p(x)/(1 p(x)) == L i= 1 x: متجه الادخال (المتغيرات التوضيحية) (β i ) الاوزان :w (β o ) bias دالة التحفيز :λ ٢. با خذ اللوغارتم تصبح المعادلة i ٣. اشتقاق المعادلة بالنسبة الى x λ δ(x * w i )w ij (5) ا ما الاوزان فتحسب على وفق المعادلة w == L j(x) iδ'(x * wi ) w ij (6) i= 1λ.٤ (٥٣) الجانب التطبيقي استخدمت بيانات عن مرضى سرطان الدم بعدد في مدينة الموصل وكانت المتغيرات المدروسة هي: Y نسبة الخلايا السرطانية X 1 الجنس (ذكر انثى) X العمر X 3 الحالة الزوجية (اعزب متزوج) X 4 محل السكن (مدينة قضاء قرية ناحية) X 5 الهيموكلوبين X 6 مكداس الدم X 7 فحص دم له علاقة بالهيموكلوبين X 8 عدد الصفيحات الدموية X 9 عدد كريات الدم البيضاء X 10 نوع الخلايا السرطانية الحادة جمعت من المستشفى العام ١. تحليل الانحدار المتدرج Stepwise Regression تم استخدام ا سلوب الانحدار الخطي المتدرج اذ يحدد هذا الا سلوب مقدار العلاقة بين المتغير التابع (نسبة الخلايا السرطانية) وعدد من المتغيرات التوضيحية. وطريقة الانحدار التدريجي تعطي نسبة تفسير كل متغير مرتبة بحسب ا همية المتغير في التحليل (ا ي ا ن التحليل يبدا بتحديد ا هم متغير وينتهي بالمتغير الا قل ا همية في

10 تفسير الاختلاف الذي يحدث في المتغير التابع). في الجدول ١. و ت رشاد وزكي[ ١٠ ] م الحصول على النتاي ج الموضحة الجدول ١ جدول تحليل التباين باستخدام طريقة الانحدار التدريجي Stepwise Regression: y versus x1; x; x3; x4; x5; x6; x7; x8; x9; x10 Alpha-to-Enter: 0.05 Alpha-to-Remove: 0.05 Response is y on 10 predictors, with N = 53 Step 1 3 Constant x T-Value P-Value x T-Value P-Value x T-Value -.90 P-Value ا ظهرت نتاي ج تحليل الانحدار المتدرج ا ن عدد كريات الدم البيضاء و فحص الدم الذي له علاقة بالهيموكلوبين و نوع الخلايا السرطانية الحادة لدى المرضى هي ا هم عناصر يجب ا خذها بالاعتبار ا ذا ما اريد قياس نسبة الخلايا السرطانية للمرضى. ويوضح الجدول ٢ معادلة الانحدار لطريقة الانحدار المتعدد. The regression equation is y = x x9-0.7 x10 الجدول ٢ معادلة الانحدار المتعدد Predictor Coef SE Coef T P VIF Constant x x x ٢ الشبكات العصبية الاصطناعية Artificial Neural Networks

11 [١١] استخدام الشبكات العصبية الاصطناعية... استخدم برنامج حاسوبي لغرض التحليل باستخدام الشبكات العصبية الاصطناعية واختيرت المتغيرات التي تبين ا ن لها تاثيرا معنويا في متغير الاستجابة. ا ن ا ولى الخطوات في التحليل هي تحديد المدخلات للشبكة العصبية وكانت المتغيرات (عدد كريات الدم البيضاء فحص الدم الذي له علاقة بالهيموكلوبين ونوع الخلايا السرطانية) هي مدخلات الشبكة. تم تحديد العقد في الطبقة المخفية والذي يتحدد من خلال التدريب والعديد من التجارب الحاسوبية والجدول ٣ يوضح مقدار الخطا المطلق للشبكة. الجدول ٣ عدد العقد في الطبقة المخفية معمارية الشبكة الخطا المطلق الخطا للشبكة في هذا الاختبار تم تثبيت عدد مرات التدريب ب ١٠٠٠٠ مرة وقيمة متوسط مربعات الخطا ٠,٠١ ومعدل التعلم للشبكة ٠,٧ ويتضح من الجدول ا ن ا قل قيمة للخطا عند استخدام عصبونين للطبقة المخفية. تم تدريب شبكة عصبية ذات تغذية ا مامية لحين الوصول الى ا فضل شبكة عصبية ا عطت ا قل متوسط مربع للخطا والمو لفة من طبقة ا دخال ذات ٣ متغيرات ) 10 X و X 9 و X) 7 وطبقة مخفية واحدة مكونة من عصبونين ) 1 H و H) وطبقة ا خراج (y) وكانت دالة التنشيط المستخدمة هي دالة. Sigmoid والشكل الا تي يوضح الشبكة المستخدمة في التحليل: طبقة الاخراج الطبقة المخفية طبقة الادخال

12 رشاد وزكي[ ١٢ ] الشكل ٤ الشبكة العصبية المستخدمة في تحليل الانحدار ويوضح الجدول ٤ معادلة الانحدار وتحليل التباين لطريقة الشبكات العصبية الاصطناعية ذات التغذية الا مامية. الجدول ٤ معادلة الانحدار بطريقة الشبكات العصبية الاصطناعية The regression equation is output = x x x10 Predictor Coef SE Coef T P VIF Constant x x x ويلاحظ من قيم VIF في الجدولين ٢ و ٤ بان ليس هناك مشكلة تعدد العلاقات الخطية لكلتا الطريقتين. ويوضح الجدول ٥ نتاي ج تحليل التباين لكل من طريقتي الانحدار المتعدد والشبكات العصبية الاصطناعية ذات التغذية الا مامية. Analysis of Variance ا. طريقة الانحدار المتعدد الجدول ٥ تحليل التباين Source DF SS MS F P Regression Residual Error Total Analysis of Variance ب. طريقة الشبكات العصبية الاصطناعية Source DF SS MS F P Regression Residual Error Total

13 [١٣] استخدام الشبكات العصبية الاصطناعية... ومن مقارنة قيم MSe لكلتا الطريقتين يتبين با ن طريقة الشبكات العصبية الاصطناعية ذات التغذية الا مامية هي الا فضل في تحليل الانحدار المتعدد. وهذا ينسجم مع الحقاي ق الطبية التي تذكر ا ن الا مراض السرطانية تنشا في النخاع العظمي وتسبب احتلال حيز من مساحة النخاع العظمي يجعل الخلايا الطبيعية لا تجد مساحة كافية للتكاثر لا نتاج مكونات الدم من كريات الدم الحمراء ا و الصفاي ح الدموية. ولذلك تتميز كلها با نها تسبب فقر دم ا و ضعف الخلايا المتعادلة وبالتالي ضعف في المناعة ا و ضعف ا نتاج الصفاي ح الدموية في كل الا نواع المختلفة للسرطان تمتد يد السرطان الخبيثة الى القسم الخاص ا نتاج الخلايا البيضاء فتتكاثر بسرعة وبا عداد كبيرة فتخرج خلايا بيضاء كثيرة جدا لكنها غير طبيعية فتكون خلايا سرطانية ولا نها تتجمع وتتراكم بنخاع العظم فا نها تضعف ا نتاج الخلايا الا خرى ولا ن هذه الخلايا البيضاء غير الطبيعية تزاحم الخلايا الا خرى السليمة وتطغى عليها وتحد من ا نتاجها فا ننا نتوقع حدوث حالة من الا نيميا بسبب انخفاض الخلايا الحمراء مع ظهور بقع تحت الجلد بسب انخفاض الصفاي ح الدموية وهذا ما يفسر التناسب الطردي للمتغير. X9 ا ما بالنسبة للمتغير X 10 (نوع الخلايا السرطانية الحادة) ف نا ا نواع سرطانات الدم تنقسم ا لى ا ربعة ا نواع ري يسة هي : سرطان الدم النخاعي الحاد سرطان الدم الليمفاوي الحاد سرطان الدم النخاعي المزمن سرطان الدم الليمفاوي المزمن السرطان الحاد يعني ذلك ا نه يظهر فجا ة ويمكن ا ن تتدهور الحالة الصحية للمصاب بسرعة اذا لم يعالج في وقت مبكر. ا ذ ا ن في اللوكيميا الحادة تكون الخلايا الشاذة قاصرة عن النضج و تبقى غير بالغة و تستمر في التكاثر و الا حتشاد بالنخاع وتندفع في تطورها بسرعة متزايدة بحسب الا لية الطبيعية لدورة حياة الخلايا الطبيعية. وهذا ما يفسر العلاقة العكسية للمتغير X 10 مع نسبة الخلايا السرطانية. ويوضح الجدول ٧ قيم التكهن للطريقتين. ا ما الشكل ٥ فيبين رسم قيم التكهن التي تم الحصول عليها للطريقتين. الجدول ٧ ق ي م التكهن التكهن بطريقة الانحدار المتعدد التكهن بطريقة الشبكات العصبية

14 [١٤]يكزو داشر ددعتملا رادحنلاا ةقيرطب نهكتلا ةيبصعلا تاكبشلا ةقيرطب نهكتلا

15 [١٥] استخدام الشبكات العصبية الاصطناعية... الشكل ٥ قيم التكهن لطريقتي الانحدار المتعدد والشبكات العصبية الاصطناعية الاستنتاجات يستنتج من سياق البحث الا تي ١. ا ن الشبكات العصبية كانت الا فضل من طريقة الانحدار المتدرج اذ ا نها ا عطت ا قل قيمة لمتوسط مربعات الخطا. ٢. لاحظنا اختلاف نتاي ج الشبكات العصبية الاصطناعية عن طريقة الانحدار التدريجي وتبين من خلال ذلك ا فضلية الشبكات العصبية حيث ا ظهرت نتاي جها دقة ا كثر في كشف المتغيرات ذات الفروقات غير المعنوية. وتناسبت النتاي ج مع الحقاي ق الطبية.

16 رشاد وزكي[ ١٦ ] المراجع ا ولا - المراجع باللغة العربية. ١ الراوي خاشع محمود ١٩٨٧ "المدخل الى تحليل الانحدار" مديرية دار الكتب للطباعة والنشر جامعة الموصل.. ٢ الراوي عمر فوزي ٢٠٠٤ استخدام الدالة التمييزية في السيطرة النوعية رسالة ماجستير غير منشورة كلية علوم الحاسبات والرياضيات جامعة الموصل.. ٣ شربجي عبدالرزاق محمد ١٩٨١ "الانحدار الخطي المتعدد" مطابع وزارة التعليم العالي والبحث العلمي جامعة الموصل.. ٤ الشكرجي ذنون يونس ٢٠٠٥ استخدام مصفوفتي المتغيرات والافراد في التحليل العاملي رسالة ماجستير غير منشورة كلية علوم الحاسبات والرياضيات جامعة الموصل.. ٥ الموسوعة الصحية الحديثة. ثانيا - المراجع باللغة الاجنبية 1. Bruce D. Baker, 1998, A Comparison of Linear Regression and Neural Network Methods for Forecasting Educational Spending, Department of Teaching and Leadership, 0 Bailey Hall, University of Kansas.. Orna Intrator and Nathan Intrator, 001, INTERPRETING NEURAL-NETWORK RESULTS: A SIMULATION STUDY, Brown University, Computer Science Department, February. 3. Wikipedia, The Free Encyclopedia, Stepwise regression, (008),