معالجة مشكلة التعدد الخطي في الانموذج المعلمي باستخدام بعض طرائق الانكماش
Addressing the problem of Multicollinearity in parametric model using some shrinkage methods
الكلمات المفتاحية:
طرائق الانكماش، مشكلة التعدد الخطي، طريقة لاسو، طريقة الستيك- نت، Shrinkage Methods، Multicollinearity، Lasso method، Elastic- Net methodالملخص
المستخلص :
ان مشكلة التعدد الخطي (Multicollinearity) هي مشكلة مؤثرة في تحليل الانحدار و ان طريقة المربعات الصغرى الاعتيادية (OLS) قد تؤدي الى تباين كبير في تقديرات معاملات الانحدار في ضل وجود مشكلة التعدد الخطي ولمعالجة هذه المشكلة تم استخدام بعض طرائق الانكماش (Shrinkage Methods) لتقدير انموذج الانحدار الخطي العام و هي( طريقة Lasso وطريقة Elastic- Net ) وهذه الطرائق تعمل على اختزال التغير في التقديرات من خلال انكماش المعاملات و في نفس الوقت تنتج نماذج قابلة للتفسير بواسطة انكماش بعض المعاملات وبالضبط الى الصفر . وفي هذا البحث نبين اداء هذه الطرائق في ظل وجود مشكلة التعدد الخطي (Multicollinearity) من خلال تطبيقها على بيانات حقيقية والتوصل الى الطريقة الافضل بالاعتماد على معيار المقارنة متوسط مربعات الخطأ ( MSE) اذ حققت طريقة (Elastic Net ) افضليتها و تم الحصول على كافة النتائج بالاعتماد على البرنامج الاحصائي (SPSS).
Abstract
Multicollinearity has been a serious problem in analysis of Regression , The ordinary least squares method (OLS) may result in high variability in the estimates of the regression coefficients in the presence of multicollinearity .To address this problem using some shrinkage methods for estimation general linear model (GLM) it’s ( Lasso and Elastic- Net methods) and this methods reduces the variability of the estimation by shrinkage the coefficients and at the same time produces interpretable models by shrinkage some coefficients to exactly zero. In this research show performance these methods in serious multicollinearity by Application on real data and reach to beast method based on mean squares error (MSE) and it’s ( Elastic- Net ) method . All results were obtained depend on (SPSS) program.
التنزيلات
المراجع
1. Al –momani, M. ,(2013), “ shrinkage and penalty estimation strategies in some partial models” . university of Windsor . Canada . these of doctor philosophy in statistics.
2. Gafar . ,M. , O, eyitayo. , O., O. and Adeyinka . , I, F, (2015). “On performance of shrinkage methods – Amontecarlo study ” .International journal of statistic and application , 5(2) , pp . 72-76.
3. Joseph , O. Ogutu and Hans , P,P, (2014) , “ Regularized group regression methods for genomic prediction : Bridge , Mcp, SCAD, group bridge , group Lasso , sparse group Lasso , group Mcp and group SCAD” , Puplished in BMC proceeding volume and , supplement 5.
4. Nan . X , and Qing . S. , X, (2015), “ Multi –step Adaptive elastic , net , reducing false positive in high – dimensional variable selection” . Journal of statistical computation and simulation . volume 85. Issue 18, pp1-11.
5. Peng ., H. and Huang ., T, (2011) , “ Penelized least squares for single index models” .Journal of statistical planning and inference 14 , (2011) , pp. 1362-1379.
6. Saria,I.(2010), “ A comparative study of the Lasso –Type and herristic model selection models”. Jahibucher for national okonomie and statistic , volume 233, Issue 4 , pp. 526-549.
7. Su, L, and ZHANG , Y. ,(2012) , “ variable selection in nonparametric and semiparametric regression models”, school of Economics , Singapore , management university .
8. Tibshirani, R., (1996), “Regression shrinkage and selection Via the Lasso” . Journal of the Royal statistical society . Vol 58 . No.1 , pp267-288.
