多元线性回归中自变量筛选常用的方法有哪些

Question

多元线性回归中自变量筛选常用的方法有哪些

Answer 1

1．多元线性回归模型
4.2.1
其中X1、X2、……Xm为m个自变量(即影响因素)；β0、β1、β2、……βm为m+1个总体回归参数(也称为回归系数)；ε为随机误差.
　　当研究者通过试验获得了(X1,X2,…,Xm,Y)的n组样本值后,运用最小平方法便可求出式4.2.1中各总体回归参数的估计值b0、b1、b2、……bm,于是,多元线性回归模型4.2.1变成了多元线性回归方程式4.2.2.
(4.2.2)
　　2．回归分析的任务
　　多元回归分析的任务就是用数理统计方法估计出式4.2.2中各回归参数的值及其标准误差；对各回归参数和整个回归方程作假设检验；对各回归变量(即自变量)的作用大小作出评价；并利用已求得的回归方程对因变量进行预测、对自变量进行控制等等.
　　3．标准回归系数及其意义
　　对回归系数作检验可直接用式(4.2.2)中的bi及其标准误差所提供的信息；但要想对各回归系数之间进行比较就不那么方便了,因为各bi的值受各变量单位的影响.为便于比较,需要求出标准化回归系数,消除仅由单位不同所带来的差别.
　　设∶与一般回归系数bi对应的标准化回归系数为Bi,则　　
(4.2.3)
式(4.2.3)中的SXi、SY分别为自变量Xi和Y的标准差.
　　值得注意的是∶一般认为标准化回归系数的绝对值越大,所对应的自变量对因变量的影响也就越大.但是,当自变量彼此相关时,回归系数受模型中其他自变量的影响,若遇到这种情况,解释标准化回归系数时必须采取谨慎的态度.当然,更为妥善的办法是通过回归诊断(The Diagnosis of Regression),了解哪些自变量之间有严重的多重共线性(Multicoll-inearity),从而,舍去其中作用较小的变量,使保留下来的所有自变量之间尽可能互相独立.此时,利用标准化回归系数作出解释,就更为合适了.
　　4．自变量为定性变量的数量化方法
　　设某定性变量有k个水平(如ABO血型系统有4个水平),若分别用1、2、…、k代表k个水平的取值,是不够合理的.因为这隐含着承认各等级之间的间隔是相等的,其实质是假定该因素的各水平对因变量的影响作用几乎是相同的.
　　比较妥当的做法是引入k－1个哑变量(Dummy Variables),每个哑变量取值为0或1.现以ABO血型系统为例,说明产生哑变量的具体方法.
　　当某人为A型血时,令X1=1、X2=X3=0；当某人为B型血时,令X2=1、X1=X3=0；当某人为AB型血时,令X3=1、X1=X2=0；当某人为O型血时,令X1=X2=X3=0.
　　这样,当其他自变量取特定值时,X1的回归系数b1度量了E(Y／A型血)－E(Y／O型血)的效应； X2的回归系数b2度量了E(Y／B型血)－E(Y／O型血)的效应； X3的回归系数b3度量了E(Y／AB型血)－E(Y／O型血)的效应.相对于O型血来说,b1、b2、b3之间的差别就较客观地反映了A、B、AB型血之间的差别.
　　[说明]　E(Y／*)代表在“*”所规定的条件下求出因变量Y的期望值(即理论均值).
　　5．变量筛选
　　研究者根据专业知识和经验所选定的全部自变量并非对因变量都是有显著性影响的,故筛选变量是回归分析中不可回避的问题.然而,筛选变量的方法很多,详见本章第3节,这里先介绍最常用的一种变量筛选法──逐步筛选法.
　　模型中的变量从无到有,根据F统计量按SLENTRY的值(选变量进入方程的显著性水平)决定该变量是否入选；当模型选入变量后,再根据F统计量按SLSTAY的值(将方程中的变量剔除出去的显著性水平)剔除各不显著的变量,依次类推.这样直到没有变量可入选,也没有变量可剔除或入选变量就是刚剔除的变量,则停止逐步筛选过程.在SAS软件中运用此法的关键语句的写法是∶
　　MODEL Y = 一系列的自变量 / SELECTION=STEPWISE SLE=p1 SLS=p2;
具体应用时,p1、p2应分别取0～1之间的某个数值.