2020-06-02 阅读量: 1153
以两个特征为例,假设有特征x1和x2,如果x1和x2之间没有共线性或仅有一点共线性(x1和x2在二维空间中展现非线性关系),此时,如果采用线性回归(y = a1x1+a2x2+a3)的方法,拟合的平面(其中y是第三个纬度)是无偏且”最好”的平面.如果x1和x2之间存在较为明显的共线性(x1可以用x2表示,则x1和x2呈一维图像而不是二维图像),如果仍用线性回归对数据进行拟合,会产生无数个与x1和x2交互的平面,具体模型会选择哪个平面,取决于数据中影响力大的点.如果将数据点改变一点点,拟合的最佳平面就会变化很大.因此,岭回归可以抑制共线性的影响是通过限制x1和x2的取值范围,将最佳平面不断朝偏差为零的方向转变.
