扫码加入数据分析学习群

线性回归
找到一个超平面来拟合我们的数据点.
误差服从高斯分布
解析解-直接计算得来
数值解-不断逼近得来
凸函数
数据进行标准化与归一化与否.理论上影响不大,但影响精度.
对数据归一化,有利于迭代,加快收敛速度.
岭回归把系数变小,但不会丢弃,拉手回归最后会丢弃系数
数据集与测试集划分与网格搜索的随机会影响参数

线性回归分类:
1,标准线性回归
2,欠拟合:多项式变换,按标准线性回归流程
3,过拟合:岭回归,L2,正则
lasso回归,L1,正则
弹性网,L1+L2

求解方法:
最小二乘法:解析解
梯度下降:数值解(一阶导)
批量梯度下降
随机梯度下降
小批量梯度下降
坐标轴下降法(拉手回归,弹性网)
牛顿法(二阶导,比梯度下降法更快)
拟牛顿法(牛顿法需要求黑塞矩阵的逆,用正定矩阵代替)
共轭梯度(利用一阶导,可以下降快,同时不需要黑塞矩阵的逆)