2020-07-28 阅读量: 669
最小二乘法
（1）多元回归中，ols 可以处理多个自变量的情况，寻求残差平方和最小化；
（2）将数据视为矩阵，利用线性代数寻求系数最优化，对内存要求很高；
（3）大数据场景下，存在线性和内存约束问题。
（4）小数据情况的常用算法；
正则化法
（1）一方面寻求最小化模型误差，另一方面可以减少模型复杂度（取 L1 绝对值），如自
变量个数很多的时候，选择较少的重要变量来表示模型。
（2）有利于消除共线性和过拟合现象。
（3）高维及数据稀疏问题得以极大的缓解，但内存问题仍然是主要的缺点；
梯度下降法
（1）以迭代的方式，最小化模型误差，有效处理多维问题；
（2）参数学习率 alpha 控制每次迭代的步长；
（3）大型的行和列不会写入内存，极大地缓解内存压力。
（4）擅长结合正则功能处理稀疏数据问题。
