姚慧扬

2020-07-28   阅读量: 39

统计学

算法特征汇总

最小二乘法

(1)多元回归中,ols 可以处理多个自变量的情况,寻求残差平方和最小化;

(2)将数据视为矩阵,利用线性代数寻求系数最优化,对内存要求很高;

(3)大数据场景下,存在线性和内存约束问题。

(4)小数据情况的常用算法;


正则化法

(1)一方面寻求最小化模型误差,另一方面可以减少模型复杂度(取 L1 绝对值),如自

变量个数很多的时候,选择较少的重要变量来表示模型。

(2)有利于消除共线性和过拟合现象。

(3)高维及数据稀疏问题得以极大的缓解,但内存问题仍然是主要的缺点;


梯度下降法

(1)以迭代的方式,最小化模型误差,有效处理多维问题;

(2)参数学习率 alpha 控制每次迭代的步长;

(3)大型的行和列不会写入内存,极大地缓解内存压力。

(4)擅长结合正则功能处理稀疏数据问题。


31.0330 3 1 关注作者 收藏

评论(0)


暂无数据

推荐帖子

推荐课程