anranhui

2020-06-24   阅读量: 1911

线性代数 梯度下降 MSE SSE

为什么损失函数是MSE的时候,使用梯度下降法最好。

扫码加入数据分析学习群

我们要求解函数的最优解,当不易求解时就选择反方向思路,构造一个损失函数,来求取损失函数的最小值。

损失函数可求导后为凸函数时,则可以直接等于0,求解最小值。

损失函数可求导后不是凸函数时,则需要使用梯度下降法,因此梯度下降法需要损失函数可求导。


image.png

为什么说损失函数MSE比SSE更加适合使用梯度下降法呢,

image.png

SSE则是没有除样本n,那么当样本量大的时候,梯度值算出的也比较大,步长就要尽量小。选择步长时就更加敏感。而我们选择MSE,在SSE的基础上对样本做一个平均就不会出现这个问题。


31.1784 5 2 关注作者 收藏

评论(0)


暂无数据

推荐课程

推荐帖子