扫码加入数据分析学习群

神经网络
参数初始化,不能全部置为0,参数wij与bi初始化为一个很小的,接近零的随机值
初始化目的是使对称失效
模型越复杂,需要的隐含节点个数越多
后面层的学习率低于前面的学习率,随着隐藏层的增加而分类精度下降,称为梯度消失(更新率太小)
np.dot(a,b)实现矩阵相乘,返回数组

分类问题在回归问题上接了个softmax函数

回归问题:隐藏层有激活函数(指定),输出端没有激活函数,损失函数为平方误差,最小化平方误差,只有一个输出端口
分类问题:隐藏层有激活函数(指定)
二分类:输出端为sigmod函数
多分类:输出端加softmax函数,损失函数为交叉熵函数,最小化交叉熵

神经网络容易过拟合(默认全连接)
算法层面解决方案:
1.控制隐藏层数
2.控制隐藏层神经元数量
3.正则化
4.dropout(神经元连线去掉)
深度学习框架
CNN,RNN,LSTM,BERT