扫码加入数据分析学习群

SVM的SMO算法
如果只对一个a优化,简介使a也成了常数,a可以右其余a表示

优化算法:
梯度下降法
坐标轴下降法
SMO算法

线性SVM:硬边距,软边距(允许有错误)
硬边距求解:
1.目标:分类间隔最大,优化:分割面
2.两个约束条件:分割面能够把正负样本点分开;点到分割面的距离最大,点事支持向量点
3.约束条件转换到一个不等式中:支持向量的点到面的距离最小
4.将有约束条件的优化问题转换为无约束条件的优化问题,通过引入拉格朗日函数
5.SMO求解:固定其他参数,每次优化两个参数
软边距:引入松弛变量和惩罚参数,允许有些点错分


非线性SVM
核函数有效减少了计算量.通过核函数,低维空间线性不可分,高维空间线性可分,
采用线性SVM求解方法.
使用SVM先考虑线性,在考虑其他


集成学习
1.个体学习器错误率低于0.5
2.个体学习器不一样(就有类型不一样,knn,svm,模型参数不一样)

同质个体学习器:应用最广泛,(同一种模型),采用决策树模型或神经网络