思维:找一条曲线,使得所有样本点到这条曲线的间隔的最小值最大
点x到直线的间隔:
$$l = \frac{1}{{\left\| w \right\|}}({w^T}x + b)$$
对于二分类,y取值只有-1和1,那么同号示意分类正确,异号示意分类谬误。在感知算法中,这样的超平面会有多个要找到最好的一个。
几何距离:$\widehat {{y_i}} = {y_i}({w^T}{x_i} + b)$
函数距离:$\widehat {{y_i}} = {y_i}\frac{1}{{\left\| w \right\|}}({w^T}{x_i} + b)$
能够看到说w,b同时扩充超平面是不变的,有:
$$\mathop {\max }\limits_{w,b} \widehat y\& \& {y_i}({w^T}{x_i} + b) \ge \widehat y,i = 1,2,...,m$$
因为$\widehat y$取值不会影响w,b,因而取$\widehat y=1$,引入松弛变量:
$$\begin{array}{l}\mathop {\min }\limits_{w,b,\xi } \left\| w \right\| + c\sum\limits_{i = 1}^m {{\xi _i}} \\s.t.{y_i}({w^T}{x_i} + b) \ge 1 - {\xi _i},i = 1,2,...,m\end{array}$$
而后用拉格朗日乘数法,转换成无约束问题,用SMO进行求解。