共计 597 个字符，预计需要花费 2 分钟才能阅读完成。
思维：找一条曲线，使得所有样本点到这条曲线的间隔的最小值最大
点 x 到直线的间隔：
$$
l = \frac{1}{{\left\| w \right\|}}({w^T}x + b)
$$
对于二分类，y 取值只有 - 1 和 1，那么同号示意分类正确，异号示意分类谬误。在感知算法中，这样的超平面会有多个要找到最好的一个。
几何距离：$\widehat {{y_i}} = {y_i}({w^T}{x_i} + b)$
函数距离：$\widehat {{y_i}} = {y_i}\frac{1}{{\left\| w \right\|}}({w^T}{x_i} + b)$
能够看到说 w，b 同时扩充超平面是不变的，有：
$$
\mathop {\max}\limits_{w,b} \widehat y\& \& {y_i}({w^T}{x_i} + b) \ge \widehat y,i = 1,2,…,m
$$
因为 $\widehat y$ 取值不会影响 w,b，因而取 $\widehat y=1$，引入松弛变量：
$$
\begin{array}{l}
\mathop {\min}\limits_{w,b,\xi} \left\| w \right\| + c\sum\limits_{i = 1}^m {{\xi _i}} \\
s.t.{y_i}({w^T}{x_i} + b) \ge 1 – {\xi _i},i = 1,2,…,m
\end{array}
$$
而后用拉格朗日乘数法，转换成无约束问题，用 SMO 进行求解。
正文完
