关于人工智能:3SVM支持向量机

思维：找一条曲线，使得所有样本点到这条曲线的间隔的最小值最大

点x到直线的间隔：

$$
l = \frac{1}{{\left\| w \right\|}}({w^T}x + b)
$$

对于二分类，y取值只有-1和1，那么同号示意分类正确，异号示意分类谬误。在感知算法中，这样的超平面会有多个要找到最好的一个。

几何距离：$\widehat {{y_i}} = {y_i}({w^T}{x_i} + b)$
函数距离：$\widehat {{y_i}} = {y_i}\frac{1}{{\left\| w \right\|}}({w^T}{x_i} + b)$
能够看到说w，b同时扩充超平面是不变的，有：

$$
\mathop {\max }\limits_{w,b} \widehat y\& \& {y_i}({w^T}{x_i} + b) \ge \widehat y,i = 1,2,…,m
$$

因为$\widehat y$取值不会影响w,b，因而取$\widehat y=1$，引入松弛变量：

$$
\begin{array}{l}
\mathop {\min }\limits_{w,b,\xi } \left\| w \right\| + c\sum\limits_{i = 1}^m {{\xi _i}} \\
s.t.{y_i}({w^T}{x_i} + b) \ge 1 – {\xi _i},i = 1,2,…,m
\end{array}
$$

而后用拉格朗日乘数法，转换成无约束问题，用SMO进行求解。