反对向量机（SVM）是一种将按监督学习的形式对数据进行二元分类的线性分类器。其决策边界是对学习样本求解的最大超平面。

SVM根本型式

反对向量机的根本思维就是，在样本空间中找到一个线性可分的直线或是超平面（n维欧式空间中其余维度等于1的线性子空间，即必须是n-1维度，是二维空间中直线、三维空间中立体的延长），将不同类别的样本离开。

在数学上，认为在样本空间中，对不同类别的样本进行离开的直线或是超平面的方程为：

例如下图，实线将'+'和'-'进行分类：

对于样本空间中的任意一点到超平面的间隔为：

反对向量机的根本型式就是找到满足条件的、且具备最大间距的划分超平面。

SVM的核函数

之前探讨的是原始样本线性可分的状况，然而理论状况是，一些工作的原始样本并不一定存在一种能正确分为两类的超平面。

然而对于这种非线性的状况，SVM思考应用将原始样本映射到更高维的空间，而后在高维空间中结构出最优超平面，从而解决原始线性空间不可分的问题。

如下图，右边在二维立体上并不能进行线性分类，然而将映射到左边的三维空间上，求解出一个拆散超平面：

数学上的示意为：

拟合线性回归

应用svm形式，就是拟合的直线使得其SVM的最大间距可能尽可能多的蕴含已知点，且咱们认为被蕴含的已知点的损失为0。

应用Tensorflow进行编程的次要步骤次要分为四步：

1.生成训练数据

对于训练数据，通过模仿生成：

2.定义训练模型

在SVM模型中，咱们抉择间距最小的损失函数：

curry_y = x * a + bepsilon = tf.constant([0.25])   # 创立常量，示意间距为0.25loss = tf.reduce_sum(tf.maximum(0, tf.subtract(tf.abs(tf.subtract(curr_y, y)), epsilon)))

其中，reduce_sum()为求和函数;
maximum(x, y, name=None)为计算元素x,y中的最大值;
subtract(x, y, name=None)计算x-y;
abs(x)计算x的绝对值。

3.数据训练

4.运行总结

随着训练的进行，拟合的值与指标一直靠近：

将拟定的间距宽度值调小，再次进行训练。能够看到，将间距调小后，拟合直线的误差更小。

拟合逻辑回归

对于拟合线性回归，咱们须要找到一条直线来示意样本的大抵散布；而对于逻辑回归，同样是须要找到一条直线，但目标是将样本点进行分类。

SVM算法的提出，次要是为了解决‘是’与‘否’这样的二值分类的问题。

进行拟合逻辑回归次要须要以下几步：

1.筹备样本数据
2.定义训练模型
3.训练样本数据
4.抉择优化器

在SVM模型中，选取的损失函数为：

classification_term = tf.reduce_mean(tf.maximum(0., tf.subtract(1., tf.multiply(y, y_))))cross_entropy = tf.add(classification_term, tf.multiply(alpha, 12_norm))