Svm

反对向量机（SVM）是一种将按监督学习的形式对数据进行二元分类的线性分类器。其决策边界是对学习样本求解的最大超平面。 SVM根本型式反对向量机的根本思维就是，在样本空间中找到一个线性可分的直线或是超平面（n维欧式空间中其余维度等于1的线性子空间，即必须是n-1维度，是二维空间中直线、三维空间中立体的延长），将不同类别的样本离开。 在数学上，认为在样本空间中，对不同类别的样本进行离开的直线或是超平面的方程为： 例如下图，实线将'+'和'-'进行分类： 对于样本空间中的任意一点到超平面的间隔为： 反对向量机的根本型式就是找到满足条件的、且具备最大间距的划分超平面。 SVM的核函数之前探讨的是原始样本线性可分的状况，然而理论状况是，一些工作的原始样本并不一定存在一种能正确分为两类的超平面。 然而对于这种非线性的状况，SVM思考应用将原始样本映射到更高维的空间，而后在高维空间中结构出最优超平面，从而解决原始线性空间不可分的问题。 如下图，右边在二维立体上并不能进行线性分类，然而将映射到左边的三维空间上，求解出一个拆散超平面： 数学上的示意为： 拟合线性回归应用svm形式，就是拟合的直线使得其SVM的最大间距可能尽可能多的蕴含已知点，且咱们认为被蕴含的已知点的损失为0。 应用Tensorflow进行编程的次要步骤次要分为四步： 1.生成训练数据 对于训练数据，通过模仿生成： 2.定义训练模型 在SVM模型中，咱们抉择间距最小的损失函数： curry_y = x * a + bepsilon = tf.constant([0.25]) # 创立常量，示意间距为0.25loss = tf.reduce_sum(tf.maximum(0, tf.subtract(tf.abs(tf.subtract(curr_y, y)), epsilon)))其中，reduce_sum()为求和函数;maximum(x, y, name=None)为计算元素x,y中的最大值;subtract(x, y, name=None)计算x-y;abs(x)计算x的绝对值。 3.数据训练 4.运行总结 随着训练的进行，拟合的值与指标一直靠近： 将拟定的间距宽度值调小，再次进行训练。能够看到，将间距调小后，拟合直线的误差更小。 拟合逻辑回归对于拟合线性回归，咱们须要找到一条直线来示意样本的大抵散布；而对于逻辑回归，同样是须要找到一条直线，但目标是将样本点进行分类。 SVM算法的提出，次要是为了解决‘是’与‘否’这样的二值分类的问题。 进行拟合逻辑回归次要须要以下几步： 1.筹备样本数据2.定义训练模型3.训练样本数据4.抉择优化器在SVM模型中，选取的损失函数为： classification_term = tf.reduce_mean(tf.maximum(0., tf.subtract(1., tf.multiply(y, y_))))cross_entropy = tf.add(classification_term, tf.multiply(alpha, 12_norm))