前两期小 Mi 带大家学习了反对向量机的优化问题、如何失去大间距分类器以及其背地的数学原理，明天小 Mi 最初一讲让咱们疾速果决地完结反对向量机的学习哈。小 Mi 废话不多说！
4 Kernel（一）
之前小 Mi 已经提过，如果遇到无奈用直线进行分隔的分类问题时，能够适当采纳高级数的多项式模型来解决：
为了取得上图所示的断定边界，咱们的模型可能是这样的模式。
用一系列的新的特色来替换模型中的每一项。例如，令：失去。然而，除了对原有的特色进行组合以外，有没有更好的办法来结构呢？
这时候小 Mi 就要隆重介绍下核函数这个新的定义啦。
给定一个训练样本，利用各个特色与事后选定的地标 (landmarks) 的近似水平来选取新的特色。
例如：
其中：，为实例中所有特色与地标之间的间隔的和。上例中的就是核函数，更具体地说，这是一个高斯核函数(Gaussian Kernel)。注：这个函数与正态分布没什么关系，只是看上去像而已。
这样一来地标的作用又是什么呢？如果一个训练样本与地标之间的间隔近似于 0，那么新特色近似于；如果训练样本与地标之间间隔较远，则近似于。
假如训练样本含有两个特色，给定地标与不同的值，见下图：
图中水平面的坐标为，而垂直坐标轴代表。能够看出，只有当与重合时才具备最大值。随着的扭转，值扭转的速率受到的管制。
在上图中，当样本处于分红色的点地位处，因为其离更近，然而离和较远，因而靠近 1，而靠近 0。从而，预测。同理能够求出，对于离较近的绿色点，也预测，然而对于蓝绿色的点，因为其离三个地标都较远，预测。
这样，图中红色的关闭曲线所示意的范畴，便是咱们根据一个繁多的训练样本和咱们选取的地标所得出的断定边界，在预测时，咱们采纳的特色不是训练样本自身的特色，而是通过核函数计算出的新特色。
5 Kernel（二）
既然咱们曾经提出了核函数这个概念，那么如何利用它去实现反对向量机的一些新个性，并且怎么在理论中利用呢？
首先，咱们须要解决的是如何选择地标的问题。
通常依据训练集的数量选择地标的数量，即如果训练集中有个样本，则选取个地标，并且令:。这样做的益处在于：当初咱们失去的新特色是建设在原有特色与训练集中所有其余特色之间间隔的根底之上的，即：
上面咱们将核函数使用到反对向量机中，批改反对向量机的假如为：
给定，计算新特色，过后，预测，否则反之。
相应地批改代价函数为：，
在具体运行过程中，还须要对最初的正则化项进行些微调整，在计算时，用代替，其中是依据咱们抉择的核函数而不同的一个矩阵。这样做的起因是为了简化计算。
实践上讲，咱们也能够在逻辑回归中应用核函数，然而下面应用来简化计算的办法不适用于逻辑回归，因为计算将十分消耗工夫。
在应用现有的软件包（如 liblinear,libsvm 等）最小化代价函数之前，咱们通常须要编写核函数，并且如果应用高斯核函数的话，那么在应用之前进行特色缩放是十分必要的。
另外，反对向量机也能够不应用核函数，不应用核函数又称为线性核函数(linear kernel)，当咱们不采纳非常复杂的函数，或者训练集特色十分多而样本非常少的时候，能够采纳这种不带核函数的反对向量机。
上面是反对向量机中两个参数和大小产生的影响：
较大时，相当于较小，可能会导致过拟合，高方差；
较小时，相当于较大，可能会导致低拟合，高偏差；
较大时，可能会导致低方差，高偏差；
较小时，可能会导致低偏差，高方差。
这就是利用核函数的反对向量机算法，心愿能够帮忙大家对于算法后果预期有一个直观的印象。
6 反对向量机的应用
目前为止，咱们曾经探讨了反对向量机比拟形象的层面，本节会波及到如何使用反对向量机。实际上，反对向量机算法提出了一个最优化的问题。不倡议大家本人写代码求解参数，只须要晓得如何去调用库函数来实现这些性能。强烈建议应用高优化软件库中的一个（比方 liblinear 和 libsvm）。当然除了高斯核函数之外咱们还有其余一些抉择，如：
多项式核函数（Polynomial Kernel）
字符串核函数（String kernel）
卡方核函数（chi-square kernel）
直方图交加核函数（histogram intersection kernel）
等等 …
这些核函数的指标也都是依据训练集和地标之间的间隔来构建新特色，核函数须要满足 Mercer’s 定理，能力被反对向量机的优化软件正确处理。
多类分类问题
假如利用一对多办法来解决一个多类分类问题。如果一共有个类，则咱们须要个模型，以及个参数向量。同样，也能够训练个反对向量机来解决多类分类问题。然而大多数反对向量机软件包都有内置的多类分类性能，咱们只有间接应用即可。
除此之外，反对向量机还须要咱们提供如下内容：
1、参数的抉择。在之前的学习中曾经探讨过误差 / 方差在这方面的性质。
2、须要抉择内核参数或想要应用的类似函数，（如果抉择不须要任何内核参数的函数，即抉择线性核函数；具体来说，如果有人说他应用了线性核的反对向量机，这就象征这他应用了不带有核函数的反对向量机
同时，逻辑回归模型和反对向量机模型两者之间，咱们应该如何抉择呢？
上面是一些通常会应用到的准则：
为特色数，为训练样本数。
(1)如果相较于而言，要大许多，即训练集数据量不够反对咱们训练一个简单的非线性模型，选用逻辑回归模型或者不带核函数的反对向量机。
(2)如果较小，而且大小中等，例如在 1 -1000 之间，而在 10-10000 之间，应用高斯核函数的反对向量机。
(3)如果较小，而较大，例如在 1 -1000 之间，而大于 50000，则应用反对向量机会十分慢，解决方案是发明、减少更多的特色，而后应用逻辑回归或不带核函数的反对向量机。
值得一提的是，神经网络在以上三种状况下都可能会有较好的体现，然而训练神经网络可能十分慢，抉择反对向量机的起因次要在于它的代价函数是凸函数，不存在部分最小值。
当初的反对向量机有时候依然会存在速度较慢的问题，当咱们有十分十分大的训练集，且用高斯核函数时，能够尝试手动创立更多的特色变量，而后用逻辑回归或者不带核函数的反对向量机。逻辑回归和不带核函数的反对向量机它们都是十分类似的算法，不论是逻辑回归还是不带核函数的反对向量机，通常都会做类似的工作，并给出类似的后果。然而依据实现的状况，其中一个可能会比另一个更加无效。随着反对向量机的复杂度减少，当应用不同的内核函数来学习简单的非线性函数时，如果有上万的样本，那么特色变量的数量将是相当大的。这时不带核函数的反对向量机就会体现得相当突出。
而对于许多问题，神经网络训练起来可能会特地慢，然而如果有一个十分好的反对向量机的实现包，它可能会运行得比神经网络快很多，因为反对向量机具备优化的性能，是一种凸优化问题。因而，好的反对向量机优化软件包总是会找到全局最小值，或者靠近它的值。对于反对向量机而言，并不需要放心部分最优。在理论利用中，部分最优不是神经网络所须要解决的一个重大问题，所以在应用反对向量机的时候并不需要放心这个问题。通常更加重要的是：你有多少数据，是否善于做误差剖析和排除学习算法，指出如何设定新的特色变量和找出其余能决定学习算法的变量等等，通常这些方面会比决定是应用逻辑回归还是反对向量机更重要。
当然，反对向量机依然被宽泛认为是一种最弱小的学习算法，蕴含了什么时候一个无效的办法去学习简单的非线性函数。因而，实际上逻辑回归、神经网络、反对向量机能够综合应用来进步学习算法。
好啦，对于反对向量机的介绍就到这里完结啦~ 下周小 Mi 给大家来点不一样的，期待不？！咱们，下周再见呦（挥手十分钟！）