共计 2422 个字符，预计需要花费 7 分钟才能阅读完成。
上周小 Mi 带大家学习了反对向量机的优化问题以及如何失去大间距分类器，而这背地的数学原理大家是否略知一二呢？明天跟着小 Mi 前面缓缓推理，帮忙大家对反对向量机中的优化问题，以及如何失去大间距分类器，产生更好的直观了解。
3 大边界分类背地的数学
首先，咱们须要理解下向量内积这个知识点（敲黑板了哦~）。假如有两个向量和，两者都是二维向量，须要计算一下的后果，这里的就叫做向量和之间的内积。
因为是二维向量，向量和均能够用图像示意进去。将向量合成为横轴上的和纵轴上的。当初，很容易计算的一个量就是向量的范数。示意的范数，即的长度（这里的长度是指欧几里得长度—在 m 维空间中两个点之间的实在间隔或者向量的天然长度，即该点到原点的间隔）。依据毕达哥拉斯定理（这里小 Mi 成心说得派头了点，听不懂了吧，其实就是勾股定理，哈哈），，这是向量的长度，它是一个实数。
当初让咱们来看看向量，是另一个向量，它的两个重量和是已知的，那么和之间的内积又是如何计算的呢？咱们将向量投影到向量上，这是一个直角投影，上图中红线的长度就是向量投影到向量上的量，咱们设定其为，是投影到向量上的长度，因而能够得出，这是计算内积的一种办法。
如果咱们从几何上画出的值，同时画出的范数，同样也能够计算出内积，答案是一样的。另一个计算公式是：就是这个一行两列的矩阵乘以，后果为。依据线性代数的常识，这两个公式会给出同样的后果。
BTW，依据计算其实咱们能够证实得出。那么如果计算的时候将和替换地位，将投影到上，实际上最终能够失去同样的后果。（等式中的范数是一个实数，也是一个实数，因而就是两个实数失常相乘。）
Last but not least，须要留神的是值，实际上是有符号的，即它可能是正值，也可能是负值。如果向量和之间的夹角大于 90 度，则如果将投影到上，会失去上图红线示意的一个投影，这就是的长度，在这个情景下等于乘以的范数成立，惟一一点不同的是在这里是负的。
因而，在内积计算中，如果和之间的夹角小于 90 度，那么长度是正值；然而如果这个夹角大于 90 度，则将会是负的，从而两个向量之间的内积也是负的。
以上就是对于向量内积的常识啦，接下来小 Mi 将会应用这些对于向量内积的性质来帮忙大家了解反对向量机中的指标函数。
先前给出的反对向量机模型中的指标函数如上图。为了更容易剖析，这里做一点简化。
首先疏忽截距，令，这样更容易画示意图。将特色数 n 设置为 2，因而咱们仅有两个特色，即时，反对向量机的优化指标函数能够写为：。
这里疏忽的话，的范数仅仅和无关。事实上，数学里不论是否蕴含，其实前面的推导并没有太大差异，最终也就意味着咱们的指标函数是等于。因而反对向量机做的全副事件，就是极小化参数向量范数的平方，或者说长度的平方。
而中和就相似于之前提到的向量和。
如上图所示，咱们考查一个繁多的训练样本，有一个正样本程度轴上取值为，竖直轴上取值为。事实上，它就是一个始于原点，起点地位在训练样本点（红色“×”处）的向量。同样，也相似示意，那么内积将会是什么样的呢？
应用之前的办法，计算形式就是将训练样本投影到参数向量，将这个线段画成红色。这里将其称为，示意这是第个训练样本在参数向量上的投影。依据咱们之前求证出的后果，咱们晓得将会等于乘以向量的长度或范数，也等于。
这里小 Mi 有了一个新发现！说白了，约束条件或者是能够被这个束缚所代替的。，将其写入优化指标：
值得注意的是，优化指标函数能够被写成等于，。以上图的这些训练样本为例，反对向量机又会抉择什么样的决策界呢？
咱们假如反对向量机会抉择绿线这个决策边界，然而这并不是一个十分好的抉择，因为它的间距很小，决策界离训练样本的间隔很近。
对于参数抉择，能够看到参数向量事实上是和决策界 90 度正交的，因而这个绿色的决策界对应着一个参数向量，而的简化意味着决策界必须通过原点。当初让咱们看一下这对于优化指标函数意味着什么。
比方第一个样本，该样本到的投影，是上图中这个短短的红线段。相似地，样本到的投影，是上图中的粉色线段。实际上，是一个负值，在相同的方向，因为向量和参数向量的夹角大于 90 度，所以的值小于 0。
一个个试验了之后，咱们会发现这些将会是十分小的数。而优化指标函数时，对于正样本而言，须要，如果十分小，那就意味着的范数须要十分大。然而咱们的指标函数是心愿找到一个参数，它的范数是小的。因而，绿色的这条线并不是一个好的参数向量的抉择。
来看另一条齐全不同的决策边界，图像会因而有很大不同。如果上图的绿线是决策边界，那么绝对应的参数的方向与之垂直，是纵向的直线。那么样本在横轴上的投影就能够得出。样本的投影为，是负值。
这时候咱们会留神到当初的和长度比之前长多了。如果须要满足这个约束条件，当初变大了，那么的范数就能够变小了。
这时候，反对向量机就能够使参数的范数变小很多，这也是反对向量机为什么可能无效地产生大间距分类的起因。
总结来说，咱们心愿正样本和负样本投影到的值足够大，要做到这一点的惟一形式就是抉择这条绿线作为决边策界，通过大间距决策界来辨别开正样本和负样本。实际上这个间距的值就是等等的值。因而通过让间距变大，即便的值变大，反对向量机最终能够找到一个较小的的范数。这正是反对向量机中最小化指标函数的目标，也是反对向量机最终会找到大间距分类器的起因。因为它试图极大化这些的范数，它们是训练样本到决策边界的间隔。
最初一点须要留神的是，咱们的推导从头至尾应用了这个简化假如。作用就是：最终失去的决策界是通过原点的。当然如果不简化公式，的话，反对向量机产生大间距分类器的论断同样会被证实同样成立。（大家能够动动手本人推导试试哦~）
废话不多说，明天小 Mi 想通知大家的就是，反对向量机优化指标函数对应着 C 值十分大的状况，即使不等于 0，反对向量机依然会找到正样本和负样本之间的大间距分隔。
下周小 Mi 带大家学习如何利用反对向量机的原理建设一个简单的非线性分类器，咱们下周，再见呦（挥手十分钟！）。