download：七月在线机器学习集训营 15 期 2022 最新天涯共此时
深度学习指标检测 R -CNN，快，快
流程图
R-CNN(具备 CNN 特色的区域) 是深度学习畛域的经典框架之一。卷积神经网络 (CNN) 首次被引入指标检测畛域，并获得了优异的成果。为了实现这一指标，本文解决了两个次要问题: 用深度网络定位指标，用大量标注数据集训练高容量模型。
构造
指标检测包含三个模块。
生成独立的区域候选框。
更大的卷积网络用于从每个区域提取固定长度的特征向量。
用于分类的一些线性 SVM(反对向量机)
最初其实还有一部分，用回归算法来细化候选区域。根本流程图如下:
确定候选区域
文章的这一部分应用选择性搜寻，这是一种传统的指标检测算法。文章只是顺带一提，这里就不赘述了。算法的具体原理能够参考: 理解选择性搜寻 -Zhihu (zhihu.com)。
这里应用它来生成两千个候选区域。
特色抽出
在该局部中，通过五个卷积层和两个全连贯层，将输出的 227*227 RGB 图像提取为 4096 维特征向量。卷积网络的构造如下:
对于任意面积大小的图像，这里最初的办法是间接拉伸，换算成 227*227。然而在拉伸之前，面积框会被放大，这样拉伸进去的图片就有了原图的 P 像素上下文 (这里 p = 16)。
在本文的反对资料中探讨了几种不同的 warp 办法。
SVM+NMS
对于每个类别，作者应用相应的训练 SVM 对提取的特征向量进行评分。当对所有候选区域进行评分时，对每个类别应用 NMS(非最大克制)算法，并扔掉那些具备较高白条的区域。
给定阈值的区域。这一部分的详细描述如下:
借据
顾名思义，交加超过并集计算两个矩形框的交加面积除以并集面积。
该值的取值范畴为 [0，1]，0 示意齐全不相交，1 示意完全相同。
网络管理站(Network Management System)
NMS 用于删除反复的框，成果如下
其算法原理并不简单，次要有以下几个步骤:
给定 n 个候选框，依照分数排序。
遍历每个框，计算它与其余框的 IoU，如果它大于某个阈值，则抛弃相应的框 (因为这两个框很可能是同一个货色)
反复上述步骤，直到所有盒子都被解决(保留或抛弃)。
Python 代码如下:
将 numpy 作为 np 导入
def nms(dets，thresh):
” ” “:dets 给出的候选人框
: 阈值
预约的退货箱
“””
获取对于 dets 的各种信息
x1 = dets[:，0]
y1 = dets[:，1]
x2 = dets[:，2]
y2 = dets[:，3]
分数 = 细节[:，4]
面积 = (x2 – x1 + 1) * (y2 – y1 + 1)
order = scores.argsort()[::-1]
keep = []
当 order.size > 0 时:
i = 程序[0]
keep.append(i)
xx1 = np.maximum(x1[i]，x1[order[1:]])
yy1 = np.maximum(y1[i]，y1[order[1:]])
xx2 = np.minimum(x2[i]，x2[order[1:]])
yy2 = np.minimum(y2[i]，y2[order[1:]])
w = np.maximum(0.0，xx2 – xx1 + 1)
h = np.maximum(0.0，yy2 – yy1 + 1)
inter = w * h
计算欠条
ovr = inter/(areas[I]+areas[order[1:]]-inter)
保留那些 IoU 低于 thresh 的盒子
inds = np.where(ovr
order = order[inds + 1]
返回保留
复制代码
火车
预培训
在 CNN ILSVRC 2012 训练集上进行预训练，训练集有图像级标注 (即没有候选框)。
调整
为了使细胞神经网络适应指标检测的新工作，作者应用缩放后的候选区域对网络进行微调。在这个过程中，网络的最初一层 (分类输入层) 由 1000 维变为 21 维 (20 个不同的指标 + 背景)，其余层的构造不变。作者将所有人工标注方框的 IOU 大于 0.5 的区域都视为失常类(即对应的分类)，IoU 小于 0.3 的区域为背景(这两个值别离为{0，0.1，…，0.5} 通过网格搜寻四舍五入)。
梯度降落的初始学习率为 0.001(预训练的 10%)，每轮采样 32 个正样本区域和 96 个背景区域，造成一批，规模为 128。相比背景，正态类比拟少见，所以采样会偏差正态类。
突围盒回归
作者应用 D. Hoiem、Y. Chod Pathum Wan 和 Q. Dai 提出的指标检测剖析工具。诊断对象检测器中的谬误。在 Eccv。2012. 探索这种办法的误差模式并了解微调是如何工作的。在一次操作之后，应用突围盒回归来减小定位误差。通过应用从选择性搜寻中抉择的区域 (CNN 的第五卷积层之后的最大池层) 的 pool5pool_5pool5 特色，作者训练了线性回归模型来预测新的候选区域。结果表明，这有助于修复大量谬误定位，并将 MAP 进步 3 到 4 个百分点。
后果和问题
过后这个模型在 PASCAL VOC 2012 数据集上进步了 30%(与之前最好的后果相比)，成果能够说是显著的。
然而，R-CNN 也有很多问题:
慢点。尽管在原论文中，作者始终在强调“咱们的办法快”；但在明天，显示的数据慢得可怕: 用 GPU(过后)检测一张图像须要 13s，CPU 甚至达到 50s+。这点耗时不难理解: 每张图片须要通过选择性搜寻提取 2000 个候选区域，每个候选区域须要通过 CNN 提取特色，通过 SVM 分类，这也是前期改良的重点。
很大。因为后一个过程须要前一个过程生成的特色，保留这些特色会占用大量的存储空间。
图像变形。因为图片发到 CNN 时被强制缩放到 227*227，所以不可避免的失真。
因为这个问题，R-CNN 做了很多改良。上面持续介绍。
疾速 R -CNN
顾名思义，Fast R-CNN 是对 R -CNN 的改良。这样一来，它不仅能够应用更深的卷积神经网络 (VGG16)，而且训练速度只进步了 9 倍，测试速度进步了 200+ 倍。检测一张图只须要 0.3s(不包含生成候选区域的工夫)；其在 VOC 2012 上的地图也达到了 66% (R-CNN 为 62%)。
不过在正式介绍之前，咱们先来看看 R -CNN 的另一个改良:SPPnet。
SPPnet
SPPnet 是在视觉辨认的深度进化网络中的空间金字塔池中提出的，它通过共享局部计算来减速 R -CNN。简略来说，SPPnet 就是把整幅图片进行卷积，计算它的特色 (而不是像 R -CNN 那样在一个候选区域内一次)，而后利用对应局部的特色对每个物体进行分类。通过最大池化，候选帧中的特色图被转换成固定大小的输入(例如，6×6) 以提取相应候选帧的特色。输入大小被会集并连接成一个空间金字塔池。SPPnet 在测试期间将 R -CNN 的速度进步了 10 到 100 倍。因为候选帧的特征提取更快，训练工夫也缩小了 3 倍。
简而言之，SPP 能够实现任意大小的输出和固定大小的输入(针对全连贯层)。基于此，SPPnet 实现了对不同输出大小的适应性。
然而，SPPnet 也有毛病。和 R -CNN 相似，也是多级流水线，包含特征提取，微调，训练 SVM，最初是盒子回归，也是写到磁盘的。所以咱们回到正题，看看 Fast R-CNN 的改良。
劣势
总的来说，与 R -CNN 和 SPPnet 相比，它有以下长处:
高级地图
单阶段训练，采纳多任务损耗。
所有网络层都将在训练期间更新。
没有必要在磁盘上存储特色。
构造
疾速 R -CNN 依然应用选择性搜寻来生成候选区域，并将图片和这些候选区域作为输出。与对每个候选进行卷积不同，Fast R-CNN 对整个画面体积生成卷积特色图，而后用 RoI pool 层对每个候选 RoI(感兴趣区域)生成定长特征向量，并将其抛入全连贯层。最初会生成两个对等输入: 第一个是分类后果，第二个是细化后的区域地位。
这里能够看到，另一个乏味的点是，Fast R-CNN 奇妙地将 R -CNN 的最初一个盒子回归整合到了全网。然而让咱们先来看看另外一个提到的货色:RoI pooling layer。
RoI 池层
在这一层中，最大池用于将任何无效的感兴趣区域转换成一个小的、固定长度的特色图 (长度 H W，如 7 7，H 和 W 是超参数)。本文用一个四元组(r，c，h，w)(r，c，h，w)(r，c，h，w) 定义 RoI，别离对应左、上、高、宽。
在具体操作时，RoI pooling 层将 h w RoI 窗口划分为 h w 个网格，而后将每个网格对应地位的最大值进行池化，放入对应的网格中。对于特色图的每个通道，该操作是独立的。
这一层其实就是 SPP 的简化版，就是把金字塔池化到一层。丢入不同大小的输出，最初能够失去固定维度的特色，能够丢到全连贯层。
hw = 5 5 的输出通过 H W = 2 2 后，后果如下所示
火车
初始化
本文尝试从 ImageNet 训练进去的三个模型，别离是 Caffeinet(Alex Net 的改进版)用于 R -CNN，VGG_CNN_M_1024 和 VGG16，从小到大别离称为 S，M，L。为了适应本文的成果，模型做了以下三个变换:
最初将的最大池层改为 RoI 池层，该层的输入大小 H W 对于每个模型是固定的 (例如 L 模型为 7 7)
最初，全连贯层和 softmax 被上述的并行层取代。
模型的输出分为两局部: 图像自身和对应的 RoI 区域。
调整
对于 R -CNN 和 SPPnet，训练时随机选取肯定数量的候选区域。例如，128 个候选区域可能来自 128 个不同的图片，然而疾速 R -CNN 来自 N 个图片的每一个中 R / N 的候选区域，例如，N = 2 和 R = 128 的两个图片的每一个中的 64 个。更重要的是，因为同一个图片的 RoI 能够分担计算，相比之前的两个网络能够大大放慢计算速度。
多任务损失
因为输入是两个平行层，所以疾速 R -CNN 的损失函数是它们的和。具体定义为
L(p，u，tu，v)=Lcls(p，u)+λ[u≥1]Lloc(tu，v)L(p，u，t^u，v) = L_{cls}(p，u) + λ[u ≥ 1]L_{loc}(t^u，v)L(p，u，tu，v)=Lcls (p，u)+λ[u≥1]Lloc (tu，v)
LCLS (p，u) = logpul {cls} (p，u) =-\ logp ulcls (p，u) = logpu 是预测领域(p) 和实在领域 (u) 的对数损失；后半局部是区域的失落。其中 λ\λλ 是两者的均衡系数 (本文应用 1)，[u ≥ 1] 示意只在 u 为实类时计算，u = 0(背景类)时不计算。的最初一部分定义如下:
与 R -CNN 应用的 L2L_2L2 损耗 (x2x^2×2) 不同，这里的损耗更平滑。当 x 较大时，前者的梯度较大 (2x2x2x)，容易导致梯度爆炸；这里的公式将放弃梯度等于或小于 1。
小批量取样
如下面曾经示出的，疾速 R -CNN 应用 2 * 64 rois 来造成小批量，其相似于 R -CNN，并且蕴含 25% 的指标样本 (IoU >= 0.5) 和 75% 的背景样本 (0.1
训练的其余细节，比方超参数的选取，这里就省略了，有趣味的能够参考原文。
考试
检测的根本过程曾经在构造中概述了，这里不再赘述。顺便说一下，在失去后果的分类框和各自的分数后，Fast R-CNN 还应用 NMS 解决了每个类别的反复框。
在测试过程中，作者发现在全连贯层上破费的工夫更多。而且咱们晓得全连贯层其实是在计算矩阵 WxWxWx。为了放慢这个过程，作者应用了 SVD(奇怪值合成)。
德拉贡诺夫狙击步枪（Snayperskaya Vinyovka Dragunov 的缩写）
简略地说，对于给定的任意形态矩阵 MMM，它能够分解成以下模式
假如原始矩阵大小为 n *m，三个合成矩阵的大小如下
矩阵 σ\σσ 只有对角线上的值，称为奇怪值，依照重要性从左上到右下排序。所以只能保留第一个 kkk 奇怪值，同时抛弃 U 和 VTU 以及 V tu 和 VT 的冗余行列，能够达到压缩的成果。保留区域如下图所示:
三个压缩后的矩阵相乘后，大小依然是 m *n，信息根本放弃不变 (k 值适合时)。
在实现完结时，相当于将一个全连贯层改为两个，第一个无偏置，第二个有偏置。
一些后果
下表来自原文，别离显示了三者的训练和测试速度。
能够看出，对于 L 模型，Fast R-CNN 在训练时比 R -CNN 快 8.8 倍，在测试时快 213 倍 (加上 SVD)；同时，它的地图比 R -CNN 高。
此外，作者还做了大量的比照试验来查看微调层的抉择，多任务训练是否有帮忙，规模的策略，减少训练数据是否有帮忙，softmax 和 SVM 的比拟，更多的候选框是否无效等有趣味的同学能够浏览原文，这里就不赘述了。
劣势
尽管疾速 R -CNN 有很多长处，但还是有一些毛病。其中，因为它依然应用选择性搜索算法来抉择候选盒，因而成为耗时的次要起源。起初更快的 R -CNN 对此做了改良。
更快的 R -CNN
这部分是我的好敌人 @Zee 写的 PPT 整顿的。我真诚地感激他的反对。
通信文章: 更快的 R -CNN: 用区域提议网络进行实时指标检测
构造
与 Fast R-CNN 相比，Fast R-CNN 最大的改良是提出 RPN 构造代替选择性搜寻生成候选帧，并与指标检测的卷积层共享，以缩短训练工夫和测试工夫，同时进步指标检测的准确率。这两种构造之间的比拟如下:
看上图能够发现，更快的 R -CNN 应用 RPN 构造从特色图中生成候选区域，其余的和 Fast R-CNN 差不多。在本文中，作者应用了两个卷积网络:ZF 和 VGG16。下图显示了 ZF 网络的具体构造。
那么接下来，咱们来看看什么是 RPN。
RPN
对于特色图×××，咱们应用 n *n(文中 n =3)的滑动窗口为每个中心点生成锚点(原文为 3 ×3，九个，三个比例别离为 1:1、1:2、2:1，三个尺寸别离为 128、256、512)。生成的锚点如下所示:
而后对所有的锚点做突围盒回归回归，这样如果对应的锚点有对应的指标，就能找到大小最好的盒子。
每个滑动窗口通过 3×3 卷积层后，映射成一个维数为 D 的低纬度特征向量 (ZF 为 256，VGG16 为 512)，别离送入两个并行的 1×1 卷积层，生成×× 2 和×× 4 的输入。前一个 H * W 代表锚的组数，每组蕴含 k 个锚，相邻两个数别离代表预测指标物体和背景的概率；其余部分相似，四个数字代表最终帧的宽度和高度以及相干的地位偏移量。
最初，将这两个输入与整形信息相结合，以生成对应于原始图像大小的倡议，该倡议与特色图一起被发送到 RoI 池层。以下构造与疾速 RCNN 统一。
损失函数
与 Fast R-CNN 相似，Fast 的损失函数也由两局部组成:
分类损失是 log 损失，I 是每个 minibatch 中每个锚的索引。
如果 anchor 为正，pip _ i * pi 为 1，否则为 0；Pip_ipi 示意锚为正的概率
回归损失函数是润滑的 L1L_1L1。
Tit_iti 是示意四个参数 (、、、、) 的预测向量，tit _ i * ti 是示意对应的高空实在的向量。
最初，咱们应用 nn {} ncls 和 {} nreg 进行标准化。在原文中，咱们设置 n = 256n {} = 256ncls = 256，Nreg=2400N_{reg}=2400Nreg =2400，λ= 10 \ lambda = 10λ= 10；代码 n = 256n {} = 256ncls = 256，Nreg=128N_{reg}=128Nreg =128，λ= 1 \λ= 1λ= 1。因为回归损失只会计算正锚，而 mini-batch 个别是 128 个正样本，128 个负样本。
火车
在训练过程中，作者采纳四步训练法实现了 RPN 和更快的 R -CNN 卷积层的参数共享。具体步骤如下:
试验
为了验证各种因素对算法的影响，进行了大量的试验。
劣势
当然，更快的 R -CNN 也有一些毛病，总结如下
卷积提取网络: 无论是 VGGNet 还是 ResNet，其特色图都只有单层，分辨率通常较小，不利于小物体和多尺度物体的检测。所以，特色图的多层交融，进步特色图的分辨率，都是能够优化的方向。
NMS: 当 RPN 生成建议书时，为了防止重叠框，应用 NMS，并应用分类分数作为筛选规范。然而 NMS 自身的过滤对于遮挡物体并不是特地敌对，属于两个物体的提议可能会因为 NMS 而被过滤成一个，导致漏检。因而，改良和优化 NMS 能够进步检测性能。
ROI Pooling: 速度更快的 R -CNN 原来的 RoI Pooling 被四舍五入了两次，造成了准确性的损失。所以起初的 Mask RCNN 改良了这种池化来进步定位精度。
全连贯: 本来更快的 R -CNN 最终应用全连贯网络，占用了大部分网络参数，而 RoI 池化后，每个 RoI 都要通过一次全连贯网络，没有共享计算。
正负样本: 在 RPN 和 RCNN 中，正负样本的数量受到超参数的限度，以保障正负样本的均衡。对于不同的工作和数据，这种正负样本均衡办法是否最无效值得思考，现实生活中正负样本均衡有时很难实现。
两级网络: 更快的 R -CNN 和 R -CNN 的 RPN 分工明确，带来的是准确率的晋升，但速度绝对较慢，理论实现并没有达到实时。所以网络秩序也是一个值得思考的问题。