共计 2258 个字符，预计需要花费 6 分钟才能阅读完成。
编译 | 孙裕道，CV 君
报道 | 我爱计算机视觉（微信 id：aicvml）
题目：Sparse Adversarial Attack to Object Detection
论文：https://arxiv.org/pdf/2012.13…
代码：https://github.com/THUrssq/Ti…
引言
该论文的出处是阿里天池大赛中平安 AI 挑战者打算第四期的通用指标检测反抗攻打。阿里的平安 AI 挑战者打算是一系列对于 AI 平安的比赛，到目前为止球 200 多所高校 100 多家企业的近 4000 支队伍加入，次要目标是抵挡将来 AI 面临的各种平安问题。阿里天池论坛的学习气氛很好，很多优良的战队很具体的分享了在本次较量的办法和代码，感兴趣的能够学习一下。
题目赛况
=======
因为该论文是根植于较量，所以须要先对本次较量的题目和评估指标介绍一下，尤其是评估指标有些简单须要对其具体介绍，这样能力更容易了解论文中试验后果。
赛题简介
阿里天池平安 AI 挑战者打算第四期较量针对通用的指标检测模型进行攻打，较量采纳 COCO 数据集，其中蕴含 20 类物体。工作是通过向原始图像中增加反抗补丁（adversarial patch）的形式，使得典型的指标检测模型不可能检测到图像中的物体，绕过指标定位。主办方选取了 4 个近期的 State-of-the-art 检测模型作为攻打指标，包含两个白盒模型 YOLO v4 和 Faster RCNN 和另外两个未知的黑盒模型。
评估指标
一张图像中反抗贴图的像素值大小和地位没有任何限度，只会限度贴图的尺寸。评估是应用原始图像减去批改后的图像，失去批改域，而后，计算批改域中连通域的数量和每个连通域的大小。一个连通域被视为一个增加的反抗贴图，反抗贴图有两点限度：
- 限度了扭转的像素数量在总像素中的比率，不超过全图所有像素的 2%。
- 限度了反抗贴图的数量不多于 10 个，当检测到反抗贴图的数量超过 10 个。
反抗贴图使得图像输出到模型后，所有指标都无奈被检测到，采纳方评估得分形式为：
其中 5000 示意最大批改像素数量（因为限度 1 中要求像素扭转量不超过全图中的 2%，所以有 500x500x2%=5000），是第个反抗贴图的面积，是洁净样本的图像，是反抗图像，是示意第个模型（共四个模型），示意模型检测图像返回的检测框的数量（检测框越少得分越高），最初的得分是所有的图像在 4 个模型（两个白盒模型 YOLO v4 和 Faster RCNN 和两个未知的黑盒模型）上的总得分：
从总得分的公式能够推知，如果一个 FinalScore 的得分越高，则攻打的成果越好，这是一个正相干关系的评估指标。
论文办法介绍
作者提出一个针对指标检测器的稠密对抗性攻打（SAA），作者集成了两个现成的指标检测器，并在黑盒攻打有很强迁移性，所以该办法能够很容易地推广到多模型中去。如下图所示，为本文的 SAA 框架，它集成了两个指标检测器（一阶段指标检测器 YOLOv4 和二阶段指标检测器 FasterRCNN）来进行攻打。为了应用无限的像素进行弱小的对抗性攻打，作者特意设计了反抗补丁的地位、形态和大小。
无关 Patch 的设计
因为较量的要求比拟严格，图像的批改范畴不超过整个图像的 2%，所以这种反抗扰动在空间中是稠密的。针对这些状况，作者设计了一种十字形贴图，其交点位于物体突围盒的核心（如下图所示为增加十字形贴图的反抗样本）。利用大跨度的 patch 能够重大地误导指标检测器的后果，然而确只有很少的像素变动。作者基于物体核心是反抗攻打的软弱区域的假如，提出了如下指标检测器的输出公式如下:
其中，这里代表洁净的图像，代表反抗的补丁，是成心设计的 Mask。
损失函数
SAA 的指标是打消图像中所有的物体检测框，该攻打与指标检测器的正样本 (前景) 和负样本 (背景) 的定义密切相关。作者通过使图像中的一个物体成为指标探测器的负样本来打消它。依据指标探测器前景和背景的定义作者设计了相干的损失函数。
YOLOv4 是一阶段指标检测器，YOLOv4 利用置信度去辨别图像的前景和背景。置信度低于 YOLOv4 中的阈值的突围框将被辨认为背景，并将在后处理阶段抛弃。基于这些原理作者设计的 YOLOv 的损失函数为：
其中示意所有对象类别的汇合，示意所有边界框的汇合，conf 是 YOLOv4 中的对象置信度。损失函数提取图像的最大指标置信度。作者通过升高置信度从而来达到攻打的目标。
FasterRCNN 是两阶段指标检测器，作者通过减少背景的 softmax 输入概率，同时缩小任何其余类别 (前景对象) 的 softmax 输入概率来实现攻打，然而 FasterRCNN 通常会产生 10 万多个区域提案，是 YOLOv4 的 10 倍以上。大量的区域倡议使其难以打消所有指标与极其无限的攻打。因而作者做出相应的斗争，设计了 FasterRCNN 的损失函数为：
其中，和是超参数，示意所有对象的汇合类，示意所有边界框的汇合，是设计的元素的个数。
作者联合了两个指标检测器的损失来训练反抗补丁，最终损失函数如下所示：
试验后果
作者从 MSCOCO2017 数据集中抉择 1000 张图像，所有图像大小为 500*500。选取 YOLOv4 和 FasterRCNN 作为指标模型。依据 section 2.2 中介绍的评估指标，试验后果如下所示：
论文中没有给出该办法的总得分，能够直观的算出 FinalScore 为：
我搜寻了一下第四期通用指标检测反抗攻打的榜单，能够发现本文的作者是来自于清华大学的队伍，在此类比赛的排名中荣获 TOP4 的好名次。如下图所示的红框中的“我还有机会吗”就是本文作者的战队。
END
