共计 3028 个字符，预计需要花费 8 分钟才能阅读完成。
深度神经网络 (DNN) 曾经倒退到当初曾经能够在计算机视觉和自然语言解决等许多工作上体现十分杰出。而当初次要的钻研是如何训练这些 DNN 以进步其准确性。准确性的次要问题是神经网络极易受到对抗性扰动的影响。
例如上面的图片，增加噪声之前和之后的两张图像对咱们来说仿佛雷同。但对于神经网络来说，左边的图像是一个齐全不同的对象——熊猫。增加到图像中的噪声是一种对抗性扰动，咱们将试图通过使这些神经网络不易受扰动来解决这个问题的训练方法将被称为对抗性训练。
因为最近提出的应用未标记散布 (UID) 数据的数据加强办法，对抗性训练的不足训练数据的问题已被分解决了。然而它还存在一些毛病：不足可用性和对伪标签生成器准确性的依赖。
为了补救这些毛病并进步对抗性和规范学习的泛化能力，论文提出了一种应用散布外 (OOD) 数据的数据加强办法：散布外数据加强训练 (OAT)。
什么是反抗训练？
为了了解为什么须要散布外数据加强训练来进步 DNN 的准确性和效率，首先要理解对抗性训练是什么以及为什么它很重要。
对抗性训练是指蕴含对抗性攻打图像作为其训练数据集的训练过程。对抗性训练的指标是让 DNN 更加强壮——让机器学习模型更不容易受到扰动的影响。
半监督学习办法
在反抗训练中须要比规范训练更多的数据集。所以仅应用标记数据是不够的，应用标记和未标记数据的混合指的就是半监督学习办法。
- 监督学习：仅应用标记数据作为其数据集
- 半监督学习：应用一些标记数据和大量未标记数据作为其数据集
- 无监督学习：仅应用未标记的数据作为其数据集
强壮和非强壮特色
因为人工智能的次要工作是模仿人类智能，因而图像识别过程也应该模仿人类。辨别强壮特色和非强壮特色是不可或缺的，这是图像中两种有用的特色。
强壮的特色：人类能够感知的特色；与图像标签密切相关。
非强壮特色：人类无奈感知的特色；与图像标签的相关性较弱。
曾经证实，对抗性健壮性和规范准确性之间存在衡量关系。对抗性训练试图通过使非强壮特色不用于图像分类来解决这个问题。
散布外数据
分类器的算法应该可能辨认扰动（不寻常的样本、离群值）。这是因为 (1) 谬误分类这些扰动样本的可能性很高，(2) 谬误分类的置信度很高。
散布外 (OOD) 数据十分靠近失常数据——其中的大多数在人眼中看起来齐全一样。这些 OOD 数据可能靠近失常数据（作为含糊的、受到对抗性攻打的输出），甚至属于尚未呈现在训练数据的新类别。
为什么这是必不可少的？例如，DNN 通常用于进一步用于诊断和医治致命疾病的基因组序列细菌鉴定。在过来的几十年中发现了新的细菌类别，咱们心愿应用 DNN 对这些细菌进行分类，然而具备高性能的分类器也可能谬误地将某种疾病分类为另一种疾病，因为它是 OOD 数据——来自一个分类器尚未经过训练分类的全新类别。
与下面提到与熊猫的图像不同，即便它们被谬误地分类也不会造成很大的问题，而基因组和细菌被谬误地分类会导致很大的问题，这种实在的需要显示了 OOD 检测的重要性。
散布外数据加强训练
论文中提出了散布外加强训练（OAT），这是对指标数据集 D_t 和 OOD 数据集 D_o 的并集的训练。
OOD 数据集
散布外加强训练
OAT 算法是一种基于数据加强的强壮训练算法，训练通过精心设计的损失，从额定的 OOD 数据中受害。OOD 数据与随机标签一起提供给训练过程。
为所有 OOD 数据样本调配一个对立的散布标签。通过这个过程，能够利用 OOD 数据进行监督学习并且无需额定开销。这样使得 OOD 数据的限制性远低于未标记的散发中 (UID) 数据。
尽管 OOD 数据可用于进步神经网络的规范和泛化，但咱们的指标是进步神经网络的分类精度。针对 OOD 数据样本对和均匀分布标签的对抗性训练会影响强壮特色和非强壮特色的权重。因而，指标数据集 D_t 和 OOD 数据集 D_o 的损失之间的均衡在 OAT 中至关重要。所以论文中引入以下算法，超参数 αR^+，训练如下：
散布外加强反抗训练 (OAT-A)
** 散布外加强规范训练 (OAT-S)
**
- (x_t,y) : 图像标签对
- L：损失函数
- S：一组对抗性扰动
- t_unif : 均匀分布标签
- θ : 网络参数
试验
论文结果表明，这种提供 OOD 数据的形式有助于打消对非强壮特色的依赖，从而进步健壮性。
从 8000 万小图像数据集 (80M-TI) 创立了 OOD 数据集，并将 ImageNet 的大小调整为 64×64 和 160×160 的尺寸，将它们分成蕴含 10 和 990 个类别的数据集，别离为 ImgNet 10 和 ImgNet990。
为 ImgNet10 上的试验调整了 Places365 和 VisDA-17 的大小，并将 Simpson Characters (Simpson) 和 Fashion Product (Fashion) 数据集裁剪为 32 × 32 的尺寸，用于 CIFAR10 和 CIFAR100 上的试验。
上面图表显示，无论指标数据集如何，OAT 都进步了测试的所有对抗性训练方法的强壮泛化能力。
- Standard：在指标数据集上训练的模型。
- PGD：在指标数据集上应用基于 PGD 的反抗训练训练的模型。
- TRADES：在指标数据集上应用 TRADES 训练的模型。
- OAT_PGD：基于 PGD 办法应用 OAT 进行反抗训练的模型。
- OAT_TRADES：基于 TRADES 应用 OAT 进行反抗训练的模型。
- OAT_ D_o：通常应用 OOD 数据集 D_o 应用 OAT 训练的模型。
上面图表显示，即便应用了许多伪标记数据，OAT 依然能够进步强壮泛化能力。
将来倒退方向
通过在各种 OOD 数据集上进行的试验曾经证实：从人类的角度来看，即便与指标数据集简直没有相关性的 OOD 数据也能够通过论文所提出的办法受害于强壮和规范的泛化。因而能够表明：在不同的数据集之间，存在一个独特的“不受欢迎”的特色空间。还能够得出结论：当额定的 UID 数据可用时，即便应用大量伪标记数据，OAT 也能够进步泛化性能。
这是一个有意义的发现，应用 OOD 数据进行训练能够打消不须要的特色奉献。假如从试验后果来看，在反抗训练期间施行弱小的反抗攻打仿佛很艰难——这可能是还须要进一步钻研。如果应用构建的 OOD 数据来量化指标和具备强烈对抗性攻打的 OOD 数据集之间不良特色的共享水平，咱们能够更靠近于构建一个即便在重大扰动后也能将狗辨认为狗的神经网络。
总结
感激 Saehyung Lee 和论文“Removing Undesirable Feature Contributions Using Out-Of-Distribution Data”一文的合著者，本博客中表白的观点和意见仅代表作者。
这篇文章基于以下论文：
Removing Undesirable Feature Contributions Using Out-Of-Distribution Data, Saehyung Lee, Changhwa Park, Hyungyu Lee, Jihun Yi, Jonghyun Lee, Sungroh Yoon∗, International Conference on Learning Representations (ICLR) 2021,
https://openreview.net/forum?…
https://github.com/Saehyung-L…
援用
data aug mentation method using unlabeled-in-distribution (UID) data.
https://www.overfit.cn/post/29019f18a5894def8ccb022b5a4ba239
作者：Seyeon An
