6 月 29 日 - 7 月 2 日在西班牙召开的 International Conference on Dependable Systems and Networks (DSN 2020) 会议上, 来自百度平安对于深度神经网络（DNN）模型安全性的钻研 Quantifying DNN Model Robustness to theReal-World Threats 胜利入选。在该文章中，百度平安研究员们建设了一套掂量深度神经网络面对实在存在于物理世界威逼时鲁棒性的标准化框架。百度平安心愿通过这个钻研呐喊业内将人工智能模型的面对威逼，特地是面对物理世界中的威逼时的体现纳入掂量模型的规范，携手工业界、学术界独特摸索与建设平安的 AI 时代。
DSN 是可信零碎和网络的国内会议，是国内顶尖的计算机会议之一，具备宽泛的影响力。DSN2020 国内会议，共有 285 篇论文投稿，录用 48 篇，录取率仅为 16.8%。DSN 率先提出了系统可靠性和安全性钻研之间的交融，并以其独具一格的眼光聚焦于意外和歹意网络攻击，使其成为引领加强当今各种计算零碎和网络的鲁棒性最负盛名的国内会议，为百度平安分享在 AI 鲁棒性钻研提供了一个完满的舞台。
深度学习模型容易受到反抗样本的歹意攻打，这在业内已不是新鲜事。对图像数据增加人类难以通过感官辨识到的轻微扰动，便可“坑骗”模型，指鹿为马，甚至无中生有。为施行此类攻打，攻击者往往须要提取理解模型构造模型的架构、参数，继而利用特定算法针对性的生成“反抗样本”，诱导模型做出谬误的，甚至攻击者预设的判断后果。
然而在面对利用在平安攸关场景下的商业模型（例如，人脸识别、语音辨认、无人驾驶等畛域）中，很少有机会让攻击者把握如此多的信息。当下以 Google、Amazon 为代表的国内外出名科技公司将云计算的运作模式与人工智能深度交融，将人工智能技术作为一种云服务（AIaaS，人工智能即服务）提供给用户和合作伙伴，除 Amazon 等多数公司会告知模型算法，绝大多数公司仅向用户反馈调用后果。模型信息以及攻击者攻打变现伎俩的缺失，此类歹意攻打尚未在事实业务中大量呈现。
但这并不意味着这些商业模型就铜墙铁壁了。百度平安团队在 DSN 2020 上带来的最新研究成果表明，真实世界的环境因素对输出数据失常扰动（例如：亮度、对比度变动，摄像头的抖动等等）就足以对深度学习模型的分类或预测后果产生不统一。更为要命的是此类威逼在非反抗场景中与生俱来。而业内对此类威逼器重水平并有余，目前不足对此类威逼的正当定义，并且苦于无奈无效地评估深度学习模型鲁棒性。如果继续疏忽此类威逼，不仅会导致重大的安全事故，也会毁坏整个人工智能生态利用的过程。如果说反抗样本的发现，将传统平安产业框架延长至机器学习模型算法安全性的领域，那么物理世界平安属性扰动带来的威逼，则令这个问题更加严厉和简单。这意味着现有模型在不存在歹意攻击者状况下就可能自乱阵脚，AI 零碎在特定环境下，例如主动驾驶在雨雪天气，平稳路面将丢失对城市交通、路线标识及车辆正确的辨认能力。此类威逼还可延长至金融认证、安全监控等畛域，蕴含微小的平安危险。建设无效的模型鲁棒性评估机制是打造真正平安可行的 AI 零碎必不可少的基石。
图 1：真实世界的环境因素对输出数据失常扰动
百度平安团队中的 Zhenyu Zhong、Zhisheng Hu、XiaoweiChen 博士创新性的提供了一个模型鲁棒性评估量化框架，如图 2 所示。首先基于事实世界的失常扰动定义了可能呈现威逼的五大平安属性，别离是光照，空间变换，含糊，噪声和天气变动。并且针对不同的模型工作场景，制订了不同的评估规范，如非定向分类谬误、指标类别谬误分类到评估者设定的类别等规范。对于不同平安属性扰动带来的威逼，该框架采纳了图像畛域中广为承受的最小扰动的 Lp-norm 来量化威逼严重性以及模型鲁棒性。
图 2：深度学习模型鲁棒性评估框架
百度平安团队在现场展现了不同学习任务模型 – – 蕴含 13 个开源图像分类模型、3 个 SOTA 指标检测模型、3 个商用云端黑盒模型，在面对不同平安属性下带来的威逼，以及不同评估规范下的鲁棒性测评。并且展现了同类型学习下，不同模型鲁棒性的横向比拟。评测结果表明，物理世界威逼岂但普遍存在，而且较小的扰动就足以触发。无论是指标检测模型还是云端黑盒模型，在各个平安属性扰动下，都会被胜利坑骗。例如图 3 中所示，因为摄像头抖动带来的极小的 motion blur 就足以使试验中的 3 个指标检测模型产生误判。而这些指标检测模型罕用于主动驾驶中。同样用于不良内容过滤的云端模型，增加轻微的噪声便足以绕过。
图 3：指标检测模型以及云端模型鲁棒性比照
百度平安研究员还与参会学者一起探讨了百度平安针对物理世界威逼解决思路，包含针对特定平安场景选取不同模型框架、反抗训练强化模型进步深度学习模型鲁棒性等路径。此外，百度平安始终提倡通过新一代技术研发与开源，此文中的鲁棒性评估量化框架已与百度平安 perceptron robustness benchmarking dataset 一起利用于百度深度学习开源平台 PaddlePaddle 及当下支流深度学习平台，可高效地评估模型面对物理世界威逼的特色统计，同时也反对应用最新的生成办法结构歹意反抗样本数据集用于攻打全新的 AI 利用、加固业务 AI 模型，为模型安全性钻研和利用提供重要的反对。
* 点击浏览原文查看视频分享
YouTube 视频链接：https://www.youtube.com/watch…