摘要：介绍带噪学习畛域前沿办法，解决不完满场景下的神经网络优化策略，旨在晋升模型性能。本文分享自华为云社区《Learning from Noisy Labels with Deep Neural Networks》，原文作者：猜沟。
Introduction：神经网络的胜利建设在大量的洁净数据和很深的网络模型根底上。然而在事实场景中数据和模型往往不会特地现实，比方数据层面有误标记的状况，像小狗被标注成狼，而且理论的业务场景考究时效性，神经网络的层数不能特地深。咱们尝试一直迭代数据和模型缺点状况下神经网络的无效训练方法，通过noisy label learning技术，解决网络训练过程中noisy data的问题，该技术曾经在团队理论业务场景中落地，通过从损失函数、网络结构、模型正则化、损失函数调整、样本抉择、标签纠正等多个模块的优化，不局限于全监督、半监督和自监督学习办法，晋升整个模型的鲁棒性
Framework：
【Robust Loss Function】次要是从损失函数去批改，外围思路是当数据整体是洁净的时候，传统的穿插熵损失函数学习到大量的负样本，能够晋升模型的鲁棒性；当数据噪声比拟大时，CE会被噪声数据带跑偏，咱们要批改损失函数使其在训练中每个样本的权重都是一样重要的，因而不难想到采纳GCE Loss，管制超参数，联合了CE Loss和MAE Loss
A. Ghosh, H. Kumar, and P. Sastry,“Robust loss functions under label noise for deep neural networks,” in Proc. AAAI, 2017Generalized Cross Entropy Loss for Training Deep Neural Networks with Noisy Labels, NeurlPS 2018另外，还有从KL散度想法借鉴过去的，作者认为在计算熵的时候，原始q, p代表的实在数据分布和预测值在较为洁净的数据上没有问题，然而在噪声比拟大的数据上，可能q并不能代表实在数据分布，相同的是不是p能够示意实在数据分布，因而提出基于对称的穿插熵损失函数（Symmetric cross entropy ）Y. Wang, X. Ma, Z. Chen, Y. Luo, J. Yi, and J. Bailey, “Symmetric cross entropy for robust learning with noisy labels,” in Proc. ICCV, 2019, pp. 322–330【Robust Architecture】这一部分次要通过借鉴奇妙的网络结构，在模型训练过程中，通过模型对数据进行筛选，抉择一批较为洁净的数据，逐渐晋升模型的鲁棒性。首先要介绍的就是coteaching framework，首先是基于两个模型互相筛选数据输出给对方计算loss，传递给对方网络的数据是每个min-batch外面loss最低的一些数据，随着epoch减少，数据量有所变动，另外每一轮epoch完结，会shuffle数据，保证数据不会被永恒忘记
...