关于人工智能:神经网络训练中错误数据集对模型结果的影响有多大丨曼孚科技

47次阅读

共计 3330 个字符,预计需要花费 9 分钟才能阅读完成。

人工智能实质上是一门钻研如何用机器代替人类的学科,工程师们尝试用各种算法模型来赋予机器像人类一样的思考与联想能力。

在当下所属的弱人工智能时代,实现人工智能的形式次要以有监督的深度学习办法为主,是基于已知变量和因变量推导函数关系的算法模型。

而作为深度学习的重要根底,神经网络技术无疑是行业内最热门的钻研方向之一。探寻神经网络技术原理、优化神经网络算法模型、躲避算法调优过程中遇到的各种问题,始终是学界关注的焦点与热议的话题。

一. 神经网络概述

狭义的神经网络蕴含生物神经网络与人工神经网络。在人工智能畛域,神经网络技术采纳了一种仿生学的思维,即通过模仿生物神经网络的构造和性能来实现建模,这就须要理解生物神经元细胞的工作原理。

如下图所示,生物神经网络的工作原理如下:

1)内部信息通过神经末梢,转化为电信号,转导到神经细胞;

2)神经元组成神经中枢;

3)神经中枢剖析各种信号,做出判断;

4)人体依据神经中枢的指令,对外部信息做出反馈。

参考生物神经网络的运作机制,科学家们构建了相似的人工神经网络,较为经典就是 MP 神经元模型。这是 1943 年由科学家 McCulloch 和 Pitts 提出,他们将神经元的整个工作过程形象为下述的模型:

其中:

Inputs:模仿生物神经网络中来自其余神经元的输出;

Weights:模仿生物神经网络中每个神经元对外接管的突触强度不同,所以外界接管的输出乘以肯定权重;

Sum:模仿生物神经网络中神经元对外接管的信号进行累加汇总;

Bias:模仿生物神经网络中神经元的个别敏感性。每个神经元的敏感性不同,所以须要肯定的偏差来调整汇总值;

Activation Function:模仿生物神经网络中信号累积到肯定水平产生的动作电位,当累积到肯定水平就会“激活”动作电位;

Output:模仿生物神经网络中神经元对外开释的新信号。

这是一种较为简单的神经网络模型,利用场景的局限性较强。

随着技术的倒退,两层神经网络、多层神经网络开始呈现,非线性分界拟合能力一直加强,并具备了较强的可应用性,开始广泛应用于主动驾驶、语音辨认等具体场景。

上图中,左侧为简略神经网络,右侧为多层神经网络,两者的次要区别在于两头暗藏层的层数。暗藏层能够设计多层,并造成深度神经网络(DNN, Deep Neural Network)。

通过图片示例咱们能够发现,每减少一层暗藏层,模型的参数数量就会急剧减少,这对模型训练所需的数据资源提出了更高的要求,无论是数据总量还是数据品质,要求均尤为刻薄。

二. 数据谬误类型

从上文中,咱们通晓了数据资源对神经网络模型的重要性。如何为神经网络模型的训练提供优质的标注数据集,对神经网络模型的创立与调优至关重要。

然而,在理论的标注场景下,即便借助 AI 自动化的辅助,依然防止不了人为起因所产生的各种数据品质问题,常见的标注谬误类型包含:

类目谬误:对象被谬误地分类,例如车辆被标记为行人;

属性谬误:对象属性形容谬误,例如停放的汽车被标注为行驶中;

脱漏谬误:该当标注的对象却没有被标注;

冗余谬误:不该当标注的对象却被标注;

贴合谬误:未全副蕴含或者不贴合;

未知谬误:本来贴合的对象,因误触导致地位偏移。

三. 数据品质对算法模型的影响

当神经网络模型训练与调优的过程中,输出这些品质较差的数据集时,会产生什么样的后果呢?

▌1. 类目谬误

在一些论文中,存在类目谬误的数据通常被定义为类噪声 (Class noise) 或标签噪声(Label noise)。根据谬误产生的起因,类目谬误能够分为随机谬误与主观谬误两种:

1)随机谬误

此类谬误产生的起因为随机,比方待标注对象本来为“小轿车”,但标注员却因为走神将其标注为“货车”、“SUV”或其余类别。

2)主观谬误

标注员主观上将类别断定谬误,比方待标注对象本来为“小轿车”,但标注员却认为其为“货车”。

学者 Zhu 和 Wu 在论文《Class noise vs. attribute noise: A quantitative study》中对这两种谬误进行了试验钻研,相干试验表明:

1)类目谬误对于模型品质有相当的负面影响;

2)主观谬误对于模型的负面影响要比随机谬误更高。(参考资料 2)

而学者 Flatow 和 Penner 则进一步钻研了两类谬误对卷积神经网络 (CNN) 准确性的影响。结果表明类噪声与测试准确度之间存在线性相关性,其中 10% 的类噪声将导致模型准确度升高 4%。(参考资料 3)

此外,类噪声对其余机器学习算法也有负面影响,例如对决策树、反对向量机和 K 近邻 (KNN) 等(参考资料 4)。

▌2. 属性谬误

学者 Zhu 和 Wu 曾全面钻研过属性谬误对模型输入的影响。他们进行了一项蕴含超过十万个样本的钻研,并引入了暗示谬误或主观设置属性的噪声来测试对分类的影响。

试验结果表明:

1)属性谬误较类目谬误的负面影响低,但依然会产生重大的分类问题;

2)属性与分类之间的相关性越高,该属性对分类的负面影响就越大;

3)打打消蕴含类噪声或噪声清理的实例可能会进步分类精度。

▌3. 脱漏谬误

根据不同的场景,脱漏谬误可能产生不同的后果:

1)只关注标签自身

当训练模型只关注于标签自身时,当其中某个对象没有被标记时,用于训练的数据总量会缩小,但数据依然可用,并不会带来过大的负面影响。

2)关注更多事物

在 3D 点云间断帧场景下,须要用雷同的 Track ID 在不同帧内跟踪同一个物体,比方汽车。当两头某一帧内的汽车漏标后,可能导致 Track ID 中断,导致轨迹追踪模型不可用。

学者 Xu 等人在论文《Missing labels in object detection》中探讨了脱漏标签对 FSOD(全监督对象检测模型)的影响。试验是在 RCNN(基于区域的 CNN)、Faster-RCNN(基于更快区域的 CNN)、YOLO(You Only Look Once,一种基于深度神经网络的对象辨认和定位算法)和 SSD(单镜头检测器)和 WSOD(弱监督对象检测模型)上进行的。

试验结果表明,FSOD 模型的性能随着标签缺失率的减少而显著降落。值得一提的是,标签脱漏对 WSOD 模型简直没有影响,但它的检测性能却广泛较差(参考资料 5)。

▌4. 冗余谬误

与脱漏谬误相同,冗余谬误不是漏标而是多标,但两者对于算法模型均具备较高的负面影响。

▌5. 精度谬误

贴合谬误与地位谬误可对立称之为精度谬误。相较于此前几类谬误类型,精度谬误对于最终模型的负面影响绝对较小,比方应用类目谬误 (小轿车标记为货车) 的数据集,最终训练失去的算法模型是齐全谬误不可用的(会将小轿车误认为货车)。

而应用精度谬误的数据集,最终训练的算法模型肯定水平上是可用的(能够失常辨认出小轿车,然而精度欠佳)。

不过,从商业化利用的角度考量,应用这种精度谬误的数据训练失去的模型同样也是无奈应用的。比方在主动驾驶场景下,算法模型须要达到极高的精准度,能力尽最大水平保障主动驾驶汽车在行驶过程中的安全性。

所以,综上而言,在人工智能利用深刻日常生活的明天,训练数据集的品质问题须要取得更多的关注眼光,数据服务商也须要投入更多精力在晋升数据集品质与数据精度上。

▌参考资料:

1.[King James] 通俗易懂解说深度学习和神经网络 - 知乎

2.[Zhu and Wu, 2004] Zhu, X. and Wu, X. (2004). Class noise vs. attribute noise: A quantitative study. Artif. Intell. Rev., 22:177–210

3.[Flatow and Penner, 2017] Flatow, D. and Penner, D. (2017). On the robustness of convnets to training on noisy labels

4.[Nazari et al., 2018] Nazari, Z., Nazari, M., Danish, M. S. S., and Kang, D. (2018). Evaluation of class noise impact on performance of machine learning algorithms

5.[Xu et al., 2019] Xu, M., Bai, Y., Ghanem, B., et al. (2019). Missing labels in object detection

正文完
 0