乐趣区

关于人工智能:五篇值得阅读的ECCV-2020-图像识别相关论文

明天为大家介绍五篇值得浏览的 ECCV 2020 oral【图像识别】相干论文。ECCV 与 CVPR、ICCV 并称为计算机视觉畛域三大顶会。ECCV 2020 共有 5025 篇投稿,其中 1361 篇被承受,承受率为 27%。

ECCV 2020 承受论文列表地址:

https://eccv2020.eu/accepted-papers/

第 1 篇:自适应学习网络宽度与输出分辨率

论文题目:《MutualNet: Adaptive ConvNet via Mutual Learning from Network Width and Resolution》

下载地址:https://arxiv.org/abs/1909.12978

github:https://github.com/taoyang112…

介绍:深度神经网络曾经在各种感知工作获得了微小的胜利。然而,深度神经网络通常须要大量的计算资源,这使得它们很难部署在挪动设施和嵌入式零碎上。本文对此所做的奉献是:

  1. 强调输出分辨率对于设计高效网络的重要性 。以往的钻研要么疏忽它,要么把它从网络结构中分离出来。相比之下,本文将网络宽度和输出分辨率嵌入到一个对立的互相学习框架中来学习一个深度神经网络(MutualNet),它能够在运行时实现自适应的精度和效率的衡量。
  2. 进行了大量的试验 ,以证实 MutualNet 的性能显著优于独立训练的网络。
  3. 咱们进行全面的融化钻研,以剖析提议的互相学习计划 。咱们进一步证实,咱们的框架无望作为即插即用策略来进步单个网络的性能,其性能大大超过了风行的性能晋升办法,例如,数据裁减,SENet 和常识蒸馏。
  4. 倡议的架构是一个通用的训练打算,与模型无关 。它能够利用于任何网络,而无需对构造进行任何调整。这使得它与其余最先进的技术兼容。例如,神经构造搜寻 (NAS),主动数据加强技术。

本文提出了一种在动静资源束缚(如每秒浮点运算次数)下训练网络的办法,该办法提出了一个输出分辨率和网络宽度的互学习计划,在运行时实现自适应精度 - 效率衡量的束缚,在图像分类、指标检测和实例宰割等各种工作上,显著进步了轻量网络的精度和效率的衡量。在 COCO 指标检测、实例宰割和迁徙学习等方面也验证了该办法的优越性。令人诧异的是,MutualNet 的训练策略还能够进步单个网络的性能,在效率(GPU 搜寻小时数:15000 vs 0)和准确性(ImageNet:77.6% vs 78.6%)方面都大大优于弱小的主动数据加强技术。

该互学习计划也被证实是进步单网络性能的无效训练策略。该框架的通用性使其可能很好地转换为通用的问题域,还能够扩大到视频输出和 3D 神经网络,其空间和工夫信息都能够失去利用。

总体框架如下所示:

第 2 篇:基于随机特色采样和插值的空间自适应推理

论文题目:《Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation》

下载地址:https://arxiv.org/pdf/2003.08…

github:暂未发现(欢送留言补充)

介绍:在卷积神经网络(CNN)的特色映射中,普遍存在大量的空间冗余、反复解决。为了缩小这种多余的计算,本文提出了一种缩小卷积网络计算量的办法:只计算稠密采样地位的特色,这些地位是依据激活响应概率抉择的,而后应用无效的插值过程对特色图进行密集重构。

利用特色映射中固有的稠密性和空间冗余性,咱们防止了在可无效插值的空间地位进行低廉的计算。

框架图:

第 3 篇:凋谢集辨认的混合模型

论文题目:《Hybrid Models for Open Set Recognition》

下载地址:https://arxiv.org/abs/2003.12506

github:暂未发现(欢送留言补充)

介绍:凋谢集辨认须要一个分类器来检测不属于其训练集中任何类的样本,现有的办法对训练样本的嵌入空间上拟合一个概率分布,并依据这个散布来检测离群点。然而,这种分类只关注已知的类,对于辨别未知的类可能没有什么成果。本文认为,示意空间应该由内层分类器和密度估计器(作为离群点检测器)独特学习。为此,提出了 OpenHybrid 框架,该框架由一个编码器将输出数据编码到一个联结嵌入空间,一个分类器将样本分类到一个外部类,以及一个基于流的密度估计器来检测样本是否属于未知类别。大量的试验表明咱们的办法达到了最先进的程度。基于流的模型的一个常见问题是,它们通常为散布外的样本调配更大的可能性。通过学习一个联结特色空间,以及在不同的数据集上进行察看,这个问题失去了解决。钻研还表明,联结训练是促成凋谢集的辨认性能的另一个关键因素。

框架图:

第 4 篇:梯度集中 (GC): 一种新的深层神经网络优化技术

论文题目:《Gradient Centralization: A New Optimization Technique for Deep Neural Networks》

下载地址:https://arxiv.org/abs/2004.01461

github:https://github.com/Yonghongwe…

介绍:优化技术对于无效地训练深度神经网络(DNN)具备重要意义。与现有的基于激活度或权值的优化办法不同,本文提出了一种新的优化技术,即梯度集中(gradient centralization,GC),它通过将梯度向量集中到零均值的形式,间接对梯度进行操作。通过综合试验表明,GC 能够对权值空间和输入特色空间进行规整,能够很好地利用于不同优化器和网络架构下的不同工作,进步了训练效率和泛化性能。

框架图:

第 5 篇:多任务学习加强反抗鲁棒性

论文题目:《Multi-task Learning Increases Adversarial Robustness》

下载地址:https://arxiv.org/pdf/2007.07…

github:暂未发现(欢送留言补充)

介绍:尽管深度网络在一系列计算机视觉基准上达到了很强的精确度,但它们依然容易受到对手的攻打,一些无奈觉察的烦扰数据坑骗了网络。本文提供了实践和实证剖析,将一个模型的反抗鲁棒性与它所训练的工作数量分割起来。在两个数据集上的试验表明,攻打模型的难度随着指标工作数量的减少而减少。此外,咱们的结果表明,当模型在同时进行多任务训练时,它们在单个工作的反抗攻打中会变得更持重。也就是说,训练任务数量低的状况下,模型更容易受到对手的攻打。咱们的工作是第一次将这种脆弱性与多任务学习分割起来,并暗示了一个新的钻研方向,以了解和加重这种脆弱性。

欢送关注磐创 AI 博客站:
http://panchuang.net/

sklearn 机器学习中文官网文档:
http://sklearn123.com/

欢送关注磐创博客资源汇总站:
http://docs.panchuang.net/

退出移动版