共计 2706 个字符，预计需要花费 7 分钟才能阅读完成。
导读：「深度赋智」斩获 NeurIPS-AutoDL 2019 系列比赛总决赛世界冠军，在图像 / 音频 / 视频 / 文本 / 表格不同场景的十个数据集上稳固取得八项第一和均分第一。为独特推动 AutoDL 技术的疾速倒退，冠军计划的技术细节首次公开，最新相干论文已被人工智能顶刊 IEEE TPAMI 接管。TPAMI 筛选极其严格，每年录用量仅 200 篇左右(以后影响因子 17.861，在中国计算机学会认定的人工智能畛域四个 A 类期刊中排名第一)。
我的项目地址：https://github.com/DeepWisdom…
深度赋智联结厦门大学纪荣嵘传授团队首次公开 AutoDL2019 挑战赛冠军计划的钻研细节，具体介绍了 AutoDL 比赛中各模块组件 (元学习器、数据注入器、模型抉择、评估办法等) 的设计与实现，以及比赛中 benchmark 相干工作和 AutoDL 服务，并将比赛中的残缺代码进行开源。
目前，研究成果“Winning Solutions and Post-challenge Analyses of the ChaLearn AutoDL Challenge 2019”已被人工智能顶级期刊 TPAMI 录用。论文独特作者包含弗雷堡大学 Frank Hutter、第四范式、联想集团、Paris-Saclay 大学等学者及机构。AutoDL 2019-2020 系列比赛由国内人工智能顶级会议 NeurIPS（神经信息处理系统大会）主办，是人工智能畛域机器学习和计算神经科学的国内顶级赛事，从来备受瞩目。
近年来，深度学习技术在诸多畛域取得了关键性冲破。然而，少数深度学习模型的性能在很大水平上依赖于适量的模型设计策略。如果人类工程师想要让神经网络在特定的工作上获得现实的体现性能，就须要很好地抉择和设计网络结构、学习过程、正则化办法及超参等。另外，随着工作的不同，工程师须要反复上述过程。因而，是否能够设计一种 AutoML 算法，可能在大量工作上以统一的良好性能进行疾速学习，从而缩小对人类专业知识的适度依赖？
大赛提供的各类基准数据集
NeurIPS-AutoDL 2019 系列比赛的初衷则是心愿解决上述问题。比赛提供了一系列可重用的基准数据集，要求参赛选手设计开发无任何人工干预的主动深度学习零碎，并应用该零碎解决包含图像、视频、语音、文本和结构化表格数据等多畛域的全自动多标签分类工作。
论文指出，在无限工夫和计算资源的限定下，应用通用的神经网络搜寻 (Neural Architecture Search) 是不切合实际的，零碎须要设计更高级的模块化组织，包含元学习器、数据注入器、模型选择器、评估办法等。这些高度模块化的组件对于元学习、集成学习和无效数据管理非常重要。钻研团队实现了一个基于均匀排名、多任务执行和随时学习矩阵的 AutoDL 零碎(零碎架构参考下图)，提供了将用户数据主动封装为零碎输出的端到端开源工具包，以便用户疾速应用 AutoDL 服务。
参赛解决方案的零碎组件图
其次，论文总结了 Top5 参赛队伍的模型抉择计划。咱们从下表中看到，简直所有计划都对 5 个畛域应用了不同的办法。对于计算机视觉中图像和视频这两个畛域，冠军计划次要采纳了诸如 ResNet 及其变体等风行的骨干网络，同时引入预训练模型和数据加强技术。对于语音域和文本域，采纳了不同的特征提取技术，应用畛域常识（如 MFCC、STFT、截断）进行特征提取。对于表格域，将更经典的机器学习算法与智能数据加载策略相结合。
Top5 解决方案总结
同时，作者认为元学习、数据加载和数据加强是显著晋升模型性能的三大关键技术。
元学习(Meta-learning)：元学习包含迁徙学习、训练前模型和超参数设置和抉择。元学习对模型训练和预测的最终精度和速度都至关重要。
数据加载(Data Loading)：数据加载是减速训练过程以取得更高 ALC 分数的关键因素。零碎从三个方面改良了数据加载。首先，减速将数据解码为 Numpy 格局，同时对文本和表格数据进行批处理以放慢转换速度。第二，对不同档次数据和特色治理采纳缓存机制；第三，以渐进的形式提取视频帧。
数据加强（Data Augmentation）：将疾速主动加强、工夫加强和 ThinResNet34 模型的分段配置别离作为图像、视频和语音数据的数据加强技术。
为了论证三大关键技术的有效性，作者做了融化试验进行比照，后果如下图所示。咱们能够看到，元学习能够被认为是该解决方案中最重要的一个组成部分。别离移除数据加载和数据加强技术，也会使得模型性能升高。
三大关键技术融化试验后果
基于该 AutoDL 框架，「深度赋智」于 2020 年 4 月取得国内主动机器学习畛域的顶级赛事 NeurIPS-AutoDL 系列比赛总决赛世界冠军，在多畛域测试集上获得了优异的性能体现，证实了该框架在不同场景的普适性。
总决赛 Top9 ALC 得分
总结
AutoDL 的钻研面临诸多挑战，例如工夫和计算资源的限度、最优配置的搜寻、网络结构的设计等等。只管构建一个齐全自动化的解决方案非常复杂，咱们还是心愿可能向一个相当对立的模块化体系结构聚拢。咱们的融化钻研表明，将来 AutoDL 在元学习和集成学习方面还能够进一步改良和优化。目前,「深度赋智」已将该研究成果利用于其自研的天机主动机器学习平台，已为批发 / 鞋服、工业、交易平台、金融等行业的多个头部客户提供了相应服务。客户数据表明，整套解决方案可大幅提高决策、举荐、搜寻等工作的成果，并晋升 40%~60% 的商业指标，为客户实现超过 60% 的人力老本节约和显著的净利率晋升。
深度赋智与其单干学术团队曾经在 PAMI/NeurlPS/KDD/ACL/CVPR/ICCV/AAAI 等顶会顶刊上发表了数百篇论文，领有丰盛的学术积攒。对于天机产品的后劲与价值，深度赋智创始人兼 CEO 吴承霖认为：“以批发行业为例，批发行业近几年通过多轮的转化与降级，但老本治理难、销售额增长瓶颈、供应链效率低等多个痛点仍然存在。「深度赋智」能全自动部署至线下多个批发触点，实现更低成本更高效率。”将来，「深度赋智」将持续摸索前沿科技方向，助力 AI 技术在各个细分行业的落地，让 AI 发明更多的社会价值。
IEEE Transactions on Pattern Analysis and Machine Intelligence（IEEE TPAMI）是人工智能畛域最顶级国内期刊，该期刊影响因子在人工智能畛域的期刊中长年位居榜首，高达 17.861，在中国计算机学会（CCF）期刊会议举荐列表中为 A 类。在人工智能畛域会议论文日益增多的明天，TPAMI 仍维持每年仅 200 篇左右的录用量(在中国计算机学会认定的人工智能畛域四个 A 类期刊中排名第一)。