关于人工智能:Jeff-Dean深度学习的黄金十年

撰文|Jeff Dean

编译|机器之心

编辑|杜伟、陈萍

自从计算机诞生之初，人类就幻想着可能发明出会思考的机器。1956 年，在达特茅斯学院组织的一个研讨会上，约翰 · 麦卡锡提出人工智能这个概念，一群数学家和科学家汇集在一起寻找如何让机器应用语言，造成形象了解和概念以解决现存的各种问题。过后的研讨会参与者乐观地认为，在几个月的工夫里这些问题能获得真正的停顿。

1956 年达特茅斯人工智能会议的参与者：马文 · 明斯基、克劳德 · 香农、雷 · 所罗门诺夫和其余科学家。摄自：Margaret Minsky

事实证明，预留几个月的工夫安顿过于乐观。在接下来的 50 年里，创立人工智能零碎的各种办法开始风行，包含基于逻辑的零碎、基于规定的专家系统和神经网络，但起初又变得过期。

直到 2011 年左右，得益于深度学习中神经网络的振兴，人工智能才开始进入倒退的要害阶段，并获得了巨大进步。这些技术的提高有助于进步计算机看、听和了解四周世界的能力，使得人工智能在迷信以及人类摸索的其余畛域获得巨大进步。这其中有哪些起因？

近日，谷歌大牛 Jeff Dean 发表的《A Golden Decade of Deep Learning: Computing Systems & Applications 》一文对此做了剖析，文章重点关注三个方面：促成 AI 提高的计算硬件和软件系统；过来十年在机器学习畛域一些令人兴奋的利用示例；如何创立更弱小的机器学习零碎，以真正实现创立智能机器的指标。

Jeff Dean 的这篇文章发表在了美国文理学会会刊 Dædalus 的 AI 与社会（AI & Society）特刊上。

1

人工智能硬件和软件的提高

人工智能的硬件和软件：深度学习通过组合不同的线性代数（例如矩阵乘法、向量点积以及相似操作）进行运算，但这种运算形式会受到限制，因而咱们能够构建专用计算机或加速器芯片来进行解决，相比于必须运行更宽泛品种算法的通用 CPU，这种专用化的加速器芯片能带来新的计算效率和设计抉择。

早在 2000 年代初期，就有多数研究者开始摸索应用 GPU 来实现深度学习算法。到了 2004 年，计算机科学家 Kyoung-Su Oh 和 Keechul Jung 展现了应用 GPU 把神经网络算法的速度晋升了近 20 倍。2008 年，在某些无监督学习算法中，计算机科学家 Rajat Raina 及其共事比照了应用基于 GPU 与 CPU 的最佳实现，其中 GPU 速度晋升可达 72.6 倍。

随着计算硬件的改良，深度学习开始在图像识别、语音辨认、语言了解等方面获得显著提高。为了构建专用硬件，深度学习算法有两个十分好的个性：首先，它们对精度的升高十分宽容；其次，深度学习算法所需的计算简直齐全由密集矩阵或向量上的不同线性代数运算序列组成。

为了使深度学习和计算变得更容易，钻研人员开发了软件框架，现在，开源框架帮忙大量的钻研人员、工程师等推动深度学习钻研，并将深度学习利用到更宽泛的畛域。

晚期的一些框架包含 Torch、Theano、DistBelief、Caffe 等，还有谷歌在 2015 年开源的 TensorFlow，它是一个容许表白机器学习计算的框架，并联合了 Theano 和 DistBelief 等晚期框架的想法。目前为止，TensorFlow 已被下载超过 5000 万次，是世界上最受欢迎的开源软件包之一。

TensorFlow 公布一年后，PyTorch 于 2016 年公布，它应用 Python 能够轻松表白各种钻研思维而受到钻研人员的欢送。JAX 于 2018 年公布，这是一个风行的面向 Python 的开源库，联合了简单的主动微分和底层 XLA 编译器，TensorFlow 也应用 XLA 来无效地将机器学习计算映射到各种不同类型的硬件上。

TensorFlow 和 PyTorch 等开源机器学习库和工具的重要性怎么强调都不为过，它们容许钻研人员能够疾速尝试想法。随着世界各地的钻研人员和工程师更轻松地在彼此的工作根底上进行构建，整个畛域的停顿速度将放慢！

2

研究成果激增

钻研一直获得提高，面向 ML 硬件（GPU、TPU 等）的计算能力一直加强，开源机器学习工具（Tensor­Flow、PyTorch 等）被宽泛采纳，这一系列停顿使得机器学习及其应用领域的研究成果急剧减少。

其中一个强有力的指标是公布到 arXiv 上对于机器学习畛域的论文数量。2018 年，arXiv 公布的论文预印本数量是 2009 年的 32 倍以上（每两年增长一倍以上）。

通过与气象迷信和医疗保健等要害畛域的专家单干，机器学习钻研人员正在帮忙解决对社会无益、促成人类提高的重要问题。能够说，咱们生存在一个激动人心的时代。

3

迷信和工程利用激增

计算能力的变革性增长、机器学习软硬件的提高以及机器学习研究成果的减少，促成了机器学习利用在迷信和工程畛域的激增。通过与气象迷信和医疗衰弱等要害畛域的单干，机器学习钻研人员正在帮忙解决对社会无益并促成人类倒退的重要问题。这些迷信和工程畛域包含：

神经科学
分子生物学
医疗衰弱
天气、环境和气象挑战
机器人
可拜访性
个性化学习
计算机辅助的创造性
重要的构建块（blocks）
Transformers
计算机系统的机器学习
每个细分的具体内容请参考原文。

4

机器学习的将来

ML 钻研社区正在呈现一些乏味的钻研方向，如果将它们联合起来可能会更加乏味。

首先，钻研稠密激活模型。比方稠密门控专家混合模型（Sparsely-Gated MoE），展现了如何构建十分大容量的模型，其中对于任何给定的实例（如 2048 个专家中的两至三个），只有一部分模型被「激活（activated）」。

其次，钻研自动化机器学习（AutoML）。其中神经架构搜寻（NAS）或进化架构搜寻（EAS）等技术能够主动学习 ML 模型或组件的高效构造或其余方面，以优化给定工作的准确率。AutoML 通常波及运行很多自动化试验，每个试验都可能蕴含巨量计算。

最初，以几个到几十个相干工作的适当规模进行多任务训练，或者从针对相干工作的大量数据训练的模型中迁徙学习，而后针对新工作在大量数据上进行微调，这些形式已被证实在解决各类问题时都十分无效。

一个十分乏味的钻研方向是把以上三个趋势联合起来，在大规模 ML 加速器硬件上运行一个零碎。指标是训练一个能够执行数千乃至数百个工作的繁多模型。

这种模型可能由很多不同构造的组件组成，实例（example）之间的数据流在逐实例的根底上是绝对动静的。模型可能会应用稠密门控专家混合和学习路由等技术以生成一个十分大容量的模型，但其中一个工作或实例仅稀疏地激活零碎中总组件的一小部分。

下图形容了一个多任务、稠密激活的机器学习模型。

每个组件自身可能正在运行一些类 AutoML 的架构搜寻，以使组件的构造适应路由到它的数据类型。新的工作能够利用在其余工作上训练的组件，只有它有用就行。

Jeff Dean 心愿通过十分大规模的多任务学习、共享组件和学习路由，模型能够迅速地以高准确率来实现新工作，即便每个新工作的新实例绝对较少。起因在于，模型可能利用它在实现其余相干工作时曾经取得的专业知识和内部表征。

构建一个可能解决数百万工作并学习主动实现新工作的繁多机器学习零碎是人工智能和计算机系统工程畛域真正面临的微小挑战。这须要机器学习算法、负责任的 AI（如公平性和可解释性）、分布式系统和计算机架构等很多畛域的专业知识，从而通过构建一个可能泛化的以在机器学习所有应用领域中独立解决新工作的零碎，来推动人工智能畛域的倒退。

5

负责任的 AI 开发

尽管 AI 有能力在人们日常生活的方方面面提供帮忙，但所有钻研人员和从业人员应确保以负责任的形式开发相干办法，认真审查偏见、公平性、隐衷问题以及其余对于 AI 工具如何运作并影响别人的社会因素，并致力以适当的形式解决所有这些问题。

制订一套明确准则来领导负责任的 AI 倒退也很重要。2018 年，谷歌公布了一套 AI 准则，用于领导企业与 AI 相干的工作和应用。这套 AI 准则列出了须要思考的重要畛域，包含机器学习零碎中的偏见、平安、偏心、问责、透明性和隐衷。

近年来，其余机构和政府也纷纷效仿这一模式，公布了本人的 AI 应用准则。Jeff Dean 心愿这种趋势可能延续下去，直到它不再是一种趋势，而是成为所有机器学习钻研和开发中遵循的规范。

6

Jeff Dean 对将来的瞻望

2010 年代确实是深度学习钻研和获得停顿的黄金十年。1956 年达特茅斯人工智能研讨会上提出的一些最艰难的问题在这十年获得了长足进步。机器可能以晚期钻研人员心愿的形式看到、听到和了解语言。

外围畛域的胜利促使很多迷信畛域迎来重大进展，不仅智能手机更加智能，而且随着人们持续创立更简单、更弱小且对日常生活有帮忙的深度学习模型，将来有了更多的可能性。得益于弱小机器学习零碎提供的帮忙，人们将在将来变得更有创造力和领有更强的能力。

（本译文经受权后公布。原文链接：

https://www.amacad.org/public…）

欢送下载体验 OneFlow v0.7.0 最新版本：
https://github.com/Oneflow-In…