人类长于剖析事物。然而当初看来，机器很有可能做得更好。机器能够不知疲倦披星戴月地剖析数据，一直从中找到很多人类场景用例的模式：信用卡欺诈预警、垃圾邮件检测，股票价格预测、以及个性化地举荐商品和视频等等。他们在这些工作上变得越来越聪慧了。这被称为 “剖析人工智能（Analytical AI）” 或”传统人工智能（Traditional AI）”。
然而人类不仅善于剖析事物，还长于发明。咱们写诗、设计产品、制作游戏和编写代码。直到公元 2022 年之前，机器还没有机会在创造性工作中与人类竞争，它们只能从事剖析和死记硬背的认知劳动。然而当初（是的，就是当初）机器曾经开始在发明理性而美好事物的畛域尝试超过人类，这个新类别被称为 “生成式人工智能（Generative AI）”。这意味着机器曾经开始在发明生成全新的事物，而不是剖析曾经存在的旧事物。
生成式人工智能不仅会变得更快、更便宜，而且在某些状况下比人类手工发明的更好。每个须要人类创作原创作品的行业—从社交媒体到游戏、从广告到修建、从编码到平面设计、从产品设计到法律、从营销到销售都有待全新重塑。某些性能可能会被生成式人工智能齐全取代，或者激发出超过人类想象力的全新灵感。
| 亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术，观点，和我的项目，并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏，看到这里请肯定不要匆匆划过，点这里让它成为你的技术宝库！ |
新世界正在到来。
Transformer 新世界
做为一名已经屡次穿梭过市场周期的从业者，我亲历过通信行业、IT 行业、挪动互联网行业等不同时代的周期，亲自体验过其间的潮起云涌，亲眼目睹过其中的天高云淡，以及最终惨烈竞争后的回归平淡。因而，面对曾经开启的 AI 时代周期，与其自觉地跳进去追随，不如先搞清楚这个新周期的一些底层逻辑，比如说：常识底座。
如果说 TCP/IP、HTML 等知识结构是上一个时代的常识底座，那么面对曾经开始的 AI 时代，咱们每个人是否应该先问本人一个问题：“什么是 AI 时代的常识底座？”
从到目前为止 AI 的常识倒退看来，兴许这个常识底座会是：Transformer。
1 Transformer 概述
欢送进入 Transformer 的新世界。
在过来的五年中，人工智能世界产生了很多令人欣慰的重大变动。其中许多变动是由一篇名为 “Attention is All You Need” 的论文推动的。这篇发表于2017年的论文介绍了一种名为 “Transformer” 的新架构。下图为“Attention is All You Need” 的论文中形容的 Transformer 模型的架构图示。
Source: https://arxiv.org/pdf/1706.03762.pdf?trk=cndc-detail
概括来说，Transformer 模型为机器学习畛域做出了两项奉献。首先，它进步了在人工智能中应用并行计算的效率。其次，它引入了 “注意力（Attention）” 的概念，这使人工智能可能了解单词之间的关系。你所听到的技术，例如 GPT-3、BERT、Sable Diffusion 等，都是 Transformer 架构在不同畛域演进的后果。
2 注意力机制（Attention）
什么是注意力机制？依据该论文中的形容，注意力函数能够形容为将查问和一组键值对映射到输入，其中查问、键、值和输入都是向量。输入是按值的加权总和计算的，其中调配给每个值的权重由查问的兼容性函数与相应键值计算得出。Transformer 应用多头注意力（multi-headed attention），这是对称为缩放点积注意力（scaled dot-product attention）的特定注意力函数的并行计算。如下图所示。
Source: https://arxiv.org/pdf/1706.03762.pdf?trk=cndc-detail
下面这段对“注意力机制”的形容还是偏学术化。维基百科上的定义会更通俗易懂些：“注意力机制（英语：attention）是人工神经网络中一种模拟认知注意力的技术。这种机制能够加强神经网络输出数据中某些局部的权重，同时削弱其余局部的权重，以此将网络的关注点聚焦于数据中最重要的一小部分。数据中哪些局部比其余局部更重要取决于上下文。能够通过梯度降落法对注意力机制进行训练 ……”
可见，注意力机制的灵活性来自于它的“软权重”个性，即这种权重是能够在运行时扭转的，而非像通常的权重一样必须在运行时放弃固定。
3 Transformer in Chip
很多人工智能畛域的思维首领和专家，认为 Transformer 架构在将来五年左右并不会有太大变动。这就是为什么你会看到一些芯片制造商在其新芯片（例如 NVIDIA H100）中集成 Transformer Engine 的起因。
在 2022 年拉斯维加斯的 re:Invent 2022 中，来自 NVIDIA 的架构师分享了如何在亚马逊云科技上，应用 NVIDIA 新一代芯片做深度学习训练的专题，外面特地提到了 H100 芯片中 Transformer Engine 的设计构造和初衷。对技术架构细节感兴趣的同学，能够通过以下视频深刻理解：https://www.youtube.com/watch?v=l8AFfaCkp0E?trk=cndc-detail
4 Transformer 演进工夫线
一个乏味的视角是将各种 Transformer 依照呈现的工夫顺序排列的图示。
Source: “Transformer models: an introduction and catalog” https://arxiv.org/abs/2302.07730?trk=cndc-detail
我听到过的一个比拟乏味的视角是：如果您之前对 Transformer 晓得得不多，不要恐慌。因为您看到引领这一波生成式人工智能（Generative AI）改革的重要几篇论文的状况：
- CLIP 论文在 2021 年发表；
- Stable Diffusion 和 DALL-E-2 在 2022 年才呈现；
- GPT3.5、ChatGPT、Bloom 等在 2022 年底才呈现……
这个新世界的演进才刚刚开始，你还有足够的工夫从新开始学习 Transformer！
Generative AI
1 为什么当初产生?
Generative AI 与更宽泛的人工智能具备雷同的值得人类深刻思考问题：“为什么当初产生？” 概括来说，这个答案是咱们当下具备：
- 更好的模型；
- 更多的数据；
- 更多的计算；
Generative AI 的进化速度比咱们所能设想的要快得多，为了将以后时刻置于大时代洪流的背景之下，十分值得咱们大抵地理解下 AI 的倒退历史和已经走过的路。
第一波浪潮：小型模型占据了至高无上的位置（2015 年之前）
小型模型在了解语言方面被认为是 “最先进的”。这些小型模型善于剖析工作，可用于从交货工夫预测到欺诈分类等工作。然而，对于个别用处的生成工作，它们的表现力还不够。生成人类级写作或代码依然是白日梦。
第二波浪潮：规模比赛（2015 年至今）
2017 年发表的里程碑意义的论文（“Attention is All You Need”）形容了一种用于自然语言了解的新神经网络架构，这种架构名为 Transformer，它能够生成高质量的语言模型，同时更具可并行性，并且须要更少的训练工夫。这些模型是 few-shot learners 的，因而能够绝对容易地针对特定畛域进行定制。
Source:https://www.science.org/content/article/computers-ace-iq-test...
随着模型越来越大，它们开始提供人类层面的后果，而后是超人的后果。在 2015 - 2020 年间，用于训练这些模型的计算减少了 6 个数量级，其后果超过了人类在手写、语音和图像识别、浏览了解和语言了解方面的性能基准。GPT-3 模型在这时怀才不遇，该模型的性能比 GPT-2 有了微小的飞跃，内容波及从代码生成到写作等多项工作。
只管根底钻研获得了种种停顿，但这些模型并不被人宽泛应用。起因是它们宏大且难以运行（须要 GPU 编排等），可能应用这些模型的门槛太高（不可用或仅限关闭 BETA），而且用作云服务的老本也很高。只管存在这些局限性，但最早的 Generative AI 应用程序开始进入竞争阶段。
第三波浪潮：更好、更快、更便宜（2022 年当前）
因为像亚马逊云科技这样的云技术公司，始终在推动云计算的遍及，计算变得更加便宜。而像 diffusion model 等新技术升高了训练和运行推理所需的老本，钻研界因而能够持续开发更好的算法和更大的模型。开发者拜访权限从关闭 BETA 扩大到凋谢 BETA，或者在某些状况下扩大到开源（open-source）。对于始终不足 LLM 拜访权限的开发人员来说，当初闸门已凋谢，可供摸索和利用程序开发。应用程序开始蓬勃发展。
第四波浪潮：杀手级应用程序的呈现（当初）
随着根底平台层的逐步坚固，模型一直变得更好/更快/更便宜，模型拜访趋向于收费和开源，应用层的创造力爆炸的机会曾经成熟。
正如十年前的挪动互联网暴发的前夜，因为挪动通过 GPS、摄像头和挪动连贯等新场景、新性能开释了新类型的应用程序一样，咱们预计这些大型模型将激发新一轮的 Generative AI 利用。咱们预计 Generative AI 也将呈现杀手级应用程序。
Source:https://www.sequoiacap.com/article/generative-ai-a-creative-n...
2 Generative AI: 应用层蓝图构想
以下是 Generative AI 的利用格局图，形容了为每个类别提供反对的平台层以及将在下面构建的潜在应用程序类型。
Source:https://www.sequoiacap.com/article/generative-ai-a-creative-n...
文本是停顿最快的畛域。
代码生成可能会在短期内对开发人员的生产力产生重大影响，如 Amazon CodeWhisperer 所示。
图像是一种较新的景象。咱们看到了不同格调的图像模型的呈现，以及用于编辑和批改生成的图像的不同技术。
语音合成曾经存在了一段时间（例如，你好 Siri！）。就像图像一样，明天的模型也为进一步欠缺提供了终点。
视频和三维模型正在迅速上线。人们对这些模式开启电影、游戏、虚拟现实和实体产品设计等大型创意市场的后劲感到兴奋。
其余畛域：从音频和音乐到生物学和化学，许多畛域都在进行根底模型研发。
下图阐明了咱们如何冀望根本模型获得停顿以及相干利用成为可能的时间表。
Source:https://www.sequoiacap.com/article/generative-ai-a-creative-n...
3 Generative AI: 文字生成图像（Text-to-Image）方向
回顾过去的一年，有两个 AIGC 方向曾经产生了让人惊艳的提高。其中一个方向就是：文字生成图像（Text-to-Image）方向。
依据来自亚马逊云科技的官网博客，用户当初能够很不便的在 SageMaker JumpStart 中应用 Stable Diffusion 模型，轻松地生成富裕想象力的绘画作品。
The following images are in response to the inputs “a photo of an astronaut riding a horse on mars,” “a painting of new york city in impressionist style,” and “dog in a suit.”
The following images are in response to the inputs: (i) dogs playing poker, (ii) A colorful photo of a castle in the middle of a forest with trees, and (iii) A colorful photo of a castle in the middle of a forest with trees. Negative prompt: Yellow color.
Source:https://aws.amazon.com/cn/blogs/machine-learning/generate-ima...
对于文字生成图像（Text-to-Image）方向的论文解读、示例代码等咱们还会有其余专题深刻探讨。
以上就是对于 Transformer 和 Generative AI 的局部介绍。在下一篇文章中，咱们将具体探讨对于 Generative AI 另一个重要的提高方向就是：文字生成（Text Generation）方向。分享这个畛域的最新进展，以及亚马逊云科技在为反对这些大型语言模型（LLMs）的编译优化、分布式训练等方面的停顿和奉献。
请继续关注 Build On Cloud 微信公众号，理解更多面向开发者的技术分享和云开发动静！
往期举荐
开发者生态
架构模型最佳实际
亚马逊的开源文化
作者黄浩文
亚马逊云科技资深开发者布道师，专一于 AI/ML、Data Science 等。领有 20 多年电信、挪动互联网以及云计算等行业架构设计、技术及守业治理等丰盛教训，曾就任于 Microsoft、Sun Microsystems、中国电信等企业，专一为游戏、电商、媒体和广告等企业客户提供 AI/ML、数据分析和企业数字化转型等解决方案咨询服务。
文章起源：https://dev.amazoncloud.cn/column/article/6413095e3d950b57b3f...