关于深度学习:译OpenAI的出色得令人惊讶的新语言生成模型GPT3是个彻头彻尾的没头脑

74次阅读

共计 1753 个字符,预计需要花费 5 分钟才能阅读完成。

这个 AI(指 GPT-3)是有史以来最大的语言模型,它能依据需要产出看起来就像是人书写的文本,但并不能让咱们更靠近真正的人工智能。
—-Will Douglas Heaven

一位位于圣弗朗西斯科的开发者兼艺术家 Arram Sabeti 上周在推特上写道:“玩 GPT- 3 让人感觉看到了(人工智能)的将来”。

OpenAI 于 5 月份首次在一篇钻研论文里叙述了 GPT-3。但上周 OpenAI 开始逐渐向一些申请测试并被选中的用户凋谢 GPT- 3 的应用。目前,OpenAI 心愿外界开发者能帮忙他们摸索 GPT- 3 能做什么,OpenAI 打算之后将 GPT- 3 商业化,通过可订阅云服务为商业提供 AI 能力,工夫点在年内。

GPT- 3 是有史以来最强力的语言模型。去年公布的 GPT- 3 的后任 GPT-2,有能力依据输出的文本生成让人感觉是人写的一连串文本。但 GPT- 3 是一个更大的提高,这个模型有 1750 亿训练参数,而 GPT- 2 相比之下只有 15 亿。对于语言模型来说,模型大小的确对其性能有影响。

Sabeti 给出一个他用来夸耀的 blog 链接,blog 里有他的短文、诗歌、新闻稿、技术手册等他用 GPT- 3 发明的文本。GPT- 3 甚至能刻意模仿特定的作者,写出作品。Mario Klingemann,一位工作中用到机器学习的艺术家,分享了一个短篇“在推特上生存的重要性”,内容是“伦敦人民仍然感兴趣的、最近还持续存在的社交生活是推特,这是个奇怪的事实。该事实令我印象粗浅,当我去海边度过我的定期休假时,我发现海边鸟叫声多得像个鹦鹉笼”(Twitter 首字母大写,特定名词推特,twitter 首字母小写,失常词语鸟叫声),该短篇是模拟 Jerome K. Jerome 的格调写的。Klingemann 示意他只向 GPT- 3 输出了题目、
作者名以及初始词语“It”。(这个)链接甚至有一篇齐全用 GPT- 3 写的对于 GPT- 3 的材料文章,看起来合乎逻辑。

其他人发现,GPT- 3 能够生成任何品种的文本,包含吉他琴谱和代码。比方,微调 GPT-3,GPT- 3 就能生成 HTML 而不是自然语言文本。网页开发者 Sharif Shameem 展现,他能够通过向 GPT- 3 输出“一个像西瓜一样的按钮”或者“红色的大文本‘欢送来到我的新闻稿’以及名为‘订阅’的蓝色按钮”,来让 GPT- 3 生成网页布局。即便是开创性地将 3D 图形学利用于像 Doom 这样的电子游戏、现在的 Oculus VR 首席征询技术官、传奇程序员 John Carmack 也心神不宁地示意:“最近简直是意外地发现 GPT- 3 在某种程度上能够写代码,(这件事)的确带来了一些震撼。”

但忽视其最新的戏法,GPT- 3 仍然偏向于生成无害的性别歧视或者种族歧视文本。在 GPT- 2 上,微调能够缩小此类文本的产出。

并不令人意外地,很多人很快就开始议论人工智能。然而,GPT- 3 那宛如真人书写的文本输入以及令人诧异的多才多艺是杰出的工程的后果,而不是真正的智能。首先,(GPT- 3 这个)AI 仍然会呈现愚不可及的谬误,这种谬误表明,GPT- 3 齐全没有常识。即便是 GPT- 3 的胜利之处也不足深度,因为 GPT- 3 的训练,少数像是复制粘贴,而不是原创文本。

确切来说,GPT- 3 是个黑盒子,人们并不知道其推理过程。GPT- 3 体现好的中央在于,它依照需要,以乏味的形式,依据数以亿计从网络中收集到的浩瀚多样的文本片段来合成文本。

这不是在贬斥 OpenAI 获得的成就。一个像 GPT- 3 一样的工具有很多新用途,无论好(从让聊天机器人更好到帮人写代码)还是坏(从让聊天机器人提供错误信息到让孩子在作业里舞弊)。

然而 AI 里程碑往往会毁于过分的炒作。即便是和 Elon Musk 一起创立了 OpenAI 的 Sam Altman 也心愿升高 GPT- 3 的(炒作)热度:“GPT- 3 被过分吹捧了。GPT-3(的成就)令人映像粗浅,但其仍然有重大的缺点,会犯愚昧通俗的谬误。AI 已筹备好扭转世界,但 GPT- 3 只是(其中)很晚期的(让咱们看到的)一眼。(对于 AI)咱们还有很多要挖掘的。”

对于看起来像是人工智能的人工智能,咱们的规范很低。咱们很容易被那些看起来很聪慧的货色坑骗。AI 说过的最大的谎话,就是压服世人,AI 是存在的。GPT- 3 是人工智能的一个微小的提高,但它仍然是人工制作的有毛病和限度的工具。

正文完
 0