关于机器学习:All-in-AI现在开始算不算太晚

编者按：目前大模型近乎能够帮忙人类解决方方面面的事件，如对话、写文章、写代码等等。在大模型“狂飙”趋势下，想要从事 AI 畛域的小伙伴可能会犹豫：当初进入 AI 畛域会不会曾经太晚了？

本文作者联合本身转型经验和对 AI 市场的研判，论述了 进入人工智能畛域素来都不会太晚，There’s no time like the present。

本文还详述了，在“AI 浸透所有”的时代，如何疾速把握必要的 AI 常识，以及如何在 AI 时代找到本身职业定位。

以下是译文，Enjoy!

作者 | swyx

编译 | 岳扬

我的一位开发者敌人最近跟我说：“如果我当初是 20 岁，我会放下所有 all in 人工智能。”但他曾经花了十多年的工夫去学习专业知识、积攒社交人脉和良好的名誉，曾经达到他目前所在畛域的最高程度。因而，他当初还得留在原来的畛域。另一位较年长的大学期间敌人是一家上市科技初创公司的高管。他对当初的工作得心应手，领有近乎完满的简历，他之前的职业经验也是令人羡慕的岗位。然而，他当初正在转变方向，因为正如他通知我的那样，” 生命是短暂的 ”，他不想在完结时想 “ 如果过后 …”。

最近几天，我同从事技术工作和非技术工作的敌人都有过相似下面这样的对话。尽管我很想让这篇文章关注具体的技术倒退和分享飞速发展的最新技术，但我认为有必要花一期来 探讨职业转型话题，因为这正是我凑巧特地有资格可能探讨的话题。

01 三十多岁时的转折期

我还记得在我 30 岁第一次进行职业转型时有如许可怕，过后我曾经在金融行业工作了 6 - 7 年，我从 16 岁起就始终想要从事金融行业，穿梭于世界各地，向 CEO 们发问，并帮忙治理一家世界顶级对冲基金的 10 亿美元资产。看起来我很厉害，但我深知我的心田并不满足，这不是我的最终目标。与从无到有发明出一些货色相比，让一些捐献基金和养老金的数字变得更加大，就显得微不足道了。我决定从金融行业转向软件工程（和开发者关系）。接下来产生的大家都曾经晓得了[1]。

六到七年后，我又一次转变了我的职业。我认为从软件工程师（SWE）到人工智能（AI）的转变简直和从金融到软件工程师的转变一样大，它们只是外表上看起来类似（都是计算机领域），然而须要大量的新常识和实践经验能力使工作变得有效率。我的转变策略和上次一样：尽可能开始的六个月每个早晨和周末学习，以确保我对要进入的畛域领有浓重的趣味（正文 1，文末有解释，后同），而且我可能获得有意义的提高，而后就开始与过来 say goodbye/ 背水一战 / 全力以赴，并通知大家我进入了这个畛域[2]（正文 2）。

但那只是实用于我本人的状况。每个人的状况可能都会不同。我置信如果你违心，能够找到如何做到胜利转行的办法。这篇文章面向的对象是那些想要取得足够自信去做出决定的人。

我认为，在科技职业的抉择中存在很多暗藏的年龄歧视（ageism）和沉没老本误区[3]（sunk cost fallacy）。因而，以下是我疾速列出的一些理由，能够阐明你不会因为年龄问题而无奈转行。

02 哪怕你年龄曾经很大 仍应进入 AI 畛域的起因如下

2.1 人工智能极大的后劲 / 倒退速度

• 杰夫·贝索斯（Jeff Bezos）在 30 岁时辞去金融工作，开办了亚马逊。
• 他这样做是因为 1994 年互联网使用量每年增长 2300%。
• 通用技术[4]（general purpose technologies）（正文 3）的推广须要数十年的工夫。
• 设想一下，如果你能够在 2000 年或 2010 年成为技术畛域的“后浪”，却得出结论认为“为时已晚”而没有进入互联网行业。
• 自 1 月以来，ChatGPT 的使用量增长了 1000% [5]（正文 4）。

2.2 上手 AI 须要的工夫比咱们设想的要短

• 如果不是通过获取博士学位的门路进入机器学习畛域，须要先加入 Andrew Ng（吴恩达）在 Coursera 上的课程 [6] 三个月左右，而后就会意识到仍须要数年的自学和实践经验能力在机器学习畛域做出乏味的事件。
• 但目前咱们把握生成式 AI 的学习门路正在变得越来越简略。（正文 5）
• Jeremy Howard 的 fast.ai 课程 [7] 从 2016 年开始就声称让学生在七周内进入人工智能畛域。到了 2022 年，他曾经通过十节 90 分钟的课程率领学员从新实现 Stable Diffusion[8]。Suhail Doshi 在 2022 年 6 月加入了这门课程，到了 11 月就推出了 Playground.ai[9]。
• 这在肯定水平上是由 2017 年推出的 Transformer 架构 推动的，自那当前它简直进入了每个 AI 畛域 [10]，并提供了一个弱小并且灵便的 baseline，从而使 之前的架构常识变得可有可无 。因而，没有数十年的钻研须要学习， 只须要学习最近五年的内容。

https://www.stateof.ai/2018

• 有一些读者询问了对于 AI 波及到的数学问题。AI 是否“只是应用了 矩阵乘法（matrix multiplication）” [11]存在争议，如果你违心，能够在大学线性代数和微积分课程中学习矩阵乘法，但我的答复是你不用这样做，当初的那些 AI 开发框架（比方 Pytorch）能够帮忙你进行任何反向流传（backpropagation)和矩阵操作（matrix manipulations）。
• 当然，走捷径并不能让你变成可能推动技术倒退的博士。 但看看最顶尖 AI 研究员的职业生涯，你也能够理解须要多长时间能力达到最高程度。Yi Tay 在 Google 奉献或领导实现了许多最新的 LLM 成绩，但你可能会诧异地发现他才取得博士学位约 3.3 年的工夫。Ashish Vaswani 在发表 Transformer 论文时间隔博士毕业也只有 3 年，而 Alec Radford 发表 GPT 和 GPT-2 论文时刚本科毕业 2 年。
• 相似这样的职业轨迹在物理、数学、医学等更成熟的畛域不会产生，因为它们的 “FOOM(Fast Onset of Overwhelming Mastery)” 年代 [12] 曾经过来了几个世纪，而 AI 的“foom” 正在显著地产生。
• 这些话都是为了阐明：这依然是一个十分年老的畛域，在 20 年后，没有人可能会关怀你感觉本人“晚入行”。

2.3 除了成为业余的机器学习畛域的研究员，还有许多畛域能够抉择

• Prompt 和大模型能力钻研： Riley Goodside[13] 的职业生涯在 2022 年急剧变动，通过在推特上公布 GPT- 3 的应用技巧，他从 Grindr 的数据科学家变成了 世界上第一位高级 Prompt 工程师 [14]，他还发现并遍及[15]“ 提醒注入（prompt injection）”这种重要的 LLM 平安问题。自那当前，许多人曾经意识到寻找 GPT-3 和 GPT-4 的乏味应用案例在社交媒体上很受欢迎。
• 软件工程畛域： 最近，Whisper.cpp 和 LLaMA.cpp 激发了许多人对在用户终端上运行大型模型的趣味[16]。我听了 Georgi Gerganov 在 Changelog 上的采访[17]，并得悉他在 2022 年 9 月自称“非 AI 信仰者”，只是为了好玩而将 Whisper 移植到了 C++。LLaMA.cpp 的倒退速度比 Stable Diffusion 还要快[18]，而 Stable Diffusion 曾经是有史以来增长最快的开源我的项目之一[19]。只管没有进行模型训练，但 Georgi 的软件工程专业知识使得这些根底模型更加易于接入。Harrison Chase 的 Langchain[20] 通过构建首个面向所有开发人员的提醒工程框架，将 Prompt 和软件的改良交融到预训练的 LLM 模型中，吸引了大量关注。从 Guardrails 到 Nat.dev 的一系列 LLM 工具都有助于弥合这些模型从学术界到商业利用的差距。ChatGPT 自身在很大水平上是与 GPT 3.5 系列模型一起交付的用户体验翻新，这对前端 /UI 开发者来说是个好消息。
• AI 技术产品化： 说到 Stable Diffusion，Emad Mostaque 直到 2019 年都是一名对冲基金经理 [21]，仿佛除了为他的儿子进行“literature review of autism and biomolecular pathway analysis of neurotransmitters[22]”相干的钻研之外之前并没有任何 AI 教训。但他在 2020 年加入 EleutherAI 社区后意识到 Stable Diffusion 这样的货色是可能存在的，并找到了海德堡大学 CompVis 组[24] 的 Patrick 和 Robin[23]，提供了大概 60 万美元来训练和交付了 2022 年第二或最重要的 AI 产品。没有人想去审查谁做了什么，但一个前对冲基金经理通过发现机会并将财务（和组织架构）杠杆利用于时机已到的想法（ideas whose time had come）而取得大量回报是有情理的。Nat Friedman 曾经公开示意，多年的钻研造成的能力过剩 [25] 还没有被足够多的守业公司消化，看起来像 Dave Rogenmoser 这样违心早早跳上这班车的守业人，在两年内将 Jasper 的 ARR（会计收益率）从零增长到了 7500 万美元[26]，将会取得不成比例的回报。

现有企业和各个垂直畛域的守业公司都在拥抱人工智能，这表明 将来将是“AI 浸透所有”的时代 ，因而 了解根底模型可能是达到目标（利用它们）的一种伎俩，而不是目标自身（训练模型或对安全性和感知能力进行思考）。少想一点你本人和你将来的潜在方向，不是“转行钻研 AI”，而是在你曾经感兴趣或精通的畛域 “ 学习如何利用它 ”。

我最初一个与年龄相干的呐喊是通用的——挑战本人对大脑是无益的。人们普遍认为神经可塑性（Neuroplasticity）在 25 岁当前就会进行，但这是有争议 [27] 的。更为宽泛的共识是，继续学习有助于建设认知储备（cognitive reserve），有助于防止像痴呆和阿尔茨海默病这样的恶性神经退行性疾病。

你是否正在解决任何相似于理解 AI 的工作，并千方百计将其使用于理论利用中的挑战？

03 我是如何学习人工智能的

我曾经实现了 fast.ai 的课程内容，但也在 继续关注我本人筛选的 Twitter 列表中的从业者 [28]，并将笔记放入我的公开地 GitHub AI 仓库[29] 和 Latent Space Discord 中 [30]。大多数比拟重要的 新论文 在它们被公布的那周我就开始浏览 ，我还尽可能地 运行取得很多点赞的我的项目和产品的代码或浏览它们的代码。咱们行将在播客上公布“Fundamentals 101”系列内容，其中包含 AI 基础知识，这迫使我去浏览更多论文并理解一些咱们明天认为天经地义的事件的历史（正文 6）。

https://github.com/sw-yx/ai-notes/blob/main/Resources/Good%20AI%20Podcasts%20and%20Newsletters.md

正文：

1. 在两次职业转型中，我都并不是从零开始 – 我在 13 岁时就接触过 BASIC 编程，在 26 岁时作为期权交易员工作时，写了一些极其简略的自然语言解决代码来解析经纪商的定价 – 我心愿我能向你展现，但曾经过来太久了，这些内容曾经找不到了。
2. 在社区中公开发表学习过程内容能够达到人类最快的学习速率 – L((PN)^2)！[31]
3. 这股 AI 浪潮是如此之大。不要置信我的话，听听比尔·盖茨的话[32]，他说这是自图形用户界面以来最重要的技术提高。
4. 寒冬将至。在某一天，这个 AI 隆冬将完结，AI 寒冬 [33] 将再次到来。理解这股 AI 浪潮的重要性在于它可能会在任何寒冬中存活下来，就像 2001 年经济衰退后互联网行业只是短暂地进展了一下。
5. 强制应用生成式 AI(Generative AI) 这个术语会让咱们感到不欢快，因为咱们都认为它被适度炒作了[34]… 然而目前还没有找到更好的代替词。
6. 再次强调，在公开的社区发表学习内容很重要，因为放心影响我的集体声誉，我会尽可能正确，并让我在犯错时感触到额定的压力。

END

参考资料

[1]https://learninpublic.org/

[2]https://www.swyx.io/learn-in-public

[3]https://thedecisionlab.com/biases/the-sunk-cost-fallacy

[4]https://en.wikipedia.org/wiki/General-purpose_technology

[5]https://twitter.com/swyx/status/1640561992472866816

[6]https://www.coursera.org/specializations/machine-learning-int…

[7]https://www.fast.ai/posts/2016-10-08-course-background.html

[8]https://www.fast.ai/posts/part2-2022.html

[9]https://twitter.com/Suhail/status/1591813110230568963?ref=hac…

[10]https://twitter.com/karpathy/status/1468370605229547522

[11]https://twitter.com/search?q=%22just%20matrix%20multiplicatio…

[12]https://www.latent.space/p/ok-foomer

[13]https://www.linkedin.com/in/goodside/

[14]https://twitter.com/swyx/status/1616541173996482560?lang=en

[15]https://twitter.com/goodside/status/1617735459026915329

[16]https://news.ycombinator.com/item?id=35111646

[17]https://changelog.com/podcast/532#transcript-8

[18]https://twitter.com/ggerganov/status/1635636358126370817

[19]https://a16z.com/2022/11/16/creativity-as-an-app/#section–1

[20]https://langchain.com/

[21]https://en.wikipedia.org/wiki/Emad_Mostaque

[22]https://twimlai.com/podcast/twimlai/stable-diffusion-generati…

[23]https://research.runwayml.com/the-research-origins-of-stable-…

[24]https://github.com/CompVis

[25]https://stratechery.com/2022/an-interview-with-daniel-gross-a…

[26]https://techcrunch.com/2022/10/18/ai-content-platform-jasper-…

[27]https://www.goodtherapy.org/blog/change-is-a-choice-nurturing…

[28]https://twitter.com/i/lists/1585430245762441216

[29]https://github.com/sw-yx/ai-notes/

[30]https://discord.gg/xJJMRaWCRt

[31]https://www.swyx.io/big-l-notation

[32]https://www.gatesnotes.com/The-Age-of-AI-Has-Begun

[33]https://en.wikipedia.org/wiki/AI_winter

[34]https://www.latent.space/p/why-prompt-engineering-and-generative

本文经原作者受权，由 Baihai IDP 编译。如需转载译文，请分割获取受权。

原文链接：

https://www.latent.space/p/not-old