感谢您在HN和Twitter上的许多评论和问题！咱们招集了一个疾速的Twitter空间来探讨它，>1000名AI工程师收看了它。在这里播放！

咱们正在察看利用人工智能的一代人“右移”，这得益于根底模型的新兴性能和开源/API 可用性。

过来须要 5 年和一个钻研团队能力在 2013 年实现的各种 AI 工作，当初只须要 API 文档和 2023 年的闲暇下午。

正如咱们在空间聊天中所探讨的，API 行是可渗透的 - AI 工程师能够向左调整/托管模型，钻研工程师也能够向右在 API 上构建！但他们的绝对劣势和“大本营”是明确的

然而，魔鬼在细节中 - 胜利评估、利用和产品化人工智能的挑战无穷无尽：

  • 模型：从评估最大的GPT-4和Claude模型，到最小的开源Huggingface，LLaMA和其余模型
  • 工具：从最风行的链式链式、检索和矢量搜寻工具（如 LangChain、LlamaIndex 和 Pinecone）到新兴的自主代理畛域（此处是 Lilian Weng 的必读回顾）
  • 新闻：最重要的是，每天发表的论文、模型和技术的数量随着趣味和资金的减少呈指数级增长，以至于把握这所有简直是一项全职工作。

我认真地和字面地看待这一点。我认为这是一份全职工作。我认为软件工程将催生一个新的子学科，专门钻研人工智能的利用并无效地利用新兴的堆栈，就像“站点可靠性工程师”、“DevOps工程师”、“数据工程师”和“剖析工程师”一样。

我所晓得的每家守业公司都有某种 #discuss-ai 松弛频道。这些频道将从非正式小组转变为正式团队，就像Amplitude，Replit和Concept所做的那样。成千上万的软件工程师致力于生产AI API和OSS模型，无论是在公司工夫还是在早晨和周末，在公司Slack或独立Discords中，都将专业化并汇聚在一个头衔上 - 人工智能工程师。这可能是十年来需要最高的工程工作。

人工智能工程师随处可见，从像Microsoft和谷歌这样的大公司，到像Figma（通过Diagram收买），Vercel（例如Hassan El Mghari的病毒式RoomGPT）和Concept（例如Ivan Zhao和Simon Last with Notion AI）这样的独立黑客，如Simon Willison，Pieter Levels（Photo/InteriorAI）和Riley Goodside（当初在Scale AI）。他们在Anthropic做疾速工程赚了30万美元/年，在OpenAI做90万美元的修建软件。他们正在度过收费的周末，在AGI House上钻研想法，并在/r/LocalLLaMA上分享技巧。

.他们之间的共同点是，他们正在利用人工智能的提高，并将其塑造成数百万人应用的实在产品，简直在一夜之间。

看不到一个博士。在运送人工智能产品时，您须要工程师，而不是钻研人员。

我呐喊人们留神这一趋势，而不是开始这一趋势。在Indeed上，ML工程师的工作数量是AI工程师工作的10倍，但“AI”的更高增长率使我预测这一比例将在5年内反转。

每个 HN 招聘人员的每月工作趋势

所有职位都有缺点，但有些是有用的。咱们对对于AI和ML之间差别的无休止的语义答辩既警觉又厌倦，并且很分明惯例的“软件工程师”角色齐全有能力构建AI软件。然而，最近对于如何进入AI工程的Ask HN问题阐明了市场上依然存在的根本认识：

大多数人依然认为AI工程是机器学习或数据工程的一种模式，因而他们举荐雷同的先决条件。但我向你保障，我下面提到的高效AI工程师都没有做过Andrew Ng Coursera课程的等同工作，他们也不理解PyTorch，也不晓得数据湖或数据仓库之间的区别。

在不久的未来，没有人会倡议通过浏览《注意力就是你所须要的所有》来开始人工智能工程，就像你不会通过浏览福特T型车的原理图来开始驾驶一样。 当然，理解基础知识和历史总是有帮忙的，并且的确能够帮忙您找到尚未达成共识的想法和效率/能力增益。但有时你能够只是应用产品并通过教训来理解它们的品质。

我不心愿这种课程的“翻转”在一夜之间产生。想要填写简历，填写市场地图，并通过援用更深刻的话题来怀才不遇是人类的本能。换句话说，Prompt Engineering和AI工程会在很长一段时间内感觉不如具备良好数据迷信/ ML背景的人。然而，我认为纯正的需要和供给经济学将占上风。

  • 根底模型是“多数镜头学习者”，体现出上下文学习甚至零镜头转移能力，超出了模型训练师的初衷。换句话说，创立模型的人并不齐全晓得他们的能力。不是LLM钻研人员的人能够通过花更多的工夫在模型上来发现和利用能力，并将其利用于被钻研低估的畛域（例如，带有文案的Jasper）。
  • Microsoft，谷歌，Meta和大型根底模型实验室曾经垄断了稀缺的钻研人才，基本上提供了“人工智能钻研即服务”API。你不能雇用他们，但你能够租用他们——如果你在另一端有晓得如何与他们单干的软件工程师。世界上有~5000名LLM钻研人员，但~50m软件工程师。供给限度决定了“介于两者之间”的人工智能工程师阶层将崛起以满足需要。

  • 显卡囤积 .当然OpenAI / Microsoft是第一个，但Stability AI通过强调他们的 GPU 军备竞赛拉开了启动 GPU 军备竞赛的尾声。

    4，000 个 GPU 群集。

还记得 2022 年 10 月吗？

从那时起，像Inflection（1.3b美元），Mistral（1.13亿美元），Reka（5800万美元），Poolside（2600万美元）和Concontext（2000万美元）这样的新守业公司为了领有本人的硬件而筹集巨额种子轮融资曾经变得司空见惯。丹·格罗斯和纳特·弗里德曼

甚至发表了仙女座，他们的1亿美元，10 exaflop GPU集群专门用于他们投资的初创公司。寰球芯片短缺正在反射性地造成更多的短缺。API生产线另一端的AI工程师将有更多的能力应用模型，而不是训练它们。

  • 停火，筹备，瞄准。产品经理/软件工程师不须要要求数据科学家/ML工程师在训练单个畛域特定模型而后投入生产之前进行费劲的数据收集练习，而是能够提醒LLM，并在取得特定数据进行微调之前构建/验证产品创意。

假如后者比前者多 100-1000 倍，提醒 LLM 原型的“停火、筹备、瞄准”工作流程可让您比传统 ML 快 10-100 倍。因而，人工智能工程师将可能验证人工智能产品，比方便宜1000-10000倍。这是瀑布与麻利，又是一遍。人工智能是麻利的。

  • Python → JavaScript .数据/人工智能传统上十分以Python为核心，而像LangChain，LlamaIndex和Guardrails这样的第一个AI工程工具就来自同一个社区。然而，JavaScript开发人员至多和Python开发人员一样多，所以当初工具越来越多地投合这个宽泛扩大的受众，从LangChain.js和Transformers.js到Vercel的新AI SDK。TAM的扩张和机会是戏剧性的。

  • 生成式人工智能与分类器机器学习 .“生成式人工智能”

    作为一个术语曾经得宠，让位于其余类比，如“推理引擎”，但依然有助于简洁地说明现有 MLOps 工具和 ML 从业者组之间的差别，以及一直回升的、截然不同的角色，最好应用LLM和文本到图像生成器。现有一代的 ML 可能专一于欺诈危险、举荐零碎、异样检测和特色存储，而 AI 工程师正在构建写作应用程序、个性化学习工具、自然语言电子表格和相似异星工厂的可视化编程语言。

每当呈现一个具备齐全不同的背景、说不同语言、生产一组齐全不同的产品并应用一组齐全不同的工具的子组时，他们最终就会决裂成本人的组。

6年前，Andrej Karpathy写了一篇十分有影响力的文章，形容了软件2.0 - 比照了手工编码编程语言的“经典堆栈”，这些语言准确地对逻辑建模与近似逻辑的新“机器学习”神经网络堆栈，使软件可能解决比人类建模更多的问题。他往年接着指出，最热门的新编程语言是英语，最终填补了他图表中未标记的灰色区域。

更新：卡帕西回应！有些一致！

去年，Prompt Engineering是对于随着人们开始将GPT-3和稳固扩散投入工作时工作将如何变动的模因。人们讥笑AI初创公司是“OpenAI包装器”，并放心LLM应用程序被证实容易受到提醒注入和反向提醒工程的影响。找不到护城河？

但 2023 年最大的主题之一是从新建设人类编写代码的角色，以编排和取代 LLM 的力量，从价值 2 亿美元的硕大无朋 Langchain >到 Nvidia 反对的 Voyager，展现了代码生成和重用的明确重要性（我最近加入了 Harrison 的链与代理网络研讨会）。Prompt Engineering既被夸张了，又将持续存在，但软件1.0范式在软件3.0利用中的从新呈现既是一个充斥大量机会/凌乱的畛域，又为一堆初创公司发明了空白：

如果你不营销地图，你甚至是一个VC吗？

当然，这不仅仅是人类编写的代码。我最近与smol-developer，更大范畴的gpt-engineer以及其余代码生成代理（如Codium AI，Codegen.ai 和Morph / Rift）的冒险将越来越多地成为AI工程师工具包的一部分。随着人类工程师学会驾驭人工智能，人工智能也将越来越多地从事工程工作，直到边远的将来有一天咱们低头看，再也无奈分辨出其中的区别。

建筑商须要一个议论松节油的中央。这就是为什么，通过几个月的小型团聚，咱们当初发表第一个独立运行的、面向构建者的 AI 会议：AI 工程师峰会！