关于机器学习:部署像ChatGPT这样的大语言模型到底需要花多少钱

6次阅读

共计 2675 个字符,预计需要花费 7 分钟才能阅读完成。

ChatGPT 与开源模型,二者之间有哪些优劣衡量?谁的部署老本更低?对于日均申请在 1000 次左右的低频应用场景,ChatGPT 的实现老本低于部署在 AWS 上的开源大模型。但面对每天数以百万计的申请,在 AWS 上部署开源模型则老本更低。

大语言模型正席卷寰球。随着 2017 年 Transformers 的推出,BERT、GPT 和 BART 等突破性模型开始陆续亮相,凭借亿级参数在情感剖析、问答、分类等语言工作当中带来了前所未见的弱小能力。

几年之前,OpenAI 和谷歌的钻研人员已经整顿出多篇论文,表明领有超百亿参数的大语言模型呈现了“涌现”能力。简言之,它们仿佛可能了解语言中种种简单奥妙之处,并取得了与人类类似的情境反馈。

GPT-3 论文提到,参数在 10 亿至 1000 亿级别的模型只需几十个提醒词,即可展现出令人印象粗浅的学习能力。

然而,这些大模型也极耗资源,导致在经济意义上难以实现规模化部署。但这所有随着 ChatGPT 的到来而宣告终结。

就在 ChatGPT 公布后不久,OpenAI 又凋谢了 ChatGPT API,容许开发人员在本人的应用程序中接入 ChatGPT。

ChatGPT API 应用老本

ChatGPT API 的价格随应用形式而变动。其老本为每 1000 个 token 计费 0.002 美元。每个 token 约为一个英文单词的 3/4,就是说,一条申请内的 token 数量等于提醒词 + 所生成的输入 token 的总和。

假设大家每天须要解决 1000 个小文本块,每个文本块对应一页文本(即 500 个单词,约合 667 个 token),那么日均老本就是 0.002 美元 /1000×667*1000= 约 1.3 美元。听起来还能够!

但如果每天须要解决上百万份这类文档,状况又会如何呢?那计算下来就是日均 1300 美元,每年约 50 万美元!达到这个规模,ChatGPT 就从酷炫的玩具一下子成了惨重的业务经营累赘!

开源生成式模型

在 ChatGPT 博得众人惊叹之后,一系列开源我的项目也相继问世。

Meta 公布了 LLaMA,一个具备数十亿参数的大语言模型,且性能优于 GPT-3。斯坦福随后在 52K 指令遵循演示中对 LLaMA 的 7B 版本做了微调,最终得出的 Aplaca 模型同样胜过 GPT-3。

一组钻研人员最近还展现了名为 Vicuna 的 13B 参数微调版 LLaMA 模型,其体现已达 ChatGPT 的九成功力以上。而且企业抉择开源生成式模型,而不必 OpenAI 家 GPT 系列模型的理由也有很多。可能是不满于 OpenAI 的服务常常中断,可能是开源大模型更易于定制,也可能是应用老本更有劣势。

尽管开源模型能够收费应用,但用于托管和部署模型的基础设施却不可能凭空得来。

BERT 这类晚期 transformer 模型倒是能够在装有高配 CPU 和一般 GPU 的集体计算机上轻松运行和微调,但现在的大语言模型却须要更多资源。一种常见的解决方案,是应用 AWS 等云服务商托管和部署这类模型。那么,收费的开源模型在 AWS 那边到底会产生多少老本?

AWS 老本剖析

首先,咱们得先明确部署模型并以 API 的模式凋谢服务所对应的 AWS 规范架构。这通常分为三个步骤:

  1. 应用 AWS SageMaker 将模型部署为端点。
  2. 将这个 SageMaker 端点接入 AWS Lambda。
  3. 通过 API Gateway 将此 Lambda 函数凋谢为 API。

当客户端对 API Gateway 执行 API 调用时就会触发 Lambda 函数,并在实现函数解析之后将其发送至 SageMaker 端点。之后由模型端点执行预测,把信息发送至 Lambda。Lambda 再做解析,将后果发送至 API 并最终返回至客户端。

SageMaker 的实际成本往往间接取决于用于托管模型的计算实例类型。大语言模型体量可观,天然要用到容量极大的计算实例。

例如,AWS 就专门公布一篇教程,介绍了如何部署一套蕴含 200 亿参数的 Flan UL2 模型。

文章中应用的是 ml.g5.4xlarge 实例。尽管上表的 SageMaker 定价并没有列出这个特定实例的价格,但粗略估算老本大概在每小时 5 美元左右。这就相当于每天 150 美元高低!而且这还只是托管实例的局部,咱们还没算上 Lambda 和 API Gateway 的费用。

上面来看 AWS Lambda 局部的老本,它的价格由内存用量和申请频率决定。

假设 5 秒之内向用户返回响应即可,那么思考到将数据路由至 AWS SageMaker 端点的需要,128 MB 内存就够了。这样对于每 1000 条申请,老本为 5.1281000*0.0000166667 美元 = 0.01 美元。如果按 100 万条申请计算,则费用为 10 美元。

最初是 API Gateway 局部的老本:

如大家所见,API Gateway 倒是十分便宜,每百万条申请只需 1 美元。

也就是说,在 AWS 上托管像 Flan-UL2 这样的开源大模型,每天 1000 申请时的老本为 150 美元,每天 150 万申请则为 160 美元。

但咱们有必要抉择这么低廉的计算实例吗?对于像 BERT 这样亿级参数的小语言模型,抉择 ml.m5.xlarge 这类更便宜的实例就足够了,其每小时老本仅为 0.23 美元,全天只合约 5 美元。与所谓可能了解语言中细微差别的大模型相比,这些小模型也曾经相当弱小,还能针对特定工作和训练数据进行微调。

到底抉择哪个模型呢

那么,到底是商用大模型好还是开源大模型好?OpenAI 的 GPT 家族到底有没有性价比?最终答案还是要看大家的理论需要:

付费服务模型的劣势和短板

开源大模型的劣势和短板

因为这个畛域仍在疾速倒退,所以在规模化需要的推动之下,大语言模型的部署老本很可能会疾速降落。而且尽管开源大模型的托管比较复杂,但像 BERT 这类亿级参数的小语言模型在特定工作上仍是个很好的抉择。

从性能上看,ChatGPT 和 GPT-4 的响应品质的确比开源大模型强一些。但开源模型营垒也在迎头赶上,所以咱们将有越来越动摇的理由抉择这一派。

首先,企业心愿依据特定数据源对开源模型做微调。在通过针对性微调之后,开源模型的性能往往会反超专为通用场景打造的 ChatGPT 及其他 OpenAI 后续模型。事实证明,BloombergGPT 等畛域特定模型曾经成为生成式 AI 世界中一股不容忽视的重要力量。

最初,心愿 OpenAI 不会进一步提高 ChatGPT API 的价格。毕竟跟晚期的 GPT-3 API 相比,ChatGPT API 在亮相之初就把价格压到了十分之一的程度,但愿 OpenAI 能持续放弃住这样的优良传统。

原文链接:https://towardsdatascience.com/llm-economics-chatgpt-vs-open-…

正文完
 0