ChatGPT 与开源模型，二者之间有哪些优劣衡量？谁的部署老本更低？对于日均申请在 1000 次左右的低频应用场景，ChatGPT 的实现老本低于部署在 AWS 上的开源大模型。但面对每天数以百万计的申请，在 AWS 上部署开源模型则老本更低。
大语言模型正席卷寰球。随着 2017 年 Transformers 的推出，BERT、GPT 和 BART 等突破性模型开始陆续亮相，凭借亿级参数在情感剖析、问答、分类等语言工作当中带来了前所未见的弱小能力。
几年之前，OpenAI 和谷歌的钻研人员已经整顿出多篇论文，表明领有超百亿参数的大语言模型呈现了“涌现”能力。简言之，它们仿佛可能了解语言中种种简单奥妙之处，并取得了与人类类似的情境反馈。
GPT-3 论文提到，参数在 10 亿至 1000 亿级别的模型只需几十个提醒词，即可展现出令人印象粗浅的学习能力。
然而，这些大模型也极耗资源，导致在经济意义上难以实现规模化部署。但这所有随着 ChatGPT 的到来而宣告终结。
就在 ChatGPT 公布后不久，OpenAI 又凋谢了 ChatGPT API，容许开发人员在本人的应用程序中接入 ChatGPT。
ChatGPT API 应用老本
ChatGPT API 的价格随应用形式而变动。其老本为每 1000 个 token 计费 0.002 美元。每个 token 约为一个英文单词的 3/4，就是说，一条申请内的 token 数量等于提醒词 + 所生成的输入 token 的总和。
假设大家每天须要解决 1000 个小文本块，每个文本块对应一页文本（即 500 个单词，约合 667 个 token），那么日均老本就是 0.002 美元 /1000×667*1000= 约 1.3 美元。听起来还能够！
但如果每天须要解决上百万份这类文档，状况又会如何呢？那计算下来就是日均 1300 美元，每年约 50 万美元！达到这个规模，ChatGPT 就从酷炫的玩具一下子成了惨重的业务经营累赘！
开源生成式模型
在 ChatGPT 博得众人惊叹之后，一系列开源我的项目也相继问世。
Meta 公布了 LLaMA，一个具备数十亿参数的大语言模型，且性能优于 GPT-3。斯坦福随后在 52K 指令遵循演示中对 LLaMA 的 7B 版本做了微调，最终得出的 Aplaca 模型同样胜过 GPT-3。
一组钻研人员最近还展现了名为 Vicuna 的 13B 参数微调版 LLaMA 模型，其体现已达 ChatGPT 的九成功力以上。而且企业抉择开源生成式模型，而不必 OpenAI 家 GPT 系列模型的理由也有很多。可能是不满于 OpenAI 的服务常常中断，可能是开源大模型更易于定制，也可能是应用老本更有劣势。
尽管开源模型能够收费应用，但用于托管和部署模型的基础设施却不可能凭空得来。
BERT 这类晚期 transformer 模型倒是能够在装有高配 CPU 和一般 GPU 的集体计算机上轻松运行和微调，但现在的大语言模型却须要更多资源。一种常见的解决方案，是应用 AWS 等云服务商托管和部署这类模型。那么，收费的开源模型在 AWS 那边到底会产生多少老本？
AWS 老本剖析
首先，咱们得先明确部署模型并以 API 的模式凋谢服务所对应的 AWS 规范架构。这通常分为三个步骤：
- 应用 AWS SageMaker 将模型部署为端点。
- 将这个 SageMaker 端点接入 AWS Lambda。
- 通过 API Gateway 将此 Lambda 函数凋谢为 API。
当客户端对 API Gateway 执行 API 调用时就会触发 Lambda 函数，并在实现函数解析之后将其发送至 SageMaker 端点。之后由模型端点执行预测，把信息发送至 Lambda。Lambda 再做解析，将后果发送至 API 并最终返回至客户端。
SageMaker 的实际成本往往间接取决于用于托管模型的计算实例类型。大语言模型体量可观，天然要用到容量极大的计算实例。
例如，AWS 就专门公布一篇教程，介绍了如何部署一套蕴含 200 亿参数的 Flan UL2 模型。
文章中应用的是 ml.g5.4xlarge 实例。尽管上表的 SageMaker 定价并没有列出这个特定实例的价格，但粗略估算老本大概在每小时 5 美元左右。这就相当于每天 150 美元高低！而且这还只是托管实例的局部，咱们还没算上 Lambda 和 API Gateway 的费用。
上面来看 AWS Lambda 局部的老本，它的价格由内存用量和申请频率决定。
假设 5 秒之内向用户返回响应即可，那么思考到将数据路由至 AWS SageMaker 端点的需要，128 MB 内存就够了。这样对于每 1000 条申请，老本为 5.1281000*0.0000166667 美元 = 0.01 美元。如果按 100 万条申请计算，则费用为 10 美元。
最初是 API Gateway 局部的老本：
如大家所见，API Gateway 倒是十分便宜，每百万条申请只需 1 美元。
也就是说，在 AWS 上托管像 Flan-UL2 这样的开源大模型，每天 1000 申请时的老本为 150 美元，每天 150 万申请则为 160 美元。
但咱们有必要抉择这么低廉的计算实例吗？对于像 BERT 这样亿级参数的小语言模型，抉择 ml.m5.xlarge 这类更便宜的实例就足够了，其每小时老本仅为 0.23 美元，全天只合约 5 美元。与所谓可能了解语言中细微差别的大模型相比，这些小模型也曾经相当弱小，还能针对特定工作和训练数据进行微调。
到底抉择哪个模型呢
那么，到底是商用大模型好还是开源大模型好？OpenAI 的 GPT 家族到底有没有性价比？最终答案还是要看大家的理论需要：
付费服务模型的劣势和短板
开源大模型的劣势和短板
因为这个畛域仍在疾速倒退，所以在规模化需要的推动之下，大语言模型的部署老本很可能会疾速降落。而且尽管开源大模型的托管比较复杂，但像 BERT 这类亿级参数的小语言模型在特定工作上仍是个很好的抉择。
从性能上看，ChatGPT 和 GPT-4 的响应品质的确比开源大模型强一些。但开源模型营垒也在迎头赶上，所以咱们将有越来越动摇的理由抉择这一派。
首先，企业心愿依据特定数据源对开源模型做微调。在通过针对性微调之后，开源模型的性能往往会反超专为通用场景打造的 ChatGPT 及其他 OpenAI 后续模型。事实证明，BloombergGPT 等畛域特定模型曾经成为生成式 AI 世界中一股不容忽视的重要力量。
最初，心愿 OpenAI 不会进一步提高 ChatGPT API 的价格。毕竟跟晚期的 GPT-3 API 相比，ChatGPT API 在亮相之初就把价格压到了十分之一的程度，但愿 OpenAI 能持续放弃住这样的优良传统。
原文链接：https://towardsdatascience.com/llm-economics-chatgpt-vs-open-…