共计 4146 个字符，预计需要花费 11 分钟才能阅读完成。
编者按：8 月 29 日凌晨，OpenAI 在官网发表，推出企业版 ChatGPT（ChatGPT Enterprise）。前不久，OpenAI 又刚刚公布了针对企业的 GPT-3.5 Turbo 微调性能。因此引发了一场热烈的探讨——是否仍须要私有化的大模型？
咱们明天为大家带来的文章，作者探讨了与仅通过 OpenAI 等公司的 API 应用 LLM 相比，私有化部署大模型的劣势。无力地阐明了私有化的大模型依然是咱们现实的一种抉择。
作者认为，私有化大模型的外围劣势和必要性在于：1) 可能更好地管制 LLM 的特色和行为; 2)可能实现更深刻的模型集成，以及依据本身需要进行模型优化和调整; 3) 可能在疾速变动的环境中积攒技术教训，构建壁垒。
总的来说，作者认为私有化部署 LLM 能让公司与 LLM 建设更严密的关系，从而获得更大的主动权。本文值得对大模型利用感兴趣的公司和集体开发者研读。
以下是译文，Enjoy!
作者 | Andrew Marble (andrew@willows.ai)
编译 | 岳扬
🚢🚢🚢欢送小伙伴们退出 AI 技术软件及技术交换群，追踪前沿热点，共探技术难题~
在《终结者》这部电影中，配角们的团结合作和个体智慧战败了“反派”技术上的劣势。凯尔·里斯（Kyle Reese）和莎拉·康纳（Sarah Connor）利用智慧战胜了先进的 T-800，而 T-800 又帮忙莎拉和约翰战败了更加先进的 T-1000。OpenAI 的 GPT- 4 目前是公开可用的最强语言模型，此外，有分析表明，个别状况下 GPT- 4 的运行老本比私有化部署的同类大模型更低。不过我认为，只管 OpenAI 的模型有很多长处，但还是值得思考私有化部署大模型，尤其是须要构建商业产品或外部利用时。
如果仅为了满足用户的某些需要，而在应用程序中应用语言模型，能够应用 OpenAI 或 Anthropic 等公司的 API，向 API 提交 prompt，而后获取响应，并领取相应的应用费用。或者，咱们也能够配置私有化模型，并将其托管在本地或云端中，目前市面上有许多模型可供私有化部署。最近有几项剖析指出[1][2]，如果只思考老本和性能，应用 OpenAI API 的劣势更为显著。能够进行十分具体的成本计算，调用 API 最显著的老本劣势是，咱们只须要在应用时领取硬件应用费用。大多数私有化部署的大模型应用程序都很难充分利用部署的 GPU 算力资源，因而须要为闲置工夫领取大量费用。
对于语言模型的性能评估，存在许多简单的因素须要思考——我集体认为，市面上的各种基准测试和“排行榜” [3] ，与在具体商业相干工作中的体现之间并不存在 1:1 的关系。 但毫无疑问，在多种自然语言解决工作中，GPT-4 的体现都显著优于其余大模型，只有最好的公开可用的模型（publicly available models）能力与 Claude（Anthropic 的大模型）和 GPT-3.5 竞争。
只管应用 OpenAI 等公司的 API 有其长处，但应用公开可用的模型（publicly available models）也有其劣势。（这里须要留神，我并没有应用“开源”这个词，因为许多模型存在一些应用限度，不能被视为齐全“开源”[4]。但我不会在这里深入探讨这个问题。）对我而言，这个问题的关键在于“你与大模型之间的关系（relationship）”。 应用 API 意味着你只是 OpenAI 等公司提供的服务的使用者。模型的个性、自定义性能、价值观（包含审查机制和世界观）等都由这些公司决定，你只能构建前端页面调用这些服务。这也意味着你无奈理解模型的外部状态，因而在利用更高级别的问责技术和防护措施时（译者注：这些技术和措施可能包含利用模型的可解释性、模型监控、数据隐衷爱护等等）会受到限制。这些问题都可能是无益的，因为你不用放心如何解决这些问题。但这也意味着你构建的任何利用都齐全依赖于这些初创公司。
对于“基于开发者与 AI 模型之间的互动和依赖关系”的开发，应用私有化部署的模型有很多益处。 对模型架构和权重的管制，肯定水平上打消了将来可能面临的不确定性，也意味着你不用承受 OpenAI 等公司提供的服务。市场上曾经造成了一个丰盛的生态系统，有多种不同模型可供尝试，还能够依据本人的要求进行微调。这种构造最终可能让开发者与 AI 模型建设一种长期的关系，并围绕它调整产品，让构建的产品与抉择的模型保持一致，并影响咱们何时以及是否决定进行更改的决策。这让你构建的货色不仅仅是他人语言模型的前端，而是深度集成的。
此外，对于许多大模型利用而言，GPT 的多方位劣势并非推动产生价值的次要因素。运行像 GPT- 4 这样大的模型可能每月须要破费数万美元。但在笔记本电脑上就能够运行 7B 和 13B 的模型（具备 70 亿和 130 亿个参数的模型，是 LLaMA 和其余公共模型的常见规格）。这些模型也足够大，能够胜任许多常见工作，并且作为用户本地计算机或服务器的一部分，能够更具性价比。
“负责任地应用 AI”这句话有多种含意。科技公司通常关注的是外表问题，如政治正确和防止偏见，这比拟无效地防止了像 ChatGPT 这些具备多种能力的公共模型引发争议。对于许多利用，尤其是业余的常识工作型利用 [5]，这些顾虑大多无关紧要，取而代之的是对于事实准确性、完整性或仅仅是是否紧扣主题等这些理论问题。 许多“放弃模型稳固”的技术须要理解模型的外部状态、梯度和两头输入后果。 [6]（译者注：梯度（gradients）是机器学习中十分重要的概念，是优化模型的要害。）应用基于 API 的模型，会限度进一步进行试验和加强模型的可能性。
对于缓存外部模型状态以及模型微调等各种模型优化措施也是如此。尽管 API 提供了一些性能抉择，但与现有的可用技术相比，这些抉择依然是无限的。大模型技术仍在一直倒退，每天都有新的模型和技术问世。对于那些将 LLM 作为产品或工具的一个严密集成局部的用户来说，要想灵便地随着技术的倒退而倒退，惟一的办法是领有私有化部署的大模型。
目前，语言模型变动速度如此之快的另一个起因是，与大模型技术相干的技能和常识也在迅速倒退。应用私有化部署的大模型，能够让机构和集体在这种一直变动的市场环境中积攒教训，而单单应用 API 则无奈做到这一点。 对于许多公司，特地是那些正在构建商业利用的公司来说，将“AI”放弃在更深层次的技术水平上，对于员工的业余倒退档次和适应变动能力的晋升都十分重要。这不是一项成熟的技术，而咱们从业者所领有的 ” 护城河 ” 的一部分就是理解正在产生的事件。甚至能够进一步说，任何应用 AI 构建重要利用的组织或公司，都应该在外部或通过参谋取得一些对于 AI 技术的深层次常识，而不仅仅是 API 的参考资料，以便可能更好地去了解 AI 最善于的能力。随着人工智能被商品化和大肆炒作，它能做什么与其倡议用处之间往往会呈现很大的脱节。
我预计在将来几年，状况将会大不相同——人们将会就应用大模型的要害事项达成共识，而 API 将会反对这些共识。对于一项新的、仍处于试验阶段且疾速倒退的技术，要真正参加其中，须要深刻理解模型和代码。这并不意味着所有公司或产品都须要深刻理解大模型技术——有些公司或产品能够通过应用 API 来构建有价值的产品，这种状况上来私有化部署可能是浪费时间的。但这些是不同类型的产品，不可一概而论。
回到《终结者》所形容的故事，里斯和 T -800 建设起了牢固的“关系”（译者注：与前文形容开发者和大模型的“关系”相响应），从而胜利实现了工作。而承受天网工作的终结者们只是到处施展他们高超的技术实力，这并不足以博得胜利。人和智能体建设“关系”的一部分就是获取他们的权限。我晓得这是个“愚昧”的比喻，但我置信这些模型也是如此，关键在于是否深刻理解工具的劣势，并构建一个高度集成的利用，而这是 API 所无奈实现的。
在译者与原文作者接触时，原文作者又补充了一点“为什么要私有化部署大模型”的理由，详见下文：
Another advantage of self-hosting that I didn’t mention in the post is to be able to have better control over performance in different languages, so I belive this is a good option for people using LLMs in languages other than English.
私有化部署大模型的另一个长处：能够通过微调等形式，使其更好地适应不同语言的特点和要求，从而晋升大模型的性能。因而我认为对于应用 LLM 的非英文用户来说，应用私有化部署的大模型是一个不错的抉择。这一点我在文章中没有提到，能够在译文中指出。
END
参考资料
1.https://betterprogramming.pub/you-dont-need-hosted-llms-do-yo…
2.https://www.cursor.so/blog/llama-inference
3.https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard
4.http://marble.onl/posts/software-licenses-masquerading-as-ope…
5.https://a16z.com/2023/06/20/emerging-architectures-for-llm-ap…
6.There is a wide range of literature and research into model accountability. For a narrow example, see“The Internal State of an LLM Knows When its Lying”https://arxiv.org/pdf/2304.13734.pdf but also https://arxiv.org/pdf/2307.00175.pdf
本文经原作者受权，由 Baihai IDP 编译。如需转载译文，请分割获取受权。
原文链接：
http://marble.onl/posts/why_host_your_own_llm.html
🚢🚢🚢欢送小伙伴们退出 AI 技术软件及技术交换群，追踪前沿热点，共探技术难题~