共计 593 个字符，预计需要花费 2 分钟才能阅读完成。
本地化部署是 GPT 倒退的一个趋势。
本地化部署指的是将大模型部署在用户本人的设施上，而不是依赖于云服务商提供的接口。本地化部署有以下几个劣势：
- 数据齐全私有化，升高数据失落和泄露危险，对数据安全性和私密性有保障。
- 升高应用老本，不须要领取云服务商的订阅费用或按量计费。
- 进步应用灵活性，能够依据本人的需要定制大模型的性能和参数。
- 进步应用效率，不受网络提早和稳定性的影响。
因为大模型切实是太消耗服务器资源，注定了能够提供大模型服务的只能是大厂。大厂也不是慈善家，参考 openai 的定价策略，每月 20 美元的订阅费用并不是一笔小数目，因而本地化部署，将宏大的算力摊派到用户侧，是将来大模型倒退的一个分支。
目前曾经有许多反对本地化部署的大模型：像 Chat GLM、LLAMA、Alpaca、Vicuna 等须要具备肯定的编程教训才能够本地化部署一个公有的大模型。
而 gpt4all、text-generation-webui 等曾经能够像装置软件一样不便的本地化部署一个大模型了。
随着谷歌将 WebGPU 带入浏览器，通过浏览器应用用户本地 GPU 也成为了可能，web-llm 也应运而生。
但以上的大模型都须要应用电脑能力实现本地化大模型，而近期开源的 mlc-llm 曾经反对在挪动设施上部署大模型。
链接：https://github.com/mlc-ai/mlc-llm
每个人都领有一个私人助理的时代就要来了。[机智]
正文完