2023 年 7 月 19 日，MetaAI 发表开源旗下的 LLama2 大模型，Meta 首席科学家、图灵奖得主 Yann LeCun 在推特上示意 Meta 此举可能将扭转大模型行业的竞争格局。一夜之间，大模型格局再次发生巨变。
不同于 LLama，LLama2 收费可商用！
LLama2 的能力在 GPT-3 ~ GPT-3.5 之间，对于关注数据隐衷的企业来说，几乎太香了！
尽管 LLama2 目前还不反对中文，但国内开源大模型爱好者曾经训练出了中文模型，并且和原版模型齐全兼容，大家能够释怀白嫖了。
中文版 Llama2 模型链接：https://github.com/LinkSoul-AI/Chinese-Llama-2-7b
解决了中文版的问题，当初还有另外一个问题。很多小伙伴都没有 GPU，要是能在 CPU 上运行就好了！
问题也不大，利用 GGML 机器学习张量库就能构建出在 CPU 上运行的中文版模型，这也是 llama.cpp 背地的核心技术。
官网仓库也给出了转换步骤：
太麻烦了，能不能再简略点？
能！
有社区小伙伴曾经转换好了模型并上传到了 Hugging Face，咱们间接拿来主义：https://huggingface.co/soulteary/Chinese-Llama-2-7b-ggml-q4
家喻户晓，国内拜访大多数海内网站都是须要魔法的，Hugging Face 也不例外。对于没有魔法的同学来说，还能不能再简略点？
能！
间接通过以下链接关上 Text generation web UI 的利用部署模板：
- https://cloud.sealos.top/?openapp=system-template%3FtemplateN…
而后间接点击「部署利用」就竣工了，非常简单，没有任何多余的操作。
Text generation web UI
给大家介绍一下 Text generation web UI，这是一个大语言模型启动器，它的终极目标是 在 AI 对话畛域对标 Stable Diffusion WebUI。援用 GitHub 原文：
A gradio web UI for running Large Language Models like LLaMA, llama.cpp, GPT-J, OPT, and GALACTICA.
Its goal is to become the AUTOMATIC1111/stable-diffusion-webui of text generation.
它能够加载简直所有的支流模型（反对 llama.cpp 模型），并且在本地运行他们。语言模型能做什么，你就能体验到什么，能够当成离线版 ChatGPT 来应用。再加上 ChatGPT 在国内的审查问题，以及信息泄露危险，客制化的本地模型简直提供了有限可能。
值得一提的是，它还反对通过 API 来进行调用，同时还提供插件 对齐 OpenAI 的 API，你能够将其接入任意套壳 GPT 利用中。
下面的利用模板就是用来部署 Text generation web UI 的。
Sealos 国内集群
往年 6 月份，Sealos 正式上线了海内集群（https://cloud.sealos.io），尽管也向国内用户凋谢，但其机房在新加坡，国内局部线路不太敌对。国内很多用户的需要比拟非凡，必须要应用魔法，海内集群正好能够满足需要，至于线路到国内是否敌对并不是十分重要。
但大部分国内用户的需要还是要保障线路稳固，应用海内集群就有点力不从心了。为了满足国内用户的需要，现在咱们正式上线了国内集群（https://cloud.sealos.top），与海内集群性能统一。除此之外，国内集群还新增了一项性能：通过共享存储来加载支流的大模型文件（目前只加载了 LLama2 中文模型）。下面的利用模板会一键部署 Text generation web UI，并主动挂载大模型共享存储。咱们再来回顾一下：
首先间接通过以下链接关上 Text generation web UI 的利用部署模板：
- https://cloud.sealos.top/?openapp=system-template%3FtemplateName%3Dllama2-chinese
而后间接点击「部署利用」，部署实现后跳转到利用详情页面，点击外网地址即可关上 Text generation web UI 的 Web 界面：
进入模型抉择界面，能够看到目前只有 LLama2 中文模型可供选择：
如果大家有其余大模型的应用需要，欢送扫码分割我，我会帮忙将你们须要的大模型增加到共享存储中。
最初来测试一下：
回复速度还能够，毕竟 8 核 CPU，本人玩玩还是没问题的。如果您对性能有更高的需要，咱们很快就会推出 GPU 集群，敬请期待！
各位在享受这些开源大模型带来的便当的同时，不要漠视数据安全和隐衷爱护，正当应用开源模型，遵循法律法规，独特保护一个衰弱、有序的 AI 技术倒退环境。