Dify 的敌人们，
不少仔细的网友在周末的时候就曾经发现了咱们产品上的更新 — 模型供应商上新增了一大批新模型，这也是很多敌人翘首以盼的版本 – V0.3.13。
此前 Dify 曾经陆续反对了寰球前列的模型优良代表：OpenAI 的 GPT 系列、Anthropic 的 Claude 系列、Azure OpenAI 系列。本次更新，让大家能够轻易应用上国内外出名的开源模型如：Llama2、ChatGLM、百川 Baichuan、通义千问 -7B 等，凡托管在 Hugging Face 及 Replicate 上的模型，在 Dify 上只须要输出 Hugging Face、Replicate 的 API token 和模型名称就能够轻松接入调用。 同时，咱们与国内数家模型厂商达成了敌对的上下游单干，讯飞星火、MiniMax、文心一言、通义千问都已在本批次接入。（咱们还为 Dify 的敌人们争取到局部模型厂商的 token 体验额度，申请通道详见下文。）
](/img/bVc9hUA)
轻松调用 Llama2、ChatGLM、Baichuan 等开源模型
Dify 反对模型托管和部署平台 Replicate 和 Hugging Face 上所有的模型，Llama2、ChatGLM、百川 Baichuan、通义千问 -7B 等你都能够轻松调用，疾速构建性能优异且多样化的 AI 利用。
以部署托管在 Replicate 上的 Llama2 为例，来看看如何在 Dify 上调用开源模型吧！
点击查看视频
建设平安、合规可控的模型阵地
国内用户更关注的是模型的合规可控性，无疑国内闭源商用模型是最优抉择。Dify 已接通国内闭源商用模型如 文心一言、讯飞星火、MiniMax、通义千问，这些模型在安全性和价值观上更符合国情，满足合规审查和企业对可控性的需要。
以百度文心一言为例，用户在 Dify 用该模型创立利用时，对于“敏感词”的合规性问题会失去很好的解决：
但因为目前国内模型暂无奈凋谢大规模商用，所以咱们与其中局部模型厂商深度沟通单干，给 Dify 用户争取到讯飞星火、MiniMax 别离 300 万、100 万的 token 体验额度，倡议提前摸索评测，选定适宜本人业务的模型，大规模凋谢后即可在 Dify 上创立平安合规的 AI 利用。
如何申请体验额度？ 通过 Dify 设置 –> 模型供应商 –> 讯飞星火或 MiniMax 图标处点击【收费获取】：
- 讯飞星火：收费支付 300 万 token，须要从 Dify 的入口进入，实现讯飞星火开放平台的注册，返回 Dify 静候 5 分钟即可在 Dify 页面体现可用额度（仅限未注册过讯飞星火的手机号）。
- MiniMax：收费支付 100 万 token，只需点击【收费支付】即可到账额度，无需手动注册流程。
在 Dify.AI 摸索不同模型后劲
疾速切换，测验不同模型的体现。 基于 Dify 上集成的 LLMs，你能够在利用制作的页面下疾速切换不同模型，仅需几分钟就能够迅速评估在特定场景下各个模型的具体表现，这能够帮忙你基于测试后果做出更理智的模型抉择，获取最佳体验。
点击查看视频
升高模型能力比照和抉择的老本。 过来，当你须要摸索不同模型的能力边界，你须要一一去钻研不同模型的性能、一直调整不同模型的不同参数等，投入大量工夫和精力。而当初基于 Dify，你只须要在利用的模型选择器中点击切换即可实现不同模型能力的反馈和比照。另外，Dify 已对各模型进行了预调优，设定最佳零碎 Prompt，简化简单的参数设置。你无需学习各模型的应用细节，间接在 Dify 上抉择并得出最优模型计划。这极大升高了模型抉择和调优的门槛，让你更加高效地构建 LLM 利用。
抉择应用哪个大型语言模型？
往年层出不穷的模型和迭代速度让人目迷五色，在模型的抉择上，部署老本、训练老本、推理性能、模型能力体现等方面都起着重要的影响。上面咱们依据各大业余机构的评测与官网信息，总结几个热门开源 / 闭源模型的能力实用情景特点供大家参考:
百花齐放的开源模型
- Llama2: 家喻户晓，Meta 出品的 Llama 是开源模型的“鼻祖”，在其模型能力体现上甚至超过了 GPT-3，但遗憾的是不能商用。但前不久 Meta 又公布的 Llama 2 系列，不仅容许了商业化应用，任何企业、集体开发者都能将其用在商业用途，且在网络规模、训练数据量和模型架构上都有显著晋升，相比之前的 Llama 1，Llama 2 在预训练数据量上减少了 40%，达到了 2 万亿个语言单元。同时，输出文本长度也扩充一倍，达到 4096 个词元。这使得 Llama 2 更适宜解决长序列语言建模工作。
- ChatGLM: 清华技术成绩转化的公司智谱 AI 推出了 GLM 系列的中英双语对话模型 ChatGLM-6B，领有 62 亿参数，反对生产级显卡上的推理。该模型在 1T 的中英双语标识符训练根底上，通过多种技术进行优化，尽管因为模型容量较小，模型记忆和语言能力较弱，但胜在升高了部署门槛、晋升了效率。 ChatGLM2-6B 是部署在 hugging face 上的第二代版本，在保留了初代模型对话晦涩、部署门槛较低等泛滥优良个性的根底之上，ChatGLM2-6B 通过降级模型、扩大上下文、优化推理和凋谢协定，实现了性能、效率与兼容性的全面晋升。
- 百川 Baichuan: 百川大模型是由百川智能公司自主研发的大语言模型，其中 7B 和 13B 提供开源版。Baichuan-7B 是在大概 1.2 万亿 tokens 上训练的 70 亿参数模型，而 Baichuan-13B 采纳更大规模参数与训练数据，同时开源预训练与对齐版本，推理更高效，且开源收费可商用。 据官网走漏，百川行将在下个月上线闭源商用模型 53B 版本，提供在线体验平台和 API，官网已提供了内测入口。
- 通义千问 -7B: 阿里云在 8 月 3 日开源了 7B 参数模型：通义千问 -7B（Qwen-7B），这是阿里云研发的通义千问大模型系列的 70 亿参数规模的模型，在 hugging face 上一跃成为热度仅次于 Llama2 的文本生成型模型。Qwen-7B 是基于 Transformer 的大语言模型，在超大规模的预训练数据上进行训练失去。预训练数据类型多样，笼罩宽泛，包含大量网络文本、专业书籍、代码等。丰盛的预训练资源为 Qwen-7B 模型提供了松软的常识根底，使得 Qwen-7B 在各类工作上的适应性十分强，无论是对话、文本生成还是问答，都能获得较好的成果。
业余评测验证国产模型实力
对于国产模型，咱们查阅了新华社研究院对支流大模型公布的《人工智能大模型体验报告》。测试采纳模块化设题的办法设计主观题和主观题，从模型答复的可用性、语义准确度、逻辑清晰度、创新性等方面与 ChatGPT4、ChatGPT3.5 进行比照打分：
整体上国产大模型相较于 ChatGPT，在根底能力、智商测试、情商测试、工作提效上都有不俗的体现。再来看看更具体的剖析：
- 文心一言在语言了解和生成能力方面体现突出，对文本语义的解决达到较高水平；
- 通义千问在常识图谱构建和常识问题解决上劣势显著，常识零碎较为全面；
- 讯飞星火的语言表达和语义组织能力较强，生成的语句通顺晦涩；
- ChatGLM 模型在实现智能助理等理论工作的成果较好，可胜任各类智能问答和写作工作。
当然，不同评测机构的评测角度稍有不同，具体落地应用更重要的是联合业务情景自身来抉择，在 Dify 上你能够基于你的业务数据来测试不同模型的体现，抉择最适宜你业务的模型供应商。
除了以上模型反对，在本次版本中咱们也新增了 OpenAI 的自定义 API 域名能力，反对任何兼容 OpenAI 的大模型 API 服务器。 Dify 后续还将陆续反对如 google PaLM、百川商用版 53B、本地微调模型等的适配接入，敬请期待。
其余更多的小个性和 bug 修复请参考 release 信息：https://github.com/langgenius/dify/releases/
如果你喜爱 Dify，欢送：
- 在 GitHub 上奉献代码，与咱们一起共建更好的 Dify；
- 通过线上线下流动、社交媒体向你的敌人们分享 Dify，以及你的应用教训；
- 在 GitHub 上给咱们点亮⭐️
你也能够分割 Dify 小助手，退出咱们的好友群聊，互相分享应用教训：