共计 4456 个字符，预计需要花费 12 分钟才能阅读完成。
最近一个月，Dify 已全面接入了寰球顶尖开源模型 & 国内闭源商用模型，让用户可能在一个平台依据不同需要场景调用 & 评估不同模型能力。同时，咱们也始终在与国内优良的大模型厂商放弃深度的沟通与交换，同步分享以后技术趋势。
本次线上直面会咱们邀请了百川智能的 Alex 老师和 Dify 创始人张路宇和大家一起探讨对于开源 LLMOps 和 Baichuan 开源模型联合的最佳实际、以后模型技术及市场的发展趋势等话题。直面会上， 百川智能的 Alex 老师实战演示了如何在 Dify 上应用 Baichuan 开源模型的能力，在数分钟内即能够在 Dify 创立一个基于 Baichuan 13B-chat 模型能力的 AI 利用。也与 Dify 的用户敌人们进行的深度的互动交换，分享大家在利用 LLMs 能力过程中遇到的问题与实际。 以下为两位老师以及 Dify 用户敌人们交换环节的要害信息整顿。
对于 Baichuan 模型
百川智能是前搜狗公司 CEO 王小川创建的一家大模型公司，成立于 4 月 10 日。目前 Baichuan 总体公布了三款模型， 两款开源模型：Baichuan-7B 和 Baichuan-13B，及一款闭源的模型：Baichuan-53B。 Baichuan-7B 最先公布，这是首款开源可商用的 70 亿参数大模型，紧接着公布的 Baichuan-13B 在开源界也十分受欢迎，在过后的同尺寸开源模型中体现最佳，7B 和 13B 都联合了中英文语料从头开始训练并能够收费商用。而百川最新在 8 月 8 日公布的闭源模型：Baichuan-53B 是相似于 ChatGPT 的体验版本，联合了搜寻加强能力做了强化，能够以较低的幻觉和较高的时效性答复问题，现处于内测阶段。
如果你须要在 Dify 接入开源模型如 Baichuan 系列，咱们提供了两种抉择：一是应用托管的开源模型，你能够应用 Hugging Face 和 Replicate 上托管的开源模型。二是如果有算力，或者想在本地部署模型，咱们反对两种分布式模型推理框架：Xorbits inference 和 OpenLLM。这些产品由中国背景的团队开发，和咱们有严密的单干。
Alex Vs 张路宇：Baichuan 模型个性详解及模型技术倒退
本环节，由张路宇针对 Dify 用户关怀的相干问题，与 Alex 老师展开讨论。
Alex：🙋♂️
张路宇：🐟
🐟Q1： 目前大部分模型厂商每隔数月公布一个新版本的模型，接下来是否会存在一种动静微调的模型公布模式，实时更新数据，弱化模型时效性的局限？
🙋♂️A1： 最新上线的 GPT-3.5 Turbo 微调性能能够实现这样的公布模式，只需大量的数据大概 50 条到 100 条就能够达到成果比拟好的微调。模型厂商自身能够做动静的微调，利用 Dify 这样的 LLMOps 也能够做动静微调，用户在 Dify 还能够基于模型近日的动静体现，获取反馈的数据继续改良 AI 利用。
从另外一个角度来看 GPT 发行 Turbo 版本和它的服务模式非亲非故，因为它能够用纯 SaaS 的版本。但国内的大模型可能更多的是以私有化的模式，即云端私有化部署模式为主。很多客户都心愿能深度训练 Baichuan 模型，但这不仅仅是传授模型一些特定常识或答复几个问题的简略微调。他们须要模型深刻理解整个行业，把握特定行业畛域的能力，如能源、法律、医疗等。这须要更简单的微调和量化调整，而不仅仅是外表上的问题解决。 对于这种垂直畛域的模型，咱们必须进行全方位的微调，包含参数、构造等各个方面的调整，能力获得理想的性能。 而对 GPT 进行全量微调并不事实，从模式上来说，Baichuan 将来可能会发行基于云端版本和私有化版本的微调模式。如果客户须要某个畛域的垂直大模型，咱们会配合他们做全量版本。
🐟Q2： 百川模型的 base 和 chat 版本有什么区别？
🙋♂️A2： Baichuan-7B 推出的是 base 版本，而 Baichuan-13B 同时推出了 base 和 chat 版本。首先 base 版本的预训练模型具备了同类模型的所有能力，但不能以对话的形式和人进行交互，须要通过微调后应用。打个比方，base 版本的模型能够比做一个毛坯房，尽管已具备根本的条件，然而想住进去还须要装修，chat 就是一个简装的版本。能够抉择不同的形式简装，实现不同的工作。
🐟Q3： Baichuan-7B 和 Baichuan-13B 这两个尺寸的模型有什么区别？
🙋♂️A3： 7B 是比拟亲民的尺寸，量化后单张 RTX 3090 的显卡就能跑一个半精度的版本，具备大模型高级的能力，因而起步能够抉择 7B 尺寸的模型。而 13B 的参数是 7B 的两倍，业内的共识是模型参数要达到 13B 后能力领有一些初步的涌现能力（创造性输入、多功能性、泛化能力、语言和对话的了解、自我学习和自适应等）。
🐟Q4： Baichuan-13B 和 Llama2 能力比照如何？和通义千问相比呢？
🙋♂️A4： Llama2 在 Baichuan-13B 之后公布，Llama2 是开源可商用的模型，公布后评分很高，超过了 Baichuan-13B 在英文大模型榜单上的体现，处于屠榜的状态。 然而因为 Llama2 的 Meta 官网没有倒退中文模型，通过第三方社区微调的中文模型和 Baichuan-13B 相比在中文语境上的体现上并不佳，因而在模型预训练的起始阶段交融中文语料很重要，前期的微调成果往往很难达到预期。通义千问在 SuperCLUE 的测评中体现出理强文弱的特点，他们在推理方面做了很强的优化。
🐟Q5： 同一个 prompt 在 Baichuan 下的体现和 ChatGPT 不同的起因是什么？
🙋♂️A5： Baichuan 的 prompt 与国外模型显著不同是因为国外模型通常应用英文 prompt，而 Baichuan 因为微调数据无限，可能无奈适应各种不寻常的问题，英文 prompt 成果不佳。 当初百川提供了一套适配的 prompt 和 Dify 实现了对接，能够在 Dify 的源代码里查看。
🐟Q6： 百川作为国内模型会怎么解决合规和意识形态的问题？
🙋♂️A6： 如果用大模型做的利用在国内渠道公布的话，我倡议大家在这方面的做一个二次测验。在模型层面，咱们会最大限度的保障输入内容的安全性，比方从训练语料和前置、中途到后置的安全策略方面增强，但临时还无奈确保十拿九稳。
用户问答环节
🤔Q1： 百川智能是王小川老师创建的，对于 Baichuan 模型具备搜狗的基因和搜寻加强的能力，能再具体解释一下吗？
🙋♂️A1： 首先搜寻加强技术是针对联网状况下的公网常识搜寻。用户必须先联网获取一些网络上的常识，而后能力生成答复。其次，搜寻加强框架是独立于模型之外的零碎。尽管它与模型一起工作，但它们是两套不同的零碎。搜寻加强零碎也能够进行离线部署，但在这种状况下，须要连贯到企业的公有常识源，如数据库和产品，以实现性能。
搜寻插件的根本工作形式是，当您提出一个问题时，它会主动在 Google 上进行搜寻，并汇总搜寻后果。而后再将这些搜寻后果用作输出联合 prompt 最初生成答复。还有一种相似的办法，只不过它搜寻的内容是将问题向量与已有的向量库进行类似度匹配。这两种办法最终能够联合在一起，是绝对根底的模式。
对于搜寻加强模块，其基本概念与上述相似，但具体实际中波及到简单的细节。搜寻自身是一个非常复杂的过程，须要多年的积攒和一直的优化，包含用意辨认、后端解决等多个方面。有许多不同的策略和流程来实现搜寻工作，能够将其视为高度加强的插件版本。
以百度为例，百度不仅仅是一个简略的 Elastic Search，它有本人多年积攒的简单搜索引擎代码，用于解决非常复杂的搜寻流程。同样，搜狗也有相似简单的搜寻框架来解决这一问题。尽管它们的办法有所不同，但总体搜寻能力是类似的。搜狗更加重视向量技术的利用，而百度在较晚的阶段才引入了向量技术。
🤔Q2： 在应用 Baichuan 模型进行因素提取时要求以阶层格局输入后果，除了阶层内容外，还可能输入一些多余的信息，该怎么解决？
🙋♂️A2： 一方面在工程上从 prompt 的层面能够做一些尝试，防止输出中英文混淆的 prompt。第二个从模型的自身的能力上来看，Baichuan 的指令遵循能力还不强，那能够期待后续的新版本。
🤔Q3： 将来 Dify 会在数据库向量匹配上做出改良吗？
🐟A3： 这个技术波及多个方面，特地是要实现高精度匹配，首先须要将用户的问题转化为匹配语句。而不同类型的数据，如文本、关系数据库、表格数据和常识图谱，都须要不同的解决策略。为了提供更好的成果，咱们正大规模调整咱们的产品，以更好地解决常识分段和数据结构。
在接下来的产品版本中，咱们打算提供一个更综合的解决方案，而不是目前的简化版本。 尽管咱们始终保持放弃产品的简略性，以使技术和非技术人员都能轻松应用，但咱们也谋求精确性和弱小性。咱们将综合解决不同类型的数据，这是咱们团队的重要方向之一。
🤔Q4： 在 Dify 的大模型都应用了雷同的 prompt 代码，接下来是否会对每个模型进行个性化定制的微调？
🐟A4： 咱们会为咱们每个用户量较大的模型进行调整，与模型供应商的专家一起优化推理过程的关键步骤和模板。 因为每个模型在初始训练时接管的数据不同，所以咱们会在最新版本中进行一些调整。这可能波及到架构问题，例如，在 Dify 中，咱们将其视为一种相似操作系统驱动程序的反对，其中蕴含模型参数和 prompt 信息。另外，在 Dify 产品中，将来也会开放系统级的推理模板，以便用户能够自行进行配置和批改。无论是通过配置文件还是通过界面配置，用户都能够改善模版和自定义各种参数，如调配 token 的比例权重等。
🤔Q5： Dify 前期有对接多模态的打算吗？
🐟A5： 多模态的概念比拟宽泛，能够从很多层面解决，能够在中间层解决，能够在模型层解决，能够甚至在训练层。Dify 作为中间层下半年有两个发力点，一个是 agent，一个是多模态，目前文本方向是主攻方向。多模态利用开发可能须要一些工夫，咱们须要摸索这个畛域，圈定要害方向。在最近和其余敌人的探讨中，咱们达成了共识。其中最重要是当初利用开发者的首要任务是明确定义利用要解决的具体情景和指标用户。 大模型不能做所有事件，如果将其视为产品，开发者应充分利用以后可用技术，解决用户的痛点，而不是简略地拿来应用。 咱们须要优化技术，但作为咱们无奈笼罩所有利用的技术需要，用户要提供情景反对。一个胜利的利用须要工夫和三思而行，特地是在提高质量方面。多模态利用的构建也须要工夫和协调，波及到多个层面的磨合。多模态利用的开发取决于具体情景，不同行业须要不同的多模态技术。 因而，咱们会亲密关注开发者的需要，将可投产性最高的技术组合到一起。 例如，教育领域须要更多的多模态技术，而客服畛域则更侧重于文本。总之，基于模型的利用开发须要充沛的筹备和投入，但前景广大。
如果你喜爱 Dify，欢送：
在 GitHub 上奉献代码，与咱们一起共建更好的 Dify；
通过线上线下流动、社交媒体向你的敌人们分享 Dify，以及你的应用教训；
在 GitHub 上给咱们点亮⭐️
你也能够分割 Dify 小助手，退出咱们的好友群聊，互相分享应用教训：
