Llm

<article class=“article fmt article-content”><p>BigCode 正式推出 StarCoder2 —— 一系列新一代的凋谢源代码大语言模型 (LLMs)。这些模型全副基于一个全新、大规模且高品质的代码数据集 The Stack v2 进行训练。咱们不仅公开了所有的模型和数据集，还包含了数据处理和训练代码的详细信息，详情请参阅 相干论文。</p><h2>StarCoder2 是什么?</h2><p>StarCoder2 是一套面向代码的开放式大语言模型系列，提供 3 种规模的模型，别离包含 30 亿 (3B)、70 亿 (7B) 和 150 亿 (15B) 参数。特地地，StarCoder2-15B 模型通过了超过 4 万亿 token 和 600 多种编程语言的训练，基于 The Stack v2 数据集。所有模型均采纳分组查问注意力机制 (Grouped Query Attention)，具备 16,384 个 token 的上下文窗口和 4,096 个令牌的滑动窗口注意力，并通过“填充两头” (Fill-in-the-Middle) 技术进行训练。</p><p>StarCoder2 蕴含三种规模的模型: ServiceNow 训练的 30 亿参数模型、Hugging Face 训练的 70 亿参数模型以及 NVIDIA 利用 NVIDIA NeMo 在 NVIDIA 减速基础架构上训练的 150 亿参数模型:</p><ul><li>StarCoder2-3B 基于 The Stack v2 的 17 种编程语言训练，解决了超过 3 万亿 token。</li><li>StarCoder2-7B 基于 The Stack v2 的 17 种编程语言训练，解决了超过 3.5 万亿 token。</li><li>StarCoder2-15B 基于 The Stack v2 的 600 多种编程语言训练，解决了超过 4 万亿 token。</li></ul><p>StarCoder2-15B 模型在其级别中表现出色，与 33 亿以上参数的模型在多项评估中并驾齐驱。StarCoder2-3B 的性能达到了 StarCoder1-15B 的程度:</p><p></p><h2>The Stack v2 是什么?</h2><p></p><p>The Stack v2 是迄今为止最大的凋谢代码数据集，非常适合进行大语言模型的预训练。与 The Stack v1 相比，The Stack v2 领有更大的数据规模，采纳了更先进的语言和许可证检测流程以及更优的过滤机制。此外，训练数据集依照仓库进行了分组，使得模型训练可能取得仓库上下文的反对。</p><table><thead><tr><th>数据集比照</th><th>The Stack v1</th><th>The Stack v2</th></tr></thead><tbody><tr><td>全副数据量</td><td>6.4TB</td><td>67.5TB</td></tr><tr><td>去重后数据量</td><td>2.9TB</td><td>32.1TB</td></tr><tr><td>训练数据集大小</td><td>约 2000 亿 token</td><td>约 9000 亿 token</td></tr></tbody></table><p>该数据集源自软件遗产档案 (Software Heritage archive)，这是一个蕴含了丰盛软件源代码及其开发历史的公共档案库。作为一个凋谢和非盈利的我的项目，软件遗产由 Inria 与 UNESCO 单干发动，旨在收集、保留并共享所有公开可用的软件源代码。咱们对软件遗产提供这一无价资源表示感谢。欲了解更多信息，请拜访 软件遗产网站。</p><p>您能够通过 Hugging Face Hub 拜访 The Stack v2 数据集。</p><h2>对于 BigCode</h2><p>BigCode 是由 Hugging Face 和 ServiceNow 联结领导的一个凋谢科研合作项目，致力于负责任地开发代码用大语言模型。</p><h2>相干链接</h2><h3>模型资源</h3><ul><li>钻研论文: 具体介绍 StarCoder2 和 The Stack v2 的技术报告。</li><li>GitHub 仓库: 提供应用或微调 StarCoder2 的残缺指南。</li><li>StarCoder2-3B: 规模较小的 StarCoder2 模型。</li><li>StarCoder2-7B: 规模中等的 StarCoder2 模型。</li><li>StarCoder2-15B: 规模较大的 StarCoder2 模型。</li></ul><h3>数据及治理</h3><ul><li>StarCoder2 许可协定: 模型基于 BigCode OpenRAIL-M v1 许可协定受权。</li><li>StarCoder2 代码搜寻: 对预训练数据集中的代码进行全文搜寻。</li><li>StarCoder2 成员资格测试: 疾速验证代码是否蕴含在预训练数据集中。</li></ul><h3>其余资源</h3><ul><li>VSCode 扩大: 应用 StarCoder 进行编码的插件！</li><li>大型代码模型排行榜: 比拟不同模型的性能。<br/>所有资源和链接均可在 huggingface.co/bigcode 查阅！</li></ul><hr/><blockquote><p>英文原文: https://hf.co/blog/starcoder2</p><p>原文作者: Leandro von Werra, Loubna Ben Allal, Anton Lozhkov, Nouamane Tazi</p><p>译者: AdinaY</p></blockquote></article> ...

先来个舒适的小揭示： 这篇文章尽管较为全面地介绍了 LangChain，但都是点到为止，只是让你理解一下它的皮毛而已，适宜小白选手。 So，如果你是 LangChain 的小白，看完之后还是一头雾水，那就请毫不留情地，狠狠地 .................................... 给我点赞吧！有了你的激励，我会再接再厉的！( •\_•) What?丹尼尔：蛋兄，刚刚听到他人在说 LangChain，你晓得是啥玩意吗？ 蛋学生：哦，LangChain 啊，一个开发框架 丹尼尔：开发啥的框架？ 蛋学生：一个用于开发语言模型驱动的利用的框架 丹尼尔：哦，开发这种利用，不就是写写 Prompt 提醒语，调调语言模型 API 的事么？ 蛋学生：没错。但 LangChain 使得 Prompt 的编写，API 的调用更加标准化 丹尼尔：就这样吗？ 蛋学生：当然不止，它还有很多很酷的性能 丹尼尔：比方？ 蛋学生：它能够连贯内部数据源，依据输出检索相干数据作为上下文给到语言模型，使得语言模型能够答复训练数据之外的问题。这是由 LangChain 的 Retrieval 来实现的 丹尼尔：太酷了，我想到了一个场景，比方通过它来连贯客服的答复话术库，这样就能够让语言模型摇身一变，变成一个业余的客服了 蛋学生：恩，这是一个很好的场景 丹尼尔：还有其它更酷的性能吗？ 蛋学生：它能够让语言模型来自行决定采取哪些口头 丹尼尔：这个就不是很明确了 蛋学生：接着你那个客服的例子持续说。如果用户问的问题是对于公司产品的，咱们就想让语言模型应用客服的话术库来答复；如果是其它问题，就让语言模型用它本人的常识来间接答复。如果是你，你会怎么实现？ 丹尼尔：我想我会先通过语言模型来判断用户的问题是否对于公司产品。如果是，就走连贯话术库的逻辑；如果不是，就走让语言模型间接答复的逻辑 蛋学生：恩，你这种就是 hardcode 逻辑的形式。还有一种更加 amazing 的 形式，就是让语言模型自行决定采取哪种行为。这个由 LangChain 的 Agent 来实现。 丹尼尔：听下来太酷了，怎么用呢？ 蛋学生：莫急，待我缓缓道来 Why?丹尼尔：蛋兄，你刚刚说到 LangChain 使得 Prompt 的编写，API 的调用更加标准化，标准化了必定是好的，但益处很大吗？我用语言模型的 SDK 不也用得好好的吗？ 蛋学生：那你先给一个应用 SDK 与语言模型交互的例子呗 丹尼尔：这还不简略，我就用这个吧：fireworks.ai （注：这个平台提供收费的资源，拜访也不便) from fireworks.client import Fireworksclient = Fireworks(api_key="<FIREWORKS_API_KEY>")response = client.chat.completions.create( model="accounts/fireworks/models/llama-v2-7b-chat", messages=[{ "role": "user", "content": "Who are you?", }],)print(response.choices[0].message.content)输入：Hello! I'm just an AI assistant, here to help you in any way I can. My purpose is to provide helpful and respectful responses, always being safe and socially unbiased. I'm here to assist you in a positive and ethical manner, and I'm happy to help you with any questions or tasks you may have. Is there anything specific you would like me to help you with?蛋学生：很好，再给另外一个语言模型的例子呗 ...

慕ke体系LLM大语言模型算法特训 带你转型AI大语言模型算法工程师完结//xia仔ke：百度网盘LLM大语言模型算法特训的相干概念知识点与技巧详解 一、LLM大语言模型概述 LLM（Large Language Model）大语言模型是近年来自然语言解决畛域的钻研热点，它指的是参数规模宏大、训练数据丰盛、功能强大的语言模型。LLM大语言模型通过深度学习技术，能够生成高质量的自然语言文本，实现多种自然语言解决工作，如文本生成、摘要、翻译、问答等。 二、相干概念知识点 Transformer模型：LLM大语言模型通常基于Transformer模型架构，该模型由自注意力机制和前馈神经网络组成，可能捕获文本中的长距离依赖关系，进步模型的性能。预训练与微调：LLM大语言模型通常通过两个阶段的训练：预训练和微调。预训练阶段应用大量无标签文本数据对模型进行训练，使其学习到语言的通用示意；微调阶段则应用特定工作的数据对模型进行训练，使其适应特定工作。参数规模：LLM大语言模型的参数规模宏大，通常达到数十亿甚至上百亿，这使得模型可能捕捉更多的语言细节和模式。上下文了解：LLM大语言模型具备较强的上下文理解能力，可能生成与上下文相干的文本内容，进步生成的连贯性和一致性。三、特训技巧详解 抉择适合的预训练数据集：预训练数据集的品质和数量对LLM大语言模型的性能至关重要。抉择适合的预训练数据集，如大型语料库、多畛域文本等，有助于进步模型的通用性和适应性。调整模型架构：依据工作需要和数据特点，能够调整LLM大语言模型的架构，如减少层数、扭转暗藏层大小等，以优化模型的性能。优化训练过程：在微调阶段，能够采纳一些优化技巧，如学习率调整、梯度裁剪、正则化等，以进步模型的收敛速度和泛化能力。利用多任务学习：多任务学习能够让LLM大语言模型同时学习多个工作，从而进步模型的通用性和泛化能力。在特训过程中，能够设计多个相干工作进行联结训练。引入内部常识：通过引入内部知识库或常识图谱，能够丰盛LLM大语言模型的常识储备，进步其在特定畛域的性能。例如，在特训过程中引入畛域相干的实体、概念等。利用模型蒸馏：模型蒸馏是一种将大型模型的常识转移到小型模型的办法。在LLM大语言模型特训中，能够利用模型蒸馏将大型模型的常识压缩到小型模型中，以进步模型的效率和性能。四、总结 LLM大语言模型算法特训波及多个方面，包含抉择适合的预训练数据集、调整模型架构、优化训练过程、利用多任务学习、引入内部常识和利用模型蒸馏等。通过把握这些相干概念知识点和技巧，能够更好地进行LLM大语言模型的特训，进步其在自然语言解决工作中的性能。

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等平安畛域利用的常识。在这里，您能够找到对于GPT/AIGC/LLM最新的钻研论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的奉献内容，现总结如下。 Security Papers1.利用大语言模型进行破绽检测方面的停顿总结 简介：随着软件变得越来越简单且容易呈现破绽，自动化破绽检测变得至关重要，但也具备挑战性。随着大语言模型（LLMs）在各种工作中获得重大胜利，人们对它们在破绽检测中的效劳越来越期待。然而，对它们在破绽检测中的后劲不足定量的了解。为了补救这一差距，研究者引入了一个全面的破绽基准VulBench。该基准会集了来自各种CTF（夺旗）挑战和实在应用程序的高质量数据，为每个易受攻击的函数提供了具体的破绽类型和其根本原因的正文。通过对16个LLMs和6个最先进的基于深度学习的模型和动态分析器的试验，研究者发现一些LLMs在破绽检测方面优于传统的深度学习办法，揭示了LLMs在这一畛域尚未开发的后劲。这项工作有助于了解和利用LLMs来加强软件安全性。 链接：https://arxiv.org/pdf/2311.12420.pdf 2.在软件浸透测试中应用大语言模型的初步钻研 简介：大语言模型（LLM）在软件浸透测试中具备后劲，可能与人类操作员进行交互，逐渐改良特定的平安工作。通过设计输出提醒来提供上下文和构造，能够使模型提供更精确的后果。利用LLM构建的AI智能体在软件浸透测试中展示了可行性，并且能够通过重复应用和提醒工程的工程办法来进一步改良。 链接：https://browse.arxiv.org/pdf/2401.17459.pdf 3.LLM4SecHW：利用特定畛域的大语言模型进行硬件调试 简介：这篇论文介绍了一种名为LLM4SECHW的新框架，利用畛域特定的大语言模型（LLM）进行硬件调试。该框架通过编译版本控制数据集，实现了对硬件设计中谬误的辨认和修改，并在多种开源硬件设计上展现了其有效性。这种办法为其余畛域中应用领域特定LLM的微调提供了参考工作流程，并为硬件设计中的自动化品质管制过程带来了新的视角。 链接：https://browse.arxiv.org/pdf/2401.16448.pdf 4.LLM的平安代码审查：深入调查响应 简介：该钻研对三种最先进的大语言模型（Gemini Pro、GPT-4和GPT-3.5）在549个蕴含实在代码审查的平安缺点的代码文件上的检测性能进行了比拟。结果显示，LLMs生成的响应存在简短、含混和不残缺的问题，须要晋升其简洁性、可了解性和合乎平安缺点检测的能力。 链接：https://browse.arxiv.org/pdf/2401.16310.pdf 5.基于笼罩疏导强化学习与以大语言模型为根底进行变异的JavaScript含糊测试引擎 简介：本文提出了一种名为CovRL的新技术，该技术将大语言模型与笼罩反馈的强化学习相结合，旨在进步含糊测试的成果。CovRL-Fuzz含糊器通过构建加权笼罩图和计算含糊测试处分，能够生成更可能发现新笼罩区域的测试用例，从而进步破绽检测能力，同时最小化语法和语义谬误。评估结果显示，CovRL-Fuzz在代码覆盖率和谬误发现能力方面超过了以后最先进的含糊器，发现了48个与平安相干的理论谬误，其中包含39个以前未知的破绽和11个CVE。 链接：https://arxiv.org/pdf/2402.12222.pdf

本文次要分三局部内容：第一局部介绍拓数派公司，第二局部介绍 DataCS 产品，最初介绍 DataCS 与龙蜥在生态上的单干。 杭州拓数派科技倒退有限公司（简称“拓数派”，英文名称“OpenPie”）是国内根底数据计算畛域的高科技翻新企业。作为国内云上数据库和数据计算畛域的引领者，以“Data Computing for New Discoveries”「数据计算，只为新发现」为使命，致力于在数字原生时代，使用突破性计算实践、独创的云原生数据库旗舰产品以及之上的算法和数学模型，建设下一代云原生数据平台的前沿规范，驱动企业实现从“软件公司”到“数据公司”再到“数学公司”的继续进阶，减速数字化转型降级。 拓数派自成立以来专一于数据计算畛域，旗下大模型数据计算零碎（PieDataComputingSystem, 缩写：DataCS），以云原生技术重构数据存储和计算，一份存储，多引擎数据计算，让 AI 模型更大更快，全面降级大数据系统至大模型时代。DataCS 旨在助力企业优化计算瓶颈、充分利用和施展数据规模劣势，构建外围技术壁垒，更好地赋能业务倒退，使得自主可控的大模型数据计算零碎放弃寰球当先，让大模型技术全面赋能各行各业。 目前大模型数据计算零碎，面向国内市场提供私有云版、社区版、企业版及一体机多个版本，满足企业不同业务场景需要，并已为金融、制作、医疗及教育等行业用户构建了 AI 数据底座。 拓数派领有强悍的研发外围团队和有胜利上市教训的治理团队。其外围团队成员次要来自 Pivotal、IBM、腾讯、字节跳动、快手、Oracle 等世界 500 强以及国内头部互联网公司。拓数派创始人兼 CEO 冯雷（Ray Von）是数据云和人工智能畛域的间断创业者和技术引领者。冯雷于 2010 年从美国硅谷归国，曾在 500 强公司 EMC 旗下创立 Greenplum 中国研发部门工作。2013 年随着寰球 Pivotal 组建，冯雷先生在中国 Greenplum 大数据和 VMWare 的 PaaS 云的根底上组建了 Pivotal 中国研发核心，推动了 Greenplum 大数据库、CloudFoundry PaaS 云等出名开源产品的畛域领先地位。 拓数派 2021 年创建，迅速进入疾速倒退阶段，引领数据计算时代的到来。成立当天即取得头部产业基金天使轮投资，成为 DAY-1 准独角兽。2022 年拓数派公布了云原生虚构数仓 PieCloudDB 社区版与商业版。2023 年拓数派大模型数据计算零碎 DataCS 正式亮相，让 AI 模型更大更快。 上面介绍 DataCS。数据分析的目标最终是为了发现解释世界规定的模型。有了数据和计算，最终用来形容世界法则，构建一个模型零碎。构建模型零碎的要害是要有足够多的数据，数据是外围竞争力。有了数据后要结构出解释世界的模型。拓数派团队既具备大数据分析的丰盛教训，也具备云计算方面的实战经验。 ...

1.TensorRT-LLM 如何晋升 LLM 模型推理效率大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型。底层转换器是一组神经网络，这些神经网络由具备 self-attention 的编码器和解码器组成。编码器和解码器从一系列文本中提取含意，并了解其中的单词和短语之间的关系。 以后 LLM 模型推理的次要瓶颈是 GPU 显存资源有余。因而，各类减速框架次要集中于升高 GPU 显存峰值和进步 GPU 使用率两大指标。 TensorRT-LLM[1]是 NVIDIA 推出的大语言模型（LLM）推理优化框架。它提供了一组 Python API 用于定义 LLMs，并且应用最新的优化技术将 LLM 模型转换为 TensorRT Engines，推理时间接应用优化后的 TensorRT Engines。 TensorRT-LLM 次要利用以下四项优化技术晋升 LLM 模型推理效率。 1.1 量化模型量化技术是通过升高原始模型的精度来缩小模型推理时的 GPU 显存应用。 TensorRT 反对多种模型的多种精度，以下列举了局部支流模型反对的量化精度。 W8A8 SQ 应用了 SmoothQuant 技术[2]，在不升高模型推理准确率的前提下，将模型权重和激活层都升高为 INT8 精度，显著缩小了 GPU 显存耗费。 W4A16/W8A16 是指模型权重为 INT4 或者 INT8，激活层为 FP16 精度。 W4A16 AWQ 以及 W4A16 GPTQ 别离实现了 AWQ[3]和 GPTQ[4]两篇论文中提到的量化办法。模型权重为 INT4，激活层为 FP16 精度。 1.2 In-Flight Batching传统的 Batching 技术为 Static Batching 的，须要等 Batching 中所有序列推理实现后能力进行下一次批次。下图为一个输入最大 Token 为 8，Batch size 为 4 的推理过程，应用 Static Batching 技术。S3 序列在 T5 时刻就曾经实现推理，然而须要等到 S2 序列在 T8 时刻推理实现后才会解决下一个 sequence，存在显著的资源节约。 ...

编者按：随着大语言模型技术的疾速倒退，模型交融成为一种低成本但高性能的模型构建新途径。本文作者 Maxime Labonne 利用 mergekit 库摸索了四种模型交融办法：SLERP、TIES、DARE和passthrough。通过配置示例和案例剖析，作者具体阐释了这些算法的原理及实际操作。 作者的外围观点是：相比训练全新模型，交融现有模型能够以更低计算成本获取相似或更优异的成果。 文章通过模型交融生成了性能优异的 Marcoro14-7B-slerp 。在 Open LLM Leaderboard 和 NousResearch 两个基准测试上，它都是同参数量模型中的佼佼者。案例验证了作者主张的模型交融存在的高性价比。当然模型交融也存在肯定问题，如训练数据净化和可能在各种评测排行榜的分数偏高。本文提供了模型交融技术与工程实际的详尽指南，对AI实践者具备重要参考价值。 作者 | Maxime Labonne 编译 | 岳扬 Image by author 模型交融（Model merging）是一种将两个或更多个大语言模型（LLM）合并为一个模型的技术。这是一种绝对较新的实验性办法，能够以较低成本（无需 GPU）创立新模型。 令人诧异的是，这种技术的成果还比拟出奇，应用模型交融技术在 Open LLM Leaderboard[1]上产生了许多最先进的模型。 在本教程中，咱们将应用 mergekit [2]库来实现这一技术。更具体地说，咱们将回顾四种模型交融办法，并提供相干的配置示例。而后，咱们将应用 mergekit 创立一个模型：Marcoro14–7B-slerp[3]，该模型已成为 Open LLM Leaderboard（02/01/24）上体现最佳的模型。 相干代码已上传至 GitHub[4] 和 Notebook[5]。集体倡议应用 LazyMergekit[6] 我的项目，来轻松运行 mergekit。 特别感谢 mergekit 库的作者 Charles Goddard[7] 审阅本文。 Image by author 01 交融算法在本节，咱们将重点介绍 mergekit 库目前实现的四种模型交融办法。请留神，还有其余办法，比方 linear [8]和 Task Arithmetic [9]。如果你对模型交融的相干论文感兴趣，我举荐浏览Hugging Face上的这本优良论文集[10]。 ...

话接上文《图技术在 LLM 下的利用：常识图谱驱动的大语言模型 Llama Index》 同大家简略介绍过 LLM 和图、常识图谱相干的联合，当初我来和大家分享下最新的成绩。毕竟，从 GPT-3 开始展现出超出预期的“理解能力“开始，我始终在做 Graph + LLM 技术组合、互补的钻研、摸索和分享，截止到当初 NebulaGraph 曾经在 LlamaIndex 与 Langchain 我的项目做出了不少当先的奉献。 是时候，来给你展现展现我的劳动成果了。本文的主题是咱们认为这个 LLM+ 畛域最唾手可得、最容易摘取的果实，Text2Cypher：自然语言生成图查问。 Text2Cypher顾名思义，Text2Cypher 做的就是把自然语言的文本转换成 Cypher 查问语句的这件事儿。和另一个大家可能曾经比拟相熟的场景 Text2SQL：文本转换 SQL 在模式上没有什么区别。而实质上，大多数常识图谱、图数据库的利用都是在图上依照人类志愿进行查问，咱们在图数据库上结构不便的可视化工具、封装不便的 API 的工作都是为这个指标服务的。 始终以来，妨碍图数据库、常识图谱被更广泛应用的次要因素可能就是图数据库的查问门槛了。那么，在没有大语言模型的时候，咱们是怎么做的呢？ 传统的 Text2Cypher文本到查问这个畛域，在大语言模型之前就始终存在这样的需要，始终是常识图谱最常见的利用之一，比方 KBQA（基于知识库的问答零碎）的零碎外部实质上就是 Text2Cypher。 这里以我之前写的我的项目 Siwi（发音：/swi/，一个基于篮球运动员数据集的问答利用）为例。 先来理解一下它的后端架构： ┌─────────────┬───────────────────────────────────┐│ Speech │ Frontend ││ ┌──────────▼──────────┐ Siwi, /swi/ ││ │ Web_Speech_API │ A PoC of Dialog System ││ │ Vue.JS │ With Graph Database ││ │ │ Backed Knowledge Graph ││ └──────────┬──────────┘ ││ │ Sentence Backend ││┌────────────┼────────────────────────────┐ │││ ┌──────────▼──────────┐ │ │││ │ Web API, Flask │ ./app/ │ │││ └──────────┬──────────┘ │ │││ │ Sentence ./bot/ │ │││ ┌──────────▼──────────┐ │ │││ │ Intent Matching, │ ./bot/classifier│ │││ │ Symentic Processing │ │ │││ └──────────┬──────────┘ │ │││ │ Intent, Enties │ │││ ┌──────────▼──────────┐ │ │││ │ Intent Actor │ ./bot/actions │ ││└─┴──────────┬──────────┴─────────────────┘ ││ │ Graph Query ││ ┌──────────▼──────────┐ ││ │ Graph Database │ NebulaGraph ││ └─────────────────────┘ │└─────────────────────────────────────────────────┘当一个问题语句发送过去之后，它首先要做用意辨认（Intent）、实体辨认（Entity），而后再利用 NLP 模型或者代码把相应的用意和实体结构成常识图谱的查问语句，最终查问图数据库，并依据返回后果结构答案。 ...

举荐：应用NSDT场景编辑器助你疾速搭建可编辑的3D利用场景 挪动设施上的智能助手具备十分先进的基于语言的交互，用于执行简略的日常工作，例如设置计时器或关上手电筒。只管获得了停顿，但这些助手在反对挪动用户界面 （UI） 中的对话交互方面依然面临限度，其中执行了许多用户工作。例如，他们无法回答用户对于屏幕上显示的特定信息的问题。代理须要对图形用户界面（GUI）来实现此类性能。 先前的钻研曾经考察了几个重要的技术构建块，以实现与挪动UI的对话交互，包含汇总挪动屏幕以便用户疾速理解其用处，将语言指令映射到 UI 操作和图形用户界面建模以便它们更适宜基于语言的交互。然而，其中每个都仅解决会话交互的无限方面，并且在策动大规模数据集和训练专用模型方面须要大量工作。此外，挪动 UI 上可能产生宽泛的对话交互。因而，必须开发一种轻量级和可推广的办法来实现对话交互。 在“应用大型语言模型启用与挪动 UI 的对话交互”，在CHI 2023，咱们钻研了利用大型语言模型（LLM）实现与挪动UI的各种基于语言的交互的可行性。最近事后训练的LLM，例如手掌，在收到一些指标工作示例提醒时，曾经体现出适应各种上游语言工作的能力。咱们提出了一套提醒技术，使交互设计师和开发人员可能疾速原型化和测试与用户的新鲜语言交互，从而在投资专用数据集和模型之前节省时间和资源。因为LLM仅将文本令牌作为输出，因而咱们提供了一种新鲜的算法来生成挪动UI的文本示意。咱们的结果表明，这种办法在每个工作中仅应用两个数据示例即可实现竞争性能。更宽泛地说，咱们展现了LLM从根本上扭转对话交互设计将来工作流程的后劲。动画显示了咱们应用LLM实现与挪动UI的各种对话交互的工作。 应用 UI 提醒LLMLLM通过提醒反对上下文中的多数镜头学习 - 而不是为每个新工作微调或从新训练模型，人们能够应用指标工作中的一些输出和输入数据示例提醒LLM。对于许多自然语言解决工作，例如问答或翻译，少镜头提醒具备竞争力基准办法训练特定于每个工作的模型。然而，语言模型只能承受文本输出，而挪动 UI 是多模式的，在其中蕴含文本、图像和构造信息视图层次结构数据（即蕴含 UI 元素具体属性的构造数据）和屏幕截图。此外，将挪动屏幕的视图层次结构数据间接输出LLM是不可行的，因为它蕴含过多的信息，例如每个UI元素的具体属性，这可能会超过LLM的输出长度限度。 为了应答这些挑战，咱们开发了一套技术来提醒应用挪动UI的LLM。咱们奉献了一种算法，该算法应用深度优先搜寻遍历以将 Android UI 的视图层次结构转换为 HTML 语法。咱们还利用思维链提醒，这波及生成两头后果并将它们链接在一起以达到最终输入，以引出LLM的推理能力。动画显示应用挪动 UI 进行大量镜头提醒 LLM 的过程。咱们的提醒设计从解释提醒目标的序言开始。序言前面是多个示例，包含输出、思维链（如果实用）和每个工作的输入。每个示例的输出都是 HTML 语法中的挪动屏幕。在输出之后，能够提供思维链以从LLM中引出逻辑推理。此步骤未显示在下面的动画中，因为它是可选的。工作输入是指标工作的预期后果，例如，屏幕摘要或用户问题的答案。提醒中蕴含多个示例能够实现多数镜头提醒。在预测过程中，咱们向模型提供提醒，并在开端附加一个新的输出屏幕。 试验咱们对四个要害的建模工作进行了全面的试验：（1）屏幕问题生成，（2）屏幕摘要，（3）屏幕问答，以及（4）将指令映射到UI操作。试验结果表明，咱们的办法在每个工作中仅应用两个数据示例即可实现竞争性能。 工作 1：屏幕问题生成给定挪动 UI 屏幕，屏幕问题生成的指标是合成与须要用户输出的 UI 元素相干的连贯、语法正确的自然语言问题。 咱们发现LLM能够利用UI上下文来生成相干信息的问题。LLM在问题品质方面显著优于启发式办法（基于模板的生成）。LLM 生成的屏幕问题示例。LLM 能够利用屏幕上下文生成与挪动 UI 上每个输出字段相干的语法正确的问题，而模板办法则有余。 咱们还揭示了LLM将相干输出字段组合成一个问题以进行无效沟通的能力。例如，询问最低和最高价格的过滤器合并为一个问题：“价格范畴是多少？咱们察看到LLM能够利用其先验常识组合多个相干的输出字段来提出一个问题。 在评估中，咱们征求了人类对问题的语法是否正确（语法）以及与生成它们的输出字段相干（相关性）的评分。除了人工标记的语言品质外，咱们还主动查看了LLM如何笼罩须要生成问题的所有元素（覆盖范围F1).咱们发现LLM生成的问题具备近乎完满的语法（4.98 / 5），并且与屏幕上显示的输出字段高度相干（92.8%）。此外，LLM在全面笼罩输出畛域方面体现良好（95.8%）。     工作 2：屏幕摘要屏幕摘要是主动生成描述性语言概述，涵盖挪动屏幕的基本功能。该工作可帮忙用户疾速理解挪动 UI 的用处，这在 UI 不可视拜访时特地有用。 咱们的结果表明，LLM能够无效地总结挪动UI的基本功能。它们能够生成比屏幕2个单词咱们之前应用特定于 UI 的文本引入的基准测试模型，如上面的黑白文本和框中突出显示的那样。由 2 发 LLM 生成的示例摘要。咱们发现LLM可能应用屏幕上的特定文原本撰写更精确的摘要。 乏味的是，咱们察看到LLM在创立摘要时利用他们的先验常识来推断UI中未显示的信息。在上面的示例中，LLM 推断地铁站属于伦敦地铁零碎，而输出 UI 不蕴含此信息。LLM利用其先验常识来帮忙总结屏幕。 人工评估将LLM摘要评为比基准更精确，但他们在以下指标上的得分较低BLEU.感知品质与指标分数之间的不匹配产生共鸣近期工作显示LLM能够写出更好的摘要，只管主动指标没有反映它。左：主动指标的屏幕摘要成果。右：由人工评估人员投票的屏幕摘要准确性。 ...

编者按：随着大语言模型的广泛应用，如何存储和高效检索这些模型产生的大量向量示意成为一个较为要害的问题。本文深入探讨了向量数据库在晋升语言模型利用性能方面的作用，并介绍了不同类型向量数据库的特点。 本文以简明扼要的形式全面概述了向量数据库的工作机制、利用场景和评估办法，对于在生产环境中利用语言模型的从业者具备重要的参考价值。作者首先论述了向量示意在语言模型中的重要性，以及向量数据库如何通过语义缓存、长期记忆等机制加强语言模型的能力。而后，文章具体介绍了基于图的、基于文档的和键值型三种支流向量数据库，剖析它们各自的利用场景和优缺点。 在生产环境部署语言模型利用时，作者倡议从多个维度评估不同数据库的适用性。文章还提供了向量数据库基准测试和集成的最佳实际，帮忙读者做出正确抉择。 以下是译文，enjoy！ 作者 | Stephen Oladele 编译 | 岳扬 图片起源：unsplash[1] 语言模型（Language models）是一种功能强大的人工智能算法，它们可能依据输出的 prompt 生成相似人类编写的文本。语言模型是在大量文本数据上预训练的通用神经网络，在这个过程中学习到了语言中的统计法则和关系（statistical patterns and relationships）。GPT、BERT和LLaMA是由OpenAI、Cohere和Hugging Face等大语言模型（LLM）提供商开发的支流语言模型。 这些模型在各行各业中都有广泛应用，例如文本生成、聊天机器人、语音助手、内容创立、语言翻译、情感剖析和个性化举荐等畛域。语言模型的利用十分宽泛，并还在一直倒退和改良，为咱们带来了更多新的时机。 01 向量在语言模型利用中的重要性在人类日常对话中，语境（Context，亦常译作“上下文”）常施展着极为重要的作用，它帮忙人们顺畅地进行交换和了解别人的话语。 语言模型通过将对话编码为一种称为“向量”的数字示意模式，来捕获语意和语义关系，以此利用语境信息。这些向量使得模型可能了解对话呈现的语境，无论是特定的文化背景表白、正在探讨的话题背景，还是其余语境线索。 在机器学习和人工智能中，向量是一个十分重要的角色，次要起因如下： 对话式人工智能中的语境理解能力：通过捕获对话中词语的含意和关系，聊天机器人和虚构助理能够生成连贯且合乎语境的回复，进步交互品质。高效的搜寻和举荐：向量通过捕获用户收回的查问的语境，促成语境搜寻和个性化举荐的品质（contextual search and recommendations）。它们使搜索引擎和举荐零碎可能检索内容相干的且合乎语境的后果，进步倡议的准确性和相关性。帮忙测量语义类似度：自然语言解决向量通过测量单词和短语之间的语义类似度，从而实现拓展查问（query expansion）、聚类（clustering）和信息检索（information retrieval）等工作。向量有助于语言模型辨认相干概念，并进步语言模型在了解和生成文本方面的准确性。 图 1：展现查问（query）和嵌入文档（embedded document）之间语义类似度的简化图[2] 反对迁徙学习：自然语言解决向量反对迁徙学习，预训练的语言模型为针对特定工作或畛域进行微调奠定了根底。这些向量能够捕获从大规模训练数据中学到的常识和模式，使模型可能泛化并能适应仅有较小数据集的新工作，从而进步性能。本文将着重介绍向量数据库以及如何在生产环境中对它们进行评估。 02 向量数据库在语言模型利用中的作用向量数据库是一种专门设计用于存储和高效检索向量示意（vector representations）的存储系统，例如单词嵌入（word embeddings）或文本数据的数字示意（numerical representations of textual data）等向量示意。向量数据库还是存储与单词或短语相关联的向量的仓库，能够依据相似性指标疾速进行查找和比拟操作。 向量数据库使得大规模向量空间的解决更加高效，同时优化了存储、检索和比拟等操作。 图2. 向量数据库的类型[3] 03 向量数据库的典型特点和次要性能数据库既能存储结构化数据，也能存储非结构化数据。关系型数据库和文档数据库通常用于存储结构化数据，如个人信息和财务数据等，但它们可能不适用于波及非结构化数据（例如图像、文本、视频和音频）的ML/AI利用，因为这些数据的维度和大小都很高。 传统数据库可能会导致信息检索[4]呈现提早（delays in information retrieval），因而它们不太适宜以自然语言解决为重点的AI利用。相比之下，向量数据库为存储和检索非结构化数据提供了更为无效的解决方案。它们能够高效地解决非结构化数据，并加强人工智能利用的能力。以下是向量数据库的次要性能： 高效检索（Efficient retrieval ） ：向量数据库可依据查问（queries）或相似性指标（similarity measures）疾速高效地检索向量示意（vector representations），使语言模型可能疾速地拜访向量嵌入（vector embeddings）。索引和搜寻（Indexing and search） ：向量数据库提供索引和搜寻性能，可依据具体规范（例如相似性搜寻（similarity search）、最邻近搜寻（nearest neighbor search）或范畴查问（range queries））高效地查找和搜寻向量。可扩展性（Scalability）： 向量数据库的设计初衷是解决大规模向量空间，它能够高效地存储和检索数百万甚至数十亿个向量。类似度测量：向量数据库提供测量向量之间类似度或间隔的性能，有助于实现语义类似度比拟、聚类和举荐零碎等工作。反对高维向量：向量数据库能够解决语言模型中常见的高维向量，容许存储和检索简单的向量示意。向量数据库能够存储天文空间数据（geospatial data）、文本（text）、特色（features）、用户配置文件（user profiles）和与向量相干的元数据的哈希值（hashes as metadata associated with the vectors）。只管向量数据库的设计重点是存储和查问向量数据，而非加密哈希值。 ...

关键词：Transformer；PLM；SLM；NLM；LLM；Galactica；OPT；OPT-IML；BLOOM；BLOOMZ；GLM；Reddit；H100；H800；A100；A800；MI200；MI250；LaMA；OpenAI；GQA；RMSNorm；SFT；RTX 4090；A6000；AIGC；CHATGLM；LLVM；LLMs；GLM；AGI；HPC；GPU；CPU；CPU+GPU；英伟达；Nvidia；英特尔；AMD；高性能计算；高性能服务器；蓝海大脑；多元异构算力；大模型训练；通用人工智能；GPU服务器；GPU集群；大模型训练GPU集群；大语言模型；深度学习；机器学习；计算机视觉；生成式AI；ML；DLC；图像宰割；预训练语言模型；AI服务器；GH200;L40S；HBM3e；Grace Hopper；gracehopper 摘要：本文次要介绍大模型的外部运行原理、我国算力倒退现状。大模型指具备微小参数量的深度学习模型，如GPT-4。其通过在大规模数据集上进行训练，可能产生更加精确和有创造性的后果。大模型的外部运行原理包含输出数据的解决、多层神经网络计算和输入后果生成。这些模型通常由数十亿个参数组成，须要宏大的计算资源和高速的存储器来进行训练和推理。 随着大模型的疾速倒退，我国在算力倒退方面获得显著停顿。近年来，我国投入大量资源用于高性能计算和人工智能畛域研发，并建设一系列超级计算中心和云计算平台。这些动作不仅晋升我国的科学研究能力，也为大模型训练和利用提供弱小反对。我国算力倒退曾经进入寰球当先行列，为推动人工智能倒退奠定松软的根底。 蓝海大脑大模型训练平台是蓝海大脑自主研发的高性能计算平台，专用于大模型训练和推理。该平台采纳先进的硬件架构和优化的软件算法，能够提供高效的计算能力和存储能力。 大模型外部运行原理近年来，在大规模语料上预训练 Transformer 模型产生了预训练语言模型(Pre-trained Language Model, PLM)，在各类自然语言解决工作上展示弱小的语言了解与生成能力。钻研发现扩充模型规模能够进步模型能力，导致大规模语言模型(Large Language Model, LLM)的产生。当模型规模超过肯定阈值后，这些大模型不仅性能大幅晋升，还体现出小模型所不具备的语言学习能力。 LLM技术的疾速停顿扭转了AI零碎的研发与利用范式。本文回顾了近年来LLM技术的倒退历程，同时总结了LLM的研发资源、存在的问题和将来方向。 一、引言 语言是人类独有的表白和交换能力，在儿童晚期就开始造成并随同毕生一直倒退变动。然而机器想要像人类一样天然地把握了解和应用语言的能力，必须装备弱小的人工智能算法。实现机器领有相似人类浏览、写作和交换能力是一个长期的钻研挑战。 从技术上讲，语言建模是进步机器语言智能的次要办法之一。语言建模通常是对词序列生成概率进行建模，以预测未呈现的词语。语言建模钻研在学术界受到宽泛关注。其倒退可分为四个次要阶段: 1、统计语言模型 (SLM) SLM（Statistical Language Model）在20世纪90年代衰亡，基于统计学习办法，通过马尔可夫假如来建设词预测模型。其具备固定上下文长度 n 的 SLM 也称为 n 元语言模型，例如 bigram 和 trigram 语言模型。广泛应用于信息检索和自然语言解决，但常常面临维数劫难的困扰。因而须要专门设计平滑策略，如回退预计和古德图灵预计已被引入以缓解数据稠密问题。 2、神经语言模型 (NLM) 自然语言解决畛域中,循环神经网络(RNN)等神经网络模型被广泛应用于形容单词序列的概率。晚期工作引入了词的分布式示意概念,并基于分布式词向量来构建词预测函数,作为该畛域的重要奉献。后续钻研扩大了学习词语和句子无效特色的思路,开发出通用的神经网络办法,为各类自然语言解决工作建设对立的解决方案。另外,word2vec提出应用简化的浅层神经网络来学习分布式词示意,这些示意在多种自然语言解决工作中展现出十分无效。以上钻研将语言模型利用于示意学习畛域,而不仅限于词序列建模,对自然语言解决产生了深远影响。 3、预训练语言模型 (PLM) PLM通过在大规模语料上预训练获取语义示意，而后微调到上游工作。Transformer等构造的引入极大进步了性能。“预训练-微调”成为自然语言解决的重要范式。 4、大语言模型 (LLM) 大语言模型持续扩充模型和数据规模，展现出小模型所不具备的弱小语言能力。GPT-3等模型体现出惊人的上下文学习能力。ChatGPT胜利地将大语言模型利用到凋谢畛域对话。 相比预训练语言模型(PLM)，大语言模型(LLM)有三大要害区别： 1）LLM展现出PLM不具备的惊人涌现能力，使其在简单工作上体现弱小 2）LLM将扭转人类开发和应用AI零碎的形式，须要通过提醒接口拜访 3）LLM的钻研和工程界线不再明确。LLM技术正在引领AI、自然语言解决、信息检索和计算机视觉等畛域的改革，基于LLM的理论利用生态正在造成。 然而，LLM的外在原理与关键因素还有待进一步摸索，训练大规模的LLM十分艰难，将LLM与人类价值观保持一致也面临挑战。因而须要更多关注LLM的钻研和利用。 二、概述 上面将概述大语言模型(LLM)的背景，并概括GPT系列模型的技术演进历程。 1、大语言模型的背景 大语言模型(LLM)通常指在大规模文本数据上训练的、蕴含数千亿级(或更多)参数的Transformer构造语言模型，比方GPT-3、PaLM、Galactica、LLaMA和LLaMA2等。LLM展现了弱小的语言理解能力和通过文本生成解决简单工作的能力。为疾速了解LLM的工作原理，上面将介绍LLM的根本背景，包含扩大法令、涌现能力和关键技术。 1）大语言模型的扩大法令 目前大语言模型次要建设在Transformer架构之上，其中多头注意力机制层重叠在十分深的神经网络中。现有的大语言模型采纳相似的Transformer构造和与小型语言模型雷同的预训练指标(如语言建模)，然而大语言模型大幅扩大模型规模、训练数据量和总计算量(数量级上的晋升)。大量钻研表明扩大规模能够显著进步语言模型的能力。因而，建设一个定量的办法来形容扩大效应很有意义。 KM扩大法令：2020年OpenAI团队首次提出神经语言模型的性能与模型规模、数据集规模和训练计算量之间存在幂律关系。在给定计算估算下，依据试验提出三个公式来形容扩大法令。 这里L是用自然对数示意的穿插熵损失。上述三个法则是通过拟合不同数据量、不同模型大小和不同训练计算量条件下的语言模型性能得出。结果表明模型性能与这三个因素存在十分强的依赖关系。 Chinchilla扩大法令：Google DeepMind团队提出了另一种代替的扩大法令模式，用于领导大语言模型的最优训练计算量。通过变动更大范畴的模型规模和数据量进行严格的试验，并拟合出一个相似的扩大法令，但具备不同的系数: 在该法令中E、A、B、和为教训确定的系数。钻研人员进一步在训练计算量束缚C ≈ 6ND的条件下，通过优化损失函数L(N,D)展现如何最优地在模型规模和数据量之间调配计算估算的办法。 这里G是依据系数A、B、和计算失去的扩大系数。如文献剖析随着给定计算估算的减少，KM扩大法令更偏向于将估算调配给模型规模，而Chinchilla扩大法令认为应该以相近的比例减少模型和数据规模。只管存在一些局限性假如，这些扩大法令提供了对扩大效应的直观了解，能够用于训练过程中预测语言模型的性能。然而一些能力(如上下文学习)无奈齐全依据扩大法令预测，只有模型超过肯定规模后才会呈现。 大语言模型的要害特色之一是展现出预训练语言模型所不具备的涌现能力，即只有模型达到肯定规模后才呈现的全新能力。当涌现能力呈现时，性能会忽然显著晋升，超过随机程度，相似于物理学中的相变景象。涌现能力能够与简单工作相干，须要关注那些能宽泛解决工作的通用能力。上面简要介绍大语言模型的三种典型涌现能力和相干的代表性模型。 上下文学习：GPT-3首次提出这种能力，即只须要提供语言指令和大量示例，模型就能够生成预期的输入，无需额定训练。但这个能力与模型规模相干，须要达到肯定参数量才会呈现。 指令遵循：通过指令微调，大语言模型能够在齐全未见过的工作上，仅依据语言形容就进行泛化。当模型超过680亿参数后，这种能力才会显著晋升。不同模型对这种能力的把握也有差别。 逐渐推理：小模型难以解决须要多步推理的简单工作，而大语言模型能够通过提供两头推理步骤的思维链提醒来实现这类工作。当模型超过600亿参数时，这种提醒带来的成果才会显著。不同工作对这种能力的依赖水平也不同。 ...

近日，被亿欧网誉为最值得关注的全球化大模型数据计算科技新锐拓数派亮相在黄浦区世博园举办的2023 INCLUSION·外滩大会。作为国内顶尖的科技盛会，来自寰球各地的驰名经济学家、诺奖得主、企业家和技术大咖们座无虚席，围绕“科技·发明可继续将来”的峰会主题，站在新一轮科技改革和产业改革的大背景下，独特探讨影响产业倒退的关键技术，展现产业界的思考与实际，以及谋求可继续倒退的科技人文理念。拓数派创始人、董事长兼首席执行官、壹零贰肆数字产业基金会理事长及卡内基梅隆大学（CMU）上海校友会主席冯雷（Ray Von）应邀出席本届峰会并做主题演讲。 图为：拓数派创始人兼CEO 冯雷（Ray Von）主题分享 人工智能正粗浅的扭转这个时代，大模型热度继续攀升，AI大模型作为国家反对的硬科技产业，其倒退势不可挡，大模型技术在产业的落地无疑成为了本届峰会的热点话题。拓数派创始人兼CEO冯雷示意：“咱们十分荣幸可能参加本次外滩峰会，与寰球具备影响力的科技领军企业和专家学者，一起分享科技前沿，探讨产业倒退。” 本次大会同时汇聚了美国科学家迈克尔·I·乔丹（Michael I. Jordan）、张宏江等人工智能、大模型方面的专家，超 5 位院士，探讨大模型开源体系以及根底模型面临的挑战与时机。 图为：2023 INCLUSION·外滩大会 现场照片 冯雷在“大模型数据计算零碎及其金融业时机”主题演讲中论述了大模型人工智能浪潮下，带来了新的GDP增长力量。依据PwC的钻研，在2030年AI无望为中国近1/4的GPD做出增长奉献。这个新的增长大浪也催生出了云原生下的大模型数据计算新物种，就如同PC机信息时代的大浪带来微软和甲骨文等一批科技巨头。谈到金融行业，冯雷示意，以大模型为代表的新兴科技对将来金融产业倒退将产生深远影响，科技赋能金融，不仅要将翻新技术无效的交融到金融产业中，助力金融行业建设更大模型，还要聚焦大模型场景利用示范与翻新生态构建，激发金融科技的更多后劲，开释更大的金融产业价值。 图为：从大数据到大模型数据计算零碎 冯雷在演讲中提到，在大模型数据计算零碎中，AI数学模型、数据和算力三者将前所未有的无缝互为加强，发明出可观的社会经济效益，成为推动社会高质量倒退的新生产力。强化要害核心技术攻关，反对通用大模型、垂直类大模型等要害畛域自主翻新，亦将成为抢占人工智能倒退洼地的要害因素。演讲最初，冯雷联合拓数派品牌定位与产品策略，分享了拓数派在大模型技术上的翻新与教训功效，与此同时，他进一步披露了拓数派的科技策略：深耕数据计算零碎，软硬件深度交融，大模型技术全面赋能产品。正如他所说 “模型：万变前面的不变只因更高维形象”，基于此拓数派自成立以来就专一于数据计算畛域，潜心打造一款寰球当先且自主可控的大模型数据计算零碎，旨在助力企业优化算力瓶颈、充分利用和施展数据规模劣势，构建外围技术壁垒，更好地赋能业务倒退。他走漏，拓数派大模型数据计算零碎（DataComputing System，缩写DataCS）会在往年10月24日公司年度技术论坛上重磅公布，旨在成为AI的根底科技底座，弱小的技术创新力与当先的产品力被业界寄予厚望，置信大模型数据计算零碎将开启AI技术的新范式。 在这场以大模型技术为引领的科技改革中，所有才刚刚开始…

举荐：应用NSDT场景编辑器助你疾速搭建可二次编辑的3D利用场景 什么是Flowise AI？Flowise AI是一个开源的UI可视化工具，用于帮忙开发LangChain应用程序。在咱们具体介绍 Flowise AI 之前，让咱们疾速定义 LangChain。LangChain是一个框架/ python库，可帮忙您利用LLM构建本人的自定义NLP应用程序。 Flowise应用LangChain作为其代理执行器，Chroma作为其矢量存储，OpenAI用于嵌入，HuggingFace的推理模型，GitHub作为文档加载器，以及用于查问API的SERP。它的图形用户界面对于构建基于LangChain.js构建的基于LLM的应用程序十分有帮忙。 那么是什么让它如此简略和有用呢？拖放工具。每个人都喜爱拖放，尤其是在自定义 NLP 应用程序时。更大的长处是它不须要任何编码教训！ 我能够应用 Flowise AI 构建什么？您能够应用 Flowise AI 构建多个应用程序，例如： 聊天机器人虚构助手数据分析工具教育工具游戏艺术 为什么我应该应用 Flowise AI？单纯：拖放工具使您能够轻松构建本人的LLM流。无需编码技能：这对于行业中的新人和团队中没有开发人员的组织十分有用。开源：收费应用和批改，容许您依据本人的要求进行定制。强：该工具可用于开发宽泛的LLM应用程序。社区：Flowise由一个支持性开发社区提供反对，该社区能够帮忙您充分利用Flowise。Flowise AI装置那么如何装置这个简略的拖放式可自定义 NLP 工具呢？因而，您能够通过 3 种不同的形式装置 Flowise AI。让咱们来看看所有这些。 疾速装置首先，您须要下载并装置 NodeJS >= 18.15.0。实现此操作后，您须要装置Flowisenpm install -g flowise 您的下一步是启动 Flowisenpx flowise start 您须要输出用户名和明码： npx flowise start --FLOWISE_USERNAME=user --FLOWISE_PASSWORD=1234实现后，您能够通过关上以下内容在网页上关上它：http://localhost:3000如果您更喜爱应用 Docker，请依照下一部分进行操作。 DockerDocker组件首先，您须要转到我的项目根目录下的 docker 文件夹而后你须要创立.env文件并指定PORT（参考.env.example）而后你须要执行：docker-compose up -d而后你须要关上 http://localhost:3000您能够通过 docker-compose stop 敞开容器Docker镜像首先，须要在本地生成映像： docker build --no-cache -t flowise . 而后，您须要运行映像： docker run -d --name flowise -p 3000:3000 flowise要进行映像，您须要： ...

编者按：8月29日凌晨，OpenAI在官网发表，推出企业版ChatGPT（ChatGPT Enterprise）。前不久，OpenAI又刚刚公布了针对企业的GPT-3.5 Turbo微调性能。因此引发了一场热烈的探讨——是否仍须要私有化的大模型？ 咱们明天为大家带来的文章，作者探讨了与仅通过 OpenAI 等公司的 API 应用 LLM 相比，私有化部署大模型的劣势。无力地阐明了私有化的大模型依然是咱们现实的一种抉择。 作者认为，私有化大模型的外围劣势和必要性在于：1) 可能更好地管制LLM的特色和行为; 2)可能实现更深刻的模型集成，以及依据本身需要进行模型优化和调整; 3) 可能在疾速变动的环境中积攒技术教训，构建壁垒。 总的来说，作者认为私有化部署LLM能让公司与LLM建设更严密的关系，从而获得更大的主动权。本文值得对大模型利用感兴趣的公司和集体开发者研读。 以下是译文，Enjoy! 作者 | Andrew Marble (andrew@willows.ai) 编译 | 岳扬 欢送小伙伴们退出AI技术软件及技术交换群，追踪前沿热点，共探技术难题~ 在《终结者》这部电影中，配角们的团结合作和个体智慧战败了“反派”技术上的劣势。凯尔·里斯（Kyle Reese）和莎拉·康纳（Sarah Connor）利用智慧战胜了先进的 T-800，而 T-800 又帮忙莎拉和约翰战败了更加先进的 T-1000。OpenAI的GPT-4目前是公开可用的最强语言模型，此外，有分析表明，个别状况下GPT-4的运行老本比私有化部署的同类大模型更低。不过我认为，只管 OpenAI 的模型有很多长处，但还是值得思考私有化部署大模型，尤其是须要构建商业产品或外部利用时。 如果仅为了满足用户的某些需要，而在应用程序中应用语言模型，能够应用OpenAI或Anthropic等公司的API，向 API 提交 prompt，而后获取响应，并领取相应的应用费用。或者，咱们也能够配置私有化模型，并将其托管在本地或云端中，目前市面上有许多模型可供私有化部署。最近有几项剖析指出[1][2]，如果只思考老本和性能，应用OpenAI API的劣势更为显著。能够进行十分具体的成本计算，调用API最显著的老本劣势是，咱们只须要在应用时领取硬件应用费用。大多数私有化部署的大模型应用程序都很难充分利用部署的 GPU 算力资源，因而须要为闲置工夫领取大量费用。 对于语言模型的性能评估，存在许多简单的因素须要思考——我集体认为，市面上的各种基准测试和“排行榜” [3] ，与在具体商业相干工作中的体现之间并不存在 1:1 的关系。 但毫无疑问，在多种自然语言解决工作中，GPT-4 的体现都显著优于其余大模型，只有最好的公开可用的模型（publicly available models）能力与Claude（Anthropic的大模型）和GPT-3.5 竞争。 只管应用OpenAI等公司的API有其长处，但应用公开可用的模型（publicly available models）也有其劣势。（这里须要留神，我并没有应用“开源”这个词，因为许多模型存在一些应用限度，不能被视为齐全“开源”[4]。但我不会在这里深入探讨这个问题。）对我而言，这个问题的关键在于“你与大模型之间的关系（relationship）”。 应用API意味着你只是OpenAI等公司提供的服务的使用者。模型的个性、自定义性能、价值观（包含审查机制和世界观）等都由这些公司决定，你只能构建前端页面调用这些服务。这也意味着你无奈理解模型的外部状态，因而在利用更高级别的问责技术和防护措施时（译者注：这些技术和措施可能包含利用模型的可解释性、模型监控、数据隐衷爱护等等）会受到限制。这些问题都可能是无益的，因为你不用放心如何解决这些问题。但这也意味着你构建的任何利用都齐全依赖于这些初创公司。 对于“基于开发者与AI模型之间的互动和依赖关系”的开发，应用私有化部署的模型有很多益处。 对模型架构和权重的管制，肯定水平上打消了将来可能面临的不确定性，也意味着你不用承受OpenAI等公司提供的服务。市场上曾经造成了一个丰盛的生态系统，有多种不同模型可供尝试，还能够依据本人的要求进行微调。这种构造最终可能让开发者与AI模型建设一种长期的关系，并围绕它调整产品，让构建的产品与抉择的模型保持一致，并影响咱们何时以及是否决定进行更改的决策。这让你构建的货色不仅仅是他人语言模型的前端，而是深度集成的。 此外，对于许多大模型利用而言，GPT的多方位劣势并非推动产生价值的次要因素。运行像GPT-4这样大的模型可能每月须要破费数万美元。但在笔记本电脑上就能够运行7B和13B的模型（具备70亿和130亿个参数的模型，是LLaMA和其余公共模型的常见规格）。这些模型也足够大，能够胜任许多常见工作，并且作为用户本地计算机或服务器的一部分，能够更具性价比。 “负责任地应用AI”这句话有多种含意。科技公司通常关注的是外表问题，如政治正确和防止偏见，这比拟无效地防止了像ChatGPT这些具备多种能力的公共模型引发争议。对于许多利用，尤其是业余的常识工作型利用[5]，这些顾虑大多无关紧要，取而代之的是对于事实准确性、完整性或仅仅是是否紧扣主题等这些理论问题。许多“放弃模型稳固”的技术须要理解模型的外部状态、梯度和两头输入后果。 [6]（译者注：梯度（gradients）是机器学习中十分重要的概念，是优化模型的要害。）应用基于API的模型，会限度进一步进行试验和加强模型的可能性。 对于缓存外部模型状态以及模型微调等各种模型优化措施也是如此。尽管API提供了一些性能抉择，但与现有的可用技术相比，这些抉择依然是无限的。大模型技术仍在一直倒退，每天都有新的模型和技术问世。对于那些将 LLM 作为产品或工具的一个严密集成局部的用户来说，要想灵便地随着技术的倒退而倒退，惟一的办法是领有私有化部署的大模型。 目前，语言模型变动速度如此之快的另一个起因是，与大模型技术相干的技能和常识也在迅速倒退。应用私有化部署的大模型，能够让机构和集体在这种一直变动的市场环境中积攒教训，而单单应用 API 则无奈做到这一点。 对于许多公司，特地是那些正在构建商业利用的公司来说，将“AI”放弃在更深层次的技术水平上，对于员工的业余倒退档次和适应变动能力的晋升都十分重要。这不是一项成熟的技术，而咱们从业者所领有的"护城河"的一部分就是理解正在产生的事件。甚至能够进一步说，任何应用AI构建重要利用的组织或公司，都应该在外部或通过参谋取得一些对于AI技术的深层次常识，而不仅仅是API的参考资料，以便可能更好地去了解AI最善于的能力。随着人工智能被商品化和大肆炒作，它能做什么与其倡议用处之间往往会呈现很大的脱节。 我预计在将来几年，状况将会大不相同——人们将会就应用大模型的要害事项达成共识，而API将会反对这些共识。对于一项新的、仍处于试验阶段且疾速倒退的技术，要真正参加其中，须要深刻理解模型和代码。这并不意味着所有公司或产品都须要深刻理解大模型技术——有些公司或产品能够通过应用API来构建有价值的产品，这种状况上来私有化部署可能是浪费时间的。但这些是不同类型的产品，不可一概而论。 回到《终结者》所形容的故事，里斯和T-800建设起了牢固的“关系”（译者注：与前文形容开发者和大模型的“关系”相响应），从而胜利实现了工作。而承受天网工作的终结者们只是到处施展他们高超的技术实力，这并不足以博得胜利。人和智能体建设“关系”的一部分就是获取他们的权限。我晓得这是个“愚昧”的比喻，但我置信这些模型也是如此，关键在于是否深刻理解工具的劣势，并构建一个高度集成的利用，而这是API所无奈实现的。 ...