关于aigc:AnalyticDBADBLLM构建AIGC时代下企业专属Chatbot

这个春天，最让人震感的科技产品莫过于 ChatGPT 的横空出世，通过大语言模型（LLM）让人们看到了生成式 AI 能实现到和人类语言高度相仿的语言表达能力，AI 不再遥不可及而曾经能够走进人类的工作和生存，这使得寂静一段时间的 AI 畛域从新焕发了能量，有数的从业者正趋之若鹜地投身于下一个扭转时代的机会；据不齐全统计，在短短的 4 个月工夫内，美国曾经实现了超 4000 笔的生成式 AI 的行业融资。生成式 AI 曾经成为了资本和企业都无奈漠视的下一代的技术明码，而其对于底层的基础设施能力提供了更高的要求。

大模型可能答复较为普世的问题，然而若要服务于垂直业余畛域，会存在常识深度和时效性有余的问题，那么企业如何抓住机会并构建垂直畛域服务？目前有两种模式，第一种是基于大模型之上做垂直畛域模型的 Fine Tune，这个综合投入老本较大，更新的频率也较低，并不适用于所有的企业；第二种就是在向量数据库中构建企业自有的常识资产，通过大模型 + 向量数据库来搭建垂直畛域的深度服务，实质是应用数据库进行提醒工程(Prompt Engineering)。以法律行业为例，基于垂直类目标法律条文和判例，企业能够构建垂直畛域的法律科技服务。如法律科技公司 Harvey，正在构建“律师的副驾驶”（Copilot for Lawyer）以进步法律条文的起草和钻研服务。

将企业知识库文档和实时信息通过向量特征提取而后存储到向量数据库，联合 LLM 大语言模型能够让 Chatbot（聊天机器人）的答复更具专业性和时效性，构建企业专属 Chatbot。

本文接下来将重点介绍基于大语言模型（LLM）+ 向量数据库打造企业专属 Chatbot 的原理和流程，以及 ADB-PG 构建该场景的外围能力。

在事实世界中，绝大多数的数据都是以非结构化数据的模式存在的，如图片，音频，视频，文本等。这些非结构化的数据随着智慧城市，短视频，商品个性化举荐，视觉商品搜寻等利用的呈现而爆发式增长。为了可能解决这些非结构化的数据，咱们通常会应用人工智能技术提取这些非结构化数据的特色，并将其转化为特征向量，再对这些特征向量进行剖析和检索以实现对非结构化数据的解决。因而，咱们把这种能存储，剖析和检索特征向量的数据库称之为向量数据库。

向量数据库对于特征向量的疾速检索，个别会采纳构建向量索引的技术手段，咱们通常说的向量索引都属于 ANNS（Approximate Nearest Neighbors Search，近似最近邻搜寻），它的核心思想是不再局限于只返回最准确的后果项，而是仅搜寻可能是近邻的数据项，也就是通过就义可承受范畴内的一点精确度来换取检索效率的进步。这也是向量数据库与传统数据库最大的差异。

为了将 ANNS 向量索引更加不便的利用到理论的生产环境中，目前业界次要有两种实际形式。一种是独自将 ANNS 向量索引服务化，以提供向量索引创立和检索的能力，从而造成一种专有的向量数据库；另一种是将 ANNS 向量索引交融到传统结构化数据库中，造成一种具备向量检索性能的 DBMS。在理论的业务场景中，专有的向量数据库往往都须要和其余传统数据库配合起来一起应用，这样会造成一些比拟常见的问题，如数据冗余、数据迁徙过多、数据一致性问题等，与真正的 DBMS 相比，专有的向量数据库须要额定的业余人员保护、额定的老本，以及十分无限的查询语言能力、可编程性、可扩展性和工具集成。而交融了向量检索性能的 DBMS 则不同，它首先是一个十分齐备的古代数据库平台，能满足应用程序开发人员的数据库性能需要；而后它集成的向量检索能力一样也能够实现专有的向量数据库的性能，并且使向量存储和检索继承了 DBMS 的优良能力，如易用性（间接应用 SQL 的形式解决向量）、事务、高可用性、高可扩展性等等。本文介绍的 ADB-PG 即是具备向量检索性能的 DBMS，在蕴含向量检索性能的同时，还具备一站式的数据库能力。在介绍 ADB-PG 的具体能力之前，咱们先来看一下 Demo 视频中 Chatbot 的创立流程和相干原理。

对于后面 Demo 视频联合大语言模型 LLM 和 ADB-PG 进行时事新闻点评解答的例子，让 LLM 答复 ” 通义千问是什么 ”。能够看到，如果咱们让 LLM 间接答复，失去的答案没有意义，因为 LLM 的训练数据集里并不蕴含相干的内容。而当咱们应用向量数据库作为本地常识存储，让 LLM 主动提取相干的常识之后，其正确地答复了 ” 通义千问是什么 ”。

同样地，这种形式能够利用于解决文档，PDF，邮件，网络资讯等等尚未被 LLM 训练数据集笼罩到的内容。比方：

1. 联合最新的航班信息和最新的网红打卡地点等游览攻略资源，打造游览助手。比方答复下周最适宜去哪里游览，如何最经济实惠的问题。

2. 体育赛事点评，时事热点新闻点评，总结。明天谁是 NBA 较量的 MVP。

3. 教育行业，最新的教育热点解读，比方，通知我什么是 AIGC，什么是 Stable Diffusion 以及如何应用等等。

4. 金融畛域，疾速剖析各行业畛域金融财报，打造金融征询助手。

5. 业余畛域的客服机器人 …

本地常识问答零碎 (Local QA System) 次要是通过联合了大语言模型的推理能力和向量数据库的存储和检索能力。来实现通过向量检索到最相干的语义片段，而后让大语言模型联合相干片段上下文来进行正确的推理失去论断。

在这个过程中次要有两个流程：

a. 后端数据处理和存储流程

b. 前端问答流程

同时其底层次要依赖两个模块：

1. 基于大语言模型的推理模块

2. 基于向量数据库的向量数据管理模块

上图彩色的局部为后端的数据处理流程，次要是将咱们的原始数据求解 embedding，并和原始数据一起存入到向量数据库 ADB-PG 中。这里你只须要关注上图的蓝色虚线框局部。彩色的解决模块和 ADB-PG 向量数据库。

Step1：先将原始文档中的文本内容全副提取进去。而后依据语义切块，切成多个 chunk，能够了解为能够残缺表白一段意思的文本段落。在这个过程中还能够额定做一些元数据抽取，敏感信息检测等行为。
Step2：将这些 Chunk 都丢给 embedding 模型，来求取这些 chunk 的 embedding。
Step3：将 embedding 和原始 chunk 一起存入到向量数据库中。

在这个过程中次要分为三个局部 1. 问题提炼局部 2. 向量检索提取最相干常识 3. 推理求解局部。在这里咱们须要关注橙色局部。单单说原理可能比拟艰涩，咱们还是用下面的例子来阐明。

这个局部是可选的，之所以存在是因为有些问题是须要依赖于上下文的。因为用户问的新问题可能没方法让 LLM 了解这个用户的用意。比方用户的新问题是 ” 它能做什么 ”。LLM 并不知道它指的是谁，须要联合之前的聊天历史，比方 ” 通义千问是什么 ” 来推理出用户须要求解答案的独立问题 ” 通义千问能做什么 ”。LLM 没法正确答复 ” 它有什么用 ” 这样的含糊问题，然而能正确答复 ” 通义千问有什么用 ” 这样的独立问题。如果你的问题自身就是独立的，则不须要这个局部。失去独立问题后，咱们能够基于这个独立问题，来求取这个独立问题的 embedding。而后去向量数据库中搜寻最类似的向量，找到最相干的内容。这个行为在 Part2 Retrieval Plugin 的性能中。

独立问题求取 embedding 这个性能会在 text2vec 模型中进行。在取得 embedding 之后就能够通过这个 embedding 来搜寻曾经当时存储在向量数据库中的数据了。比方咱们曾经在 ADB-PG 中存储了上面内容。咱们就能够通过求取的向量来取得最相近的内容或者常识，比方第一条和第三条。通义千问是 …, 通义千问能够帮忙咱们 xxx。

在取得最相干的常识之后，咱们就能够就能够让 LLM 基于最相干的常识和独立问题来进行求解推理，失去最终的答案了。这里就是联合“通义千问是 …”,“通义千问能够帮忙咱们 xxx”等等最无效的信息来答复“通义千问有什么用”这个问题了。最终让 GPT 的推理求解大抵是这样：

基于以下已知信息，简洁和业余的来答复用户的问题。如果无奈从中失去答案，请说 ” 依据已知信息无法回答该问题 ” 或 ” 没有提供足够的相干信息 ”，不容许在答案中增加假造成分，答案请应用中文。
已知内容:
1. 阿里巴巴“通义千问”大模型 4 月 11 日也亮相云峰会 …
2. 通义千问能够帮忙咱们 xxx 问题: 通义千问有什么用

为什么 ADB-PG 适宜作为 Chatbot 的常识数据库？ADB-PG 是一款具备大规模并行处理能力的云原生数据仓库。它反对行存储和列存储模式，既能够提供高性能的离线数据处理，也能够反对高并发的海量数据在线剖析查问。因而咱们能够说 ADB-PG 是一个反对分布式事务、混合负载的数据仓库平台，同时也反对解决多种非结构化和半结构化数据源。如通过向量检索插件实现了对图片、语言、视频、文本等非结构化数据的高性能向量检索剖析，对 JSON 等半结构化数据的全文检索剖析。因而在 AIGC 场景下，ADB-PG 既能够作为一款向量数据库满足其对向量存储和检索的需要，也能够满足其余结构化数据的存储和查问，同时也能够提供全文检索的能力，为 AIGC 场景下的业务利用提供一站式的解决方案。上面咱们将对 ADB-PG 的向量检索、交融检索和全文检索这三方面的能力进行具体介绍。ADB-PG 向量检索和交融检索性能于 2020 年首次在私有云上线，目前曾经在人脸识别畛域失去了十分宽泛的利用。ADB-PG 的向量数据库继承自数据仓库平台，因而它简直领有 DBMS 的所有益处，如 ANSISQL、ACID 事务、高可用性、故障复原、工夫点复原、可编程性、可扩展性等。同时它反对了点积间隔、汉明间隔和欧氏间隔的向量和向量的类似度搜寻。这些性能目前在人脸识别、商品辨认和基于文本的语义搜寻中失去了广泛应用。随着 AIGC 的爆炸式增长，这些性能为基于文本的 Chatbot 奠定了松软的根底。另外，ADB-PG 向量检索引擎也应用 Intel SIMD 指令极其无效地实现了向量相似性匹配。上面咱们用一个具体的例子来阐明 ADB-PG 的向量检索和交融检索如何应用。假如有一个文本知识库，它是将一批文章宰割成 chunk 再转换为 embedding 向量后入库的，其中 chunks 表蕴含以下字段：

那么对应的建表 DDL 如下：

CREATE TABLE chunks(
    id serial primary key,
    chunk varchar(1024),
    intime timestamp,
    url varchar(1024),
    feature real[]);

为了对向量检索进行减速，咱们还须要建设一个向量索引：

CREATE INDEX ON chunks USING ann(feature) WITH (dim=1536);

同时为了对向量结构化交融查问提供减速，咱们还须要为罕用的结构化列建设索引：

CREATE INDEX ON chunks(intime);

在进行数据插入的时候，咱们能够间接应用 SQL 中的 insert 语法：

SELECT id,chunk,intime,url FROM chunks
ORDER BY
    feature <-> array[10,2.0,…,1536.0]
LIMIT 100;

在这个例子中，如果咱们要通过文本搜寻它的起源文章，那么咱们就能够间接通过向量检索进行查找，具体 SQL 如下：

SELECT id,chunk,intime,url FROM chunks
ORDER BY
    feature <-> array[10,2.0,…,1536.0]
LIMIT 100;

同样，如果咱们的需要是查找最近一个月以内的某个文本的起源文章。那么咱们就能够间接通过交融检索进行查找，具体 SQL 如下：

SELECT id, chunk, intime, url FROM chunks WHERE    
    intime > '2023-04-01' AND intime <= '2023-05-01' 
ORDER BY     
    feature <-> array[10,2.0,…, 1536.0] 
LIMIT 100;

在看完下面的例子之后，咱们能够很分明地发现，在 ADB-PG 中应用向量检索和交融检索就跟应用传统数据库一样不便，没有任何的学习门槛。同时，咱们对向量检索也有针对性地做了很多优化，如向量数据压缩、向量索引并行构建、向量多分区并行检索等等，这里不再详述。ADB-PG 同时也具备丰盛的全文检索性能，反对简单组合条件、后果排名等检索能力；另外对于中文数据集，ADB-PG 也反对中文分词性能，可能高效、自定义地对中文文本加工分词；同时 ADB-PG 也反对应用索引减速全文检索剖析性能。这些能力同样也能够在 AIGC 业务场景下失去充沛的应用，如业务能够对知识库文档联合上述向量检索和全文检索能力进行双路召回。常识数据库搜寻局部包含传统的关键词全文检索和向量特色检索，关键词全文检索保障查问的精准性，向量特色检索提供泛化性和语义匹配，除字面匹配之外召回和语义匹配的常识，升高无后果率，为大模型提供更加丰盛的上下文，有利于大语言模型进行总结演绎。

联合本文后面所提到的内容，如果把满腹经纶的 Chatbot 比喻成人，那么大语言模型能够看成是 Chatbot 在大学毕业前从所有书本和各畛域公开材料所取得的常识和学习推理能力。所以基于大语言模型，Chatbot 可能答复截止到其毕业前相干的问题，但如果问题波及到特定业余畛域（相干材料为企业组织专有，非公开）或者是新呈现的物种概念（大学毕业时尚未诞生），仅靠在学校的常识所得（对应预训练的大语言模型）则无奈从容应对，须要具备毕业后继续取得新常识的渠道（如工作相干业余学习资料库），联合自身的学习推理能力，来做出业余应答。同样的 Chatbot 须要联合大语言模型的学习推理能力，和像 ADB-PG 这样蕴含向量检索和全文检索能力的一站式数据库（存储了企业组织专有的以及最新的常识文档和向量特色），在应答问题时具备基于该数据库中的常识内容来提供更业余更具时效性的答复。

作者|阿里云 AnalyticDB

点击立刻收费试用云产品开启云上实际之旅！

原文链接

本文为阿里云原创内容，未经容许不得转载。

关于aigc:AnalyticDBADBLLM构建AIGC时代下企业专属Chatbot

为什么 Chatbot 须要大语言模型 + 向量数据库？

什么是向量数据库？

LLM 大语言模型 +ADB-PG：打造企业专属 Chatbot

案例 - 本地常识问答零碎

实现原理

后端数据处理和存储流程

前端问答流程

Part1 问题提炼

Part2 向量检索

Part3 推理求解

ADB-PG：内置向量检索 + 全文检索的一站式企业常识数据库

总结