关于nebula:关于-LLM-和图数据库知识图谱的那些事
本文整顿自 NebulaGraph 布道师 wey 在「夜谈 LLM」主题分享上的演讲，次要包含以下内容： 背景 LLMRAGGraph常识抽取Text2CypherGraph RAG将来布局技术背景LLM 是什么这里简略、疾速地介绍下大语言模型：从 GPT-2 开始，到起初风行的 GPT-3，人们逐步意识到语言模型达到肯定规模，借助局部技术手段之后，程序如同能够变得和人一样，去了解人类简单的思维表白。与此同时，一场技术改革也悄悄产生了，已经咱们须要用简单代码、深度学习才可能去形容的某些场景，或是实现的自动化、智能化的零碎能力，当初借助 LLM（Large Language Model）大语言模型就能不便地实现。不只如此，一些大的生成模型能够做更多多模态的事件，去实现一些更有创造性的需要。 如上所示，目前咱们利用大语言模型，将其当作通用智能感知层（接入层），再对接各类传统服务 Service 或者是生成模型服务 AIGC 的利用架构大略是这样。 而当中比拟典型的模式可能就是 RAG。 RAG 是什么RAG，全称 Retrieval Augmented Generation，检索加强生成模型，善于解决常识密集型工作。 对应到下面的利用架构图，在 LLM 层，大语言模型会的常识不足以实现工作，此时咱们须要借助其余的工具，来取得额定常识，可能在之前是低廉的专家资源或者是 Fine-Tuning 微调模型。然而当初 RAG 它能解决这个问题，它能够辅助 LLM 取得额定的常识、数据，亦或是文档。RAG 在用户提交相干工作时，会将发问的问题进行解析，搭配已有的额定知识库，找寻到同它相干的那些常识。 上图下方就是 RAG 罕用的办法，通过 Embedding 和向量数据库达到检索加强的成果。具体来说，RAG 就是将一个语义压缩到一个多维的空间里的向量。尽管在这个过程中，信息是有损失，但如果算法足够正当、压缩的空间足够大的话，也能帮忙咱们在比拟疾速的状况下找到相干信息。 举个例子，之前咱们罕用的以图搜图，在淘宝上传一个商品图片，它会找类似的商品，这背地其实就是淘宝把图片的特征向量化，（并非事实）可能是一万维的向量。而你上传的新照片，用同样的压缩 Embedding 的形式生成一个新向量。再在已有的历史商品图片的向量库里搜寻间隔相近的，兴许是 Top100 的向量，将它对应的图片返回给你，也就是你上传商品的类似商品。 这种形式能够延长一下，用来做语义搜寻。通常来说，咱们能够将一本书或者是几百页的文档，拆分成一片片，每个分片的含意做一个 Embedding。同以图搜图相似，咱们在进行发问时，将这个语义的 Embedding 同已有的 Embedding 向量空间做匹配搜寻，找到同这个发问相近的常识片，而后再把这些常识片作为上下文，和工作一起提交给大语言模型。像是 ChatGPT-4、ChatGLM、LLMam 2 之类的感知智能层，当它有了须要的上下文时，就能够很好地去答复咱们问题或者是实现咱们的工作。 这是最简略的、利用额定的常识做问答的 LLM 工作的形式，在《图技术在 LLM 下的利用：常识图谱驱动的大语言模型 Llama Index》这篇文章中也有具体的介绍。 文中讲述了一些常识图谱驱动 LLM 的背景，然而这里能够略微简略地说下。像是上图下方的选举，它其实会毁坏到局部构造，比如说 TopN 要选多少才可能实现咱们的工作，此外咱们的常识分片也扩散在各处。不过既然是常识，其实用常识图谱是一个十分不便的形式，这也是图数据库 NebulaGraph 典型的利用场景。 ...