笔记整顿：孙硕硕，东南大学硕士，钻研方向为自然语言解决
链接：https://arxiv.org/abs/2307.07697
Part.1 动机
本文的动机是大型语言模型在各种工作中获得了较大的提高，但它们往往难以完成简单的推理，并且在常识可追溯性、及时性和准确性等至关重要的状况下体现出较差的性能。
为了解决这些限度，作者提出了 Think-on-Graph (ToG)，这是一个新鲜的框架，它利用常识图谱来加强 LLM 的深度和负责任的推理能力。通过应用 ToG，能够辨认与给定问题相干的实体，并进行摸索和推理以从内部常识数据库中检索相干三元组。
这个迭代过程生成多个推理门路，由程序连贯的三元组组成，直到收集到足够的信息以答复问题或达到最大深度。通过对简单的多跳推理问答工作的试验，作者证实了 ToG 优于现有办法，无效地解决了 LLM 的上述限度，而不会带来额定的训练老本。
Part.2 奉献
本文的次要奉献包含：
1）提出了一种新的框架 ToG，该框架集成了思维推理和常识图谱链来答复常识密集型问题。
2）ToG 框架从类人迭代信息检索中吸取灵感，生成多个高概率推理门路。
3）试验结果表明，ToG 在不减少训练老本的状况下显著加强了现有的提醒办法，缓解了 LLM 中的幻觉问题，展现了将 LLM 与常识图谱集成用于推理工作的后劲。
Part.3 办法
本文引入了 ToG，这是一种用于图搜寻的新范式，它提醒 LLM 依据给定的查问中的实体摸索多种可能的推理门路。ToG 一直保护问题 x 的 topN 推理门路 p，每条门路由几个三元组 Ti 组成。ToG 搜寻的整个过程能够分为以下三个步骤：实体获取、摸索和推理。 依据两头步骤的组合，本文提出了两种办法：基于实体的 ToG 和基于关系的 ToG。
基于实体的 ToG
ToG 首先提醒 LLM 提取问题中的实体并取得每个实体对问题的奉献分数。这与之前将问题合成为子问题的办法不同，ToG 更强调实体。在 ToG 框架中，摸索阶段至关重要，因为它旨在辨认最相干的 top-N 三元组作为给定问题的推理门路中的两头步骤，基于广度优先搜寻。 这一阶段包含两个不同的阶段：关系摸索和实体摸索。 作者采纳两个步骤来生成以后搜寻迭代、搜寻和修剪的关系候选集，LLM 主动实现这个过程。关系摸索阶段首先搜寻与以后实体集中每个实体相关联的所有关系。搜寻过程能够通过执行两个简略的预约义模式查问轻松实现，这使得 ToG 在没有任何训练老本的状况下很好地适应不同的 KB。一旦取得了候选集和关系搜寻，就会对查问奉献较低的边进行剪枝，只保留前 N 个边作为以后摸索迭代的终止。能够利用 LLM 依据给定的问题基于以后实体剪枝，失去与以后关系集，即最相干的 top- N 关系及其对应的分数。与关系摸索相似，实体摸索依然应用 LLM 主动执行的两个步骤，即搜寻和修剪。在执行上述两种摸索后，能够构建一个综合推理门路，其中每个两头步骤对应于一个程序相干的三元组。在通过摸索过程取得以后推理门路 P 后，提醒 LLM 评估以后推理门路是否足以推断答案。如果评估产生踊跃的后果，对得分进行归一化并提醒 LLM 应用以问题为输出的推理门路生成答案。相同，如果评估产生负面后果，反复摸索和推理步骤，直到评估为正或达到最大搜寻深度。
基于关系的 ToG
以往的知识库问答办法，特地是那些利用语义解析的办法，次要依赖于基于关系的信息来生成正式查问。实体的文字信息并不总是残缺的，尤其是在对短少实体“名称”一部分的不残缺常识图谱执行查问时，这可能会误导推理。因而，本文提出了基于关系的 ToG，它打消了摸索过程中搜寻两头实体的须要。它利用 LLM 的推理能力为推理过程中的每个链应用不同的候选集来生成答案。这种办法提供了两个要害益处：1）它打消了对摸索实体耗时的过程的需要，从而升高了整体办法老本并显著进步了推理速度。2) 特地是在不残缺的 KB 数据集下，这种办法次要关注关系的语义信息，导致更高的准确性。值得注意的是，这两种办法都遵循相似的管道，但在两头步骤中扩大推理链方面有所不同。与基于实体的 ToG 相比，基于关系的 ToG 只波及关系的摸索和推理，其中推理阶段放弃不变。两种办法之间最显著的区别是以下两种办法：实体汇合中采样的样本是独立同散布的，通过计算几个样本的平均值，能够推导出实体集内关系的平均值。因为两头步骤不波及任何实体，须要依据关系、历史门路和实体汇合取得候选集，其中实体集是固定的。因而，候选实体集作为推理门路中的终端节点。具体算法步骤如表 1 所示。
Part.4 试验
本文在常识密集型工作上评估提出的办法，问题须要特定的常识来答复，LLM 在这种工作上常常会遇到幻觉问题。Complex Web Questions (CWQ) 是一个用于答复须要对多个三元组进行推理的简单问题的数据集，它蕴含大量自然语言中的简单问题。本文前人工作雷同，应用齐全匹配精度作为评估指标。对于 CWQ 数据集，作者随机抉择 1,000 个样本作为测试集。而后排除了无奈胜利执行 SPARQL 查问和链接到不足“名称”关系答案的实体的样本。最终试验保留了 995 个样本。次要知识库起源是 Freebase。本文将摸索、推理和答案生成的温度设置为 0，以实现可重复性，并将生成的最大 token 长度设置为 256。本文应用了 ChatGPT API 执行上述过程。对于基线模型，作者应用规范提醒 (IO 提醒) 和思维链提醒 (CoT)，其中蕴含 6 个上下文示例和“逐渐”推理链。ToG 在 CWQ 数据集上的性能如表 2 所示。很显著，在仅保留三个推理门路的试验条件下，每条门路的最大长度为 3，ToG(E) 在 CWQ 上的体现优于 CoT 14.86%，ToG(R) 为 17.47%。
Part.5 总结
在这项工作中，作者提出了一种新的框架 ToG，该框架集成了思维推理和常识图谱链来答复常识密集型问题。ToG 框架从类人迭代信息检索中吸取灵感，生成多个高概率推理门路。试验结果表明，ToG 在不减少训练老本的状况下显著加强了现有的提醒办法，缓解了 LLM 中的幻觉问题，展现了将 LLM 与常识图谱集成用于推理工作的后劲。
继续分享 SPG 及 SPG + LLM 双驱架构相干干货及停顿
官网：https://spg.openkg.cn/
Github：https://github.com/OpenSPG/openspg