关于人工智能:知识图谱嵌入模型-KGE-的总结和比较

1次阅读

共计 4772 个字符，预计需要花费 12 分钟才能阅读完成。

常识图谱嵌入 (KGE) 是一种利用监督学习来学习嵌入以及节点和边的向量示意的模型。它们将“常识”投射到一个间断的低维空间，这些低维空间向量个别只有几百个维度（用来示意常识存储的内存效率）。向量空间中，每个点代表一个概念，每个点在空间中的地位具备语义意义，相似于词嵌入。

一个好的 KGE 应该具备足够的表现力来捕捉 KG 属性，这些属性解决了示意关系的独特逻辑模式的能力。并且 KG 能够依据要求增加或删除一些特定属性。KGE 算法可分为两类：

翻译间隔模型（translation distance models），如 TransE、TransH、TransR、TransD 等。
语义匹配模型（semantic matching models），如 DistMult。

以下是常见的 KGE 模型在捕捉关系类型方面的比拟，咱们将对这些常见的模型进行比拟

TransE

提出了一种基于翻译的常识图谱嵌入模型，能够捕捉多关系图中的翻译方差不变性景象。常识图谱中的事实是用三元组 (h , l , t) 示意的，transE 算法的思维非常简单，它受 word2vec 平移不变性的启发，心愿 h + l ≈ t h+l≈th+l≈t。

这里的 l1/l2 是范数束缚。

TransE 的伪代码如下：

TransE 屡次在大规模常识图谱方面体现出良好的性能。然而它不能无效地捕捉简单的关系，如一对多和多对多。

TransH

TransH 依据关系为每个实体提供不同的示意向量。TransH 的工作原理是为每个关系公布一个齐全独立的特定于关系的超平面，这样与它关联的实体仅在该关系的上下文中具备不同的语义。TransH 将实体嵌入向量 h 和 t 投影到映射向量 Wᵣ方向的超平面(关系特定)。

其中 Dᵣ示意关系特定的平移向量，h 和 t 的计算方法如下:

TransH 在肯定水平上解决了简单关系问题。它采纳雷同的向量特色空间。

TransR

TransR 的理念与 TransH 十分类似。但它引入了特定于关系的空间，而不是超平面。实体示意为实体空间 Rᵈ中的向量，每个关系都与特定空间 Rᵏ相关联，并建模为该空间中的平移向量。给定一个事实，TransR 首先将实体示意 h 和 t 投影到关系 r 特定的空间中:

这里 Mᵣ是一个从实体空间到 r 的关系空间的投影矩阵，评分函数定义为

它可能对简单的关系建模。然而每个关系须要 O(dk)个参数。没有 TransE/TransH 的简略性和效率。

TransD

TransD 是 TransR 的改良。它采纳映射矩阵，为头部和尾部实体生成两个独立的映射矩阵。它应用两个嵌入向量来示意每个实体和关系。第一个嵌入向量示意实体和关系的语义，第二个嵌入向量生成两个动静投影矩阵，如下图所示。

评分函数如下：

下表是总结所有翻译间隔模型的比照

RESCAL

RESCAL 将每个实体与一个向量相关联，捕捉其潜在语义。每个关系都示意为一个矩阵，它模仿了潜在因素之间的成对相互作用。事实 (h,r,t) 的分数由双线性函数定义。

其中 h,t∈Rᵈ是实体的向量示意，Mᵣ∈Rᵈ*ᵈ是与该关系相干的矩阵。这个分数捕捉了 h 和 t 的所有重量之间的成对相互作用，每个关系须要 O(d²)个参数，并进一步假如所有 Mᵣ 在一组通用的 rank-1 指标上合成。

它最大的问题是计算简单且老本高。

TATEC

TATEC 模型不仅有三种互相关系，它还蕴含双向交互，例如实体和关系之间的交互。评分函数为

其中 D 是所有不同关系共享的对角矩阵。

DistMult

通过将 Mᵣ限度为对角矩阵，DistMult 简化了 RESCAL。对于每个关系 r，引入一个向量 r∈rᵈ，并要求 Mᵣ= diag(r), 评分函数如下：

DistMult 长处就是计算简略，成本低。然而因为模型过于简化，只能解决对称关系。对于个别 kg 来说，它不够弱小。

Holographic Embeddings(HolE)

HolE 联合了 RESCAL 的表达能力和 DistMult 的效率和简略性。它将实体和关系从新示意为 Rᵈ中的向量。给定一个事实(h,r,t)，通过应用循环相干操作，首先将实体示意组合成 h *t∈rᵈ：

采纳 * 的次要目标是利用压缩张量积模式的复合示意的升高复杂性。HolE 利用了疾速傅里叶变换，能够通过以下形式进一步减速计算过程:

HolE 每个关系只须要 O(d)个参数，这比 RESCAL 更无效。然而 HolE 不能对不对的称关系建模，但在一些钻研论文中，把它与扩大模式 HolEX 混同了，HolEX 可能解决不对称关系。

Complex Embeddings (ComplEx)

Complex 通过引入复值嵌入来扩大 DistMult，以便更好地建模非对称关系。在 ComplEx 中，实体和关系嵌入 h,r,t 不再位于实空间中，而是位于复空间中，例如 Cᵈ。

这个评分函数不再对称，来自非对称关系的事实能够依据所波及实体的程序取得不同的分数。作为共轭对称施加于嵌入的非凡状况，HolE 能够被蕴含在 ComplEx 中。

ANALOGY

ANALOGY 扩大了 RESCAL，能够进一步对实体和关系的类推属性建模。它采纳了双线性评分函数。

DistMult, HolE 和 ComplEx 都能够作为非凡状况在 ANALOGY 上实现。

以下是语义匹配模型的比照总结：

对于深度学习提高，还呈现了基于深度学习的评分函数

ConvE

ConvE 是第一个应用卷积神经网络 (CNN) 来预测常识图谱中缺失环节的模型之一。与齐全连贯的密集层不同，cnn 能够通过应用很少的参数学习来帮忙捕捉简单的非线性关系。ConvE 在多个维度上实现了不同实体之间的本地连接。

concat 为连贯运算符，* 示意卷积，eₛ和 eᵣ别离负责主题单元和关系单元的二维重塑。

ConvE 不能捕捉三元嵌入的全局关系

ConvKB

ConbKB 应用 1D 卷积来保留 TransE 的解释属性，捕捉实体之间的全局关系和工夫属性。该办法将每个三元网络嵌入为三段网络，并将其馈送到卷积层，实现事实的维类之间的全局连贯。

其中 Ω(过滤器集)，e(权重向量)示意共享参数。

HypER

HypER 将每个关系的向量嵌入通过密集层投影后齐全重塑，而后调整每层中的一堆卷积通道权重向量关系，这样能够有更高的表白范畴和更少的参数。

vec 是将一个向量从新塑造为一个矩阵，非线性 f 是 ReLU。

援用：

Knowledge Graph Embedding: A Survey of Approaches and Applications by Quan Wang, Zhendong Mao, Bin Wang, and Li Guo
A. Bordes, N. Usunier, A. Garcia-Duran, J. Weston, O. Yakhnenko, Translating embeddings for modeling multi-relational data, Advances in neural information processing systems 26 (2013)
Z. Wang, J. Zhang, J. Feng, Z. Chen, Knowledge graph embedding by translating on hyperplanes, in: Proceedings of the AAAI Conference on Artificial Intelligence, volume 28.
Y. Lin, Z. Liu, M. Sun, Y. Liu, X. Zhu, Learning entity and relation embeddings for knowledge graph completion, in: Twenty-ninth AAAI conference on artificial intelligence.
G. Ji, S. He, L. Xu, K. Liu, J. Zhao, Knowledge graph embedding via dynamic mapping matrix, in: Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 687–696.
M. Nickel, V. Tresp, H.-P. Kriegel, A three-way model for collective learning on multi-relational data, in: Icml.
B. Yang, W.-t. Yih, X. He, J. Gao, L. Deng, Embedding entities and relations for learning and inference in knowledge bases, arXiv preprint arXiv:1412.6575 (2014).
M. Nickel, L. Rosasco, T. Poggio, Holographic embeddings of knowledge graphs, in: Proceedings of the AAAI Conference on Artificial Intelligence, volume 30.
Y. Xue, Y. Yuan, Z. Xu, A. Sabharwal, Expanding holographic embeddings for knowledge completion., in:NeurIPS, pp. 4496–4506.
K. Hayashi, M. Shimbo, On the equivalence of holographic and complex embeddings for link prediction, in:Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 554–559.
H. Liu, Y. Wu, Y. Yang, Analogical inference for multi-relational embeddings, in: International conference on machine learning, PMLR, pp. 2168–2178.
T. Dettmers, P. Minervini, P. Stenetorp, S. Riedel, Convolutional 2d knowledge graph embeddings, in: Thirty second AAAI conference on artificial intelligence.
D. Q. Nguyen, T. D. Nguyen, D. Q. Nguyen, D. Phung, A novel embedding model for knowledge base completion based on convolutional neural network, arXiv preprint arXiv:1712.02121 (2017).
I. Balaževi ́c, C. Allen, T. M. Hospedales, Hypernetwork knowledge graph embeddings, in: International Conference on Artificial Neural Networks, Springer, pp. 553–565
S. Sabour, N. Frosst, G. E. Hinton, Dynamic routing between capsules, arXiv preprint arXiv:1710.09829 (2017).
https://avoid.overfit.cn/post/54f8d904441e451eb22caf934ae8b540