乐趣区

关于人工智能:知识图谱嵌入模型-KGE-的总结和比较

jiezi

常识图谱嵌入 (KGE) 是一种利用监督学习来学习嵌入以及节点和边的向量示意的模型。它们将“常识”投射到一个间断的低维空间，这些低维空间向量个别只有几百个维度（用来示意常识存储的内存效率）。向量空间中，每个点代表一个概念，每个点在空间中的地位具备语义意义，相似于词嵌入。

一个好的 KGE 应该具备足够的表现力来捕捉 KG 属性，这些属性解决了示意关系的独特逻辑模式的能力。并且 KG 能够依据要求增加或删除一些特定属性。KGE 算法可分为两类：

  • 翻译间隔模型（translation distance models），如 TransE、TransH、TransR、TransD 等。
  • 语义匹配模型（semantic matching models），如 DistMult。

以下是常见的 KGE 模型在捕捉关系类型方面的比拟，咱们将对这些常见的模型进行比拟

翻译间隔模型

TransE

提出了一种基于翻译的常识图谱嵌入模型，能够捕捉多关系图中的翻译方差不变性景象。常识图谱中的事实是用三元组 (h , l , t) 示意的，transE 算法的思维非常简单，它受 word2vec 平移不变性的启发，心愿 h + l ≈ t h+l≈th+l≈t。

这里的 l1/l2 是范数束缚。

TransE 的伪代码如下：

TransE 屡次在大规模常识图谱方面体现出良好的性能。然而它不能无效地捕捉简单的关系，如一对多和多对多。

TransH

TransH 依据关系为每个实体提供不同的示意向量。TransH 的工作原理是为每个关系公布一个齐全独立的特定于关系的超平面，这样与它关联的实体仅在该关系的上下文中具备不同的语义。TransH 将实体嵌入向量 h 和 t 投影到映射向量 Wᵣ方向的超平面(关系特定)。

其中 Dᵣ示意关系特定的平移向量，h 和 t 的计算方法如下:

TransH 在肯定水平上解决了简单关系问题。它采纳雷同的向量特色空间。

TransR

TransR 的理念与 TransH 十分类似。但它引入了特定于关系的空间，而不是超平面。实体示意为实体空间 Rᵈ中的向量，每个关系都与特定空间 Rᵏ相关联，并建模为该空间中的平移向量。给定一个事实，TransR 首先将实体示意 h 和 t 投影到关系 r 特定的空间中:

这里 Mᵣ是一个从实体空间到 r 的关系空间的投影矩阵，评分函数定义为

它可能对简单的关系建模。然而每个关系须要 O(dk)个参数。没有 TransE/TransH 的简略性和效率。

TransD

TransD 是 TransR 的改良。它采纳映射矩阵，为头部和尾部实体生成两个独立的映射矩阵。它应用两个嵌入向量来示意每个实体和关系。第一个嵌入向量示意实体和关系的语义，第二个嵌入向量生成两个动静投影矩阵，如下图所示。

评分函数如下：

下表是总结所有翻译间隔模型的比照

语义匹配模型

RESCAL

RESCAL 将每个实体与一个向量相关联，捕捉其潜在语义。每个关系都示意为一个矩阵，它模仿了潜在因素之间的成对相互作用。事实 (h,r,t) 的分数由双线性函数定义。

其中 h,t∈Rᵈ是实体的向量示意，Mᵣ∈Rᵈ*ᵈ是与该关系相干的矩阵。这个分数捕捉了 h 和 t 的所有重量之间的成对相互作用，每个关系须要 O(d²)个参数，并进一步假如所有 Mᵣ 在一组通用的 rank-1 指标上合成。

它最大的问题是计算简单且老本高。

TATEC

TATEC 模型不仅有三种互相关系，它还蕴含双向交互，例如实体和关系之间的交互。评分函数为

其中 D 是所有不同关系共享的对角矩阵。

DistMult

通过将 Mᵣ限度为对角矩阵，DistMult 简化了 RESCAL。对于每个关系 r，引入一个向量 r∈rᵈ，并要求 Mᵣ= diag(r), 评分函数如下：

DistMult 长处就是计算简略，成本低。然而因为模型过于简化，只能解决对称关系。对于个别 kg 来说，它不够弱小。

Holographic Embeddings(HolE)

HolE 联合了 RESCAL 的表达能力和 DistMult 的效率和简略性。它将实体和关系从新示意为 Rᵈ中的向量。给定一个事实(h,r,t)，通过应用循环相干操作，首先将实体示意组合成 h *t∈rᵈ：

采纳 * 的次要目标是利用压缩张量积模式的复合示意的升高复杂性。HolE 利用了疾速傅里叶变换，能够通过以下形式进一步减速计算过程:

HolE 每个关系只须要 O(d)个参数，这比 RESCAL 更无效。然而 HolE 不能对不对的称关系建模，但在一些钻研论文中，把它与扩大模式 HolEX 混同了，HolEX 可能解决不对称关系。

Complex Embeddings (ComplEx)

Complex 通过引入复值嵌入来扩大 DistMult，以便更好地建模非对称关系。在 ComplEx 中，实体和关系嵌入 h,r,t 不再位于实空间中，而是位于复空间中，例如 Cᵈ。

这个评分函数不再对称，来自非对称关系的事实能够依据所波及实体的程序取得不同的分数。作为共轭对称施加于嵌入的非凡状况，HolE 能够被蕴含在 ComplEx 中。

ANALOGY

ANALOGY 扩大了 RESCAL，能够进一步对实体和关系的类推属性建模。它采纳了双线性评分函数。

DistMult, HolE 和 ComplEx 都能够作为非凡状况在 ANALOGY 上实现。

以下是语义匹配模型的比照总结：

Deep Scoring Functions

对于深度学习提高，还呈现了基于深度学习的评分函数

ConvE

ConvE 是第一个应用卷积神经网络 (CNN) 来预测常识图谱中缺失环节的模型之一。与齐全连贯的密集层不同，cnn 能够通过应用很少的参数学习来帮忙捕捉简单的非线性关系。ConvE 在多个维度上实现了不同实体之间的本地连接。

concat 为连贯运算符，* 示意卷积，eₛ和 eᵣ别离负责主题单元和关系单元的二维重塑。

ConvE 不能捕捉三元嵌入的全局关系

ConvKB

ConbKB 应用 1D 卷积来保留 TransE 的解释属性，捕捉实体之间的全局关系和工夫属性。该办法将每个三元网络嵌入为三段网络，并将其馈送到卷积层，实现事实的维类之间的全局连贯。

其中 Ω(过滤器集)，e(权重向量)示意共享参数。

HypER

HypER 将每个关系的向量嵌入通过密集层投影后齐全重塑，而后调整每层中的一堆卷积通道权重向量关系，这样能够有更高的表白范畴和更少的参数。

vec 是将一个向量从新塑造为一个矩阵，非线性 f 是 ReLU。

模型的空间复杂度和工夫复杂度的比拟

援用：

  1. Knowledge Graph Embedding: A Survey of Approaches and Applications by Quan Wang, Zhendong Mao, Bin Wang, and Li Guo
  2. A. Bordes, N. Usunier, A. Garcia-Duran, J. Weston, O. Yakhnenko, Translating embeddings for modeling multi-relational data, Advances in neural information processing systems 26 (2013)
  3. Z. Wang, J. Zhang, J. Feng, Z. Chen, Knowledge graph embedding by translating on hyperplanes, in: Proceedings of the AAAI Conference on Artificial Intelligence, volume 28.
  4. Y. Lin, Z. Liu, M. Sun, Y. Liu, X. Zhu, Learning entity and relation embeddings for knowledge graph completion, in: Twenty-ninth AAAI conference on artificial intelligence.
  5. G. Ji, S. He, L. Xu, K. Liu, J. Zhao, Knowledge graph embedding via dynamic mapping matrix, in: Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 687–696.
  6. M. Nickel, V. Tresp, H.-P. Kriegel, A three-way model for collective learning on multi-relational data, in: Icml.
  7. B. Yang, W.-t. Yih, X. He, J. Gao, L. Deng, Embedding entities and relations for learning and inference in knowledge bases, arXiv preprint arXiv:1412.6575 (2014).
  8. M. Nickel, L. Rosasco, T. Poggio, Holographic embeddings of knowledge graphs, in: Proceedings of the AAAI Conference on Artificial Intelligence, volume 30.
  9. Y. Xue, Y. Yuan, Z. Xu, A. Sabharwal, Expanding holographic embeddings for knowledge completion., in:NeurIPS, pp. 4496–4506.
  10. K. Hayashi, M. Shimbo, On the equivalence of holographic and complex embeddings for link prediction, in:Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 554–559.
  11. H. Liu, Y. Wu, Y. Yang, Analogical inference for multi-relational embeddings, in: International conference on machine learning, PMLR, pp. 2168–2178.
  12. T. Dettmers, P. Minervini, P. Stenetorp, S. Riedel, Convolutional 2d knowledge graph embeddings, in: Thirty second AAAI conference on artificial intelligence.
  13. D. Q. Nguyen, T. D. Nguyen, D. Q. Nguyen, D. Phung, A novel embedding model for knowledge base completion based on convolutional neural network, arXiv preprint arXiv:1712.02121 (2017).
  14. I. Balaževi ́c, C. Allen, T. M. Hospedales, Hypernetwork knowledge graph embeddings, in: International Conference on Artificial Neural Networks, Springer, pp. 553–565
  15. S. Sabour, N. Frosst, G. E. Hinton, Dynamic routing between capsules, arXiv preprint arXiv:1710.09829 (2017).
  16. https://avoid.overfit.cn/post/54f8d904441e451eb22caf934ae8b540

作者：Shreyash Pandey

退出移动版