常识图谱嵌入(KGE)是一种利用监督学习来学习嵌入以及节点和边的向量示意的模型。它们将“常识”投射到一个间断的低维空间，这些低维空间向量个别只有几百个维度（用来示意常识存储的内存效率）。向量空间中，每个点代表一个概念，每个点在空间中的地位具备语义意义，相似于词嵌入。

一个好的KGE 应该具备足够的表现力来捕捉 KG 属性，这些属性解决了示意关系的独特逻辑模式的能力。并且KG 能够依据要求增加或删除一些特定属性。KGE算法可分为两类：

  • 翻译间隔模型（translation distance models），如TransE、TransH、TransR、TransD等。
  • 语义匹配模型（semantic matching models），如DistMult。

以下是常见的KGE 模型在捕捉关系类型方面的比拟，咱们将对这些常见的模型进行比拟

翻译间隔模型

TransE

提出了一种基于翻译的常识图谱嵌入模型，能够捕捉多关系图中的翻译方差不变性景象。常识图谱中的事实是用三元组 ( h , l , t ) 示意的，transE算法的思维非常简单，它受word2vec平移不变性的启发，心愿h + l ≈ t h+l≈th+l≈t。

这里的l1/l2是范数束缚。

TransE的伪代码如下：

TransE屡次在大规模常识图谱方面体现出良好的性能。然而它不能无效地捕捉简单的关系，如一对多和多对多。

TransH

TransH依据关系为每个实体提供不同的示意向量。TransH的工作原理是为每个关系公布一个齐全独立的特定于关系的超平面，这样与它关联的实体仅在该关系的上下文中具备不同的语义。TransH将实体嵌入向量h和t投影到映射向量W方向的超平面(关系特定)。

其中D示意关系特定的平移向量，h和t的计算方法如下:

TransH 在肯定水平上解决了简单关系问题。它采纳雷同的向量特色空间。

TransR

TransR的理念与TransH十分类似。但它引入了特定于关系的空间，而不是超平面。实体示意为实体空间R中的向量，每个关系都与特定空间R相关联，并建模为该空间中的平移向量。给定一个事实，TransR首先将实体示意h和t投影到关系r特定的空间中:

这里M是一个从实体空间到r的关系空间的投影矩阵，评分函数定义为

它可能对简单的关系建模。然而每个关系须要O(dk)个参数。没有TransE/TransH的简略性和效率。

TransD

TransD是TransR的改良。它采纳映射矩阵，为头部和尾部实体生成两个独立的映射矩阵。它应用两个嵌入向量来示意每个实体和关系。第一个嵌入向量示意实体和关系的语义，第二个嵌入向量生成两个动静投影矩阵，如下图所示。

评分函数如下：

下表是总结所有翻译间隔模型的比照

语义匹配模型

RESCAL

RESCAL将每个实体与一个向量相关联，捕捉其潜在语义。每个关系都示意为一个矩阵，它模仿了潜在因素之间的成对相互作用。事实(h,r,t)的分数由双线性函数定义。

其中h,t∈R是实体的向量示意，M∈R*是与该关系相干的矩阵。这个分数捕捉了h和t的所有重量之间的成对相互作用，每个关系须要O(d²)个参数，并进一步假如所有 M 在一组通用的 rank-1 指标上合成。

它最大的问题是计算简单且老本高。

TATEC

TATEC模型不仅有三种互相关系，它还蕴含双向交互，例如实体和关系之间的交互。评分函数为

其中D是所有不同关系共享的对角矩阵。

DistMult

通过将M限度为对角矩阵，DistMult简化了RESCAL。对于每个关系r，引入一个向量r∈r，并要求M= diag(r),评分函数如下：

DistMult长处就是计算简略，成本低。然而因为模型过于简化，只能解决对称关系。对于个别kg来说，它不够弱小。

Holographic Embeddings(HolE)

HolE联合了RESCAL的表达能力和DistMult的效率和简略性。它将实体和关系从新示意为R中的向量。给定一个事实(h,r,t)，通过应用循环相干操作，首先将实体示意组合成h*t∈r：

采纳*的次要目标是利用压缩张量积模式的复合示意的升高复杂性。HolE利用了疾速傅里叶变换，能够通过以下形式进一步减速计算过程:

HolE每个关系只须要O(d)个参数，这比RESCAL更无效。然而HolE不能对不对的称关系建模，但在一些钻研论文中，把它与扩大模式HolEX混同了，HolEX可能解决不对称关系。

Complex Embeddings (ComplEx)

Complex通过引入复值嵌入来扩大DistMult，以便更好地建模非对称关系。在ComplEx中，实体和关系嵌入h,r,t不再位于实空间中，而是位于复空间中，例如C。

这个评分函数不再对称，来自非对称关系的事实能够依据所波及实体的程序取得不同的分数。作为共轭对称施加于嵌入的非凡状况，HolE能够被蕴含在ComplEx中。

ANALOGY

ANALOGY 扩大了RESCAL，能够进一步对实体和关系的类推属性建模。它采纳了双线性评分函数。

DistMult, HolE和ComplEx都能够作为非凡状况在ANALOGY上实现。

以下是语义匹配模型的比照总结：

Deep Scoring Functions

对于深度学习提高，还呈现了基于深度学习的评分函数

ConvE

ConvE是第一个应用卷积神经网络(CNN)来预测常识图谱中缺失环节的模型之一。与齐全连贯的密集层不同，cnn能够通过应用很少的参数学习来帮忙捕捉简单的非线性关系。ConvE在多个维度上实现了不同实体之间的本地连接。

concat为连贯运算符，*示意卷积，e和e别离负责主题单元和关系单元的二维重塑。

ConvE不能捕捉三元嵌入的全局关系

ConvKB

ConbKB应用1D卷积来保留TransE的解释属性，捕捉实体之间的全局关系和工夫属性。该办法将每个三元网络嵌入为三段网络，并将其馈送到卷积层，实现事实的维类之间的全局连贯。

其中(过滤器集)，e(权重向量)示意共享参数。

HypER

HypER将每个关系的向量嵌入通过密集层投影后齐全重塑，而后调整每层中的一堆卷积通道权重向量关系，这样能够有更高的表白范畴和更少的参数。

vec是将一个向量从新塑造为一个矩阵，非线性f是ReLU。

模型的空间复杂度和工夫复杂度的比拟

援用：

  1. Knowledge Graph Embedding: A Survey of Approaches and Applications by Quan Wang, Zhendong Mao, Bin Wang, and Li Guo
  2. A. Bordes, N. Usunier, A. Garcia-Duran, J. Weston, O. Yakhnenko, Translating embeddings for modeling multi-relational data, Advances in neural information processing systems 26 (2013)
  3. Z. Wang, J. Zhang, J. Feng, Z. Chen, Knowledge graph embedding by translating on hyperplanes, in: Proceedings of the AAAI Conference on Artificial Intelligence, volume 28.
  4. Y. Lin, Z. Liu, M. Sun, Y. Liu, X. Zhu, Learning entity and relation embeddings for knowledge graph completion, in: Twenty-ninth AAAI conference on artificial intelligence.
  5. G. Ji, S. He, L. Xu, K. Liu, J. Zhao, Knowledge graph embedding via dynamic mapping matrix, in: Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 687–696.
  6. M. Nickel, V. Tresp, H.-P. Kriegel, A three-way model for collective learning on multi-relational data, in: Icml.
  7. B. Yang, W.-t. Yih, X. He, J. Gao, L. Deng, Embedding entities and relations for learning and inference in knowledge bases, arXiv preprint arXiv:1412.6575 (2014).
  8. M. Nickel, L. Rosasco, T. Poggio, Holographic embeddings of knowledge graphs, in: Proceedings of the AAAI Conference on Artificial Intelligence, volume 30.
  9. Y. Xue, Y. Yuan, Z. Xu, A. Sabharwal, Expanding holographic embeddings for knowledge completion., in:NeurIPS, pp. 4496–4506.
  10. K. Hayashi, M. Shimbo, On the equivalence of holographic and complex embeddings for link prediction, in:Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 554–559.
  11. H. Liu, Y. Wu, Y. Yang, Analogical inference for multi-relational embeddings, in: International conference on machine learning, PMLR, pp. 2168–2178.
  12. T. Dettmers, P. Minervini, P. Stenetorp, S. Riedel, Convolutional 2d knowledge graph embeddings, in: Thirty second AAAI conference on artificial intelligence.
  13. D. Q. Nguyen, T. D. Nguyen, D. Q. Nguyen, D. Phung, A novel embedding model for knowledge base completion based on convolutional neural network, arXiv preprint arXiv:1712.02121 (2017).
  14. I. Balaževi c, C. Allen, T. M. Hospedales, Hypernetwork knowledge graph embeddings, in: International Conference on Artificial Neural Networks, Springer, pp. 553–565
  15. S. Sabour, N. Frosst, G. E. Hinton, Dynamic routing between capsules, arXiv preprint arXiv:1710.09829 (2017).
  16. https://avoid.overfit.cn/post/54f8d904441e451eb22caf934ae8b540

作者：Shreyash Pandey