摘要：在信息结构化提取畛域，前人个别须要基于人工标注的模板来实现信息结构化提取。论文提出一种zero-shot的基于图卷积网络的解决方案，能够解决训练集和测试集来自不同垂直畛域的问题。

本文分享自华为云社区《论文解读系列十六：Zero-Shot场景下的信息结构化提取》，作者：一笑倾城。

摘要

在信息结构化提取畛域，前人个别须要基于人工标注的模板来实现信息结构化提取。论文提出一种zero-shot的基于图卷积网络的解决方案，能够解决训练集和测试集来自不同垂直畛域的问题。

Figure 1. 训练和推理数据起源的垂直畛域不一样。

问题定义

Figure 2. OpenIE和ClosedIE的直观了解。

Relatin Extraction

  • Close Relation Extraction (ClasedIE)
    RR示意类别汇合，蕴含无类别，模型间接为每个实体调配类别即可。
  • Open Relation Extraction(OpenIE)
    RR示意类别汇合，模型作两类分类，判断一个实体是否是另一个实体的key。

Zero-Shot Extraction

Zero-Shot按难度分能够辨别如下：

  • Unseen-Website Zero-shot Extraction
    即同一垂直畛域的不同版式，比方，都是来自电影的网页。只是推理测试的时候应用的网页排版与训练不一样。
  • Unseen-Websiste Zero-shot Extraction
    即不同垂直畛域的不同版式，比方，训练是来自电影的网页，而推理测试的时候应用的可能是招聘类网站的网页。

论文提出的解决方案其实是发掘出图网络中全副的key-value对，因为挖掘key-value这个工作自身是版式不依赖的，从而起到了跨畛域的版式构造解析。

概念

  • relation: 指key
  • object：指value
  • relationship: 指key -> value

编码器（特色构建）

节点信息的构建由图GG来实现，包含一系列的节点NN（实体），和节点之间的边E（Edges）。

基于设计的规定来构建实体之间的关系

以下状况下，会构建节点之间的边(key-value对常常是高低关系或左右关系)：

  • 程度状况：程度街坊，而且两头没有其它节点；
  • 垂直状况：垂直街坊，而且两头没有其它节点；
  • 同级状况：同级节点；

应用图网络来实体之间的关系进进建模

基于Graph Attention Network (GAT)来对节点关系进行建模，节点初始（输出）特色：

  • 视觉特色：网页中对节点的视觉类形容；
  • 文本特色：OpenIE是对预训练Bert进行特色均匀，CloseIE则是统计该节点字符串呈现的频率（仿佛对跨畛域更敌对）；

预训练机制

论文设计了辅助的损失函数L_{pre}Lpre进行三类分类的监督：{key, value, other}。同时为了避免训练过程过拟合，预训练实现后，OpenIE工作中的图网络权重不会更新。

关系预测网络

OpenIE

判断一对节点是否满足第一个节点字符串内容是第二个节点字符串内容的key：

  • 应用the candidate pair identification algorithm来获取潜在的字符串对；
  • 两个节点的原始输出特色+GNN输入特色+两个节点的关系特色作为分类器输出；
  • 全连贯网络进行分类；

ClosedIE

穿插熵多类分类

试验

  • 的确是跨畛域工作更加艰难。
  • CloseIE：的确是网址越多，成果越好。
  • 确认各个因素对网络模型成果的影响。

点击关注，第一工夫理解华为云陈腐技术~