1. Summary

文章次要介绍了NER的资源（NER语料及工具），并从distributed representation for input，context encoder和tag decoder三个维度介绍了目前现有的工作，并调研了目前最具代表性的深度学习办法。最初提出了目前NER零碎面临的挑战以及将来的钻研方向。

2. Introduction

(1) NEs通常分为两种：generic NEs (e.g., person and location) and domain-specific NEs (e.g., proteins, enzymes, and genes)。
(2) 支流NER办法有以下四种：

  • Rule-based approaches: which do not need annotated data as they rely on hand-crafted rules.
  • Unsupervised learning approaches: which rely on unsupervised algorithms without hand-labeled training examples.
  • Feature-based supervised learning approaches: which rely on supervised learning algorithms with careful feature engineering.
  • Deep-learning based approaches: which automatically discover representations needed for the classification and/or detection from raw input in an end-to-end manner.

3. Motivation

近年来深度学习办法在多个畛域获得微小的胜利，在NER零碎上利用深度学习办法也胜利在多个NER工作上达成SOTA。作者冀望通过比拟不同的深度学习架构，以获知哪些因素影响了NER的性能。

4. Content

本文可视作NER零碎的百科全书，十分详尽地介绍了NER的概念，传统办法以及深度学习办法。

  • Input Representation通常包含word-level、character-level、hybrid等表征形式，最近较新的有sub-word级别的表征，可视作word和character级别间的折中。
  • Context Encoder包含了CNN、RNN、Transformer等网络结构，现在应用预训练embedding的Transformer正成为NER一种新的范式。
  • Tag Decoder罕用的有MLP+Softmax、CRF、RNN和Pointer network。
  • 基于DL的NER性能在很大水平上取决于Input Representation，引入额定常识能够晋升模型性能，然而是否应该引入额定常识在学界并没有达成统一。引入额定常识会影响端到端的学习和模型的通用性。此外，基于Transformer的NER零碎在不应用预训练embedding和训练数据量较小时体现欠佳。
  • 同时，文章还简要介绍了应用多任务学习、迁徙学习、被动学习(active learning)、强化学习和反抗学习（adversarial learning）等办法来实现NER零碎。
    • *

目前在CoNLL03数据集上，Cloze-driven pretraining of self-attention networks达到SOTA（F-score93.5%）；在OntoNotes5.0数据上BERT+Dice loss达到SOTA（F-score92.07%）。一些模型在NER数据上的性能体现如下：

5. Challenges and Future Directions

  • 挑战次要包含因语言歧义性（language ambiguity）带来标注语料品质与一致性的降落，以及辨认非正式文体（如tweeter和微博短评）以及语料中没见过的实体。
  • 本文提到可能的将来方向有：细粒度NER和边界检测、NER与实体联结链接、利用附加资源解决非正式文体的实体辨认、基于深度学习办法的NER可拓展性（参数量太大）、应用迁徙学习的NER、易于应用的NER工具包。