1. Summary
文章次要介绍了 NER 的资源（NER 语料及工具），并从 distributed representation for input，context encoder 和 tag decoder 三个维度介绍了目前现有的工作，并调研了目前最具代表性的深度学习办法。最初提出了目前 NER 零碎面临的挑战以及将来的钻研方向。
2. Introduction
(1) NEs 通常分为两种：generic NEs (e.g., person and location) and domain-specific NEs (e.g., proteins, enzymes, and genes)。
(2) 支流 NER 办法有以下四种：
- Rule-based approaches: which do not need annotated data as they rely on hand-crafted rules.
- Unsupervised learning approaches: which rely on unsupervised algorithms without hand-labeled training examples.
- Feature-based supervised learning approaches: which rely on supervised learning algorithms with careful feature engineering.
- Deep-learning based approaches: which automatically discover representations needed for the classification and/or detection from raw input in an end-to-end manner.
3. Motivation
近年来深度学习办法在多个畛域获得微小的胜利，在 NER 零碎上利用深度学习办法也胜利在多个 NER 工作上达成 SOTA。作者冀望通过比拟不同的深度学习架构，以获知哪些因素影响了 NER 的性能。
4. Content
本文可视作 NER 零碎的百科全书，十分详尽地介绍了 NER 的概念，传统办法以及深度学习办法。
- Input Representation 通常包含 word-level、character-level、hybrid 等表征形式，最近较新的有 sub-word 级别的表征，可视作 word 和 character 级别间的折中。
- Context Encoder 包含了 CNN、RNN、Transformer 等网络结构，现在应用预训练 embedding 的 Transformer 正成为 NER 一种新的范式。
- Tag Decoder 罕用的有 MLP+Softmax、CRF、RNN 和 Pointer network。
- 基于 DL 的 NER 性能在很大水平上取决于 Input Representation，引入额定常识能够晋升模型性能，然而是否应该引入额定常识在学界并没有达成统一。引入额定常识会影响端到端的学习和模型的通用性。此外，基于 Transformer 的 NER 零碎在不应用预训练 embedding 和训练数据量较小时体现欠佳。
- 同时，文章还简要介绍了应用多任务学习、迁徙学习、被动学习 (active learning)、强化学习和反抗学习（adversarial learning）等办法来实现 NER 零碎。
-
- *
目前在 CoNLL03 数据集上，Cloze-driven pretraining of self-attention networks 达到 SOTA（F-score93.5%）；在 OntoNotes5.0 数据上 BERT+Dice loss 达到 SOTA（F-score92.07%）。一些模型在 NER 数据上的性能体现如下：
5. Challenges and Future Directions
- 挑战次要包含因语言歧义性（language ambiguity）带来标注语料品质与一致性的降落，以及辨认非正式文体（如 tweeter 和微博短评）以及语料中没见过的实体。
- 本文提到可能的将来方向有：细粒度 NER 和边界检测、NER 与实体联结链接、利用附加资源解决非正式文体的实体辨认、基于深度学习办法的 NER 可拓展性（参数量太大）、应用迁徙学习的 NER、易于应用的 NER 工具包。