1. 背景

命名实体辨认（Named Entity Recognition，简称NER），又称作“专名辨认”，是指辨认文本中具备特定意义的实体，次要包含人名、地名、机构名、专有名词等。NER是信息提取、问答零碎、句法分析、机器翻译、面向Semantic Web的元数据标注等应用领域的重要根底工具，在自然语言解决技术走向实用化的过程中占有重要的位置。在美团搜寻场景下，NER是深度查问了解（Deep Query Understanding，简称 DQU）的底层根底信号，次要利用于搜寻召回、用户用意辨认、实体链接等环节，NER信号的品质，间接影响到用户的搜寻体验。

上面将简述一下实体辨认在搜寻召回中的利用。在O2O搜寻中，对商家POI的形容是商家名称、地址、品类等多个相互之间相关性并不高的文本域。如果对O2O搜索引擎也采纳全副文本域命中求交的形式，就可能会产生大量的误召回。咱们的解决办法如下图1所示，让特定的查问只在特定的文本域做倒排检索，咱们称之为“结构化召回”，可保障召回商家的强相关性。举例来说，对于“海底捞”这样的申请，有些商家地址会形容为“海底捞左近几百米”，若采纳全文本域检索这些商家就会被召回，显然这并不是用户想要的。而结构化召回基于NER将“海底捞”辨认为商家，而后只在商家名相干文本域检索，从而只召回海底捞品牌商家，精准地满足了用户需要。

有别于其余利用场景，美团搜寻的NER工作具备以下特点：

  • 新增实体数量宏大且增速较快：本地生存服务畛域倒退迅速，新店、新商品、新服务品类层出不穷；用户Query往往夹杂很多非标准化表白、简称和热词（如“无忧无虑”、“吸猫”等），这对实现高准确率、高覆盖率的NER造成了很大挑战。
  • 畛域相关性强：搜寻中的实体辨认与业务供应高度相干，除通用语义外需退出业务相干常识辅助判断，比方“剪了个头发”，通用了解是泛化形容实体，在搜寻中却是个商家实体。
  • 性能要求高：从用户发动搜寻到最终后果出现给用户工夫很短，NER作为DQU的根底模块，须要在毫秒级的工夫内实现。近期，很多基于深度网络的钻研与实际显著进步了NER的成果，但这些模型往往计算量较大、预测耗时长，如何优化模型性能，使之能满足NER对计算工夫的要求，也是NER实际中的一大挑战。

2. 技术选型

针对O2O畛域NER 工作的特点，咱们整体的技术选型是“实体词典匹配+模型预测”的框架，如图下2所示。实体词典匹配和模型预测两者解决的问题各有偏重，在以后阶段缺一不可。上面通过对三个问题的解答来阐明咱们为什么这么选。

为什么须要实体词典匹配？

答：次要有以下四个起因：

一是搜寻中用户查问的头部流量通常较短、表达形式简略，且集中在商户、品类、地址等三类实体搜寻，实体词典匹配虽简略但解决这类查问准确率也可达到 90%以上。

二是NER畛域相干，通过开掘业务数据资源获取业务实体词典，通过在线词典匹配后可保障辨认后果是畛域适配的。

三是新业务接入更加灵便，只需提供业务相干的实体词表就可实现新业务场景下的实体辨认。

四是NER上游应用方中有些对响应工夫要求极高，词典匹配速度快，根本不存在性能问题。

有了实体词典匹配为什么还要模型预测？

答：有以下两方面的起因：

一是随着搜寻体量的一直增大，中长尾搜寻流量表述简单，越来越多OOV（Out Of Vocabulary）问题开始呈现，实体词典曾经无奈满足日益多样化的用户需要，模型预测具备泛化能力，可作为词典匹配的无效补充。

二是实体词典匹配无奈解决歧义问题，比方“黄鹤楼美食”，“黄鹤楼”在实体词典中同时是武汉的景点、北京的商家、香烟产品，词典匹配不具备消歧能力，这三种类型都会输入，而模型预测则可联合上下文，不会输入“黄鹤楼”是香烟产品。

实体词典匹配、模型预测两路后果是怎么合并输入的？

答：目前咱们采纳训练好的CRF权重网络作为打分器，来对实体词典匹配、模型预测两路输入的NER门路进行打分。在词典匹配无后果或是其门路打分值显著低于模型预测时，采纳模型辨认的后果，其余状况依然采纳词典匹配后果。

在介绍完咱们的技术选型后，接下来会开展介绍下咱们在实体词典匹配、模型在线预测等两方面的工作，心愿能为大家在O2O NER畛域的摸索提供一些帮忙。

3. 实体词典匹配

传统的NER技术仅能解决通用畛域既定、既有的实体，但无奈应答垂直畛域所特有的实体类型。在美团搜寻场景下，通过对POI结构化信息、商户评论数据、搜寻日志等独有数据进行离线开掘，能够很好地解决畛域实体辨认问题。通过离线实体库一直的丰盛欠缺累积后，在线应用轻量级的词库匹配实体辨认形式简略、高效、可控，且能够很好地笼罩头部和腰部流量。目前，基于实体库的在线NER识别率能够达到92%。

3.1 离线开掘

美团具备丰盛多样的结构化数据，通过对畛域内结构化数据的加工解决能够取得高精度的初始实体库。例如：从商户根底信息中，能够获取商户名、类目、地址、售卖商品或服务等类型实体。从猫眼娱乐数据中，能够获取电影、电视剧、艺人等类型实体。然而，用户搜寻的实体名往往夹杂很多非标准化表白，与业务定义的规范实体名之间存在差别，如何从非标准表白中开掘畛域实体变得尤为重要。

现有的新词开掘技术次要分为无监督学习、有监督学习和近程监督学习。无监督学习通过频繁序列产生候选集，并通过计算紧密度和自由度指标进行筛选，这种办法尽管能够产生充沛的候选汇合，但仅通过特色阈值过滤无奈无效地均衡准确率与召回率，事实利用中通常筛选较高的阈值保障精度而就义召回。先进的新词开掘算法大多为有监督学习，这类算法通常波及简单的语法分析模型或深度网络模型，且依赖领域专家设计繁多规定或大量的人工标记数据。近程监督学习通过开源知识库生成大量的标记数据，尽管肯定水平上缓解了人力标注老本高的问题。然而小样本量的标记数据仅能学习简略的统计模型，无奈训练具备高泛化能力的简单模型。

咱们的离线实体开掘是多源多办法的，波及到的数据源包含结构化的商家信息库、百科词条，半结构化的搜寻日志，以及非结构化的用户评论（UGC）等。应用的开掘办法也蕴含多种，包含规定、传统机器学习模型、深度学习模型等。UGC作为一种非结构化文本，蕴含了大量非标准表白实体名。上面咱们将具体介绍一种针对UGC的垂直畛域新词主动开掘办法，该办法次要蕴含三个步骤，如下图3所示：

Step1：候选序列开掘。频繁间断呈现的词序列，是潜在新型词汇的无效候选，咱们采纳频繁序列产生短缺候选汇合。

Step2：基于近程监督的大规模有标记语料生成。频繁序列随着给定语料的变动而扭转，因而人工标记老本极高。咱们利用畛域已有累积的实体词典作为近程监督词库，将Step1中候选序列与实体词典的交加作为训练正例样本。同时，通过对候选序列剖析发现，在上百万的频繁Ngram中仅约10%左右的候选是真正的高质新型词汇。因而，对于负例样本，采纳负采样形式生产训练负例集[1]。针对海量UGC语料，咱们设计并定义了四个维度的统计特色来掂量候选短语可用性：

  • 频率：有意义的新词在语料中该当满足肯定的频率，该指标由Step1计算失去。
  • 紧密度：次要用于评估新短语中间断元素的共现强度，包含T散布测验、皮尔森卡方测验、逐点互信息、似然比等指标。
  • 信息度：新发现词汇应具备实在意义，指代某个新的实体或概念，该特色次要思考了词组在语料中的逆文档频率、词性散布以及停用词散布。
  • 完整性：新发现词汇该当在给定的上下文环境中作为整体解释存在，因而应同时思考词组的子集短语以及超集短语的紧密度，从而掂量词组的完整性。

在通过小样本标记数据构建和多维度统计特征提取后，训练二元分类器来计算候选短语预估品质。因为训练数据负例样本采纳了负采样的形式，这部分数据中混合了大量高质量的短语，为了缩小负例噪声对短语预估品质分的影响，能够通过集成多个弱分类器的形式缩小误差。对候选序列汇合进行模型预测后，将得分超过肯定阈值的汇合作为正例池，较低分数的汇合作为负例池。

Step3: 基于深度语义网络的短语品质评估。在有大量标记数据的状况下，深度网络模型能够主动无效地学习语料特色，并产出具备泛化能力的高效模型。BERT通过海量自然语言文本和深度模型学习文本语义表征，并通过简略微调在多个自然语言了解工作上刷新了记录，因而咱们基于BERT训练短语品质打分器。为了更好地晋升训练数据的品质，咱们利用搜寻日志数据对Step2中生成的大规模正负例池数据进行近程领导，将有大量搜寻记录的词条作为有意义的关键词。咱们将正例池与搜寻日志重合的局部作为模型正样本，而将负例池减去搜寻日志汇合的局部作为模型负样本，进而晋升训练数据的可靠性和多样性。此外，咱们采纳Bootstrapping形式，在首次失去短语品质分后，从新依据已有短语品质分以及近程语料搜寻日志更新训练样本，迭代训练晋升短语品质打分器成果，无效缩小了伪正例和伪负例。

在UGC语料中抽取出大量新词或短语后，参考AutoNER[2]对新开掘词语进行类型预测，从而裁减离线的实体库。

3.2 在线匹配

原始的在线NER词典匹配办法间接针对Query做双向最大匹配，从而取得成分辨认候选汇合，再基于词频（这里指实体搜寻量）筛选输入最终后果。这种策略比拟简陋，对词库准确度和覆盖度要求极高，所以存在以下几个问题：

  • 当Query蕴含词库未笼罩实体时，基于字符的最大匹配算法易引起切分谬误。例如，搜索词“海坨山谷”，词库仅能匹配到“海坨山”，因而呈现“海坨山/谷”的谬误切分。
  • 粒度不可控。例如，搜索词“星巴克咖啡”的切分后果，取决于词库对“星巴克”、“咖啡”以及“星巴克咖啡”的笼罩。
  • 节点权重定义不合理。例如，间接基于实体搜寻量作为实体节点权重，当用户搜寻“信阳菜馆”时，“信阳菜/馆”的得分大于“信阳/菜馆”。

为了解决以上问题，在进行实体字典匹配前引入了CRF分词模型，针对垂直畛域美团搜寻制订分词准则，人工标注训练语料并训练CRF分词模型。同时，针对模型分词谬误问题，设计两阶段修复形式：

  1. 联合模型分词Term和基于畛域字典匹配Term，依据动静布局求解Term序列权重和的最优解。
  2. 基于Pattern正则表达式的强修复规定。最初，输入基于实体库匹配的成分辨认后果。

4. 模型在线预测

对于长尾、未登录查问，咱们应用模型进行在线辨认。 NER模型的演进经验了如下图5所示的几个阶段，目前线上应用的主模型是BERT[3]以及BERT+LR级联模型，另外还有一些在摸索中模型的离线成果也证实无效，后续咱们会综合思考性能和收益逐渐进行上线。搜寻中NER线上模型的构建次要面临三个问题：

  1. 性能要求高：NER作为根底模块，模型预测须要在毫秒级工夫内实现，而目前基于深度学习的模型都有计算量大、预测工夫较长的问题。
  2. 畛域强相干：搜寻中的实体类型与业务供应高度相干，只思考通用语义很难保障模型辨认的准确性。
  3. 标注数据不足： NER标注工作绝对较难，需给出实体边界切分、实体类型信息，标注过程费时费力，大规模标注数据难以获取。

针对性能要求高的问题，咱们的线上模型在降级为BERT时进行了一系列的性能调优；针对NER畛域相干问题，咱们提出了交融搜寻日志特色、实体词典信息的常识加强NER办法；针对训练数据难以获取的问题，咱们提出一种弱监督的NER办法。上面咱们具体介绍下这些技术点。

4.1 BERT模型

BERT是谷歌于2018年10月公开的一种自然语言解决办法。该办法一经公布，就引起了学术界以及工业界的宽泛关注。在成果方面，BERT刷新了11个NLP工作的以后最优成果，该办法也被评为2018年NLP的重大进展以及NAACL 2019的best paper[4,5]。BERT和早前OpenAI公布的GPT办法技术路线基本一致，只是在技术细节上存在稍微差别。两个工作的次要奉献在于应用预训练+微调的思路来解决自然语言解决问题。以BERT为例，模型利用包含2个环节：

  • 预训练（Pre-training），该环节在大量通用语料上学习网络参数，通用语料包含Wikipedia、Book Corpus，这些语料蕴含了大量的文本，可能提供丰盛的语言相干景象。
  • 微调（Fine-tuning），该环节应用“工作相干”的标注数据对网络参数进行微调，不须要再为指标工作设计Task-specific网络从头训练。

将BERT利用于实体辨认线上预测时面临一个挑战，即预测速度慢。咱们从模型蒸馏、预测减速两个方面进行了摸索，分阶段上线了BERT蒸馏模型、BERT+Softmax、BERT+CRF模型。

4.1.1 模型蒸馏

咱们尝试了对BERT模型进行剪裁和蒸馏两种形式，后果证实，剪裁对于NER这种简单NLP工作精度损失重大，而模型蒸馏是可行的。模型蒸馏是用简略模型来迫近简单模型的输入，目标是升高预测所需的计算量，同时保障预测成果。Hinton在2015年的论文中论述了核心思想[6]，简单模型个别称作Teacher Model，蒸馏后的简略模型个别称作Student Model。Hinton的蒸馏办法应用伪标注数据的概率分布来训练Student Model，而没有应用伪标注数据的标签来训练。作者的观点是概率分布相比标签可能提供更多信息以及更强束缚，可能更好地保障Student Model与Teacher Model的预测成果达到统一。在2018年NeurIPS的Workshop上，[7]提出一种新的网络结构BlendCNN来迫近GPT的预测成果，实质上也是模型蒸馏。BlendCNN预测速度绝对原始GPT晋升了300倍，另外在特定工作上，预测准确率还略有晋升。对于模型蒸馏，根本能够失去以下论断：

  • 模型蒸馏实质是函数迫近。针对具体任务，笔者认为只有Student Model的复杂度可能满足问题的复杂度，那么Student Model能够与Teacher Model齐全不同，抉择Student Model的示例如下图6所示。举个例子，假如问题中的样本（x，y）从多项式函数中抽样失去，最高指数次数d=2；可用的Teacher Model应用了更高指数次数（比方d=5），此时，要抉择一个Student Model来进行预测，Student Model的模型复杂度不能低于问题自身的复杂度，即对应的指数次数至多达到d=2。
  • 依据无标注数据的规模，蒸馏应用的束缚能够不同。如图7所示，如果无标注数据规模小，能够采纳值（logits）近似进行学习，施增强束缚；如果无标注数据规模中等，能够采纳散布近似；如果无标注数据规模很大，能够采纳标签近似进行学习，即只应用Teacher Model的预测标签来领导模型学习。

有了下面的论断，咱们如何在搜寻NER工作中利用模型蒸馏呢？ 首先先剖析一下该工作。与文献中的相干工作相比，搜寻NER存在有一个显著不同：作为线上利用，搜寻有大量无标注数据。用户查问能够达到千万/天的量级，数据规模上远超一些离线测评可能提供的数据。据此，咱们对蒸馏过程进行简化：不限度Student Model的模式，抉择支流的推断速度快的神经网络模型对BERT进行近似；训练不应用值近似、散布近似作为学习指标，间接应用标签近似作为指标来领导Student Model的学习。

咱们应用IDCNN-CRF来近似BERT实体辨认模型，IDCNN（Iterated Dilated CNN）是一种多层CNN网络，其中低层卷积应用一般卷积操作，通过滑动窗口圈定的地位进行加权求和失去卷积后果，此时滑动窗口圈定的各个地位的间隔距离等于1。高层卷积应用收缩卷积（Atrous Convolution）操作，滑动窗口圈定的各个地位的间隔距离等于d（d>1）。通过在高层应用收缩卷积能够缩小卷积计算量，同时在序列依赖计算上也不会有损失。在文本开掘中，IDCNN罕用于对LSTM进行替换。试验结果表明，相较于原始BERT模型，在没有显著精度损失的前提下，蒸馏模型的在线预测速度有数十倍的晋升。

4.1.2 预测减速

BERT中大量小算子以及Attention计算量的问题，使得其在理论线上利用时，预测时长较高。咱们次要应用以下三种办法减速模型预测，同时对于搜寻日志中的高频Query，咱们将预测后果以词典形式上传到缓存，进一步缩小模型在线预测的QPS压力。上面介绍下模型预测减速的三种办法：

算子交融：通过升高Kernel Launch次数和进步小算子访存效率来缩小BERT中小算子的耗时开销。咱们这里调研了Faster Transformer的实现。均匀时延上，有1.4x~2x左右减速比；TP999上，有2.1x~3x左右的减速比。该办法适宜规范的BERT模型。开源版本的Faster Transformer工程质量较低，易用性和稳定性上存在较多问题，无奈间接利用，咱们基于NV开源的Faster Transformer进行了二次开发，次要在稳定性和易用性进行了改良：

  • 易用性：反对主动转换，反对Dynamic Batch，反对Auto Tuning。
  • 稳定性：修复内存透露和线程平安问题。

Batching：Batching的原理次要是将屡次申请合并到一个Batch进行推理，升高Kernel Launch次数、充分利用多个GPU SM，从而进步整体吞吐。在max_batch_size设置为4的状况下，原生BERT模型，能够在将均匀Latency管制在6ms以内，最高吞吐可达1300 QPS。该办法非常适宜美团搜寻场景下的BERT模型优化，起因是搜寻有显著的高下峰期，可晋升高峰期模型的吞吐量。

混合精度：混合精度指的是FP32和FP16混合的形式，应用混合精度能够减速BERT训练和预测过程并且缩小显存开销，同时兼顾FP32的稳定性和FP16的速度。在模型计算过程中应用FP16减速计算过程，模型训练过程中权重会存储成FP32格局，参数更新时采纳FP32类型。利用FP32 Master-weights在FP32数据类型下进行参数更新，可无效防止溢出。混合精度在根本不影响成果的根底上，模型训练和预测速度都有肯定的晋升。

4.2 常识加强的NER

如何将特定畛域的内部常识作为辅助信息嵌入到语言模型中，始终是近些年的钻研热点。K-BERT[8]、ERNIE[9]等模型摸索了常识图谱与BERT的联合办法，为咱们提供了很好的借鉴。美团搜寻中的NER是畛域相干的，实体类型的断定与业务供应高度相干。因而，咱们也摸索了如何将供应POI信息、用户点击、畛域实体词库等内部常识融入到NER模型中。

4.2.1 交融搜寻日志特色的Lattice-LSTM

在O2O垂直搜寻畛域，大量的实体由商家自定义（如商家名、团单名等），实体信息暗藏在供应POI的属性中，单应用传统的语义形式辨认成果差。Lattice-LSTM[10]针对中文实体辨认，通过减少词向量的输出，丰盛语义信息。咱们借鉴这个思路，联合搜寻用户行为，开掘Query 中潜在短语，这些短语蕴含了POI属性信息，而后将这些暗藏的信息嵌入到模型中，在肯定水平上解决畛域新词发现问题。与原始Lattice-LSTM办法比照，辨认准确率千分位晋升5个点。

1) 短语开掘及特色计算

该过程次要包含两步：匹配地位计算、短语生成，上面具体开展介绍。

Step1：匹配地位计算。对搜寻日志进行解决，重点计算查问与文档字段的具体匹配状况以及计算文档权重（比方点击率）。如图9所示，用户输出查问是“手工编织”，对于文档d1（搜寻中就是POI），“手工”呈现在字段“团单”，“编织”呈现在字段“地址”。对于文档2，“手工编织”同时呈现在“商家名”和“团单”。匹配开始地位、匹配完结地位别离对应有匹配的查问子串的开始地位以及完结地位。

Step2：短语生成。以Step1的后果作为输出，应用模型推断候选短语。能够应用多个模型，从而生成满足多个假如的后果。咱们将候选短语生成建模为整数线性规划（Integer Linear Programmingm，ILP）问题，并且定义了一个优化框架，模型中的超参数能够依据业务需要进行定制计算，从而取得满足不必假如的后果。对于一个具体查问Q，每种切分后果都能够应用整数变量xij来示意：xij=1示意查问i到j的地位形成短语，即Qij是一个短语，xij=0示意查问i到j的地位不形成短语。优化指标能够形式化为：在给定不同切分xij的状况下，使收集到的匹配得分最大化。优化指标及束缚函数如图10所示，其中p：文档，f：字段，w：文档p的权重，wf：字段f的权重。xijpf：查问子串Qij是否呈现在文档p的f字段，且最终切分计划会思考该观测证据，Score(xijpf)：最终切分计划思考的观测得分，w(xij)：切分Qij对应的权重，yijpf : 观测到的匹配，查问子串Qij呈现在文档p的f字段中。max：查问蕴含的最大短语数。这里，max、wp、wf 、w(xij)是超参数，在求解ILP问题前须要实现设置，这些变量能够依据不同假如进行设置：能够依据教训人工设置，另外也能够基于其余信号来设置，设置可参考图10给出的办法。最终短语的特征向量表征为在POI各属性字段的点击散布。

2) 模型构造

模型构造如图11所示，蓝色局部示意一层规范的LSTM网络（能够独自训练，也能够与其余模型组合），输出为字向量，橙色局部示意以后查问中所有词向量，红色局部示意以后查问中的通过Step1计算失去的所有短语向量。对于LSTM的隐状态输出，次要由两个层面的特色组成：以后文本语义特色，包含以后字向量输出和前一时刻字向量隐层输入；潜在的实体常识特色，包含以后字的短语特色和词特色。上面介绍以后时刻潜在常识特色的计算以及特色组合的办法：（下列公式中，示意sigmoid函数，⊙示意矩阵乘法）

4.2.2 交融实体词典的两阶段NER

咱们思考将畛域词典常识交融到模型中，提出了两阶段的NER识别方法。该办法是将NER工作拆分成实体边界辨认和实体标签辨认两个子工作。相较于传统的端到端的NER办法，这种办法的劣势是实体切分能够跨畛域复用。另外，在实体标签辨认阶段能够充沛应用已积攒的实体数据和实体链接等技术进步标签辨认准确率，毛病是会存在谬误流传的问题。

在第一阶段，让BERT模型专一于实体边界的确定，而第二阶段将实体词典带来的信息增益融入到实体分类模型中。第二阶段的实体分类能够独自对每个实体进行预测，但这种做法会失落实体上下文信息，咱们的解决办法是：将实体词典用作训练数据训练一个IDCNN分类模型，该模型对第一阶段输入的切分后果进行编码，并将编码信息退出到第二阶段的标签辨认模型中，联结上下文词汇实现解码。基于Benchmark标注数据进行评估，该模型相比于BERT-NER在Query粒度的准确率上取得了1%的晋升。这里咱们应用IDCNN次要是思考到模型性能问题，大家可视应用场景替换成BERT或其余分类模型。

4.3 弱监督NER

针对标注数据难获取问题，咱们提出了一种弱监督计划，该计划蕴含两个流程，别离是弱监督标注数据生成、模型训练。上面详细描述下这两个流程。

Step1：弱监督标注样本生成

1) 初版模型：利用已标注的小批量数据集训练实体辨认模型，这里应用的是最新的BERT模型，失去初版模型ModelA。

2) 词典数据预测：实体辨认模块目前积淀下百万量级的高质量实体数据作为词典，数据格式为实体文本、实体类型、属性信息。用上一步失去的ModelA预测改词典数据输入实体辨认后果。

3) 预测后果校对：实体词典中实体精度较高，实践上来讲模型预测的后果给出的实体类型至多有一个应该是实体词典中给出的该实体类型，否则阐明模型对于这类输出的辨认成果并不好，须要针对性地补充样本，咱们对这类输出的模型后果进行校对后失去标注文本。校对办法咱们尝试了两种，别离是整体校对和局部校对，整体校对是指整个输出校对为词典实体类型，局部校对是指对模型切分出的单个Term 进行类型校对。举个例子来阐明，“兄弟烧烤共性diy”词典中给出的实体类型为商家，模型预测后果为修饰词+菜品+品类，没有Term属于商家类型，模型预测后果和词典有差别，这时候咱们须要对模型输入标签进行校对。校对候选就是三种，别离是“商家+菜品+品类”、“修饰词+商家+品类”、“修饰词+菜品+商家”。咱们抉择最靠近于模型预测的一种，这样抉择的理论意义在于模型曾经收敛到预测散布最靠近于实在散布，咱们只须要在预测散布上进行微调，而不是大幅度扭转这个散布。那从校对候选中如何选出最靠近于模型预测的一种呢？咱们应用的办法是计算校对候选在该模型下的概率得分，而后与模型以后预测后果（以后模型认为的最优后果）计算概率比，概率比计算公式如公式2所示，概率比最大的那个就是最终失去的校对候选，也就是最终失去的弱监督标注样本。在“兄弟烧烤共性diy”这个例子中，“商家+菜品+品类”这个校对候选与模型输入的“修饰词+菜品+品类”概率比最大，将失去“兄弟/商家 烧烤/菜品 共性diy/品类”标注数据。

Step2：弱监督模型训练

弱监督模型训练方法包含两种：一是将生成的弱监督样本和标注样本进行混合不辨别从新进行模型训练；二是在标注样本训练生成的ModelA根底上，用弱监督样本进行Fine-tuning训练。这两种形式咱们都进行了尝试。从试验后果来看，Fine-tuning成果更好。

5. 总结和瞻望

本文介绍了O2O搜寻场景下NER工作的特点及技术选型，详述了在实体词典匹配和模型构建方面的摸索与实际。

实体词典匹配针对线上头腰部流量，离线对POI结构化信息、商户评论数据、搜寻日志等独有数据进行开掘，能够很好的解决畛域实体辨认问题，在这一部分咱们介绍了一种实用于垂直畛域的新词主动开掘办法。除此之外，咱们也积攒了其余可解决多源数据的开掘技术，如有须要能够进行约线下进行技术交换。

模型方面，咱们围绕搜寻中NER模型的构建的三个外围问题（性能要求高、畛域强相干、标注数据不足）进行了摸索。针对性能要求高采纳了模型蒸馏，预测减速的办法， 使得NER 线上主模型顺利降级为成果更好的BERT。在解决畛域相干问题上，别离提出了交融搜寻日志、实体词典畛域常识的办法，试验结果表明这两种办法可肯定水平晋升预测准确率。针对标注数据难获取问题，咱们提出了一种弱监督计划，肯定水平缓解了标注数据少模型预测成果差的问题。

将来，咱们会在解决NER未登录辨认、歧义多义、畛域相干问题上持续深入研究，欢送业界同行一起交换。

6. 参考资料

[1] Automated Phrase Mining from Massive Text Corpora. 2018.

[2] Learning Named Entity Tagger using Domain-Specific Dictionary. 2018.

[3] Bidirectional Encoder Representations from Transformers. 2018

[4] https://www.jiqizhixin.com/ar...

[5] https://naacl2019.org/blog/be...

[6] Hinton et al.Distilling the Knowledge in a Neural Network. 2015.

[7] Yew Ken Chia et al. Transformer to CNN: Label-scarce distillation for efficient text classification. 2018.

[8] K-BERT:Enabling Language Representation with Knowledge Graph. 2019.

[9] Enhanced Language Representation with Informative Entities. 2019.

[10] Chinese NER Using Lattice LSTM. 2018.

7. 作者简介

丽红，星池，燕华，马璐，廖群，志安，刘亮，李超，张弓，云森，永超等，均来自美团搜寻与NLP部。

招聘信息

美团搜寻部，长期招聘搜寻、举荐、NLP算法工程师，坐标北京。欢送感兴趣的同学发送简历至：tech@meituan.com（邮件题目注明：搜寻与NLP部）

浏览更多技术文章，请扫码关注微信公众号-美团技术团队！