乐趣区

关于人工智能:语言处理技术之中文分词在运维领域中的探索实践

jiezi

什么是中文分词，其原理与办法又是如何利用在智能运维中的？本篇文章将着重解说云智慧对中文分词的了解。

一、中文分词面临的问题

在汉语中分词就是将间断的字序列依照肯定的标准重新组合成词序列的过程。为什么须要分词呢？个别认为在中文和英文中，词是表白残缺含意的的最小单位，同时中文的字和英文中的字母，因为其粒度太小，无奈表白残缺的含意，而句子的粒度又太大，每句话承载的信息过多导致很难复用，因而在大量的中英文自然语言解决工作中，为了获得更好的成果，就采纳分词的形式。

随着深度学习和自然语言解决技术的疾速倒退，中文分词的准确性也失去了很大的晋升，然而该问题并未失去基本的解决，这是因为在中文分词中有一些根本的问题并未很好的定义与解决，研究者们将这些问题总结为以下三类。

  1. 分词标准

汉语的文章个别有如下层级组成：汉字 - 词语 - 句子 - 段落 - 篇章。在一句话中如何标记一个一个的词是十分重要的话题，并且不同的人会有不同的计划。有一个对立的、规范的标准就十分艰难。例如：” 自然语言解决被称为人工智能皇冠上的明珠 ” 这句话存在如下不同的分词形式：

  1. 天然 / 语言解决 / 被 / 称为 / 人工智能 / 皇冠上的 / 明珠
  2. 自然语言解决 / 被 / 称为 / 人工智能 / 皇冠 / 上的 / 明珠
  3. 天然 / 语言 / 解决 / 被称为 / 人工 / 智能 / 皇冠 / 上 / 的 / 明珠

词语的界定形式不同，可能会组合出多种的分词后果。

  1. 歧义消解

歧义字段在汉语中是普遍存在的，而歧义字段是汉语切分的一个重要难点。歧义字段有以下两种根本的定义：

交加型切分歧义： 汉字串 AJB 称作交加型切分歧义，如果满足 AJ、JB 同时为词（A、J、B 别离为汉字串）。此时汉字串 J 称作交加串。如大学生（大学 / 学生）、钻研生物（研究生 / 生物）、联合成（联合 / 合成）。

组合型切分歧义： 汉字串 AB 称作多义组合型切分歧义，如果满足 A、B、AB 同时为词。如将来（他还将来到）（他认为将来很美妙）、学生会（他参加 | 学生会 | 组织的流动）（他感觉所有 | 学生 | 会来 | 参加流动）。

歧义字段对于分词来说是一个微小的挑战，所以想要做出正确的切分判断，肯定要联合上下文语境以及相应的先验常识，甚至还须要依据韵律、语气等细节去判断。

  1. 未登陆词辨认

未登录词指的是没有收录在分词词表中，但须要在分词时将其切分进去的词。未登录词次要有一般词汇和专有名词，一般词汇次要为网络新词等，专有名词次要有人名、地名、机构名、电影、书籍、产品，畛域（例如人工智能畛域）等等。为了解决该类问题，对于一般词汇，个别采纳新词发现的形式来辨认，专有名词个别采纳命名实体辨认的形式。

在中文分词中，大部分的问题是由未登录词造成的，能无效解决未登录词对于分词零碎至关重要。

二、罕用中文分词办法简介

罕用中文分词办法分类

  1. 基于词典的分词办法

基于词典的办法是经典的分词办法，原理是利用分词词库通过逆向最大匹配、N- 最短门路以及 N-Gram 模型等分词办法对句子进行切分。基于词典的分词办法具备以下特点：

  • 能够很容易通过调整分词词典来调整最终的分词成果，比方当某个词无奈被正确切分的时候，能够间接在词典当中进行增加，以达到正确切分的目标。
  • 过于依赖于词典导致这种办法对未登录词达不到良好的切分成果，并且手动保护词典消耗资源微小。
  • 无奈从根本上解决歧义切分的问题，例如当词典当中的词呈现公共子串的时候，会呈现歧义切分的问题，如果想要较好的解决局部歧义切分的问题，就须要适合的词频，然而失去适合的词频并不容易。

  1. 基于字的分词办法

基于字的分词办法将分词过程看作是字序列的标注问题（字分类），其认为每个字在结构词时有一个确定的状态。这种办法可能较好的解决未登录词的问题。

个别状况下，每个字有 4 种状态：B（Begin）、E（End）、M（Middle）、S（Single），对于一个句子的切分就能够转为对句子中每个字打标签的过程，如下例子：

自然语言解决 / 被 / 称为 / 人工智能 / 皇冠 / 上 / 的 / 明珠。

自 B 然 M 语 M 言 M 处 M 理 E 被 S 称 B 为 S 人 B 工 M 智 M 能 E 皇 B 冠 E 上 S 的 S 明 B 珠 E。

通过对句子中的每个字赋予转台，即 BEMS 中的一个标签，就实现了分词的目标。

基于字的办法将传统的分词问题，转换为一个更加容易建模的序列标注问题，这样就能够用最大熵模型为每个字进行标签分类；也能够利用 HMM 将其看作一个解码问题；或者思考句子间的时序关系，利用判断模型 CRF 来建模；也能够用深度模型进行建模。

罕用分词算法

  1. 正向最大匹配

正向即从左往右取词，取词的最大长度为词典中长词的长度，如果没有匹配到，则左边减一个字，直到词典中存在或者剩下一个单字。对于如下的例子：

待分词的句子为：为人民办公益

词典为：[‘ 为 ’,’ 为人 ’,’ 人民 ’,’ 民办 ’,” 办 ’, 办公 ’,’ 公益 ’]

那么词的最大长度为 4

因而，第一次轮匹配为：

第一次：『为人民办』，扫描词典，无

第二次：『为人民』，扫描词典，无

第三次：『为人』，扫描词典，有

故输入的第一个词为『为人』

第二轮匹配为：

第一次：『民办公益』，扫描词典，无

第二次：『民办公』，扫描词典，无

第三次：『民办』，扫描词典，有

故输入的第二个为『民办』

依照如上的形式，则最初的分词后果为：

为人 / 民办 / 公益

  1. 逆向最大匹配

逆向最大匹配算法的即从右往左开始匹配，而其余的逻辑与正向最大匹配雷同。即从右往左取词，取词的最大长度为词典中长词的长度，如果没有匹配到，则右边减一个字，直到词典中存在或者剩下一个单字。

有如下示例：

待分词的句子为：为人民办公益

词典为：[‘ 为 ’,’ 为人 ’,’ 人民 ’,’ 民办 ’,” 办 ’, 办公 ’,’ 公益 ’]

那么词的最大长度为 4

因而，第一次轮匹配为：

第一次：『民办公益』，扫描词典，无

第二次：『办公益』，扫描词典，无

第三次：『公益』，扫描词典，有

故输入的第一个词为『公益』

第二轮匹配为：

第一次：『为人民办』，扫描词典，无

第二次：『人民办』，扫描词典，无

第三次：『民办』，扫描词典，有

故输入的第二个词为『民办』

按如上的办法，顺次有后果为：

为人 / 民办 / 公益

  1. 双向最大匹配

用正向最大匹配和逆向最大匹配分词后依据大颗粒度词越多越好，非词典词和单字词越少越好的准则，选取其中一种分词后果输入。

例如能够用如下的规定：

  1. 如果分词数量后果不同：抉择数量较少的那个
  2. 如果分词数量后果雷同
  • 分词后果雷同，返回任意一个
  • 分词后果不同，返回单字数较少的一个
  • 若单字数也雷同，任意返回一个

  1. 最短门路分词算法

对于待分词的文本：『为人民办公益』

构建如下的图：其中边为字或词，权重均为 1

即指标为求 0 到 6 的最短门路。

在这种状况下，能够求出一条最短门路，也能够求出 N 条最短门路。个别采纳狄克斯特拉（dijkstra）算法来求解最短门路。在该示例中，求得的最终后果为：为人 / 民办 / 公益。可见在局部的文本中其成果并不是很好。

  1. N-gram 分词

语言模型的指标为构建一句话呈现的概率，即一句话的联结概率能够示意为：

其概率越大，越靠近自然语言的正确表达方式。上述的概率并不好计算，因而有一些假如条件对该联结概率进行简化。

  • 1-gram(unigram), 一元模型，即句子中的每个词都是互相独立的，那么下面的公式能够简化为：

  • 2-gram(bigram), 二元模型，句子中的每个词仅仅依赖于后面的一个词：

  • 3-gram(trigram), 三元模型，句子中的每个词依赖于后面两个词：

对于示例『为人民办公益』，二元模型为如下图：

计算上图的的最大概率门路，即失去的后果为最终的分词后果。

  1. 隐马尔可夫模型（HMM）

在此是将分词的问题转化为序列标注的问题。状态汇合 Q 为{B，E，M，S}, 别离示意词的开始、完结、两头以及字符独立成词。例如，『为人民办公益』通过 HMM 求解的状态序列为「SBESBE」，则分词的后果为『为 / 人民 / 办 / 公益』。隐马尔可夫模型有三个根本的问题：概率计算问题，学习问题，解码问题。中文分词即对应解码问题。

  1. 条件随机场（CRF）

CRF 能够看作一个无向图模型，对于给定的标注序列 Y 和观测序列 X，对条件概率 P(Y|X)进行定义，而不是对联结概率建模。CRF 能够说是目前最罕用的分词、词性标注和实体辨认算法，它对未登陆词有很好的辨认能力，但开销较大。

输出的句子 S 相当于序列 X，输入的标签序列 L 相当于序列 Y，咱们要训练一个模型，使得在给定 S 的前提下，找到其最优对应的 L。

训练该模型的关键点就是特征函数 F 的选取以及每个特征函数权重 W 的确定，而对于每个特征函数而言，其输出有如下四个因素：

  • 句子 S，即待标注的句子
  • i 句子 S 中第 i 个单词
  • l(i)示意要评分的标注序列该第 i 个单词标注的词性
  • l(i-1)示意要评分的标注序列该第 i-1 个单词标注的词性

三、运维畛域日志中的分词

在运维畛域解决文本相干的内容时，大部分状况下是须要分词的。以日志模式场景为例，该场景旨在辨认出一条日志中的常量和变量。其中由常量和通配符组成的文本为日志的模式。例如对于原始日志音讯：Received block blk_43348874343765408 of size 343290 from /10.1.91.84，须要辨认出该条日志的模式为：Received block <> of size <> from / <*>。好的分词成果可能进步模式识别的准确性。

常见的日志为英文和中英混合，所以分词时不仅要思考中文分词的成果，还要思考英文分词的成果。一般的英文文本，用空格和常见的特殊字符就能很好的分词，然而在日志中，这种形式并不可行。日志中有一些 ip，url，email，path 等等实体，须要将字符分到一起组成残缺的实体，这样能力精确的把握日志的含意，进而在日志模式解析中获取较好的后果。

相较中文分词而言，纯英文的日志分词次要面临的挑战为分词标准以及未登录词的辨认。对于如下日志：

61.163.128.248 - https [30/Sep/2021:23:59:59 +0800] "POST /mp-service/login HTTP/1.1" 500 34 "`https://mp-service.iciba.com/`"

"Mozilla/5.0 (Windows NT 10.0; rv:78.0) Gecko/20100101 Firefox/78.0"

"-" "api-edu.wps.cn" "10.19.211.121:30423" "-" 0.003 0.003

其中的 ”Firefox/78.0″, 有时须要将其看做一个整体，有时须要将其离开，变为 ”Firefox” 和 ”78.0″。对于 ”api-edu.wps.cn”，能够分词为 ”api”,”edu”,”wps”,”cn”, 也能够间接看做一个整体。这种标准的难以对立对于日志分词而言是一个很大的挑战。在日志中会含有大量的计算机领域的专有名词，这种专有名词个别会随着技术的倒退大量呈现，例如上述日志中的 ”Windows NT 10.0″，当须要将其作为一个整体时，会因为未登录词的缘故将其按空格拆分。

日志的书写是自在随便的，有些信息系统中会让日志记录大量的信息。为了可能将日志更好的分词能够借鉴中文分词的形式，将日志分词看作是一个序列标注和实体辨认的问题。日志中有许多规定能够辨认的实体，例如 ip、url、email，json 等等，在辨认该类实体的过程中，即可将其分词为一个整体。对于如下的两个日志：

首先进行 json 的实体辨认，将 json 作为一个整体辨认进去。对于没有特定规定的，则采纳 HMM 或 CRF 的形式进行序列标注，例如对与其中的 [org.springframework.amqp.rabbit.RabbitListenerEndpointContainer#0-8]，它首先会拆分为一个序列['[', 'org', '.' ,'springframework', '.', 'amqp' ,'.', 'org', '.' ,'rabbit', '.', 'RabbitListenerEndpointContainer' ,'#', '0', '-' , '8', ']',], 通过序列标注模型辨认的后果为[BMMMMMMMMMMMMMMME]，因而它们为一个整体。对于上述的日志，最终的分词后果如下：

以上的两条分词后的日志最终会造成一个模式为：

这样在不损失日志重要信息的同时，将其压缩合并成了一条，便能够让大量的日志合并为数量不多的日志模式，为后续的工作提供反对。

四、总结

日志分词在日志解决中是一个根底的步骤，对日志的信息提取与开掘有着重要的意义。随着人工智能以及 AIOps 的倒退，日志的信息越来越被人们器重，深度学习模型因为其突出的体现，在日志的语义提取工作上被越来越多的应用与钻研。尽管分词在中文和日志上都获得了很好的成果，然而依然存在诸多的挑战。因而在日志分词中，以下的问题值得持续摸索：

构建日志的预训练模型，并在不同的数据源上进行微调；因为日志的复杂性和多变性，其分词规范并不能对立。多准则，多粒度的分词可能应用不同的数据源来晋升分词的准确性；分词工作和上游工作严密的联合，分词工作个别都是为了进步上游工作的准确性的，但因为分词的成果评估并不与上游工作间接相干，因而存在谬误流传的先天缺点，将与上游工作紧密结合后可肯定水平防止该缺点。

参考文献

[1]黄昌宁、赵海：中文分词十年回顾. 中文信息学报, 21(3), 2007, pp. 8–20.

[2]中文分词十年又回顾 : 2007-2017. / 赵海; 蔡登; 黄昌宁; 揭春雨.

[3]孙茂松, 邹嘉彦. 汉语主动分词钻研评述[J]. 当代语言学, 2001, 3(1): 22-32.

开源福利

云智慧已开源数据可视化编排平台 FlyFish。通过配置数据模型为用户提供上百种可视化图形组件，零编码即可实现合乎本人业务需要的炫酷可视化大屏。同时，飞鱼也提供了灵便的拓展能力，反对组件开发、自定义函数与全局事件等配置，面向简单需要场景可能保障高效开发与交付。

点击下方地址链接，欢送大家给 FlyFish 点赞送 Star。参加组件开发，更有万元现金等你来拿。

GitHub 地址：https://github.com/CloudWise-…

Gitee 地址：https://gitee.com/CloudWise/f…

万元现金流动： http://bbs.aiops.cloudwise.co…

微信扫描辨认下方二维码，备注【飞鱼】退出 AIOps 社区飞鱼开发者交换群，与 FlyFish 我的项目 PMC 面对面交换～

退出移动版