关于自然语言处理:斯坦福NLP课程-第5讲-句法分析与依存解析

作者：韩信子 @ShowMeAI，路遥 @ShowMeAI，奇异果 @ShowMeAI
教程地址：http://www.showmeai.tech/tutorials/36
本文地址：http://www.showmeai.tech/article-detail/238
申明：版权所有，转载请分割平台与作者并注明出处
珍藏 ShowMeAI 查看更多精彩内容

ShowMeAI 为 斯坦福 CS224n《自然语言解决与深度学习 (Natural Language Processing with Deep Learning)》课程的全副课件，做了 中文翻译和正文，并制作成了 GIF 动图！

本讲内容的 深度总结教程 能够在这里查看。视频和课件等材料的获取形式见文末。

句子是应用逐渐嵌套的单元构建的
短语构造将单词组织成嵌套的成分

起步单元：单词被赋予一个类别
- part of speech = pos 词性
单词组合成不同类别的短语
短语能够递归地组合成 更大的短语

Det 指的是 Determiner，在语言学中的含意为 限定词
NP 指的是 Noun Phrase，在语言学中的含意为 名词短语
VP * 指的是 Verb Phrase，在语言学中的含意为动词短语 *
P 指的是 Preposition，在语言学中的含意为介词
PP 指的是 Prepositional Phrase，在语言学中的含意为 介词短语

不是应用各种类型的短语，而是间接通过单词与其余的单词关系示意句子的构造，显示哪些单词依赖于 (润饰或是其参数) 哪些其余单词

补充解说

look 是整个句子的本源，look 依赖于 crate (或者说 crate 是 look 的依赖)
- in，the，large 都是 crate 的依赖
- in the kitchen 是 crate 的润饰
- in，the 都是 kitchen 的依赖
- by the door 是 crate 的依赖

为了可能正确地解释语言，咱们须要了解句子构造
人类通过将单词组合成更大的单元来传播简单的意思，从而交换简单的思维
咱们须要晓得什么与什么相关联
- 除非咱们晓得哪些词是其余词的参数或修饰词，否则咱们无奈弄清楚句子是什么意思

San Jose cops kill man with knife

警察用刀杀了那个女子
- cops 是 kill 的 subject (subject 指主语)
- man 是 kill 的 object (object 指宾语)
- knife 是 kill 的 modifier (modifier 指 修饰符)

警察杀了那个有刀的女子
- knife 是 man 的 modifier (名词修饰符，简称为 nmod)

补充解说

from space 这一介词短语润饰的是后面的动词 count 还是名词 whales？
- 这就是人类语言和编程语言中不同的中央

要害的解析决策是咱们如何“依存”各种成分
- 介词短语、状语或分词短语、不定式、协调等。

补充解说：

上述句子中有四个介词短语

board 是 approved 的主语，acquisition 是 approved 的谓语
by Royal Trustco Ltd. 是润饰 acquisition 的，即董事会批准了这家公司的收买
of Toronto 能够润饰 approved，acquisition，Royal Trustco Ltd. 之一，通过剖析能够得悉是润饰 Royal Trustco Ltd.，即示意这家公司的地位
for $27 a share 润饰 acquisition
at its monthly meeting 润饰 approved，即示意批准的工夫地点

补充解说：

面对这样简单的句子构造，咱们须要思考指数级的可能构造，这个序列被称为 卡特兰数 /Catalan numbers

Catalan numbers

$$
C_{n}=(2 n) ! /[(n+1) ! n !]
$$

补充解说

Shuttle veteran and longtime NASA executive Fred Gregory appointed to board

一个人：[[Shuttle veteran and longtime NASA executive] Fred Gregory] appointed to board
两个人：[Shuttle veteran] and [longtime NASA executive Fred Gregory] appointed to board

例句：Doctor: No heart，cognitive issues

补充解说

Students get first hand job experience

first hand 示意第一手的，间接的，即学生取得了间接的工作教训
- first 是 hand 的形容词修饰语(amod)
first 润饰 experience，hand 润饰 job

补充解说

Mutilated body washes up on Rio beach to be used for Olympic beach volleyball

to be used for Olympic beach volleyball 是动词短语 (VP)
润饰的是 body 还是 beach

关联语法假如句法结构包含词汇项之间的关系，通常是二元不对称关系 (“箭头”)，称为 依赖关系

Dependency Structure 有两种表现形式

1.一种是间接在句子上标出依存关系箭头及语法关系

2.另一种是将其做成树状机构(Dependency Tree Graph)

箭头通常标记 (type) 为语法关系的名称(主题、介词对象、apposition 等)
箭头连贯头部 (head)(调速器，下级，regent) 和一个依赖(修饰词，上级，上司)
- $A \to$ 的事件
通常，依赖关系造成一棵树(单头，无环，连贯图)

依赖构造的概念能够追溯到很久以前
- Paṇini 的语法(公元前 5 世纪)
- 一千年，阿拉伯语的语法的根本办法

选区 / 上下文无关文法是一个离奇的创造
- 20 世纪创造(R.S.Wells,1947; then Chomsky)

古代依赖工作常常源于 L. Tesnière(1959)
- 是 20 世纪“西方”的主导办法(俄罗斯，中国，…)
  - 有利于更自在的语序语言

NLP 中最早类型的解析器在美国
- David Hays 是美国计算语言学的创始人之一，他很早就 (第一个?) 构建了依赖解析器(Hays 1962)

人们对箭头指向的形式不统一：有些人把箭头朝一个方向画；有人是反过来的
- Tesnière 从头开始指向依赖，本课应用此种形式
通常增加一个伪根指向整个句子的头部，这样每个单词都准确地依赖于另一个节点

补充解说

Universal Dependencies：咱们想要领有一个对立的、并行的依赖形容，可用于任何人类语言

从前手工编写语法而后训练失去能够解析句子的解析器
用一条规定捕获很多货色真的很有效率，然而事实证明这在实践中不是一个好主见
- 语法规定符号越来越简单，并且没有共享和重用人类所做的工作
句子构造上的 treebanks 反对构造更无效

从一开始，构建 treebank 仿佛比构建语法慢得多，也没有那么有用

然而 treebank 给咱们提供了许多货色

可重用性
- 许多解析器、词性标记器等能够构建在它之上
- 语言学的贵重资源
宽泛的覆盖面，而不仅仅是一些直觉
频率和散布信息
一种评估零碎的办法

依赖项解析的信息起源是什么？

1.Bilexical affinities (两个单词间的密切关系)
- [discussion → issues] 是看上去有情理的
2.Dependency distance 依赖间隔
- 次要是与相邻词
3.Intervening material 介于两头的物质
- 依赖很少逾越介于两头的动词或标点符号
4.Valency of heads
- How many dependents on which side are usual for a head?

通过为每个单词抉择它所依赖的其余单词 (包含根) 来解析一个句子

通常有一些限度
- 只有一个单词是依赖于根的
- 不存在循环 A→B，B→A
这使得依赖项成为树
最初一个问题是箭头是否能够穿插(非投影的 non-projective)
- 没有穿插的就是 non-projectice

定义：当单词按线性顺序排列时，没有穿插的依赖弧，所有的弧都在单词的上方

与 CFG 树并行的依赖关系必须是投影的
- 通过将每个类别的一个子类别作为头来造成依赖关系

然而依赖实践通常容许非投射构造来解释移位的成分
- 如果没有这些非投射依赖关系，就不可能很容易取得某些构造的语义

1.Dynamic programming

Eisner(1996)提出了一种复杂度为 O(n3) 的聪慧算法，它生成头部位于开端而不是两头的解析项

2.Graph algorithms

为一个句子创立一个最小生成树
McDonald et al.’s (2005) MSTParser 应用 ML 分类器独立地对依赖项进行评分(他应用 MIRA 进行在线学习，但它也能够是其余货色)

3.Constraint Satisfaction

去掉不满足硬束缚的边 Karlsson(1990), etc.

4.“Transition-based parsing” or “deterministic dependency parsing”

良好的机器学习分类器 MaltParser(Nivreet al. 2008) 领导下的依存贪心抉择。已证实十分无效。

![# 论文解读# Greedy transition-based parsing [Nivre 2003]](https://img-blog.csdnimg.cn/i…)

贪心判断依赖解析器一种简略模式
解析器执行一系列自底向上的操作
- 大抵相似于 shift-reduce 解析器中的“shift”或“reduce”，但“reduce”操作专门用于创立头在左或右的依赖项

解析器如下：
- 栈 $\sigma$ 以 ROOT 符号开始，由若干 $w_i$ 组成
- 缓存 $\beta$ 以输出序列开始，由若干 $w_i$ 组成
- 一个依存弧的汇合 $A$，一开始为空。每条边的模式是 $(w_i,r,w_j)$，其中 $r$ 形容了节点的依存关系
- 一组操作

最终目标是 $\sigma = [ROOT]$，$\beta = \phi$，$A$ 蕴含了所有的依存弧

补充解说

state 之间的 transition 有三类：

1.SHIFT：将 buffer 中的第一个词移出并放到 stack 上。
2.LEFT-ARC：将 $(w_j,r,w_i)$ 退出边的汇合 $A$，其中 $w_i$ 是 stack 上的次顶层的词，$w_j$ 是 stack 上的最顶层的词。
3.RIGHT-ARC：将 $(w_i,r,w_j)$ 退出边的汇合 $A$，其中 $w_i$ 是 stack 上的次顶层的词，$w_j$ 是 stack 上的最顶层的词。

咱们一直的进行上述三类操作，直到从初始态达到最终态。

在每个状态下如何抉择哪种操作呢？
当咱们思考到 LEFT-ARC 与 RIGHT-ARC 各有 $\left|R\right|$($\left|R\right|$为 $r$ 的类的个数)品种，咱们能够将其看做是 class 数为 $2\left|R\right|+1$ 的分类问题，能够用 SVM 等传统机器学习办法解决。

还有其余的 transition 计划
Analysis of I ate fish

![# 论文解读# MaltParser [Nivre and Hall 2005]](https://img-blog.csdnimg.cn/i…)

咱们须要解释如何抉择下一步口头
- Answer：机器学习

每个动作都由一个有区别分类器 (例如 softmax classifier) 对每个非法的挪动进行预测
最多三种无类型的抉择，当带有类型时，最多 $\left|R\right|×2+1$ 种
Features：栈顶单词，POS；buffer 中的第一个单词，POS；等等

在最简略的模式中是没有搜寻的
- 然而，如果你违心，你能够无效地执行一个 Beam search 束搜寻(尽管速度较慢，但成果更好)：你能够在每个工夫步骤中保留 $k$ 个好的解析前缀

该模型的精度略低于依赖解析的最高程度，但它提供了十分快的线性工夫解析，性能十分好

传统的特色示意应用二元的稠密向量 $10^6 \sim 10^7$
特色模板：通常由配置中的 $1 \sim 3$个元素组成
Indicator features

UAS (unlabeled attachment score) 指无标记依存正确率
LAS (labeled attachment score) 指有标记依存正确率

咱们提出的弧规范算法只构建投影依赖树

头部可能的方向：

1. 在非投影弧上发表失败
2. 只具备投影示意时应用依赖模式[CFG 只容许投影构造]
3. 应用投影依赖项解析算法的后处理器来辨认和解析非投影链接
4. 增加额定的转换，至多能够对大多数非投影构造建模(增加一个额定的替换转换，冒泡排序)
5. 转移到不应用或不须要对投射性进行任何束缚的解析机制(例如，基于图的 MSTParser)

Indicator Features 的问题
- 问题 1：稠密
- 问题 2：不残缺
- 问题 3：计算简单

超过 95% 的解析工夫都用于特色计算

![# 论文解读# A neural dependency parser [Chen and Manning 2014]](https://img-blog.csdnimg.cn/i…)

斯坦福依存关系的英语解析
- Unlabeled attachment score (UAS) = head
- Labeled attachment score (LAS) = head and label

成果好，速度快

咱们将每个单词示意为一个 d 维浓密向量(如词向量)
- 类似的单词应该有相近的向量

同时，part-of-speech tags 词性标签 (POS) 和 dependency labels 依赖标签也示意为 d 维向量
- 较小的离散集也体现出许多语义上的相似性。

NNS(复数名词)应该靠近 NN(复数名词)
- num(数值修饰语)应该靠近 amod(形容词修饰语)

补充解说

对于 Neural Dependency Parser，其输出特色通常蕴含三种
- stack 和 buffer 中的单词及其 dependent word
- 单词的 part-of-speech tag
- 形容语法关系的 arc label

神经网络能够精确地确定句子的构造，反对解释

Chen and Manning(2014)是第一个简略，胜利的神经依赖解析器
密集的示意使得它在精度和速度上都优于其余贪心的解析器

这项工作由其他人进一步开发和改良，特地是在谷歌
- 更大、更深的网络中，具备更好调优的超参数
- Beam Search 更多的摸索动作序列的可能性，而不是只思考以后的最优
- 全局、条件随机场 (CRF) 的推理出决策序列

这就引出了 SyntaxNet 和 Parsey McParseFace 模型

![# 论文解读# A Neural graph-based dependency parser [Dozat and Manning 2017; Dozat, Qi , and Manning 2017]](https://img-blog.csdnimg.cn/i…)

为每条边的每一个可能的依赖关系计算一个分数

为每条边的每一个可能的依赖关系计算一个分数
- 而后将每个单词的边缘增加到其得分最高的候选头部
- 并对每个单词反复雷同的操作

在神经模型中为基于图的依赖剖析注入生机
- 为神经依赖剖析设计一个双仿射评分模型
- 也应用神经序列模型，咱们将在下周探讨

十分棒的后果
- 然而比简略的基于神经传递的解析器要慢
- 在一个长度为 $n$ 的句子中可能有 $n^2$ 个依赖项

能够点击 B 站 查看视频的【双语字幕】版本

本讲带学的 在线阅翻页本
《斯坦福 CS224n 深度学习与自然语言解决》课程学习指南
《斯坦福 CS224n 深度学习与自然语言解决》课程大作业解析
【双语字幕视频】斯坦福 CS224n | 深度学习与自然语言解决(2019·全 20 讲)
Stanford 官网 | CS224n: Natural Language Processing with Deep Learning

大厂技术实现 | 举荐与广告计算解决方案
大厂技术实现 | 计算机视觉解决方案
大厂技术实现 | 自然语言解决行业解决方案
图解 Python 编程：从入门到精通系列教程
图解数据分析：从入门到精通系列教程
图解 AI 数学根底：从入门到精通系列教程
图解大数据技术：从入门到精通系列教程
图解机器学习算法：从入门到精通系列教程
机器学习实战：手把手教你玩转机器学习系列
深度学习教程 | 吴恩达专项课程 · 全套笔记解读
自然语言解决教程 | 斯坦福 CS224n 课程 · 课程带学与全套笔记解读

NLP 教程(1)- 词向量、SVD 合成与 Word2vec
NLP 教程(2)- GloVe 及词向量的训练与评估
NLP 教程(3)- 神经网络与反向流传
NLP 教程(4)- 句法分析与依存解析
NLP 教程(5)- 语言模型、RNN、GRU 与 LSTM
NLP 教程(6)- 神经机器翻译、seq2seq 与注意力机制
NLP 教程(7)- 问答零碎
NLP 教程(8)- NLP 中的卷积神经网络
NLP 教程(9)- 句法分析与树形递归神经网络

斯坦福 NLP 课程 | 第 1 讲 – NLP 介绍与词向量初步
斯坦福 NLP 课程 | 第 2 讲 – 词向量进阶
斯坦福 NLP 课程 | 第 3 讲 – 神经网络常识回顾
斯坦福 NLP 课程 | 第 4 讲 – 神经网络反向流传与计算图
斯坦福 NLP 课程 | 第 5 讲 – 句法分析与依存解析
斯坦福 NLP 课程 | 第 6 讲 – 循环神经网络与语言模型
斯坦福 NLP 课程 | 第 7 讲 – 梯度隐没问题与 RNN 变种
斯坦福 NLP 课程 | 第 8 讲 – 机器翻译、seq2seq 与注意力机制
斯坦福 NLP 课程 | 第 9 讲 – cs224n 课程大我的项目实用技巧与教训
斯坦福 NLP 课程 | 第 10 讲 – NLP 中的问答零碎
斯坦福 NLP 课程 | 第 11 讲 – NLP 中的卷积神经网络
斯坦福 NLP 课程 | 第 12 讲 – 子词模型
斯坦福 NLP 课程 | 第 13 讲 – 基于上下文的表征与 NLP 预训练模型
斯坦福 NLP 课程 | 第 14 讲 – Transformers 自注意力与生成模型
斯坦福 NLP 课程 | 第 15 讲 – NLP 文本生成工作
斯坦福 NLP 课程 | 第 16 讲 – 指代消解问题与神经网络办法
斯坦福 NLP 课程 | 第 17 讲 – 多任务学习(以问答零碎为例)
斯坦福 NLP 课程 | 第 18 讲 – 句法分析与树形递归神经网络
斯坦福 NLP 课程 | 第 19 讲 – AI 平安偏见与偏心
斯坦福 NLP 课程 | 第 20 讲 – NLP 与深度学习的将来

引言

授课打算

1. 句法结构：成分与依赖

1.1 语言构造的两种观点：无上下文语法

1.2 语言构造的两种观点：无上下文语法

1.3 语言构造的两种观点：依赖构造

1.4 为什么咱们须要句子构造？

1.5 介词短语附丽歧义

1.6 介词短语附丽歧义

1.7 介词短语附加歧义成倍增加

1.8 协调范畴含糊

1.9 协调范畴含糊

1.10 形容词修饰语歧义

1.11 动词短语 (VP) 依存歧义

2. 依赖语法与树库

2.1 #论文解读# 依赖门路辨认语义关系

2.2 依存文法和依存构造

2.3 依存语法 / 解析历史

2.4 依存语法 / 解析历史

2.5 依存语法和依赖构造

2.6 带正文数据的衰亡：通用依存句法树库

2.7 带正文数据的衰亡

2.8 依赖条件首选项

2.9 依赖关系剖析

2.10 射影性

2.11 依存分析方法

3. 基于转换的依存分析模型

3.1 #论文解读# Greedy transition-based parsing [Nivre 2003]

3.2 根本的基于转换的依存关系解析器

3.3 基于 Arc 规范转换的解析器

3.4 #论文解读# MaltParser [Nivre and Hall 2005]

3.5 传统特色示意

3.6 依赖剖析的评估：(标记)依赖准确性

3.7 解决非投影性

3.8 为什么要训练神经依赖解析器？从新扫视指标特色

4. 神经网络依存分析器

4.1 #论文解读# A neural dependency parser [Chen and Manning 2014]

4.2 分布式示意

4.3 从配置中提取令牌和向量示意

4.4 模型体系结构

4.5 句子构造的依存剖析

4.6 基于转换的神经依存剖析的新进展

4.7 基于图形的依存关系分析器

4.8 #论文解读# A Neural graph-based dependency parser [Dozat and Manning 2017; Dozat, Qi, and Manning 2017]

5. 视频教程

6. 参考资料

ShowMeAI 系列教程举荐

NLP 系列教程文章

斯坦福 CS224n 课程带学详解