How Does NLP Benefit Legal System: A Summary of Legal Artificial Intelligence

Abstract

司法人员常常思考应用rule-based和symbol-based办法解决工作，NLP研究者次要思考data-driven和embedding办法。

在这篇文章中就次要探讨Legal AI的历史、现况、和将来的钻研方向。

进行了一些试验来对现有的工作进行更有深度的剖析，剖析他们的优缺点，并揭示一些将来的钻研方向。

可解释性强的symbolic models的效率不高，embedding-methods有更好的性能，但通常没有好的解释性，在一些道德相干的问题上有比拟大的问题：经典性别和种族偏见。

咱们总结了symbol-based methods和embedding-based办法独特面临的三个次要的挑战：

  1. 常识建模（Knowledge Modeling）。因为司法文本格式化水平好（well formalized）有很多的domain 常识和概念。用好这些knowledge很重要。
  2. 司法推理（Legal Reasoning）。LegalAI必须严格遵循法律条文。因而联合事后定义的规定和AI技术对于司法推理就十分重要。
  3. 可解释性（Interpretability）。

本文的钻研奉献次要如下：

  1. 从NLP研究者和司法人员两个角度，来形容现存的工作。
  2. 形容三个经典的利用，包含裁决预测（judgment prediction），类似案件匹配（similar case matching）和司法问题答复（legal question answering）来强调为什么这两种办法对于LeaglAI比拟重要。
  3. 在多个数据集上进行了沉重的试验，来揭示怎么利用NLP技术和司法常识去克服LegalAI中的挑战。这些实现能够在github上找到。https://github.com/thunlp/CLAIM
  4. 总结了LegalAI数据集，能够被看作是benchmark。数据集在github中颁布，还有一些比拟有浏览价值的司法paper。https://github.com/thunlp/LegalPapers

2 Embedding-based Methods

2.1 Character, Word, Concept Embeddings

字和词嵌入很重要。

间接从司法案情形容中学习出业余词汇很艰难。为了克服这种艰难，能够同时捕获语法信息和司法常识。

knowledge graph methods在司法畛域很有前景，然而在理论应用之前，还是有两个次要的挑战：

  1. 结构LegalAI的常识图谱（knowledge graph）很简单。很多状况下，没有提前制作好的knowledge graph能够应用，研究者须要从零开始构建。另外，有一些不同的司法概念在不同的国家里有不同的涵义。一些研究者尝试去嵌入（embed）司法词典，这是一种可替换的办法。
  2. 一个泛化水平高的司法常识图谱在模式上和其余常常在NLP中应用的常识图谱不太一样。现有的常识图谱关怀实体（entity）和概念（concept）之间的关系（relationship），但LegalAI更多地专一于解释司法概念。

这两种挑战让LegalAI通过embedding进行常识建模不平庸（non-trivial）。研究者在将来会尝试去克服这些艰难。

2.2 Pretrained Language Models

预训练的语言模型（Pretrained language model，PLM）比方BERT，最近集中于很多NLP的畛域。鉴于预训练模型的胜利，在LegalAI中应用预训练模型是一个很正当很间接的抉择。然而在司法文本中，这里还有一些不同，如果间接应用这些PLM会导致不好的性能。这些不同就来自于司法文本中所蕴含的术语和常识。为了解决这些问题，Zhong(2019)提出了一个中文司法文档的预训练模型，包含民事和（civil）刑事（criminal）案件的文档。针对司法畛域设计的PLM给LegalAI工作提供了一个更有品质的baseline零碎。咱们在试验中比照不同的BERT模型利用于LegalAI工作。

对于在将来摸索LegalAI中的PLM，研究者能够把指标放在整合knowledge进入PLM。整合knowledge进入预训练模型能够帮忙推理司法概念之间。很多工作曾经做了，去把general domain融入模型。

3. Symbol-based Methods

symbol-based methods也被叫做structured prediction methods。

符号化的司法常识包含：事件（events）和关系（relationship），这些能够提供可解释性。

深度学习办法能够用于进步symbol-based methods的性能。

3.1 Information Extraction

信息提取（information extraction，IE）曾经被宽泛地在NLP中被钻研。IE强调从文本中提取有价值的信息，一些技术比方：实体辨认（entity recognition），关系提取（relation extraction），事件提取（event extraction）。

为了更好的应用司法文本，研究者尝试应用本体论（ontology）或者寰球一致性（global consistency）在LegalAI的命名实体辨认（named entity recognition）工作中。为了从司法文本中提取关系和事件，研究者尝试去应用不同的办法，包含：人工规定（hand-crafted rules），CRF（不晓得这是啥），联结模型比方SVM，CNN，GRU，或者（scale-free identifier network）（不晓得这是啥）。

现存的工作曾经做出了很大致力去改善IE的成果，但咱们须要跟多的注意力放在怎么好好利用这些提取进去的信息。这些提取进去的符号有司法根底（legal basis）而且能够对司法利用提供可解释性。所以咱们不能只把指标定在办法的性能。在这里咱们展现两个利用提取出的符号来进步LegalAI可解释性的例子：

  1. 关系提取和继承纠纷（Relation Extraction and Inheritance Dispute）。继承纠纷是一种民事案件中的类型，专一于继承势力的调配。因而，辨认出相干人的关系至关重要，谁和死者（the deceased）关系更近谁就能分得更多的财产（assets）。在继承纠纷中，关系提取就提供了裁决后果的利用，也能够基于这一点优化性能。
  2. 关系工夫线提取和刑事案件裁决预测（Event Timeline Extraction and Judgment Prediction of Criminal Case）。在刑事案件中，个人立功常常设计多方。为了决定谁应该对这个刑事案件付次要责任，咱们须要确定所有人在整个案件中都干了什么，以及这些工夫的程序也很要害。比方，群殴事件中，谁最先开打须要承当次要责任。

在将来的工作中，咱们须要更多留神，利用提取的信息在LegalAI工作中。这些信息的利用取决于特定工作的要求，而且这些信息能够提供更多的可解释性。

3.2 Legal Element Extraction

除了NLP中的独特的symbol，LegalAI有独有的symbol，称作legal elements。提取legal element专一于提取一些要害元素，比方：某个人是不是被杀了，或者某个货色是不是被偷了。这些元素是犯罪活动（crime）的根本组成元素，而且咱们能够基于这些元素，间接给犯罪者定罪。利用这些元素，不仅能够给裁决预测工作带来间接的监管信息，而且能够让模型的预测后果更加可解释。

从这个例子能够看出，提取元素能够决定裁决后果。这些元素对于上游工作很有用。

为了更深度剖析基于元素的symbol，Shu(2019)结构了用于提取元素的三个数据集：离婚纠纷，劳工纠纷，贷款纠纷。这些数据集须要咱们检测相干元素是否被满足，并把这个工作规范化为一个多标签的分类工作。为了展现现存办法在element extraction上的性能，咱们进行了一系列试验，如下表格所示。

咱们实现了NLP中几个经典的encoding模型，为了测验elemetnt extraction。包含TextCNN，DPCNN，LSTM，BiDAF，BERT。咱们用了两种不同的BERT预训练参数（原始BERT、用中文司法文档训练的BERT：BERT-MS）。从这个后果中能够看到，在宽泛畛域（general domain）上的预训练模型成果不如在特定畛域（domain-specific）训练的预训练模型，这就是在LegalAI中推动PLM的必要性。paper的以下局部，咱们就会应用在legal documents上预训练的BERT来达到一个更好的体现。

从目前的element extraction的后果来看，现存的办法曾经达到了一个很好的性能，然而在相干的利用上依然不够。这些元素能够被看作是事后定义好的legal knowledge并且帮忙上游工作。怎么改善element extraction也是须要进一步钻研。

4 Applications of LegalAI

介绍几个典型的利用：

Legal Judgment Prediction

Similar Case Matching

Legal Question Answering

Legal Judgment Prediction 和Similar Case Matching能够看作民事法律（Civil Law）和普通法系（Common Law System，英美法系，普通法系）裁决的外围性能。Legal Question Answering能够给不懂法律的人提供咨询服务。因而探索这三个工作能够基本上涵盖LegalAI的大部分方面。

4.1 Legal Judgment Prediction

Legal Judgment Predction（LJP）在民事法律体系中很中国要。在民事法律体系中，裁决后果是基于事实和法律条文。LJP次要关怀怎么通过事实形容和民法中相干条文，来预测裁决后果。

上面将介绍LJP方面的研究进展，和将来的钻研方向。

相干工作

晚期的工作包含：应用统计和数学方法在特定场景下剖析司法案件。同时联合数学方法和司法规定让预测后果具备可解释性。

为了LJP的停顿，Xiao(2018)提出了一个大规模的重温刑事判决预测数据集，C-LJP。这个数据集蕴含2.68 million个司法文档，是一个LJP的无效的benchmark。C-LJP蕴含三个子工作：相干文章relevant articles，利用的指控applicable charges，刑期term of penalty。前两个能够被formalize为多标签分类工作，最初一个是回归工作。英文的LJP也有，然而规模比拟小。

随着NLP倒退，研究者开始思考在LJP中应用NLP工作。这些工作能够分为两个次要方向：1. 应用更新的模型进步性能：Chen(2019)用门机制进步预测刑期（term of penalty）的性能，Pan(2019)提出应用多尺度（multi-scale）的attention，来解决含有多个原告的案件。除此之外，其余的研究者探索怎么应用legal knowledge和LJP的一些属性。Luo(2017)在fact和law articles之间应用attention来帮忙预测可利用的指控（applicable charges）。Zhong(2018)应用拓扑图来利用不同LJP不同工作之间的关系。Hu(2018)整合了是个可辩别的（discriminative）司法属性（legal attributes）来帮忙预测低频率的指控。

试验和剖析

一系列在C-LJP上的试验

  1. 咱们实现了几个经典的文本分类模型：TextCNN，DPCNN，LSTM，BERT（在中文刑事案件上预训练的BERT）
  2. 实现了几个为了LJP特定设计的模型：FactLaw，TopJudge，Gating Network。

试验后果：

能够看到很多模型在预测高频率指控（high-frequency charges）和文章（articles）中达到了很好的性能。 然而在低频率的标签上体现不好，体现为micro-F1和macro-F1之间有很大的差距。

micro-F1：实用于多分类不均衡，若数据极度不均衡会影响后果；

macro-F1：实用于多分类问题，不受数据不均衡影响，容易受到识别性高（高recall、高precision）的类别影响；

Hu(2018)展现了把few-shot learning利用于LJP。然而他们的模型须要额定的人工增加一些属性信息，这就导致很吃力，而且难以在其余的数据集上利用。除此之外，咱们发现BERT的性能不够好，因为在一些模型参数较少的模型上没有什么晋升。次要的起因是司法文本的长度个别较长，然而BERT最长的文本长度是512。依据统计数据，最长的司法文本长度是5w多字，15%文档场都超过了512。因而LJP须要一些文本了解（document understanding）和推理技术（reasoning technique）。

尽管embedding-based办法曾经有很好的成果了，然而在LJP中咱们须要联合embedding-based和symbol-based。拿TopJudge作为一个例子，这个模型规范化LJP工作中（symbol-based part）的拓扑序，并应用TextCNN用于编码fact description。（有点好奇这个TopJudge里是怎么通过symbol-based搞一个拓扑序的？对模型是怎么样有用的。）通过联合symbol-based和embedding-based，TopJudge达到了一个很好的成果。通过比照TextCNN和TopJudge能够发现加judgements 的程序（order）能够晋升性能。

为了更好的LJP性能。 一些挑战须要研究者来摸索：

  1. 文档了解和推理（Document understanding reasoning）：须要这个技术来从超长的legal text中开掘全局信息（global information）
  2. 小样本学习（few-shot learning）：低频率的指控也不能被忽视，因为这是司法完整性（legal integrity）的一部分。
  3. 可解释性（interpretability）：咱们要去了解这些模型怎么去做出了这些决策。现存的embedding-based办法都像一个黑盒。咱们不晓得哪些因素影响决策后果的状况下，就可能引入不偏心和道德因素，比方性别偏差。退出legal symbol和knowledge能够改善LJP的可解释性。

4.2 Similar Case Matching

在应用Common Law System（这如同能够解释为卷宗法律零碎，通过类似的案件来判案）的国家中，比方美国，加拿大，印度，裁决决策是通过类似案件和有代表性的（representative）案件来进行的。因而，怎么辨认出类似的案件，时Common Law System中所最须要的。

为了更好的预测Common Law System的裁决后果，Similar Case Matching（SCM）成了LegalAI的一个重要的话题。SCM中对于类似度（similarity）的定义也是多种多样。SCM须要从不同的信息粒度（information of different granularity）来建模（modeling）案件之间的关联（relationship），比方事实级别（fact-level），事件级别（event-level），和元素级别（element-level）。换一种话说，就是SCM是语义匹配的一种非凡模式（semantic matching），这个对于提取司法信息（legal information retrieval）有帮忙。

相干工作

传统的IR办法集中于应用统计办法来掂量term-level 的相似性，比方TF-IDF。除此之外，其余研究者还尝试利用元信息（meta-information），来捕获语义类似度。许多机器学习办法也被利用于IR，比方SVD或者矩阵合成（factorization），随着深度学习倒退，多层感知机（multi-layer perceptron），CNN，RNN也被利用于IR。

曾经有一些LegalIR的数据集：COLIEE，CaseLaw，CM。COLIEE和CaseLaw都被用于从大的语料库中提取最相干的文章。CM中的数据样例提供了三个司法文档用于计算类似度。这些dataset都提供了一个benchmark。许多研究者专一于建设易用的司法搜索引擎（legal search engine，司法版google）。

以计算语义级别（semantic-level）的类似度为指标，深度学习办法被用于LegalIR。Tran(2019)提出了一个CNN-based model，联合了文档级别（document-level）和句子级别（sentence-level）的池化（pooling），在COLIEE上达到了SOTA的成果。

试验和剖析

为了对以后的LegalIR停顿有一个更好的了解视角，咱们应用CM(Xiao 2019)来进行试验。CM蕴含8964个三元组，每个三元组蕴含三个司法文档（A, B, C）。CM的工作就是分辨出B和C哪个更靠近A。咱们实现了几个不同类型的baseline：

  1. term-matching methods：TF-IDF
  2. siamese network with two parameter-shared encoders（孪生网络）：TextCNN，BiDAF，BERT和一个间隔函数（distance function）？

  3. semantic matching models

    1. in sentence level：ABCNN，
    2. in document level：SMASH-RNN

咱们发现，可能捕获语义信息的模型性能超过了TF-IDF，然而利用到SCM还不够。如Xiao(2019)所说，次要的起因是司法人员认为数据集中的elements定义了司法案件之间的类似度。司法人员会比拟看重两个案件是否有相干的元素（elements）。只思考term-level和semantic-level的类似度是不足够的。

更深的SCM钻研有以下几个方向须要致力：

  1. 元素级别的示意（Elmental-based representation）：研究者能够更多的专一到司法文档中的symbol，因为司法案件之间的类似度是和symbol相干的，比方elements。
  2. 常识合并（Knowledge incorporation）：因为semantic-level matchin对于SCM是不足够的，咱们须要思考整合司法信息进入model来进步性能和提供可解释性。

4.2 Legal Question Answering

Legal Question Answering（LQA）：司法方面的问答零碎。

司法业余人员的一个很重要的工作是向不懂法的人提供牢靠的、高质量的司法咨询服务。

LQA中，问题的模式会有比拟大的变动：有的问题强调对于司法概念的解释，有的问题次要思考对于特定案件的剖析。另外，从业余人员和非专业人员口中表白业余词汇可能会有差异。这些问题给LQA带来了很多挑战。

相干工作

LegalAI中有很多数据集，Duan(2019)提出CJRC，一个司法浏览了解数据集，和SQUAD 2.0有类似的格局，包含span extraction（不懂），yes/no questions，unanswerable questions。另外COLIEE蕴含500个yes/no questions。另外，律师资格考试（bar exam）对于律师来说是一个很重要的考试，因而律师资格考试数据集会比拟难，因为须要业余的司法常识和技能。

除了这些数据集之外，研究者还用了很多办法在LQA上。rule-based systems在晚期的钻研中效果显著。为了更好的性能，研究者利用更多的信息，比方概念解释（explanation of concepts）或者把相干文档格式化为图（formalize relevant documents as graph）来帮忙推理。机器学习和深度学习办法比方CRF，SVM，CNN也用于LQA。然而，大多数现存办法只在小数据集上进行了试验。

试验和剖析

咱们抉择JEC-QA来作为试验的数据集，因为这是从律师资格考试中收集到的最大的数据集，保障他的艰难水平。JEC-QA蕴含了28641个多项抉择、多项答复问题，还蕴含了79433个相干的文章来帮忙答复问题。JEC-QA把问题分为常识驱动问题（knowledge-driven questions, KD-Questions）和案件剖析问题（case-analysis questions），并且提供了人类的体现。咱们实现了几个有代表性的QA模型，包含BiDAF、BERT、Co-matching、HAF，这些试验后果在表6中出现。

比照发现，这些模型不能在答复这些司法问题上跟答复open-domain的问题时有一样好的成果。在LQA上，模型和人类之间有微小的差距。

为了有更好的LQA办法，这里有几个艰难须要克服：

  1. 司法多段跳推理（Legal multi-hop reasoning）：司法案件太简单，不能用单步推理。
  2. 司法概念了解（Legal concepts understanding）：大多数模型绝对于进行常识了解， 在案件剖析上体现更好，这证实了只是建模对于现存办法仍具备挑战性。怎么在LQA中对司法常识建模很要害，因为司法常识是LQA的根底。

5 Conclusion

除了这篇文章中的，还有其余的LegalAI工作：司法文献概述（legal text summarization），从司法合同中进行信息提取（information extraction from legal contracts）。不管怎样，咱们都可能利用embedding-based办法来进步性能，联合symbol-based办法进步可解释性。

三个次要的挑战：

  1. 常识建模：Knowledge modelling
  2. 司法推理：legal reasoning
  3. 可解释性：interpretability

将来的研究者能够次要联合embedding办法和symbol办法解决这三个挑战。

对于一些工作，还没有数据集，或者数据集不够大。咱们能够尝试构建规模大、品质高的数据集，或者应用few - shot / zero - shot learning办法来解决这些问题。