解锁数据后劲：信息抽取、数据加强与UIE的完满交融
1.信息抽取（Information Extraction）
1.1 IE简介
信息抽取是 NLP 工作中十分常见的一种工作，其目标在于从一段天然文本中提取出咱们想要的要害信息结构。
举例来讲，当初有上面这样一个句子：
新东方烹饪学校在成都。
咱们想要提取这句话中所有有意义的词语，例如：
| 机构 | 新东方烹饪学校 |
| 城市 | 成都 |
| 实体 1 | 关系名 | 实体 2 |
|---|---|---|
| 新东方烹饪学校 | 所在地 | 成都 |
| 新 | 东 | ... | 学 | 校 | 在 | 成 | 都 |
|---|---|---|---|---|---|---|---|
| B - 机构 | I - 机构 | I - 机构 * N | I - 机构 | I - 机构 | O | B - 城市 | I - 城市 |
| 机构 | 新东方烹饪学校 |
| 机构类型 | 学校 |
| 城市 | 成都 |
| 新 | 东 | … | 学 | 校 | 在 | 成 | 都 |
|---|---|---|---|---|---|---|---|
| B - 机构 | I - 机构 | I - 机构 | ？ | ？ | O | B - 城市 | I - 城市 |
`class UIE(nn.Module): def __init__(self, encoder): """ init func. Args: encoder (transformers.AutoModel): backbone, 默认应用 ernie 3.0 Reference: https://github.com/PaddlePaddle/PaddleNLP/blob/a12481fc3039fb45ea2dfac3ea43365a07fc4921/model_zoo/uie/model.py """ super().__init__() self.encoder = encoder hidden_size = 768 self.linear_start = nn.Linear(hidden_size, 1) self.linear_end = nn.Linear(hidden_size, 1) self.sigmoid = nn.Sigmoid() def forward( self, input_ids: torch.tensor, token_type_ids: torch.tensor, attention_mask=None, pos_ids=None, ) -> tuple: """ forward 函数，返回开始/完结概率向量。 Args: input_ids (torch.tensor): (batch, seq_len) token_type_ids (torch.tensor): (batch, seq_len) attention_mask (torch.tensor): (batch, seq_len) pos_ids (torch.tensor): (batch, seq_len) Returns: tuple: start_prob -> (batch, seq_len) end_prob -> (batch, seq_len) """ sequence_output = self.encoder( input_ids=input_ids, token_type_ids=token_type_ids, position_ids=pos_ids, attention_mask=attention_mask, )["last_hidden_state"] start_logits = self.linear_start(sequence_output) # (batch, seq_len, 1) start_logits = torch.squeeze(start_logits, -1) # (batch, seq_len) start_prob = self.sigmoid(start_logits) # (batch, seq_len) end_logits = self.linear_end(sequence_output) # (batch, seq_len, 1) end_logits = torch.squeeze(end_logits, -1) # (batch, seq_len) end_prob = self.sigmoid(end_logits) # (batch, seq_len) return start_prob, end_prob`2. 训练局部训练局部次要关注一下 loss 的计算即可。因为每一个 token 都是一个二分类工作，因而选用 BCE Loss 作为损失函数。别离计算起始 / 完结向量的 BCE Loss 再取平均值即可，如下所示：`criterion = torch.nn.BCELoss()...start_prob, end_prob = model(input_ids=batch['input_ids'].to(args.device), token_type_ids=batch['token_type_ids'].to(args.device), attention_mask=batch['attention_mask'].to(args.device))start_ids = batch['start_ids'].to(torch.float32).to(args.device) # (batch, seq_len)end_ids = batch['end_ids'].to(torch.float32).to(args.device) # (batch, seq_len)loss_start = criterion(start_prob, start_ids) # 起止向量loss -> (1,)loss_end = criterion(end_prob, end_ids) # 完结向量loss -> (1,)loss = (loss_start + loss_end) / 2.0 # 求均匀 -> (1,)loss.backward()...`该我的项目将借用transformers库来实现paddlenlp版本中UIE，已实现：- [x] UIE 预训练模型主动下载- [x] UIE Fine-Tuning 脚本 - [x] 信息抽取、事件抽取数据加强（DA）策略（晋升 recall）- [x] 信息抽取、事件抽取自剖析负例生成（Auto Neg）策略（晋升 precision）* 环境装置本我的项目基于 pytorch + transformers 实现，运行前请装置相干依赖包：`shpip install -r ../requirements.txttorchtransformers==4.22.1datasets==2.4.0evaluate==0.2.2matplotlib==3.6.0rich==12.5.1scikit-learn==1.1.2requests==2.28.1`# 2. 数据集筹备我的项目中提供了一部分示例数据，数据来自DuIE数据集中随机抽取的100条，数据在
data/DuIE 。若想应用自定义数据训练，只须要仿照示例数据构建数据集构建prompt和content即可：`json{"content": "谭孝曾是谭元寿的长子，也是谭派第六代传人", "result_list": [{"text": "谭元寿", "start": 4, "end": 7}], "prompt": "谭孝曾的父亲"}{"content": "在圣保罗书院中学毕业后，曾钰成又在中学会考及大学入学考试中名列全港前十名", "result_list": [{"text": "曾钰成", "start": 12, "end": 15}], "prompt": "人物"}{"content": "在圣保罗书院中学毕业后，曾钰成又在中学会考及大学入学考试中名列全港前十名", "result_list": [{"text": "圣保罗书院", "start": 1, "end": 6}], "prompt": "曾钰成的毕业院校"}...`doccano导出数据如下所示：`json{"text": "谭孝曾是谭元寿的长子，也是谭派第六代传人", "entities": [{"id": 42517, "label": "人物", "start_offset": 0, "end_offset": 3, "text": "谭孝曾"}, {"id": 42518, "label": "人物", "start_offset": 4, "end_offset": 7, "text": "谭元寿"}], "relations": [{"id": 0, "from_id": 42517, "to_id": 42518, "type": "父亲"}]}...`能够运行 doccano.py 来将标注数据（doccano）转换为训练数据（prompt）。# 3. 模型训练批改训练脚本 train.sh 里的对应参数, 开启模型训练：`shpython train.py \ --pretrained_model "uie-base-zh" \ --save_dir "checkpoints/DuIE" \ --train_path "data/DuIE/train.txt" \ --dev_path "data/DuIE/dev.txt" \ --img_log_dir "logs/" \ --img_log_name "UIE Base" \ --batch_size 32 \ --max_seq_len 256 \ --learning_rate 5e-5 \ --num_train_epochs 20 \ --logging_steps 10 \ --valid_steps 100 \ --device cuda:0`正确开启训练后，终端会打印以下信息：`python... 0%| | 0/1 [00:00<?, ?ba/s]100%|██████████| 1/1 [00:00<00:00, 6.91ba/s]100%|██████████| 1/1 [00:00<00:00, 6.89ba/s]global step 10, epoch: 1, loss: 0.00244, speed: 2.08 step/sglobal step 20, epoch: 1, loss: 0.00228, speed: 2.17 step/sglobal step 30, epoch: 1, loss: 0.00191, speed: 2.17 step/sglobal step 40, epoch: 1, loss: 0.00168, speed: 2.14 step/sglobal step 50, epoch: 1, loss: 0.00149, speed: 2.11 step/sglobal step 60, epoch: 1, loss: 0.00138, speed: 2.15 step/sglobal step 70, epoch: 2, loss: 0.00123, speed: 2.29 step/sglobal step 80, epoch: 2, loss: 0.00112, speed: 2.12 step/sglobal step 90, epoch: 2, loss: 0.00102, speed: 2.15 step/sglobal step 100, epoch: 2, loss: 0.00096, speed: 2.15 step/sEvaluation precision: 0.80851, recall: 0.84444, F1: 0.82609best F1 performence has been updated: 0.00000 --> 0.82609...`在 logs/UIE Base.png 文件中将会保留训练曲线图：# 4. 模型预测实现模型训练后，运行 inference.py 以加载训练好的模型并利用：`python if name == "__main__": from rich import print sentences = [ '谭孝曾是谭元寿的长子，也是谭派第六代传人。' ] # NER 示例 for sentence in sentences: ner_example( model, tokenizer, device, sentence=sentence, schema=['人物'] ) # SPO 抽取示例 for sentence in sentences: information_extract_example( model, tokenizer, device, sentence=sentence, schema={ '人物': ['父亲'], } )`NER和事件抽取在schema的定义上存在一些区别：* NER的schema构造为 List 类型，列表中蕴含所有要提取的 实体类型。* 信息抽取的schema构造为 Dict 类型，其中 Key 的值是所有 主语，Value 对应该主语对应的所有 属性。* 事件抽取的schema构造为 Dict 类型，其中 Key 的值是所有 事件触发词，Value 对应每一个触发词下的所有 事件属性。`shpython inference.py`失去以下推理后果：`python[+] NER Results: { '人物': ['谭孝曾', '谭元寿']}[+] Information-Extraction Results: { '谭孝曾': { '父亲': ['谭元寿'] }, '谭元寿': { '父亲': [] }}`# 5. 数据加强（Data Augmentation）信息抽取/事件抽取的数据标注老本较高，因而咱们提供几种针对小样本下的数据加强策略。包含：* 正例：SwapSPO、Mask Then Fill* 负例：自剖析负例生成（Auto Neg）所有实现均在 Augmenter.py 中，为了便于应用，咱们将其封装为 web 服务以不便调用：平台应用 streamlit 搭建，因而应用前须要先装置三方包：`pythonpip install streamlit==1.17.0`随后，运行以下命令开启标注平台：`pythonstreamlit run web_da.py --server.port 8904`在浏览器中拜访 ip + 端口（默认8904）即可关上标注平台。## 5.1 正例：SwapSPO 策略介绍Swap SPO 是一种基于规定的简略数据加强策略。将同一数据集中雷同 P 的句子分成一组，并随机替换这些句子中的 S 和 O。* 策略输出：《夜曲》 是 周杰伦 作曲 的一首歌。《那些你很冒险的梦》 是当下十分炽热的一首歌，作曲 为 林俊杰。* Swap SPO 后的输入：《夜曲》 是当下十分炽热的一首歌，作曲 为 周杰伦。## 5.2 正例：Mask Then Fill 策略介绍Mask Then Fill 是一种基于生成模型的信息抽取数据加强策略。 对于一段文本，咱们其分为「要害信息段」和「非关键信息段」，蕴含关键词片段称为「要害信息段」。上面例子中标粗的为
要害信息片段，其余的为 非关键片段。> 大年三十 我从 北京 的大兴机场 飞回 了 成都。咱们随机 [MASK] 住一部分「非关键片段」，使其变为： > 大年三十 我从 北京 [MASK] 飞回 了 成都。随后，将该句子喂给 filling 模型（T5-Fine Tuned）还原句子，失去新生成的句子：> 大年三十 我从 北京 首都机场作为终点，飞回 了 成都。Note: filling 模型是一个生成模型，示例中咱们应用中文 T5 微调失去 DuIE 数据集下的模型（暂未开源）。您能够参考 这里 微调一个更适宜您本人数据集下的 filling 模型，并将训练好的模型门路填写至 web_da.py 中对应的地位。`python...device = 'cpu' # 指定设施generated_dataset_height = 800 # 生成样本展现高度 max_show_num = 500 # 生成样本最大保留行数max_seq_len = 128 # 数据集单句最大长度batch_size = 128 # 负例生成时的batch_sizefilling_model_path = '这里' # fine-tuned filling model...`## 5.3 负例：自剖析负例生成（Auto Neg）策略介绍信息抽取中通常会存在 P混同 的问题，例如：> 王文铭，76岁，是西红市多鱼村的大爷。当咱们同时生成 年龄 和 逝世年龄 这种十分近义的 prompt 进行抽取时，可能会呈现 误召回 的状况：`pythonprompt: 王文铭的年龄 answer: 76岁 -> 正确prompt: 王文铭的逝世年龄 answer: 76岁 -> 谬误`因而，咱们基于一个已训练好的模型，主动剖析该模型在 训练集 下存在哪些易混同的 P，并为这些 P 主动生成负例，以晋升模型的 Precision 指标。将新生成的负例退出 原始训练数据集，从新训练模型即可。## 5.4 各种 DA 策略的试验成果在 DuIE 100 条数据下测试，各种 DA 策略的成果如下所示（以下 P / R / F1 均取 F1 最高的 Epoch 指标）：| DA Policy | Precision（best） | Recall（best） | F1（best） ||---|---| ---| ---|| baseline | 0.8085 | 0.8444 | 0.8260 || Swap SPO | 0.8409（↑） | 0.8222 | 0.8314（↑） || Auto Neg | 0.8297（↑） | 0.8666（↑） | 0.8478（↑） || Mask Then Fill | 0.9000（↑） | 1.0000（↑） | 0.9473（↑） || Mask Then Fill & Auto Neg | 0.9777（↑） | 0.9777（↑） | 0.9777（↑） |* 原作者实现地址：https://github.com/universal-ie/UIE* paddle官网：https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/uie* https://github.com/HarderThenHarder/transformers_tasks/blob/main/UIE更多优质内容请关注公号：汀丶人工智能；会提供一些相干的资源和优质文章，收费获取浏览。