共计 1160 个字符,预计需要花费 3 分钟才能阅读完成。
文章起源 | 恒源云社区(一个专一 AI 行业的共享算力平台恒源智享云 )
原文地址 | [[机器翻译] 21.7 mRASP2](https://bbs.gpushare.com/topi…)
原文作者 | 角灰
Contrastive Learning for Many-to-many Multilingual Neural Machine Translation
github:
摘要:
现有的多语言模型聚焦于英语为核心的翻译,而非英语的方向远远落后。本文旨在一个多对多翻译零碎,重点是非英语语言方向的品质。基于这样一个假如: 通用的跨语言示意会导致更好的多语言翻译性能。为此提出了一种训练方法 mRASP2,以取得繁多对立的多语言翻译模型。mRASP2 的外围在于如下两点:
- 通过比照学习拉近多语言示意对齐语义空间
- 同时应用平行和单语语料进行对齐加强
论断:
- 比照学习的确能晋升零资源翻译
- 应用单语数据,所有翻译方向上都获得了实质性的改良。
- 剖析并可视化了本文办法,比照学习的确可能拉近不同语言语义的表征
- 将来打算应用更大数据集训练模型 PC150
办法:
1. 损失函数
损失为穿插熵 Lce 和比照损失 Lctr 的加权和,|s| 是均匀句子长度,因为 Lce 是词级别的,而 Lctr 是序列级别的,两者有比例关系,因而要乘上均匀句子长度。
xi,xj 是平行语料。Lce 计算惯例 decoder 输入和 label 的穿插熵,旨在让解码器输入散布与实在散布统一。
而比照损失 Lctr 为了拉近语义空间中跨语言同义词的表征间隔,并且拉远非同义词表征的间隔。具体为:以某个样本点的源端向量示意为锚点,以该样本指标端的向量表征为正样本(过 encoder),以同一个 batch 中其余样本点的指标端句子向量示意为负样本,最小化锚点和正样本的间隔,最大化锚点和所以负样本的间隔。
[
其中间隔应用的是余弦间隔,分子是锚点和正例的间隔,分母是所有负例和锚点的间隔和,通过最小化 Lctr 就能达到拉近同义词表征、拉远非同义词表征的目标。
引入比照学习,能够在不升高其余翻译方向的根底上,进步零资源翻译的性能。
2. 对齐加强
其中间隔应用的是余弦间隔,分子是锚点和正例的间隔,分母是所有负例和锚点的间隔和,通过最小化 Lctr 就能达到拉近同义词表征、拉远非同义词表征的目标。
试验后果
相比多语言基线模型 m -Transformer,mRASP2 在表中的 10 个方向上都有显著的晋升。
在无监督翻译(至多一端的语料在预训练时呈现过)上均匀超过了基线十多点。
即便是在零资源翻译(非英语对翻译)上性能也很卓越,和桥接模型差不多(pivot)。
可视化剖析
应用 T -SNE 对英、日、德三种语言同义句的语义空间表征降维后可视化,发现应用 mRASP(b)比基线 transformer 更好的拉近了多语言同义句的语义表征。
集体总结
比照学习 yyds,接下来筹备找代码试试。