内容概要：一项对于漫画文字主动翻译的钻研，引发了热议，由两位东京大学博士组成的 Mantra 团队公布了一篇论文，目前已被 AAAI 2021 收录，该 Mantra 我的项目旨在为日本漫画提供自动化的机器翻译工具。
原创：HyperAI 超神经
关键词：机器翻译 情感辨认 漫画 AI
最近，由东京大学 Mantra 团队、雅虎（日本）等机构联结公布的《Towards Fully Automated Manga Translation 实现漫画全自动翻译》_（论文地址 https://arxiv.org/abs/2012.14271）_论文，引发了学界和二次元界的关注。
如图所示：左一为日文原版，自动化输入英文版（右二）和中文版（右一）
Mantra 团队胜利地实现了 将漫画的中的对话、氛围词、标签等文字自动识别，并做到了辨别角色、分割上下文，最初将翻译文字精确替换、嵌入气泡区域。
有了这个翻译神器，预计翻译组、追漫的小伙伴们都该偷着乐了。
发论文、公开数据集、商业化一条龙
在科研方面，目前该篇论文曾经被 AAAI 2021 接管，钻研团队还开源了一个蕴含五部不同格调（空想、恋情、战斗、悬疑、生存）的漫画，所组成的翻译评估数据集。
OpenMantra 漫画翻译评估数据集
论文地址：_https://arxiv.org/abs/2012.14271_
数据格式：带正文的 JSON 文件和原始图像
数据内容：1593 个句子、848 个场景、214 页漫画
数据大小：36.8 MB
更新工夫：2020 年 12 月 7 日
下载地址：_https://hyper.ai/datasets/14137_
在产品化方面，Mantra 打算上线封装好的主动翻译引擎，不仅面向出版社提供漫画的自动化翻译与发行服务，也会公布面向个人用户的服务。
上面是咱们从 Mantra 官网推特上选取的日漫《周边女子》的局部翻译成绩，这部多格、轻耽美格调的漫画，以生存罕用的数码设备拟人化为背景，充斥欢畅与基情：
《周边女子》日文原版及自动化机器翻译的中英文版本
辨认、翻译、嵌字，一步也不能少
具体的实现步骤，Mantra 钻研团队在论文《Towards Fully Automated Manga Translation 实现漫画全自动翻译》中进行了具体的解释。
第一步 定位文字
在实现漫画自动化翻译的第一步，就是提取文字区域。
但因为漫画的特殊性，来自不同角色的对话、成果拟声词、文字标注等等，都会展当初一幅漫画图片里，漫画师会用气泡、不同的字体、夸大的字体来展示不同成果的文字。
漫画中的手绘、异形文字的辨认成为了难点
钻研团队发现，因为漫画中的这些各种字体和手绘款式，即便应用最先进的 OCR 零碎（例如 Google Cloud Vision API），在漫画文本上的体现很不现实。
因而，团队开发了针对漫画优化的文本辨认模块，通过检测文本行和辨认每个文本行的字符来实现对异形文字的辨认。
第二步 内容辨认
在漫画中，最常见的文字就是角色之间的对话，对话文字气泡还会被切割成多块。
这就要求自动化机器翻译须要精确辨别角色，还得分割上下文留神主语的连接、防止反复，这都对机器翻译提出了更高的要求。
点击放大查看场景分类、文本程序和情感辨认流程
在这一步中，要通过上下文感知、情感辨认等形式来实现，在上下文感知中，Mantra 团队用了文本分组、文本浏览程序、提取视觉语义三种形式，实现了多模态的上下文感知。
第三步 主动嵌字
Mantra 这一自动化引擎，不仅可能辨别角色、分割上下文精确翻译以外，还很好地解决了漫画翻译中的耗时最久、人力老本最高的环节——嵌字。
在嵌字这一环节中，首先要擦除嵌字区域，再进行嵌字，因为日文、中文、英文字符的状态、拼写、组合、连读形式都不一样，所以这一环节的难度也尤其大。
在这一步中，须要进行：页面匹配→检测文本框→文字气泡的像素统计→拆分连贯的气泡→语言间的对齐→文字辨认→上下文提取。
试验：数据集与模型测试
在论文中的试验局部，Mantra 团队提到目前并没有蕴含多种语言的漫画数据集，所以他们创立了 OpenMantra（已开源）和 PubManga 数据集，其中OpenMantra 用于评估机器翻译，蕴含 1593 个句子、848 个场景画面和 214 页漫画，Mantra 团队曾经请专业翻译人员将数据集翻译成英文和中文。
OpenMantra 漫画翻译评估数据集
（同上文）
论文地址：_https://arxiv.org/abs/2012.14271_
数据格式：带正文的 JSON 文件和原始图像
数据内容：1593 个句子、848 个场景、214 页漫画
数据大小：36.8 MB
更新工夫：2020 年 12 月 7 日
下载地址：_https://hyper.ai/datasets/14137_
PubManga 数据集用于评估构建的语料库，该数据集蕴含正文：1）文本和框架的边框；2）日语和英语的文本（字符序列）；3）框架和文本的浏览程序。
为了训练模型，团队筹备了 842097 对日文、英文版的漫画页面，共 3979205 对日语 - 英语的句子。具体的办法能够浏览论文，最终的模型成果评估由人工实现，Mantra 团队邀请了 五位业余的日文 - 英文翻译人员，以业余的翻译评估程序给句子打分。
我的项目背地：乏味的灵魂一起学习
目前该篇论文曾经被 AAAI 2021 收录，产品化的工作也在稳步推动中，从 Mantra 团队的推特中，咱们看到曾经有不少漫画胜利应用了 Mantra 进行自动化机器翻译。
这样的宝藏我的项目，是由两位东京大学的博士生实现的，CEO 石和祥之介（Shonosuke Ishiwatari），CTO 日南凉太（Ryota Hinami）同在东京大学博士毕业，在 2020 年创建了 Mantra 团队。
Mantra CEO 石和祥之介（左）和 CTO 日南凉太（右）
CEO 石和祥之介，是东京大学信息科学系本科 2010 级退学，博士毕业于 2019 年。他次要专一于自然语言解决畛域的钻研和开发，包含机器翻译和字典生成，也是本篇论文的第二作者。
值得一提的是，石和祥之介的钻研经验丰富，不仅已经在 CMU 交换访学，还曾于 2016-17 年在位于北京的微软亚洲研究院实习半年，过后他在 MSRA 首席研究员刘树杰团队从事 NLC (Natural Language Computing) 自然语言计算的钻研。
CTO 日南凉太石和祥之介同年退学，专一于图像识别畛域。在 2016-17 年同期和石和祥之介，一起在微软亚洲研究院实习。
这样的一对技能互补的小伙伴，实现了 Mantra 的大部分工作，是不是从发量到成绩都很让人艳羡呢？
如果想理解更多对于 Mantra 的信息，大家能够拜访论文（_https://arxiv.org/abs/2012.14271_）、我的项目官网_（https://mantra.co.jp/）_或下载数据集_（https://hyper.ai/datasets/14137）_，进行进一步钻研。