共计 3157 个字符，预计需要花费 8 分钟才能阅读完成。
摘要：ECCV2020 通过视觉匹配的办法来做文本辨认，解决文档辨认中的文本辨认多样性和泛化性问题
本文分享自华为云社区《论文解读二十三：基于视觉匹配的自适应文本辨认》，作者：wooheng。
引言
本文工作指标是文本辨认的泛化和灵活性，之前的文本识别方法 [1,2,3,4] 在很多的繁多场景下都获得了很好的成果，然而一旦推广到另一个蕴含新字体和新语言的场景，要么应用大量数据从新训练，或者针对每个新样本进行微调。
本文基于一个关键点：文本是无限数量离散实体的反复序列，反复的实体是文本字符串中的字符和字形，即文本行图像中字符 / 符号的视觉示意。假如能够拜访字形示例（即字符的裁剪图像），并要求视觉编码器在给定的文本行图像中定位这些反复的字形。视觉编码器的输入是一个类似度图，它将文本行中每个空间地位与字母表中每个字形的视觉类似度编码，如图 1 所示。解码器摄取该类似度图以推断最可能的字符串。图 2 总结了所提出的办法。
图 1 用于文本辨认的视觉匹配。以后的文本辨认模型从预约义（固定）字母表中学习特定于字符形态（字形）的判断特色。咱们训练咱们的模型来建设给定字符字形（顶部）和要辨认的文本行图像（左侧）之间的视觉相似性。这使得模型高度适应看不见的字形、新字母表（不同的语言），并且无需进一步训练即可扩大到新的字符类，例如英语→希腊语。更亮的色彩对应于更高的视觉相似性。
图 2 自适应视觉匹配的架构。本文将文本辨认问题转化为给定文本线图像中字形样本的视觉匹配问题。左图：体系结构图。视觉编码器 Φ 嵌入字形 g 和文本行 x，并生成相似性映射 S，该映射 S 对每个字形的相似性进行评分。而后，解决（潜在）不齐全视觉匹配中的模糊性，以产生加强的相似性映射 S *。最初，应用 M 中蕴含的实在字形宽度，将相似性分数聚合到输入类概率 P。右图：阐明字形宽度如何编码到模型中。字形宽度带（顶部）的高度与其相应字形示例的宽度雷同，其标量值是以像素为单位的字形宽度。字形宽度映射（底部）是一个二进制矩阵，字母表 A 中的每个字符都有一列；这些列通过将相应的行设置为非零值（=1）来批示字形线图像中字形的范畴。
2. 模型构造
本文的模型通过视觉匹配定位给定的文本行图像中的字形样本来辨认给定的文本行图像。它将文本行图像和蕴含一组样本的字母图像作为输出，并预测 N 个类上的概率序列作为输入，其中 N 等于字母图像中给出的样本数。对于推理，字形线图像是通过并排连贯参考字体的单个字符字形来组装的，而后能够读取该字体中的文本线。
该模型有两个次要局部：（1）视觉相似性编码器（第 2.1 节），它输入编码文本行图像中每个字形的相似性的相似性图，和（2）一个与字母无关的解码器（第 2.2 节），它接管这个相似性映射以推断最可能的字符串。在第 2.3 节中，咱们具体介绍了训练指标。图 2 给出了模型的扼要示意图。
2.1 视觉相似性编码器
输出：所有指标字母的字形；要辨认的文本行图像
目标：失去指标字母的字形在要辨认的文本行图像中的地位
应用视觉编码器 Φ 对字形 g 和文本行 x 进行编码，并且生成类似图 S，示意每一个字形和文本行的每一个地位的类似度。应用余弦间隔计算类似度。
编码器应用有两个残差块的 U-Net 实现，视觉类似度图由文本行和字形行图像沿编码特色宽度的所有地位之间的余弦间隔失去。
2.2 字母无关编码器
字母无关解码器将相似性映射离散为沿文本行图像宽度的所有空间地位的样本中每个字形的概率。
一个简略的实现将预测在相似性映射中每个字形的范畴上聚合的相似性得分的 argmax 或总和。然而，这种策略并不能克服相似性中的模糊性，也不能产生平滑 / 统一的字符预测。因而分两个步骤进行：首先，相似性消歧义通过思考线图像中的字形宽度和地位，解决字母表中字形的歧义，产生加强的相似性映射（S），其次，类聚合器通过聚合 S 中每个字形的空间范畴内的分数来计算字形概率。
打消相似性歧义
现实的相似性映射具备高相似性的方形区域。这是因为字形和文本行图像中字符的宽度将雷同。因而将字形宽度与部分的 x、y 坐标一起应用小型 MLP 编码到类似度图中。x、y 坐标的两个通道（标准化为[0,1]）和字形宽度重叠起来输出到 MLP 中。为了消歧义，本文应用一个自我留神模块并输入与 S 雷同大小的加强相似性的映射 S *。
类聚合器
将类似图 S * 映射到每个字形对应的示例字形的概率 S∗→P，通过乘矩阵 M 实现 P = MS∗，其中 M = [m1, m2 , . . . , m∣A∣]T，mi ∈ {0, 1}=[0,…,0,1,…,1,0,…,0]，其中，非零值对应于字形图像中第 i 个字形的宽度。
推理阶段
在推理阶段应用贪心算法解码。
3. 训练损失函数
应用 CTC 损失监督字形示例 P，以将预测与输入标签对齐。还在每个地位应用辅助穿插熵损失（L sim）来监督视觉编码器 S 的相似性映射输入。应用实在字符边界框来确定每个字符的空间跨度。总体训练由以下两局部损失组成。
4. 试验后果
本文与最先进的文本辨认模型进行了比拟，而后推广到新的字体和语言。
图 3 VS-1、VS-2：泛化到具备 / 不具备已知测试字形和减少训练字体数量的新字体。FontSynth 测试集上的错误率（以 % 为单位；↓为更好）。Ours-cross 代表穿插字体匹配，其中测试字形未知，训练字体被用作字形样本，当样本字体从训练集中随机抉择时显示 mean 和 standard-dev，selected 显示基于置信度主动抉择的最佳匹配示例的后果。R、B、L 和 I 对应于 FontSynth 训练集中的 Regular，Bold，Light，Italic；OS 代表 Omniglot-Seq 数据集。
图 4 VS-3：从合成数据到实在数据的推广。Google1000 英文文档中仅在合成数据上训练模型的均匀错误率（%;↓更好）。LM 代表 6 -gram 语言模型。
5. 论断
本文提出一种文本识别方法，它能够推广到新鲜的字体视觉格调（字体、色彩、背景等），并且不与特定的字母大小 / 语言挂钩。它通过将经典文本辨认从新塑造为视觉匹配辨认来实现这一指标，本文曾经证实了匹配能够利用随机形态 / 字形进行训练。本文的模型可能是第一个 one-shot 序列辨认的模型，与传统的文本识别方法相比领有卓越的泛化能力，而不须要低廉的适配 / 微调。尽管该办法曾经被证实用于文本辨认，但它实用于其余序列辨认问题，如语音和动作辨认。
参考文献
[1] Jeonghun Baek, Geewook Kim, Junyeop Lee, Sungrae Park, Dongyoon Han, Sangdoo Yun, Seong Joon Oh, and Hwalsuk Lee. What is wrong with scene text recognition model comparisons? dataset and model analysis. In Proc. ICCV, 2019.
[2] Zhanzhan Cheng, Yangliu Xu, Fan Bai, Yi Niu, Shiliang Pu, and Shuigeng Zhou. Aon: Towards arbitrarily-oriented text recognition. In Proc. CVPR, 2018.
[3] Chen-Yu Lee and Simon Osindero. Recursive recurrent nets with attention modeling for OCR in the wild. In Proc. CVPR, 2016.
[4] Baoguang Shi, Mingkun Yang, Xinggang Wang, Pengyuan Lyu, Cong Yao, and Xiang Bai. Aster: An attentional scene text recognizer with flexible rectification. PAMI, 2018.
点击关注，第一工夫理解华为云陈腐技术~
