——书接上文
Training
半监督网络的训练分两步进行：
a)对标记数据独立训练学生模块，由老师模块生成伪标签；
b)联合两个模块的训练，失去最终的预测后果。伪标签框架
试验数据集：
TableBank 是文档剖析畛域中用于表辨认问题的第二大数据集。该数据集有 417,000 个通过 arXiv 数据库爬虫过程正文。该数据集具备来自三类文档图像的表格：LaTeX 图像（253,817）、Word 图像（163,417），以及两者的组合（417,234）。它还包含一个用于辨认表格的构造的数据集。在论文的试验中，只应用进行表检测的数据。
PubLayNet 是一个大型公共数据集，训练集中有 335,703 张图像，验证集中有 11,240 张图像，测试集中有 11,405 张图像。它包含正文，如多边形宰割和图形的边界框，列出题目、表格和来自钻研论文和文章的图像文本。应用 coco 剖析技术对该数据集进行了评估。在试验中，作者只应用了 86,460 个表正文中的 102,514 个。
DocBank 是一个蕴含 5000 多个带正文的文档图像的大型数据集，旨在训练和评估诸如文本分类、实体辨认和关系提取等工作。它包含题目、作者姓名、附属关系、摘要、注释等方面的正文。
ICDAR-19：表检测和辨认（cTDaR）比赛于 2019 年由 ICDAR 组织。对于表格检测工作（TRACKA），在较量中引入了两个新的数据集（古代和历史数据集）。为了与之前的最先进的办法进行间接比拟，试验提供了在 IoU 阈值范畴为 0.5-0.9 的古代数据集上的后果。
试验设置细节：
试验应用在 ImageNet 数据集上事后训练的 ResNet-50 为主干的可变形 DETR 作为检测框架，以评估半监督办法的有效性。在 PubLayNet、ICDAR-19、DocBank 和 TableBank 的三类数据集上进行训练。试验应用 10%、30% 和 50% 的标记数据，其余的作为未标记数据。伪标记的阈值设置为 0.7。将所有试验的训练周期设置为 150，在第 120 期的学习率升高了 0.1 倍。利用强加强作为程度翻转，调整大小，去除斑块，裁剪，灰度和高斯含糊。试验应用程度翻转来利用弱加强。可变形 DETR 解码器输出的 query 数的值 N 被设置为 30，因为它能给出最好的后果。除非另有阐明，试验都应用 mAP（AP50：95）度量来评估后果。
试验后果探讨：
TableBank：
试验提供了对不同比例的标签数据的表库数据集的所有宰割的试验后果。还比拟了基于 transformer 的半监督办法与以前的基于深度学习的监督和半监督办法。
此外，试验给出了 10% 标记数据的 TableBank-both 数据集在所有 IoU 阈值下的后果。表 1 提供了半监督办法在 TableBank-latex, TableBank-word, 和 TableBank-both 数据集，别离 10%、30% 和 50% 标记数据时的试验后果。它表明，在 10% 标记数据时，TableBank-both 数据集的 AP50 值最高，为 95.8%，TableBank-latex 为 93.5%，TableBank-word 有 92.5%。
表格的半监督学习的定性分析如图 5 所示。图 5 的 (b) 局部有一个与行和列构造类似的矩阵，网络将该矩阵检测为一个表格，给出 false positive 检测后果。
在这里，不正确的检测结果表明网络不能提供正确的表格区域检测。表 2 给出了这种半监督办法对 10% 标签数据上的所有数据集的不同 IoU 阈值的后果。在 TableBank10% 标记数据集上应用不同的 ResNet-50 骨干的半监督网络的准确率、召回率和 f1-score 的可视化比拟如图 6 所示。
与以前的监督办法和半监督办法的比拟
表 3 比拟了 ResNet-50 骨干上基于深度学习的监督网络和半监督网络。还将在 10%、30% 和 50%TableBank-both 数据集标签数据上训练的监督可变形 DETR 与应用可变形 transformer 的半监督办法进行了比拟。
结果表明，基于 attention 机制的半监督办法应用候选生成过程和后处理步骤，如非最大克制（NMS），获得了可观的后果。
PubLayNet：
试验探讨了在 PubLayNet 表类数据集上对不同标记数据百分比的试验后果。还比拟了基于 transformer 的半监督办法与以前的基于深度学习的监督和半监督办法。此外，试验给出了 10% 标记数据的 PubLayNet 数据集上的所有 IoU 阈值的后果。表 4 提供了半监督办法的后果，该办法对 PubLayNet 表类数据应用可变形 transformer 来解决标记数据的不同百分比。在这里，10%、30% 和 50% 的标记数据的 AP50 值别离为 98.5%、98.8% 和 98.8%
此外，半监督网络在 10% 的标记的 PubLayNet 数据集上，在不同的 IoU 阈值上进行训练。表 5 给出了半监督办法对 10% 标记数据上的 PubLayNet 表类的不同 IoU 阈值的后果。
在 PubLayNet 表类的 10% 标记数据集上，在不同的 IoU 阈值上应用具备 ResNet-50 骨干的可变形 transformer 网络的半监督网络的准确率、召回率和 f1-score 的可视化比拟如图 6（b）所示。这里，蓝色示意不同 IoU 阈值的准确率后果，红色示意不同 IoU 阈值的召回后果，绿色示意对不同 IoU 阈值的 f1-score 后果。
与以前的监督办法和半监督办法的比拟
表 6 比拟了应用 ResNet-50 骨干网的 PubLayNet 表类上基于深度学习的监督网络和半监督网络。还比拟了在 10%、30% 和 50% 的 PubLayNet 表类标签数据上训练的有监督的可变形 detr 与应用可变形 transformer 的半监督办法。它表明，半监督办法不应用候选和后处理步骤，如非最大克制（NMS），提供了有竞争力的后果。
DocBank:
试验探讨了在 DocBank 数据集上的不同标签百分比数据的试验后果。在表 7 中比拟了基于 transformer 的半监督办法与以前的基于 cnn 的半监督办法。
此外，还比拟了表 8 中对不同比例的标记数据的半监督办法与之前针对不同数据集的表格检测和文档分析方法。尽管不能间接比拟作者的半监督办法与以前的监督文档分析方法。然而，能够察看到，即便有 50% 的标签数据，作者也取得了与以前的监督办法相似的后果。
ICDAR-19：
试验还评估了在 Modern Track A 数据集上的表格检测办法。作者总结了该办法在不同百分比的标签数据下的定量后果，并将其与表 9 中以前的监督表格检测办法进行了比拟。在更高的 IoU 阈值 0.8 和 0.9 下评估后果。为了与以前的表格检测办法进行间接比拟，作者还在 100% 的标签数据上评估了论文的办法。论文办法在 100% 标签数据的 IoU 阈值上取得了 92.6% 的准确率和 91.3% 的召回率。
融化试验：
伪标记相信阈值
阈值（称为相信阈值）在决定生成的伪标签的准确性和数量之间的均衡方面起着重要的作用。随着这个阈值的减少，通过过滤器的样本将会更少，但它们的品质将会更高。相同，较小的阈值将导致更多的样本通过，但 false positive 的可能性更高。从 0.5 到 0.9 的各种阈值的影响如表 10 所示。依据计算结果，确定最优阈值为 0.7。
可学习 query 数量的影响
在剖析中，作者钻研了扭转作为可变形 DETR 解码器中输出的 query 数量的影响。图 7 通过扭转作为可变形 DETR 解码器中输出的对象 query 的数量来比拟预测后果。当 query 数 N 设置为 30 时，达到最佳性能；偏离此值会导致性能降落。表 11 显示并剖析了不同对象 query 数量的后果。为 N 抉择一个较小的值可能会导致模型无奈辨认特定的对象，从而对其性能产生负面影响。另一方面，抉择一个较大的 N 值可能会导致模型因为过拟合而体现不佳，因为它会谬误地将某些区域分类为对象。此外，在师生模块中，该半监督自留神机制的训练复杂度依赖于对象 query 的数量，并通过最小化对象 query 的数量来升高复杂度而失去进步。
论断
本文介绍了一种利用可变形 transformer 对文档图像进行表格检测的半监督办法。该办法通过将伪标签生成框架集成到一个简化的机制中，加重了对大规模正文数据的须要，并简化了该过程。同时生成伪标签产生了一个被称为“飞轮效应”的动静过程，随着训练的进行，一个模型不断改进另一个模型产生的伪边框。在该框架中，应用两个不同的模块学生和老师，对伪类标签和伪边界框进行了改良。这些模块通过 EMA 性能互相更新，以提供准确的分类和边界框预测。
结果表明，当利用于 TableBank 和 PubLayNet 训练数据的 10%、30% 和 50% 时，该办法的性能超过了监督模型的性能。此外，当对 PubLayNet 的 10% 标记数据进行训练时，该模型的性能与以后基于 cnn 的半监督基线相比拟。在将来，作者的指标是钻研标记数据的比例对最终性能的影响，并开发出以最小数量的标记数据无效运行的模型。此外，作者还打算采纳基于 transformer 的半监督学习机制来进行表构造辨认工作。
参考文献：
Gao L C, Li Y B, Du L, Zhang X P, Zhu Z Y, Lu N, Jin L W, Huang Y S, Tang Z . 2022.A survey on table recognition technology. Journal of Image and Graphics, 27(6): 1898-1917.
M Kasem , A Abdallah, A Berendeyev，E Elkady , M Abdalla, M Mahmouda, M Hamada, D Nurseitovd, I Taj-Eddin.Deep learning for table detection and structure recognition: A survey.arXiv:2211.08469v1 [cs.CV] 15 Nov 2022
S A Siddiqui , M I Malik,S Agne , A Dengel and S Ahmed. DeCNT: Deep Deformable CNN for Table Detection. in IEEE Access, vol.6, pp.74151-74161, [DOI: 10.1109/ACCESS.2018.2880211]
T Shehzadi, K A Hashmi, D Stricker, M Liwicki , and M Z Afzal.Towards End-to-End Semi-Supervised Table Detection with Deformable Transformer.arXiv:2305.02769v2 [cs.CV] 7 May 2023