download：Go 开发者的涨薪通道：自主开发 PaaS 平台外围性能含材料
1 . 简介
本文次要钻研跨模态行人再辨认问题。Re-ID 的指标是从数据库中检索相干人的图像。事实世界中的身份识别系统有时须要日夜辨认同一个人。为此，须要应用两种不同的设施: 白天应用 RGB 摄像头，早晨应用红外 (IR) 摄像头。当查问和图库图像来自不同模式时，显著的模式差别是最突出的挑战。本文试图通过解决模态差别来进步跨模态辨认的成果。从度量学习的角度来看，re-ID 的次要目标是学习一个 类内紧致 类间拆散的嵌入空间。基于深度分类的学习基线是用于身份辨认和人脸识别工作的风行办法。在训练过程中，它将所有具备雷同 ID 的特色拉至相应的代理 (即分类层中的权重向量)。
当这个基线利用于跨模态 re-ID 时，作者发现模态差别显著妨碍了类内紧凑性，如图 1 (a)所示。在基线中，不论其底层模式如何，具备雷同 ID 的所有实例共享一个代理。与模式无关的代理试图适应 IR 和 RGB 个性，并充当它们之间的两头中继。这种中继效应导致对模式差别的相当大的容差。从图 1 (a)中的 t -SNE 可视化中能够察看到，两种模式的特色之间存在显著的模式差别。具备不同 ID 的雷同模态的特色比具备雷同 ID 的不同模态的特色更靠近。例如，ID116 和 ID119 的类间间隔小于 ID-116 的类内间隔。
为了克制模态差别，作者提出了一种记忆加强的单向度量学习办法 (MAUM)，该办法有两个新鲜的设计:(1) 学习单向度量；(2)用记忆库加强。
首先，咱们学习了两个单向指标 (“IR”到“RGB”和“RGB”到“IR”) 来缓解基线的中继效应。MAUM 为每个 ID 学习两个特定的模态代理 (MS-proxy), 如图 1 (b) 所示。RGB(IR)代理只接管来自 RGB(IR)特色的梯度，因而它们能够用于示意非凡模式。而后，解冻它们并应用 RGB 代理作为动态参考来提取 IR 特色，反之亦然。这两个单向指标促成了更好的跨模态相关性。
其次，这两个单向指标通过基于记忆的加强失去进一步强化。每次迭代后，MAUM 将 IR 和 RGB 代理存储在它们各自的记忆库中。因为 MS 代理一直迭代变动 (即“漂移”景象)，每个 ID 在存储体中都有多个不同的 IR 和 RGB 代理，如图 1(b) 所示。一些历史 MS-proxy(与最新 MS-proxy 相比)间隔模态边界更远，因而对相应的模态特色具备更强的“放大”效应。总之，记忆库通过使阳性样本难以辨别来加强 MAUM，从而促成跨模态相干。作者指出，基于记忆的学习揭示了 MAUM 未知但重要的后劲。具体来说，作者用“漂移”来加强参考性。相比之下，以前的钻研认为“漂移”会带来负面影响，并试图防止。如图 1(b)所示，具备雷同 ID 的特色散布严密，这表明模态差别被克制。例如，如图 1(a)所示，ID-116 的类内嵌入显著比基线更紧凑。
除了无效地缩小模态差别之外，所提出的 MAUM 在模态不均衡的状况下也具备非凡的劣势。在训练数据中，因为人在夜间流动较少，红外图像通常比 RGB 图像更稀少，红外图像的标注难度更大。在 MAUM 中，单向测量和基于记忆的加强是基于特定模式的，并且在 IR 代理上的加强独立于在 RGB 代理上的加强，反之亦然。因而，MAUM 能够从新均衡红外和 RGB 模式的加强。通过增益再均衡，补救了红外图像的有余，对模态不均衡具备鲁棒性。
作者的次要奉献总结如下:
(1)针对跨模态辨认问题，提出了一种新的记忆加强的单向度量学习办法。它在两个单向方向上学习明确的跨模态度量，并通过基于记忆的加强进一步加强；
(2)思考了模态不均衡，这是跨模态辨认中一个重要的理论问题。通过调整特定模式的增益，MAUM 对模式不均衡体现出很强的鲁棒性。
(3)综合评估了模态均衡和模态不平衡条件下的办法。试验结果表明，MAUM 在两种状况下都能显著进步跨模态 re-ID 的性能，显著优于现有办法。
2. 相干著述
2.1 跨模态测量学习
首次钻研了异构人脸识别中的跨模态问题。这些晚期的作品都应用了与模态无关的代理来增强类内的紧密性。RGB 受进犯的跨模态行人再辨认首次引入行人再辨认中的跨模态问题，并逐步引起再辨认界的关注。与本文最靠近的工作是通过模态感知的合作集成学习进行跨模态的人从新辨认，这与作者的办法相似，也应用了特定的模态分类层。然而，这两种办法之间存在显著差别。他们应用特定模态分类器的集成来生成用于合作集成学习的加强老师模型；MAUM 应用模态特定分类器来学习模态特定代理，这些代理在收敛后是固定的，并用于学习单向指示器。
2.2 基于记忆的学习
记忆库广泛应用于监督、半监督和无监督零碎。在半监督学习中，利用记忆库获取历史预测的工夫集，增强了未标记样本的最新预测与工夫集的一致性。无监督学习的两个重要研究成果 (MOCO 和监督测量学习(XBM)) 在应用记忆库方面有类似的动机。具体来说，MOCO 减少了存储密钥的数量，以便更好地进行比拟钻研；XBM 通过存储历史特色来进步疑难案例开掘的成果。他们都受害于记忆银行减少负面特色。
在基于记忆学习的背景下，作者指出 MAUM 的新鲜之处在于一种新的跨模态度量学习机制。在 MAUM，记忆银行的益处不是因为工夫一致性 (如半监督学习) 或更多的负样本 (如 MOCO 和 XBM)。MAUM 受害于模型漂移，帮忙 MAUM 取得难以辨别的正样本参考，促成跨模态关联。此外，MAUM 将代理存储在记忆银行中，这能够视为测量学习工作的一种新的模型扩大。相比之下，以前的工作只存储特征向量。
2.3 不均衡数据的学习
数据不均衡是深度学习中的一个重要挑战。以往的钻研多集中在类别不均衡上，解决办法次要有两种，即重采样和从新加权。重采样是指在训练中对少数类 (大量样本) 进行过采样，对高频类 (大量样本) 进行欠采样，以均衡每次迭代中的头尾数据。加权指的是在损失函数中为不同类别甚至不同样本调配自适应权重。
留神到跨模态工作中有一个独特的数据不均衡问题，即模态不均衡。模态不均衡是指一种模态比另一种模态蕴含更多样本的状况。在 MAUM，对特定模式的加强是离开的，容许对特定模式的独立加强，这使得 MAUM 对模式不均衡更鲁棒。
3. 办法
3.1 MAUM
MAUM 的框架如图 2 所示。MAUM 应用 ResNet50 作为骨干，并承受 RGB 和 IR 图像作为输出。MAUM 将第一卷积块分成两个独立的分支，以适应特定模式的低级特色模式，一个用于 RGB，另一个用于 IR。为了进步计算效率，两种模式共享所有卷积模块。对于卷积特色映射，MAUM 应用全局均匀池(GAP) 来为每个输出图像生成深度嵌入。基于这种罕用的骨干设置，提出的 MAUM 着重于其记忆加强的新的单向测量学习办法。
3.1.5 具备组件特色的 MAUM
个性通常能够进步视觉重辨认和跨模态重辨认的性能。为了验证 MAUM 与重量特色兼容，作者引入了一种基于重量特色的变体，即 Maum P，这种变体将最初的卷积特色图依照一个简略的重量特色基线均匀分成六个重量特色。在训练过程中，每个组成部分都有本人的监督。在测试过程中，所有六个组件特色被串联以造成最终的示意。
3.2 模式失衡情景下的 MAUM
在跨模态 re-ID 中，红外图像通常比 RGB 图像稀缺，导致模态不均衡，红外图像更难标注。当模态不均衡达到极限时，一些 id 可能只有一个模态 (例如只有 RGB)。咱们把这两种状况定义为:(1) 模态不均衡场景，每个 ID 有两种状态，红外图像比 RGB 图像少；(2)情态片断情景，有些 id 只有一个情态，而有些则有两个情态。
MAUM 是第一个在跨模态钻研中思考模态不均衡的人。试验表明，模态不均衡显著升高了 re-ID 的精度。在 MAUM，因为加强是基于两种特定模式的记忆库，它们之间的比例能够灵便调整，以补救红外图像样本的有余。因而，MAUM 对模式失衡是持重的。
3.3 机理剖析
本文剖析了 MAUM 记忆加强的机制。作者指出记忆库中积攒的代理漂移是单向度量学习加强的起因。
当咱们在两个不同的训练迭代中察看具备雷同 ID 的代理时，两个察看后果天然是不同的。对于定量分析，同一药剂的两次察看值之间的差别被定义为药剂漂移，如公式(4)。
6. 摘要
本文提出了一种用于跨模态辨认的单向测量学习办法 MAUM。MAUM 有两个长处:(1) MAUM 不应用模式无关的代理作为两个模态之间的两头中继，而是强制应用两个单向度量的显式跨模态关联；(2)通过摸索模型漂移的后劲，MAUM 通过基于记忆的加强进一步增强了跨模态相关性。联合这两个长处，MAUM 显著地克制了模态差别，进步了跨模态辨认的能力。另一个奉献是将模态不均衡问题引入到跨模态 re-ID 社区中，并证实了 MAUM 在该问题中具备较高的鲁棒性和优越性。
在 MAUM，应用两种特定模式的存储体来存储 MS-proxy。尽管这些代理没有梯度，但依然须要一些内存和计算开销来存储和应用它们。当训练集很大时，如工业数据集，其内存和计算开销不可疏忽。如何优化内存和计算开销将是将来工作的重点。