1 概述
现阶段视频分类算法，次要聚焦于视频整体的内容了解，给视频整体打上标签，粒度较粗。较少的文章关注时序片段的细粒度了解，同时也从多模态角度剖析视频。本文将分享应用多模态网络进步视频了解精度的解决方案，并在 youtube-8m 数据集中获得较大晋升。
2 相干工作
在视频分类人物中，NeXtVLAD[1] 被证实是一种高效、疾速的视频分类办法。受 ResNeXt 办法的启发，作者胜利地将高维的视频特征向量合成为一组低维向量。该网络显着升高了之前 NetVLAD 网络的参数，但在特色聚合和大规模视频分类方面依然获得了显着的性能。
RNN[2] 已被证实在对序列数据进行建模时表现出色。钻研人员通常应用 RNN 对 CNN 网络难以捕捉的视频中的工夫信息进行建模。GRU[3] 是 RNN 架构的重要组成部分，能够防止梯度隐没的问题。Attention-GRU[4] 指的是具备留神机制，有助于辨别不同特色对以后预测的影响。
为了联合视频工作的空间特色和工夫特色，起初又提出了双流 CNN[5]、3D-CNN[6]、以及 slowfast[7]和 ViViT[8]等。尽管这些模型在视频了解工作上也获得良好的体现，但还有晋升的空间。比方，很多办法只针对单个模态，或者只对整个视频进行解决，没有输入细粒度的标签。
3 技术计划
3.1 整体网络结构
本技术计划是旨在充沛学习视频多模态（文本、音频、图像）的语义特色，同时克服 youtube-8m 数据集样本极不平衡和半监督的问题。
如 Figure 1 所示，整个网络次要由后面混合多模态网络（mix-Multmodal Network）和前面的图卷积网络（GCN[9]）组成。mix-Multmodal Network 由三个差异化的多模态分类网络形成，具体差异化参数在 Table1 中。
Figure 1. 整体网络结构
Table 1. 三个差异化的 Multimodal Net 的参数
3.2 多模态网络
如图 Figure 2 所示，多模态网络次要了解三个模态（文本、视频、音频），每个模态都蕴含三个过程：根底语义了解、时序特色了解、模态交融。其中，视频和音频的语义了解模型别离应用的是 EfficientNet[10]和 VGGish，时序特色了解模型是 NextVLAD。而文本的时序特色了解模型为 Bert[11]。
多模态特色交融，咱们采纳的是 SENet[12]。SENet 网络的前解决须要将各个模态的特色长度强行压缩对齐，这样会导致信息失落。为了克服这个问题，咱们采纳了多 Group 的 SENet 的网络结构。试验表明，多个 group 的 SENet 网络相较于单个 SENet 学习能力更强。
Figure 2. 多模态网络结构
3.3 图卷积
因为 Youtube-8M 粗粒度标签全副标注，细粒度标签只标注了局部数据。因而，引入 GCN 来进行半监督分类工作。根本思维是通过在节点之间流传信息来更新节点示意。对于多标签视频分类工作，标签依赖关系是一个重要信息。
咱们应用标签之间的条件概率将标签相干信息引入咱们的建模。基于 Youtube-8M 数据集粗粒度标签，咱们首先统计每个标签的呈现次数，失去一个矩阵 \(N∈Rᶜ \)。\(C \) 是所有类别的数量。而后咱们统计所有标签对的并发次数，这样就能够失去并发矩阵 \(M∈Rᶜ﹡ᶜ \)。最终失去条件概率矩阵 \(P∈Rᶜ﹡ᶜ \)：
\(Pᵢⱼ \)示意标签 \(i \)呈现时标签 \(j \)的呈现概率。
然而，来自训练和测试数据集的共现矩阵可能并不完全一致，数据集标签也不是 100% 正确。另一方面，一些常见的共现对咱们来说可能不是真正的关系，可能只是乐音。因而，咱们能够应用阈值 \(λ \)将 \(Pᵢⱼ \)过滤到 \(Pᵢⱼ’ \)：
在咱们的工作中，每个标签将是图（graph）的一个节点（node），两个节点之间的线示意它们的关系 [13] [14]。所以咱们能够训练一个矩阵来示意所有节点的关系。
以从咱们的数据集中提取的一个简化的标签相干图 Figure 3 为例，Label BMW –> Label Car，示意当 BMW 标签呈现时，Label Car 很可能产生，但反之则不肯定。标签 Car 与所有其余标签具备高度相关性，没有箭头的标签示意这两个标签彼此没有关系。
Figure 3. 标签相关性示意图
GCN 网络实现如 Figure 4 所示。GCN 模块由两层重叠的 GCN（GCN(1) 和 GCN(2)）组成，它们有助于学习标签相干图，以将这些标签示意映射到一组相互依赖的分类器中。\(A \)是输出相关矩阵，\(P’ \)由矩阵的值初始化。
\(W₁ \)和 \(W₂\)是将在网络中训练的矩阵。\(W \)是 GCN 学习到的分类器权重。
Figure 4. GCN 网络结构
3.4 标签重加权
Youtube-8M 视频分类工作是一个多标签分类工作，然而，正文数据仅抉择多标签中的一个进行标注为 1，其余标签均为 0。也就是说，某一个视频片段除了可能是标注的还可能是其余置为 0 的标签。这个问题也是个弱监督问题。
针对此状况，咱们提出了一种解决办法。在计算损失时给带正文的类赋予较大的权重，并为未正文的类赋予较小的权重 [15]。这种加权穿插熵办法将帮忙模型更好地从不残缺的数据集中学习。
原始二元穿插熵损失函数为：
其中 \(y∈Rᴮ﹡ᶜ \)是视频片段的标签，\(p∈Rᴮ﹡ᶜ \)是模型预测后果 Prediction，\(B \)是 batch size，\(C \)是所有类的数量。
新的标签重加权损失函数如下：
其中，权重 \(w∈Rᴮ﹡ᶜ \)定义为：
\(n \)是增加到未正文类的小权重，\(m \)是已正文类的大值权重。
3.5 特色加强
为了防止在训练模型时过拟合，咱们增加了随机生成的高斯噪声并随机注入到输出特征向量的每个元素中。
如 Figure 6 所示，噪声将被增加到输出特征向量中，掩码向量随机抉择 50% 的维度并将值设置为 1。这里的高斯噪声是独立的，但对于不同的输出向量具备雷同的散布。
Figure 6. 加高斯噪声
同时，为了防止多模态模型只学习某一个模态的特色，也就是在模态上过拟合。咱们将模态特色也 mask，保障输出中至多有某一个模态，如 Figure 7 所示。这样就能够充沛学习各个模态。
Figure 7. 模态 Mask
4 试验
4.1 评估指标
模型性能依据 \(MAP@K \) 进行评估，其中 \(K=100,000 \)。
其中，\(C \) 是类数，\(n \) 是为每个类预测的段数。\(N \)是每个类的正标记段数。\(P(k) \)是前 \(k \)个预测片段的精度。\(rel(k) \)是一个函数，用于判断排名 \(k \)的片段是否被正确预测（如果正确则等于 1，否则为 0）。
4.2 试验后果
4.2.1 多模态
为了验证多模态中每个模态的收益，咱们做了融化试验，后果如 Table 2 所示。单个模态作为特色时，Video 的准确率最高，Audio 的准确率最低，Text 靠近 Video。双模态时，Video + Text 由显著晋升，再加上 Audio 后，晋升无限。
Table 2. 多模态融化试验
4.2.2 图卷积
同样为验证 GCN 的收益，咱们也做了比照试验，其中阈值 λ 咱们抉择了两个，别离是 0.2 和 0.4。如 Table 3 所示，结果表明，原始模型（org）相比，GCN 生成的分类器有助于进步性能，特地时当 λ =0.4 时。
Table 3. 图卷积试验
4.2.3 差异化的多模态网络
为了验证并联的多模态网络和差异化后的成果，咱们设计五组试验。第一组模型是独自的 1 个多模态网络，第二、三、四组是 2 个、3 个、4 个并联的多模态网络，第五组是差异化的 3 个并联的多模态网络。
从后果来看，并联网络能进步精度，然而并联 4 个当前进度会降落，所以一味的减少并联的网络数并不能带来收益。同时，试验后果还表明，差异化的网络结构能更无效的拟合数据。
Table 4. 差异化多模态网络试验
4.2.4 标签重加权
标签重加权由两个超参（n 和 m），通过试验表明，当 n =0.1 和 m =2.5 时准确率进步较高。
Table 5. 标签重加权试验
4.2.5 特色加强
特色加强属于数据加强的一种。试验表明，通过退出高斯噪声，和 mask 掉某些模态，都能进步模型的泛化能力。且此种退出高斯噪声形式，实现简略，迁移性强，易于再其余网络中实现。
Table 6. 特色加强试验
5 总结
试验表明，上述几种办法均有不同水平的进步，尤其以多模态和图卷积晋升比拟显著。咱们心愿在将来摸索更多的标签依赖关系。GCN 网络也被证实在这项工作中很有用，咱们认为值得咱们做更多的试验，将 GCN 网络与其余最先进的视频分类网络联合起来。
援用
[1]. Rongcheng Lin, Jing Xiao, Jianping Fan: NeXtVLAD: An Efficient Neural Network to Aggregate Frame-level Features for Large-scale Video Classification. In: ECCV, workshop(2018)
[2]. Jeffrey L Elman. Finding structure in time. Cognitive science, 14(2):179–211, 1990
[3]. Kyunghyun Cho, Bart Van Merrienboer, ¨ Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using rnn encoder-decoder for statistical machine translation. arXiv, 2014.
[4]. Jan K Chorowski, Dzmitry Bahdanau, Dmitriy Serdyuk, Kyunghyun Cho, and Yoshua Bengio. Attention-based models for speech recognition. In NIPS, pages 577–585, 2015.
[5]. Karen Simonyan, Andrew Zisserman, Two-Stream Convolutional Networks for Action Recognition in Videos. In: NIPS (2014)
[6]. Du Tran, Lubomir Bourdev, Rob Fergus, Lorenzo Torresani, Manohar Paluri Learning Spatiotemporal Features With 3D Convolutional Networks. In: ICCV(2015)
[7]. Christoph Feichtenhofer, Haoqi Fan, Jitendra Malik, Kaiming He, SlowFast Networks for Video Recognition. In: CVPR (2019)
[8]. Anurag Arnab, Mostafa Dehghani, Georg Heigold, Chen Sun, Mario Lučić, Cordelia Schmid, ViViT: A Video Vision Transformer. In: CVPR (2021)
[9]. Zhao-Min Chen, Xiu-Shen Wei, Peng Wang, Yanwen Guo: Multi-Label Image Recognition with Graph Convolutional Networks. In: CVPR (2019)
[10]. Mingxing Tan, Quoc V. Le, EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks, PMLR 97:6105-6114, 2019
[11]. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova, BERT: Pre-training of deep bidirectional transformers for language understanding. In North American Association for Computational Linguistics (NAACL), 2019
[12]. Jie Hu, Li Shen, Gang Sun, Squeeze-and-Excitation Networks. In: CVPR (2018)
[13]. Zhang Z, Sabuncu M. Generalized cross entropy loss for training deep neural networks with noisy labels[C]//Advances in neural information processing systems. 2018: 8778-8788.
[14]. Pereira R B, Plastino A, Zadrozny B, et al. Correlation analysis of performance measures for multi-label classification [J]. Information Processing & Management, 2018, 54(3): 359-369.
[15]. Panchapagesan S, Sun M, Khare A, et al. Multi-Task Learning and Weighted Cross-Entropy for DNN-Based Keyword Spotting[C]. 2016: 760-764.