Temporal Extension Module for Skeleton-Based Action Recognition
作者 | Yuya Obinata and Takuma Yamamoto
单位 | FUJITSU LABORATORIES LTD
论文地址｜https://arxiv.org/abs/2003.08951
ICPR2020
在st-gcn的根底上开发了一个模块，在帧与帧之间相邻的关节点之间也增加连贯，益处在于和其余网络联合起来很不便，对于性能也有肯定的进步
但其实很多sota的模型都曾经思考过帧间关节点的链接，同时扩大到了多个尺度，不仅仅是帧间街坊关节点相连
办法
提出了一个用于基于骨架的动作辨认的的时域扩大模块
现有的办法试图在帧内示意更适合的空间图，但疏忽了帧间工夫图的优化
具体来说，这些办法只连贯帧间同一关节对应的顶点。在这篇论文中，着重于在帧间增加与相邻多个顶点的连贯
是提取人体静止中多个关节的相干特色的一种简略而无效的办法
次要奉献如下
- 提出了一个工夫扩大模块，用于帧间时态图的扩大。该模块在提取人体静止中连贯的多个相邻关节的相干特色时简略而无效。
- 在融化试验中的展现了TEM有效性
- 达到了SOTA
相干工作
时空图卷积网络（ST-GCN）是第一个应用GCN对骨架序列进行动作辨认的办法
ST-GCN包含一个空间图和一个工夫图，间接输出一个骨架序列，并从帧内和帧间的关节处提取特色
在这项工作中，着重于扩大工夫图，连贯相邻的多个顶点以及帧间（右）上的同一个顶点。在帧内提出了更适合的空间图，性能失去了显著进步。然而，这些办法疏忽了帧间工夫图的优化
传统的GCN办法将只对应于同一关节的顶点之间的工夫维连接起来，该办法对于提取同一关节轨迹特色具备肯定的成果，然而，因为过于简略不太可能提取帧间各关节间相干静止的特色
钻研指标
优化空间图和工夫图，以进一步提高性能
TEM模块不仅间接将边增加到同一个顶点，而且还间接向相邻的多个顶点增加边，并基于帧间雷同的多个顶点计算卷积
工夫扩大模块
在ST-GCN中退出了这个办法的模块，ST-GCN包含多层时空图卷积操作，将TEM放在空间卷积和工夫卷积层中
以同样的形式很容易地TEM模块实现到基于时空图卷积的网络中
试验
加上这个模块后有肯定的性能晋升