Spatio-Temporal Graph Routing for Skeleton-Based Action Recognition

paper: https://www.aaai.org/ojs/index.php/AAAI/article/view/4875/4748

基于骨架的动作辨认时空图路由办法

现有的许多办法通常依赖于固定的骨架构造物理连通进行辨认，这不能很好地捕捉到骨架关节之间的外在高阶相关性。本文提出了一种新的基于骨架的动作辨认时空图路由 (STGR) 计划，该计划自适应地学习物理上拆散的骨架关节的外在高阶连通性关系。具体而言，该计划由空间图路由器 (SGR) 和工夫图路由器 (TGR) 两局部组成。SGR 的指标是基于空间维度上的子群聚类来发现关节之间的连通关系，而 TGR 则通过测量工夫关节节点轨迹之间的关联度来摸索构造信息。

在简单的场景中捕获多变的人体构造是一个挑战，带来了三方面的问题：
1）骨架自身是可变的，并且依赖于特定的数据集，例如 NTURGB+ D 中的 25 个关节而 Kinetics 中有 18 个关节，导致对实在人体骨骼的混同；
2）关节连贯的高度不平衡性。当躯干关节适度平滑时 (使得其学到的特色没有差异性），肢体关节可能依然处于欠平滑状态，这给两个肢体关节的特色共享带来极大艰难；
3）对每个样本利用全局图构造，提出了“一刀切”的问题，这可能是次优的。
在固定图的状况下，数据流被限度在预约义的条目中，这大大降低了模型的灵活性。相似于计算机网络，咱们将其称为“动态路由”。
相比之下，咱们更重视寻求更灵便的连贯计划，它针对特定的样本自适应地学习骨架关节之间固有的高阶连通性，称为“动静路由”。

奉献能够总结如下：

• 咱们提出了一种新的时空图路由计划，用于利用骨骼关节之间固有的高阶关系。该模块与分类网络联结学习，更好地匹配动作辨认工作。

• 咱们在图节点上提出了感触野，证实了以前模型的瓶颈是不同节点的感触野的不均衡，从而阐明了该时空图路由计划的有效性。