乐趣区

关于深度学习:基于骨架的动作识别时空图路由方法

Spatio-Temporal Graph Routing for Skeleton-Based Action Recognition

paper: https://www.aaai.org/ojs/index.php/AAAI/article/view/4875/4748

基于骨架的动作辨认时空图路由办法

现有的许多办法通常依赖于固定的骨架构造物理连通进行辨认,这不能很好地捕捉到骨架关节之间的外在高阶相关性。本文提出了一种新的基于骨架的动作辨认时空图路由 (STGR) 计划,该计划自适应地学习物理上拆散的骨架关节的外在高阶连通性关系。具体而言,该计划由空间图路由器 (SGR) 和工夫图路由器 (TGR) 两局部组成。SGR 的指标是基于空间维度上的子群聚类来发现关节之间的连通关系,而 TGR 则通过测量工夫关节节点轨迹之间的关联度来摸索构造信息。

在简单的场景中捕获多变的人体构造是一个挑战,带来了三方面的问题:
1)骨架自身是可变的,并且依赖于特定的数据集,例如 NTURGB+ D 中的 25 个关节而 Kinetics 中有 18 个关节,导致对实在人体骨骼的混同;
2)关节连贯的高度不平衡性。当躯干关节适度平滑时 (使得其学到的特色没有差异性),肢体关节可能依然处于欠平滑状态,这给两个肢体关节的特色共享带来极大艰难;
3)对每个样本利用全局图构造,提出了“一刀切”的问题,这可能是次优的。
在固定图的状况下,数据流被限度在预约义的条目中,这大大降低了模型的灵活性。相似于计算机网络,咱们将其称为“动态路由”。
相比之下,咱们更重视寻求更灵便的连贯计划,它针对特定的样本自适应地学习骨架关节之间固有的高阶连通性,称为“动静路由”。

奉献能够总结如下:

• 咱们提出了一种新的时空图路由计划,用于利用骨骼关节之间固有的高阶关系。该模块与分类网络联结学习,更好地匹配动作辨认工作。

• 咱们在图节点上提出了感触野,证实了以前模型的瓶颈是不同节点的感触野的不均衡,从而阐明了该时空图路由计划的有效性。

退出移动版