乐趣区

关于人工智能:高性价比模型-TSM用-2D-的成本达到-3D-的效果

出品人:Towhee 技术团队

MIT 和 IBM Watson AI Lab 联结提出一种高效的视频了解模型 TSM(Temporal Shift Module),在保留 2D 效率的同时,通过工夫位移模仿 3D 建模进步模型性能。以往的模型了解视频时,须要在传统图片剖析的根底上消耗大量算力补充对于工夫的信息。TSM 的呈现,使得低成本实现高性能视频了解模型成为可能。

TSM:Temporal shifting

2D CNN 和 3D CNN 是视频了解中最罕用的两个办法:应用 2D CNN 模型运算量少,但会丢失局部工夫信息;而应用 3D CNN 尽管成果好,但运算量极大。面对这样的状况,TSM 将工夫位移模块嵌入 2D CNN,从而能够在不增加任何额定的计算量和参数的状况下,轻松的达到与 3D CNN 成果相当的视频理解能力。

参考资料
模型用例:action-classification/tsm
论文: TSM: Temporal Shift Module for Efficient Video Understanding
更多材料:
视频分类 | 论文 2019 TSM: Temporal Shift Module for Efficient Video Understanding
TSM:Temporal Shift Module for 视频了解


更多我的项目更新及具体内容请关注咱们的我的项目(https://github.com/towhee-io/…),您的关注是咱们用爱发电的弱小能源,欢送 star, fork, slack 三连 :)

退出移动版