共计 620 个字符,预计需要花费 2 分钟才能阅读完成。
出品人:Towhee 技术团队
MIT 和 IBM Watson AI Lab 联结提出一种高效的视频了解模型 TSM(Temporal Shift Module),在保留 2D 效率的同时,通过工夫位移模仿 3D 建模进步模型性能。以往的模型了解视频时,须要在传统图片剖析的根底上消耗大量算力补充对于工夫的信息。TSM 的呈现,使得低成本实现高性能视频了解模型成为可能。
TSM:Temporal shifting
2D CNN 和 3D CNN 是视频了解中最罕用的两个办法:应用 2D CNN 模型运算量少,但会丢失局部工夫信息;而应用 3D CNN 尽管成果好,但运算量极大。面对这样的状况,TSM 将工夫位移模块嵌入 2D CNN,从而能够在不增加任何额定的计算量和参数的状况下,轻松的达到与 3D CNN 成果相当的视频理解能力。
参考资料
模型用例:action-classification/tsm
论文: TSM: Temporal Shift Module for Efficient Video Understanding
更多材料:
视频分类 | 论文 2019 TSM: Temporal Shift Module for Efficient Video Understanding
TSM:Temporal Shift Module for 视频了解
更多我的项目更新及具体内容请关注咱们的我的项目(https://github.com/towhee-io/…),您的关注是咱们用爱发电的弱小能源,欢送 star, fork, slack 三连 :)
正文完