共计 1012 个字符,预计需要花费 3 分钟才能阅读完成。
近几年,对于动作捕获能力的理论利用场景越来越多,比方科幻电影里特效制作,虚构游戏人物的制作等,这些大多采纳了传统的动作捕获计划。
传统的动作捕获通常有两种解决办法:光学捕获和惯性捕获。
光学动作捕获须要在人体的关键点部位粘贴反射标记,通过多个红外摄像头从不同角度追踪人体身上的光标地位,具备精度高、时延低的劣势,毛病是对场地有严格要求,设施穿戴繁琐,价格也非常低廉。惯性动捕零碎是通过陀螺仪、加速度计等惯性传感器来捕捉人体要害骨骼的旋转信息,相比光学式动捕穿戴不便,但精度较低,易受地磁烦扰。
无论是光学式还是惯性式动捕零碎,都须要穿戴业余的动捕设施,同时老本很高。而华为 3D 建模服务(3D Modeling Kit)最新推出的动作捕获能力,仅须要 RGB 摄像头就能够捕捉人体关键点的旋转信息,让每个人都能够通过手机来实现动作捕获。
技术支持
那么,脱离了辅助设施,华为是采纳了哪些技术来实现低门槛高精准的动作捕获能力的呢?
人体检测技术
进行动作捕获前须要从图像中定位出人体的地位。人体检测技术能够回归出蕴含人体的边界框,依据边界框切割出对应的区域能够去除冗余的背景,不便后续的姿势预计。
3D 人体姿势预计技术
动作捕获能力最要害的一环,是基于深度学习的单目姿势预计算法能够从 RGB 图像中预计出人体关键点的 3D 地位和骨骼的旋转信息,从而能够利用到宽泛的理论场景中。
模型减速与压缩技术
动捕算法最终要部署在端侧,因为存储空间和功耗的限度,对于模型的时延和大小要求都十分严格。一方面,须要针对挪动设施的 CPU 设计适合的轻量化网络结构。另一方面对于训练好的 float32 模型进行参数量化,转化为 int8 模型,并针对局部算子进行优化,压缩模型大小的同时显著进步推理速度。
利用场景
动作捕获能力最宽泛也最间接的利用是用来驱动虚构形象,在虚构直播、游戏和电影制作等场景都有着不少需要。例如在游戏中,利用动作捕获能力,用户上传一段视频即可捕获其中的人物动作,产生对应的数据来驱动游戏中的人物。
另外在短视频畛域,动作捕获能力也大有可为。基于模型的动捕算法能够输入人体网格,在此基础上能够增加各种特效。
除此之外,动作捕获能力还有更多待开发的利用场景和有限的应用价值,华为动作捕获能力极大升高了各行业的开发应用门槛。
理解更多详情 >>
拜访华为开发者联盟官网
获取开发领导文档
华为挪动服务开源仓库地址:GitHub、Gitee
关注咱们,第一工夫理解 HMS Core 最新技术资讯~