关于android:手部骨骼跟踪能力打造控制虚拟世界的手势密码

52次阅读

共计 1197 个字符,预计需要花费 3 分钟才能阅读完成。

AR 作为一项加强事实技术,带来了虚构数字世界与事实世界的深度交融,这种虚实交融,不仅能利用于虚构汽车展现、虚构室内设计等视觉交互场景,更可通过动作交互管制虚拟世界场景,实现无边界的人机互动。

比方人们在拍摄短视频时,能够不接触屏幕,仅通过做出特定手势来管制特效切换;也能够在拍照时通过手势辨认管制快门拍摄;还能够实现试用美甲样式、戒指试戴等。以上 AR 利用场景需做到准确的手部辨认,这就要用到 AR Engine 的手部骨骼跟踪能力。

手部骨骼跟踪能力可辨认和跟踪 21 个手部关节点的地位和姿势,并输入手指端点、手掌朝向、手部骨骼等手部高级特色,造成手部骨骼模型。当图像中呈现多只手时,只反馈最清晰置信度最高的手的辨认后果和坐标信息,目前仅反对可获取深度信息的指定华为机型。

通过手部骨骼辨认能力,可将虚构物体叠加到更为准确的手部地位,例如手指尖、手掌心等;利用手部骨骼,可驱动虚构手做出更为丰盛和精密的操控动作,可能为 AR 利用提供加强的交互性能,便于拓展更多离奇的玩法。

手部骨骼定义图

利用场景

一、简略的手语翻译

手部骨骼跟踪能力能够造成简略的手语了解。在对手部骨骼关键点进行提取的根底上,依据关键点的变动预测手部姿势,能够将蜿蜒、竖直等手指状态集映射到一组预约义的手势,比方食指直直伸出就代表计数手势“1”,通过此类算法推导出的手势动作,就是造成手语了解的根底,可利用于手语的辨认和翻译。

二、构建非接触式操作界面

科幻电影中经常会呈现人物隔空操作电脑界面的场景,而此类性能基于手部骨骼跟踪能力也能够实现。

通过摄像头对手部骨骼的辨认跟踪,可精确定位指尖等要害节点信息,从而实现对虚构对象的物理交互。比方应用手指按下虚构按钮或其余 UI 元素;捏住虚构对象并开释菜单项;拉伸较大对象上的小指标等物理管制;甚至用手从新调整对象大小或将其存储在虚构口袋中等等。

该性能可利用于医疗行业的机械管制、机车界面管制等。

三、短视频直播互动

AR Engine 的手部骨骼跟踪能力也能够在短视频流传过程中削减一些手部特效,比方当用户在拍摄短视频或直播时做出比耶、点赞、比心等指定手部动作时,可辨认用户手势并叠加相应的特效或贴纸,实现手势触发特效、手部特效跟踪等成果,丰盛视频直播过程中的交互体验。

除此之外,手部骨骼跟踪能力还可利用于影视动画制作、儿童教学、医学痊愈、智能家居管制等畛域。

在 AR 技术疾速倒退的明天,基于手势辨认的人机交互已逐步成为热点,如何实现天然的、合乎人类习惯的手势辨认,是人机交互接口中的一个重要组成部分,作为手势辨认的一项根底能力,手部骨骼跟踪也凸显出了在该畛域的重要位置。华为 AR Engine 心愿该能力可能帮忙开发者们激发出更宽泛的钻研方向和更具创新力的理论利用。

理解更多详情 >>

拜访华为开发者联盟官网
获取开发领导文档
华为挪动服务开源仓库地址:GitHub、Gitee

关注咱们,第一工夫理解 HMS Core 最新技术资讯~

正文完
 0