关于音视频:打破虚拟边界的视频交互新方式AR-隔空书写的应用理念和探索实践

32次阅读

共计 1759 个字符,预计需要花费 5 分钟才能阅读完成。


AR 隔空书写演示

随着技术的倒退和超视频化的时代驱动,交互的模式日渐丰盛。从屏幕点触,到语音交互,人脸、指纹、声纹,再到近年风行的 AR 和 VR……人类早在语言呈现之前便习惯应用肢体和手势这种近乎本能的沟通形式来进行交换,作为最根底和天然的交互方式,手势交互的利用场景越来越多。

以后,市面上大部分视频利用的手势交互逻辑,次要是通过某个具体手势触发预置的单个特效,这种较为简单的交互不仅不能施展出人类灵便手掌的后劲,在终端上的辨认成果也有较大的晋升空间。

尤其是受疫情影响以及在音视频会议和协同办公需要微小的明天,应用实体白板画图写字进行近程沟通和合作十分艰难。

尽管市面上有相似虚构白板的产品,然而这类产品次要还是依赖于鼠标等设施来进行输出,咱们能够利用手势的人造劣势,代替鼠标、键盘、触屏等交互方式,实现 AR 隔空书写,在办公、生存、娱乐场景施展其微小价值。

AR 隔空书写,突破虚构白板壁垒

如何通过 AR 隔空书写来实现一个欠缺的虚构白板?

最间接的想法是把写字的内容渲染在屏幕上,例如最近一个较火的开源我的项目“Yoha”便是通过这个想法实现了成果,但这也面临着因为摄像头视角无限导致字无奈写得很小和书写内容无限等问题。

另一种计划,能够通过先书写一部分内容,将其放大后,再写另一部分内容。这种解决方案看似可行,却面临着排版艰难以及前后内容连续性差等问题。

阿里云视频云美颜特效 SDK(以下简称“美效 SDK”)的 AR 隔空书写能力,通过把 AR 隔空书写的窗口悬浮在虚构白板上,使得 AR 隔空书写窗口能够自在的放大、放大、平移,这样用户就能够自在管制写字的大小和地位,对书写内容的排版也会更具操控性。

对于摄像头捕获的每一帧图像的边缘进行裁剪,而后再悬浮在白板上,用户能够放大或放大 ROI 窗口,来实现对书写内容的大小和精密度的管制。

用户还能够通过挪动 AR 隔空书写窗口来管制写字的地位。

当使用者的手势(虚构笔尖)移到 AR 窗口边缘左近的时候,AR 窗口将会主动朝对应的方向挪动(参考 DOTA、LOL、魔兽争霸等游戏挪动窗口)。

参考动图,这种身材不须要挪动的操作形式不仅合乎人的书写应用习惯,也使得挪动窗口的便利性和应用舒适性大大提高。

阿里云视频云将该 AR 隔空书写能力作为“暗藏黑科技”集成在钉钉的音视频会议硬件产品中,该能力能够帮忙参会者在近程会议中通过隔空书写或是画图来助力沟通。在近期的钉钉发布会上,阿里云视频云也对该能力进行了交互展现。

https://www.youku.com/video/X…

钉钉 2022 线上发布会,AR 隔空书写现场演示

丰盛虚构特效,让视频交互更趣意

AR 隔空书写还能够和粒子特效联合,展现出雪花、火焰、水滴、花瓣、烟雾等各类丰盛炫酷的特效,为用户进行共性创作提供施展空间,让视频交互更美感、更乏味。

AR 隔空书写能力近日上线于阿里云视频云的美效 SDK,这是基于自研的面部关键点位技术,反对画面丑化、人像美颜、抠像制作、贴纸美妆、动作辨认、智趣交互、抠像解决等多种个性化的定制美效交互服务。

美效 SDK 具备多维度劣势:

  • 成果好:性能全面、一键组合与逐项 DIY
  • 包体小:根底美颜性能仅需 0.78M
  • 性能优:Android 最低反对 4.3 零碎,iOS 零碎最低反对到 iOS-8 零碎,Mac 反对最新 M1
  • 接入疾速可定制:独立组装拆解、按需参数级调整定制

基于一系列的利用劣势,美效 SDK 实用于直播、拍摄、会议、电商等多种业务场景,完满均衡了成果丑化与性能开销的问题,助力视频交互更丰盛智趣。

能够预感的是,手势交互是将来人机交互必不可少的一部分,一个轻捷无边界的沉迷式虚拟世界,不可能齐全依赖“手持设施”和实体的“触点交互”,用技术解放双手才是虚构与事实无缝链接的正确打开方式。

视频化场景的交互瓶颈已初显,阿里云视频云基于美效 SDK 的 AR 隔空书写能力的研发与利用,为超视频化时代的智趣新交互提供了更多可能,推动视频交互走向更远。

想体验 AR 隔空书写 Demo 或者交换的读者欢送钉钉搜寻群号:34197869,或扫下方二维码退出

「视频云技术」你最值得关注的音视频技术公众号,每周推送来自阿里云一线的实际技术文章,在这里与音视频畛域一流工程师交换切磋。公众号后盾回复【技术】可退出阿里云视频云产品技术交换群,和业内大咖一起探讨音视频技术,获取更多行业最新信息。

正文完
 0