互联网时代，电脑是计算平台的外围，而鼠标和键盘作为互联网第一代交互方式，曾彻底引燃了电脑时代。到了挪动互联网时代，智能手机开始站上计算平台的外围地位，多点触摸操作成为第二代革命性交互方式的标记。
交互方式从一维的按键、点击交互，演变到了二维的多点触摸交互。咱们看到，正在迈向的万物互联数字世界，三维多模交互伎俩必将在新的计算平台 XR（AR/VR/MR 的统称）中表演极其重要的角色，为智能世界打造极致的超现实用户体验。如果说，Windows 零碎的图形化界面把人们从 Dos 零碎下解放出来，用更合乎直觉和兽性的办法让人们对电脑进行操作是一次新技术的逾越的话，多模交互超现实体验则是另外一次意义更为深远的跳跃。网络和电脑技术，终于使得数字世界和事实世界全面交融，人类降级为真正意义上的数位人。
实现超现实体验的前提是什么？
多模交互的超现实体验，须要虚拟世界与真实世界的无缝交融，并可能精确感知、还原世界，在虚实联合的混合事实世界中了解用户的用意。此外，多模交互须要买通视觉、听觉、触觉、嗅觉等多种感官体验，实现人与成千上万种边缘设施之间的交互。为实现这个指标，须要将用户所处的整体环境作为一个超级数字世界来看待，依靠语言、肢体、触觉、光感、脑机、表情、意识等，进行信息采集和传输，并辨认用户用意、再通过裸眼 3D、全息投影、AR 眼镜、数字嗅觉和数字触觉等科技出现给用户，从而实现超现实的交互体验。
在超现实体验里，传统的鼠标、键盘和多点触摸交互曾经无奈满足 XR 设施的交互要求。简略的说，在没有实体屏幕和物理管制设施的前提下，人类无奈在一个虚构三维环境里，通过简略的键盘、鼠标或多点触摸来实现简单的命令输入。以手势操控为例，终端设备须要捕捉到三维空间内手指的动作，同时实现对工夫和空间的判断，并同步收回指令以实现用户的用意。终端设备还必须清晰判断出用户收回的语音指令，甚至依据用户的行为习惯来判断用户的下一步用意是什么。这种交互方式，就是咱们常说的本能交互 – 最大化以用户心智模型登程，应用共识或易学、易用的操作，让用户少点思考、少点纳闷、少点重复。
真正的挑战来了
尽管超现实体验将来可期，但现有的交互设施和交互环境，还不能实现较高的操作精度，面向个别消费者的产品，依然须要技术和商业上的一直冲破。
- 面向挪动
对挪动地位的管制来说，设施须要实现用户在三维空间上的原始解放。置身于近乎有限的在虚拟空间中，用户能够在虚构的三维空间中不受任何限度的挪动。这种不受限的口头，尽管使用户的感官上曾经从事实世界里脱离了进去，但本身依然无奈脱离物理世界。相对的口头自在，是对环境规定的否定。所以物理世界与数字世界依然须要进一步的交融，能力让用户解脱事实世界的解放真正进入虚拟世界里去。这种交融的前提是：通过一种内部的框架来实现的撑持和随动。 - 面向手部操作
用户的手部操作个别占日常整体动作的八成以上，如果没有精准的手部动作捕获、特色追踪、动作辨认、空间定位系统，整个基于手部的操作环境都难以建设。手部操作的功能性体现在终端的业务执行；手部操作表白性体现在窗口文字内容输入；手部操作的社交性体现在肢体语言上，由手势和肢体动作独特形成。
因而，手部交互设施除了要合乎以上的根底条件之外还要遵循轻量级、可拓展、开放性强等特点。 - 面向数据输出
从某种程度上来说，XR 是人类真正数据化本身的开始。在这个终点，用户的所有行为都能够被数据采集。同时，数据监测的范畴也无效扩充了，能够预感，将来肯定是行为心理学和统计学的胜利。除去用户肢体行为造成的数据，用户在任何地位的停留、视觉抉择、手部操作，都能够成为用户集体数据的采集领域。而事不宜迟，是否造成一套基于动作、语言的数据输出交互零碎，对现阶段持续无效推动 XR 倒退演进具备重要意义。有了高效的数据输出零碎，用户能力进步表白效率，高效的输出意味着用户能够遵循更加牢靠的输出交互逻辑。
写在最初
MR(混合事实)、VR(虚拟现实)、AR（加强事实）是形成将来数字世界的三个重要组织局部。依靠新的计算平台以及更先进的 5G/6G 技术，物理世界与虚构数字世界的界线在一直含糊，而 XR 技术的倒退带给从业者微小的倒退时机和前所未有的挑战。
展锐作为数字世界的生态承载者，数字世界底层修建的构建者，负担着构建将来数字世界底座的重任。在多模交互畛域，展锐的智能手机平台通过 Sensor Hub 传感器零碎，反对手势操作、体打动作、面部动作等多种交互模式。另外，展锐在语音辨认、语义了解、多语言零碎等自然语言解决方面也有深度布局。基于展锐芯的终端品类从手机、平板手表、翻译笔等，一直向更丰盛的物联网畛域扩大。在 5G、短距连贯、高性能计算平台等翻新成绩的根底上，展锐正在一直冲破边界，向更广大的空间摸索……