AR 技术曾经被广泛应用于营销、教育、游戏、展览等场景。通过 2D 图像跟踪技术和 3D 物体跟踪技术，用户只需应用一台手机进行拍摄，即可实现海报、卡牌等立体物体以及文物、手办等平面物体的 AR 成果。只管近年来 2D 图像跟踪和 3D 物体跟踪算法曾经获得了很大的提高，但受限于环境等因素影响，成果依然有很大晋升空间，是目前 AR 开发者的研发难点。
HMS Core AR Engine 提供了 2D 图像和 3D 物体的端云协同跟踪技术，让开发者更简略便捷地开发 AR 类利用，让用户领有更丰盛的 AR 交互体验。
2D 图像跟踪技术
端云协同 2D 图像实时跟踪技术已率先利用于 Bilibili 会员购，购物者在选购时可能浏览商品的 AR 特效，多角度、近距离地与 IP 衍生商品实现互动，从而取得全新的 AR 购物体验。据会员购后盾数据统计，具备 AR 特效的商品销量更好，AR 流动参与率是一般游戏参与率的 2 倍左右，助力会员购平台支出晋升。
图 1. Bilibili 会员购效果图
传统的纯端侧 2D 图像跟踪计划，如果开发者要让新的图片反对 AR 特效就必须更新利用版本，有较高的版本保护老本，而且随着反对 AR 个性图片的减少，利用的体积也会一直增大。为此，AR Engine 采纳端云协同的架构解决该问题，开发者仅需将图片上传到云端即可疾速公布新图片的 AR 特效，端侧利用版本无需更新，利用体积也不会因而而减少。
图 2. 端云协同 2D 图像跟踪技术原理图
端云协同 2D 图像跟踪技术次要涵盖了：
云侧图像特征提取模块
云侧向量检索引擎
端侧视觉跟踪模块
在晋升云端服务的响应速度方面，端云协同 2D 图像跟踪技术利用硬件平台减速，开发了软硬协同的高性能向量检索引擎，实现海量特色下的毫秒级检索响应。
3D 物体跟踪技术
在文物介绍、商品展现、AR 教育等场景，AR Engine 还提供了端云协同 3D 物体实时跟踪技术。该技术可能实现 3D 物体全息式信息展现成果
图 3. 端云协同 3D 物体实时跟踪技术效果图
现实生活中，会存在不同纹理材质的 3D 物体，例如雕塑类的纯色弱纹理材质，或者金属器皿类的反光景象，3D 物体也会受光线变动导致外表呈现暗影，这些场景都对 3D 物体跟踪带来很大的挑战。为了实现在各种场景下均能疾速精确的进行辨认跟踪，AR Engine 应用多个 AI 网络组合实现 3D 辨认定位性能，别离实现对象检测、位姿粗定位、位姿优化。
图 4. 端云协同 3D 物体跟踪技术原理图
端云协同 3D 物体实时跟踪技术次要涵盖了：
云侧训练样本 AI 合成模块
云侧 AI 网络主动训练模块
云侧 AI 网络推理模块
端侧视觉跟踪模块
在对 AI 网络进行算法训练时，传统的训练样本人工标注形式，往往存在工作量大、开发周期长等问题。为此，AR Engine 联合海量的离线数据和反抗生成策略，设计了训练样本的 AI 合成算法，可能免人工标注，仅依赖合成样本就能够实现简单场景下 3D 物体的精准辨认。
端云协同 3D 物体跟踪技术在文物介绍场景，已助力华为河图为莫高窟实现全息式文旅向导体验，帮忙游客随时探索洞窟的外部细节。
图 5. 华为河图的莫高窟全息式文旅向导效果图
以上技术来自华为 2012 地方媒体技术院，通过 AR Engine 面向开发者凋谢，在广告营销、教育、文旅等场景为用户带来差异化的 AR 体验。
更多 AR 技术的信息，欢送收看 5 月 27 日 19:00-20:00 HMS Core Discovery 第 15 期直播，让咱们一起摸索 HMS Core AR Engine 是如何帮忙开发者们构筑平面世界，打造沉迷式营销的服务体验。
欢送拜访华为开发者联盟官网 -HMS Core AR Engine
理解更多详情 >>
拜访华为开发者联盟官网
获取开发领导文档
华为挪动服务开源仓库地址：GitHub、Gitee
关注咱们，第一工夫理解 HMS Core 最新技术资讯~