关于android:AR-Engine运动跟踪能力高精度实现沉浸式AR体验

随着电子产品的广泛利用，AR技术也开始宽泛遍及，在游戏、电商、家装等畛域都有波及。比方，在室内设计时，咱们能够通过AR技术在理论场景中进行虚构软装的搭配，使用华为AR Engine静止跟踪能力在理论利用中实时输入室内环境的三维坐标信息，确定事实室内环境和虚构软装之间的变换关系，从而稳固精准的实现软装在室内空间的正当搁置。

作为华为AR Engine的一项根本能力，静止跟踪能力次要通过继续稳固跟踪终端设备的地位和姿势绝对于周围环境的变动，同时输入周围环境特色的三维坐标信息，在AR 技术的理论利用中起到了框架搭建的作用，是构建事实世界和虚拟世界的桥梁。

个性介绍

静止跟踪能力通过跟踪终端设备的地位和姿势绝对于周围环境的变动，能够确定终端设备的虚构坐标系与周围环境世界坐标系的变换关系，把终端设备的虚构坐标系一起对立到周围环境的世界坐标系下，从观察者视角渲染虚构物体，再叠加到摄像头图像中，从而实现虚构与事实在几何上的交融。

比方在下图AR车展的场景中，就须要借助静止跟踪的能力，实时跟踪摄像头绝对于周围环境的静止姿势和变动轨迹，通过建设虚拟世界和事实世界对立的几何空间，实现虚构汽车在事实高空上的精准搁置。

实现虚实交融的根本条件是实时跟踪终端设备的静止，并依据静止跟踪后果实时更新虚构物体状态，能力在事实和虚拟世界之间建设稳固的分割，所以说，静止跟踪的精度与品质间接影响AR利用的整体成果，但凡呈现提早、误差等状况，都会造成虚构物体抖动或者漂移，很大水平上毁坏AR体验的真实感和沉迷性。

个性劣势

近日，华为AR Engine 3.0应用SLAM 3.0技术，在技术指标方面获得了进一步的晋升。

实现6DOF的静止跟踪形式（世界跟踪形式），能从不同间隔、方向、角度观察虚构物体，营造更加实在的AR体验环境；
实现单目ATE（相对轨迹误差）低至1.6cm，确保虚构物体稳定性，体验成果更佳。
立体检测时长小于1秒，立体辨认和扩大速度更快。

集成步骤

一、登录华为开发者联盟官网，创立利用。

二、集成AR Engine SDK。

关上Android Studio我的项目级“build.gradle”文件。增加Maven代码库。（这里以7.0以下版本举例）
在“buildscript > repositories”中配置HMS Core SDK的Maven仓地址。
在“allprojects > repositories”中配置HMS Core SDK的Maven仓地址。

buildscript {
    repositories {
        google()
        jcenter()
        // 配置HMS Core SDK的Maven仓地址。
        maven {url "https://developer.huawei.com/repo/" }
    }
}
allprojects {
    repositories {
        google()
        jcenter()
        // 配置HMS Core SDK的Maven仓地址。
        maven {url "https://developer.huawei.com/repo/" }
    }
}

关上我的项目中利用级的“build.gradle”文件。

dependencies {
implementation 'com.huawei.hms:arenginesdk:3.1.0.1'
}

三、代码开发

查看以后设施是否装置了AR Engine，若曾经装置则失常运行，若没有装置被动跳转利用市场，申请装置AR Engine。

private boolean arEngineAbilityCheck() {
    boolean isInstallArEngineApk = AREnginesApk.isAREngineApkReady(this);
    if (!isInstallArEngineApk && isRemindInstall) {
        Toast.makeText(this, "Please agree to install.", Toast.LENGTH_LONG).show();
        finish();
    }
    LogUtil.debug(TAG, "Is Install AR Engine Apk: " + isInstallArEngineApk);
    if (!isInstallArEngineApk) {
        startActivity(new Intent(this, com.huawei.arengine.demos.common.ConnectAppMarketActivity.class));
        isRemindInstall = true;
    }
    return AREnginesApk.isAREngineApkReady(this);
}

运行前权限查看

AndroidManifest外面配置相机权限
<uses-permission android:name="android.permission.CAMERA" />

private static final int REQUEST_CODE_ASK_PERMISSIONS = 1;
private static final int MAX_ARRAYS = 10;
private static final String[] PERMISSIONS_ARRAYS = new String[]{Manifest.permission.CAMERA};
List<String> permissionsList = new ArrayList<>(MAX_ARRAYS);
boolean isHasPermission = true;

for (String permission : PERMISSIONS_ARRAYS) {
    if (ContextCompat.checkSelfPermission(activity, permission) != PackageManager.PERMISSION_GRANTED) {
        isHasPermission = false;
        break;
    }
}
if (!isHasPermission) {
    for (String permission : PERMISSIONS_ARRAYS) {
        if (ContextCompat.checkSelfPermission(activity, permission) != PackageManager.PERMISSION_GRANTED) {
            permissionsList.add(permission);
        }
    }
    ActivityCompat.requestPermissions(activity,
        permissionsList.toArray(new String[permissionsList.size()]), REQUEST_CODE_ASK_PERMISSIONS);
}

调用ARWorldTrackingConfig接口，创立静止跟踪ARSession，

private ARSession mArSession;
private ARWorldTrackingConfig mConfig;
config.setCameraLensFacing(ARConfigBase.CameraLensFacing.FRONT);   // 通过config.setXXX办法配置场景参数
config.setPowerMode(ARConfigBase.PowerMode.ULTRA_POWER_SAVING);
mArSession.configure(config);
mArSession.resume();
mArSession.configure(config);


mSession.setCameraTextureName(mTextureDisplay.getExternalTextureId());
ARFrame arFrame = mSession.update();  // 从ARSession中获取一帧的数据。

// Set the environment texture probe and mode after the camera is initialized.
setEnvTextureData();
ARCamera arCamera = arFrame.getCamera();  // 能够从ARFrame中获取ARCamera，ARCamera对象能够获取相机的投影矩阵，用来渲染窗口。

// The size of the projection matrix is 4 * 4.
float[] projectionMatrix = new float[16];
arCamera.getProjectionMatrix(projectionMatrix, PROJ_MATRIX_OFFSET, PROJ_MATRIX_NEAR, PROJ_MATRIX_FAR);
mTextureDisplay.onDrawFrame(arFrame);
StringBuilder sb = new StringBuilder();
updateMessageData(arFrame, sb);
mTextDisplay.onDrawFrame(sb);

// The size of ViewMatrix is 4 * 4.
float[] viewMatrix = new float[16];
arCamera.getViewMatrix(viewMatrix, 0);
for (ARPlane plane : mSession.getAllTrackables(ARPlane.class)) {    // 从ARSession中获取所有的可跟踪立体。

    if (plane.getType() != ARPlane.PlaneType.UNKNOWN_FACING
        && plane.getTrackingState() == ARTrackable.TrackingState.TRACKING) {
        hideLoadingMessage();
        break;
    }
}
drawTarget(mSession.getAllTrackables(ARTarget.class), arCamera, viewMatrix, projectionMatrix);
mLabelDisplay.onDrawFrame(mSession.getAllTrackables(ARPlane.class), arCamera.getDisplayOrientedPose(),
    projectionMatrix);
handleGestureEvent(arFrame, arCamera, projectionMatrix, viewMatrix);
ARLightEstimate lightEstimate = arFrame.getLightEstimate();
ARPointCloud arPointCloud = arFrame.acquirePointCloud();
getEnvironmentTexture(lightEstimate);
drawAllObjects(projectionMatrix, viewMatrix,  getPixelIntensity(lightEstimate));
mPointCloud.onDrawFrame(arPointCloud, viewMatrix, projectionMatrix);

ARHitResult hitResult = hitTest4Result(arFrame, arCamera, event.getEventSecond());
if (hitResult != null) {
    mSelectedObj.setAnchor(hitResult.createAnchor());  // 在命中检测地位创立锚点，使得AREngine继续跟踪。

}

依据锚点地位来绘制所需的虚构物体。

mEnvTextureBtn.setOnCheckedChangeListener((compoundButton, b) -> {
    mEnvTextureBtn.setEnabled(false);
    handler.sendEmptyMessageDelayed(MSG_ENV_TEXTURE_BUTTON_CLICK_ENABLE,
            BUTTON_REPEAT_CLICK_INTERVAL_TIME);
    mEnvTextureModeOpen = !mEnvTextureModeOpen;
    if (mEnvTextureModeOpen) {
       mEnvTextureLayout.setVisibility(View.VISIBLE);
    } else {
      mEnvTextureLayout.setVisibility(View.GONE);
    }
    int lightingMode = refreshLightMode(mEnvTextureModeOpen, ARConfigBase.LIGHT_MODE_ENVIRONMENT_TEXTURE);
    refreshConfig(lightingMode);
});

理解更多详情>>

拜访华为AR Engine 官网，理解更多相干内容

获取华为AR Engine 开发领导文档

华为AR Engine开源仓库地址：GitHub 、Gitee

拜访华为开发者联盟官网，理解更多相干内容

获取开发领导文档

关注咱们，第一工夫理解 HMS Core 最新技术资讯~

关于android:AR-Engine运动跟踪能力高精度实现沉浸式AR体验

个性介绍

个性劣势

集成步骤

一、登录华为开发者联盟官网，创立利用。

二、集成AR Engine SDK。

三、代码开发

评论

发表回复取消回复

更多文章

DDN HPC 存储硬件架构设计深度分析

探秘IO500：从Lustre并行文件系统出发，开启HPC存储性能新征程

苹果iOS打包的ipa应用无法安装？一篇文章带你了解可能的原因及排查方法

图解Golang：从零开始实现简易版过期LRU缓存

关于android:AR-Engine运动跟踪能力高精度实现沉浸式AR体验

个性介绍

个性劣势

集成步骤

一、 登录华为开发者联盟官网，创立利用。

二、 集成AR Engine SDK。

三、 代码开发

评论

发表回复 取消回复

更多文章

DDN HPC 存储硬件架构设计深度分析

探秘IO500：从Lustre并行文件系统出发，开启HPC存储性能新征程

苹果iOS打包的ipa应用无法安装？一篇文章带你了解可能的原因及排查方法

图解Golang：从零开始实现简易版过期LRU缓存

一、登录华为开发者联盟官网，创立利用。

二、集成AR Engine SDK。

三、代码开发

发表回复取消回复