作者：李晓阳 (苏铭)

在《优酷播放黑科技 | 自在视角技术体验优化实际》中咱们提出对自在视角观影体验做了很多优化，为何须要做如此多的体验优化，上面将一一解答。

随着 5G 时代的到来，视频用户的生产需要降级，沉迷式视频体验正在疾速倒退，视频体验的真实性，可互动性的需要在一直加强。自在视角技术是优酷摩酷实验室自研的沉迷式交互视频技术，通过 3D 重建与渲染技术，为用户提供 6 自由度（左右旋转、前后推拉、高低挪动）的视频观看体验，目前整套自在视角技术曾经服务于 CBA 子弹工夫直播、《这就是街舞》第三季与第四季、冬奥会冰球测试赛等我的项目中。

上面的内容将为大家介绍自在视角技术的整体链路与落地实际。

自在视角工作流图

现场采集

自在视角直播视频的采集不同于传统视频，须要更简单的采集零碎。不同于传统拍摄的单个机位，自在视角视频拍摄须要同步控制多个相机（通常是几十到上百个相机），相机的管制以及直播时的数据传输须要通过以太网进行。而为了保证数据和命令的低延时和高可用，通常须要搭建一个局域网。相机的数据通过网络汇总到现场的服务器，由现场服务器通过预处理后将数据发送到云端，云端进行重建后再发送到现场电视转播车上或者终端 APP 上。

自在视角录播的视频为了取得更高质量的视频源素材，个别采纳录制模式，录制到存储卡中，而后再上传到云端进行重建。

勘场及计划制订

与项目组或制作单位沟通需要、我的项目特点，现场实地踏勘，联合现场平面图（舞美图）制订正当的拍摄计划，并对理论输入成果做出预判。踏勘时须要确认现场搭建资源供应形式，操作区地位以及拍摄工夫。最好是在舞美设计阶段把自在视角技术纳入思考范畴，制作方提供高质音频，能够为后续音视频剪辑对齐，为直播计划打下基础。

硬件零碎搭建调试

1）依据平面图提前完成制作，赛前在规定的工夫内实现桁架的搭建，相机，交换机，路由器的架设、通电、通网，同步性检测；

2）依据现场舞台与灯光状况，实现相机参数设置与姿势构图调整，应用采集软件进行相机参数计算，依据理论参数实现姿势微调。

以下是 2020-2021 赛季 CBA 较量时用于子弹工夫特效直播的零碎图：

通过屡次现场实地验证，可通过模块化搭建，将桁架、相机、路由器进行模块化搭建，实现对场地变动的高容忍性；通过预搭建预调试，将模块化的设施在录制前进行标定与预调试，实现对流程节奏的高容忍性。不仅能够应答赛事稳定性需要，也可满足综艺场景简单的拍摄环境需要，目前 CBA 与综艺场景物理搭建工夫已缩减至 2 小时，补录筹备工夫放大至半小时内。

不同的搭建策略：

音视频采集

利用 6 -DOF Studio 采集软件，实现自在视角视频源的采集（为直播子弹工夫，FVV 视频生产提供原始的音视频素材）。次要实现现场 N 个相机音视频的采集、相机参数设置、相机姿势调整、零碎状态监控、零碎容灾备份、数据实时 / 离线解决等。目前采集制作全链路反对 4K 分辨率输出源。相机姿势调整也反对本地化操作，不须要将视频素材传输到云端，缩小对云端计算资源与网络依赖，所有相机的参数标定耗时能够管制在秒级。

直播链路方面，单帧子弹工夫制作工夫（含操作到输入给转播车）齐全能够满足讲解、精彩回放等场景。自在视角视频直播最高反对 8K 视频直播流推送，1080P 交互播放能力，目前自在视角视频直播从采集到生产全链路延时能够管制在 5s 左右。

CBA 直播较量子弹工夫：

视频请点击查看：优酷播放黑科技 | 自在视角技术的全链路策略与落地实际

冬奥会测试赛子弹工夫：

视频请点击查看：优酷播放黑科技 | 自在视角技术的全链路策略与落地实际

云端制作

云端服务次要是依据 6 -DOF Studio 采集到的音视频数据，对 N 路视频进行三位重建合成自在视角视频，或依据虚构门路实现子弹工夫视频渲染，后续将生产进去的视频挂靠到媒资零碎。

工作流程：

生产服务架构如下：

相机标定服务次要是依据 N 路相机视频素材的特色点匹配实现相机参数（内参、外参、畸变参数）的求解。进一步能够通过交融多帧特色点，失去更稳固的标定后果，同时能够无效缩小特色点少的场景标定失败问题。最好能反对多参照物门路，绝对繁多参照物门路有更灵便多变的虚构门路，能够应答更简单的现场环境。

图像深度预计服务次要是基于标定好的相机参数实现所有相机视频帧的深度预计。这里点播与直播链路略有不同，点播链路指标在于给到用户能力范畴内最好的后果，能够通过优化算法、生产链路等形式在确保视频深度品质的根底上进步生产效率，目前点播门路上自在视角视频单帧均匀生产耗时为 90s；直播深度预计还须要思考实时性的问题，目前咱们采纳深度学习与传统图像处理办法相结合的形式，能够实现 270P 深度图实时输入，深度学习模型的后果输入小于 20ms。

在视频合成生产环节，针对自在视角视频码率高（高分辨率导致）的问题，也做了一些编码方面的优化，次要是利用深度数据优化视频编码参数，在等同主观视频品质下码率升高约 20%，整体晦涩度晋升 50% 以上，用户观影体验能够失去较好保障。音频合入方面，通过 AI 算法实现音频对齐，解放前期剪辑音视频对齐工作。

终端渲染

自在视角视频不同于传统视频，为了让用户能从不同视角进行观看，它的每一帧都须要蕴含拍摄视角的纹理信息和深度信息，且须要用户的交互输出作为变换视角的根据。因而，在客户端须要独立的 SDK 解决交互、计算和渲染。通过在 PC 端应用 FVV 视频剪辑工具，或者在挪动端播放器中接入 6DOF SDK，实现 FVV 视频渲染，或者子弹工夫制作。

FVV 视频剪辑工具

自在视角视频在拍摄阶段就采集泛滥视角信息，再通过 3D 重建，能够输入任意视角的视频信息，因而绝对于传统视频来说，自在视角视频不仅能够为用户提供丰盛的视频信息，交互的观影体验，还非常适合做高质量的精美视频剪辑。FreeViewVideoEditor 是一款视频编辑软件，以自在视角视频作为输出，能够通过编辑关键帧来设置自在视角视频门路，在预览模式下观看成果，而后在云端生成指标视频。

剪辑工具工作界面：

剪辑后果示例之纯享视频：

视频请点击查看：优酷播放黑科技 | 自在视角技术的全链路策略与落地实际

剪辑后果示例之直拍视频：

视频请点击查看：优酷播放黑科技 | 自在视角技术的全链路策略与落地实际

目前 FVV 视频编辑工具可运行于 Windows 电脑上，通过编辑工具能够制作直拍视频、纯享视频、子弹工夫视频。视频编辑是通过设置关键帧来操作，编辑实现后能够预览视频查看编辑成果，成果合乎预期后可上传到云端，通过云端计算资源进行渲染实现视频生产。目前编辑工具反对输入视频的分辨率设定，多种静止门路模板抉择，镜头推拉范畴设置，音频同步播放生产等性能，且街舞单个舞蹈的剪辑生成工夫在 30min~2h。街舞第四季中每期均有舞蹈由媒资同学应用 FVV 视频编辑工具剪辑生成纯享版视频，播完率与 VV 均优于一般纯享版视频。

挪动端 6DOF 渲染 SDK

挪动端 6DOF 渲染 SDK 是为了让用户在挪动端晦涩体验 FVV 交互式视频，定制优化的 FVV 视频渲染 SDK，Android 端基于 OpenGL 跟 OpenCL 语言，IOS 端基于 Metal 语言。渲染的根本流程同服务端算法，只是做定制性的优化与简化，确保大部分的手机能够进行晦涩交互。

渲染流程如下：

目前互动 SDK 在去年街舞第三季时曾经接入到主客播放器中，最近已实现多轮性能与性能优化。目前 SDK 反对多种相机模型、切相机兜底模式、输出虚构门路等性能，性能方面中高端手机均能够反对重建模式。街舞第四季 DAU 全站反对重建机型覆盖率高达 63%，切相机兜底机型覆盖率 18%，总体覆盖率达到 81%。为了进一步升高自在视角视频的卡顿率，进步观看流畅性，互动 SDK 还配合播放器团队实现切流体验优化，在不同清晰度流切换过程中，SDK 切换耗时降到 100ms 以内，做到用户基本上无感知。

关注【阿里巴巴挪动技术】微信公众号，每周 3 篇挪动技术实际 & 干货给你思考！