乐趣区

关于harmonyos:HarmonyOS多媒体框架介绍

随着科技进步,咱们的生存产生了天翻地覆的变动。过来几年音视频技术倒退迅速,直播行业异军突起,在社交、娱乐、教育、医疗等畛域高歌猛进。以后,对音视频技术的需要又将达到一个新高度。

HarmonyOS 作为一款全新的面向全场景的分布式操作系统,不断创新,致力于为开发者提供更好、更高效的应用体验。接下来让咱们一起学习理解下 HarmonyOS 中的多媒体框架的相干常识吧!

多媒体框架介绍构造:
相机(Camera)
播放(Player)
音频(Audio)

一、相机(Camera)

1、相机框架设计指标:简略易用、成果统一、性能优先

简略易用是指相机框架从面向用户、场景和一些性能的高级 API 的设计,去屏蔽一些底层简单的硬件操作,从而简化应用层的编程。

成果统一是指相机框架通过对应用层接口的对立管控,以及对厂商扩大的归一,来确保对所有蕴含相机的利用提供同样的展现品质和成果。

性能优先是指相机框架通过外部软硬协同的设计,晋升拍照启动、预览和拍照过程中的性能体验。

2、相机框架介绍:
如下图所示,左侧绿色模块是目前曾经开源或者凋谢的能力。其中蕴含一些镜头治理能力,例如镜头查问、生命周期治理,除此之外,也将反对一些根底的预览、拍照和录像性能。

为了进一步升高拍照过程中对于前台资源的占用,前期将思考提供开源和凋谢的离线拍照的架构设计。

从分层架构的角度,相机框架的框架层提供了开发者能够感知的 API 来简化编程,服务层次要通过一些高性能、高画质的设计,晋升对开发者服务的品质和体验成果。

针对芯片适配层,对不同厂商的芯片适配接口提供归一的形象,做比拟兼容的设计,确保芯片厂商接入零碎的时候破费最低的老本,同时也保障兼容性。

3、工作流程介绍:

下图是相机模块运行态的业务流程图。

当须要下发相机的命令时,无论是启动预览或者预览之后的其余命令,再或者是其余变量下发到底层零碎的操作的命令,当接管到时,将会被转化为对底层的管制,而后再由相机框架通过肯定形式将处理结果回传给利用和开发者。

如下图所示,此流程在代码实现上分为五个步骤:
第一步:创立工作 session;
第二步:配置输出镜头、输入流格局;
第三步:启动会话;
第四步:操作会话,变焦、聚焦等操作可在此步骤进行管制;
第五步:开释会话,此步骤用于开释所占用的系统资源。

二、播放(Player)

1、播放框架设计指标:低消耗、简略易用、灵便扩大

低消耗是指播放框架在播放资源的耗费和功耗上是最优的。

简略易用是指播放框架提供了两种接口模式:JS 和联合 ArkUI 提供的 UI 控件接口,便于开发者应用。

灵便扩大是指播放框架针对服务类目标引擎,可加强、可扩大、可替换。

2、播放框架介绍:
播放框架次要提供较为通用的,但控制能力丰盛的音、视频的播放和录制性能。中间件的外围是基于引擎提供各种各样的服务的能力。

目前提供了两套引擎,别离是 GStreamer 引擎和 HiStreamer 引擎,性能都比拟齐全。

在硬件适配层,即 HDF 层,提供兼容设计。播放框架外部轻量化的 Histreamer 引擎,基于传统的 pipeline,通过插件化机制加强相干的音视频的编解码和解析能力,该引擎最典型的特色就是小。当开发者应用的时候,播放 MP3,最低可做到 600K 以下。

另外引擎自身可跨多零碎反对。除此之外,MP3,AAC,H264,HTTP,HLS 等以后罕用的音频格式都是齐全反对的,开发者能够通过一键化的形式灵便切换引擎。

三、音频(Audio)

1、音频框架设计指标:接口对立、成果统一、高性能、对立焦点管制和架构归一

接口对立是指同一套音频接口体系,反对不同场景的音频应用形式,例如音频低时延播放、高清音频和低功耗等。

成果统一是指音频框架提供给所有利用的一致性的成果体验。

高性能是指音频的低时延播放。

对立焦点管制是指音频框架对音频播放、录制的焦点的强管控。

架构归一是指音频框架实用于大、中、小的各种设施。

2、音频框架介绍:

音频框架次要采纳 CS 的架构,反对多个音频同时运行。

音频模块分为三个,别离是 Audio Renderer、Audio Capturer、Audio Manager。

其中,Audio Renderer 提供了渲染音频文件和管制播放的接口,开发者能够通过本接口在输出设备中播放音频文件并治理播放工作。Audio Capturer 提供了获取原始音频文件的办法,开发者能够通过该接口调用实现对音频数据的采集。Audio Manager 提供了音频流类型、音量、音频设备治理等接口,开发者能够通过调用该接口实现对相干音频对象的治理。

以上是多媒体框架的相干介绍内容,如果您想理解更多对于 HarmonyOS 相干常识,请参考 HarmonyOS 利用开发平台(https:// developer.harmonyos.com/),那里有更多更具体的介绍,提供循序渐进的学习门路,便于开发者疾速把握相干常识,构建属于本人的 HarmonyOS 利用,咱们期待您的退出。

退出移动版