关于算法:App-用户新体验Agora-Native-SDK-340

44次阅读

共计 3195 个字符,预计需要花费 8 分钟才能阅读完成。

声网 Agora Native SDK 3.4.0 本月已正式上线。新版本不仅减少了更丰盛的实时美声音效、屏幕共享、虚构节拍器等性能,同时在 SDK 的稳定性、兼容性及平安合规上做了大幅度降级,心愿为 App 用户带来更顺畅、舒服的互动新体验。

3.4.0 版本更新了什么?

性能新增

1、音效文件播放进度

在实时音视频互动过程中,当咱们心愿能够更好地衬托氛围、削减趣味性,通常会抉择播放音效(例如,在游戏中增加打斗声,在唱歌时增加伴奏等)来进行互动。但有时候如果需在播放音效文件后调整播放地位,只独自播放一个残缺音轨中的某一段或者心愿疾速跳过某局部音频内容,3.4.0 版本中提供了管制音效文件的播放进度。具体新增如下办法:

  • playEffect3: 通过 startPos 参数,在播放音效文件时设置播放地位。
  • setEffectPosition: 在播放音效文件后,设置音效文件的播放地位。
  • getEffectDuration: 获取本地音效文件的总时长。
  • getEffectCurrentPosition: 获取音效文件的播放进度。

2、虚构节拍器

为满足在线音乐教学等场景对节拍器的需要,3.4.0 版本新增如下办法:

  • startRhythmPlayer: 开启虚构节拍器。
  • stopRhythmPlayer: 敞开虚构节拍器。
  • configRhythmPlayer: 在开启虚构节拍器后,重新配置虚构节拍器。

性能优化

1、弱网下的视频流畅性与品质均衡

在带宽受限时,为了保障视频的流畅性,通常视频编码会抉择优先升高视频帧率维持视频品质不变或者抉择升高视频品质保障视频帧率。但在一对一通话、一对一教学或多人会议的场景中,画质与流畅性其实都很难割舍。因而,在 3.4.0 版本中咱们对此对了优化 degradationPreference 新增反对设为 AgoraDegradationBalanced,弱网下会升高视频帧率和视频品质,以在流畅性和视频品质之间获得均衡。

2、原始视频数据(C++)

为不便开发者获取传输各阶段的视频原始数据,满足更多场景需要,在 3.4.0 之前的版本中咱们曾经反对 C++ 回调 getRotationAppliedgetMirrorApplied 将原始视频数据作旋转、镜像解决。为晋升用户体验,新版本将这些回调函数反对解决的视频数据格式由 RGBA 拓展到 RGBA 和 YUV 420。

3、屏幕共享性能优化

实时互动场景中的屏幕共享是指将屏幕上的内容分享,从而实现信息共享的一种技术。这样的利用在游戏直播、视频会议或在线教育场景中都较为常见(文件、数据、网页、课件、笔记等屏幕共享),用户能够将本人挪动端或 PC 端的屏幕内容共享给别人实时观看。

新版本的 SDK 目前已反对屏幕区域共享、窗口区域共享、全屏共享、共享前置、窗口最小化回调等性能,同时还反对流畅性有先模式或清晰度优先模式的抉择。在屏幕共享的可用性及体验感上都做了很大都晋升。

4、客户端录音

为了便于用户在录音时能够更不便、灵便地设置录音内容,该版本新增 startAudioRecordingWithConfig 办法,通过 startAudioRecordingWithConfig config 参数,用户可自主抉择设置录音音质、内容、采样率及录音文件的存储门路。

同时,该版本还新增了错误码 AgoraErrorCodeAlreadyInRecording(160)。如果在音乐文件播放实现前再次调用 startAudioRecordingWithConfig,SDK 会报告该错误码。

为什么是目前最“优”版本?

Agora Native SDK 3.4.0 是一个性能更丰盛、稳定性更高的集大成版本。为了用户在新版本中领有更好的体验。咱们从 3.0 SDK 到 3.4 SDK 的过程中做了诸多的优化,在音频解决、视频解决、延时优化、平安合规等方面都做了相应的晋升。因而,3.4 版本不仅新增和优化了局部性能,同时也保留和优化了之前版本中优良的性能与个性。

1、3A 算法 +AI 高效降噪

不论是在视频面试还是视频会议场景中,咱们都曾遭逢过因为乐音、回声等,暂时中止单方的互动,或者重新加入视频房间的状况。

通过声网的 3A(AEC、ANC、AGC)算法,可实现智能适应各类环境,全面打消回声,并提供超一流的双讲体现;可在不伤害语音音质的状况下,无效打消各类乐音;可实现音频的自动增益,即便在嘈杂环境下用户也能有很好的实时互动体验。

同时,声网 SDK 在降噪模块的前端预置了信号分类模块,可能准确地检测出信号的类型,并依据信号的类型调整降噪算法的类型及参数,常见的信号类型包含个别语音、清唱、音乐信号等。通过声网的 AI 降噪算法,利用深度学习技术通过特征提取、神经网络以及增益调整对实时音频进行解决克制噪声,冲破了传统信号处理计划的性能瓶颈,从而为实时音视频提供清晰语音环境。可实现良好降噪成果,解决了实现实时人声和噪声拆散的同时保障人声保真度的降噪难题。

想要具体理解此局部内容的小伙伴可参考「详解低延时高音质:回声打消与降噪篇」

2、更丰盛的美声音效

实时音效是指为声音减少某种特定的格调,加强声音的层次感和空间感。为进步用户的音频体验,咱们将传统业余声卡、调音师、万元级线下插件通过软件算法的形式搬到线上,用户无需再专门下载插件就能够应用美声特效、虚构立体声、丑化音色、主动变声等声音特效,在晋升用户体验和场景娱乐性的同时极大的升高了应用门槛。

目前已实现 3 种语聊美声、6 种歌唱美声、8 种音色变换、18 种人声音效、7 种变声音效、4 种根底变声成果。

Demo 试听:https://www.agora.io/cn/audio-demo 想理解实时美声的原理,可浏览咱们往期的分享。接口具体应用办法,能够拜访声网文档核心,搜寻并查看高阶指南「变声与混响」。

3、美颜优化 - 兼具“天然”与“美”

在社交娱乐或教育场景中,用户进行视频通话或直播时,经常心愿向对方出现良好的状态和精神面貌。通过聚焦人像皮肤、头发和背景等区域,帮忙开发者轻松实现更实在、更“天然”的美白和红润成果,开发者们还能够通过调整参数来自定义美颜成果。

即使在极其暗光条件下,通过利用声网自研暗光加强算法,可自适应调整光照过暗区域的亮度值,复原和凸显图像的细节信息,晋升视频图像的视觉效果,让视频画面领有更天然的优质画质。此性能实用于整体亮度偏低、背光、阴天、光照不平均等场景。暗光加强目前反对 iOS 平台,在应用成果和设施性能间做好均衡调优,可在 iPhone 6s 机型及以上反对 720P@30fps 的实时处理。


4、80% 抗丢包能力,SDK 解体率「万分之一」

在实时数据传输品质的优化上,基于声网 SD-RTN™ 的传输,在包达到率上,SD-RTN™ 与专线已无差别,jitter 200ms 的达到率为 99.9%。稳定性已达到专线程度。

同时,针对实时语音互动中可能呈现的弱网传输、丢包等状况,声网 Agora 领有一套业余的抗弱网传输与抗丢包算法。在 SDK 迭代的过程中,咱们也一直地对其背地的抗弱网指标进行着优化,目前视频的抗弱网边界曾经从原来的 60% 晋升至 70%,音频则曾经晋升至 80%,在这样的弱网环境下,仍能够保障音频、视频的晦涩体验。同时,依据美洲,亚洲,东南亚,中东等地区用户提供的数据显示,SDK 首帧出图、出声工夫也失去了全面的优化,客户闭环验证后果与实验室测试后果齐全吻合。

5、平安合规

声网遵循国内认可的信息安全和隐衷爱护规范以及行业要求,致力于采纳国内最佳实际来建设隐衷和平安管理体系。目前声网曾经通过 ISO/IEC 27001、ISO/IEC ISO27017、ISO/IEC 27018 体系认证,并取得了由第三方业余机构出具的 SOC2 Type I 服务鉴证报告,以此证实本身的隐衷合规和平安治理能力。

对于此次新版本的更多个性与新增性能可能无奈在此次的介绍中一一赘述,点击【此处】在线获取更多 SDK 相干资讯。

正文完
 0