WebRTC（Web Real-Time Communication）是一个反对网页浏览器进行实时语音对话或视频对话的 API。W3C 和 IETF 在 2021 年 1 月 26 日独特发表 WebRTC 1.0 定稿，促使 WebRTC 从事实上的互联网通信规范成为了官网规范，其在不同场景的利用将失去更为宽泛的遍及。

WebRTC 提供了视频会议的核心技术，包含音视频的采集、编解码、网络传输、显示等性能，并且还反对跨平台：Windows，Mac，iOS，Android。本文次要介绍 WebRTC 其 iOS 平台的音频会话 AVAudioSession。对于 WebRTC 往期相干技术分享，在文末有汇合，也欢送继续关注~

概念介绍

iOS 音频会话 AVAudioSession 是每一个进行 iOS 音频开发的开发者必须理解的基本概念。音频会话在操作系统 iOS、tvOS、watchOS 中是一项托管服务，零碎通过音频会话在应用程序内、应用程序间和设施间治理音频行为。

咱们能够应用音频会话来与零碎交换，打算如何在应用程序中应用音频。此时，音频会话充当应用程序与操作系统之间的中介，进而充当根底音频硬件之间的中介。咱们能够应用它向操作系统传播应用程序音频的性质，而无需具体阐明特定行为或与音频硬件的必要交互。将这些细节的治理委派给音频会话，能够确保对用户的音频体验进行最佳治理。

下图出自《Audio Session Programming Guide》，从图中能够看到 AVAudioSession 就是用来治理多个 APP 对音频硬件设施的资源应用。

音频会话的能力

iOS 的音频会话能力次要分为以下几种状况：

• 配置音频会话
• 激活音频会话
• 响应中断
• 响应路由更改
• 配置设施硬件
• 爱护用户隐衷

具体的具体阐明能够参考官网：《Audio Session Programming Guide》，这里就不再全盘细说，本文将次要剖析配置音频会话、配置设施硬件两方面的技术细节以及分享理论开发过程中踩过的坑。

配置音频会话

AVAudioSession 的 Category、CategoryOption、Mode 配合应用，不同的利用类型或者应用场景须要搭配不同的组合。

Category 次要有以下 7 种类型，其次要形容以及特点在表中具体介绍：

CategoryOption 次要有以下 7 种类型：

下图具体列出了 Category、CategoryOption、Mode 配合应用状况：

分类表白音频角色

表白音频行为的次要机制是应用音频会话类别。通过设置类别，咱们能够批示应用程序是应用音频输出还是音频输入，例如是否须要麦克风的采集、是否须要扬声器的播放等等。下文次要介绍音频会话类别 Category 在不同场景的利用，针对不同的 Category 的区别，能够对应上文表一具体查看。

游戏利用的场景

大多数游戏都须要用户交互产生在游戏中。用户调出另一个应用程序或锁定屏幕时，他们不心愿该应用程序持续播放。设计游戏时，能够应用 AVAudioSessionCategoryAmbient 或 AVAudioSessionCategorySoloAmbient 类别。

用户管制的播放和录制应用程序的场景

录制应用程序和播放应用程序具备类似的准则。这些类型的应用程序的应用 AVAudioSessionCategoryRecord，AVAudioSessionCategoryPlayAndRecord 或 AVAudioSessionCategoryPlayback 类别。

VoIP 和聊天应用程序的场景

VoIP 和聊天应用程序要求输出和输入路由均可用。这些类型的应用程序应用 AVAudioSessionCategoryPlayAndRecord 类别，并且不会与其余应用程序混合应用。

计量利用的场景

计量应用程序须要利用到输出和输入门路的零碎提供的信号处理量起码。设置 AVAudioSessionCategoryPlayAndRecord 类别和测量模式以最小化信号处理。此外，此类型的应用程序不能与其余应用程序混合应用。

播放音频相似浏览器的应用程序场景

社交媒体或其余相似浏览器的应用程序常常播放短视频。他们应用 AVAudioSessionCategoryPlayback 类别，并且不遵从铃声开关。这些应用程序也不会与其余应用程序混合应用。

导航和健身应用程序的场景

导航和锤炼应用程序应用 AVAudioSessionCategoryPlayback 或 AVAudioSessionCategoryPlayAndRecord 类别。这些利用的音频通常蕴含简短的语音提醒。播放时，这些提醒会中断书面语音频（例如播客或有声书），并与其余音频（例如从“音乐”利用中播放）混音。

单干音乐利用的场景

单干音乐应用程序旨在播放其余应用程序时播放。这些类型的应用程序应用 AVAudioSessionCategoryPlayback 或 AVAudioSessionCategoryPlayAndRecord 类别，并与其余应用程序混合应用。

网易云信应用状况

表中为网易云信在不同的应用场景下，Category、Options、Mode 的配置状况：

针对上表的内容，咱们也整顿了一些常见的问题：

• 问题一：置信理解这块的小伙伴们必定会有疑难，为什么 NERTC 实时音视频 SDK 默认不带 DefaultToSpeaker 选项吗？
• 答：其实原来咱们应用听筒和扬声器切换都是应用 AVAudioSessionCategoryOptions 带 AVAudioSessionCategoryOptionDefaultToSpeaker 和 不带 AVAudioSessionCategoryOptionDefaultToSpeaker 操作的；当 APP 为扬声器时，AVAudioSessionCategoryOptions 带 AVAudioSessionCategoryOptionDefaultToSpeaker；而 callkit 自身切换听筒和扬声器应该应用的输入路由的变更 overrideOutputAudioPort: 操作的，因而切到听筒 AVAudioSessionPortOverrideNone 时，因为 category 和 categoryOptions 都没有变动，因而无奈切换。最初 SDK 外部 AVAudioSessionCategoryOptions 将不再携带 AVAudioSessionCategoryOptionDefaultToSpeaker；同时扬声器和听筒切换都改为 overrideOutputAudioPort: 操作。
• 问题二：AVAudioSessionPortOverrideSpeaker 和 AVAudioSessionCategoryOptionDefaultToSpeaker 之间的区别是什么呢？
• 答：区别在于，AVAudioSessionPortOverride 通过调用 overrideOutputAudioPort:，设置的工夫要比应用 category 选项 AVAudioSessionCategoryOptionDefaultToSpeaker 更短暂。调用 overrideOutputAudioPort: 和设置 AVAudioSessionPortOverride 到 AVAudioSessionPortOverrideSpeaker 是临时压倒一切的输入将其路由到扬声器的形式。遵循后进制胜规定，任何路线更改或中断都将导致音频被路由回到其失常路线。思考应用 overrideOutputAudioPort: 可能用于实现免提电话按钮的形式，在该按钮上您心愿可能在扬声器（AVAudioSessionPortOverrideSpeaker）和失常输入路线（AVAudioSessionPortOverrideNone）之间切换。AVAudioSessionCategoryOptionDefaultToSpeaker 批改 AVAudioSessionCategoryPlayAndRecord 类别的路由行为，以便在不应用其余附件（例如耳机）的状况下，音频将始终路由到扬声器，而不是接收器。应用时 AVAudioSessionCategoryOptionDefaultToSpeaker，将尊重用户的手势。例如，插入耳机将导致路由更改为耳机麦克风 / 耳机，插入耳机将导致路由更改为内置麦克风 / 扬声器（与内置麦克风 / 接收器相同）被设置。
• 问题三：为什么 NERTC 实时音视频 SDK 会有 2 种模式？
• 答：因为 VoIP 状况下会应用 AVAudioSessionModeVoiceChat 模式，在 RemoteIO 状况下，会应用 AVAudioSessionModeDerfault 模式。
• 问题四：在 AVAudioSessionCategoryPlayAndRecord 类别下，Mode 有哪些暗藏含意？
• 答：设置 AVAudioSessionModeVoiceChat 模式将启用 AVAudioSession 类别选项 AVAudioSessionCategoryOptionAllowBluetooth，从而进一步批改类别的行为，AVAudioSessionCategoryPlayAndRecord 以容许将配对的蓝牙免提配置文件（HFP）设施用于输出和输入。设置 AVAudioSessionModeVideoChat 模式将 AVAudioSessionCategoryPlayAndRecord 通过设置 AVAudioSessionCategoryOptionAllowBluetooth 选项和 AVAudioSessionCategoryOptionDefaultToSpeaker 选项, 进一步批改类别的行为。

网易云音乐应用状况

失常音乐软件应用 AVAudioSessionCategoryPlayback 类别，在云音乐新上线的“一起听”功能模块会应用实时音视频，因而应用 AVAudioSessionCategoryPlayAndRecord 类别。因为音乐软件对音质要求比拟高，所以在蓝牙状况下，会应用 A2DP 模式，应用 AVAudioSessionCategoryOptionAllowBluetoothA2DP。

配置设施硬件

应用音频会话属性，能够在运行时针对设施硬件优化应用程序的音频行为。这样做能够使咱们的代码适应正在运行设施的个性，以及用户在利用程序运行时所做的更改（例如插入耳机或将设施对接）。

咱们在配置设施硬件，能够通过 AVAudioSession 实现相应的属性配置：

• 为采样率和 I / O 缓冲区持续时间指定首选的硬件设置。
• 查问许多硬件个性，例如输出和输入提早，输出和输入通道数，硬件采样率，硬件音量设置以及音频输出的可用性。

想要配置设施硬件，首先须要理解分明硬件的详细情况，具体能够看上面的 2 张图，自行测试和查阅文档得出。

iPhone 硬件详情：

iPad 硬件详情：

问题排查

音频可用性问题

音频可用性问题通常指音频的采集和播放是否失常工作，那么会有哪些因素会影响音频的可用性呢？

• 设施权限：无麦克风权限、没有配置音频后盾权限。
• 被其余声音抢占，如微信通话、打电话中断、siri 中断等。
• 用户行为：接口调用 mute，批改 AVAudioSession 的 Category 等。
• 机器故障：硬件启动失败。

为了应答音频问题的排查，咱们新增了音频事件上报和音频回路检测性能。

iOS 音频事件上报类型

这里咱们列举几种常见的 iOS 音频事件上报的具体类型：

• 音频输出设施变更事件：上报设施名，如【麦克风 (BuiltInMic)、一般耳机 (HeadsetMic)、蓝牙耳机 (BluetoothHFP)（个别指 HFP）】

  • 示例：{“InputDeviceChange”:”BuiltInMic”}

• 音频输出设备变更事件：上报设施名，如【扬声器 (BuiltInSpeaker)、听筒 (BuiltInReceiver)、一般耳机 (Headphones)、蓝牙耳机（BluetoothHFP）、蓝牙耳机（BluetoothLE）、蓝牙耳机（BluetoothA2DP）】

  • 示例：{“OutputDeviceChange”:”BuiltInSpeaker”}

• 音频采集采样率变更事件：上报以后采集采样率

  • 示例：{“RecordSampleRateChange”:”48000″}

• 音频播放采样率变更事件：上报以后播放采样率

  • 示例：{“PlayoutSampleRateChange”:”48000″}

• 音频设备异样状态变更事件：上报以后异样状态

  • 示例：{“InitRecordingErr\StartRecordingErr\StopRecordingErr…”:”-108″}

• 音频系统音量变更事件：上报以后零碎音量

  • 示例：{“SystemVolumeChange”:”70″}

• 音频播放故障检测变更事件：上报以后播放故障次数

  • 示例：{“PlayoutGlitch”:”3″}

• 音频会话相干变更事件有以下 8 种状况：

  • 音频打断开始事件 audioInterruptionBegin 0
  • 音频打断完结事件 audioInterruptionEnd 1
  • 音频媒体服务失落事件 audioMediaServicesWereLost 2
  • 音频媒体服务重置事件 audioMediaServicesWereReset 3
  • 缄默辅助音频提醒告诉开始事件 audioSilenceSecondaryAudioHintBegin 4

  • 缄默辅助音频提醒告诉完结事件 audioSilenceSecondaryAudioHintEnd 5

    • 示例：{“audioInterruptionBegin\audioInterruptionEnd…”:”0″}

  • AVAudioSession 相干的 Category 6

    • 示例: {“CategoryChange”:”AVAudioSessionCategoryPlayAndRecord”}

  • AVAudioSession 相干的 CategoryOption 7

    • 示例:{“CategoryOptionChange”:”37″}

  • AVAudioSession 相干的 Mode 8

    • 示例:{“ModeChange”:”AVAudioSessionModeVoiceChat”}

音频回路检测

咱们在应用过程中须要实时察看音频的回路工作状态，咱们重点剖析以下两种状况：

• 当咱们须要精确理解音频回路的理论工作状态，那么咱们能够通过采集音频和播放音频对应的采样率以及单位工夫内的音频采样 Samples 偏差，同时也能理解到它向 NetEQ（即：音频 Buffer）索要音频播放数据的节奏。
• 当播放线程呈现卡顿的时候，咱们须要实时获取音频播放线程状态以及剖析解码、混音等各个阶段的耗时，排查其余环节对于播放线程的影响。

将来瞻望

产品以及零碎也在一直迭代降级，例如：

1. 麦克风的地位抉择（Built-in 不可控，因为要完满解决回声问题）和麦克风的极性模式设置（极性模式定义了其对声音绝对于声源方向的灵敏度）。
2. 从 iOS 14 和 iPadOS 14 开始，咱们当初能够应用反对的设施上的内置麦克风来捕捉立体声音频，从而取得十分有沉迷式的录音体验。

咱们冀望将来能够联合这些劣势能力，在音频会话技术上深度开掘，以提供更好的音频服务。

总结

本文介绍了基于 WebRTC 实现 iOS 音频会话的实现以及治理。一个残缺的零碎，须要有预警各种异样、解决各种异常情况的能力。因为挪动端设施的复杂性，挪动端音频预警，自行复原机制是一个比拟外围的技术。

熟练掌握 AVAudioSession 的 Category、CategoryOption、Mode 的各个含意和理解 iPhone、iPad 的硬件结构，对于了解 iOS 音频至关重要，上文如有不正确之处，欢送指出，也欢送交换。

系列文章

• 基于 WebRTC 实现自定义编码分辨率发送
• WebRTC 系列之视频辅流
• WebRTC 系列之音频的那些事
• 从入门到进阶|如何基于 WebRTC 搭建一个视频会议

作者介绍

陶金亮，网易云信资深客户端音视频工程师，始终从事客户端音视频相干开发工作，期间负责网易云信的 G1 和 G2 的相干研发工作。

更多技术干货，欢送关注【网易智企技术 +】微信公众号