关于音视频:WWDC22-多媒体特性汇总

M2 芯片

• M2 芯片采纳加强的第二代 5 纳米制程技术并封装了超过 200 亿个晶体管，相比 M1 多 25%；
• 反对 100GB/s 的对立内存带宽，相比 M1 晋升 50%，最高反对 24GB 的 LPDD5 内存；
• CPU 架构沿用 8 外围架构（4 个性能外围 + 4 个能效外围），相比 M1 性能晋升 18%；
• GPU 反对 10 外围，雷同功耗下整体图形性能比 M1 晋升 25%，最大功耗程度下相比 M1 性能晋升最高可达 35%；
• 搭载新一代神经网络引擎，每秒能够解决 15.8 万亿次操作，相比 M1 晋升 40%；
• 搭载新一代媒体解决引擎，反对 8K H.264、HEVC 编解码；装备 ProRes 视频解决引擎；反对多路 4K 和 8K 视频的解码播放；

Macbook Air

最新公布的 Macbook Air 搭载最新的 M2 芯片，反对 1080p 摄像头采集。至此已有 7 款 Mac 设施反对 1080p 视频采集，除了这次公布的 MBA，其余 6 款别离是 2021 款 14 英寸 MBP、2021 款 16 英寸 MBP、2021 款 24 英寸 2 端口 iMac、2021 款 24 英寸 4 端口 iMac、27 英寸 iMac、iMac Pro。

性能方面，在 Photoshop 中应用滤镜和图像特效时，比上一代搭载 M1 的 Macbook Air 晋升 20%。

 应用 final cut pro 编辑视频时其性能体现比上一代搭载 M1 的 Macbook Air 晋升 38%。

Macbook Pro 13 英寸

最新公布的 13 英寸 Macbook Pro 搭载最新的 M2 芯片，反对 720p 摄像头采集。

性能方面，ProRes 视频转码速度相比上一代晋升 3 倍；应用 affinity photo 解决图像时，相比于上一代性能晋升 39%。

Baldur’s Gate III 游戏性能比上一代晋升 39%。

macOS

Continuity Camera

Continuity camera 个性反对以无线连接的形式将 iPhone 作为 Mac 设施的视频采集摄像头，从而可在 Mac 上应用 iPhone 相机的个性如人像模式、背景虚化、多摄像头采集、人像居中等；除了 Facetime，第三方软件也可应用 continuity camera，如 zoom、teams、Webex。该个性也反对将 iPhone 作为 Mac 的音频输出设施。

有了 continuity camera，今后 Mac 上外接采集将更加灵便易用，给 Mac 上音视频多路采集提供了更多可能性。

ScreenCaptureKit

ScreenCaptureKit 是在 macOS 12.3 推出的 Mac 端屏幕采集框架，可进行高性能、精细化管制的屏幕采集。本期 WWDC 着重介绍了 ScreenCaptureKit 的性能个性：

反对可定制化的屏幕内容采集，反对全屏幕采集，反对增加或删除屏幕内容中指定的一个或多个窗口，反对单个窗口内容的采集。

反对同时采集利用的视频和音频。

反对采集参数的设置，包含输入分辨率、采集区域、色彩格局、像素格局、光标显示、帧率、缓存队列大小，采集参数反对动静设置。

采集帧缓存在 GPU 中从而缩小内存拷贝。

基于硬件加速的采集、缩放、像素和色彩格局转换，无效升高屏幕采集 CPU 耗费，整体性能体现优异。

在 OBS 上应用 CGWindowListCeateImage API 采集与应用 ScreenCaptureKit 采集做比照：雷同场景下 CGWindowListCeateImage API 采集帧率为 7fps，而 ScreenCaptureKit 可达到 60fps；应用 ScreenCaptureKit 采集内存降落 15%，CPU 耗费降落 50%。

iOS

空间音频

iOS 14 开始反对空间音频技术，该技术通过定向音频滤波以及对用户双耳接管到的声音频率进行轻微的调整，在 AirPods Pro 的听感上实现了对传统环绕声音响的模仿。这种模仿并不仅仅停留在实现环绕声上，而是将用户手中的 iOS 设施模仿为空间当中固定地位的一套音箱设施。

当初 iOS 16 中，能够利用手机的原深感摄像头创立个性化的空间音频档案，从而实现更加精确而沉迷式的个性化听觉体验。

Metal 3

Metal 3 在上一版根底上做了很多性能优化，引入了不少重要的新个性和 API，上面咱们逐个介绍其次要个性。

新个性

• MetalFX Upscaling

GPU 渲染时先渲染较低分辨率的帧，而后利用 MetalFX 框架执行抗锯齿并上采样到指标分辨率，相比于间接渲染指标分辨率的同样场景的帧可节俭整体渲染时长。MetalFX 提供两种 upscale 形式：Temporal antialiased upscaling 和 Spatial upscaling。

• Fast Resource Loading

为了缩小 GPU 资源加载工夫，Metal 3 新增了疾速资源加载 API，它提供了从存储设备到 GPU 的更间接的门路，最大限度地缩小了资源加载的等待时间，这样 GPU 就能够更高速的拜访纹理和缓冲区。

通常为了优化资源加载时长，先加载一个低质量的资源素材，直到高质量资源加载结束。

Metal 3 新增的疾速资源 API 提供更快更统一的性能体现，晋升了资源加载速度，从而把更多工夫留给高质量资源的绘制。

• Offline Shader Compilation
  shader 编译往往须要在运行时实现，运行时编译可能对性能产生影响，从而导致帧率降落、加载工夫缩短，影响用户体验；Metal 3 反对离线 shader 编译，能够在我的项目构建时生成 shader 的二进制文件，这样能够缩小加载工夫。

• Mesh Shaders

渲染管线中用新的 object 和 mesh shaders 取代原先的 vertex shaders，从而反对更加灵便的遮挡剔除和 LOD 抉择。

• 光线追踪优化

Metal 3 优化了光线追踪，显著节俭 CPU 和 GPU 耗时：

1. 晋升了 acceleration structure 构建速度
2. 将一部分运算从 CPU 移到 GPU 从而缩小了 CPU 开销
3. 通过间接拜访图元数据优化相交和着色运算

• 机器学习硬件加速

Metal 3 做了大量优化反对机器学习的硬件加速

反对的机型

HLS

HLS Content Steering

HLS Content Steering 是苹果公司为了进步全球性流媒体服务的可用性而提出的 HLS 内容转向（Content Steering）机制。借助 HLS 内容转向机制，内容提供商能够通过部署内容转向服务器与所有的 HLS 客户端建设侧通道。在应用流媒体服务期间，客户端会向内容转向服务器定期收回 Steering Manifest 申请，转向服务器将会针对以后的客户端的状况，向客户端发送一个转向清单即 CDN 服务的优先级，以此将最新的 CDN 策略利用到客户端上。

现在，HLS Content Steering 反对门路克隆性能。

该性能兼容 Content Stering 1.2。

通过该性能可在已有的 CDN 列表中增加新的 CDN 门路。

配置文件中增加新的 CDN 门路时无需填写残缺 URI，只需填写服务器和参数字段反对灵便的 URI 替换规定。

HLS Interstitials

HLS interstitials 是苹果于 2021 年推出的旨在让广告内容的部署更加便捷的 HLS 标准，无论是在服务器端还是客户端，它不再须要依赖 SSAI 中的非凡标签。

本期 HLS interstitials 新增如下个性：

反对 CUE 属性配置，该属性可配置视频内容前广告、视频内容后广告、一次性中插广告。

反对 X-SNAP 属性，该属性可用来校准直播场景下广告插入时的工夫偏移。

新增申请参数：

• HLS_start_offset：获取广告已播时长。
• HLS_primary_id：标识播放片段和广告以防止反复播放雷同广告。

AVFoundation API 提供 AVPlayerInterstitialController 和 AVPlayerInterstitialEvent，用来反对客户端中插广告播放。

AVQT

2021 年苹果推出了高级视频品质工具 (AVQT)，利用 AVFoundation 框架，AVQT 反对 SDR 和 HDR 域中的各种视频格式、编解码器、分辨率和帧速率，从而实现简略高效的工作流程——例如，无需解码为原始像素格局等。AVQT 应用 Metal，将沉重的像素级计算下沉到 GPU 来实现高处理速度，通常用于剖析超过实时视频帧速率的视频。凭借优良的易用性和计算效率，AVQT 能够实现从视频目录中删除低质量视频，免得它们以其余形式影响应用程序中的用户。

往年 AVQT 带来如下更新：

反对生成基于 HTML 的可视化报告，可不便地标记问题，分享报告。

反对剖析起止工夫内视频片段的视频品质

扩大了对 YUV 格局的反对品种，可反对 20 种格局，包含 444、422、420、411、410，也反对 8-bit、10-bit、12-bit、16-bit 格局；反对对未经压缩的原生视频的剖析；反对对苹果生态系统以外压缩解码的视频的剖析。

反对 Linux 零碎，从而可反对服务器端部署。

DriverKit

DriiverKit 是一套用于开发设施驱动的框架。以后反对以下这些模块的驱动开发：Networking、Block Storage、Serial、Audio、USB、PCI、HID、SCSI Controllers、SCSI Periphersals。

这次 DriverKit 带来的更新次要包含：

AudioDriverKit 反对注册实时回调；可在每次产生 IO 操作时获取回调；回调可用于实时处理线程如信号处理等。

启用新的权限设置参数。

DriverKit 反对 iPad，USBDriverKit、PCIDriverKit 和 AudioDriverKit 可用于 iPadOS 16，搭载 M1 芯片的 iPad 可用。

EDR

EDR（Extended Dynamic Range）是苹果推出的一种渲染技术，可能反对设施在屏幕上同时正确显示 SDR 和 HDR 内容，EDR 并不会间接将 HDR 区域变得更亮，而是辨认到 HDR 内容后进步整体屏幕亮度的同时，升高非 HDR 区域的白点值，使得其看起来没有那么亮。

本次 WWDC，苹果再次通过几个主题演讲介绍了 EDR 原理；如何应用 CoreImage 库显示 EDR 视频图像；如何应用 AVFoundation 库解码 HDR 视频并使其反对 EDR 显示播放。

介绍了 EDR API 如下新增个性：

iOS 和 iPadOS 反对 EDR API。

12.9 英寸 iPad Pro 新增两个新个性：Reference 模式和 Sidecar 模式下反对 EDR 渲染（Sidecar 是苹果的一项技术，反对将 iPad 作为 Mac 的扩大屏）。

总结

网易云信音视频通话 2.0 SDK 曾经反对 4K & 8K 超高分辨率并且在特定会议零碎上应用 ，最新公布的 Macbook Air 和 Macbook Pro 13 如果配合应用 4K & 8K 的摄像头或者其余高清视频源，能够取得超高分辨率的绝佳体验。

网易云信音视频通话 2.0 SDK 反对基于 GPU 的视频前解决框架 ，能最大限度施展 GPU 运算能力并节俭 CPU 耗费，以优异的性能体现带来卓越的视频前解决能力；今后 Metal 3 新个性将进一步施展网易云信音视频通话 2.0 SDK 的性能劣势。

网易云信音视频通话 2.0 SDK PC 和 Mac 端现已反对视频双摄采集 ，充沛满足用户在不同场景下的视频需要；Continuity Camera 的扩展性和灵活性将给网易云信音视频通话 2.0 SDK 双摄性能在 Mac 端带来更多的利用场景和施展空间。

网易云信音视频通话 2.0 SDK 现已反对高性能的屏幕采集 ，反对仅采集须要的窗口和内容。ScreenCaptureKit 为 Mac 端新零碎的屏幕采集带来更多可选的技术计划。

总体而言，本次 WWDC 在音视频多媒体方向的新个性给开发者带来更多设想空间，将来网易云信音视频通话 2.0 SDK 在这些新个性的加持下也将锦上添花。