关于音视频:基于声网-SDK-实现-iOS-端的一对一视频通话

在很多产品，退出实时视频通话曾经不是陈腐事件了，尤其是近几年的疫情影响，集体公司国家对于实时音视频的需要始终在疾速的增长。例如视频会议、社交利用、实时游戏，甚至也可能呈现在一些元宇宙的场景中。

本文将教你如何通过声网视频 SDK 在 iOS 平台上实现一个视频通话利用。为此你须要先注册一个声网开发者账号，开发者每个月可取得 10000 分钟的收费应用额度，可实现各类实时音视频场景。

一、通过开源Demo，体验视频通话

可能有些人，还不理解咱们要实现的性能最初是怎么的。所以咱们在 GitHub上提供一个开源的根底视频通话示例我的项目，在开始开发之前你能够通过该示例我的项目体验视频通话的体验成果。

Agora 在 https://github.com/AgoraIO/Basic-Video-Call/tree/master/One-to-One-Video 上提供开源的实时音视频通话示例我的项目 Agora-iOS-Tutorial-Objective-C-1to1 与 Agora-iOS-Tutorial-Swift-1to1。

二、视频通话的技术原理

咱们在这里要实现的是一对一的视频通话。你能够了解为是两个用户通过退出同一个频道，实现的音视频的互通。而这个频道的数据，会通过声网的 Agora SD-RTN 实时网络来进行低延时传输的。
下图展现在 App 中集成 Agora 视频通话的根本工作流程：

如图所示，实现视频通话的步骤如下：

获取 Token：当 app 客户端退出频道时，你须要应用 Token 验证用户身份。在测试或生产环境中，从 app 服务器中获取 Token。
退出频道：调用 joinChannel 创立并退出频道。应用同一频道名称的 app 客户端默认退出同一频道。频道可了解为专用于传输实时音视频数据的通道。
在频道内公布和订阅音视频流：退出频道后，app 客户端均能够在频道内公布和订阅音视频。

App 客户端退出频道须要以下信息：

App ID：Agora 随机生成的字符串，用于辨认你的 App，可从 Agora 控制台获取，（Agora控制台链接：https://console.agora.io/）。具体办法可见这篇教程（这篇教程链接：https://www.agora.io/cn/commu...）。
用户 ID：用户的惟一标识。你须要自行设置用户 ID，并确保它在频道内是惟一的。
Token：在测试或生产环境中，app 客户端从你的服务器中获取 Token。在本文介绍的流程中，你能够从 Agora 控制台获取长期 Token。长期 Token 的有效期为 24 小时。
频道名称：用于标识视频通话频道的字符串。

三、开发环境

声网Agora SDK 的兼容性良好，对硬件设施和软件系统的要求不高，开发环境和测试环境满足以下条件即可：

Xcode 9.0或以上版本
反对语音和视频性能的真机
App 要求反对iOS 8.0或以上版本的iOS设施

以下是本文的开发环境和测试环境：

开发环境

• macOS 11.6版本
• Xcode Version 13.1

测试环境

• iPhone7 (iOS 15.3)

如果你此前还未接触过声网 Agora SDK，那么你还须要做以下筹备工作：

• 注册一个声网账号，进入后盾创立 AppID、获取 Token，
• 下载声网官网最新的视频通话SDK；（视频通话SDK链接：https://docs.agora.io/cn/Vide...）

四、我的项目设置

1. 实现视频通话之前，参考如下步骤设置你的我的项目：

a) 如需创立新我的项目, Xcode里，关上 Xcode 并点击 Create a new Xcode project。（创立 iOS我的项目链接：https://developer.apple.com/d...）
b) 抉择平台类型为 iOS、我的项目类型为 Single View App，并点击 Next。
c) 输出项目名称（Product Name）、开发团队信息（Team）、组织名称（Organization Name）和语言（Language）等我的项目信息，并点击 Next。
留神：如果你没有增加过开发团队信息，会看到 Add account… 按钮。点击该按钮并依照屏幕提示登入 Apple ID，实现后即可抉择你的 Apple 账户作为开发团队。
d) 抉择我的项目存储门路，并点击 Create。

2. 集成SDK

抉择如下任意一种形式获取最新版 Agora iOS SDK。

办法一：应用 CocoaPods 获取 SDK
a) 开始前确保你已装置 Cocoapods。参考 Getting Started with CocoaPods 装置阐明。（Getting Started with CocoaPods 装置阐明链接：https://guides.cocoapods.org/...）
b) 在终端里进入我的项目根目录，并运行 pod init 命令。我的项目文件夹下会生成一个 Podfile 文本文件。
c) 关上 Podfile 文件，批改文件为如下内容。留神将 Your App 替换为你的 Target 名称。

办法二：从官网获取 SDK
a) 返回 SDK 下载页面，获取最新版的 Agora iOS SDK，而后解压。（视频通话SDK链接：https://docs.agora.io/cn/Vide...）
b) 依据你的需要，将 libs 文件夹中的动静库复制到我的项目的 ./project_name 文件夹下（project_name 为你的项目名称）。
c) 关上 Xcode，进入 TARGETS > Project Name > Build Phases > Link Binary with Libraries 菜单，点击 + 增加如下库（如：）。在增加 AgoraRtcEngineKit.framework 文件时，还需在点击 + 后点击 Add Other…，找到本地文件并关上。

[外链图片转存失败,源站可能有防盗链机制,倡议将图片保留下来间接上传(img-RMM224bm-1663063848743)(upload://gOFc9CzhWzmOk7Ef4Dh0QVyu5kp.png)]

共须要增加11个库文件：
i. AgoraRtcEngineKit.framework
ii. Accelerate.framework
iii. AudioToolbox.framework
iv. AVFoundation.framework
v. CoreMedia.framework
vi. CoreML.framework
vii. CoreTelephony.framework
viii. libc++.tbd
ix. libresolv.tbd
x. SystemConfiguration.framework
xi. VideoToolbox.framework
留神： 如需反对 iOS 9.0 或更低版本的设施，请在 Xcode 中将对 CoreML.framework 的依赖设为 Optional。

d) 关上 Xcode，进入 TARGETS > Project Name > General > Frameworks, Libraries, and Embedded Content 菜单。
e) 点击 + > Add Other… > Add Files 增加对应动静库，并确保增加的动静库 Embed 属性设置为 Embed & Sign。增加实现后，我的项目会主动链接所需零碎库。

留神：

依据 Apple 官网要求，app 的 Extension 中不容许蕴含动静库。如果我的项目中的 Extension 须要集成 SDK，则增加动静库时需将文件状态改为 Do Not Embed。
Agora SDK 默认应用 libc++ (LLVM)，如需应用 libstdc++ (GNU)，请分割 sales@agora.io。SDK 提供的库是 FAT Image，蕴含 32/64 位模拟器、32/64 位真机版本。

3. 权限设置

Xcode进入 TARGETS > Project Name > General > Signing 菜单，抉择 Automatically manage signing，并在弹出菜单中点击 Enable Automatic。
增加媒体设施权限
依据场景须要，在 info.plist 文件中，点击 + 图标开始增加如下内容，获取相应的设施权限：

4. 导入Agora相干的类

在我的项目中导入 AgoraRtcEngineKit 类：

// Objective-C// ViewController.h// 导入 AgoraRtcKit 类// 自 3.0.0 版本起，AgoraRtcEngineKit 类名更换为 AgoraRtcKit// 如果获取的是 3.0.0 以下版本的 SDK，请改用 #import <AgoraRtcEngineKit/AgoraRtcEngineKit.h>#import <AgoraRtcKit/AgoraRtcEngineKit.h>// 申明 AgoraRtcEngineDelegate，用于监听回调@interface ViewController : UIViewController <AgoraRtcEngineDelegate>// 定义 agoraKit 变量@property (strong, nonatomic) AgoraRtcEngineKit *agoraKit;// Swift// ViewController.swift// 导入 AgoraRtcKit 类// 自 3.0.0 版本起，AgoraRtcEngineKit 类名更换为 AgoraRtcKit// 如果获取的是 3.0.0 以下版本的 SDK，请改用 import AgoraRtcEngineKitimport AgoraRtcKitclass ViewController: UIViewController {    ...    // 定义 agoraKit 变量    var agoraKit: AgoraRtcEngineKit?}

5. 设置Agora账号信息

在AppID.swift文件中，将你的AppID填写到let AppID，可替换“Your App ID”;

//  Objective-C//  AppID.m//  Agora iOS Tutorial Objective-C#import <Foundation/Foundation.h>NSString *const appID = <#Your App ID#>;//  Swift// AppID.swift//  Agora iOS Tutoriallet AppID: String = Your App ID

五、客户端实现

本节介绍如何应用Agora视频SDK在你的App里实现视频通话的几个小贴士：

1. 创立用户界面

依据场景须要，为你的我的项目创立视频通话的用户界面。咱们举荐你在我的项目中增加元素：本地视频窗口、远端视频窗口。
你能够参考以下代码创立一个根底的用户界面。

// Objective-C// ViewController.m// 导入 UIKit#import <UIKit/UIKit.h>@interface ViewController ()// 定义 localView 变量@property (nonatomic, strong) UIView *localView;// 定义 remoteView 变量@property (nonatomic, strong) UIView *remoteView;@end@implementation ViewController...- (void)viewDidLoad {    [super viewDidLoad];    // 调用初始化视频窗口函数    [self initViews];    // 后续步骤调用 Agora API 应用的函数    [self initializeAgoraEngine];    [self setupLocalVideo];    [self joinChannel];}// 设置视频窗口布局- (void)viewDidLayoutSubviews {    [super viewDidLayoutSubviews];    self.remoteView.frame = self.view.bounds;    self.localView.frame = CGRectMake(self.view.bounds.size.width - 90, 0, 90, 160);}- (void)initViews {    // 初始化远端视频窗口    self.remoteView = [[UIView alloc] init];    [self.view addSubview:self.remoteView];    // 初始化本地视频窗口    self.localView = [[UIView alloc] init];    [self.view addSubview:self.localView];}// Swift// ViewController.swift// 导入 UIKitimport UIKitclass ViewController: UIViewController {    ...    // 定义 localView 变量    var localView: UIView!    // 定义 remoteView 变量    var remoteView: UIView!     override func viewDidLoad() {        super.viewDidLoad()        // 调用初始化视频窗口函数        initView()        // 后续步骤调用 Agora API 应用的函数        initializeAgoraEngine()        setupLocalVideo()        joinChannel()     }    // 设置视频窗口布局    override func viewDidLayoutSubviews() {        super.viewDidLayoutSubviews()        remoteView.frame = self.view.bounds        localView.frame = CGRect(x: self.view.bounds.width - 90, y: 0, width: 90, height: 160)    }    func initView() {        // 初始化远端视频窗口        remoteView = UIView()        self.view.addSubview(remoteView)        // 初始化本地视频窗口        localView = UIView()        self.view.addSubview(localView)    }}

2. 实现视频通话逻辑

当初，咱们曾经将 Agora iOS SDK 集成到我的项目中了。接下来咱们要在 ViewController 中调用 Agora iOS SDK 提供的外围 API 实现根底的视频通话性能。你能够在 Agora-iOS-Tutorial-Objective-C-1to1/Agora-iOS-Tutorial-Swift-1to1 示例我的项目的 VideoChatViewController.m/VideoChatViewController.swift 文件中查看残缺的源码和代码逻辑。

API 调用时序见下图：

依照以下步骤实现该逻辑：

a) 初始化AgoraRtcEngineKit对象
在调用其余 Agora API 前，须要创立并初始化 AgoraRtcEngineKit 对象。调用 sharedEngineWithAppId 办法，传入获取到的 App ID，即可初始化 AgoraRtcEngineKit 。

// Objective-C- (void)initializeAgoraEngine {    // 输出 App ID 并初始化 AgoraRtcEngineKit 类。    self.agoraKit = [AgoraRtcEngineKit sharedEngineWithAppId:appID delegate:self];}// Swiftfunc initializeAgoraEngine() {   // 输出 App ID 并初始化 AgoraRtcEngineKit 类。   agoraKit = AgoraRtcEngineKit.sharedEngine(withAppId: AppID, delegate: self)}

你还能够依据场景须要，在初始化时注册想要监听的回调事件，如本地用户退出频道，及解码远端用户视频首帧等。

b) 设置本地视图
胜利初始化 AgoraRtcEngineKit 对象后，须要在退出频道前设置本地视图，以便在通话中看到本地图像。参考以下步骤设置本地视图：
· 调用 enableVideo 办法启用视频模块。
· 调用 setupLocalVideo 办法设置本地视图。

// Objective-C// 启用视频模块。[self.agoraKit enableVideo];- (void)setupLocalVideo {    AgoraRtcVideoCanvas *videoCanvas = [[AgoraRtcVideoCanvas alloc] init];    videoCanvas.uid = 0;    videoCanvas.view = self.localVideo;    videoCanvas.renderMode = AgoraVideoRenderModeHidden;    // 设置本地视图。    [self.agoraKit setupLocalVideo:videoCanvas];}// Swift// 启用视频模块。agoraKit.enableVideo()func setupLocalVideo() {  let videoCanvas = AgoraRtcVideoCanvas()  videoCanvas.uid = 0  videoCanvas.view = localVideo  videoCanvas.renderMode = .hidden  // 设置本地视图。  agoraKit.setupLocalVideo(videoCanvas)}

c) 退出频道
频道是人们在同一个视频通话中的公共空间。实现初始化和设置本地视图后（视频通话场景），你就能够调用 joinChannelByToken 办法退出频道。你须要在该办法中传入如下参数：

channelId: 传入能标识频道的频道 ID。输出频道 ID 雷同的用户会进入同一个频道。
token: 传入能标识用户角色和权限的 Token。你能够设置如下值：
a) nil 。
b) 控制台中生成的长期 Token。一个长期 Token 的有效期为 24 小时，详情见获取长期 Token。
c) 你的服务器端生成的正式 Token。实用于对平安要求较高的生产环境，详情见生成 Token。若我的项目已启用 App 证书，请应用 Token。
d) uid: 本地用户的 ID。数据类型为整型，且频道内每个用户的 uid 必须是惟一的。若将 uid 设为 0，则 SDK 会主动调配一个 uid ，并在 joinSuccessBlock 回调中报告。
e) joinSuccessBlock：胜利退出频道回调。 joinSuccessBlock 优先级高于 didJoinChannel ，2 个同时存在时， didJoinChannel 会被疏忽。须要有 didJoinChannel 回调时，请将 joinSuccessBlock 设置为 nil 。

更多的参数设置注意事项请参考 joinChannelByToken 接口中的参数形容。

// Objective-C- (void)joinChannel {    // 退出频道。    [self.agoraKit joinChannelByToken:token channelId:@"demoChannel1" info:nil uid:0 joinSuccess:^(NSString *channel, NSUInteger uid, NSInteger elapsed) {    }];}// Swiftfunc joinChannel() {    // 退出频道。    agoraKit.joinChannel(byToken: Token, channelId: "demoChannel1", info:nil, uid:0) { [unowned self] (channel, uid, elapsed) -> Void in}    self.isLocalVideoRender = true            self.logVC?.log(type: .info, content: "did join channel")        }        isStartCalling = true}

d) 设置远端视图
视频通话中，通常你也须要看到其余用户。在退出频道后，可通过调用 setupRemoteVideo 办法设置远端用户的视图。

远端用户胜利退出频道后，SDK 会触发 firstRemoteVideoDecodedOfUid 回调，该回调中会蕴含这个远端用户的 uid 信息。在该回调中调用setupRemoteVideo 办法，传入获取到的 uid ，设置远端用户的视图。

// Objective-C// 监听 firstRemoteVideoDecodedOfUid 回调。// SDK 接管到第一帧远端视频并胜利解码时，会触发该回调。// 能够在该回调中调用 setupRemoteVideo 办法设置远端视图。- (void)rtcEngine:(AgoraRtcEngineKit *)engine firstRemoteVideoDecodedOfUid:(NSUInteger)uid size: (CGSize)size elapsed:(NSInteger)elapsed {    if (self.remoteVideo.hidden) {        self.remoteVideo.hidden = NO;    }    AgoraRtcVideoCanvas *videoCanvas = [[AgoraRtcVideoCanvas alloc] init];    videoCanvas.uid = uid;    videoCanvas.view = self.remoteVideo;    videoCanvas.renderMode = AgoraVideoRenderModeHidden;    // 设置远端视图。    [self.agoraKit setupRemoteVideo:videoCanvas];}// Swift// 监听 firstRemoteVideoDecodedOfUid 回调。// SDK 接管到第一帧远端视频并胜利解码时，会触发该回调。// 能够在该回调中调用 setupRemoteVideo 办法设置远端视图。func rtcEngine(_ engine: AgoraRtcEngineKit, firstRemoteVideoDecodedOfUid uid:UInt, size:CGSize, elapsed:Int) {        isRemoteVideoRender = true        let videoCanvas = AgoraRtcVideoCanvas()        videoCanvas.uid = uid        videoCanvas.view = remoteVideo        videoCanvas.renderMode = .hidden        // 设置远端视图。        agoraKit.setupRemoteVideo(videoCanvas)    }

e) 来到频道
依据场景须要，如完结通话、敞开 App 或 App 切换至后盾时，调用 leaveChannel 来到以后通话频道。

// Objective-C- (void)leaveChannel {    // 来到频道。    [self.agoraKit leaveChannel:^(AgoraChannelStats *stat)}// Swiftfunc leaveChannel() {        // 来到频道。        agoraKit.leaveChannel(nil)        isRemoteVideoRender = false        isLocalVideoRender = false        isStartCalling = false        self.logVC?.log(type: .info, content: "did leave channel")    }

f) 销毁AgoraRtcEngineKit对象
最初，来到频道，咱们须要调用 destroy 销毁 AgoraRtcEngineKit 对象，开释 Agora SDK 应用的所有资源。

// Objective-C// ViewController.m// 将以下代码填入你定义的函数中[AgoraRtcEngineKit destroy];// Swift// ViewController.swift// 将以下代码填入你定义的函数中AgoraRtcEngineKit.destroy()

至此，实现，运行看看成果。拿两部 iOS 手机装置编译好的App，退出同一个频道名，如果2个手机都能看见本地和远端视频图像，阐明你胜利了。

如果你在开发过程中遇到问题，能够拜访论坛发问与声网工程师交换https://rtcdeveloper.agora.io/

一、 通过开源Demo，体验视频通话

二、 视频通话的技术原理