关于webrtc:WebRTC-ICE-状态与提名处理

39次阅读

共计 4001 个字符,预计需要花费 11 分钟才能阅读完成。

大家都晓得奥斯卡有提名,其实在 WebRTC 的 ICE 中也有提名,有惯例的提名,也有激进的提名,而且提名的候选人不肯定是最优良的候选人喔,本文就带你一探其中玄妙。文章内容次要形容 RFC 5245 中 ICE 相干的状态和 ICE 提名机制,并联合 libnice(0.14) 版本进行剖析。

作者:阵图,阿里云开发工程师
审校:泰一,阿里云高级开发工程师

Scene

剖析一个问题时候遇到这样的场景:服务端一个 Candidate,客户端三个不同优先级的 Candidate,然而最初竟然抉择了一个优先级最低的 Pair。

服务端有一个 Relay Candidate,端口 50217。

a=candidate:3 1 udp 503316991 11.135.171.187 50217 typ relay raddr 10.101.107.25 rport 40821

客户端有三个 Candidate,端口 50218(两头优先级),50219(最低优先级),50220(最高优先级)。

Candidate 1:
candidate:592388294 1 udp 47563391 11.135.171.187 50219 typ relay raddr 0.0.0.0 rport 0 generation 0 ufrag fO75 network-cost 50

Candidate 2:
candidate:592388294 1 udp 48562623 11.135.171.187 50218 typ relay raddr 0.0.0.0 rport 0 generation 0 ufrag fO75 network-cost 50

Candidate 3:
candidate:592388294 1 udp 49562879 11.135.171.187 50220 typ relay raddr 0.0.0.0 rport 0 generation 0 ufrag fO75 network-cost 50

然而最初抉择的却是最低优先级的 Pair,50219。

Remote selected pair: 1:1 592388294 UDP 11.135.171.187:50219 RELAYED

Candidate’s Foundation

Candidate 的 Foundation: 这里先提一下 Foundation,会波及到 Frozen 状态。

对于一条雷同的信道,可能有不同的 Candidate,比方 Relay Candidate 被发现的时候,就能够生成一个新的 Server Reflexive 类型的 Candidate,然而他们都是基于雷同的本地地址(IP,端口)和协定,则能够认为这些网络是类似的,则他们就会有雷同的 Foundation。其中 Foundation 在 SDP 中为第一个字段,即上面例子中的 ‘7’。

a=candidate:7 1 udp 503316991 11.178.68.36 51571 typ relay raddr 30.40.198.7 rport 55896

ICE States

ICE 次要有以下五种状态,其中前四种是失常的状态,第五种状态 Frozen 波及到 ICE Frozen Algorithm。

ICE 的五种状态:

  • Waiting: 当连通性查看还没有开始执行的时候(Binding Request 还没发送)。
  • In Progress: 当连通性查看发送了,然而相应查看的事务仍在执行中(Binding Request 已发送)。
  • Successed: 连通性查看执行实现且返回后果胜利(Binding Request 已实现)。
  • Failed: 连通性查看执行实现且后果失败(Binding Request 已实现)。
  • Frozen:,所有 Candidate Pair 初始化实现当前就在这个状态,对于雷同的 Foundation(类似的 Candidate),会依照优先级顺次选取一个 Pair,Unfreeze,并设置为 Waiting 状态,其余则放弃 Frozen。直到选取的 Pair 实现,才会持续 Unfreeze 另一个 Pair。

ICE Nomination

ICE 有两种提名形式:

1.Regular Nomination

对于惯例提名,次要工作流程如下:

L                        R
-                        -
STUN request ->             \  L's
<- STUN response  /  check

<- STUN request  \  R's
STUN response ->            /  check

STUN request + flag ->      \  L's
<- STUN response  /  check

Regular Nomination  

Controlling 模式下的 Agent 发动 Binding Request,并且收到对端的 Response,同时对端发动的 Connective Check 实现,Controling 一端会再次收回一个携带 USE_CANDIDATE 标记位的 Binding Request,当 Controlled 一端收到了,就承受这次提名。

2.Aggressive nomination

除了惯例提名,还有一种比拟激进的提名,惯例提名中会新增一次握手。

L                        R
-                        -
STUN request + flag ->      \  L's

<- STUN response  /  check
<- STUN request  \  R's
STUN response ->            /  check

Figure 5: Aggressive Nomination

Controlling 模式下的 Agent 发动 Binding Request,然而在这个 Binding Request 中会间接携带 USE_CANDIDATE 的标记位,Controlled 模式下的 Agent 收到了当前就承受这次提名。在激进提名模式下,能节约一次握手过程,然而当多个 Pair 同时承受提名时,会依据这些 Pair 各自的优先级进行抉择,抉择出优先级最高的 Pair 作为理论的信道。

实在案例:

Updating States When Nomination

原文参考

当一个新的提名产生时,会对 ICE 外部状态进行对应的变动。

当一端的 Binding Request 携带了 Use Candidate 的标记位时,则会产生一次提名(Nomination)。

不论 Controlling 或者 Controlled 模式下的 Agent,解决提名的状态更新规定倡议如下:

  • 如果没有提名的 Pair,则持续进行连通性查看的过程。
  • 如果至多有一个无效的提名:

    • Agent 必须删除该 Component 下的所有 Waiting 状态和 Frozen 状态的 Pair。
    • 对于 In Progress 状态下的 Pair,优先级低于以后提名 Pair 优先级的,进行重传(勾销)。
  • 当某一个 Stream 的所有 Compont 都至多领有一个提名时,且查看依然在进行时:

    • Agent 必须将该 Stream 标记为已实现。
    • Agent 能够开始传输媒体流。
    • Agent 必须继续响应收到的音讯。
    • Agent 必须重传以后依然在 In Progress 的 Pair(优先级高于以后提名的,不然曾经被删除或者勾销)。
  • 当查看列表中的所有 Pair 都实现时:

    • ICE 实现。
    • Controlling Agent 依据优先级更新 Offer(貌似 WebRTC 没有这一步)。
  • 当查看列表查看有失败时:

    • 所有 Pair 都失败时,敞开 ICE。
    • 当有某个流的查看胜利时,Controlling Agent 移出失败的 Pair,并更新 Offer。
    • 如果有些查看没有实现,则 ICE 持续。

Scheduling Checks

在形容提名时,还会波及 ICE 对 Pair 的调度(当无效 Candidate 还在 In Progress 的时候然而其余 Candidate 的 Pair 曾经收到 Binding Request)。

这里只探讨 Full,先不形容 Lite 模式。

ICE 的 Checks 分成两种,Ordinary Checks And Triggered Checks。

  • Ordinary Checks 是惯例的 Pair 的查看,示意这些 Pair 的查看是从失常流程中切换过去的状态的查看。
  • Triggered Check 是被动触发的查看,当这些 Pair 尽管还处在不能够开始查看的状态,然而这时候收到了对端的连通性查看,这时候会对这个 Pair 进行提速,将其间接放入调度列表。

当 ICE 建设一个 Check List(每个 Stream 一个)后,会对每个 Check List 增加一个定时器,当定时器到来时,会进行如下调度:

注:这里有点不能了解,整个流程看起来是串行的,激活速度有点慢。

  • 首先调度 Triggered Check 并执行。
  • 若无,调度优先级最高的 Waiting 状态的 Pair,发送 Request,同时将状态置为 In Progress。
  • 若无,则从 Check List 中找出优先级最高的 Frozen 状态的 Pair,Unfreeze 之,并发送 Request,状态设置为 In Progress。
  • 若无,终止调度。

Case Analyzed

简略理解了 ICE 的流程后,咱们回归最开始的 Case。

首先看 Add Candidate,三个 Remote Candidate 增加程序不同,顺次为 50219,50218,50220,留神,此时 50219 收到了对端的 Binding Request,激进提名,携带 USE_CANDIDATE,因而很快执行 Create Permission 并实现,这时候能够开始发送 Binding Request 了,属于 Triggered Checks 优先调度,发送 Binding Request,并进入 In Progress 状态。

注:这里除了本地 Relay 的 Pair,还有和 Turn 通信的本地 Host 类型的 Candidate。

接着在 50219 在其余两个 Create Permission 还没实现时候以迅雷不及掩耳之势实现了 Check,依据 rfc 8.1.2 中的形容,对于不是在 In Progress 状态的 Pair,都删除,并不参考其优先级,故最初抉择了 50219 这个优先级最低的 Pair。

「视频云技术」你最值得关注的音视频技术公众号,每周推送来自阿里云一线的实际技术文章,在这里与音视频畛域一流工程师交换切磋。

正文完
 0