文 /eBPF 技术摸索 SIG
一、网络抖动背景
延时高，网络卡，卡住了美妙！
利用抖，业务惊，惊动了谁的心？
当你在观看世界杯梅西主罚点球忽然视频中断了几秒钟
当你在游戏中奋力厮杀忽然手机在转圈圈无奈响应
当你守候多时为了抢一张化妆品优惠券忽然迟迟加载不进去 …
咱们常常在观看视频、手机游戏、网上购物时，会遇到下面这些烦心事，作为用户，咱们总有被卡在“临门一脚”的感觉，此时的你，是否有种想把手机或电视砸掉的激动？或者破口大骂网络服务商的线路不稳固？是的，这种景象个别是网络抖动引起的。
“高频率、难攻克”始终是业界对 抖动问题 的评估，特地是在咱们云计算场景下，简单的网络拓扑，泛滥的业务承载状态，容器、虚拟机和传统的物理机并存，业务的利用也呈现了微服务泛滥、多语言开发、多通信协议的鲜明特征，这给咱们定位这类问题带来十分大的挑战。试想从咱们的手机或者 PC 浏览器收回的一个付款申请，可能要通过你的家庭路由器，运营商网络，云服务商物理网络、虚构网络，以及电商服务器，容器或者虚拟机，最初才是具体的服务程序对申请进行解决，这外面每个节点都可能存在提早。
购物、游戏、视频、金融等畛域，受限于传统的 IDC 物理网络的环境因素，多样化的云网络场景，以及业务零碎的复杂性，所有波及到网络申请和解决的中央，都会存在业务网络抖动的状况。
在云服务商外部，业务所在的 ECS 服务器，日志的存储和上传、数据库拜访，可能扩散在不同的节点，节点之间也有各种网关和外部网络。当呈现抖动时，每个功能模块都只能保护本人的节点诊断信息，无奈通过对立平台出现具体时延信息，相互之间的自证清白的能力比拟弱。
到具体业务和利用解决上，因为操作系统下面跑着各种工作，相互之间的调度和解决都会有烦扰，内存调配、报文解析、IO 拜访提早等等，都给咱们剖析抖动问题带来艰难。
二、网络抖动的定义
2.1 网络抖动的定义和景象
后面咱们始终在提提早，提抖动，以及抖动如何难剖析。当初咱们回到一个最后的问题，什么是网络提早？什么是网络抖动？云计算场景 中抖动都有哪些具体的景象？
网络提早 是指报文在网络中传输所用的工夫，即从报文开始进入网络到它开始来到网络所经验的工夫。各式各样的数据在网络介质中通过网络协议 (如 TCP/IP) 进行传输，如果信息量过大不加以限度，超额的网络流量就会导致设施反馈迟缓，从而造成网络提早。
而 抖动 是 Qos 外面罕用的一个概念，当报文通过交换机、路由器等设施时，容易呈现网络拥塞，通常报文会进行排队，这个排队提早将影响端到端的提早，并导致通过同一个连贯进行传输的报文经验的提早各不相同，所以抖动，就是用来形容这样一提早变动的水平。网络抖动值越小 阐明网络品质越稳固。举例说明，假如 A 网络最大提早是 15 毫秒，最小提早为 5 毫秒，那么网络抖动值是 10 毫秒。
总结起来，网络抖动是指在某一时刻业务的流量上涨、失常业务指标受损，网络呈现提早等。延时和抖动次要的结果是 影响用户体验，特地是在游戏场景中更是来不得半点抖。试想当你在打怪买配备时抖了那么 20ms，配备没了，此时捶胸顿足砸键盘也于事无补啊。
另外，云场景下，用户不仅关怀失常场景的均匀提早，对异样场景下的长尾提早，也越来越关注。影响长尾提早的因素，如宕机、网络延时、磁盘抖动、零碎夯机等等。长尾提早还存在着放大效应，比方零碎 A 串行向零碎 B 发送 5 个申请，前一个申请返回能力进行后一个申请，当零碎 B 呈现一个慢申请时，会堵住前面 4 个申请，零碎 B 中的 1 个 Slow IO 可能会造成零碎 A 的 5 个 Slow IO。所以，每个节点的每一个零碎服务都有任务被动缩小或升高解决提早。
咱们通常说的网络抖动，拿 云计算场景 来看，可能有如下景象：
1、两台 ECS 服务器之间从收回 ping request 到 reply 回复的失常程度是 5ms，在某个工夫点忽然产生抖动，减少至 50ms，随后马上复原。
2、负载平衡 SLB 上的 HTTP 申请均匀提早的失常程度在 10ms，在某个工夫点忽然产生抖动，整体提早减少至 100ms，随后马上复原。
3、通过 ECS 拜访 RDS 数据库，在某个工夫点忽然打印大量日志如 ”SocketTimeOut”、”Request timeout” 等，持续时间为秒级，随后马上复原。
从上述景象能够看出，网络抖动在云计算场景下有了新的了解，它产生的起因可能是因为 发送端和接收端之间的链路、零碎外部的一个刹时抖动，比方业务所在 Linux 零碎 crash、链路有丢包重传、网卡 up/down、交换机缓存刹时打满等。
咱们先看一下解决网络提早和抖动的个别办法：
1、交换机和路由器等设施，被动防止网络报文排队和解决工夫。
2、云网络及上云等网关设施被动升高解决提早，通过硬件进步转发速度，通过 RDMA 技术升高时延。
3、业务利用所在的虚拟机或者容器的内核协定栈关上 tso 等硬件加速计划，采纳零拷贝等技术升高提早。
2.2 网络抖动的分类
在云计算场景下，通过对抖动问题进行剖析，依据抖动产生的时刻和是否可复现，将抖动分成三大类：
1、以后还在产生的抖动问题，且这个景象还持续存在，咱们称之为 Current 以后抖动。这类问题个别因为链路中有持续性或周期性丢包、Qos 限流引起。
2、过来某一时刻呈现的抖动，以后景象已不存在，咱们称之为 历史抖动。这类抖动问题个别在日志中打印“socket timeout”，或者有重传报文记录，这类问题相对来说少，很难定位。
3、通过 ping 包去检测连通性或网络状态，常常有几十甚至上百 ms 的提早，而失常状况是几个 ms 不到。ping 毛刺问题，有可能该景象还始终存在，或者是间歇性地呈现。这类问题个别是业务负载高(load 高)，零碎卡顿，或者存在虚拟化环境中的 CPU 争抢问题。
个别的，丢包和重传会引起以后和历史抖动问题，拿 tcp 协定来说，只有从 tcp 收回去的报文在链路上呈现了丢包，内核协定栈就会对该 报文进行重传 ， 大量的重传会导致业务超时和引起网络抖动。因而，丢包问题，也是网络抖动的头等宿敌。但还得明确一个概念：网络丢包可能造成业务超时，然而业务超时的起因不肯定是丢包。起因后面也提到过，包含链路上的硬件转发或路由等设施，以及其上的零碎及应用软件的每一个环节都存在引起业务超时的状况。
2.3 网络抖动的掂量指标
掂量“网络抖动”的指标，大家能想到的必定是看业务的申请和回复报文的提早是多少，即 latency 或者 RT(Reponse Time)，在云计算场景中，具体化到了一些特定的网络指标，比方 RT、申请数、连接数、bps、pps 等。其中一些指标的含意如下：
1. 响应工夫(RT Response Time)
响应工夫是指执行一个申请从开始到最初收到响应数据所破费的总体工夫，即从客户端发动申请到收到服务器响应后果的工夫。RT 是一个零碎最重要的指标之一，它的数值大小间接反映了零碎的快慢。
对于一个游戏软件来说，RT 小于 100 毫秒应该是不错的，RT 在 1 秒左右可能属于勉强能够承受，如果 RT 达到 3 秒就齐全难以承受了。而对于编译系统来说，残缺编译一个较大规模软件的源代码可能须要几十分钟甚至更长时间，但这些 RT 对于用户来说都是能够承受的。所以 RT 的多少，对不同零碎的感触是不一样的。
2. 吞吐量(Throughput)
吞吐量是指零碎在单位工夫内解决申请的数量。
零碎的吞吐量（承压能力）与 request 对 CPU 的耗费、内部接口、IO 等严密关联。单个 request 对 CPU 耗费越高，内部零碎接口、IO 速度越慢，零碎吞吐能力越低，反之越高。影响零碎吞吐量几个重要参数：QPS（TPS）、并发数、响应工夫。
3. 并发数
并发数是指零碎同时能解决的申请数量，这个也是反映了零碎的负载能力。一个零碎能同时解决的申请数量，连贯数量都有一个规格要求，当申请数越多时，零碎解决的速度就会呈现瓶颈。
4、QPS 每秒查问数量(Query Per Second)**
QPS 是一台服务器每秒可能响应的查问次数，是对一个特定的查问服务器在规定工夫内所解决流量多少的衡量标准。
5、TPS 每秒执行的事务数量(throughput per second)
TPS 代表每秒执行的事务数量，可基于测试周期内实现的事务数量计算得出。一个事务是指一个客户机向服务器发送申请而后服务器做出反馈的过程。例如，用户每分钟执行 6 个事务，TPS 为 6 / 60s = 0.10 TPS。
指标：
- QPS(TPS)：每秒钟的申请 / 事务数
- 并发数：零碎同时解决的申请 / 事务数
- 响应工夫：个别取均匀响应工夫
这三者之间的关系：
- QPS(TPS) = 并发数 / 均匀响应工夫
- 并发数 = QPS * 均匀响应工夫
为了形容更宽泛意义上的网络抖动，云场景中咱们个别用 RT 这个术语，咱们会有监控检测某个业务的 RT 值，比方 nginx 服务的 RT 值。个别本文所述的提早、超时、响应慢、卡顿等词汇，只有影响到了用户的体验，都认为是抖动问题。
下图是掂量指标的汇总：
三、Linux 内核网络抖动
3.1 内核网络抖动点
用户的业务部署在云上，个别运行在容器里或者间接部署在 guest OS 上，后面也提到过，操作系统外部、业务过程的调度运行、业务的申请和解决也会存在网络抖动的点。其中，报文的收发过程也存在诸多耗时的中央。首先看一个 Linux 内核网络协议栈的分层架构图。
咱们先来回顾一下 Linux 的网络收包流程：
1、数据报文从内部网络达到网卡。
2、网卡把数据帧通过 DMA 送到零碎内存保留。
3、硬中断告诉 CPU 有报文达到。
4、CPU 响应硬中断，简略解决后收回软中断。
5、软中断或者通过 ksoftirqd 内核线程解决报文，而后通过网卡 poll 函数开始收包。
6、帧被从 Ringbuffer 上摘下来保留为一个 skb。
7、协定层开始解决网络帧，通过 netdev、IP、tcp 层解决。
8、协定层解决完之后，把数据放在 socket 的接管队列中，而后通过唤醒用户过程来进行收包。
9、用户过程通过操作系统的调度取得 CPU，开始从内核拷贝数据包到用户态进行解决。
Linux 网络的发包流程如下：
1、应用程序通过 send 零碎调用发送数据包，从用户态陷入到内核态，内核会申请一个 sk_buff，而后将用户待发送的数据拷贝到 sk_buff，并将其退出到发送缓冲区。
2、网络协议栈从 Socket 发送缓冲区中取出 sk_buff，并依照协定栈从上到下逐层解决，最初报文进入网络接口层解决。
3、网络接口层会通过 ARP 协定取得下一跳的 MAC 地址，而后对 sk_buff 填充帧头和帧尾，接着将 sk_buff 放到网卡的发送队列中，个别应用 qdisc 设置排队规定，进行入队和出队解决。
4、网卡驱动会从发送队列中读取 sk_buff，将这个 sk_buff 挂到 RingBuffer 中，接着将 sk_buff 数据映射到网卡可拜访的内存 DMA 区域，最初触发实在的发送。
5、当发送实现的时候，网卡设施会触发一个硬中断来开释内存，次要是开释 sk_buff 内存和 RingBuffer 内存的清理。
解决流程如下图所示，数字编号不肯定齐全对应。
下面所述的报文收发过程，存在网络抖动的中央是：协定栈和驱动的入口和出口处，以及内核态和用户态的连接处。 比方接管报文达到后收回中断到报文真正失去解决这段时间的耗时，这个耗时很多时候都是因为某个过程长时间关中断导致中断和软中断解决提早；另一个是数据达到接管队列后，唤醒用户过程到真正调用 recvmsg 收包解决的这段时间的耗时，这个次要因为零碎忙碌而呈现调度提早，被唤醒的过程长时间未能真正去解决收到的包。
因而，Linux 内核里，网络抖动个别是在中断和软中断解决的提早，过程的睡眠和唤醒提早，qdisc 排队提早，Netfilter 解决提早，tcp 的超时重传提早等。
3.2 三类抖动的根因探寻和解决之道
云计算波及到的网络节点较多，且每个点都有产生抖动的可能，限于篇幅，同时因为操作系统和业务最贴合，本文只基于节点外部操作系统的视角。针对后面提到的三类抖动：以后抖动、历史抖动、ping 毛刺，来讨论一下如何去发现和解决这三类抖动的问题。
通过咱们在实践中的摸索和剖析总结，提出以下抖动根因的探测办法和抖动问题解决之道：
1. 针对 Ping 毛刺问题，提出在用户态结构报文进行探测的办法：Pingtrace。不同于大家罕用的 ping 程序，Pingtrace 通过在 icmp/tcp/udp 的根底上减少 pingtrace 协定头，在 pingtrcace 报文沿途通过的节点填上对应的收发工夫戳，最初通过计算各个节点的延时信息，构建一个拓扑来描述节点详细信息，从而找到抖动的节点和抖动起因。
2. 针对以后抖动问题，对实在报文间接跟踪开掘时延：Rtrace。它对实在业务报文所通过的内核处理函数特地是协定栈处理函数进行 tracing，失去每个函数点的工夫戳信息，反对 icmp/tcp/udp/lacp/arp 等协定报文调用门路的获取和时延信息的统计，还能分明晓得某个协定包在哪里因为什么起因丢包的，或者哪个函数解决慢了。
3. 针对历史抖动问题，提出常态化抖动监控零碎：Netinfo。它对容器（pod）、流、逻辑接口的各项指标进行监控，追踪业务抖动的根因，进行集群和单机的告警上报。深度加工丢包、重传、拥塞管制、窗口变动、流量突发、中断提早等指标进行剖析，归一化成简略的衰弱度指标；同时在数据处理核心进行离群检测，找出影响抖动的几个重点指标和具备集群共性的指标。
4. 针对不同的业务利用，提出利用观测引擎 Raptor。业务利用的外在问题是客户间接能看到的，然而如何与零碎指标关联，是当今观测畛域的难点，它通过把利用外部的细节进行开展，联合零碎的 profiling 分析，能找到利用抖动的明码。
通过 网络抖动三剑客和利用观测引擎 Raptor，咱们能零碎的监控和观测在节点外部呈现的抖动，同时能定界出是业务利用本身的问题，还是内部网络的问题。上面的章节咱们将简略介绍网络抖动三剑客的原理。（对于利用观测引擎 Raptor，限于篇幅会另外组织一个专题介绍）
四、刹时毛刺的被动探测：Pingtrace
4.1 背景
在碰到网络联通性较差或者零碎比拟卡时，咱们喜爱用零碎自带的 ping 命令向指标地址发送申请包进行检测，而后通过指标机回复的响应包来判断是否呈现了提早，这种办法简略又高效。但有时咱们想晓得，这个 ping 包提早了，和业务的关系怎么？是否提早高了或者又丢包了，业务利用就真的出问题了？提早和丢包的具体点在什么中央？是零碎外部还是内部链路？起因是什么？
通过这么几个灵魂拷问之后，咱们发现，对于刹时 ping 提早忽然冲高的问题（ping 毛刺），传统的 ping 工具曾经不能直观的拿到背地的信息。为此咱们提出了 通过结构新报文（pingtrace 报文）的形式进行被动的探测，通过在 pingtrace 沿途通过的点填充 timestamp 的形式，把零碎外部的提早精细化到用户态和内核态的函数解决点，而后通过可视化形式展示提早高的模块。
4.2 pingtrace 性能介绍
Pingtrace 通过在用户态结构探测协定报文，在独有的 pingtrace 头部减少 icmp、tcp 及 udp 协定头，能够进行 多种协定探测 ，同时 基于 eBPF 技术，能够做到无侵入的形式实现零碎外部细节的窥探，开销远远小于 tcpdump 等已有工具，并可实时展现各个数据链路的时延信息，疾速发现问题边界。
下图是 icmp pingtrace 的协定实现（icmp 头能够替换为 tcp 和 udp 协定头）。在各个节点，要求其余节点捕捉到特定 pingtrace 报文时填入 node id 和 timestamp（变通的实现办法是通过 eBPF 把报文送到用户态，而后补发带有 timestamp 的报文回送到源端），为了让报文尽可能小于 1500 个字节，能够通过管制表项数量来防止沿途的 IP 报文分片。
下图是其工作过程：
下图是最终出现进去的成果，每个蓝点中央鼠标放过来会显示延时信息：
留神：很多人关怀发送端和接收端的时钟源不对立，如何来进行提早节点的断定。咱们在边界点采取了绝对提早的计算方法，而不是像其余几个点的相对提早计算方法。
计算方法如下： 通过对边界的两个采集点工夫戳信息计算出差值，以最近 100 个报文中最小的差值作为基准值，对下一个报文的差值进行校对（校对就是用以后算进去的两台机器工夫戳差值相减失去 delta，减去基准值 base 算进去的后果），最初失去绝对提早。如果发现绝对提早较高，则阐明链路上呈现了问题。
这个是 udp 的 pingtrace 探测：
这个是 tcp 的 pingtrace 探测：
tcp 和 udp 的提早探测，次要目标是为了探测系统 tcp 和 udp 解决门路是否呈现提早，因为绝大部分业务都会采纳 tcp 和 udp（icmp pingtrace 不能满足此需要），因为端口号的起因，它次要多了一个端口探测和学习的过程。
4.3 pingtrace 如何进行探测
具体的应用上，有界面和命令行两种形式。界面形式只须要填入对应的源和目标 IP，它会主动下发装置命令到 client 和 server，而后开始进行诊断，诊断后果能够间接出现是哪个节点的哪个阶段呈现的提早。
或者通过命令行形式：
sysak pingtrace_raw -c 127.0.0.1 -m 1000 -o log五、实在业务报文提早开掘：Rtrace
应用自定义报文探测形式尽管能够理解以后的零碎负载和链路状况，但很难说明对某个业务或者协定是否真的有影响，所以咱们还须要对理论业务的报文，包含 tcp、udp、icmp、arp 及 lacp 等报文进行跟踪确定报文走的门路和每个函数的耗时。
rtrace 是一款基于 eBPF 的网络诊断工具，利用 eBPF 技术动静打点来获得报文工夫信息，以及每个网络层的详细信息，比方 tcp 常见的 memory 应用状况，拥塞和回复 ack 状况，记录在日志里，能够辅助问题的定界和丢包查看。如下图，rtrace 监控的局部协定栈处理函数点：
在云计算的集群环境里，抓取到的单个节点的延时和 tcp 连贯信息，有时还是很难去判断是否真的有问题，如果能从集群的维度，或者多个节点的共性事件的形式，或者能播种更多。rtrace dump 性能还反对集中式抓包的能力，相似一键发动抓包性能，而后进行集中式剖析，比方剖析 tcp 的发送接和接管到 ack 工夫，到底是慢在哪个节点上，通过比照 tcp 的 sequence 来汇总数据，很快就能失去后果。
六、历史抖动监控：Netinfo
历史抖动问题，是几种抖动问题里最难解决的，因为问题不再复现，咱们能想到的是减少一些监控伎俩，把历史某个工夫点的零碎状态、协定交互状况等信息收集起来是不是就能解决抖动问题了？答案是否定的。如果单纯从网络自身的丢包和 tcp 连贯状态信息来判断，显然还不够。还须要看过后 IO 是否 hang 住，内存是否 oom，零碎是否宕机，中断是否有突发，调度是否提早等。
如何在上百个指标中疾速找到异样点？Netinfo 在检测到抖动后(业务的 RT 值或者衰弱度指标)，会先会集所有指标进行组合，进行离群检测。最终把集群里的共性事件，通过离群统计算法来确定抖动根因。
Netinfo 次要由数据采集和数据分析告警两局部性能组成：
对于 Netinfo 能够参考文章 Netinfo：揭开网络抖动面纱的神器。Netinfo 的性能，前面会移到 SysAK 里，同时，后端的数据处理局部，也会移到 SysOM 对立平台剖析。
SysOM 平台链接地址：
http://www.sysom.pro/welcome
七、网络抖动探测标准化构想及将来瞻望
借助于网络抖动三剑客（Pingtrace、Rtrace、Netinfo），咱们很容易晓得零碎的抖动点和起因。然而这些可能只是咱们本人的了解，咱们基于云场景做了很多摸索，并把这些摸索积淀到了龙蜥操作系统，还进行了很多优化。而目前操作系统出现百花齐放的态势，网络抖动的发现和检测办法不对立，将很难在一些指标评测和零碎对接时，有一个无效的验收规范。因而咱们感觉有必要造成一个规范，比方：
1）云计算场景下抖动的定义和体现是什么？不同类型的业务有什么具体景象就算是抖动了？
2）抖动蕴含哪些内容和掂量指标？指标的范畴是什么？
3）如何检测网络抖动？有没有对立的工具进行探测？探测哪些点适合？
4）须要在哪些点减少工夫戳统计？比方 Linux 用户态到内核态的发包点，网卡的发包点。
针对网络抖动，每个人的了解可能不一样，上文 2.1 节提到抖动的几个景象，就是具体的案例。如果能联合具体的指标去掂量，就会有很大的可实操性。比方 RT 这个指标，咱们抉择 nginx 的业务作为掂量对象，RT 在多少范畴算是异样的？10ms 或者 100ms 都可能，要害评判是不同用户场景，是否这个 RT 值影响到了用户体验，如果用户体验很差，就认为是产生了抖动。
当然最重要的，咱们须要制订出一套计划和工具去进行探测，只有工具说探测到 nginx 业务的 RT 指标高了，那么就阐明在同一个零碎负载下，你的整个云服务网络抖动大，网络品质不太好，这个时候咱们就要依据探测到的根因去解决问题。
回到操作系统层面，咱们须要指定哪些探测点呢？只有大家造成一个统一认识，在 Linux 内核收发包的出入口进行工夫戳信息的提取是适合的。例如在内核 sendmsg 零碎调用函数和网卡发包的中央（比方 virtio-net 的 start_xmit 函数）减少工夫戳信息。这样大家实现的工具，就能对立到一个掂量维度。
比方，咱们在 virtio-ne 驱动里，咱们也在踊跃推动减少一个工夫戳的点，将有助于咱们在发包处工夫戳的对立：
+#define VIRTIO_NET_HDR_F_TSTAMP 8最初做一个总结，抖动的检测和治理是一个长期的工作，如果能将 Linux 零碎外部的检测工作标准化起来，将有助于咱们制订对立的性能评测计划，以及运维自动化的实现。
另外，上述工具简直全副采纳无侵入的形式实现，基于 eBPF 实现给了咱们很大的施展空间，它们将会在 SyaAK 里全副开源（目前已大部分开源）敬请关注，前面也会有系列文章再次具体介绍。
相干链接地址：
SysAK 的开源我的项目链接：
git@gitee.com:anolis/sysak.gitSysOM 的运维平台链接：
git@gitee.com:anolis/sysom.git
—— 完 ——