关于负载均衡:RALB负载均衡算法的应用-京东云技术团队

一、背景

搜寻举荐算法架构为京东团体所有的搜寻举荐业务提供服务，实时返回处理结果给上游。部门各子系统曾经实现了基于 CPU 的自适应限流，然而 Client 端对 Server 端的调用仍然是 RR 轮询的形式，没有思考上游机器性能差别的状况，无奈最大化利用集群整体 CPU，存在着 Server 端 CPU 不平衡的问题。

京东广告部门针对其业务场景研发的负载平衡办法很有借鉴意义，他们提出的 RALB(Remote Aware Load Balance) 算法可能晋升上游服务集群机器 CPU 资源效率，防止 CPU 短板效应，让性能好的机器可能解决更多的流量。咱们将其核心思想利用到咱们的零碎中，取得了不错的收益。

本文的构造如下：

1.RALB 简介

◦简略介绍了算法的原理。

2. 性能验证

◦将 RALB 负载平衡技术利用到搜寻举荐架构零碎中，进行性能上的验证。

3. 吞吐测试

◦次要将 RALB 和 RR 两种负载平衡技术做比照。验证了在集群不限流和齐全限流的状况下，两者的吞吐没有显著差别。在 RR 局部限流的状况下，两者吞吐存在着差别，并且存在着最大的吞吐差别点。对于 RALB 来说，Server 端不限流到全限流是一个转折点，简直没有局部限流的状况。

4. 边界测试

◦通过模仿各种边界条件，对系统进行测试，验证了 RALB 的稳定性和可靠性。

5. 性能上线

◦在所有 Server 端集群全面开启 RALB 负载平衡模式。能够看出，上线前后，Server 端的 QPS 逐步呈现分层，Server 端的 CPU 逐步趋于对立。

二、RALB 简介

RALB 是一种以 CPU 平衡为指标的高性能负载平衡算法。

2.1 算法指标

1. 调节 Server 端的 CPU 使用率，使得各节点之间 CPU 绝对平衡，防止 CPU 使用率过高触发集群限流

2.QPS 与 CPU 使用率成线性关系，调节 QPS 能实现 CPU 使用率平衡的指标

2.2 算法原理

2.2.1 算法步骤

1. 调配流量的时候，依照权重调配（带权重的随机算法，wr）

2. 收集 CPU 使用率：Server 端通过 RPC 反馈 CPU 使用率（均匀 1s）给 Client 端

3. 调权：定时（每 3s）依据集群及各节点上的 CPU 使用率（窗口内均值）调节权重，使各节点 CPU 平衡

2.2.2 指标依赖

2.2.3 调权算法

2.2.4 边界解决

边界 1：反馈窗口（3s）内，如果上游 ip 没被拜访到，其 CPU 均值为 0，通过调权算法会认为该节点性能极好，从而调大权重

边界 2：网络故障时，RPC 框架将故障节点设为不可用，CPU 和权重为 0；网络复原后，RPC 框架将 IP 设置为可用，然而权重为 0 的节点分不到流量，从而导致该节点将始终处于不可用状态

解决：权重的更新由定时器触发，记录节点的可用状态，当节点从不可用复原为可用状态时，给定一个低权重，逐渐复原

2.3 落地要害

既要快又要稳，在任何状况下都要防止陷入僵局和雪崩，尤其要解决好边界条件

算法要点:

1. 公式中各依赖因子的更新放弃独立的含意和更新机制，以保护算法的牢靠和简洁

◦IP 列表的更新由服务注册发现和 RPC 框架独特保障

◦RPC 更新 CPU

2. 留神边界值的含意，边界值的含意须要辨别间断值

◦CPU = 0，示意未知，不示意 CPU 性能好

◦w = 0，示意不会被调配流量，只有在不可用的状况下才为 0；可用状况下，应该至多有一个较小的值，保障仍能触发 RPC，进而能够更新权重

3. 算法更新权重，不要依赖 RPC 触发，而应该定时更新

三、性能验证

3.1 压测筹备

3.2 压测数据

因为机器性能差距不大，所以压测的 CPU 成果并不显著，为了使 CPU 成果更显著，给节点”11.17.80.238“施加起始的负载 (即无流量时，CPU 使用率为 12.5%）

3.3 压测论断

通过压测，RR 和 LA 均存在 CPU 不平衡的问题，会因为机器资源的性能差别，而导致短板效应，达不到充分利用资源的目标。

RALB 是以 CPU 作为平衡指标的，所以会依据节点的 CPU 实时调整节点承接的 QPS，进而达到 CPU 平衡的指标，性能上验证是可用的，CPU 体现合乎预期。

四、吞吐测试

4.1 压测指标

RALB 是一种以 CPU 使用率作为动静指标的负载平衡算法，能很好地解决 CPU 不平衡的问题，防止 CPU 短板效应，让性能好的机器可能解决更多的流量。因而，咱们冀望 RALB 负载平衡策略相比于 RR 轮询策略可能失去肯定水平的吞吐晋升。

4.2 压测筹备

Server 端 100 台机器供测试，Server 端为纯 CPU 自适应限流，限流阈值配置为 55%。

4.3 压测数据

通过压测在 RALB 和 RR 两种负载平衡模式下，Server 端的吞吐随着流量变动的趋势，比照两种负载平衡策略对于集群吞吐的影响。

4.3.1 RALB

4.3.1.1 吞吐数据

下表是 Server 端的吞吐数据，由测试发压 Client 端，负载平衡模式设置为 RALB。在 18:17Server 端的情况靠近于刚刚限流。整个压测阶段，压测了不限流、局部限流、齐全限流 3 种状况。

4.3.1.2 指标监控

Server 端机器收到的流量按性能调配，CPU 放弃平衡。

4.3.2 RR

4.3.2.1 吞吐数据

下表是 Server 端的吞吐数据，由测试发压 Client 端，负载平衡模式设置为 RR。在 18:46 Server 端的整体流量靠近于 18:17 Server 端的整体流量。前面将重点比照这两个关键时刻的数据。

4.3.2.2 指标监控

Server 端收到的流量平衡，然而 CPU 有差别。

4.4 压测剖析

4.4.1 吞吐曲线

依据 4.3 节的压测数据，进行 Server 端吞吐曲线的绘制，比照 RALB 和 RR 两种负载平衡模式下的吞吐变化趋势。

import matplotlib.pyplot as plt
import numpy as np
       
x = [0,1,2,3,4,5,6,7,8,9,9.73,10.958,11.52,17.15,22.7]
y = [0,1,2,3,4,5,6,7,8,9,9.73,10.61,10.49,10.10,9.82]
  
w = [0,1,2,3,4,5,6,7,8,9.674,10.823,11.496,11.723,12.639,13.141,17.15,22.7]
z = [0,1,2,3,4,5,6,7,8,9.27,9.91,10.24,10.36,10.48,10.47,10.10,9.82]
  
plt.plot(x, y, 'r-o')
plt.plot(w, z, 'g-o')
plt.show()

4.4.2 曲线剖析

4.5 压测论断

临界点：吞吐差别最大的状况，即 RALB 模式下非限流与全限流的转折点。

通过上述剖析，能够晓得，在 RALB 不限流与全副限流的临界点处，RR 与 RALB 的吞吐差别最大。

此时，计算得出 RALB 模式下，Server 集群吞吐晋升 7.06%。

五、边界测试

通过模仿各种边界条件，来判断零碎在边界条件的状况下，零碎的稳定性。

六、性能上线

宿迁机房 Client 端上线配置，在所有 Server 端集群全面开启 RALB 负载平衡模式。能够看出，上线前后，Server 端的 QPS 逐步呈现分层，Server 端的 CPU 逐步趋于对立。

参考资料

1. 负载平衡技术

2. 深入浅出负载平衡

作者：京东批发 胡沛栋

起源：京东云开发者社区