乐趣区

关于腾讯云:腾讯云容器服务-TKE-推出新一代零损耗容器网络

jiezi

随着容器技术的倒退成熟，越来越多的组件迁徙到容器，在技术迁徙过程中，数据库，游戏，AI 这些组件对容器网络性能（时延，吞吐，稳定性）提出了更高的要求。为了失去更优的时延和吞吐体现，各大云厂商都在致力于缩短节点内容器的网络拜访链路，让数据包能尽可能快地转发到容器网卡。

腾讯云 容器服务 TKE 借助智能网卡推出下一代容器网络计划，该计划实现了一个 Pod 独占一张弹性网卡，不再通过节点网络协议栈 （default namespace），极大缩短了容器拜访链路，缩短了拜访时延，并使 PPS 能够达到整机下限。该计划实现了 短链接场景下 QPS 相比之前容器网络计划（策略路由计划，网桥计划）晋升 50%-70%；长链接场景下 QPS 晋升 40%-60%。

因为不再通过节点网络协议栈，传统基于 iptables 和 IPVS 的 ClusterIP service 拜访计划不能间接实用于该计划。为了实现该计划下 Pod 能够间接拜访 ClusterIP service，TKE 推出 share-NS IPVS 计划，使得在容器网络命名空间下也能够拜访到节点网络协议栈的 IPVS 规定，同时配合 CLB 直通 Pod，实现了残缺意义上的弹性网卡直通。

该计划实现了针对 ClusterIP service 短链接场景下 QPS 相比 iptables 计划晋升 40%-60%，IPVS 计划晋升 70%-90%；长链接场景下 QPS 相比 iptables 计划晋升 30%-50%，IPVS 计划晋升 50%-70%。

新一代容器网络计划推出背景

在介绍新一代容器网络计划前，先和大家介绍一下 TKE 现有网络计划，和现有网络计划面临的挑战，以及客户新诉求。

现有网络计划介绍

腾讯云容器服务 TKE 目前提供了两种容器网络模式可供用户抉择应用。

GlobalRouter 模式：基于 vpc 实现的全局路由模式，目前是 TKE 默认网络计划。该模式依靠于 vpc 底层路由能力，不须要在节点上配置 vxlan 等 overlay 设施，就能够实现容器网络 和 vpc 网络的互访，并且相比于 calico/flannel 等网络计划，因为没有额定的解封包，性能也会更好。

VPC-CNI 模式： TKE 基于 CNI 和 VPC 弹性网卡实现的容器网络能力，实用于 Pod 固定 IP，CLB 直通 Pod，Pod 直绑 EIP 等场景。该网络模式下，容器与节点散布在同一网络立体，容器 IP 为 IPAMD 组件所调配的弹性网卡 IP。

GlobalRouter 和 VPC-CNI 模式目前已服务 TKE 上万企业用户，两种网络模式也存在肯定应用限度见：如何抉择 TKE 网络模式，随着客户应用场景的丰盛，TKE 的客户对容器网络又提出了更高的要求。

客户对 TKE 网络计划的新需要

除了在为腾讯内部 TKE 客户提供容器网络能力之外，腾讯云容器服务 TKE 作为腾讯外部业务云原生的底座，在反对腾讯外部自研业务上云如 QQ、腾讯会议、游戏、CDB、大数据等业务的过程中也收到以下的需要点：

  • 在 VPC-CNI 模式的根底上进一步升高资源损耗，升高网络时延，进步网络吞吐（关键点）
  • 反对 Pod 级别的平安隔离
  • 反对 CLB 直通 Pod，不再通过 NodePort 转发，晋升转发性能并领有对立的负载平衡视图

基于以上场景，TKE 团队联结底层腾讯云 VPC 团队、虚拟化团队推出了新一代的独立网卡的 VPC-CNI 计划。

TKE 新一代网络计划介绍

TKE 新一代网络计划在原有 VPC-CNI 模式单网卡多 IP 模式的根底上，进阶为容器间接独享应用弹性网卡，无缝对接腾讯云公有网络产品的全副性能，同时在性能做了极大的晋升（详情见下文性能介绍）。

压测数据阐明

  • 为了失去不同网络计划下的 QPS，这里控制变量，让不同网络计划的 nginx Pod 运行在同一个节点，应用 wrk 别离压测不同 Pod，并让服务端节点的 cpu 靠近 100%。

  • 为了失去不同 Service 计划下的 QPS，这里控制变量，让 kube-proxy 和 wrk Pod 运行在同一节点，压测雷同后端，并让客户端节点的 cpu 靠近 100%。

性能简介

新一代 VPC-CNI 模式的网络计划中，可能在原有的网络能力中额定减少

  1. 反对 Pod 绑定 EIP/NAT，不再依赖节点的外网拜访能力，毋庸做 SNAT，能够满足直播、游戏、视频会议等高并发，高带宽外网拜访场景
  2. 反对 Pod 绑定平安组，实现 Pod 级别的平安隔离
  3. 反对基于 Pod 名称的固定 IP，Pod 从新调度后仍能保障 IP 不变
  4. 反对 CLB 直通 Pod，不再通过 NodePort 转发，晋升转发性能并领有对立的负载平衡视图
  5. 行将反对黑石 2.0 物理服务器（举荐应用，默认应用智能网卡，网络性能更高）
  6. 行将反对基于 Pod 名称的固定 EIP，满足 Pod 固定外网进口

应用办法

申请新一代容器网络计划内测开明后，创立 TKE 集群时容器网络模式抉择 VPC-CNI/Pod 独立网卡模式即可：
​

实现原理简介

新一代计划在原有 VPC-CNI 模式的根底上扩大，依靠于弹性网卡，将绑定到节点的弹性网卡通过 CNI 配置到容器网络命名空间，实现容器间接独享应用弹性网卡。

您能够关注腾讯云原生公众号，后续将会推送 TKE 新一代网络计划实现的技术细节。

以后内测阶段应用限度

  1. 仅反对局部 S5 的机型应用该网络模式。
  2. 节点上运行的 Pod 数量限度为节点核数的 5 倍。
  3. 仅反对新集群，存量 TKE 集群暂不反对变更网络计划。

TKE 新一代网络计划内测邀请

咱们诚挚邀请您参加腾讯云下一容器独立网卡网络计划产品能力的内测，您能够通过以下链接提交内测申请：https://cloud.tencent.com/app…

【腾讯云原生】云说新品、云研新术、云游新活、云赏资讯，扫码关注同名公众号，及时获取更多干货！！

退出移动版