近日，由阿里云撰写的对于 KOLE 翻新论文被 ACM SoCC 国内会议长文录用。
ACM Symposium on Cloud Computing（以下简称 SoCC）是由美国计算机协会主办、聚焦云计算技术的一项学术会议，是云计算的首要会议。它会集了对云计算感兴趣的钻研人员、开发人员、用户和实践者，是惟一由 SIGMOD（数据管理特地趣味组）和 SIGOPS（操作系统特地趣味组）联结主办的会议, 这个会议在近些年蓬勃发展，旨在汇集数据库和计算机系统两大畛域的学者，独特推动云计算技术在工业界的钻研与倒退。
此次被录用的论文为《KOLE: Breaking the Scalability Barrier for Managing Far Edge Nodes in Cloud》。此论文灵感诞生于阿里云边缘容器产品 [email protected]，[email protected] 是阿里云容器服务针对边缘计算场景推出的云边一体化协同托管计划, 采纳非侵入形式加强，提供边缘自治、边缘单元、边缘流量治理、原生运维 API 反对等能力，以原生形式反对边缘计算场景下的利用对立生命周期治理和对立资源调度，现阶段曾经笼罩了 CDN、音视频直播、物联网、物流、工业大脑、城市大脑、地产、票务、新批发、能源、交通等理论业务场景，并服务于阿里云 LinkEdge、盒马、优酷、视频云、大麦、CDN 等多个业务或我的项目中。
KOLE 全称：A framework built on top of Kubernetes to Orchestrate Limitless (far) Edge nodes。KOLE 针对 Kubernetes 在云边一体，大规模边缘节点治理方面的挑战，创新性的提出了基于 Kubernetes 的新的云边架构，通过利用新的云边通信协议以及缓存快照的形式，使 Kubernetes 可能轻松治理数百万节点。为了冲破 Kubernetes 治理大量边缘节点的可扩展性限度，KOLE 的设计遵循三个规范：
- 防止创立大量对象来长久化边缘节点的状态；
- 防止在节点与 APIServer 中放弃大量的 HTTP 连贯；
- 应用 Kubernetes CRD 反对对边缘节点及其运行的应用程序进行所需的治理操作。
基于以上准则，KOLE 创新性的应用了 MQTT 协定作为云边通信机制，MQTT 被设计用于轻量级的公布 / 订阅式音讯传输，旨在为低带宽和不稳固的网络环境中的物联网设施提供牢靠的网络服务, 是专门针对物联网开发的轻量级传输协定，并且适宜百万级设施连贯, MQTT 协定针对低带宽网络，低计算能力的设 备，做了非凡的优化，MQTT 的传输格局十分精小，最小的数据包只有 2 个比特，绝对于 HTTP 协定具备更低的能耗。
通过咱们大量的试验测试评估，KOLE 能够反对多达 100 万个节点，而不会给 Kubernetes 的外围组件 (如 Apiserver 和 etcd) 带来显著的开销。咱们可能应用 KOLE 在约 73 秒内将工作负载标准散发到 100 万个节点，在 5 分钟内解决 100 万个节点注册，并在约 20 秒内应用快照中的 100 万个节点重建云状态缓存。具体特点如下：
- 更强的解决节点心跳的性能
试验数据表明 KOLE 解决所有心跳的工夫简直随着节点数量的减少呈线性减少。解决一百万个注册心跳须要 ∼9.2 秒。
- 更低的云端控制器组件的耗费
对于 100 万个节点，KOLE 控制器和 MQTT Broker 的内存耗费别离为 10.6GB 和 57.3GB，CPU 使用率适中，KOLE 控制器耗费~1.4 个外围，MQTT Broker 耗费~2 个外围。
- 更快的工作负载散发
KOLE 通过 MQTT Topic 发送到单个节点时提供了线性可扩展性。将工作负载别离散发到一百万个节点须要 73 秒。线性来自 KOLE 控制器按程序公布所有 MQTT Topic 的事实。
- 更高效的云状态缓存快照
因为 Kubernetes 对 CRD 的限度为 1MB 大小，因而 KOLE 将云状态缓存的序列化字节流设置为为 500MB，对于一百万个节点，这意味着须要 ∼500 个快照用于保留一张快照的 CR 实例。另外为了对数据进一步压缩，KOLE 对常见的压缩算法进行了测试，最终在 KOLE 中，咱们抉择 gzip 作为默认压缩算法，因为它提供了高压缩比和疾速压缩工夫，将快照 CR 的数量从 503 个缩小到 33 个（缩小 93%）。
在极其状况下，咱们须要从快照中复原最原始的数据，上图展现了从快照构建云状态缓存所须要工夫，其中包含从 APIServer 加载所有快照 CR 的工夫以及运行解压缩算法以复原数据结构的工夫。应用 gzip 算法构建具备 100 万个节点的缓存须要 ∼20 秒。为了突出 KOLE 中疾速状态复原的劣势，咱们通过列出来自 APIServer 的大量单个节点对象来查看 Kubernetes List API 的性能。后果如上图所示。正如预期的那样，从 APIServer 列出大量对象是低效的。列出一百万个节点对象须要 900 秒。很多 Kubernetes 控制器如 kube-scheduler，kube-controller-manager 须要在启动过程中列出所有节点, List API 性能是他们反对大量节点的瓶颈之一。
- 更迅速的批量节点注册
试验结果表明，在领有 100 万个节点状况下，同时批量注册胜利须要 260 秒左右。
此次论文入选 ACM SoCC，是阿里云在云原生容器技术畛域，拓展服务边界，实现云边协同的又一次翻新。
附论文信息
录用论文题目：
KOLE: Breaking the Scalability Barrier for Managing Far Edge Nodes in Cloud
作者：张杰，晋晨，黄玉奇，易立，叔同，郭飞
论文概述：在边缘计算畛域，越来越多的趋势是利用容器化和 Kubernetes 等云原生技术和平台来治理边缘应用程序以进步经营效率。可怜的是，Kubernetes 中每个集群反对的节点数量只有几千个，这远远少于在典型边缘计算场景中所能治理的设施节点数量。在本文中，咱们提出了 KOLE 计划，这是一个扩大上游 Kubernetes 以反对大量边缘节点的框架。它用 MQTT 音讯零碎代替了 Kubernetes 中现有的 Apiserver 与节点的通信机制。MQTT 代理齐全卸载了为 Apiserver 中的节点放弃大量 HTTP 连贯的开销。在 KOLE 中，咱们通过在云状态缓存中保护它们来防止在 Apiserver 中创立大量独自的对象。缓存会定期生成快照以进行劫难复原。总体而言，KOLE 通过就义领有单个对象的可管理性实现了杰出的可扩展性。试验结果表明，KOLE 具备可扩展性，可反对百万级别的节点。
点击此处，理解边缘容器服务 [email protected] 更多详情！