作者 | 何淋波(新胜)
起源 | 阿里巴巴云原生公众号
随着云原生技术的逐渐成熟,阿里云容器服务团队在具体落地实际过程中一直摸索云原生技术的利用边界。同时随着物联网和 5G 的迅猛发展,传统的边缘计算架构曾经不能满足业务倒退的须要。
如何基于云原生技术构建新一代的边缘计算平台成为行业的新焦点。如何解决云边协同,边缘自治等业界难题来帮忙开发者轻松实现在海量边,端资源上大规模利用的交付、运维、管控?咱们构建并开源了 OpenYurt:业内首个基于原生 Kubernetes 构建的、对于 Kubernetes 非侵入式的边缘计算我的项目,无缝的交融了云原生和边缘计算,目前曾经在万台边缘节点规模场景着落地实际。本文将介绍如何交融云原生技术和边缘计算,解决大规模利用的交付、运维、管控。
边缘计算
首先,咱们从直观感触上看看什么是边缘计算。随着 5G、IoT、音视频、直播、CDN 等行业和业务的倒退,咱们看到一个行业趋势,就是越来越多的算力和业务开始下沉到间隔数据源或者终端用户更近的中央,从而来取得更好的响应工夫和更低的计算成本,这显著区别传统的核心式的云计算模式,并越来越被广泛应用于汽车、农业、能源、交通等各行各业。边缘计算,总结为一句话“让计算离数据和设施更近”。
再从 IT 架构上看边缘计算,能够看到它具备显著的依照业务时延和计算状态来确定的分层构造,这里别离援用 Gartner 和 IDC 对边缘计算架构的解释:Gartner 将边缘计算分为“Near Edge”、“Far Edge”、“Cloud”三局部,别离对应常见的设施终端,云下 IDC/CDN 节点,以及公共云 / 公有云;而 IDC 则将边缘计算定义为更直观的“Heavy Edge”、“Light Edge”来别离示意数据中心维度、低功耗计算的端侧。从图中咱们能够看到分层构造中,层层相依,相互合作。这种定义也是当初业界对边缘计算和云计算关系所达成的一个共识,接下来再看看边缘计算的趋势。
去剖析一个 IT 行业的趋势,通常包含业务、架构和规模三个维度;边缘计算的三大趋势是:
- 第一,AI、IoT 与边缘计算的交融,会有品种越来越多、规模越来越大、复杂度越来越高的业务运行在边缘计算场景中,从图上咱们也能看到一些十分震撼人心的数字。
- 第二,边缘计算作为云计算的延长,将被广泛应用于混合云场景,这外面须要将来的基础设施可能去中心化、边缘设施自治、边缘云端托管能力,同样图上也有局部援用数字。
- 第三个场景趋势是基础设施的倒退将会引爆边缘计算的增长,随着 5G、IoT、音视频行业的倒退,边缘计算的暴发是天经地义,往年疫情期间在线直播、在线教育行业的爆发式增长也是一个例子。
随着架构的共识造成,落地过程中咱们发现,边缘计算的规模、复杂度正逐日攀升,而短缺的运维伎俩和运维能力也终于开始不堪重负,那么如何去解这个问题呢?“云边端一体“的运维协同是目前比拟能造成共识的一种计划。
云边一体的边缘云原生
作为云原生畛域的从业人员,咱们试着从云原生的角度来思考和解决这些问题:
首先咱们一起回顾下云原生的定义和技术体系,眼下,云原生曾经作为一系列的工具、架构、方法论而深入人心,并宽泛应用;那么云原生到底是如何定义的呢?晚期,云原生含意包含:容器、微服务、DevOps、CI/CD;18 年当前 CNCF 又退出了服务网格和申明式 API。而回过头,咱们再粗线条的看看云原生的倒退历史,晚期因为 Docker 的呈现,大量的业务开始容器化、Docker 化,容器化通过对立交付件、隔离性从而带来了 DevOps 的疾速倒退;Kubernetes 的呈现让资源编排调度与底层基础设施解耦,利用和资源的管控也开始得心应手;随后,以 Istio 为代表的服务网格技术解耦了服务实现与服务治理能力。越来越多的企业、行业开始拥抱云原生。
接下来聊下阿里云的云原生产品家族。阿里云作为云原生的践行者,不论是团体外部全面上云,还是为宽广的客户提供丰盛的云原生业务,都是拥抱云原生最好的佐证;咱们深信云原生是将来;云原生技术曾经无处不在, 作为云原生服务的提供者,咱们认为云原生技术会持续高速倒退,并被利用于“新的利用负载”,“新的计算状态”和“新的物理边界”;从阿里云云原生产品家族大图中咱们能够看到:容器正被用于越来越多类型利用和云服务中;并且通过越来越多的计算状态承载,如 Serverless,函数计算等等;而丰盛的状态也开始从传统的核心云走向边缘计算,走向终端。
在核心云的规范托管架构下,咱们形象出了云边端协同的云原生架构:在核心(云),咱们保留了原汁原味的云原生管控和产品化能力,通过云边管控通道将之下沉到边缘,使海量边缘节点和边缘业务摇身一变成为云原生体系的工作负载,通过服务流量和服务治理更好的和端进行交互;从而实现业务、运维、生态的一体化。
那么,通过云边一体架构咱们能够有哪些收益呢;首先,云上云下通过云原生体系实现云边一体化交融,从而为用户在任何基础设施上提供和云上统一的性能和体验,实现云边端一体化的利用散发,容器化的隔离个性、流量管制,网络策略等等能力让工作负载的运行更加平安;“云边端一体”有云原生的加持,将会更好的减速多云,云边交融过程。
聊完云边一体的云原生基础设施之后,接下来聊下云原生和边缘计算交融的难点,在理论落地过程中,咱们次要辨认了上面几个问题:
- 边缘计算规模和业务简单,采取原生 Kubernetes 的 workload 治理模型远不能满足事实需要。
- 云边网络通过公网相连,网络连接有很大不可控因素,可能带来边缘业务运行的不稳固因素。
- 因为边缘节点个别位于用户网络的防火墙外部,从而造成云边网络只能单向连通的客观条件,因而给原生的 Kubernetes 运维监控带来很大挑战。
- 最初是边缘资源品种多样,零碎可能是 Linux/Windows,架构也可能是 amd64/arm/arm64 等等,从而给边缘标准化反对带来微小挑战。
OpenYurt 边缘计算云原生平台
接下来咱们看下 OpenYurt,业界首个非侵入式 Kubernets 的边缘计算云原生开源平台。
OpenYurt 是一个典型的“核心 - 边缘”简洁架构。如架构图所示:边缘和云之间通过公网连贯,其中蓝色框是原生 Kubernetes 的组件,橙色框是 OpenYurt 的组件。基于 Kubernetes 弱小的插件化,Operator 能力,OpenYurt 保障对 upstream kubernetes 的零批改,因而保障了 OpenYurt 能够追随社区同步演进,并且保障和云原生社区支流技术的兼容。OpenYurt 我的项目在 2020 年 9 月份曾经捐给 CNCF,也保障了我的项目的中立性。同时 OpenYurt 目前在阿里外部曾经大规模应用,治理了数百万核的规模,场景上笼罩了 CDN,物联网,音视频,边缘 AI 等多种场景。也意味着 OpenYurt 的品质和稳定性曾经有足够验证。
OpenYurt 目前曾经公布三个版本,具备如下能力:边缘单元化、边缘自治、云边协同、无缝转换能力、异构资源(amd64/arm/arm64)反对能力、云上云下业务弹性和互通能力等。
单元化治理能力用于解决后面提到的交融难点 1,次要是对节点提供分组、批量治理能力,并在分组内对利用编排部署、业务流量做更精细化管控,比方为了业务流量的平安、效率思考能够将业务流量当初在某一个单元内;或者为了批量治理某一个区域内的节点,打标签,配置调度策略等等;相干能力由 yurt-app-manager 组件提供。
边缘自治能力用于解决后面提到的交融难点 2,次要是云边网络断开或者连贯不稳固时,确保边缘业务能够继续运行;相干能力由 yurt-controller-manager 和 YurtHub 组件提供。另外下个版本中还会持续加强边缘自治能力。
云边协同能力用于解决后面提到的交融难点 3,次要是因为边缘节点位于用户内网,无奈从云端拜访时,造成原生 Kubernetes 运维能力(如 kubectl logs/exec/port-forward,Prometheus 等)无奈反对。云边协同能力通过云边隧道解决云边网络只能单向通,从而反对原生 Kubernetes 运维能力。相干能力由 tunnel-server/tunnel-agent 组件提供。
无缝转换能力用于局部解决交融难点 4,次要用于规范 Kubernetes 和 OpenYurt 集群之间的一键式转换,目前在 Minikube,Kubeadm,ACK 等工具部署的集群上残缺验证过。也欢送有趣味的同学来反对和奉献其余工具部署的集群。相干能力由 yurtctl 组件提供。
OpenYurt 案例介绍
接下来咱们介绍一下 OpenYurt 的实际案例。
第一个,是盒马鲜生基于边缘云原生实现的“人货场”数字化交融转型,通过云原生体系将多种类型的边缘异构算力对立接入、对立调度,包含:ENS(阿里公共云边缘节点服务、线下自建边缘网关节点,GPU 节点等)。获取了弱小的资源弹性和业务混编带来的灵活性。
第二个,是交通畛域的视频上云场景,通过云边端一体化协同,交融了核心云大交通智慧能力,边缘 CDN/ENS 等算力资源,给业务提供就近接入的资源能力;视频采集端设施的对立治理。边缘云原生的调度、编排、服务治理等能力交叉其中,三层交融。
最初,OpenYurt 还是一个比拟初期的 CNCF 官网边缘计算云原生我的项目,须要大家的反对和帮忙,也欢送大家参加 OpenYurt 社区共建。
Q & A
Q:YurtHub 代理实现机制,须要批改什么配置吗?
A:次要是边缘节点上组件的云端拜访地址须要调整为本地 YurtHub 监听地址(http://127.0.0.1:10261),其余配置不必批改。
Q:和 KubeEdge 的优劣比照剖析?
A:首先这个问题可能第三方来评估会主观一点,有趣味看下知乎这篇文章:《家里的树莓派,如何退出阿里云搭建的 K8s 集群?》。不过站在程序员或者云原生开发者角度,也能够谈一点集体的认识:OpenYurt 对 Kubernetes 零批改,通过 Kubernetes 的插件和 Operator 机制进行加强,因而对原生 Kubernetes 使用者会比拟敌对。而 KubeEdge 对 Kubernetes 有比拟大的批改(kubelet/kube-proxy/list-watch 机制等重写了),对原生 Kubernetes 使用者的敌对性会弱一点。当然还有不少其余差异,工夫无限,有趣味的同学能够自行钻研。
Q:想问问贵司在万台规模的机器采纳了哪些版本零碎呢?内核有什么要求吗?
A:目前次要是 AliOS,CentOS,以及 Ubuntu,内核版本根本在 3.10 以上。
Q:请问案例 1 和 2 别离是什么样的节点规模?
A:集群规模都在 100+ 以上。
Q:请问案例 1 中的 GPU 节点次要是什么性能?
A:案例 1 的 AI 训练是云端实现的,GPU 节点次要做推理相干的工作。
Q:如果核心和边缘彻底网络断开了,边缘侧是否能够持续长久运作?
A:节点重启或者业务重启的状态下,业务是能够继续运行的。如果呈现节点宕机的状况下,云端还无奈精确辨认并在其余失常节点重建,这个会在下个版本解决。
Q:请问目前阿里外部是否会有专门的技术、产品等团队来撑持?
A:目前阿里云容器服务产品 ACK@Edge 是基于 OpenYurt 开源我的项目来实现的,因而是有专门团队来对立撑持的。
Q:请问边缘侧的 CPU 是否有限度?端侧呢?例如 arm。
A:边缘侧 CPU 架构目前反对 amd64/arm/arm64。端侧次要是设施端,由运行在 OpenYurt 边缘节点上的业务负责。所以端侧目前不在 OpenYurt 的覆盖范围内。
Q:请问对将来 3 年内,边缘这一块的支流利用场景在哪一块,怎么看?
A:这是一个好问题,目前能确定的是像 CDN,边缘 AI,音视频,5G MEC,IOT 等曾经在大规模铺开边缘计算云原生计划。其余像后续的车联网,云游戏,其余传统行业(如农业,能源等)都在逐渐开展,总之边缘这快 ToB 属性比拟强。
Q:当初 Kubernetes 场景曾经笼罩的场景大略能占总边缘场景的多少百分比呢?预计。
A:这个很难讲,我集体感觉目前比例应该很低,整个边缘计算场景的数字化转型应该刚刚开始。置信这是一个会继续能够做 20 年的行业 ^-^!
分享人简介
何淋波(花名:新胜),来自于阿里云容器服务团队,OpenYurt 作者 & 初创成员之一。2015 年开始从事 Kubernetes 相干产品的设计,研发,开源等工作,先后负责和参加物联网边缘计算,边缘容器服务,OpenYurt 等相干我的项目。
内容起源:Dockone
点击拜访 “Kubernetes 与云原生利用更多开源实际”大讲堂 ,4 次开源技术直播,60+ 节 Kubernetes 经典课程,3 本云原生电子书,将前沿的容器技术和开源实际一网打尽!