关于边缘计算:阿里云-肖文鹏边缘云创新场景探索与实践

73次阅读

共计 4584 个字符,预计需要花费 12 分钟才能阅读完成。

在 9 月 16 日下午召开的边缘云论坛上,阿里云高级技术专家 肖文鹏发表了题为《边缘云翻新场景摸索与实际》的精彩演讲。

image.png

核心 + 边缘的新型云计算架构体系

肖文鹏首先介绍了核心 + 边缘的新型云计算架构体系,目前阿里云有 20 多个数据中心,即传统的核心云,这些核心具备较大的单点规模,并且领有较强的计算以及存储能力,然而间隔终端较远。

image.png

相较于核心云,边缘节点单点规模较小,能承载的计算以及存储规模无限。但正是因为这一个性,使得边缘节点可能更加灵便疾速的铺开,目前阿里云曾经领有超过 2800 个边缘节点。这些节点遍布寰球各地以及不同运营商,并且间隔终端用户更近。

核心和边缘一起,面向各类利用以及产业互联网场景,提供一体化的解决方案。

在 5G 时代下,视频和图片因其弱小的信息承载力,曾经成为数据内容的次要载体和信息流传的次要形式,依据爱立信最新报告显示,76% 的网络数据为视频和图片,也就是视图。而 5G 的大带宽、低时延、广连贯的个性激活了视频监控、云游戏、物联网等场景利用,从生产互联网到产业互联网的延长,更加促成了终端利用和视图数据的暴发。

这些终端和数据具备地位扩散、规模大、以及价值密度绝对较低等特点。以摄像头为例,IHS 的钻研指出,目前寰球有 10 亿个监控摄像头在继续的产生视图数据。这个数据量是 ZB 级,但其中绝大部分数据价值较低,咱们更须要留存其中的要害片段以及其结构化信息,这样的场景和需要对计算和存储的形式带来了严厉挑战和根本性变动。

基于边缘的新一代接入、计算以及存储的分布式系统架构无效的解决了这样的问题。它可能将 80% 以上的流量、计算以及数据收敛到本地,显著的升高网络传输以及存储老本、晋升计算效率,同时带来超低提早的体验。

在这样的云计算体系之上构建业务零碎,其外围在于网、算、管、存四局部。

肖文鹏以城市大脑为例进行了解说,他说,终端设备如摄像头散布在全国各地,地位绝对扩散且流量散布不均。一些重计算如切片录制、实时 AI 剖析等须要回云后在核心实现。同时因为数据规模之大,对于终端设备治理、视图内容的检索等,带来很大的挑战。最初,因为海量的数据须要回云,对老本、时延等等,都带来很大的问题。

回到外围,如何提供一张就近、地位无感的接入、计算和存储网络,成为了视图上云的首要任务。同时,因为不同业务需要以及资源的异构,比方 CPU、GPU、ARM 阵列等,须要咱们有按需的弹性计算能力,并且须要和接入网紧密结合。其次,面对海量的终端设备以及视图数据,云边一体的视图治理以及平安的云边通道,是数据流转的要害。最初,因为视图数据价值密度的差别,咱们须要将大部分数据在边缘进行卸载,同时通过计算,将高价值以及序列化数据回云,其外围,就是解决如何存的问题。

边缘云翻新场景 - 视图计算

综合对上述问题的思考,边缘翻新团队基于阿里云广覆盖的 ENS 底座,孵化出视图计算平台。它次要面向视图以及终端上云场景,如直点播、安防监控、城市大脑、云游戏等,提供了地位无感的链接、计算以及周期性存储服务。

image.png

视图计算从基础设施开始,通过资源纳管、虚拟化以及资源切片,将资源进行分池,并且提供多租隔离的能力。同时利用网、算、存一体化的调度,屏蔽底层异构的资源以及物理地位,依据业务个性、终端地位和资源状态,进行协同调度,在保障业务低延时、高可用的同时,实现业务对计算、存储和连贯的地位无感。

利用场景较为宽泛,比方在安防、交通物流等摄像头上云场景,设施 / 流媒体接入和解决会综合思考节点算力、网络带宽和存储容量等状态,就近选取最匹配的节点,节点地位更凑近内容的生产端,也就是视图终端。而云游戏等场景,须要特定的渲染计算资源(如 ARM 板卡),同时也更凑近内容的生产端(手机端),当须要多人观战直播时,又能够推流到 CDN 网络进行散发和异地观看。

视图计算云 - 边 - 端协同架构

肖文鹏示意,云、边、端一体化的协同架构是视图计算的外围,也是将来边缘计算的发展趋势。
image.png

终端设备负责视图内容的生产、采集以及上传,同时一些瘦终端也会负责视图的解码和播放。

视图计算基于广覆盖的边缘节点构建了分布式接入网关,可能与视图终端疾速构建平安、低提早的双向通道,实现了多样化的终端上云能力。同时也反对视频以及图片的疾速上传。这些视图内容会在边缘就近进行周期性存储。同时也会与计算联动,在同节点或者邻近节点内进行计算,如录制切片、AI 解决等。计算的后果如 AI 序列化数据、无效视频片段等,通过云边平安、牢靠的回云通道,实现疾速回云。节点资源也会依据水位进行弹性伸缩,同时节点间也会进行协同和灾备。

视图计算会在核心进行对立的节点以及视图治理,同时进行一体化的服务编排以及 Meta 汇聚。视图终端会在核心映射为一个影子设施,对影子设施的操作,都会通过信令通道疾速的下发到终端执行并失去反馈。
通过云、边、端的协同,用户不须要再关怀云的具体位置,从而实现只有一个交互面,给用户一朵云的体验。

地位无感的多点协同计算

image.png

在计算方面,视图计算通过多样化的场景积攒和打磨,提供了三种典型的计算能力。

第一种是根底计算,次要面向直点播场景,它蕴含转码、录制、截图等。通过对编码器的优化,在雷同画质下尽可能降低码率,实现窄带高清。等同画质可节俭 20%-40% 的带宽以及存储空间。

第二种是视图 AI 计算。联合达摩院在视觉算法上积攒,视图计算提供各种场景化、结构化的 AI 剖析能力,如挪动侦测、人脸识别、事件监测等。

第三种是自定义计算。视图计算突破本身计算边界,容许用户自主上传算子进行托管,用户可依据本身业务按需申请算力,极大升高业务接入老本。

这些计算最大的特色是算随网动。计算随着数据的流动而开展,在每个流转节点进行数据卸载和分流计算,防止全量数据回云,实现核心算力的下沉以及终端算力的上移。同时,因为计算节点更凑近终端,在计算时延、响应速度等方面,都会有大幅晋升。另外也防止的大量数据的回云,比方互联网直播场景,对于 80% 无人或者极少人观看的冷流,能够在边缘间接收敛,从而极大升高回云带宽。

可自定义的场景计算

在很多场景下,用户可能曾经领有了本人的算子或者利用,这些可能是自研,也可能来自第三方。视图计算提供了可自定义的场景计算能力,用户可将算子托管到视图计算。
image.png

肖文鹏以云游戏为例解说道,游戏包就是一种算子或利用。游戏厂商上传游戏包后,会在云端发动算子托管的流程,视图计算会外部对利用进行审核并退出利用市场。

下一步配置好渲染规格后,云端会进行兼容性适配,同时进行算力评估来计算所需的资源。

接下来会进行算子的编排以及部署,这时候,用户无需关怀计算资源的生产和管控,视图计算会实现资源的弹性伸缩和多维度的负载平衡,并且保障就近接入。其中为了资源复用率的晋升,视图计算也会尽可能的将不同计算进行混跑。

当游戏开始运行的时候,咱们也会实时的对工作进行画像剖析,动静校准资源耗费。比方游戏的接入人数、不同的分辨率、码率和输入规格等,都会肯定水平上影响理论的资源耗费,整体的算力是动静高低浮动的,实时的动态分析和校准,能够保障调度的精准度,最终带来良好的游戏体感。

这种托管的模式,使终端不再须要具备简单的计算能力,只须要简略的播放,即可享受超强的体验。对于云厂商来说可能十分好的实现资源复用。同时对于客户来说,能够更加灵便、麻利的进行部署和迭代,并且无效降低成本。

地位无感分布式协同存储

视图计算的另一个外围,是解决海量视图数据的存储问题。刚刚咱们说到,终端上云往往具备地位扩散、数据规模大、值密度极低的特点,同时还有一点就是带宽反转,上行带宽远大于上行。长期的回云会造成较大的带宽压力以及存储老本,同时最重要的一点,无奈保障就近、低提早。

视图计算提供了地位无感的分布式协同存储。寰球各地的数据源都能够通过视图计算在边缘节点就近存取,存储的地位也会参考数据接入和计算的地位,确保整体亲和性。

同时,视图计算通过边缘减速网络解决了跨地区、跨运营商上传提早大、速度慢等问题,实现了回云的直达减速,提供了高牢靠的回云通路。

依附新的协同存储,咱们能够将终端产生的大量视图数据周期性的存储在边缘,比拟典型的如摄像头的周期录像。同时依附与计算相结合,咱们能够将咱们所关怀的要害视频片段以及 AI 剖析等序列化的后果进行回云,并长期保留。

分布式协同存储平台

在整体架构上,通过边缘对立网关进行异构资源的适配,不论是从 API、SDK 还是受权体系,齐全兼容现有的应用形式,这对于海量的存量设施来说,只须要简略配置,便能够疾速将视图数据上传到协同存储,从而确保给用户云边一体化的应用体验,并且整体传输速度晋升 40% 以上。
image.png

基于多点协同调度的能力,它实现了视图数据的就近存取,并且复用 CDN 场景下闲置的上行带宽,从而最大限度的利用带宽资源。同时它能够疾速的依据单点水位进行资源动静布局以及数据复制和迁徙,实现服务的高可用和数据的高牢靠,整个过程用户无感知。

同时阿里云搭建了牢靠、平安的数据回云通路,能够按需在闲时将数据中转回云,从而实现数据的分级管理,用户能够灵便调整数据价值和老本之间的平衡点。

视图上云一站式 PAAS 服务

视图计算提供了视图上云的一站式 PAAS 服务,包含视图数据的采集、计算、存储以及内容生产。接下来咱们将重点放到视图终端的链接局部。

肖文鹏示意,链接的重心次要在于以下两点:
第一,设施的接入和管控。如设施的录入、认证、事件采集等。同时也蕴含一些如语音对讲、PTZ 云台、摄像头机位管制等操作。
第二,视图数据的接入和治理。如流媒体的接入、协定转换、视图上传以及内容检索等。

链接是视图上云的第一环,联合后面曾经介绍过的地位无感的计算平台以及分布式协同存储,独特形成了视图上云的一整套网、算、管、存体系。链接的易用性、安全性、可靠性等因素很大水平上决定了视图上云的规模。

终端一键上云,引领行业从关闭走向凋谢
终端设备以及上云标的准具备多样化的个性。以安防监控畛域为例,就蕴含国标 28181、ONVIF 等多种协定,同时很多设施厂商均创立了本人的公有协定,且协定绝对各自关闭,这使得视图上云减少了很大的适配难度,并且安全性、兼容性无奈失去保障。

为了让视图终端更加便捷的一键上云,视图计算推出了两个平安、牢靠的上云通道,即信令传输通道和数据传输通道。信令通道用于实现云与终端设备的信令管制和双向通信。数据通道用于流媒体等视图内容的接入与生产。

同时咱们也推出了凋谢设施上云协定 ODCAP。它领有多样化的视图终端适配性,反对支流信令传输如 websocket、mqtt 等。同时在数据传输上,反对 rtmp、HLS、webrtc 等流媒体传输协定。任何反对这类协定的终端,均可疾速的应用凋谢协定一键上云。同时咱们提供了通明的双向通道,厂商和开发者也可按需自定义扩大。

在安全性以及兼容性上,咱们也做了一系列加强,保障了一键上云的开放性、易用性、安全性和灵活性。通过一键上云体系,咱们心愿可能将之前无奈上云的内容疾速上云,引领这些行业从关闭走向凋谢。

肖文鹏在钻研最初示意,目前,视图计算曾经在多样化的场景着落地,继续为客户提供优质、牢靠的云服务。在将来,心愿可能和更多的行业搭档一起继续摸索,推动整个边缘云行业的疾速倒退,为客户发明更大的价值!

正文完
 0