关于云原生:云原生新边缘火山引擎边缘计算最佳实践

32次阅读

共计 4197 个字符,预计需要花费 11 分钟才能阅读完成。

近期,在火山引擎云产品发布会上,边缘计算产品负责人沈建发在「新云·预感趋“视”」分论坛分享了“云原生新边缘 - 火山引擎边缘计算最佳实际”的主题演讲,介绍了火山引擎边缘计算在字节跳动的场景实际以及积淀的边缘计算云平台相干技术与解决方案,并提出了边缘计算新定义。

沈建发认为:边缘计算是指“用户到云核心之间所有的算力层”,蕴含现场边缘、近场边缘、云边缘三层。而云原生具备的松耦合理念、弹性、共享、自治、按需服务等特点,使“云原生新边缘”可能在利用资源上交融多种异构算力,在利用治理上反对更加灵便的编排调度,在应用服务上实现云边端统一的用户体验。

互联网时代数据的爆发式增长、5G 遍及利用带来的业务场景挪动化、“直播 +”与实时音视频等边缘刚需场景的涌现,无一不在减速边缘计算的凋敝倒退。作为新型基础设施,边缘计算在解决业务利用面临的低时延、大带宽、高并发、分布式部署上具备显著劣势,越来越多的企业开始思考将边缘计算纳入到利用架构的整体规划之中。字节跳动也不例外。

字节跳动的业务倒退需要

从 2017 年起,字节跳动陆续推出多款热门利用,如晚期的今日头条,到起初的抖音、住小帮等,利用状态也从图文、点播逐渐走向更加实时的直播、实时音视频、AR/VR。与此同时,业务对资源需要以及边缘状态也随之一直变革。

晚期,次要通过物理机在边缘层构建内容散发网络,实现利用图文内容的高效散发和缓存;
以后,随着视频直播、实时音视频业务的用户笼罩更加宽泛,繁多的散发计算曾经无奈满足业务对边缘推拉流、转码、合流等多种业务的不同算力诉求;
将来,AR/VR、3D 视觉利用将越来越多,就近渲染、网络、高性能算力也将成为业务倒退的重要根底能力。
另外,更加弹性的算力资源和更高效的全网一键部署能力开始成为新的需要。

随着字节跳动整体业务体量迅速增长,如何保障所有终端用户实时、一致性的体验,是字节业务利用过后面临的次要问题之一。面对多样化资源和算力需要,字节跳动在原有的基础架构上进行降级,从新定义了边缘计算,并构建了新一代边缘计算云平台。

“新”边缘计算

火山引擎边缘计算:用户到云核心的所有边缘算力层

火山引擎将边缘计算定义为:从用户到云核心之间所有的算力层,蕴含:现场边缘、近场边缘、云边缘三层。

首先,“现场边缘”,次要位于用户现场或用户本人的机房,笼罩 1~5ms 时延范畴,能够将云核心训练好的模型算法和能力下沉到用户的现场侧,满足超低时延的计算和网络能力。现场边缘次要利用于 AIoT、边缘时序数据等实时性业务的典型场景。
其次,“近场边缘”,次要位于全国二三四线城市或城区节点,笼罩 5~20ms 时延范畴。目前近场边缘次要在 CDN、视频直播、实时音视频、视频监控和图像处理等常见业务场景落地。
最初,“云边缘”,位于区域核心城市、提供多线及 BGP 汇聚节点,笼罩 20-40ms 时延范畴,能够跟核心云实现高效连贯,为“现场边缘和近场边缘”提供汇聚能力等。目前云边缘在 CDN 合并回源、视频直播的 L2 层转发、离线渲染业务、数据并发解决业务等场景有广泛应用。

然而,在以后的多层算力构造下,如何保障海量异构终端无缝连贯、核心能力无效下沉、云边端体验统一以及边缘节点的自治和全域资源的正当调度?为此,火山引擎边缘计算团队抉择了云原生架构。

面向云、边、端混合部署的云原生架构

云原生架构次要是面向云、边、端混合部署的原生架构,其最大的劣势在于以更加松耦合的理念,在利用资源上交融不同的异构算力,在利用治理上反对更加灵便的编排调度,在应用服务上反对云边端统一的用户体验。同时,通过云原生能够买通从设计、开发、集成、测试、公布、部署、运维、监控的产品全生命周期链路。

在云原生的架构下,终端利用能够实现更轻量的利用状态和更敌对的硬件反对,边缘计算则提供更实时的服务响应和更精准的用户笼罩,而核心云计算则可能实现更高效的数据聚合和更麻利的业务架构,最终达到云、边、端三位一体,协同统一的指标。

新一代边缘计算云平台

通过采纳云原生架构,火山引擎边缘计算构建了新一代边缘计算云平台。边缘计算云平台整体采纳一横 N 纵的构造,一横是指基于边缘计算基础设施打造的云原生边缘平台,N 纵指具象化的服务能力,如边缘虚机、边缘容器、边缘网络、边缘函数和边缘渲染等。

  • 首先,在基础设施层,依据边缘算力的散布层级优选全国各省市丰盛的边缘资源和运营商网络,并按地理位置部署优质的复线、多线和 BGP 的节点,联合多种架构的硬件设施,如:X86、ARM 服务器、智能网卡、GPU 等算力和网络资源,打造面向异构算力的边缘基础设施底座。
  • 其次,在平台层,基于边缘基础设施底座,火山引擎边缘计算自研了云原生边缘平台,以面向边缘云原生的操作系统为外围,提供边缘自治治理、外围零碎组件治理以及大规模部署的镜像服务能力。
  • 第三,在资源服务层,边缘计算团队将云原生边缘平台模块化,通过自研网络组件提供多种性能,由此造成边缘计算资源服务层,能够按需提供不同的边缘能力,如:虚机、容器、网络、函数、渲染等一系列服务。
  • 最初,边缘计算云平台配合云边治理和数据管理模式,实现业务的全域智能调度、实时数据大屏,满足内容散发、视频直播、实时音视频、云游戏等多个场景利用。

目前新一代边缘计算云平台已在字节跳动反对多个场景的业务实际。

火山引擎边缘计算最佳实际

视频直播

首先,视频直播场景。

在视频直播场景中,边缘节点能够帮忙业务实现直播流的就近散发和就近拜访,确保直播的低时延,升高核心带宽压力。同时,边缘节点可能反对实时弹幕的边缘散发,在凑近观众侧实现高效拉流,晋升主播、观众双向的直播体验。

基于高质量的画面诉求,低时延的转码也是直播场景中的关键因素,丰盛、高性能的边缘算力可能满足直播中不同业务的多样化算力资源需要。此外,边缘计算云平台具备的 VF 直通性能能够缩小虚拟化对网卡转发能力的损耗,IPv4/ IPv6 双栈、负载平衡、镜像预热等能满足直播业务所需的次要性能和疾速全域部署的能力,真正为用户提供高清、晦涩的直播互动和观看体验。

实时音视频

第二,实时音视频场景。

随着视频会议、在线教育等场景的遍及,端到端之间实时互动的要求要越来越高。实时音视频能够借助边缘节点实现业务的就近接入,保障节点间低时延互联互通,提供高速稳固的实时音视频通信优质链路。同时,边缘算力的弹性扩容能力能保障业务量突增时,视频会议中长会话的通信品质,而边缘计算 GPU 实例还能够满足实时音视频中的渲染需要。

在性能上,高性能负载平衡能够反对实时音视频在边缘节点内高效货色转发,买通东西向流量。此外,多线、IPv4/ IPv6 双栈等也为实时音视频提供残缺的能力保障,满足多人连麦、多人视频会议的低时延需要。

边缘渲染

第三,边缘渲染场景。

在边缘渲染场景中,如常见的直播特效、家装利用波及的 3D 特效和 VR 看房等,在内容制作环节往往有大量的工程数据须要解决。边缘计算能够基于设计师所在地理位置就近提供服务,缩短工程数据传输间隔,无效升高网络时延,进步业务渲染的实时性。

同时,通过全域节点的边缘算力资源和智能调度,能满足要害渲染工作的灵便切片,实现多节点并行渲染,晋升渲染效率。

云游戏

第四,云游戏场景。

云游戏场景中,用户对时延更加敏感。区别于端游、页游、手游和主机游戏,云游戏的游戏资源、运行、渲染都须要在云端实现,相当于用户在云端玩游戏。

云游戏业务依靠全域笼罩的边缘异构算力,基于用户地理位置的亲和性,通过边缘智能就近调度,实现游戏指令毫秒级交互。同时,联合高密度的 ARM 集群、GPU 算力、弹性扩缩容、资源隔离等性能,反对多个云游戏实例并发运行,为终端用户提供无设施限度、稳固、高品质、超低时延的游戏体验。

边缘函数

最初,边缘函数场景。

常见的边缘函数场景如:浏览器性能优化、页面个性化内容的生成、A/ B 测试和边缘鉴权的解决等,为了升高程序部署和批量公布的工夫、老本以及用户的编程门槛,边缘函数反对 JavaScript 调用浏览器运行时 API,可疾速编写代码或调用通用模板,实现一键式寰球下发部署。

同时,边缘函数可能疾速响应客户的 Http 申请,就近调度到边缘节点执行,整个启动工夫可管制在 3 -5ms;还可能配合 CDN 实现如:鉴权、边缘定制利用等服务;以及源站拨压测的探针,如 A/B 测试等;实现业务的疾速剖析和决策。

另外,当节点的客户端申请数量激增时,平台还反对将申请有序调度至周边短缺的计算节点解决,实现疾速、高效的扩容和调度的自动化治理,并通过提供更细粒度的弹性资源,实现多租户函数工作流环境隔离。

新品首发:火山引擎边缘计算节点服务

通过字节跳动的多个场景实际,边缘计算云平台解决方案逐步完善,并对外公布了第一款产品——边缘计算节点。通过长期打磨,边缘计算节点也在资源、产品、性能和服务等多方面有所积淀。

  • 节点丰盛:基于覆盖全国各省市和运营商的边缘节点,提供更低时延、更高性能、稳固牢靠的计算资源,实现业务利用更凑近用户侧的部署和服务;同时,边缘计算节点还具备超大规模分布式算力单元,可能提供复线、多线、BGP 等多种网络状态,满足不同场景的业务诉求。
  • 性能齐备:反对 VPC 公有网络、弹性公网 IP、高性能负载平衡、防火墙、IPv4/IPv6 双栈等多种个性,提供开关自定义限速、VF 直通性能等满足业务的按需、弹性应用体验。另外,边缘计算节点的一键开明、镜像预热、自定义云报警、一键散发等个性性能,有助于帮忙业务缩小部署和运维老本。
  • 极致性能:在硬件上,边缘计算节点优选新一代至强系列铂金处理器,100G/25G 智能网卡,提供高效计算和网络转化能力;同时采纳 SPDK 技术优化磁盘 IO,并提供 NVMe SSD 高效云盘和本地盘;边缘计算团队自研的高性能网络套件,目前也已实现边缘单实例 PPS 超 500W 的优异性能。
  • 优质服务:在服务上,火山引擎边缘计算还积淀了大型流量业务保障体系,如:2021 央视春晚抖音红包 /818 抖音新潮好物节等,边缘计算云平台通过大规模、海量业务的流量考验,造成了先进的自动化运维能力和欠缺的监控和服务体系,为业务保驾护航。

目前,边缘计算节点服务已正式公布,并在 CDN、视频直播、实时音视频、云游戏、AR/VR 等多个场景落地。将来,火山引擎边缘计算将陆续凋谢更多产品能力,也心愿携手各界合作伙伴一起,在智慧城市、工业互联网、智慧交通、影视等行业摸索更多可能性,共创边缘新生态。

👇 边缘计算飞书交换群 👇

正文完
 0