关于华为云:高可用架构演进之单元化

摘要：华为云 IoT 提供了一站式的物联网利用开发的根底能力，这些能力做到高可用是十分不容易的，那到底是怎么做到的呢？

本文分享自华为云社区《【云驻共创】高可用架构演进之单元化》，作者：咸蛋超人。

单元化是高可用架构当中的一个杀手锏。本文次要是想重点分享一下高可用架构演进之单元化，总共分为三个局部：

1. 华为云 IoT 是如何了解高牢靠、高稳固的。
2. 华为云 IoT 的架构是怎么做的，单元化的一些理念和实际。
3. 单元化技术能力在产品上是如何应用的。

物联网平台是使能数字化的基础设施

首先摘取了三组分析师的报告，咱们能够看出，物联网的平台曾经变得越来越成熟，2021 年整个物联网连贯规模将达到 70 亿，三分之二的企业曾经在采纳 IoT。

这些数据背地意味着整个物联网平台包含整个物联网技术都利用在咱们生存的方方面面。咱们这些年说的十分多的就是数字化，其实数字化时代与信息化有什么不同？信息化是以人与流程为主轴的，而数字化很大的增量，其实就是以物为外围的 OT 数据，所以数字化的根底物联网是十分外围的局部，物联网平台也是整个数字化的重要基础设施。

那说到基础设施，咱们会想到的例如水、电、煤。基础设施应该是具备一些特点的：

• 能够开箱即用，很容易地使用在各种场景。
• 要高可用，做为基础设施如果是不高可用的，意味着在下面构建的利用或者场景都很难牢靠。
• 就是可继续，即要保障业务的连续性。

稳定性是目前物联网客户最大诉求

去年对一些物联网的开发者做过一次调研，论断是开发者最关怀的还是稳定性。在这里分享一个案例，有一家企业规模比拟大，研发实力也很强，就抉择了自研的物联网平台。整个物联网平台做好了，性能很 ok，就偶然一些不稳固，基本上重启、修复还是能够用的。但有一天，忽然整个全网的设施就无奈连贯了，重启、扩容，重复折腾了将近一天也没有定位到问题所在。起初寻求华为云 IoT 的帮忙，问题的次要起因是它的负载平衡，它自身设置有问题，架构伸缩性也有问题，物联网设施规模比拟大的时候流量一抖动，触发了连贯风暴。这个企业的架构师分享了一个观点，他们过来在做这种架构的时候，更多思考的是人工成本和服务器老本，疏忽了机会成本，也就是零碎不牢靠带来的业务损失，他们过后一天服务中断造成的业务损失其实是超过了应用物联网平台十年的老本，所以作为架构师，做计划的时候更应该关注稳定性。

物联网平台的高可用挑战

稳定性这么重要，是不是就把它做好就能够了？是的，如果做好了的确是能够的，然而，做好这件事并不是那么容易，物联网平台具备专业性以及独特性的挑战，次要体现如下：

1. 物联网的架构

物联网的业务跟咱们生存、民生、生产都是非亲非故的。过来整个互联网根本在生产上倒退起来的。生产互联网当初进入物联网时代，物联网小到出行，如果下班赶时间，共享单车开不了锁，会对生存产生一些影响。工厂里，因为物联网平台的不稳固影响工厂的生产造成复工停产甚至在还会危及到人生的平安。所以他对高牢靠的要求要高于生产互联网的。咱们过来技术的倒退，大部分的中间件都是在生产互联网的根底上构建进去，当初很多产品的 SLA 都要求达到 99.9% 甚至更高。

2. 物联网的场景

物联网场景很大的特点就是碎片化十分重大。操作系统的碎片化是挪动互联网时代的一个痛点，咱们互联网时代的端其实更多，它的操作系统更不对立，资源受限，所以端的差异化十分重大。有些嵌入式的端的协定站不残缺，云端会收到很多奇形的报文，甚至是死循环，对云端发动疯狂的连贯。物联网还有一个最大的场景威逼，就是连贯风暴。很多时候设施都是长连贯的，像十万百万千万甚至一亿的设施连贯进来，一断网或者是网络有些抖动，所有的设施忽然掉线而后忽然蜂涌而至的向平台发动连贯，就像咱们生存中的踩踏事件，尤其在接连的时候，是非对称加密的，对资源的耗费十分大，交付十分多，所以这种连贯风暴忽然暴发的时候服务器的压力是十倍甚至更高的。这些都是对平台会产生极大的一个挑战。

3. 物联网的平安

平安威逼大有两个特色，第一是对黑客来讲做这件事的引诱比拟大、利益比拟大；第二是物联网的这种链路比拟长，绝对来讲很容易有平安难度也比拟高，在端上会有一些单薄的环节，所以绝对来讲攻打的难度也会低一点。

4. 物联网的运维

排查物联网网络问题须要十分业余的技术，一些自建平台做好了性能，当网络不稳固设施多的时候，稳定性就会降落，出了问题难以定位和疾速复原。

华为云 IoT 一站式提供了高可用的物联网服务

华为云 IoT 过来近一年 SLA 做到了 99.99%。提供了一站式物联网平台服务，那到底提供了哪些服务呢？咱们从设施的上云之路一起来看一下。

首先，做物联网开发必定是离不开设施的。设施的开发须要操作系统 ，能够应用华为 LiteOS 操作系统也能够应用其余操作系统。 而后应用 SDK 进行接入 ，能够抉择直连或通过 IoT 边缘接入。 接着会面临选择网络的问题，像 wifi、2g/3g/4g 等。如果抉择无线网络，华为云还有寰球 SIM 连贯服务，它能够提供 eSIM 地面写卡能力，能够依据你的需要去跟更换运营商，十分不便。

这个设施就具备了接入的前提，接下来是设施发放服务。

咱们在开发的时候在生产的时候不晓得设施将来会连贯到哪里，可能是连贯北京也可能连贯在广州或者是海内。那咱们能够设施发放的服务在设施首次接连的时候来依据你设定的策略，发放到不同 Region 的物联网平台。

那这个发放做完了咱们设施就能够接入了。华为云 IoT 提供了一些多协定的接入能力，还提供了一些联动等设施的全生命周期的治理能力。数据上来当前如果想到其余的云产品也能够通过流转服务流转到其余的产品上，也能够流转到数据分析服务。数据分析服务提供了温、冷、热的数据处理的能力。还有资产模型，能够做一些虚设点的计算，如果要深层次的去应用你的数据也能够应用咱们的 AMQP 把数据定位到你本身的利用外面去。

好的架构是高可用的重要前提

华为云 IoT 提供了一站式的物联网利用开发的根底能力，这些能力做到高可用是十分不容易的，那到底是怎么做到的呢？首先作为一个高可用前提是要一个好的架构，蕴含了四个十分要害且具备通用性的特色：

1. 限流降级

后面也提到物联网连贯风暴是很大的威逼，那限流就十分要害了。

• 限流有多维度的限流，可分为单机的，设施级的、产品级的、租户级的，还有依据间连限流、上报限流、订阅限流。
• 还有自适应降级，一些状况下须要优先保障一些重要的业务，会把一些像运维这方面做一些降级。

2. 弹性伸缩

对于一些异样做限流，但对于一些正当的业务增长，则须要弹性能力。弹性这块就须要底层部署调度做得十分好，资源要可能柔性伸缩，但资源伸缩的前提是架构也能程度的扩大。

3. 容灾

咱们晓得零碎不可能做到百分之百，难免会有可能呈现一些异样，所以咱们会须要容灾。当初华为云 IoT 的产品单个 Region 都是具备 3 Az 的容灾。AZ 咱们个别叫可用区，实际上是一个隔离的数据中心，AZ 跟 AZ 之间的这个物理间隔个别在 100 公里以内，他们的时延个别是 2~3 毫秒。多 AZ 容灾基本上一个数据中心出现异常了，对业务也没什么影响。再高级一点就是多 Region 容灾，会更加简单而且老本也比拟高。

4. 单元化

想做一个高可用的零碎，单从架构做好也是不够的，还波及到设计、编码、测试、运维，甚至包含一些流程制度，这是一个体系化的事件。

横向单元化——构建平行的多单元能够联结提供服务

咱们传统的模式是繁多集群，外面有很多的实例。当把繁多集群拆分成很多的单元，一些实例会去共享一个单元，也有一些实例会独占一个单元，就是依据产品设计去决定的。那这样就造成一个多单元的集群，它又有什么长处呢？

1. 隔离

就像水密舱，它能无效地管制爆炸的半径，防止级联的故障，所以在这种状况下能无效的十分无效地隔离故障

2. 可扩大

它能够满足百亿的规模，物联网很多场景，设施之间是不能够交互的，这就决定了很多产品是能够很好的去做 Partition 的，有些企业想做一个百亿的规模，咱们能够用 100 个 1 亿的单元形成。设计 1 个反对 1 亿设施的单元，绝对来讲难度更容易，零碎也更容易做到牢靠。

3. 无效的去利用一个灰度的策略

变更最容易出问题的中央，但通过单元化这种技术，把一个集群拆成十几二十几个，甚至百个单元，就是以单元级别做灰度的，可能更无效的管控变更的危险。

4. 亲和

因为绝对来讲依据咱们肯定的分区来说，单元列的数据相关性会更高，所以缓存的命中率也会更高，基本上的热点数据，数据都被绝对集中起来，所以它对性能上也是有很大的帮忙。

纵向单元化——从私有云到智能站点构建多单元

既然有横向单元化，那也有纵向的单元化。咱们在私有云上有物联网平台，混合云上有华为云 Stack，它是部署在客户的现场，个别是几个机柜、几十台物理机这样的规模。想要轻量一点就能够应用华为云的智能站点，只须要一个机柜，三台物理机起，能够部署在客户的机房，甚至部署在办公区域，这是构建了一个纵向的单元。像工厂这种场景，数据量比拟大，会心愿就近解决数据，因为这样比拟快，而且更牢靠，缩小了公网的依赖，还能无效地缩小数据上云，能够在本地做解决。像这三种状态有不同的利用场景，它们能够独立的部署，齐全自制，就是说咱们的业务场景能够选一个单元去做这样的事件，选一个状态，也能够实现单元联结，能够协同。

IoT 单元的定义

后面介绍了这么多单元，那么华为云 IoT 的单元是怎么定义的？华为云 IoT 单元职责的定义是一个独立残缺的业务解决闭环，它是能够独立部署、独立去做业务的。那又有什么特色呢？

1. 它存储是独立的，不会呈现两个单元共用一份存储的状况。
2. 计算是独特的。
3. 网络也是独立的，私有云上咱们每个单元都是一个独立的网络。
4. 流量尽可能的去关闭，防止流量外溢。
5. 私有云一个单元属于一个 Region。
6. 私有云一个单元至多 3AZ 部署。

IoT 单元间的协同

单元很大的一个劣势就是在单元之间的协同，有几种典型的协同：

第一种就是联结。联结是通过正当的 Partition 做分区，通过多个单元构建一个更大的业务，例如用 10 个 1000 万的单元构建 1 个 1 亿的业务或者是用 10 个亿的单元构建 10 亿的业务。

第二种是容灾。容灾就是单元和单元之间通过数据的转发，两个单元能够做多活，这是一种高可用的场景。

第三种是级联，通过很多单元层层级联构建一些简单业务。比方城市物联网平台，城市的业务当中有区级的、市级的、省级的、厅级的物联网平台，这么多的物联网平台像一个一个烟筒一样。华为云 IoT 的物联网平台，无论市区的、省厅的到最初通过整个级联，构建互联互通，造成一个整体的计划。

单元化实现的挑战

单元化有很多劣势，但单元化也非常复杂，实现的难度比拟高，那他有哪些挑战呢。

第一个运维挑战很大。只治理几个集群的时候，公布、装置部署、运维也比拟容易的，当治理起十个甚至上百个单元的时候挑战就来了。怎么装置，怎么降级，怎么确保单元能无效的去运维起来。这对工具、自动化的要求是十分高的。

第二个大的挑战就是分区的调度。当存在单元不平衡问题时，要思考怎么无效的分区，怎么定 Partition 策略，怎么保障单元平衡，这会波及到一些数据的迁徙。

第三块就是协同复杂度很高。级联很好，然而级联自身协定和策略怎么去制订，这么多单元，数据一致性怎么去保障。

单元化的全景图

这是华为云 IoT 单元化的一个全景，既有横向的也有纵向的，形成了多单元的联邦协同。它的核心理念是，任一单元的接入能够做到设施全域协同。如果某个业务场景的特色决定临时不应用私有云，应用智能站点。有一天，感觉本地解决能力不够了，或者想借云端的算力做一些更高级的剖析，那能够在私有云上开一个实例，也不须要做什么代码开发，数据只有做一些简略的配置就能够平滑的上私有云。又或者是某个私有云业务，设施接进来了，有一天须要本地更快的解决，或者是节俭一些流量的时候，能够在这个根底上再加选只能站点或者华为云 Stark，那也不须要做太多的代码革新就能够新增一个单元来做业务。只有咱们想达到的，不必放心通过什么形式什么状态接入进来，只有你做过这样一个接入，咱们最初能都能保障设施的全域协同。最终是使用这种单元技术通过不同的组合满足一些高可用、高容量、高性能的需要。

设施接入服务多实例类型，让联接按需定制

单元化在华为云 IoT 产品上有什么体现呢？咱们设施接入服务有多实例的一个状态，它能够让联接按需定制。华为云 IoT 设施接入服务有三个版本，根底版、标准版和企业版。根底版和标准版其实就是多个实例共享多个单元。企业版是一个实例独占一个单元，它是独立的 VPC，有独立的网络，反对公 / 私网的对接。

华为云 IoT 多状态部署，让联接无处不在

纵向单元化体现的就是华为云多状态部署。一共有 4 种的这种状态。

1. 私有云反对一级设施的接入，开箱即用，有多种实例，能够按需抉择实用的场景。
2. 华为云 Stack，服务器部署在客户的现场，能满足一些行业对网络合规的要求以及一些大型企业想建本人数据中心的诉求，它的设施规模个别是千万级。
3. 智能站点，它十分轻量，基本上一个机柜三台服务器即可。适宜百万级设施的接入。能够云边协同，云端能够近程运维。
4. 边缘网关，业务时延低于 50ms。
   

本文整顿自【华为云社区内容共创者炽热招募中】第五弹：回绝躺平，踮脚够上生存小美妙！看直播写博客，赢好礼！

点击关注，第一工夫理解华为云陈腐技术~