作者：阿里云高级技术专家 改天
阿里云高级产品专家 胜通
2020 年天猫双十一成交额冲破 4982 亿，在双十一走过 12 个年头之际，咱们的订单创立峰值达到 58.3 万笔 / 秒，再次刷新寰球在线交易系统的记录。历年双十一都是对技术人的一次大考，峰值的丝般光滑体验是大家统一的谋求，而数据库堪称要害。多年双十一大促“磨难”出阿里巴巴 DBA 一整套技能来应答大考，比方说全链路压测、容灾预案、实时限流等，同时阿里的数据库产品能力也大幅晋升，如智能化的企业级 MySQL 内核 AliSQL，自研 PolarDB 引擎等，这些硬核能力是阿里巴巴团体数据库团队应答大考的底气。
在数据库引擎技术能力一直攀登高峰的同时，长期以来咱们“仿佛疏忽”一个十分重要的因素，而该因素却是中大型企业上云的必须考量点。如果将时钟指针拨回到半年前，这个重要因素就摆在眼前，是阿里巴巴团体所有的数据库系统全面上云及云原生化过不去的“坎”，它是什么呢？
一、阿里团体数据库全面上云的挑战
当 DBA 保护的零碎上百套甚至上万套当前，系统管理的复杂度就会急剧回升，加上资源利用效率、业务顶峰反对（如大促流动评估）、流量治理等下级或业务方“强加给”DBA 的工作后，整个零碎复杂度就会居高不下，这种复杂度“熵”就会指数级增长，并且无奈通过裁减 DBA 人数来无效解决问题，DBA 本身也会陷入到繁冗的日常反对和“灭火”中，本身价值难以体现，这就是深坎。
阿里巴巴团体就是这样一个巨型的、零碎复杂度“熵”奇高的大型企业。往年阿里双十一要求所有零碎全面上云，相比单纯晋升零碎吞吐扩大能力的技术要求，这个工作更加难实现。简述下当初面临的严厉挑战：
1. 如何保障大量数据库短时间内疾速上云？
这不仅仅是数据的搬迁过程，还要在此期间反对业务需要，比方说如何做到对业务“无感知”的迁徙数据上云。如何在阿里的巨型体量下，保障所有零碎全面上云的丝般顺滑度？
2. 如何高效反对 DBA 满足双十一期间的数据库业务需要？
DBA 对业务零碎是相熟，多零碎之间有的相互依赖有的互相排挤，如何无效的将它们编排好，从而整体利用好数据库资源，这是十分大的挑战。
3. 全面上云当前，要反对 DBA 仍旧对数据库的强治理能力，比方说可能及时登录操作系统排查数据库问题等。
二、全面上云的新打法，以专属集群 RDS 构建超高效数据库管理体系
在全面上云这个残暴指标下，必须找到全新的办法来解决上述三个重点问题，构建一个高复杂度的但“凌乱熵值”很低的超高效的数据库管理体系。这就是全面采纳专属集群 RDS 的基本前提。
那么咱们是如何极短时间内全面上云并且可能丝般顺滑，如何充分发挥 DBA 的业务把控能力从而实现对 RDS 标准化服务的超高效力的治理，以及如何利用专属集群的源生内核能力构建寰球最大的异地多活电商零碎呢？
2.1 丝般顺滑上云
要实现丝般顺滑上云，须要充沛布局和精密的执行。因为阿里团体是隔离于私有云的网络环境，底层对数据库资源的网络配置上云后都会波及变动，数据库还要特地留神防止双写，要和业务做联动的流量治理。
上图是咱们实现丝般顺滑上云的根底框架图：
1. 将数据传输门路尽量缩短，节俭大量工夫：因为阿里团体超高业务量，简直每个数据库系统的数据量都是微小的，少则 TB 多则 PB 为单位，咱们采纳最原始无效的办法，将备份文件拷贝到云上环境，而后执行疾速复原。
2. 无效疾速复原是另一省时环节。阿里团体数据库广泛有两种存储类型，别离是本地 SSD 盘和 ESSD 云盘，两者的备份计划是不同的，本地 SSD 盘相似于 Xtrabackup 执行物理的备份，ESSD 云盘采纳存储级快照备份。对应的两者疾速复原的办法也不同，本地 SSD 盘在备份时采纳库表级备份，而复原的则采纳并行表级复原，大幅度的晋升复原速度，ESSD 云盘则通过秒级快照复原实现。也就是说从阿里团体网的全量备份、到数据两套环境的传输、到云上环境的疾速复原是一个联动的间断过程，从而大大节俭复原工夫。
3. 利用 MySQL 源生复制实时追加增量数据，确保业务对数据的搬迁无感知。在复制技术方面，AliSQL 针对高提早网络做了大量的协定优化尝试和测试，通过正当的 Batching 和 Pipelining，设计并实现了一整套自适应的针对高提早高吞吐和低提早高吞吐网络的通信模式，极大的晋升了日志传输的性能。另外为了节俭带宽，对 binlog 全面压缩，同时在压缩率和解压速率上采个较好的均衡值。
4. 对立的混合网络环境代理实现流量的按需切换，确保业务感觉迁徙的过程是顺滑的。联动于业务部署，先切换读流量到云上环境，后切换写流量。因为代理层实现通明切换能力，在分钟级级内会放弃原有的数据库连贯，保障切写过程中业务是无感知的，在绝大数状况下成果很好。
2.2 灵便可控的标准化服务治理
双十一波及数据库系统数万套，除交易、商品、用户、评估、优惠、店铺、积分等外围零碎外，还有各种“中小型”业务零碎，机会每个业务都有一套或多套数据库，每个业务之间有亲和性或排斥性需要，即必须要在专属集群中满足多样性的业务部署要求。
举例而言，咱们将购物车数据库和购物车利用本身部署在一起，确保购物车不受别的业务影响，同时购物车外部实现穿插部署，大抵部署图如下所示，通过灵便的部署策略，业务方 DBA 能够制订一套简单部署策略满足业务须要。
如上所述参加双十一的业务方特地多，而 DBA 人数无限，DBA 对业务的掌控水平也是高下不一的。一般而言，上述的外围业务基本上比拟清晰，这次要得益于双十一前的一次次全链路压测，交易外围链路业务模型比拟清晰，对数据库容量的预估会很精确。然而这并不是所有状况，比方说创新型业务，对业务流量评估会十分的不精确，可能百倍增长也有可能是百分比增长，此状况下 DBA 预留数据库资源没有参考根据，如何在无限的资源中反对足够多的创新型业务相对是一大挑战。再比方说原边缘型业务，会因为其余零碎的新依赖、或者业务流量徒增导致流量预期不准，更常见的是被其余零碎新依赖，还容易导致故障。
为了解决该不确定性问题，咱们在专属集群上特地开发智能化 DAS 资源调度零碎，DBA 能够通过简略的设置实例的弹性策略，DAS 会依据过来零碎的体现状况以及突发状态，基本上以准实时的形式实现秒级资源弹性，分钟级资源调度。秒级资源弹性能力，是在整台主机范畴内灵便的对实例资源进行调整，也能够人工干预爱护一些实例资源不被争抢。分钟级的资源调度能力，这得益于存储计算拆散架构，通过分布式存储的秒级快照能力，以分钟级在不同主机之间从新均衡资源利用调度实例，因为高可用保障系统和代理通明切换能力，这个过程简直是平滑的。通过专属集群，DBA 只须要投入一定量的服务器资源，而后专一监控整体集群的资源水位，就能够保障大量的翻新和小型业务的大促性能须要，堪称一夫当关万夫莫开。
2.3 构建源生异地多活
双十一零点顶峰流量是微小的，往年交易笔数达到 58.3 万笔 / 秒，数据库集群的 TPS 超过千万级每秒，微小的洪峰流量通过阿里的单元化数据库部署来分流，从而躲避单个实例单个机房的流量危险。与今年相比，往年单元化数据库全副采纳寰球数据库模式反对多地区的读流量，另外在内核中实现源生多写能力，反对实例集群级别的异地多写多活，从而能够在不同地区分担写流量。
如上图所示本次双十一阿里巴巴启用张北、深圳、南通 3 个地区，针对每个 Region 是独立开服的，地区之间是低耦合的，通过一个桥梁把他们连接起来，它就是寰球数据库网络，（GDN，Global database network）。部署于不同地区的数据库，采纳 MySQL 的源生复制技术，保证数据的一致性和实时性。
对于异地多活，第一次实现了在内核层的双向同步，在多个地区中都有各自主节点和备节点，在内核中实现双向复制，保障两个地区在数据总量上是统一的，同时写实现分地区分流。这里须要强调的一点，异地多活须要业务的革新，比方这个 UID 的数据只会在某一个地区写入防止行抵触，此外 ID（PK 键）也须要应用独立的 Sequence，从而实现全局的一致性。业务和数据库在本套架构中实现完满联合，业务只须要关注逻辑的拆分，而数据库本身实现数据的同步组合，底层数据同步复杂性齐全由数据库本身实现。
三、瞻望
总结而言，本次双十一为了保障团体数万数据库的全面上云及云原生化，咱们基于专属集群做了很多定向革新和匹配，获得了十分好的成果。外围交易链路总共构建数千台机器集群，总共超过数万的数据库节点，并且所有数据库系统 RPO 等于 0，主备提早做到毫秒级，并保障整体人力效力数量级晋升。灵便调度、源生复制等定制化能力，在专属集群外部实现产品化，通过双十一验证后，逐渐凋谢，将会大幅度晋升企业数据库治理生产力，敬请期待。
原文链接
本文为阿里云原创内容，未经容许不得转载。