共计 5819 个字符，预计需要花费 15 分钟才能阅读完成。
简介：本文形容了阿里云块存储快照服务基于高性能 ESSD 云盘晋升快照服务性能，提供轻量、实时的用户体验及揭秘背地的技术原理。根据行业倒退及云上数据保护场景，为企业用户及备份厂商提供基于快照高级个性的数据保护的技术计划，满足云上用户数据保护的迫切需要，保障云上企业业务连续性。
2021 年 7 月份，国内出名征询公司 Gartner 公布了私有云的 IaaS（基础设施即服务）和 PaaS（平台即服务）平台的“魔力象限（Magic Quadrant）”，阿里云凭借其当先的技术能力首次成为“近景者”象限的私有云服务提供商，其中阿里云块存储取得单项得分第一的问题，阿里云计算、存储，网络及平安得分取得寰球第一。存储当先业界的背地离不开高性能的 ESSD 云盘产品为用户提供高可用、高牢靠、高性能的块级随机拜访服务及原生的快照数据保护能力。
原生业务新需要
随着云原生技术的倒退，越来越多的企业基于云计算的虚拟化、弹性扩大及蓬勃发展的云原生技术的分布式框架，容器技术、编排零碎、继续交付及疾速迭代，构建起大规模、弹性扩大强、丰盛的云上分布式业务场景。企业应用的部署规模，存储，计算等资源需要随之成指数增长，导致传统的数据保护计划无奈满足云端新的技术变动。用户面临的市场竞争环境更加强烈，迫切需要适应业务规模及倒退的云端数据保护计划来满足本身竞争力及业务的倒退须要。尽管数据保护的业务背景及场景因云计算及云原生而发生变化，但用户对数据保护的诉求没有发生变化，掂量的规范仍然是复原工夫点指标 RTO 及复原点指标 RPO。
用户谋求的首要指标仍然是业务连续性，即在业务面临中断威逼，迅速实现业务复原；业务面临增长压力，迅速实现业务扩大。用户依据业务场景对云上的数据保护及快照服务提出了如下的迫切需要：
- 创立工夫短：快照极速实现，要害业务即刻进行数据备份。
- 极速可用：快照极速可用，应答突发事件，实现云盘回滚复原。
- 业务扩大：业务量突增须要业务扩容。
- 整机爱护：单 ECS 实例及多 ECS 实例的关联多盘的一致性数据保护。
- 测试验证：生产环境以外即可进行数据测试验证及复原。
- 复原速度快：文件系统及利用数据处于利用一致性的备份状态，防止利用宕机复原过程。
- 容器备份：容器业务环境的疾速迭代及公布，迫切需要爱护元数据及利用业务数据。
依据存储网络工业协会 SNIA 对快照的定义：快照是指定数据汇合的一个齐全可用拷贝，该拷贝包含相应数据在某个工夫点（拷贝开始的工夫点）的映像。阿里云块存储快照就是提供 ESSD 云盘某一时刻的一致性数据镜像。适应行业的发展趋势，快照服务一直发现用户的新需要及新场景，不懈地进行了新性能开发及迭代演进，极致降级优化 ESSD 云盘快照的高级企业新个性：快照极速可用个性、利用一致性快照及适应分布式应用架构的一致性组快照及快照跨地区复制的异地灾备性能。在一直独立输入及被集成的倒退过程中，满足了云上企业用户的需要，服务大数据、游戏，人工智能、金融行业等畛域，也失去了阿里云其余团队如：云数据库团队 RDS、混合云备份团队、弹性容器实例 ECI、容器服务 ACK 等业务团队及用户的反馈：
- 云数据库团队 RDS 行业用户的评估是：RDS 的秒级备份产品对齐业界的数据库备份产品，升高原有物理文件备份对实例资源占用，无效升高了数据保护危险。
- 弹性容器实例 ECI 容器减速收益客户图森的评估是：极速型缓存减速性能减速了容器利用公布，升高了仿真平台的计算工夫，将计算工作升高到均匀 5 分钟以内，产品公布周期极大缩短。
- 依照混合云备份客户的说法，利用一致性整机备份能力齐全对标 VMware 虚拟化平台的快照性能。
- 快照服务提供的一致性组快照及利用一致性能力，齐全满足 2021 年 Gartner 对阿里云块存储服务评测能力。容器业务 ACK 团队通过 2021 年 Forrestor 容器备份评测能力。
典型场景
轻量、实时的快照极速可用个性，一致性组快照及利用一致性快照的高级个性，为企业用户及第三方备份厂商疾速构建起：极速备份复原、容灾测试、正本利用及容灾切换的正本数据管理 (Copy Data Management) 利用场景。Gartner 于 2021 年 7 月份公布的对于存储及数据保护的技术趋势 (Hype Cycle) 剖析中，将容器备份、云数据备份及正本数据管理 (CDM) 列为将来几年的数据保护的行业发展趋势。Gartner 对正本数据的治理的根本定义为：基于利用一致性的主存储快照在辅助存储上生成“Golden Image”，并利用其进行备份，容灾及测试，而且异构存储作为能力的根本条件。阿里云的 ESSD 的高级快照服务个性齐全满足构建 CDM 的条件，帮忙用户实现云上正本数据管理的原生数据保护典型场景：
备份复原：极速型备份及标准型备份相结合，提供近密远疏的备份可复原点。基于云上的 ECS 实例的整机爱护及 K8S 环境的容器利用，定期创立极速可用快照。在启用一致性组快照个性及极速可用个性后，本地即时快照的生成距离能够到秒级。快照即时正本本地保留，成为极速型备份，用于秒级 IO 性能无损复原。周期性基于下层的企业应用生成整机利用一致性快照。本地快照正本同时通过网络上传到对象存储 OSS 上作为标准型备份。标准型备份在实现备份数据上传后，本地区全可用区可见，适宜保留工夫长的历史数据。
容灾测试：基于极速型备份的容灾测试。正本数据管理中要求对灾备环境定期测试。定期的测试能够进步灾备环境的可靠性，防止配置问题和环境变更问题使得真的劫难产生时，容灾切换无奈正确实现，从而导致业务无奈疾速进行容灾零碎复原。基于本地快照正本的极速克隆技术，灾备实例及拉起容器利用，周期性进行挂载及备份数据测试验证。传统基于复制技术的计划，须要期待快照在灾备端复制可用后能力进行测试演练。而采取极速型备份形式后，实现灾备端的秒级克隆，秒级挂载及秒级启动测试。
正本利用：基于极速型备份的数据分析。在不影响生产环境的状况下，灾备环境下基于极速克隆技术，进行容器利用的定时拉起，对正本进行大数据计算及剖析，开掘数据价值。正本利用在实践中也体现在 MySQL 数据库利用基于极速型备份进行只读备库的即时拉起，进行离线数据分析。
容灾切换：业务从生产环境切到灾备环境。当生产产生较大劫难时，短时间无奈复原业务，生产无奈持续，将业务从生成核心切换到灾备核心；在生产核心业务复原后，再将业务进行容灾切回。
相比于传统的正本数据管理 CDM 计划，云计算环境及云原生环境领有大规模弹性的同构的计算环境，企业用户不用进行设施资源及软件投入；极速型备份及极速型克隆技术极大地升高了正本开发、测试及容灾切换的复原工夫点指标 RTO；云上快照服务的对立的备份数据格式升高了各种治理流程中所需的正本数量，打消了备份软件之间数据格式兼容性问题。
技术原理
咱们对分布式快照算法和实现进行了大量优化，让用户能够抛开影响性能的顾虑，随时进行轻量、实时的数据保护。“轻”：在快照创立期间不影响 IO 读写性能。“快”：ESSD 云盘快照能够在秒级创立、秒级回滚和秒级克隆 - 极速可用个性，满足用户实时数据保护和 DevOps 疾速编排上的须要。
极速可用个性
具备极速可用个性的快照服务，不仅可能进行数据备份、合规场景及长期归档业务，而且云盘数据能够一键备份到阿里云的对象存储服务 (Object Storage Service) 上，与秒级距离的本地快照正本保留造成近密远疏的快照爱护策略，实现快照轻量创立，实时可用的极速克隆，秒级无损回滚的高级个性。
极速克隆：在隔离于生产的跨可用区的容灾环境，快照克隆新盘实现可写快照，利用测试验证及业务复原筹备；打消云上业务压力，实现业务横向扩容。比方 MySQL 数据库利用的横向扩容、备库搭建，实例创立及读写拆散的都须要秒级拉起，极速克隆通过提早加载技术实现本地快照正本的本地区内及跨集群的秒级数据可用，迅速克隆新盘，实现实例秒级拉起。
秒级回滚：本地快照正本数据与云盘本地存储，实现秒级 IO 无损回滚复原。快照生成过程基于改进型的 ROW 技术及全息索引技术，随着写入 ESSD 的云盘数据块变动，根据 ESSD 云盘 IO 性能读取的最佳模式进行云盘读取性能的优化。无需从远端对象存储上拉取数据，达到秒级回滚 IO 性能无损。
在云盘创立多个极速可用快照后及发动回滚后的测试条件下，云盘性能读取性能根本无变动。某友商的云盘在保留多个本地快照后，IO 读取性能呈现不同水平的提早抖动。
一致性组快照
容器环境及 ECS 实例须要爱护关联多盘的有状态利用。单盘快照的最大问题是：有状态利用基于跨多云盘 LVM、Windows 动静盘及文件系统作为长久化存储，单云盘快照数据备份谬误；数据库利用既兼顾性能又兼顾数据安全性，将日志文件 WAL 与数据文件别离位于不必的存储设备，无奈定期进行零碎整机备份及容灾。
除了 K8S 下的 POD 内有状态利用的部署及单 ECS 实例部署形式外，云环境下还存在着分布式应用的部署架构、利用高可用集群如：Windows Failover Cluster、主备应用服务器高可用架构、Oracle RAC 基于共享存储的利用架构，而这些分布式架构同样须要跨云盘及跨节点的数据一致性爱护要求。
云计算存储后端往往采纳分布式存储架构。在分布式环境下短少全局逻辑时钟，这就使得实现单 ECS 实例及跨 ECS 实例，K8S 环境下的单 POD 及跨节点的多云盘的一致性组快照不是件容易的事件。要实现快照对 IO 性能影响最低更是富裕技术挑战性的。业界针对多盘解体一致性快照的实现技术次要分为两大类：
采取快照期间阻塞写 IO 的形式，实现基于工夫点的跨多盘数据解体一致性
采取逻辑时钟的定序算法，但依赖于分布式存储实现，实现难度较高。
一致性组快照采取第二种形式，谋求快照对 IO 性能无损，实现快照对利用性能影响到最小
实现原理：采取基于 IO 定序算法，快照创立无需写 IO 阻塞。很多用户放心创立快照影响 IO 性能，只在业务低谷期才进行快照数据保护。咱们优化晋升的多盘一致性组快照算法突破了人们对快照 IO 影响印象，基于写程序保序机制，被动依照写 IO 达到底层存储的程序，采取 IO 打标及定序过程。基于快照实现时刻点及 IO 定序来确定快照中应该蕴含的 IO 数据汇合。因为快照定序过程绝对于传统的形式，不会阻止 IO 写入过程；相比于传统的写时拷贝 COW 形式，快照生成过程采取写时重定向 ROW 的写入形式，后盾数据汇合援用生成过程对 IO 链路无影响，升高快照对 IO 性能的影响最小，对数据库业务的读写场景实现了 IO 性能无损。
对数据库利用应用 2 块盘, 2 个客户端，容量为 4TB，随机写，iodepth=16，jobs=1, 写入块大小 16KB 的测试数据库高 IOPS 场景中，快照创立过程中对 IO 影响测试，友商 1 及友商 2 的快照创立过程中对 IO 的性能影响简直减少了 1 到 3 倍。
利用一致性快照
ESSD 云盘快照数据的一致性类型次要分为解体一致性和利用一致性。解体一致性要求文件系统及应用程序具备宕机恢复能力，其特点是复原点指标 RPO 低，业务影响小。但在以下场景无奈满足数据备份可靠性高及秒级复原工夫点指标 RTO:
- 原子性缺点危险：文件系统及数据库利用实现事务原子性的实现具备肯定的难度，可能存在缺点。零碎顶级会议 USENIX 上发表的《All File Systems Are Not Created Equal》一文阐释了应用程序及内核保障原子性可能存在实现缺点。
- 数据失落危险：支流文件系统默认以性能优先形式工作, 解体一致性备份存在数据失落危险。Linux 上 ext4 文件系统默认数据写入模式为 ordered 模式，文件系统校验修复过程存在数据失落危险；数据库利用配置为性能优先，业务数据有失落危险。
- 生成工夫长及影响大：传统文件级物理备份形式及备份代理形式依赖于逻辑卷快照的生成，耗时长及零碎影响大。备份代理须要装置内核驱动，兼容性差及保护老本高；文件备份过程须要读取数据，消耗零碎 CPU 及 IO 资源。利用一致性快照仅在生成一致性工夫点与利用互通，无增量数据生成及备份读写操作。
- 实现原理：与传统备份形式相比，利用一致性快照对用户的价值在于提供云原生的无代理利用一致性快照，简化了客户应用传统备份形式所产生的：资源耗费，公布复杂性、软件兼容性，内核开发，软件维护的老本。采取跨平台插件与专有一致性组件相结合的形式，基于文件系统内核及 Windows 上的 VSS 机制实现快照期间 IO 及利用事务的数据静默，达到企业应用程序在存储快照中的数据一致性要求。所采取的生成协定基于影响时长主动复原 IO 影响，快照一致性类型取决于创立协定提交后果及利用状态，优化从下层利用到底层存储的链路长度及一致性组件性能，将 IO 影响时长升高到秒级。创立频率距离可依据业务要求做到文件系统一致性秒级实现创立及分钟级利用一致性快照距离。
从解体一致性到利用一致性，从单盘一致性快照到多云盘组快照的一致性，ESSD 快照的一致性分类实现齐全对标业界块存储私有云全类型的快照一致性分类。从平安危险及利用反对可扩展性上与友商实现比照，实现的原生无代理快照的劣势：无常驻服务，无公网 IP 地址及端口凋谢危险，角色平安受权，无额定内核驱动参加；反对动静发现逻辑卷及企业应用。基于 ESSD 云盘存储快照，无代理备份，无需保护内核驱动，虚拟机外部无数据读取搬运。
通过理论对国内外次要云厂商的快照创立时长及 IO 影响时长测试，基于 ESSD 系统盘及数据盘的 SQL Server 数据库利用可能实现秒级写 IO 阻塞及分钟级快照距离，利用一致性快照的创立时长比友商升高了 2 到 3 倍。利用一致性的整机复原，防止解体一致性快照复原时日志重放过程，从而进步了数据库利用的启动速度。
业界性能比照
与业界私有云其它友商的快照个性横向比照，ESSD 云盘是目前惟一个全面反对快照极速可用个性及一致性组快照的云厂商，满足企业外围利用上云的数据保护场景对快照 RTO 及 RPO 的要求。
将来瞻望
数据保护不是亡羊补牢而应防患未然。随着云原生技术的蓬勃发展，特地是容器技术的演进，企业用户对云上爱护的复原点指标 RPO 及复原工夫点指标 RTO 的要求越来越高。后续，咱们也将基于 ESSD 云盘推出更多新性能，比方：高密快照、间断数据保护，基于多 ECS 实例的利用一致性爱护能力，持续为用户提供快照个性的“轻”、“快”及“弹”的个性品质，升高企业数据保护的 RTO 及 RPO，提供更多原生快照服务高级个性，助力企业数据保护。
作者：阿里云存储 凡钧
原文链接
本文为阿里云原创内容，未经容许不得转载。