QingStor 是 QingCloud 基于多年的大规模私有云实际，通过软件定义，为云而生、为外围业务打造的企业级分布式存储产品。QingStor 家族包含 NeonSAN、文件存储、对象存储等产品，服务数字化转型 2.0，提供全生命周期的数据存储和治理，用数据驱动企业决策，以更麻利、易用、低成本的计划引领数字业务翻新。

安钛飞（Active IO）简介，成⽴于 2015 年，专一于云和数据时代的新⼀代数据管理技术，通过⼀体化数据管理云服务平台，提供数据保护、数据利⽤、数据治理等服务，实现数据管理的全⽅位⾃动化服务，笼罩场景蕴含备份、容灾、测试数据治理、数据抽取、数据运维环境搭建等等，目前服务客户笼罩⾦融、挪动、电信、联通、国家电⽹等。

序言

咱们十分关注生产数据的安全性、空间、性能、可靠性等等，十分关注生产数据的存储架构来满足生产的要求。咱们也十分关注非生产数据为生产数据提供的各种性能，比方备份时是否影响生产、复原时是否能满足生产的要求，但却很少有人深刻关注非生产数据自身的存储需要。

非生产数据的存储架构十分凌乱，而且往往不能满足非生产数据对存储的各种要求，比方对立治理、空间、性能等等，因而也限度了其对生产的服务能力。

第二存储，是一种新型的存储系统，专为非生产数据而设计，满足非生产数据对存储的各种需要，并通过各种麻利数据服务能力，为生产数据和整体业务提供服务。

[非生产数据] 是指所有从生产拷贝进去的所有数据的统称，如备份数据、容灾数据、开发测试所用数据。

现有非生产数据存储架构的现状

非生产数据的产生有多种起因，如数据备份、容灾等须要从生产获取数据，如 DBA 须要克隆库，如利用测试人员须要测试数据的环境。这些非生产数据都须要非生产存储来提供存储服务。

咱们能够通过观察，很轻松得出结论：现有非生产存储的架构非常复杂和凌乱。就存储品种来说，有备份一体机、磁带库、光盘、云存储等，其中很多都是关闭而专有的存储系统；就用处来说，有备份、容灾、开发测试等；就数据从生产零碎获取的形式来说，有备份、数据库复制、存储复制、快照、逻辑导出等等。

这种凌乱现状的由来也很简单，有所用数据获取技术过于老旧的起因，比方传统备份技术实际上依然是磁带备份的技术；有供应商提供的性能和硬件绑定的起因，比方备份一体机只提供备份性能并应用专用设备；有生产数据对数据保护、数据应用等方面的需要的确十分多而且简单的起因。

这种架构造成了很大的问题，首先，因为各性能与设施各自为政，使得非生产数据无奈复用，产生了大量的复制数据（Copy Data）， 据 IDC 统计，企业内普遍存在 10 到 20 份的复制数据，占据了大量的存储空间，耗费了一半以上的企业存储估算。

其次，这种架构无奈提供古代企业对数据服务的服务等级要求，反向连累了生产零碎。比方生产环境实现了云架构，所有资源已实现了麻利化服务，分钟级提供存储、服务器等资源，存储或服务器故障时，能够不影响生产环境或分钟级复原。但如果备份零碎提供数据复原，却须要几小时甚至几天的工夫，显然，这个复原的服务等级和生产环境齐全不匹配。测试人员如须要更新测试数据用于利用的测试，往往须要破费几天甚至几周的工夫，这显然连累了企业业务利用迭代的效率。

从整体 IT 架构的倒退来看，企业的生产环境基本上实现了 IT 架构的云化，包含服务器、存储、网络，为生产环境的老本、效率带来了极大的益处。但非生产环境却远远落后于这个云化过程，依然是以洽购专有设施为次要建设模式，比方备份一体机、虚构带库、专有重删设施等等。

企业长期重点关注生产环境的建设，对非生产环境的投入和关注远小于生产环境，比方运维、人力、资金等方面，造成了二者之间的代差。如果从云化的角度去考查，非生产环境的架构要落后生产环境 10 到 20 年。其后果是，非生产环境成为了整体 IT 这一木桶中最短一块木板，制约了整体 IT 的能力。比方：

• 一个 10TB 的生产数据库呈现逻辑故障，须要 1 天以上的工夫去修复；
• DevOps 建设中，利用从开发、测试到上线都实现了全流程自动化，但测试环境的搭建却依然须要以周为单位；
• 业务连续性建设中，劫难事件能够在 2 小时内复原（RTO 为 2 小时），但机房内的各种小故障，却须要以天为单位进行复原，如误操作、勒索病毒等；

所有这些后果，都是因为非生产环境的服务能力远远落后于生产环境。

如何解决这些问题？这须要从非生产数据的整体存储架构动手，以云架构及数据时代对非生产数据的服务等级为指标，构建出全新架构的存储系统，这就是“第二存储”。

第二存储的定义

云架构下的存储系统分为块存储、NAS 存储、对象存储，这是从存储接口、适宜的数据类型等角度来分类，然而，次要指寄存的数据都是生产数据。

而从数据的生命周期的角度，企业内的存储能够划分成：第一存储和第二存储。

第一存储是指生产数据所用的存储，如生产数据库、应用服务器、生产文件系统等等所用的存储。这些存储可能是块存储、NAS、对象存储的一种或多种，第一存储对存储服务的需要次要在性能、可靠性、稳定性等。

第二存储是所有非生产数据所用的存储，笼罩备份、容灾、开发测试等等所用的存储。第二存储是一种全新的存储类型，它能够用一个存储系统，取代现有的各种非生产数据所用存储，如备份一体机、磁带库、光盘库、快照等等。

作为一种新的存储类型，是为了解决上述非生产数据存储架构的各种问题，因而，第二存储必须有三个根底能力：

首先，第二存储必须是提供海量存储空间的存储系统。非生产数据的数据量要远高于生产数据，第二存储将为所有非生产数据提供存储服务，因而必须具备海量的存储空间，并能按需横行平滑扩大。

其次，第二存储必须是是一种功能性的存储系统。第二存储须要能提供备份、容灾、数据供应、数据抽取等等数据服务性能，从而能够代替原来的各种软硬件的性能；相比第一存储只须要提供性能、可靠性等根底能力，第二存储是一种提供数据服务性能的存储系统。

最初，第二存储必须能满足古代企业的数据服务等级的要求。第二存储须要能满足云架构及数据时代对数据服务等级的要求，如分钟级的数据恢复能力、分钟级的测试数据供应能力等。解决现有架构下数据服务等级远远落后于生产环境的要求的问题。

第二存储的架构

为了实现第二存储的三个根底能力，第二存储的架构体系和功能设计如下：

第一，必须采纳分布式架构：解决海量数据的存储空间要求和扩大要求，在保障根底性能的前提下，至多能最大提供几 PB 甚至几十 PB 的存储空间。在目前三种根底的存储系统中：块存储、NAS 存储、对象存储，咱们认为对象存储是最合适的存储类型，咱们选择对象存储作为第二存储的底层存储系统。

第二，必须能笼罩所有非生产环境下的数据管理的性能：首先第二存储必须提供备份、复原、复制、克隆、数据多正本应用等等性能。其次第二存储的用户必须包含备份管理员、容灾管理员、测试人员、DBA 等不同角色的数据消费者，所有的非生产数据的操作都集中在第二存储，因为这些用户的技术水平参差不齐，所以，第二存储提供的性能必须服务化，屏蔽底层数据操作的复杂性和专业性。

第三，数据的虚拟化性能：第二存储须要能实现数据的虚拟化，相似服务器的虚拟化、存储虚拟化等一样，一份非生产数据能提供多个正本应用，且不额定减少存储空间，从而将原有非生产环境中的 10-20 份 Copy Data，只须要占用 1-2 份存储空间，大幅减低存储空间和老本，充分体现集中统一的存储带来的老本劣势。

第四，计算与数据拆散：如果将数据管理各性能的服务视为计算，那么，在第二存储架构中，须要能做到计算和数据的拆散。即数据能够被所有的服务节点所拜访，多个服务节点也能够同时拜访同一份数据。计算与数据的拆散，实现了数据的分布式架构，而并不仅仅是资源的分布式架构。

第五，对立治理：在架构的根底之上，因为第二存储是为所有数据消费者服务的，因而，必须有对立的权限、数据、平安、资源管理。

综上所述，第二存储的架构必须实现数据的分布式架构，并能实现数据管理的性能并服务化。

第二存储的应用场景

第二存储能够实用于所有波及非生产数据的应用场景，相比现有传统非生产数据的存储架构，第二存储在以下三个场景有空谷传声的效率及老本劣势：

备份的现代化革新

从 1988 年 IBM 推出 TSM 开始，传统备份的架构连续的 30 多年，备份始终是以磁带技术为外围，即便是以后风行的备份一体机，依然应用了磁盘作为存储介质，但备份数据的格局依然是为磁带设计的。这存在二个问题，首先是架构问题，各种备份设施造成了一个个数据的孤岛；其次，从备份和复原这二个最外围的性能来说，备份工夫长、复原工夫长，远远落后于古代企业对备份的要求。

直到 2010 年业界推出第一款 CDM 技术为根底（Copy Data Management）产品，才真正有了充分利用磁盘个性的备份，CDM 技术技术利用了数据的原始格局，即备份数据保留了生产数据的原始格局，并将备份数据保留在磁盘上，它能够实现永恒增量备份、分钟级挂载复原、备份数据的间接应用等等性能。从而在底层的备份根底性能上实现了质的飞跃。

第二存储采纳了 CDM 作为备份的技术，同时，也利用数据的分布式架构，实现了数据的对立存储、治理、复原、应用等等，打消了传统备份的孤岛式架构。

利用第二存储实现备份现代化，能够实现三个次要指标，

第一：备份和复原的效率的现代化，达到古代企业对数据保护的等级要求。第二存储采纳了永恒增量备份模式，打消了传统备份的定期全备模式，大幅减低了备份窗口及备份对生产服务器、网络等资源的耗费。在复原效率上，无论数据量大小，第二存储都能够实现分钟级，打消了传统备份还原操作模式下、数据量越大复原工夫越长的效率问题。

第二：用一个通用设备构建的存储系统代替各种专有的设施，如备份一体机、虚构带库、重删设施、磁带库等等，打消数据孤岛。第二存储采纳通用的 x86 服务器，包含备份性能和对象存储的实现，都由软件实现，帮忙用户实现 IAAS 层的云化。存储空间和数据备份复原对立治理。

第三：备份数据的充分利用。传统备份的数据很难被应用，须要简单的复原环境（存储、网络、服务器等资源）并通过长时间的复原，第二存储内备份数据能够实现多正本应用，一份备份数据能够分钟级虚拟化出多份数据，每份数据不占用理论存储空间，操作简略、环境要求低、效率高，用户可将很多生产环境的数据操作转移到第二存储，降低生产环境的压力。

业界当初有基于 CDM 技术的备份一体机，能够实现备份复原效率的晋升，但 CDM 一体机依然是专有设施，并不能对整体存储架构带来什么益处。相比用 CDM 备份一体机这种业余设施来代替传统备份，基于第二存储实现的备份现代化革新，将更为彻底，为整体的存储架构的优化带来额定的价值。

测试数据治理

古代企业的数字化转型，须要利用的疾速迭代开发，测试的工作效率制约着疾速迭代的速度。

在测试环境中，根本须要 4-10 份测试数据，这些测试为了保障新鲜度（与生产数据在工夫上的差别），须要定期更新。对于有上百个数据库的企业来说，这样的测试数据更新、多个测试数据环境的保护，须要耗费大量的人力、物力。

假设某用户有 100 个利用，每个利用 1 个数据库，每个利用在测试环境有 4 个测试数据库，测试数据的更新频率是每月 1 次。每个测试数据库假设为 1TB 数据量。那么，该用户在每个月须要销毁 400 个数据库并新生成 400 个数据库。如果每个数据库的销毁和新生成须要一个人天，每个月须要 400 集体天。该测试环境的存储空间至多为 400 * 1TB= 400TB。

另外，因为传统备份技术过于简单、老本过高，测试环境的数据在企业内往往是不做备份的，这造成了测试人员在测试过程中无奈灵便的回退、移行、多分支并行测试等等，减低了测试效率。

第二存储能大幅晋升测试数据在效率、老本上的晋升。

第二存储能够实现数据的虚拟化应用，一份测试数据通过快照技术，能够虚构出多份正本，而不减少额定存储空间，并且能够分钟级构建出测试环境。

第二存储能够利用快照技术，秒级实现测试数据的备份，并且只耗费增量数据的存储空间，而在复原时，能够分钟级实现。通过这种低成本、高效率的备份复原技术。为测试人员提供非常灵活的各种测试数据操作。

以上述用户环境为例。数据库销毁和新生成能够分钟级实现，假设为 10 分钟，每个月的 400 个库的更新，只须要 400 10 分钟约 66 小时。而且第二存储能够实现自动化的测试数据库销毁和新生成，无需人工操作。第二存储的虚构多正本和自身存储空间压缩性能，400 个测试数据库的存储空间要求为：100（根底测试数据） 1TB/3（压缩率）= 33TB 左右。

通过第二存储实现的测试数据治理，在存储空间、效率、运维等方面都有非常明显的价值。

云容灾

长期以来，容灾零碎的建设老本是十分高的。劫难产生时，容灾零碎要能接管业务，并能在性能上有根本保障，容灾零碎须要装备服务器、存储、软件、网络等等，除了配置级别上能够低于生产零碎，但必须配置齐全。

容灾零碎的保护老本也十分高，须要定期进行容灾演练，以保障容灾零碎的可用性。

劫难事件的产生概率是十分小的，甚至几十年都不会产生。但如果产生劫难事件，却没有容灾零碎，会造成巨大损失。这是一个微小的矛盾。

私有云的倒退为解决这个矛盾提供了可能。

私有云的资源能够长期租用，用完回收。因而，容灾零碎能够实现：

1. 劫难事产生或容灾演练时，通过租用私有云的各种资源（服务器、存储、软件、网络等），实现容灾切换或容灾演练。
2. 在日常，用最低的老本维持容灾零碎最根底的性能—数据复制和保留。

第二存储自身提供灾备一体化性能，并可充分利用私有云的个性来实现容灾，从而能够为用户提供低成本的、笼罩所有故障类型的业务连续性计划。

以下是第二存储能够实现的各种故障下的 RTO/RPO：

通过第二存储，能够完满解决业界始终存在的容灾建设在老本和成果之间的矛盾，各种机房内的高概率小故障，由本地的第二存储疾速解决，无需切换到容灾端（当然，传统的容灾零碎也无奈无效的解决这些小故障）。在日常，云端只须要租赁对象存储资源，只有产生概率很小的整体机房故障时，才长期申请服务器、存储、网络等资源，实现容灾切换。

QingStor 和安钛飞联合推出第二存储解决方案

联结解决方案实现的成果

QingStor 和安钛飞通过深刻的联结研发、测试，推出了第二存储解决方案。安钛飞提供基于 CDM 技术的、实现数据分布式架构的数据管理软件，QingStor 提供对象存储。

安钛飞提供了基于云架构的 CDM 数据管理软件，可实现永恒增量备份。只需增量数据，零碎内自动合成全量数据；备份数据原始格局，实现挂载形式的分钟级疾速复原。无论是寄存于块存储还是对象存储，备份数据都能够疾速挂载形式复原；备份数据的多正本应用性能。通过指针式快照，实现备份数据的多正本应用，正本不占用存储空间；可将数据间接备份到对象存储；对象存储的挂载数据的性能可等同 SSD 磁盘的 IO 性能；计算节点（备份、复原、数据挂载等性能节点）无状态化，实现计算节点的高可用及平滑横行扩大。

第二存储解决方案的整体架构可实现：

1. 数据对立存储，打消数据孤岛，利用对象存储实现存储和计算拆散。
2. 基于对象存储能够存储结构化和非结构化数据，对象存储能够有限扩大。
3. 计算节点实现无状态化，能够疾速弹性扩大膨胀。计算节点能够按性能需求进行配置。
4. 对立的元数据管理。
5. 所有分层绝对独立，按需扩大, 易于治理。
6. 可随时敞开不须要的计算资源。
7. 任何计算资源都能够拜访全副数据。

测试数据

测试环境拓扑形容

• 青云私有云环境部署安钛飞软件，爱护青云上 oracle 数据库。
• 青云对象存储作为数据共享池。
• 间接从青云对象存储挂载 oracle 数据库。

测试环境

Oracle 备份后果

对象存储挂载 Oracle 后果

• 验证数据恢复场景，包含数据应急 / 疾速复原 / 数据服务能力。
• 利用工夫版本治理和虚拟化技术，CDM 零碎能够分钟级别公布任意时点的多正本全量虚构库数据库, 通过虚构库形式, 高效的撑持麻利运维, 麻利开发, 麻利经营需要。

从对象存储并行挂载 Oracle 后果

• 验证数据恢复场景，包含数据应急 / 疾速复原 / 数据服务能力。
• 利用工夫版本治理和虚拟化技术，CDM 零碎能够分钟级别公布任意时点的多正本全量虚构库数据库, 通过虚构库形式, 高效的撑持麻利运维, 麻利开发, 麻利经营需要。

从对象存储挂载 Oracle 数据库性能测试后果

本次测试数据比照

更多文章

存储巨匠班

对象存储手把手教五 | 数据存取与加密

gg: 像写 Golang 一样生成代码

QingStor 招聘存储测试 / 运维 / 研发工程师

本文由博客一文多发平台 OpenWrite 公布！