本文整顿自:袋鼠云技术荟 | 数据安全(1):混合云环境数据库备份容灾实现

数栈是云原生—站式数据中台PaaS,咱们在github上有一个乏味的开源我的项目:FlinkX,欢送给咱们点个starstarstar

https://github.com/DTStack/flinkx

FlinkX是一个基于Flink的批流对立的数据同步工具,既能够采集动态的数据,比方MySQL,HDFS等,也能够采集实时变动的数据,比方MySQL binlog,Kafka等,是全域、异构、批流一体的数据同步引擎,大家如果有趣味,欢送来github社区找咱们玩~

近些年,数据安全事件频发。

作为企业的外围资产,数据的外泄、毁坏都会导致不可挽回的经济损失和外围竞争力缺失。标准的制度建设、权限治理和变更流程是保障数据安全的重要落地措施。

袋鼠云DBA团队承接多个客户的容灾架构设计需要,制订牢靠、无效的容灾架构计划并推动落地。备份重于所有。咱们会优先思考数据库备份集的容灾设计:两地三核心VS混合云、权限调配&监控告警&复原演练。

基于混合云的备份容灾计划,已胜利向多个客户输入。明天来谈一下阿里云—IDC混合云场景下的备份容灾设计:

  1. 阿里云RDS等数据库产品,备份集、binlog保留在OSS对象存储,下载后可见;同时提供备份/日志API接口,用于编程开发;
  2. 云环境和IDC容灾机房走了专线,带宽依据备份、日志量,传输工夫窗口来布局;
  3. IDC容灾机房重要是存储的布局:RAID&文件保留期限&容量&权限;
  4. 备份集、日志文件的抽取、验证程序;5. 运维监控平台,收集、剖析IDC容灾机房程序日志,发现、告警,运维及时响应。

具体实现:

1. 元数据。阿里云RDS提供了两个API:备份文件信息DescribeBackups、日志文件信息DescribeBinlogFiles,传入参数instance_id即可获取备份集、日志文件的根底信息:下载门路、大小、文件名、checksum值等。

袋鼠云智能运维中台能够准实时同步RDS元数据信息,确保备份集、日志文件的抽取时效。

2. 文件抽取。依赖元数据信息,分为备份集和日志文件两个抽取程序,每个程序均配置有文件大小、checksum值双重验证。

对拉取过程超时、文件不残缺等问题,会主动从新拉取。

管制抽取过程并发数量,防止专线拥挤。

3. 运维监控平台接入,剖析同步工作运行日志,配置抽取失败、传输超时等告警;同时接入IDC存储空间使用量、使用率变化趋势告警,对异样问题被动发现、及时处理。

4. 复原演练。制订演练打算,模仿以工夫点复原、数据误操作等运维事件,收集操作过程,整顿成册。

5. IDC存储管理由机房运维部门负责,云平台运维部门操作存储需严格依照审批流程进行申请。

从架构设计、权限治理到程序开发、告警响应、异样解决、复原演练,多环节无死角确保备份集平安。

只有备份平安,数据肯定能复原。