关于大数据:数栈数据安全案例混合云环境数据库备份容灾实现

3次阅读

共计 1197 个字符,预计需要花费 3 分钟才能阅读完成。

本文整顿自:袋鼠云技术荟 | 数据安全(1):混合云环境数据库备份容灾实现

数栈是云原生—站式数据中台 PaaS,咱们在 github 上有一个乏味的开源我的项目:FlinkX,欢送给咱们点个starstarstar

https://github.com/DTStack/flinkx

FlinkX 是一个基于 Flink 的批流对立的数据同步工具,既能够采集动态的数据,比方 MySQL,HDFS 等,也能够采集实时变动的数据,比方 MySQL binlog,Kafka 等,是全域、异构、批流一体的数据同步引擎,大家如果有趣味,欢送来 github 社区找咱们玩~

近些年,数据安全事件频发。

作为企业的外围资产,数据的外泄、毁坏都会导致不可挽回的经济损失和外围竞争力缺失。标准的制度建设、权限治理和变更流程是保障数据安全的重要落地措施。

袋鼠云 DBA 团队承接多个客户的容灾架构设计需要,制订牢靠、无效的容灾架构计划并推动落地。备份重于所有。咱们会优先思考数据库备份集的容灾设计:两地三核心 VS 混合云、权限调配 & 监控告警 & 复原演练。

基于混合云的备份容灾计划,已胜利向多个客户输入。明天来谈一下阿里云—IDC 混合云场景下的备份容灾设计:

  1. 阿里云 RDS 等数据库产品,备份集、binlog 保留在 OSS 对象存储,下载后可见;同时提供备份 / 日志 API 接口,用于编程开发;
  2. 云环境和 IDC 容灾机房走了专线,带宽依据备份、日志量,传输工夫窗口来布局;
  3. IDC 容灾机房重要是存储的布局:RAID& 文件保留期限 & 容量 & 权限;
  4. 备份集、日志文件的抽取、验证程序;5. 运维监控平台,收集、剖析 IDC 容灾机房程序日志,发现、告警,运维及时响应。

具体实现:

1. 元数据。阿里云 RDS 提供了两个 API:备份文件信息 DescribeBackups、日志文件信息 DescribeBinlogFiles,传入参数 instance_id 即可获取备份集、日志文件的根底信息:下载门路、大小、文件名、checksum 值等。

袋鼠云智能运维中台能够准实时同步 RDS 元数据信息,确保备份集、日志文件的抽取时效。

2. 文件抽取。依赖元数据信息,分为备份集和日志文件两个抽取程序,每个程序均配置有文件大小、checksum 值双重验证。

对拉取过程超时、文件不残缺等问题,会主动从新拉取。

管制抽取过程并发数量,防止专线拥挤。

3. 运维监控平台 接入,剖析同步工作运行日志,配置抽取失败、传输超时等告警;同时接入 IDC 存储空间使用量、使用率变化趋势 告警,对异样问题被动发现、及时处理。

4. 复原演练。制订演练打算,模仿以工夫点复原、数据误操作等运维事件,收集操作过程,整顿成册。

5. IDC 存储管理 由机房运维部门负责,云平台运维部门操作存储需严格依照审批流程进行申请。

从架构设计、权限治理到程序开发、告警响应、异样解决、复原演练,多环节无死角确保备份集平安。

只有备份平安,数据肯定能复原。

正文完
 0