乐趣区

关于数据库:技本功数据安全之IDC数据容灾设计实现

近年来,数据安全问题日渐受到大家的关注,对于任何一家企业,数据无疑是最重要的资产之一。提到数据容灾,大家可能会想到备库和备份的概念,那么咱们先来谈谈 备库与备份 的区别。

备库与备份的区别

通常来讲,备库更侧重于保障服务的可用性,旨在当主库不可用时进行服务接管,从而确保故障产生后,可能在极短时间内持续领有对外提供服务的能力;

而备份则侧重于保障数据的可靠性,其重大意义在于将数据文件进行离线冗余操作,当呈现人为误操作或者不可逆故障的时候,可能应用正本进行数据的重放。

由此可见,备库与备份不可等量齐观,同时也都是进行数据容灾布局中不可或缺的局部。上面的两张图片很好的诠释了这个观点。

IDC 数据容灾计划

云掣科技 IDC 数据容灾计划基于自研 EasyDO 平台实现,通过一键式配置实现数据高可用、数据备份、及备份容灾转储。在这整个体系中,主备库、备份、容灾备份形成了多份数据正本。EasyDO 负责整体的工作配置、任务调度、运维监控、以及多数据正本管控。整体逻辑架构图如下:

01 高可用设计
高可用计划基于 MySQL 原生半同步复制 +keepalived 技术实现,主备库部署于不同物理机。通过内置的脚本实现平安切换,通过 vip 机制达到通明切换的目标。
外围实现逻辑如下:

平台巡检 ha 配置库

记录时间戳以及切换标记位,用于进行读写检测以及保护切换流程。

实例检测机制

除了须要检测是否能获取连贯外,还要进行读写检测。

平安切换

同机房半同步复制保障传输延时的问题,当存在利用延时的备库晋升为主库的状况时,须要期待日志利用实现;若复制中断,则不产生切换。

02 数据备份

备份底层基于 xtrabackup 实现,通过 EasyDO 平台可做到一键全自动备份;云掣科技 DBA 团队依据用户实例数据量、运行状况、以及业务负荷峰谷法则制订备份策略。

03 备份容灾

容灾通过 EasyDO 的异地备份性能实现,目前已成熟反对 OSS 存储或异地 FTP 服务器的接入。

备份工作实现后,备份文件实时上传至异地 FTP 服务器或 OSS 存储,实现数据多份存储,保障数据可靠性。

04 运维监控

每台数据库主机独立装置 EasyDO agent 程序,实时采集备份信息以及主备复制信息,并实时上报给服务端。

服务端对上报数据进行统计分析并生成图表,云掣科技 DBA 团队基于 EasyDO 平台进行每日数据备份巡检核查。

当数据备份或转储,以及复制状态出现异常时,会触发平台告警,揭示 DBA 团队进行排查解决。

EasyDO 运维监控计划整体逻辑架构图如下:

复原演练

为防止因为备份介质或文件损坏、备份数据不残缺等,而导致未来可能存在的无奈复原数据的状况,云掣科技 DBA 团队制订复原演练打算,定期发展演练并记录演练过程,以此确保备份文件可用性以及备份策略的正确性。通过模仿天然或人为的故障,来校验以后零碎的数据安全级别。通过复原演练进步将来可能呈现的数据恢复过程的高效性和准确性。

01 演练筹备

服务器筹备:操作系统、数据磁盘

软件包筹备:MySQL 装置,xtrabackup 装置

02 惯例数据恢复

通过本地全备文件中的最新备份进行数据库实例级别复原,以应答实例级别的故障,或者不可逆 drop 操作。将 IDC 机房备份文件传输至复原服务器在复原服务器进行全量数据恢复。

03 工夫点复原
在本地 binlog 文件保留完整,且未呈现物理或逻辑损坏的状况下。可将整个实例复原至比指定备份文件更新的某个工夫点状态。

  • 将备份文件以及备份工夫点之后的 binlog 文件传输至复原服务器。
  • 通过备份文件进行全量复原。
  • 通过利用 binlog 日志进行增量复原至故障前的工夫点。

04 大型故障复原
当呈现重大服务器级别故障或者因为自然灾害导致的机房级别的故障,导致本地数据库无法访问以及备份文件失落的状况时;能够通过异地备份文件进行数据恢复。

  • 从异地灾备机房下载备份文件至复原服务器。
  • 复原服务器本地进行全量数据恢复。

写在最初

造成数据失落和破坏的起因次要有以下几个方面:

  • 程序设计设计缺点
  • 零碎硬件故障
  • 人为失误操作
  • 网络安全攻打
  • 机房故障

如果没有做好备份,一旦数据损毁,会重大影响企业失常业务的发展,给生产造成微小的损失。数据库备份及备库是企业数据高牢靠及业务高可用的重要保障,也是预防主动性攻打的平安屏障。做好数据容灾是企业 IT 运维必不可少的重要环节。

理解更多数据库容灾计划

退出移动版