近年来,数据安全问题日渐受到大家的关注,对于任何一家企业,数据无疑是最重要的资产之一。提到数据容灾,大家可能会想到备库和备份的概念,那么咱们先来谈谈备库与备份的区别。
备库与备份的区别
通常来讲,备库更侧重于保障服务的可用性,旨在当主库不可用时进行服务接管,从而确保故障产生后,可能在极短时间内持续领有对外提供服务的能力;
而备份则侧重于保障数据的可靠性,其重大意义在于将数据文件进行离线冗余操作,当呈现人为误操作或者不可逆故障的时候,可能应用正本进行数据的重放。
由此可见,备库与备份不可等量齐观,同时也都是进行数据容灾布局中不可或缺的局部。上面的两张图片很好的诠释了这个观点。
IDC数据容灾计划
云掣科技IDC数据容灾计划基于自研EasyDO平台实现,通过一键式配置实现数据高可用、数据备份、及备份容灾转储。在这整个体系中,主备库、备份、容灾备份形成了多份数据正本。EasyDO负责整体的工作配置、任务调度、运维监控、以及多数据正本管控。整体逻辑架构图如下:
01高可用设计
高可用计划基于MySQL原生半同步复制+keepalived技术实现,主备库部署于不同物理机。通过内置的脚本实现平安切换,通过vip机制达到通明切换的目标。
外围实现逻辑如下:
平台巡检ha配置库
记录时间戳以及切换标记位,用于进行读写检测以及保护切换流程。
实例检测机制
除了须要检测是否能获取连贯外,还要进行读写检测。
平安切换
同机房半同步复制保障传输延时的问题,当存在利用延时的备库晋升为主库的状况时,须要期待日志利用实现;若复制中断,则不产生切换。
02数据备份
备份底层基于xtrabackup实现,通过EasyDO平台可做到一键全自动备份;云掣科技DBA团队依据用户实例数据量、运行状况、以及业务负荷峰谷法则制订备份策略。
03备份容灾
容灾通过EasyDO的异地备份性能实现,目前已成熟反对OSS存储或异地FTP服务器的接入。
备份工作实现后,备份文件实时上传至异地FTP服务器或OSS存储,实现数据多份存储,保障数据可靠性。
04运维监控
每台数据库主机独立装置EasyDO agent程序,实时采集备份信息以及主备复制信息,并实时上报给服务端。
服务端对上报数据进行统计分析并生成图表,云掣科技DBA团队基于EasyDO 平台进行每日数据备份巡检核查。
当数据备份或转储,以及复制状态出现异常时,会触发平台告警,揭示DBA团队进行排查解决。
EasyDO运维监控计划整体逻辑架构图如下:
复原演练
为防止因为备份介质或文件损坏、备份数据不残缺等,而导致未来可能存在的无奈复原数据的状况,云掣科技DBA团队制订复原演练打算,定期发展演练并记录演练过程,以此确保备份文件可用性以及备份策略的正确性。通过模仿天然或人为的故障,来校验以后零碎的数据安全级别。通过复原演练进步将来可能呈现的数据恢复过程的高效性和准确性。
01演练筹备
服务器筹备:操作系统、数据磁盘
软件包筹备:MySQL装置,xtrabackup装置
02惯例数据恢复
通过本地全备文件中的最新备份进行数据库实例级别复原,以应答实例级别的故障,或者不可逆drop操作。将IDC机房备份文件传输至复原服务器在复原服务器进行全量数据恢复。
03工夫点复原
在本地binlog文件保留完整,且未呈现物理或逻辑损坏的状况下。可将整个实例复原至比指定备份文件更新的某个工夫点状态。
- 将备份文件以及备份工夫点之后的binlog文件传输至复原服务器。
- 通过备份文件进行全量复原。
- 通过利用binlog日志进行增量复原至故障前的工夫点。
04大型故障复原
当呈现重大服务器级别故障或者因为自然灾害导致的机房级别的故障,导致本地数据库无法访问以及备份文件失落的状况时;能够通过异地备份文件进行数据恢复。
- 从异地灾备机房下载备份文件至复原服务器。
- 复原服务器本地进行全量数据恢复。
写在最初
造成数据失落和破坏的起因次要有以下几个方面:
- 程序设计设计缺点
- 零碎硬件故障
- 人为失误操作
- 网络安全攻打
- 机房故障
如果没有做好备份,一旦数据损毁,会重大影响企业失常业务的发展,给生产造成微小的损失。数据库备份及备库是企业数据高牢靠及业务高可用的重要保障,也是预防主动性攻打的平安屏障。做好数据容灾是企业IT运维必不可少的重要环节。
理解更多数据库容灾计划