关于mysql:技术分享-测试git上2500星的闪回小工具

47次阅读

共计 4555 个字符，预计需要花费 12 分钟才能阅读完成。

  • GreatSQL 社区原创内容未经受权不得随便应用，转载请分割小编并注明起源。
  • 1、试验环境
  • 2、软件下载
  • 3、开始测试
  • 4、附参数阐明

生产上产生误删数据或者误更新数据的事变时，传统复原办法是利用备份重搭实例，再利用 binlog 来复原数据，有时候须要找回的数据条数非常少，却要复原几十甚至上百 G 的备份，费时费力。

那有没有像 oracle 一样的能够闪回的形式来不便的复原数据呢，答案是有的。咱们 MySQL 有 binlog，binlog 以 event 的模式，记录了 MySQL server 从启用 binlog 以来所有的变动。

对于 binlog 就不做过多的赘述，咱们能够利用 binlog 记录的信息，在不做备份复原的状况下来迅速找回误操作的数据。

MySQL 不像 oracle 间接一个命令就搞定了，MySQL 须要借助工具来实现，明天咱们来测试下 git 上 2500 星的闪回小工具，测试过程如下:

1、试验环境

操作系统：centos 7

数据库版本：MySQL 5.7.34

软件：binlog2sql

2、软件下载 

https://github.com/danfengcao/binlog2sql

解压装置：

unzip binlog2sql-master.zip 
cd binlog2sql-master
pip install -r requirements.txt

MySQL server 必须设置以下参数:

server_id = 1
log_bin = /var/log/mysql/mysql-bin.log
max_binlog_size = 1G
binlog_format = row
binlog_row_image = full

user 须要的最小权限汇合：

select
super/replication client
replication slave

倡议受权：

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO

3、开始测试

权限阐明：

  • select：须要读取 server 端 information_schema.COLUMNS 表，获取表构造的元信息，拼接成可视化的 sql 语句
  • super/replication client：两个权限都能够，须要执行 ’SHOW MASTER STATUS’, 获取 server 端的 binlog 列表
  • replication slave：通过 BINLOG_DUMP 协定获取 binlog 内容的权限

创立用户，造试验数据:

应用 sysbench 生成测试表，此步骤略

受权用户：

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO test_flash@'%' identified by 'test_flash';

批改数据：

INSERT INTO test_flash.test_flash_tab (`id`, `k`, `c`,`pad`,`test_col1`) VALUES (10001,'5014614','68487932199-96439406143-93774651418-41631865787-96406072701-20604855487-25459966574-28203206787-41238978918-19503783441','22195207048-70116052123-74140395089-76317954521-98694025897','');

update  test_flash.test_flash_tab set pad='22195207048-70116052123-74140395089-76317954521-98694025897' where  id=10000;

delete from  test_flash.test_flash_tab where  id=9998;

找回数据：

将 binlog2sql-master/binlog2sql 下的内容拷贝到 binlog 所在的目录 

python binlog2sql.py --flashback -h192.168.176.130 -P5506 -utest_flash -p'test_flash' -dtest_flash -t test_flash_tab --start-file='mysql-bin.000001'

输入后果：

确认无误后可间接入库 

INSERT INTO `test_flash`.`test_flash_tab`(`c`, `k`, `pad`, `id`, `test_col1`) VALUES ('26540399442-75345224560-23949007931-31007424094-85536370579-90557582232-52492275484-59891643786-99516288129-15346323350', 4994166, '09437973687-45231478323-39177308217-32926675721-14740893381', 9998, NULL); #start 1290 end 1731 time 2021-08-17 19:44:10

UPDATE `test_flash`.`test_flash_tab` SET `c`='34838736059-24362714610-75033330387-17863378665-80928638402-33892306210-78377564998-17324442332-39178876426-77334528413', `k`=4533452, `pad`='11946195857-63616115598-80208325001-42313633529-35180183845', `id`=10000, `test_col1`=NULL WHERE `c`='34838736059-24362714610-75033330387-17863378665-80928638402-33892306210-78377564998-17324442332-39178876426-77334528413' AND `k`=4533452 AND `pad`='22195207048-70116052123-74140395089-76317954521-98694025897' AND `id`=10000 AND `test_col1` IS NULL LIMIT 1; #start 627 end 1259 time 2021-08-17 19:43:59

DELETE FROM `test_flash`.`test_flash_tab` WHERE `c`='68487932199-96439406143-93774651418-41631865787-96406072701-20604855487-25459966574-28203206787-41238978918-19503783441' AND `k`=5014614 AND `pad`='22195207048-70116052123-74140395089-76317954521-98694025897' AND `id`=10001 AND `test_col1`='' LIMIT 1; #start 4 end 596 time 2021-08-17 19:43:47

4、附参数阐明

选项,mysql 连贯配置 

-h host; -P port; -u user; -p password

解析模式:

--stop-never 继续解析 binlog。可选。默认 False，同步至执行命令时最新的 binlog 地位。-K, --no-primary-key 对 INSERT 语句去除主键。可选。默认 False。-B, --flashback 生成回滚 SQL，可解析大文件，不受内存限度。可选。默认 False。与 stop-never 或 no-primary-key 不能同时增加。--back-interval - B 模式下，每打印一千行回滚 SQL，加一句 SLEEP 多少秒，如不想加 SLEEP，请设为 0。可选。默认 1.0。解析范畴管制:

--start-file 起始解析文件，只需文件名，无需全门路, 必须。--start-position/--start-pos 起始解析地位。可选。默认为 start-file 的起始地位。--stop-file/--end-file 终止解析文件。可选。默认为 start-file 同一个文件。若解析模式为 stop-never，此选项生效。--stop-position/--end-pos 终止解析地位。可选。默认为 stop-file 的最末地位；若解析模式为 stop-never，此选项生效。--start-datetime 起始解析工夫，格局 '%Y-%m-%d %H:%M:%S'。可选。默认不过滤。--stop-datetime 终止解析工夫，格局 '%Y-%m-%d %H:%M:%S'。可选。默认不过滤。对象过滤:

-d, --databases 只解析指标 db 的 sql，多个库用空格隔开，如 -d db1 db2。可选。默认为空。-t, --tables 只解析指标 table 的 sql，多张表用空格隔开，如 -t tbl1 tbl2。可选。默认为空。--only-dml 只解析 dml，疏忽 ddl。可选。默认 False。--sql-type 只解析指定类型，反对 INSERT, UPDATE, DELETE。多个类型用空格隔开，如 --sql-type INSERT DELETE。可选。默认为增删改都解析。用了此参数但没填任何类型，则三者都不解析。

Enjoy GreatSQL :)

文章举荐：

GreatSQL MGR FAQ
https://mp.weixin.qq.com/s/J6…

万答 #12，MGR 整个集群挂掉后，如何能力主动选主，不必手动干涉
https://mp.weixin.qq.com/s/07…

『2021 数据技术嘉年华·ON LINE』：《MySQL 高可用架构演进及实际》
https://mp.weixin.qq.com/s/u7…

一条 sql 语句慢在哪之抓包剖析
https://mp.weixin.qq.com/s/AY…

万答 #15，都有哪些状况可能导致 MGR 服务无奈启动
https://mp.weixin.qq.com/s/in…

技术分享 | 为什么 MGR 一致性模式不举荐 AFTER
https://mp.weixin.qq.com/s/rN…

对于 GreatSQL

GreatSQL 是由万里数据库保护的 MySQL 分支，专一于晋升 MGR 可靠性及性能，反对 InnoDB 并行查问个性，是实用于金融级利用的 MySQL 分支版本。

Gitee:
https://gitee.com/GreatSQL/Gr…

GitHub:
https://github.com/GreatSQL/G…

Bilibili：
https://space.bilibili.com/13…

微信 &QQ 群：
可搜寻增加 GreatSQL 社区助手微信好友，发送验证信息“加群”退出 GreatSQL/MGR 交换微信群

QQ 群：533341697
微信小助手：wanlidbc

本文由博客一文多发平台 OpenWrite 公布！

正文完
mysql
发表至： mysql
2022-01-04
 0
MySQL数据库简介
关于mysql:统计科学之讲讲什么是Q检验
关于mysql:联合索引该如何选择合适的列
MySQL-LENGTH-函数