关于mysql:记一次mysql数据完整性问题排查经历

背景

应用 python 脚本监控特定过程的资源占用状况，存入数据库；每次过程敞开后写入日志到特定目录（Logs/ 日期 / 小时）。当初须要记录在比拟数据中存储的数据的一致性问题。

总数统计比照：

1、查问日志总数状况
能够递归遍历查问日期下目录的数据，脚本如下：
ls -lR |grep "_20210903.log.gz$"|wc -l

2、去重查询数据库中总数状况
能够利用 distinct 进行 mysql 的去重查问操作。

select distinct(process_id)  from server_process_perf_by_second where process_name in ("name1","name2") and date ="20210903"

后果能够查看到日志监控到 503 个过程 PID。而日志监控到的数据是 179 个数据，这两个数据不统一，所以 mysql 记录的数据中存在漏数据的状况。须要进一步进行剖析哪些过程 PID 数据有问题。

数据详情比照

导出数据存入 Excel 表格中
利用公式
输出如下公式：=COUNTIF($A$2:$A$500,B2)后进行数据比照，比照的后果如下图

综上能够针对差别的过程 PID 号进行问题的排查。