一、技术背景
在面向数字能源畛域，KaiwuDB 就元数据同步存在以下利用场景：源端执行元数据操作语句，同时对应源端元数据变动；这些元数据须要在指标的一端进行同步，而实现这一指标的办法是通过数据复制同步模块来实现。
元数据复制同步能够分为两个局部：
- 元数据回放表的复制模块；
- 元数据回放模块。
本文次要介绍整个元数据同步模块中的后半局部，即元数据回放（metadata backfill）模块的技术实现。
二、技术根底
1. 元数据回放表
此表用于记录源端元数据操作 SQL 语句：
表 1：元数据回放表
2. 表级别的复制
表级别的复制是元数据回放的根底。通过复制语法能够将源端的元数据回放记录表复制到指标端，在源端通过 DDL 对元数据进行操作的语句，将会由表级别的复制发送到指标端，实现对元数据记录表的复制操作。元数据回放模块在此表的同步根底上，进行两端的元数据回放并达到元数据同步的目标。
元数据模块由表级别的复制调用触发。在表级别的复制过程中，存在将数据写入元数据表的操作。抉择在数据写入到指标端的回放表时，触发回放模块，进行检索并实现元数据回放。
三、实现流程
图 1：回放流程
1. 记录元数据操作语句
咱们在执行元数据操作的 SQL 语句时，在执行流程中调用回放表写入接口，将 SQL 语句等其余参数记录在元数据回放表中。
写入此表的数据中，生成的主键为以后的 portal_id（portal_id 和源端绑定，每个端的 portal_id 是不同的）和生成的 rowid 联结主键。因而，纵使多个源端的语句也能够在同一指标端聚合在同一张回放表中，不会产生主键抵触问题。默认记录的 SQL 语句的回放状态为未回放状态。
2. 回放模块的启动
回放模块的启动是基于启动服务时拉起一个协程。通过启动一个回放协程，协程中会检测信号 signal 作为回放模块的触发机制。
若 signal 接管到信号，就触发回放模块的执行。启动后的回放模块，期待复制模块的触发信号，进而触发回放。
3. 回放模块的触发
复制模块通过复制表将源端记录表复制到指标端。随着一直的 SQL 记录写入回放表，表级别的复制能够将后续的 SQL 语句记录发送到指标端。
在指标端上，写入回放表时通过向 signal 赋值，即向回放协程模块发送触发信号，就能够在回放模块中触发回放模块。触发回放模块后，就能够进行到下一步回放模块的执行。
4. 回放模块的执行
图 2：回放执行模块
1）获取回放语句
通过对复制过去的源端的回放表的查问，通过筛选查出回放表的未回放语句，查找对应 SQL 记录的回放状态，从而拿到须要回放的待回放语句。
从回放表拿到的语句解析为待执行的字符串语句，这些语句就是待同步在指标端执行的语句，将其传入回放模块的下一阶段，执行回放语句。
2）执行回放语句
将获取的待回放语句传入执行回访模块，利用执行模块对获取到的语句进行执行，实现元数据在指标端的同步执行。
执行完语句后，须要批改此条语句的回放状态，进入更新语句的回放状态模块。
3）更新回放状态
回放胜利的语句，须要进入更新回放状态模块，将记录的语句执行胜利的更新状态为 true 已执行，下次从新获取的语句就会跳过曾经被回放过的语句。
回放模块的执行中，抉择将执行回放语句模块放入同一个事务执行，若语句回放失败，则不进行更新状态；若更新回放状态失败，则回退回放语句的执行。放在同一个事务中，保障回放状态和是否胜利执行回放语句保持一致。
四、总结优化
基于复制的技术根底，回放模块启动后，触发和执行回放模块，在源端执行的元数据操作 SQL 语句，同步到指标端进行回放，从而达到元数据的同步。本文讲述的是一个根底的实现思路，将来仍将有很大的优化空间。