etl-engine cdc 模式有哪些利用场景?
CDC 是什么
CDC 是 Change Data Capture(数据变更捕捉)的缩写, 是一种数据同步技术.
罕用于大量数据的备份工作, 分为入侵式的和非入侵式的备份办法,
入侵式的有基于触发器备份、基于工夫戳备份、基于快照备份,
非入侵式的备份办法是基于日志的备份,etl-engine 是基于日志形式进行捕捉数据的变动.
技术实现
etl-engine 别离对 MySQL 和 PostgreSQL 实现了 CDC 监控能力。
对 MySQL 基于 binlog 日志进行监控;
对 PostgreSQL 基于 Wal 日志进行监控
利用场景
- 主从复制
一主一从或一主多从, 实时同步及备份, 读写拆散 -
数据散发
同一份数据散发到不同指标源, 供多个利用零碎应用
数据接管过程中通过转换性能, 额定输入大宽表, 供 olap 零碎应用数据输入反对
etl-engine CDC 模式捕捉的数据反对输入到 etl-engine 体系的所有输入组件中
- 关系型数据库
Mysql、PostgreSQL、Oracle、Sqlite 等 - 非关系型
Elastic、Redis 等 - 消息中间件
Kafka、RocketMQ - 文件
CSV、Excel
参考资料
[收费下载](https://github.com/hw2499/etl-engine/releases)
[etl-engine 使用手册](https://github.com/hw2499/etl-engine)
[etl-crontab 使用手册](https://github.com/hw2499/etl-engine/wiki/etl-crontab%E8%B0%83%E5%BA%A6)
[嵌入脚本开发](https://github.com/hw2499/etl-engine/wiki/B-%E5%B5%8C%E5%85%A5%E8%84%9A%E6%9C%AC%E5%BC%80%E5%8F%91)
[etl-engine 配置样例](https://github.com/hw2499/etl-engine/wiki/etl-engine%E4%BD%BF%E7%94%A8%E6%A0%B7%E4%BE%8B)