关于go:etlengine-cdc-模式有哪些应用场景

etl-engine cdc 模式有哪些利用场景？

CDC是什么

CDC是Change Data Capture（数据变更捕捉）的缩写,是一种数据同步技术.
罕用于大量数据的备份工作,分为入侵式的和非入侵式的备份办法,
入侵式的有基于触发器备份、基于工夫戳备份、基于快照备份,
非入侵式的备份办法是基于日志的备份,etl-engine是基于日志形式进行捕捉数据的变动.

技术实现

etl-engine别离对MySQL和PostgreSQL实现了CDC监控能力。
对MySQL基于binlog日志进行监控;

对PostgreSQL基于Wal日志进行监控

利用场景

• 主从复制
  一主一从或一主多从,实时同步及备份,读写拆散

• 数据散发
  同一份数据散发到不同指标源,供多个利用零碎应用
  数据接管过程中通过转换性能,额定输入大宽表,供olap零碎应用

  数据输入反对

  etl-engine CDC模式捕捉的数据反对输入到etl-engine体系的所有输入组件中

• 关系型数据库
  Mysql、PostgreSQL、Oracle、Sqlite等
• 非关系型
  Elastic、Redis等
• 消息中间件
  Kafka、RocketMQ
• 文件
  CSV、Excel

参考资料

  [收费下载](https://github.com/hw2499/etl-engine/releases)  [etl-engine使用手册](https://github.com/hw2499/etl-engine)  [etl-crontab使用手册](https://github.com/hw2499/etl-engine/wiki/etl-crontab%E8%B0%83%E5%BA%A6)  [嵌入脚本开发](https://github.com/hw2499/etl-engine/wiki/B-%E5%B5%8C%E5%85%A5%E8%84%9A%E6%9C%AC%E5%BC%80%E5%8F%91)  [etl-engine配置样例](https://github.com/hw2499/etl-engine/wiki/etl-engine%E4%BD%BF%E7%94%A8%E6%A0%B7%E4%BE%8B)