高可用，高并发需要始终以来都是备受关注的话题，上面以etl-engine为例阐明ETL工具如何实现高可用。

应用场景

为解决高可用场景，etl-crontab提供向consul进行服务注册，第三方零碎可通过从consul进行服务发现来获取etl-crontab所提供的服务地址。

前置条件

  • 因etl-engine与etl-crontab所波及的配置文件均以XML文件模式进行存储，所以须要将上述两种配置文件存储在数据中心的共享目录下，并将该目录读写权限赋予给etl-engine和etl-crontab应用。
  • etl-engine和etl-crontab均可进行多实例运行，etl-crontab启动后主动向consul进行服务注册以供第三方零碎应用。

文件服务器

  1. Windows为目录服务器，共享文件目录给Linux
    Windows配置目录共享，Linux配置CIFS服务
    Linux文件门路样本
    /sharedir/sample.grf
  2. Windows为目录服务器，共享文件目录给Windows
    Windows配置目录共享
    Windows文件门路样本
    //192.168.31.19/sharedir/sample.grf
  3. Linux为目录服务器，共享文件目录给Window
    Linux配置samba服务实现目录共享
    Windows文件门路样本
    //192.168.31.19/sharedir/sample.grf
  4. Linux为目录服务器，共享文件目录给Linux
    Linux配置NFS服务实现目录共享
    Linux文件门路样本
    /sharedir/sample.grf

以上计划依据理论应用场景进行配置。

consul服务

https://developer.hashicorp.c...

部署架构

参考资料

资源下载
etl-engine使用手册
etl-crontab使用手册
嵌入脚本开发