关于后端:ETL工具如何实现高可用ETL工具高可用解决方案

高可用，高并发需要始终以来都是备受关注的话题，上面以 etl-engine 为例阐明 ETL 工具如何实现高可用。

应用场景

为解决高可用场景，etl-crontab 提供向 consul 进行服务注册，第三方零碎可通过从 consul 进行服务发现来获取 etl-crontab 所提供的服务地址。

前置条件

• 因 etl-engine 与 etl-crontab 所波及的配置文件均以 XML 文件模式进行存储，所以须要将上述两种配置文件存储在数据中心的共享目录下，并将该目录读写权限赋予给 etl-engine 和 etl-crontab 应用。
• etl-engine 和 etl-crontab 均可进行多实例运行，etl-crontab 启动后主动向 consul 进行服务注册以供第三方零碎应用。

文件服务器

1. Windows 为目录服务器，共享文件目录给 Linux
   Windows 配置目录共享，Linux 配置 CIFS 服务
   Linux 文件门路样本
   /sharedir/sample.grf
2. Windows 为目录服务器，共享文件目录给 Windows
   Windows 配置目录共享
   Windows 文件门路样本
   //192.168.31.19/sharedir/sample.grf
3. Linux 为目录服务器，共享文件目录给 Window
   Linux 配置 samba 服务实现目录共享
   Windows 文件门路样本
   //192.168.31.19/sharedir/sample.grf
4. Linux 为目录服务器，共享文件目录给 Linux
   Linux 配置 NFS 服务实现目录共享
   Linux 文件门路样本
   /sharedir/sample.grf

以上计划依据理论应用场景进行配置。

consul 服务

https://developer.hashicorp.c…

部署架构

参考资料

资源下载
etl-engine 使用手册
etl-crontab 使用手册
嵌入脚本开发