关于大数据:国产-ETL-工具-etlengine-数据交换系统-轻量级-跨平台-引擎

产品概述

• 咱们不仅仅是数据的搬运工，还是数据搬运过程中加工解决的工厂。
• 咱们不仅仅实用关系型数据库中，还适配当下风行的时序数据库、消息中间件中。
• etl-engine 的核心思想是为用户疾速搭建 ETL 产品提供解决方案，让用户低代码乃至零代码将 ETL 产品集成到本人的我的项目或产品生态中。
• 该产品由 etl-engine 引擎和 etl-designer 云端设计器及 etl-crontab 调度组成。
• etl-engine 引擎负责解析 ETL 配置文件并执行 ETL 工作；
• etl-designer 云端设计器通过利落拽的形式生成 etl-engine 引擎可辨认的 ETL 工作配置文件；

• etl-crontab 调度设计器负责按工夫周期执行指定的 ETL 工作，及查问 ETL 工作执行日志性能。

                                架构图

                                etl-engine 设计器

                                etl 具体日志

  利用场景

  异构零碎数据交换

  传统行业各业务零碎数据绝对独立，随着信息平台一体化、数据中台及大数据时代的推动，要求各业务零碎数据互相交融，业务资源共享。
  etl-engine 反对对关系型数据库、时序数据库等不同媒体进行数据交换。

  数据散发网关

  电商、物联网等畛域在设施上报数据、日志采集、轨迹埋点等场景中从数据接管、再次加工、数据散发、数据格式化存储的要求尤为突出。
  etl-engine 反对 kafka、rocketmq、prometheus 等多种数据源的接管；
  反对在接管过程中对数据进行各种转换、荡涤、治理；
  反对将同一数据源的数据通过再次加工后同时散发到多种指标中。

  产品劣势

• 轻量级
  该产品由 Go 语言开发，与生俱来的效率高，无需依赖各种动静库、动态库，部署不便，开箱即用，轻量级引擎。
• 配置简略
  通过云端 etl-designer 设计器，可视化利落拽形式就能够实现 ETL 工作的定制化配置工作及调度配置工作。
• 跨平台
  间接编译成二进制文件，反对跨平台执行（windows、linux、mac），只须要一个可执行文件和一个配置文件就能够运行，无需其它依赖。
• 集成度高
  etl-crontab 调度集成了 etl-designer 云端设计器，只需运行一个执行文件即取得两个产品性能，反对 HTTP/HTTPS 协定拜访，为不便用户产品集成，该性能可依据须要独立散发也可集成散发。
• 解析 Go 脚本
  etl-engine 中任意一个输入节点都能够嵌入 go 语言脚本并进行解析性运行，实现对输入数据流的格局转换性能。
• 动静配置
  为满足业务场景须要，etl-engine 反对 ETL 配置文件中应用内部传递的全局变量，实现动静更新 ETL 配置文件性能。
• 遵循 pipeline 模型
  任意一个输出节点能够同任意一个输入节点进行组合；
  任意一个输出节点都能够通过组合数据流拷贝节点，实现从一个输出同时分支到多个输入的场景；
  任意一个输入节点都能够嵌入 go 语言脚本并进行解析，实现对输入数据流的格局转换性能。
• 反对二开
  反对节点级二次开发，通过配置自定义节点，并在自定义节点中配置 go 语言脚本，可扩大实现各种性能操作。
• 日志查问
  反对对 etl-engine 各节点执行状况的查问性能，不便监控执行轨迹。
• 执行状况报警
  反对将工作执行失败状况通过 HTTP/HTTPS、SMS 形式上送报警性能。
• 安全性
  裸露的服务接口反对 HTTPS 证书双向认证、Basic Auth 认证、Token 形式拜访。

• 高可用
  反对将 N 个 etl-crontab 服务端注册到 consul 服务中心，集成商可通过从 consul 服务中心发现 etl-crontab 服务端地址，以实现高可用。

  技术指标

  反对部署模式

  按原有产品性能前后端集成或前后端拆散部署；
  按用户个性化需要定制开发部署；

  反对操作系统

  Windows、Linux、Unix、Mac

  反对数据源类型

• 文件类型
  Excel、CSV
• 数据库类型
  MySQL、PostgreSQL、Oracle、Sqlite、Redis
• 消息中间件
  Kafka、Rocketmq
• 时序数据库
  Influxdb、Clickhouse、Prometheus