共计 1605 个字符，预计需要花费 5 分钟才能阅读完成。
产品概述
- 咱们不仅仅是数据的搬运工，还是数据搬运过程中加工解决的工厂。
- 咱们不仅仅实用关系型数据库中，还适配当下风行的时序数据库、消息中间件中。
- etl-engine 的核心思想是为用户疾速搭建 ETL 产品提供解决方案，让用户低代码乃至零代码将 ETL 产品集成到本人的我的项目或产品生态中。
- 该产品由 etl-engine 引擎和 etl-designer 云端设计器及 etl-crontab 调度组成。
- etl-engine 引擎负责解析 ETL 配置文件并执行 ETL 工作；
- etl-designer 云端设计器通过利落拽的形式生成 etl-engine 引擎可辨认的 ETL 工作配置文件；
-
etl-crontab 调度设计器负责按工夫周期执行指定的 ETL 工作，及查问 ETL 工作执行日志性能。
架构图etl-engine 设计器etl 具体日志利用场景
异构零碎数据交换
传统行业各业务零碎数据绝对独立，随着信息平台一体化、数据中台及大数据时代的推动，要求各业务零碎数据互相交融，业务资源共享。
etl-engine 反对对关系型数据库、时序数据库等不同媒体进行数据交换。数据散发网关
电商、物联网等畛域在设施上报数据、日志采集、轨迹埋点等场景中从数据接管、再次加工、数据散发、数据格式化存储的要求尤为突出。
etl-engine 反对 kafka、rocketmq、prometheus 等多种数据源的接管；
反对在接管过程中对数据进行各种转换、荡涤、治理；
反对将同一数据源的数据通过再次加工后同时散发到多种指标中。产品劣势
- 轻量级
该产品由 Go 语言开发，与生俱来的效率高，无需依赖各种动静库、动态库，部署不便，开箱即用，轻量级引擎。 - 配置简略
通过云端 etl-designer 设计器，可视化利落拽形式就能够实现 ETL 工作的定制化配置工作及调度配置工作。 - 跨平台
间接编译成二进制文件，反对跨平台执行（windows、linux、mac），只须要一个可执行文件和一个配置文件就能够运行，无需其它依赖。 - 集成度高
etl-crontab 调度集成了 etl-designer 云端设计器，只需运行一个执行文件即取得两个产品性能，反对 HTTP/HTTPS 协定拜访，为不便用户产品集成，该性能可依据须要独立散发也可集成散发。 - 解析 Go 脚本
etl-engine 中任意一个输入节点都能够嵌入 go 语言脚本并进行解析性运行，实现对输入数据流的格局转换性能。 - 动静配置
为满足业务场景须要，etl-engine 反对 ETL 配置文件中应用内部传递的全局变量，实现动静更新 ETL 配置文件性能。 - 遵循 pipeline 模型
任意一个输出节点能够同任意一个输入节点进行组合；
任意一个输出节点都能够通过组合数据流拷贝节点，实现从一个输出同时分支到多个输入的场景；
任意一个输入节点都能够嵌入 go 语言脚本并进行解析，实现对输入数据流的格局转换性能。 - 反对二开
反对节点级二次开发，通过配置自定义节点，并在自定义节点中配置 go 语言脚本，可扩大实现各种性能操作。 - 日志查问
反对对 etl-engine 各节点执行状况的查问性能，不便监控执行轨迹。 - 执行状况报警
反对将工作执行失败状况通过 HTTP/HTTPS、SMS 形式上送报警性能。 - 安全性
裸露的服务接口反对 HTTPS 证书双向认证、Basic Auth 认证、Token 形式拜访。 -
高可用
反对将 N 个 etl-crontab 服务端注册到 consul 服务中心，集成商可通过从 consul 服务中心发现 etl-crontab 服务端地址，以实现高可用。技术指标
反对部署模式
按原有产品性能前后端集成或前后端拆散部署；
按用户个性化需要定制开发部署；反对操作系统
Windows、Linux、Unix、Mac
反对数据源类型
- 文件类型
Excel、CSV - 数据库类型
MySQL、PostgreSQL、Oracle、Sqlite、Redis - 消息中间件
Kafka、Rocketmq - 时序数据库
Influxdb、Clickhouse、Prometheus
正文完