共计 2113 个字符,预计需要花费 6 分钟才能阅读完成。
首先在进入主题之前咱们先来回顾下经典的大数据 ETL 架构有哪些?
- Lambda 架构
- Kappa 架构
- 混合架构
它们之间的区别如下:
七牛的大数据平台在搭建过程中也经验了下面几个架构的变迁,也就是从最早的 Lambda 架构,到尝试应用 Kappa 架构,再到前面的新型混合 ETL 架构,为了满足业务需要,开发人员在这几个架构中进行折中抉择,然而咱们发现下面几个架构对于大数据的开发人员要求较高,次要体现在上面几个方面:
- 波及到泛滥的框架,如流解决框架就有晚期的 Apache Storm,到前面的 Apache Spark Streaming, 再到 Apache Flink,学习门槛较高
- 不同计算框架对与数据源的定义不对立,造成输入输出较难治理
- 数据开发人员新开发一个业务指标,不同开发人员写出的代码格调不对立,开发效率低,很难进行工程化,前期保护也必将艰难
为了解决下面的几个问题,团队抉择基于 Apache Spark 开发了 QStreaming 这套简略轻量级 ETL 开发框架
QStreaming 个性
数据源反对
- Apache Kafka
- Apache Hbase
- Hadoop HDFS/S3
- Jdbc
- MongoDB
- Apache Hudi
次要个性
- DDL 定义输出源
这外面 stream 关键字代表定义了一个流表,并且是连贯到 kafka 消息中间件
- 流解决 watermark 的 DSL 反对
在 DSL 中增加 watermark,次要有 2 种形式:
- 在 DDL 中指定,
- 在 create view 语句中指定
- 动静 UDF
比方上面这个转换一个日期字符串为工夫戳格局
- 流解决的多输入
这个个性次要是通过 spark structed streaming 的 forEachBatch 实现的
- 变量渲染
变量渲染常常在一些定时调度批处理中十分有用,如下依据小时读取一个 HDFS 上的 parquet 文件
- 监控,如 kafka lag 监控
因为 Apache spark 生产 kafka 是应用的低阶 API,默认咱们没有方法晓得生产的 topic 有没有提早,咱们通过指定 group-id 属性,模仿 kafka consumer 的 subscribe 模式,这样就和一般的 kafka consumer 高级 API 一样了
- 数据品质
这个个性次要是用来对数据做单元测试的,比方校验咱们 ETL 后果表的准确性
QStreaming 残缺的语法个性参考这里
QStreaming 架构
架构图
外围组件
从下面的架构图中能够看出 QStreaming 次要有以下几个组件组成
- Pipeline DSL
Pipeline DSL 是一个定义时的 Job 工作形容文件,相似于 SQL 语法,对 Spark SQL 齐全兼容,比方上面这个
- Pipeline DSL Parser
Pipeline DSL Parser 组件负责解析 Pipeline DSL 并且转换 ANTLR AST 为 Pipeline Domain Models
Pipeline Domain models
- Pipleine Translator
Pipeline Translator 进一步将 Pipeline domain model 转换为 spark transformations 和 actions
- Data Quality Checker
Data Quality Check 负责解析单元测试语句,应用 Amazon Deequ 库并且翻译为 Deequ 的 VerificationSuite
- Pipeline Runner
这个组件负责构建 Pipeline 启动上下文,协同 PipelineParser 和 Pipeline Translator 一起工作,依据配置启动流或者批处理 Application
QStreaming 应用场景
- 场景一
在这一个场景中,QStreaming 次要通过生产 kafka, 而后进行预聚合,预聚合能够进行开窗口计算,比方 1 分钟的窗口,而后在把窗口聚合的后果写入上游数据存储中,这外面很重要的一个个性就是数据勘误性能,所以能够抉择的 ETL 架构如下:
- lambda 架构
- kappa 架构
- 混合架构
- 场景二
在这个场景中,QStreaming 表演了一层很薄的角色,比方对数据进行加工,然而不对数据进行聚合,保留了显著,预聚合的性能交给了上游反对 OLAP 引擎,比方反对 RollUp 性能的 Apache Druid,Apache Doris,Clickhouse 等,另外 Apache Doris 还能够保留明细性能
- 场景三
在这个场景中,QStreaming 次要是通过 Apache Airflow 进行调度的,ODS 对接 Apache Hive 数据仓库,而后能够做 DWS 或者是 DWD 操作,再把后果写入 Hive 数据仓库中,提供离线即席查问,或者是聚合的后果写入 RDS,NOSQL 等数据库,下层对其后果封装为 API,供用户应用
- 场景四
这个场景次要是音讯驱动的,通过上游业务方发送音讯到消息中间件,而后生产音讯驱动 QStreaming ETL 工作
QStreaming 总结
整体上 QStreaming 能够从上面 3 个图简略详情:
- 架构层面
可用于上面三种架构中,灵便切换
- 开发层面
- 运维层面
QStreaming RoadMap
QStreaming 还十分年老,前期还会有进一步的布局,布局的个性如下:
欠缺数据源反对(如 Delta lake,Apache Hudi 等 )
增加数据血统性能
机器学习 Pipeline