乐趣区

关于kettle:Redashkettle解决方案

Redash 自带简略的后果集再运算能力,提供从数据抽取、数据建模、数据分析,到数据可视化、预警散发的一站式数据分析利用能力;即使试用业余的 ETL 工具,也可实现多数据源的联结动态分析(联动、钻取、动静参数等交互剖析性能)。容许用户疾速接入各类数据源,无需借助数仓即可实现数据导入 - 解决 - 剖析的流程,因而 Redash 能够在没有数据仓库的前提下实现实时智能数据分析为主、辅以简略数据处理加工的利用场景。

然而,随着企业用户数据量、剖析复杂度的一直晋升,数据分析平台上轻量式数据存储与数据流解决模块是难以承受微小的计算压力的,须要大量指标运算、大量历史数据同比 / 环比运算的,还是须要有打算地建设数据仓库或数据平台。Redash 能完满集成开源 ETL 工具 Kettle,构建企业级数据仓库和 BI 零碎。

数据不会像水一样从源头间接流进 BI 零碎。通常咱们须要 ETL(即数据抽取、转换、装载的过程)工具来把数据从源头抓取到 BI 的数据仓库,ETL 工具能将企业中的扩散、零乱、规范不对立的数据整合到一起。

Kettle 是一款高效易用的 ETL 工具,能够实现数据从多个异构数据源加载到指标地址。Kettle 能够在 Windows、Linux、Unix 上运行,反对图形化的 GUI 设计界面,以工作流的模式流转,数据抽取、品质检测、数据荡涤、数据转换、数据过滤等方面高效稳固。

Kettle 介绍

Kettle 是一个组件化的集成系统,包含如下几个次要局部:

1.Spoon:图形化界面工具 (GUI 形式),Spoon 容许你通过图形界面来设计 Job 和 Transformation,能够保留为文件或者保留在数据库中。也能够间接在 Spoon 图形化界面中运行 Job 和 Transformation,

2.Pan:Transformation 执行器 (命令行形式),Pan 用于在终端执行 Transformation,没有图形界面。

3.Kitchen:Job 执行器 (命令行形式),Kitchen 用于在终端执行 Job,没有图形界面。

4.Carte:嵌入式 Web 服务,用于近程执行 Job 或 Transformation,Kettle 通过 Carte 建设集群。

5.Encr:Kettle 用于字符串加密的命令行工具,如:对在 Job 或 Transformation 中定义的数据库连贯参数进行加密。

利用案例

某超市利用 redash 制作实时数据分析报表,后期次要获取最新实时数据,时效性要求高,因而采纳 redash 间接动静获取数据库数据实时展现。

然而前期随着业务倒退,数据取数越来越简单,须要剖析大量数据的指标和同比环比状况,而且数据即时性要求并不高时,采纳 redash 多种后果集查问运算重复取数据,数据分析效率比拟低。数据量十分大的状况,应用 kettle 能够间接作业和转换,一个作业里能够执行多个转换,这样数据分析效率就会大大晋升,最初配合 Redash 进行可视化剖析,制作报表进行展现。

Kettle 能够简化数据仓库的创立,更新和保护,帮忙企业疾速搭建异构数据源之间的数据管道,让简单的数据我的项目不再成为瓶颈,Redash+kettle= 残缺的 BI 我的项目解决方案,实现一站式打造企业级数据可视化剖析云平台。

退出移动版