Redash自带简略的后果集再运算能力,提供从数据抽取、数据建模、数据分析,到数据可视化、预警散发的一站式数据分析利用能力; 即使试用业余的ETL工具,也可实现多数据源的联结动态分析(联动、钻取、动静参数等交互剖析性能)。容许用户疾速接入各类数据源,无需借助数仓即可实现数据导入-解决-剖析的流程,因而Redash能够在没有数据仓库的前提下实现实时智能数据分析为主、辅以简略数据处理加工的利用场景。
然而,随着企业用户数据量、剖析复杂度的一直晋升,数据分析平台上轻量式数据存储与数据流解决模块是难以承受微小的计算压力的,须要大量指标运算、大量历史数据同比/环比运算的,还是须要有打算地建设数据仓库或数据平台。Redash能完满集成开源ETL工具Kettle,构建企业级数据仓库和BI零碎。
数据不会像水一样从源头间接流进BI零碎。通常咱们须要ETL(即数据抽取、转换、装载的过程)工具来把数据从源头抓取到BI的数据仓库,ETL工具能将企业中的扩散、零乱、规范不对立的数据整合到一起。
Kettle是一款高效易用的ETL工具,能够实现数据从多个异构数据源加载到指标地址。Kettle能够在Windows、Linux、Unix上运行,反对图形化的GUI设计界面,以工作流的模式流转,数据抽取、品质检测、数据荡涤、数据转换、数据过滤等方面高效稳固。
Kettle介绍
Kettle是一个组件化的集成系统,包含如下几个次要局部:
1.Spoon:图形化界面工具(GUI形式),Spoon容许你通过图形界面来设计Job和 Transformation,能够保留为文件或者保留在数据库中。也能够间接在Spoon图形化界面中运行Job和Transformation,
2.Pan:Transformation执行器(命令行形式),Pan用于在终端执行Transformation,没有图形界面。
3.Kitchen:Job执行器(命令行形式),Kitchen用于在终端执行Job,没有图形界面。
4.Carte:嵌入式Web服务,用于近程执行Job或Transformation,Kettle通过Carte建设集群。
5.Encr:Kettle用于字符串加密的命令行工具,如:对在Job或Transformation中定义的数据库连贯参数进行加密。
利用案例
某超市利用redash制作实时数据分析报表,后期次要获取最新实时数据,时效性要求高,因而采纳redash间接动静获取数据库数据实时展现。
然而前期随着业务倒退,数据取数越来越简单,须要剖析大量数据的指标和同比环比状况,而且数据即时性要求并不高时,采纳redash多种后果集查问运算重复取数据,数据分析效率比拟低。数据量十分大的状况,应用kettle能够间接作业和转换,一个作业里能够执行多个转换,这样数据分析效率就会大大晋升,最初配合Redash进行可视化剖析,制作报表进行展现。
Kettle能够简化数据仓库的创立,更新和保护,帮忙企业疾速搭建异构数据源之间的数据管道,让简单的数据我的项目不再成为瓶颈,Redash+kettle=残缺的BI我的项目解决方案,实现一站式打造企业级数据可视化剖析云平台。