关于数据仓库:数据仓库04基于维度建模的数仓KimBall架构

31次阅读

共计 700 个字符,预计需要花费 2 分钟才能阅读完成。

  基于维度建模的 KimBall 架构,将数据仓库划分为 4 个不同的局部。别离是操作型源零碎、ETL 零碎、数据展示和商业智能利用,如下图。

  操作型源零碎,指的就是面向用户的各类零碎,如 app、网站、ERP、CRM 等零碎。这一块就是咱们数据仓库的数据起源,并且这类数据往往有各自的格局和内容,咱们同步过去之后,须要对数据进行荡涤和规范化。

  ETL 零碎 ,指的就是获取、转换、加载的(Extract Transformation and Load) 过程以及在 etl 过程中应用到的数据和数据结构这样的一个过程的汇合。也就是蕴含 etl 脚本,以及 etl 中的数据,以及对应的构造。

  ETL 过程中的获取,指的是数据的同步,转换指的是对数据进行转换操作,因为数据同步过去之后,数据的格局可能不是咱们想要的,数据可能有一些缺漏,数据格式可能不统一等,所以这一步,咱们须要对数据进行打消拼写错误、解决畛域抵触、处理错误的数据、解析为规范的格局等。加载,指的就是通过转换的数据,咱们加载到咱们的指标门路或者指标表之中。个别有维度建模和范式建模的表中,kimball 架构应用的是维度建模。

  数据展示,指的就是用户组织、存储数据,反对开发者对数据进行查问,制作报表等。数据展示中的数据,必须是维度化的、原子的,以业务过程为核心的。保持应用总线结构的企业数据仓库,数据不应该依照个别部门须要的数据来构建。

  商业智能利用,指的是开发这基于数据展示,开发出报表或者自主查问,为商业用户提供数据反对,数据分析等。商业智能利用与数据展示的区别,就是一个是针对开发者的,往往是数据库级别的展示,而商业智能利用往往是界面化的是针对普通用户的。

正文完
 0