关于hadoop:hive建模分析

34次阅读

共计 233 个字符,预计需要花费 1 分钟才能阅读完成。

建模剖析

  • 基于访客零碎的案例来进行探讨

建模剖析目标

  • 剖析出整个数仓须要哪些档次,哪些表,哪些字段
  • ODS 层:源数据层

    • 对接源数据,放弃和源数据雷同粒度
  • DWD

    • 工作:
    • 1. 荡涤。

      • 不残缺数据
      • 过期或者有效数据
    • 2. 转换

      • create_time-> 年月日
      • 或工夫戳
    • 3. 能够适当维度进化,缩小表的关联
  • DWM:中间层

    • 进一步对明细层进行聚合,譬如能够将日的记录先合并,在前期记录月时能够更不便的合并
  • DWS: 业务层

    • 细化聚合统计,
  • APP: 应用层

    • 对细化统计后果再次剖析
    • 能够省略
  • DIM:维度层

    • 搁置维度表数据
正文完
 0