看我如何用Dataphin实现了自动化建模

38次阅读

共计 1876 个字符,预计需要花费 5 分钟才能阅读完成。

前言:更多关于数智化转型、数据中台内容可扫码加群一起探讨

阿里云数据中台官网 https://dp.alibaba.com/index


作者:数据小海豚

随着大数据趋势的迅速增长,数据的重要性与日俱增,企业内看数据、用数据的诉求越来越强烈,其中最常见的就是各种经营报表数据:

老板早晨 9 点准时需要看到企业核心的经营数据,以便进行企业战略及方向决策
业务负责人不定期进行个性化的项目筹划,需要多维、及时效果数据以优化项目安排
运营需要和高层一致但粒度不同的经营分析数据,并进行活动策略调整
……

举个经营报表的例子:

这个例子并不复杂,但是对于分析师或者业务开发者,实际执行的复杂度和工作量并不小,而且类似的工作每日都在重复……业务发展越快,带来的问题就越来越多:

  加工时间长、人工成本高,招再多的分析师也难以满足需求
  代码可读性差,数据可维护性差,类似需求需要反复、重复开发
  代码开发不规范,加工过程中难以避免的计算存储浪费
  得到的数据指标,复用性差导致重复建设,数据越来越不标准规范

这种情况下,对业务的直接影响就是:决策周期长(数据需求满足慢),决策易出错(数据指标口径不一致)。

既要保证数据生产时效性——及时产出数据并满足需求,又要支持数据多样性——企业自下而上不同业务分析场景,最后还要保证数据准确性——任何时间、不同岗位的人都能用同样的数据解读经营情况,怎么才能做到呢?

企业的发展加速,离不开 20 世纪的文档管理转到 21 世纪的信息管理。同样的,如果繁复的指标代码编写工作,也可以如计算器一般,界面可视化点选,复杂的代码研发过程由计算器自行处理完成就好了。

Dataphin 的自动化建模功能 ,就可以很好实现这个能力。

1、选择组合条件

如下图,确定需要统计计算的值,Dataphin 里称为“原子指标”——最小的数据值统计单元,比如用户数这样的统计值等,然后组合如下内容:

  • A. 统计计算值需要应用的分析对象,Dataphin 里称为“统计粒度”——维度或维度的组合,比如用户星级、用户状态等
  • B. 数据统计计算的时间周期,Dataphin 里称为“统计周期”——统计数据需要跨越的时间长度,比如最近 1 天、最近 30 天、自然周、自然月的等
  • C. 数据统计的其他个性化限定条件,Dataphin 里称为“业务限定”——数据记录的筛选过滤条件,比如生鲜业务类型、PC 端、女性等

2 预览指标

选择完毕组合条件后,可以预览组合出来的派生指标:
1)组合的指标,默认名取“原子指标 + 时间周期 + 业务限定”组合名,保证命名标准规范。
2)历史已生成的组合,不再生成,保证指标建设统一,无重复

3 一键自动化生成

确认需要提交的指标后,一键【提交】,分钟级指标生成:
1)自动汇聚至以“统计粒度为主题”的汇总逻辑表表下,保证管理标准规范;
2)代码和调度依赖关系,系统自动生成;
3)派生指标基于汇总逻辑表,可快速雪花模型查询使用指标、分析对象的属性信息。

①派生指标自动汇聚至汇总逻辑表
②派生指标所在汇总表节点,代码及调度关系自动生成

③汇总表及派生指标可查询消费

4 复杂需求实现

上面主要是基于简单统计指标实现,实际上,报表需求还有类似 比率型、乘积型等复合统计方式,比如“客单价 = 销售额 / 客户数”,这类也可以通过 Dataphin 的衍生原子指标实现:

1)衍生原子指标是基于原子指标的再组合;

2)基于衍生原子指标新建派生指标时,需要保证拆解到最细粒度的原子指标,有相同的分析维度、时间周期,允许维度的计算路径不同、设置的业务限定不同。

①新建衍生原子指标
②基于衍生原子指标新建派生指标

总结

上面步骤可以看到,派生指标的计算生成,离不开原子指标、业务限定、统计粒度的协助,这其中有什么奥秘呢?

其实很简单,用 Dataphin 高效创建派生指标,掌握这 1 张图就够了:

1)原子指标为核心,原子指标的来源表为中心
2)统计粒度取自来源表的关联维度,以及关联维度上的关联维度
3)业务限定基于来源表为中心的雪花模型做定义
4)统计周期可任意搭配使用


数据中台是企业数智化的新基建,阿里巴巴认为数据中台是集方法论、工具、组织于一体的,“快”、“准”、“全”、“统”、“通”的智能大数据体系。目前正通过阿里云数据中台解决方案对外输出,包括零售、金融、互联网、政务等领域,其中核心产品有:

  • Dataphin,一站式、智能化的数据构建及管理平台;
  • Quick BI,随时随地 智能决策;
  • Quick Audience,全方位洞察、全域营销、智能增长;
  • Quick A+,跨多端全域应用体验分析及洞察的一站式数据化运营平台;

官方站点:
数据中台官网 https://dp.alibaba.com

正文完
 0