乐趣区

关于数据管理:Ventana-Research|是时候把指标中台纳入企业数据架构了

近日,Kyligence 秋季线上论坛胜利举办,来自当先的市场钻研和咨询机构 Ventana Research 的 David Menninger 发表了主题为 Add a Metrics Store to Your Information Architecture《把指标中台纳入企业数据架构》的演讲,心愿对大家有所启发。

以下为演讲实录

大家好,我是来自 Ventana Research 的 David Menninger,有 30 多年数据分析的从业经验,非常高兴可能与在座诸位分享咱们钻研的成绩,帮忙大家及时把握最新的技术动静。

明天我想从上面这张图开始我的分享。大家能够回忆下,目前在企业里,指标治理、剖析策略和数据策略之间的分割真的严密吗?很多企业关注数据策略、数据模型、DataOps 等,然而却很少真正聚焦指标及治理。接下来,我将从数据和指标之间的关系开始,分享什么是指标中台、以及企业为什么须要指标中台。

1. 钻研背景

作为一家独立的剖析机构,Ventana 在进行调研时收集了来自数千家企业组织的反馈及其各种技术的应用状况。明天援用的各项信息次要来自于咱们的剖析和各项数据基准、数据治理基准。咱们心愿这次钻研能尽量全面地代表各类机构,所以也收集了来自不同规模、不同地区的各类公司的信息。

指标无处不在,如大家相熟的总销售额、员工平均收入、资源利用率等都是指标。相较数据而言,指标被赋予了业务价值,是量化的度量,企业能够通过指标来掂量和评估某项正在进行中的工作进度。

有些指标能够基于原始数据取得,但大多数须要基于不同数据的组合,比方通过数学公式对数据进行计算,其中有些计算可能相当简单,甚至须要基于数据进行预测。例如在房地产行业,你可能须要预测一座大楼的入住和出租率,针对每个单元的入住和出租率,再对利率和培修费用进行假如,而后将其代入一系列的公式,得出该出租物业的预期盈利状况。

指标自身蕴含了数据计算的含意,同时也将指标和数值分割了起来。比方在还没有定义相干指标的状况下,数字 7 自身并不具备非凡意义。然而当咱们退出指标和定义后,数字 7 就有了意义,咱们能够判断 7 是好还是坏。如下图所示,如果它在绿色区域,那就是体现还不错;但如果在黄色、橙色或红色区域,那可能就有待改良。为了确保指标和指标能在组织内共享,以及了解指标和指标的关系,指标和指标的定义就尤为要害。

那么新的问题来了,企业该如何存储这些指标?

很多企业会把指标存储在数据平台上,比方关系型或非关系型数据库。如果是关系型数据库,确实能够实现在组织内宽泛拜访,不过应用的表达式将受限于 SQL,或者说简单的指标计算只能在数据库之外实现。如果企业用的是非 SQL 数据库,的确能够更轻松地批改业务模型,但所用的表达式语言就会比拟难与组织共享。

当然,也有一部分公司会将大部分指标存储在 BI 工具内,BI 工具反对较丰盛的表达式,然而这些表达式又只能在这些 BI 工具外部应用,很难与其余工具共享,如果企业应用多种 BI 工具,共享就更难了。当然,也能够选用数据工程工具,把这些表达式写进数据管道中,计算实现后,组织内成员就能够拜访。但这也意味着要提前进行预计算和存储,当用户拜访的时候,这些数据很可能曾经过期了,甚至还可能造成数据库的“爆炸”。

另外一个选项是应用计算引擎、语义层、其余 OLAP 技术。这些解决方案确实反对企业内的共享,并且还提供了一个通用的形象层。美中不足的是,这些计划不足目录治理和合作性能,但对于企业而言,这些能力又十分要害。

近几年,有一些当先企业开始思考选用指标中台。指标中台是对计算引擎的进一步拓展,减少了目录、治理、合作、API 等能力,稍后我也会提到 API 为什么很重要。那到底什么是指标中台?大家能够把指标中台了解成是一个指标的集市,它存储了之前提到的各项规定、定义,如何进行计算,以及对齐指标相干的各项指标。构建指标中台的目标就是为了能轻松在组织内分享这些指标,并相互协作。

2. 什么是指标中台

指标中台蕴含计算引擎,能够帮忙企业计算这些指标背地的各种数据,同时提供一个可供拜访指标的形式,比方各种 BI 工具等。除了指标、计算表达式,指标中台还应蕴含由指标引擎带来的目录信息。

指标中台可能帮忙业务人员找到相干数据和指标。不过,随着各类剖析利用变得越来越简单,某些剖析可能要被嵌入到某些利用中,而后再被进一步嵌入到其余流程中。咱们须要通过 API 实现这些嵌入,以便实现流程的自动化,不再须要人工参加,因而 API 曾经成为满足这些需要的必要条件。

企业通过构建指标中台来治理数据和指标,这样就能够有一个框架来治理各项规定,比方谁能够拜访,谁能够批改这些规定,这也是指标中台重要的一部分。既然须要指标中台来实现这些计算,那就须要保障所有指标的性能和可扩展性,随着组织成员开始拜访指标中台,它就应该能为大家的指标查问和计算需要提供交互式的响应。

后面提到了治理,咱们再来理解下为什么说指标治理和数据治理很重要。在没有指标中台之前,大家会把数据存在各处,比方数据库、数据管道、各种计算引擎、BI 工具等。其实在架构设计之初,企业就应该思考在其中退出治理。据 Ventana 调研,数据的治理水平与数据分析的称心水平高度相干,受治理的数据更容易失去剖析人员的信赖和应用。

3. 指标中台的价值

咱们在数据治理相干钻研中发现,53% 考察对象都将指标退出了数据目录,但只有 43% 真的在进行治理,这就是所谓的断层,也就是这件事件的重要性和理论达成的成果之间的差距。另一方面,对指标的治理能够减少人们对数据的信赖,与数据的可信度相干。46% 左右的受访者在面对通过治理的指标时,置信他们的数据是可信的,在面对未对指标进行治理的状况下,只有 15% 的机构认为他们的数据是可信的。

那如何让人们参加治理呢?办法之一就是数据目录,数据目录是数据治理中的重要一环,它让治理变得更容易接受和执行。通过指标目录帮用户找到所需的指标后,用户更违心参加治理,因为这将帮忙他们看到谁在拜访这些指标数据及利用率如何。而参加治理的益处就是能更轻松地找到本人须要的信息。

90% 左右的组织都认为数据目录是他们数据治理中的重要一环,但如果其中不蕴含指标,数据目录的价值就会大受影响,这里无妨回忆下咱们刚刚提到的那个数字,只有 15% 的组织信赖他们的数据。因而我认为治理指标远比治理数据重要,如果没对指标进行治理,其实也就是没能对组织内最重要的信息进行治理。

接下来咱们再来谈谈合作,数据分析是一项团队流动,极少会齐全由一个人来实现全副的剖析工作,也就是说由同一个人负责数据的拜访、筹备、计算,基于计算结果的决策以及决策的执行。既然如此,企业就须要一个中台来分享这些信息以及合作。

我想再次强调下,围绕剖析和指标进行合作远比只围绕数据进行单干更重要。咱们曾问过受访者,你认为合作有多重要?超过 2/3 的受访者,也就是图上的两块深色区域的受访者认为合作是数据分析中的重要一环。

4. 倡议

以上咱们谈到了很多与指标和指标中台相干的信息,当初我来简略总结下,同时给出一些集体倡议。

对于企业来讲,指标可能比数据更重要。指标治理不存在捷径,企业想把扩散在数据库、数据管道和 BI 工具中的数据和指标收集,就须要思考在现有信息架构中退出指标中台。指标中台是企业聚焦指标治理的重要形式,在企业信息架构中退出指标中台后,将无力推动公司业务的晋升。

指标中台要能被组织宽泛拜访,让信息在公司内失去更宽泛的拜访、更好的治理,并能带来更高的一致性;同时,它的架构要切实可行,反对高并发和高可扩展性,能满足组织内的所有拜访需要。

感激大家加入本次指标中台的分享,并心愿通过这次分享能让大家开始思考如何将指标中台融入信息架构。

Kyligence Zen(预览版)现已开启试用,欢迎您点击链接申请试用。

退出移动版