关于中台概念:如何基于DataWorks构建数据中台

一 新批发的商业模式

一家新批发企业如果要做数据中台的话，首先很重要的一点就是肯定要懂业务。之前有位同学问过我，说数据中台很难建。在我看来，数据跟业务是非亲非故的，在构建整个数据中台的时候，首先要对业务有一个十分粗浅的了解。

新批发企业会有各种各样的业务状态，例如线上电商平台、线下门店、官网 APP、分销渠道、供应链等等，咱们没必要在一开始就要求把所有渠道的数据都收集起来，做大一统，就是做数据中台了。咱们在最开始须要理解的是整个企业的商业模式是什么，基于商业模式，咱们再来定义须要做的业务状态，最初的事件才是开始布局企业新批发数据中台的建设。在这里能够给大家举个例子。

例如比拟多的新批发企业原先是以线下门店为主的，当初会做一些线上 APP 或者电商业务，然而它线上的库存和线下的库存是不同步，或者电商的款和线下的款是不一样的。那他的商业模式其实还是传统的批发业务，只不过开了另外一条线上的业务。数据中台首先须要的是突破企业原先的商业模式，设计一个真正线上线下交融的业务状态，所以咱们常常说数据中台是企业一把手工程。

确定了商业模式之后，新批发企业的业务状态也有很多，大家都在做不同的尝试，例如一些生鲜业务会有 XX 分钟限时达、有线下门店的企业会把线下流量导入到线上，同时把线下门店当做线上入口的一个仓、也有企业线上购买后能够到线下门店提货，保障线上线下同款同价等等。当确定了这些业务状态后，咱们再来聊数据中台如何去撑持这些业务，通过数据的买通来实现整个商业模式的闭环。

二 新批发企业产品技术架构设计

业务产品技术架构图

确定业务模式后，接下来须要做纯产品技术架构的设计。这时候许多批发的企业会比拟纠结，因为发现做批发、门店、商超，很多传统的软件厂商有一个现成的软件体系，比如说 ERP、WMS，对于企业来说是不是买一套就能够了？

当初传统的 ERP 软件或者是物流软件，有一些也做了数字化，然而很重要区别是，数据中台做的数字化不只是为了简略的数字化、把数据结构化，更重要的是为下层策略层做一个十分重要的撑持，让数据中台对流量、物流履约、流程优化、财务策略做一个十分好的智能化的反对。在这里能够略微分享一个例子，咱们之前也调研过一些线下有门店的大型零售商超企业，他们也做线上的 APP，但他们的库存线上线下是隔离的，如果总共有 100 条鱼，APP 内会事后调配好，线上只卖 10 条，卖完之后线上就没有了，而领有数据数据中台之后，这 100 条鱼线上和线下先到先得，同时能够通过算法预测做库存预警、做折扣、做穿插销售、做供应链调整等等，比起粗犷地分成两拨，数据中台通过这种策略模式，基本上就把整个线下线上的数据和商品全副买通，也重构了一些业务状态，所以咱们说数据中台不是简略地把数据结构化。

企业如果有肯定技术能力的话，倡议所有外围业务零碎都采纳自研的模式，因为新批发企业须要对很多传统业务要做一个全面的数字化，包含交易、门店、仓储、运配、洽购、供应链、劳动力等等。如果内部洽购的话，基于商业模式登程，肯定要让零碎造成闭环，从交易门店、仓储运费、洽购供应链、劳动力等等，不要 APP、门店、电商都不同的零碎，那样你做数据中台的时候，数据自身的壁垒就曾经很高了。

实现整个闭环中十分重要的一点就是最右侧的数据层，除了业务零碎的设计，如果没有对立的数据中台建设，是很难去撑持整个企业工程的，这也是明天会重点跟大家介绍的局部。

新批发数据中台团队介绍

在咱们看来，数据中台不仅是一种解决方案，也是一个团队的职能。企业应该建设一个独立的数据中台团队来反对业务。对于企业来说，数据和商品、会员以及设施一样，是十分重要的资产。企业数据中台团队的同学，是资产的建设者、管理者和运营者，通过这些资产去驱动整个批发供应链全链路、智能化的降级。通过采集、治理、建设数据，让数据更好地使用到业务上。

新批发数据中台整体架构

上图是比拟通用的数据中台的整体架构，这部分会有肯定的特殊性，也有一些通用性。

首先介绍一下通用性，整个基础设施的建设根本采纳的是阿里云的基础设施，阿里云上的 DataWorks+MaxCompute 十一年来始终反对阿里巴巴团体数据中台的建设。在整个数据分层这边，源数据层基本上来自于业务零碎，接入层相对来说会比较复杂一点，很多企业当初讲全渠道笼罩，蕴含 APP，线下，甚至一些企业还有本人的配送员、电动车，以及门店的一些 IOT 设施数据，人力资源等，所以这外面就会呈现很多结构化和非结构化的数据。通过数据加工层把非结构化的数据进行肯定的加工，最终会造成十分重要的数据资产层。

数据资产层构建之后就会有肯定的业务含意，这部分数据是能够间接被业务应用的。然而在数据资产层上咱们会定一层数据服务层，让数据应用起来更不便，开箱即用。到了服务这一层，可能还是有形的，从业务方来看，必定心愿业务用户能间接去用数据，而不是去到很多表外面查数据。所以在数据服务层之上，数据应用层数据中台团队能够建设很多数据产品，通过产品化的形式给到业务，提供真正的数据应用。产品模式也会比拟多，在不同的端，包含 PC、钉钉、掌中宝，还有很多 IOT 的小设施，可能就是一个小的黑白屏幕，都会有数据的透传。并且在最右侧数据中台会有一套管理体系，通过这种管理体系，让企业整个经营和运维能够无效地执行起来。这个架构图，就是咱们了解的一个偏业务型的数据中台分层架构图。

新批发数据中台技术架构

基于方才提到这种业务型的数据中台分层架构，咱们须要持续设计一套数据中台的技术架构。大家如果做过大数据的话，在数据采集的时候常常会碰到，同时有离线和实时的计算该怎么办？离线计算咱们举荐阿里云上的 MaxCompute，阿里巴巴简直所有的离线数据都放在 MaxCompute 上，2020 年双 11 MaxCompute 每日数据处理量达到 1.7EB 级。实时计算咱们举荐 Flink，峰值每秒解决音讯规模达到 40 亿条，计算的性能也十分弱小。除了计算，还要去做数据的存储，比方实时计算 Flink 的数据汇总加工后，能够存储到 MaxCompute 交互式剖析（Hologres），来构建咱们的实时数据仓库，MaxCompute 交互式剖析（Hologres）能够反对峰值写入速度达到 5.96 亿条，同时反对 PB 级数据的亚秒级查问，以及在线搜寻 Elasticsearch，并且这些存储都会变成一个个数据服务。数据服务会有指标明细，还有特色、标签等等，这些数据能够推广到经营最常应用的一些设施、经营平台、钉钉挪动办公、智能化治理等，这些更多是 runtime 层面的。在整个数据集市经营层面，还有元数据、数据品质、容灾管控、数据治理等等。这个技术架构图，更多的是当成一个技术需要架构图，是新批发企业技术团队在做数据中台的时候须要去做的一些事件。

三 基于 DataWorks 的新批发数据中台解决方案

当企业的商业模式，业务产品技术架构，以及数据中台的技术需要整顿之后，咱们就要开始做一个数据中台的技术选型与技术调研，什么样的产品什么样的零碎能够去撑持新批发企业整套的技术架构。之前说到企业的业务零碎咱们倡议是自研，但整个数据中台的技术其实是能够不自研的，因为阿里云上曾经有十分成熟的产品体系让咱们的新批发企业去构建本人的数据中台。方才咱们说到了大数据计算引擎的选型，离线数仓能够抉择 MaxCompute，实时数仓能够抉择实时计算 Flink+MaxCompute 交互式剖析（Hologres），这三个产品同时能够无缝组合构建一套残缺的实时离线一体化数据仓库，构建数据中台的数据开发与治理工具能够抉择 DataWorks，DataWorks 服务了阿里巴巴团体简直所有的业务部门，每天团体外部有数万名经营小二 / 产品经理 / 数据工程师 / 算法工程师 / 研发等都在应用 DataWorks，同时还服务大量阿里云上的用户，上面就是 DataWorks 的整体架构图：

DataWorks 的整体架构图

数据集成是构建数据中台的第一步，DataWorks 对外提供了数据集成的能力，它有很多批量、增量、实时、整库的数据集成，可能反对企业多种且简单的数据源，目前 DataWorks 数据集成离线同步反对 50+ 种数据源，实时同步反对 10+ 种数据源，无论数据源在公网、IDC、VPC 内等环境，都能够做到平安、稳固、灵便、疾速地数据集成。DataWorks 还有一套元数据对立治理服务，反对对立的任务调度、同时提供了十分丰盛的一站式的数据开发工具，笼罩了数据开发的整个生命周期，能够极大地提高企业的数据开发效率。下层还包含了数据治理、数据服务等，并且它提供了很重要的开放平台。因为对于绝大部分企业来说，它的业务零碎可能是自研 / 洽购的产品，通过 DataWorks OpenAPI 能够对很多性能做二次的加工以及和各种自研零碎、我的项目零碎的集成，例如报警信息能够推送到企业本人的监控告警零碎，目前 DataWorks 提供的 100 多个 OpenAPI 能够让企业非常简单地去实现这个需要。

基于 DataWorks 构建新批发数据中台

当咱们把这个数据中台技术需要图与 DataWorks 做一个比对时，数据采集局部对应了 DataWorks 提供的数据集成，基本上右边的这些数据同步的需要 DataWorks 都能够满足。在数据开发层，DataWorks 通过它的 DataStudio、HoloStudio 和 StreamStudio 能够同时实现企业离线、在线、实时的数据开发，并且它还提供了数据服务跟凋谢接口的能力，能够通过 OpenAPI 的形式跟企业现有的零碎和产品做一个集成。还有很要害的一点，DataWorks 提供了数据地图和数据治理的能力，这两个性能看似是边缘性能，然而在整个企业构建数据中台时起到了一个十分要害的作用，这块前面会持续开展。

数据中台的指标

后面更多地能够看成是数据中台的筹备过程，理解企业的业务，做了产品零碎的设计，并且做了一个技术选型，接下来咱们须要确定企业数据中台建设的指标，指标不代表 KPI，它也有可能是使命或者初衷。数据中台建设的指标是，要建设一个数据丰盛（全链路、多维度）、品质牢靠（口径规范，后果精确），运行稳固（产出及时、无故障）的一个中间层。很多人会说这是数据集市，没关系，它就是个中间层。还有一点是数据中台要为下层业务提供牢靠的数据服务、数据产品及业务利用。这就限定了它不是一个简略的数据仓库，也不是一个简略的数据集市，而是一个数据中台，是可被业务去一直应用的数据中台。如果企业只是把数据同步加工，放到 MaxCompute 或者开源的 Hadoop 或者一个数据库外面，那它还只是个仓。咱们定义的数据中台是可被业务间接去应用的，甚至是要给业务带来业务价值的，才叫数据中台。

定义这样一个指标之后，咱们要开始做一个分步拆解，一些业务团队在提业务需要的时候，只会通知数据团队要一个销售额的数据，然而这个销售额还有限度条件，例如在什么时间段？是否蕴含退款？是否限度地区等等，所以数据中台首先要做一个指标体系的设计，并且这个指标体系应该在中台团队产品化，第二步因为业务去应用的不是一个表的字段，所以须要一个数据模型设计的撑持，让企业把数据变得更规范，第三步基于咱们设计好的模型，咱们还要去做数据处理工作的开发。最初咱们要把这些数据通过数据服务的形式凋谢进来，让业务去应用，数据服务的模式不限于 Table、API 和 Report，甚至能够是一个产品或者其余的任何一个货色。

数据集市整体模型架构 – 总体分层

数据集市整体模型架构 – 功能定位

上图是大家在网上看到比拟多的对于数据模型或者数据集市构建的分层图——ODS、DWD、DWS 和 ADS。尽管有很多概念和理念，然而每个人对这几层的了解是不一样的，咱们要对这几层有十分严格清晰的定义，每一层要有每层本人的特点和职责。在咱们看来，简略概述地说：

• ADS 肯定要是面向业务的，不是面向开发的，这部分数据让业务能最短的工夫去了解，甚至间接应用。
• DWS 必须是指标，也是方才后面讲的指标体系的一个承载体，都由 DWS 去做，DWS 汇总基本上就是 ADS 的撑持。
• DWD 就是明细层，明细层怎么建呢？咱们倡议采纳的是维度建模的形式，企业有维表，有事实表，维表也有很多层级维度，比方枚举维度，事实表有周期快照。当然在这里有一个点就是 DWD 的字段必须是可被间接了解的，不要有二义性，一旦有二义性的时候，DWS 应用的时候会有问题，会导致整个上游利用都有问题。
• ODS 基本上大家了解应该都保持一致，就是业务数据间接同步过去。然而当初有一些架构的演变，大家喜爱在 ODS 做一个初步的 ETL 解决，这样会导致 ODS 的数据跟企业业务的数据不统一。其实咱们倡议是不这样做，起因很简略，咱们要保障 ODS 跟业务库保持一致，这样当呈现问题的时候，咱们能很快定位到问题的起因。一旦做了 ETL，有可能 ETL 的过程是有 bug 的，会导致两边数据不统一。所以如果企业是严格要求从业务库的数据到 ODS 不容许做任何的逻辑的解决，那么呈现问题的时候，只能是中间件或者是其余的任何存储出了问题导致的，不应该是业务逻辑导致的。

四 基于 DataWorks 构建新批发数据中台

DataWorks 数据开发平台

后面更多讲述数据中台建设的一些思维、设计、架构、指标及要求，接下来我和大家聊一下如何应用 DataWorks 构建数据中台以及应用 DataWorks 平台的一些心得。DataWorks 这个平台不仅仅服务阿里云上的客户，从 2009 年开始就同时服务阿里巴巴团体简直所有的业务部门。所以它的整体产品设计很多是偏差于凋谢的、通用的、灵便的。这个时候企业在应用 DataWorks 时会因为过于灵便或者是没有规范等而呈现一系列的问题，接下来的内容就会针对咱们的一些教训和大家分享一些心得。

数据开发 – 数据同步

• 倡议所有业务库的数据都是对立同步 hm_ods 我的项目进行对立存储管理
• 从节约存储思考，同一份数据只能同步一份。
• 从数据回溯与审计须要思考，数据生命周期设置为永恒保留。

数据同步是构建数据中台的第一步，如果数据进不了仓，数据中台就没方法构建。咱们在做数据同步的时候，会有几个要求，比方企业的所有业务数据都是对立同步到一个我的项目，并且只同步一份，不容许反复同步，这样的话方便管理，缩小老本，同时保障了数据不要有二义性。数据源出问题了，那后边数据就都有错，所以数据中台肯定要保障数据源 100% 正确。而后从数据回溯与审计思考，数据生命周期设置的是一个永恒保留，哪怕业务零碎因为一些线上库的流量问题，会有一些归档、删除，但当他们想再应用历史数据的时候，能够通过 ODS 这层一成不变地再还原回去。

数据开发 – 数据加工代码开发

• 数据处理过程就是业务逻辑的实现过程。
• 既要保障业务逻辑的正确性，又要保证数据产出的稳定性、时效性。

第二就是数据开发，数据开发这部分是很考验集体能力的，基本上大家都是应用 SQL。咱们本人对于数据开发这部分的心得简略来说就是数据处理过程是业务逻辑的实现，既要保障业务逻辑的正确性，也要保证数据产出的稳定性、时效性和合理性。DataWorks 进行数据开发的编辑器，除了提供比拟好的 coding 能力以外，也提供了一些解决流程的可视化的形式，帮忙企业去做一些 code review，甚至局部校验，这个性能在咱们日常应用中是十分有帮忙的。

数据开发 – 代码性能示例

• 业务逻辑会尽量收口在数据明细层，目标是保障了数据的一致性，也简化了上游的应用。
• 源头上的变动，也能够通过代码或格局等的转换保障明细层构造的稳定性，防止给上游带来过多的变更。
• 好的模型，也须要与上游业务零碎协同开发，一要业务零碎有正当的设计，二是变更能及时的感知。

整个数据开发的过程，因为我自身也是做 Java 的，每一种编程都有肯定的编程范式，在整个数据开发的过程中也去形象了几个步骤。

首先是代码转换，这个代码转换次要是干什么用的？方才讲过业务零碎很多是为了实现一个业务流程，会有很多个性化的解决，尤其是大家做互联网业务的时候，为了解决一些性能问题或者是 filter 的问题，会做一些 Json 字段、媒体字段、分隔符等等，这样的内容会呈现二义性。咱们在开发中会有代码转换，比如说把一些枚举的货色转成一个理论看得懂的货色，0 到底是什么？2 是什么？或者 a 是什么？还有个格局转换，企业有一些业务零碎，它很难规范，譬如说工夫，有的用的是 timestamp，有的是存字符串，有的是存 yymm 这些，尽管它们都代表工夫，然而格局不一样，在数据集市的构建过程中，它要求外面的数据格式必须是统一的，咱们会去把非标准的数据格式通过格局转换的形式变成一个规范的格局。

第二是业务判断，业务判断这里边基本上就是通过条件的形式得出一个业务后果。举个例子，年轻人在业务零碎外面必定不会有一个叫“年轻人”这样的字段或业务逻辑，如果有年龄数据，在梳理的时候能够判断小于 30 岁的人叫年轻人，这个就是咱们说的业务判断。

第三是数据连贯，基本上很简略，就是一个表关联去补数据。

第四是数据聚合，企业在做 DWS 的时候会大量用到数据聚合的这部分

第五是数据过滤，咱们常常会碰到一些有效的数据，咱们通过数据过滤这个形式把这些有效的数据给解决掉。

第六是条件抉择，这个条件抉择基本上也就是一些 where 的货色，跟数据过滤略微有点类似。

最初是业务解析。业务解析是企业最常常用到的，因为当初 NoSQL 或者 MySQL 也反对了，甚至有一些业务团队用了 Mongo，那一个大字段里边有很多业务示意。咱们这几年在数据集市做 DWD 的时候，肯定要把这种 Json 字段或者 map 字段的格局全副解析成固定的列字段。因为咱们方才说过它的内容必须要统一的，让用户间接能够看到。在这外面分享个心得，就是业务逻辑会尽量收口在数据明细层，目标是保证数据的一致性，简化上游应用。源头上的变动，也能够通过代码或格局等转换，保障明细层构造的稳定性，防止给上游带来更多的变动。好的模型也须要上游业务零碎协同开发，一要业务零碎有正当的设计，二要变更能及时地感知，所以说数据中台的建设不是数据团队一个团队的事件，也要跟业务团队去做联动和共创。

数据开发 – 任务调度配置

方才讲的这些局部更多的是开发阶段，如果 DataWorks 只实现这些的话，咱们认为它就是一个 IDE，然而 DataWorks 作为一站式大数据开发治理的平台，外围的一点是要去保障平台的运行，如何去保障企业做数据开发的代码能运行起来？那就是通过 DataWorks 的任务调度。一个企业的新批发业务是非常复杂的，生鲜有 30 分钟送达、电商有次日达、三日达，还有一些预售预购等等。这些如果是简略的调度零碎可能就反对不了，DataWorks 比拟好的一点是，它提供了非常灵活的任务调度周期抉择，比如说月、周、日，并且可能反对双 11 每日 1500 万工作的稳固调度，从调度周期灵活性和稳定性来看都十分好。最开始咱们设计企业的新批发业务是一个闭环，它每个业务是有相关性的，反过来说企业的数据工作也是有相关性的，这个时候整个的任务调度链路是非常复杂的。

在整个过程外面，咱们也有很多尝试、翻新，也踩过了很多坑，这边就跟大家分享一下。DataWorks 工作节点未起调或者在谬误的工夫起调都可能呈现数据缺失或者是谬误，这里就要保障企业数据开发对于每个线上工作的任何问题都要及时处理，因为每个问题都会造成一个数据的问题。正当的调度策略既能够保障数据产出的正确性，也能够保障数据产出的及时性，咱们心愿一天产出，那就不要把它变成每小时产出，产生 12 次，就按一天就能够了，如果是三天咱们就设置三天的调度。

数据运维 & 治理 – 数据品质监控

• 数据品质监控的目标是保障数据资产产出的正确性。
• 监控的领域包含表大小变动、表行数变动、字段枚举值变动（如新增“外卖”类务类型）、主键抵触（同一 SKU 呈现两行）、非法格局（如 email 格局）等。
• 异样值会触发报警或中断数据处理过程，让值班人员有机会染指。

通过这几步，失常状况下，咱们的一个我的项目或者一个需要，依照这种形式去实现，咱们就认为一个数据开发工程师的工作完结了。然而个别状况下不是这个样子，因为数据中台是一个偏商业化的事件，所以说它一旦出问题，影响是特地大的。如果说团体有团体外围零碎、部门外围零碎，业务线有外围零碎、非核心零碎，不同的外围零碎须要有不同的保障，还有 p1、p2、p3、p4 的形式去定义故障等级，数据业务也同理。数据业务跟失常业务零碎不太一样的是，数据中台团队是依靠了 DataWorks 来做整个线上大数据业务工作的稳定性保障。其中 DataWorks 这边提供了很重要的一个模块，就是数据品质监控。数据品质监控能够让企业更及时地去发现一些问题，当业务有影响的时候，保障咱们第一工夫就晓得（因为有的时候业务应用还是有肯定的提早性的，数据团队常常遇到的就是业务呈现问题过去找你才晓得）。数据品质的监控，目标是保障数据产出的正确性，并且监控范畴肯定要比拟全，不仅限于表大小的变动，函数的变动，字段枚举值和一些主键的抵触，甚至一些非法格局，并且异样值会触发报警或中断数据处理过程，这时候值班人员要第一工夫染指。

数据运维 & 治理 – 业务基线治理

• 基线的目标是保障数据资产产出的及时性。
• 优先级决定了零碎硬件资源的保障力度，也决定了运维人员值班的保障力度。
• 重要工作都纳入了基线治理；外围工作优先级为最高级别 8 级。

下面讲的是监控的问题，然而一旦监控多了就会导致监控泛滥，会有很多预警报警进去，DataWorks 也提供了另一种能力，就是工作基线的治理。我方才讲过业务有分级，企业的数据业务也有一些重要和非重要的工作，咱们通过这种基线的形式去把这些工作进行一个隔离。基线这块咱们的教训就是：基线是保障数据资产的及时产出，优先级决定了零碎硬件资源的保障力度，也决定了经营人员值班的保障力度，最重要的业务肯定要放 8 级基线，这样会保障你的最重要的工作第一工夫产出。另外 DataWorks 有一个很好的性能——回刷工具，当我的基线出问题或者破线的时候，能够通过回刷工具疾速地把数据回刷进去。并且如果你设置了 DataWorks 的智能监控，这个性能会通过一些基线下目前的工作状态和历史的运行时长等，通过算法的模式去帮你提前预估出是否存在破线的危险，比方一个数据失常是早晨 12 点产出的，在这之前有个数据应该是早晨 6 点产出，设置完智能监控之后，如果之前早晨 6 点产出数据的工作在今晚 7 点都未产出，并且零碎通过算法判断早晨 12 点仍旧无奈失常产出，智能监控在 7 点的时候就会收回一个告警，让技术同学进行提前干涉，不必等到早晨 12 点数据真正产出延时时才开始干涉，这种智能化的监控与危险的预估对于企业业务的稳定性来说是十分有用的。

数据运维 & 治理 – 数据资产治理

• 次要指标是优化存储与计算，降低成本，晋升资源利用效率。
• 技术团队有多个 project，治理须要技术团队一起配合实现。
• 伎俩有无用利用下线，表生命周期治理、反复计算治理、暴力扫描治理等伎俩。

做好数据品质的监控与基线，基本上就保障了企业的大数据工作和业务的稳固、失常地运行，还有就是数据资产的治理。阿里巴巴是提倡数据的公司，它做转变的一个十分大的里程碑就是阿里巴巴在数据方面存储和计算的硬件老本超过了业务零碎的硬件老本。这也导致了阿里巴巴的 CTO 会去把数据资产治理作为十分外围的工作。DataWorks 是整个阿里巴巴团体数据应用的体量最大的平台，甚至是一个惟一的平台，也提供了数据资产的模块叫 UDAP，这外面基本上是能够通过多方面多维度，从我的项目到表甚至到集体，全局查看明天整体资源应用状况是什么样的，并且给使用者提供了一个衰弱分的概念。这个衰弱分能够综合地看到每个业务部门内每个集体的排名状况。做治理最简略的形式就是先把头部打掉，咱们先治理头部衰弱分最低的，而后把衰弱分拉上来，整个程度就下来了。同时 UDAP 提供了很多数据可视化的工具，能够让你很快地看到治理的成果，在这方面我也有一些心得分享给大家。

首先次要指标是优化存储与计算，降低成本，晋升资源使用率；技术团队会本人建很多我的项目空间，数据中台团队须要与技术团队共建，一起去实现数据治理。一些比拟好用的伎俩就是无用的利用要下线、表生命周期治理、反复计算治理、还有很重要的是计算资源暴力扫描，是须要被严格禁止的。UDAP 外面的一些性能目前在 DataWorks 的资源优化模块也可能实现，比方一些反复表、反复数据开发与数据集成工作的治理等等。

数据运维 & 治理 – 数据安全治理

• 数据安全有四层保障：平台 (Maxcompute) 级、我的项目 (Project) 级、表级、字段级。
• 外包人员除了平安规章学习与考试外，还须要特地审批及签窃密协定。
• 员工到职权限会主动进行权限回收。

做完以上这些，咱们认为数据中台该做的事件就差不多了，最初还有一点就是数据安全治理。随着互联网的倒退，中国根本继续每一年都会出一个相干的网络法，比如说电子商务法、网络安全法等等，最近应该是草拟数据安全法。作为一家企业，对法律的恪守是特地重要的。DataWorks 作为阿里大数据最对立的数据入口和进口，做了很多数据安全治理的伎俩。它能够从引擎层面进行一个管控、也能够通过我的项目层面进行管控，同时能够到表层面，甚至到字段层面。在字段层面，每个字段有等级，比如说有一些高等级字段的权限必须部门负责人或者是总裁层面审批才能够应用的，再比如说有一些即便审批通过了，但还是有肯定危险的数据，像身份证号码，手机号码等，DataWorks 数据保护伞会提供一种技术叫数据脱敏，这些敏感、具备危险的数据被拿走是被脱敏过的，不影响使用者的统计或者剖析，然而使用者是不可见的。

阿里巴巴团体有一套对立的数据管理办法，它跟组织架构是买通的，员工到职或者转岗，他的权限会主动发出。在任何企业包含阿里，人员变动是十分频繁的，通过这样的性能与体系，企业能保障在数据安全的前提下更好地利用数据。

五 基于 DataWorks 构建数据中台的价值

数据中台如何撑持业务

之前讲的都是基于 DataWorks 来构建新批发数据中台，最早咱们提到数据中台肯定要服务业务，当初我也介绍一下数据中台如何为业务服务的一些形式。一家企业它用数据的过程是由浅而深的过程，首先大家都一样，最开始咱们只是看数据，我有什么数据，而后通过数据去看一些问题，做一些人工的辅助和决策，然而新批发的很多业务的扩张是特地快的，一年开 100 多家店，覆盖全国 200 多个城市等等，当它的业务状态产生这样的变动后，通过简略的数据报表和数据可视化，是无奈再撑持这个一年开 100 多家店的业务了。所以说企业这时候也能够做很多精细化的管控，比如说品类诊断、库存衰弱，通知这个业务你当初有哪些问题，而不是让他们用报表去发现问题。

比方一些生鲜业务跟电商业务有一个十分不一样的点，生鲜这种新批发业务受天然因素的影响特地大，譬如说天气或者是节假日，甚至一个交通事故都会影响到生鲜的业务，因为库存问题导致货损。针对这种状况，企业基于数据中台能够做很多预测类的利用，比方销量预测。生鲜的销量预测能够要求到小时，每个小时都要做迭代，甚至还能够做一些仿真零碎，当呈现比方天气忽然发生变化的时候，通过仿真零碎预测到或者感知到有什么样的危险，并做出肯定调整。再到前面生鲜会有日日鲜的一些商品（商品当天就要卖出），每个经营人员、销售人员每天有很多事件要做，这么多门店的这么多种日日鲜商品，靠人是相对没有方法高效感知并做出调整的。如果咱们把几百张报表全副干掉，把这些所有通过人看数据发现问题的场景，全副集中到业务零碎外面。当数据中台发现日日鲜的商品曾经卖不出去了，间隔关门只有三个小时了，须要一个打折，这时候不须要人参加，通过数据中台的数据的预测与算法主动触发打折，把这个商品卖出去。这些 BI 跟 AI 联合在一起的利用是能够让数据中台真正产生价值，企业也能够依据目前不同的数据利用阶段，设计不同的数据利用产品，让数据真正赋能业务。

原文链接
本文为阿里云原创内容，未经容许不得转载。