关于企业服务:火山引擎-DataLeap一家企业数据体系要怎么搭建

更多技术交换、求职机会，欢送关注字节跳动数据平台微信公众号，回复【1】进入官网交换群

导读：通过十多年的倒退，数据治理在传统行业以及新兴互联网公司都曾经产生落地实际。字节跳动也在摸索一种分布式的数据治理形式。本篇内容来源于火山引擎超话数据直播流动的回顾，将从以下四个局部开展分享：

• 字节的挑战与实际
• 数据治理的倒退与分布式
• 分布式自治架构
• 分布式自治外围能力

字节的挑战与实际

首先来看一个问题：“一家公司，数据体系要怎么搭建？”

• 计划一：整体规划，零碎架构驱动
• 计划二：问题登程，业务价值驱动

在字节跳动，咱们抉择的是计划二，即从业务遇到的问题登程，器重落地后果与业务过程，去解决理论的治理问题。基于这个理念，在数据治理过程中，字节跳动也面临以下三个挑战与时机：

• 业务特点：业务倒退快、场景丰盛、数据量大且形态各异。业务的线上服务及翻新，都对数据有较强的依赖，外围业务数据提早，品质问题将间接影响业务体现及倒退。
• 组织特点：扁平化的组织模式，分布式的组织治理。无行政伎俩或强组织束缚，也无全局治理委员会，且数据从采集到利用全副的生产流程，没有全局标准，业务团队须要自主制订策略并落地。
• 文化特点：OKR 拆解与对齐文化，业务团队有短缺的指标定义与拆解权限，且任何人都可能有动机、有角色、甚至有权限去进行数据治理，导致数据治理的业务流程简单

字节数据治理演进阶段

字节数据治理演进阶段分为 6 个阶段：

1. 业务第一准则：保持业务第一准则，解决业务理论遇到的治理痛点
2. 优先稳固建设：优先解决交付稳固，保障数据链路与产出稳固，缩小交付提早
3. 保障数据品质：外围链路品质管控，配置强品质规定，主动熔断，防止全链路数据净化；增强事先查看，从源头增强品质管制；欠缺预先评估，为每一张表建设衰弱档案，继续改良。
4. 关注数据安全：冗余权限辨认，打消受权危险；数据分类分级，危险定义与多策略管制，缩小平安危险
5. 器重老本优化：基于多种规定的与齐备的治理元数仓，提供低门槛的治理产品能力，疾速优化存储
6. 进步员工幸福感：在帮忙业务实现数据治理的后，还须要思考团队的负载压力，报警治理，升高员工起夜率；归因剖析，疾速排查修复故障。

在这里，再介绍字节特色的“0987”量化数据服务规范。这四个数字别离指的是：稳定性 SLA 外围指标要达到 0 个事变，需要满足率要达到 90%，数仓构建笼罩 80% 的剖析需要，同时用户满意度达到 70%。依照这个高标准来要求本人，同时这也是一种自监管的机制，可能无效的避免自嗨，脱离业务需要和价值。

字节的局部场景实际

上面通过两个例子为大家介绍数据治理在字节的场景实际。

案例一：

• 问题：字节跳动外部 2019 年到 2020 年间，双月内事变数量较多，对业务造成肯定影响，且收敛艰难，每天都有告警、起夜、对失常开发进度造成影响。
• 解决方案： 采纳了分布式用户自治的 SLA 治理，通过数据分级保障指标治理，在各业务外部进行【拉齐链路 - 数据分级 - 宽泛共识 - 系统管理】的口头闭环，系统化保障指标传递和落地。
• 成果： 截止 2020 年中，事变以每双月 30% 环比降落，在 1 年内达到稳定性问题彻底收敛。

案例二：

• 问题：抖音的实时数仓治理人员的精力扩散，以被动的静止式、“救火”式的工作模式为主。协同效率低，人力投入微小，短少可持续性。
• 解决方案：笼罩品质、老本、SLA、平安等治理方向，以业务评估体系，构建治理计划进行例行诊断，对存量问题进行辨认和派发，造成一套【评估 -> 辨认 -> 布局 -> 执行 -> 复盘】业务外部分布式自治的治理机制。
• 成果： 从 21 年至今，治理人员的精力彻底从”静止式“治理的模式中解放出来，更多精力会集中在监督执行与规定优化中，团队起夜率升高 30%。品质保障覆盖率达到 100%。双月存储优化均在 20+PB。

数据治理的倒退与分布式

家喻户晓，有很多机构都分享了对数据治理的定义，这里简略分享一下：

• 国内数据管理协会（DAMA）： 数据治理是对数据资产治理行使权力和管制的流动汇合
• IBM：数据治理是对企业中的数据可用性、相关性、完整性和安全性的全面治理。它帮忙组织治理 他们的信息常识和作为决策依据
• 维基百科对数据治理的定义：数据治理是一个波及整体组织的数据管理概念，通过数据治理，确保在数据的整个生命周期中领有高数据品质的能力，也是对业务指标的反对。数据治理的要害的重点畛域包含可用性、一致性、数据完整性和数据安全性，也包含建设流程来确保整个企业施行无效数据管理。

在传统的数据治理方法论与定义中，留神到他有以下共性特点，同时也是当初大多数公司的实际门路，即：

然而在理论的执行过程中，他须要以下几个前提和随之带来的落地难点

1. 须要明确组织制度
梳理业务数据部门，设立公司级别数据治理委员会 / 部门，各业务分设执行部门，公司内各业务宣导探讨，对立制订公司数据治理规章制度。

难点一：组织依赖重、建设周期长。须要招聘大量业余的治理专家或引入内部咨询机构，打算制订周期长；专设部门牵头，若无自顶向下的我的项目背景，业务协调对齐艰难。

2. 须要明确权责治理
梳理公司数据资产，迁徙、拆分、业务革新。确保资产归属与治理权责明确，定期梳理资产类目，保护资产元数据的有效性，确保治理边界清晰

难点二：业务影响大，指标对齐难。需实现存量的资产归属划分、革新生产开发体系，对增量定期人力打标，确保资产归属与权责边界清晰，因可能业务零碎革新，会对业务倒退造成影响

3. 须要进行复盘抽查
治理组织定期检查各业务治理过程是否合乎公司治理制度，定期检查各项治理后果是否落地，线下复盘与推动不合乎预期的治理过程

难点三：沟通老本高，执行推动难。如何制订实用于不同业务特点与倒退阶段的团队的治理评估体系，各团队是否认可评估规范。

为了解决以上三个问题，咱们有些新的思考，即引入「分布式」的理念。

Governance 一词在本源上同 Government，1990 年代被经济学家和政治科学家从新发明，由联合国、世界货币组织和世界银行等机构进行流传。其外围有以下两种阐述：

第一个阐述：规范与标准。指的是肯定范畴内的统一的治理，对立的政策，某一责任区领导以及适合的监管和可问责机制。这种行政力的集中化治理存在一些问题，比方决策老本高，人力投入高、落地阻力大，精力耗费大。

第二个阐述：过程与后果。指的是只有关注后果和产出以及业务外部实际，通过分布式合作让业务的治理后果、业务痛点和治理形式及伎俩在外部闭环，而不是由中台层面对立推动。

咱们尝试从第二种阐述，即器重过程落地和治理后果产出的登程，更快的落地产品，落地数据治理的产品解决方案。

从集中式到分布式

基于分布式的数据自治的理念，咱们来解决在落地执行上的两个最艰难的点。

一、组织制度分布式：尝试将组织的强治理属性转换到监督属性，治理单元与制度设计回归到业务单元。益处是，不强依赖横向中心化组织，业务治理痛点闭环在业务单元，且业务基于本身倒退阶段制订治理指标，ROI 论证回归业务。

二、权责验收分布式：基于产品体系与落地解决方案，反对业务按需自驱，市场化执行，平台辅助与按需验收。益处是，毋庸长周期的资产类目梳理，业务零碎革新，权责均由业务辨别，基于业务单元与多维视角，按需验收治理后果，业务单元内对齐。

如上图展现的饼图，对于一个公司的数据资产，传统来说，能够很清晰地依照业务边界来划分分明。对于分布式数据治理，咱们通常是由业务单元自行认领，业务单元 A 自行认领属于本人局部，业务单 B 也自行认领属于本人局部。认领就意味着，所有治理的动作包含后果，安全性、老本、品质、稳固都由认领业务单元负责。

当然，这样这样也可能存在两个问题，不过在分布式的理念中可能失去较好解决：

第一是认领范畴重合：这种状况往往让业务在线下对齐是否须要去做革新和划分，各自拿到本身须要的治理后果，短期毋庸重人力投入，不谋求相对的边界划分。长期因不同治理验收需要或团队治理需要，自行进行资产归集和整顿。达到动静的均衡状态

第二是无人认领：针对长期无人认领的资产，咱们能够基于每个业务的历史的规定和能力，造成一个治理的平均线，再从平台层面推动无人认领的资产治理，因为无人认领，这样的资产推动起来绝对较快。

咱们了解的分布式治理

定义：以业务单元为数据治理闭环单元，通过欠缺的产品工具，将治理视角转化为监督视角，解决数据治理落地痛点; 各业务团队分布式自运行，整体上达到全局最优，从状态上，适配更多业务个性和倒退阶段，从成果上，强推动重落实与后果

字节跳动通常以业务单元作为一个数据治理闭环，即在业务单元外部实现数据稳定性、品质、存储、计算等治理。同时每个业务单元不是孤立的，也有相互协作，比方 A 业务单元的数据治理教训能够积淀为治理模板，供后续其余业务应用。

这样的分布式治理形式，有以下一些劣势：

• 影响小，依赖小。治理下放到各个业务中，各级业务乃至集体都能自驱治理，业务依据本身倒退阶段灵便组合治理工具，毋庸对组织强依赖。
• 周期短，见效快。业务自驱梳理外围数据及链路，跨团队对齐线上化、协定签订、过程追踪。治理周期显著缩短，很快就出功效，加强团队信念。
• 效率高，省人力。SLA 治理进步跨团队合作效率，聚焦外围数据工作集中资源保障，集中精力，报警归因缩小起夜，帮忙企业节俭年度人力耗费
• 算清帐，降老本。各业务口径的存储计算资源耗费、核算成本，制订降本指标并追踪落地；业务教训规则化、策略化、自动化、自驱化继续降本增效。

分布式自治架构

为达成业务分布式自治，产品须要对用户行为门路齐全笼罩，对业务教训齐全承受。平台提供欠缺的凋谢能力，帮助业务进一步提效。

产品体系

以上对于分布式的了解，上面将介绍字节分布式自治的产品体系。

从治理门户来看，包含治理全景、工作台、布局、诊断、复盘等全流程治理环节。在治理场景中，提供数据品质平安、资源优化、报警、企业复盘治理等一系列垂直场景。在底层，蕴含数据全生命周期流程，从数据采集、数据传输、数据存储、数据处理、数据共享到数据销毁。

治理双门路

为了把用户所有治理教训积淀为平台能力，咱们形象了 2 种治理门路。

第一种是布局式门路。这是一个比拟常见的布局式门路，即从看板和报表登程，自上而下做布局。比方看板曾经反映出成本增加、延时变长或者数据品质变差，团队管理者发动报告或事变，推动业务单元共事进行数据治理，最初进行复盘。

第二种是响应式。比方生产者收到一个数据品质或延时的报警，随后疾速定位起因并做改良打算。为了更好把业务教训全副线上化，咱们通常双门路并行应用。

布局式治理门路案例

首先看通用模块资产视图，包含资产增量状况评估等，以及业务对于资产的评估，如衰弱分体系。咱们通常依据资产状况去制订指标。如果发现问题之后，业务驱动制订指标，可能是升高存储。

同时须要去利用一些业务规定，比方团队外部认为 TTL(数据生命周期)很重要，须要帮忙辨认进去的同时也须要设定一个诊断周期。在团队计划确认完之后，产品会做监督，包含定义揭示，同时也推动资产 owner 实现总结。

响应式治理门路案例

例如，咱们发现一些工作在深夜执行失败了，须要先做问题排查，发现问题是 HDFS 丢块导致。在传统状况下，解决方案是去查看 API 问题，再去拉相干人员，可能 2- 3 小时能力实现，最初配合监控并收归到 wiki 中。而在 DataLeap 数据治理产品里，能够间接实现归因打标等能力，最初疾速复盘。

治理全规定

如果要笼罩业务的全副属性，治理平台须要造成无效且全面的规定模板。目前，咱们的规定模板蕴含两个局部：

第一是规定引擎，具体包含业务输出、平台输出、举荐输出。

• 业务输出：次要根据业务团队的治理教训以及行业教训。
• 平台输出：平台会提供一些根底能力，如存储、计算、品质、报警等几个维度。截止目前曾经提供了 80 多个规定。
• 举荐输出：基于业务输出和平台输出，去做剖析和开掘，发现哪些规定用得多、哪些规定阈值更正当。

第二是治理数仓，具体包含行为数据、治理操作、成果数据。

• 行为数据：包含用户规定配置等内容是否有反复以及带元素标签的资产数据等。
• 治理操作：包含生命周期、工作敞开、数据删除、SLA 签订等。
• 成果数据：包含操作收益、资产收益、指标收益等。

不同业务疾速灵便接入治理规定

分布式自治根底是要构建治理生态、建设开放平台，让不同业务可能疾速、灵便接入。

为了让业务能疾速染指，咱们把数据分成了四种类型：表达式、三方元数据、规范元数据、算法包。针对不同的业务，依据以后的教训和能力，咱们会提供不同的接入形式，让业务去更好把规定和能力去接入到咱们的平台。

基于业务单元进行智能化提效

在获取不同业务的规定和能力之后，咱们须要再做平台能力积淀，把好的规定和能力复用给更多业务。

Case1：工作 SLA 签订举荐。基于经营工夫做权重调配，保障上游工作运行实现，同时也会进行要害链路剖析。这个规定目前在字节外部宽泛应用。

Case2：动静阈值监控。这是基于业务在报警阈值上的实际提取的规定。

Case3：类似工作辨认。通过序列化和向量化操作，去和底层 spark 引擎做配合。在业务外部利用笼罩 99%，且优化工作都千级以上，由此接入平台并举荐给其余业务。

分布式治理外围能力治理全景

分布式验收

在分布式验收中，会辨别为全员视角、团队视角和集体视角。全员视角能够看到公司级资产，包含整体的衰弱分体系以及外围指标。团队视角中，次要由业务本人梳理，包含外部的评估体系。

治理工作台 - 集中治理待办

上图为集体工作台性能，次要为了把 SLA 保障、计算工作、数据存储等治理场景展现在一个页面，不便 owner 业务全局查看治理待办事项。

治理布局与诊断 - 权责与布局分布式

第一，反对自定义治理域，灵便自治，提供多种维度，自定义组合和圈选资产范畴。

第二，反对创立治理计划，例行诊断：发起人基于业务需要，抉择治理域，设计治理规定，发动存储 / 计算 / 品质等类型治理计划。例行诊断与推动施行。

第三，反对规定治理，提供 80+ 治理根底规定，反对自定义组合和配置规定与分享。

复盘治理

复盘治理是一个通用模块。业务依据本身须要去辨认工作是否须要复盘，或者仅仅做问题注销。除此之外，业务还能够用复盘治理能力做外部治理，比方查看、检索所有的事变复盘，查看每个事变产生的起因和改良打算。同时，也可理解归因散布状况，并帮忙下一个值班同学疾速反馈和定位问题。

SLA 治理

在字节跳动外部，SLA 不是平台级保障，而是源于业务团队外部。首先是业务按需申报，可能是 PM、经营或数据研发等任何角色，认为本身工作重要，填写背景、起因、等级、工夫等信息之后，即可发动一个 SLA。发动之后，在团队外部进行审核，可能存在同一个团队多个高优工作的状况，这由团队外部自行调整优先级。同时，这个也是跨团队判断该工作重要性的规范。

之后是实现签订，签订也会在产品外面体现进去。每个节点工夫都有实时监控，如果产生了提早，会推动业务做复盘和注销。咱们也提供根底的 DAG，包含申报业务单的查看，同时也能够让大家去查看每个等级的破线状况，以及团队对业务的服务状况。

数据安全
在数据安全层面，次要专一于清理冗余权限，欠缺分类分级。不同团队对冗余权限定义不同，有的 90 天无拜访算冗余权限，有的 70 天，有的 7 天。因而咱们提供自定义能力，由业务外部发动 review，实现冗余权限的辨认和定义规定，辨认之后复用诊断能力。资源优化

基于每个团队理论执行状况，提炼出一些通用的规定。例如，某些规定可能有几十个业务在应用，近 90% 认为近 30 天无查问须要被辨认进去，咱们就会在平台中提供这类能力，不便新业务或者小白业务去应用。

报警归因
在报警归因方面，咱们能提供所有报警明细，不便查看是否有反复规定，是否有高频报警规定，帮忙用户发现有效报警和反复规定，升高告警量和跟起夜率。除此之外，咱们也提供业务外部的归因注销和剖析能力。以上是字节跳动在数据治理相干实际。

目前，字节跳动也将积淀的数据治理教训，通过火山引擎大数据研发治理套件 DataLeap 对外提供服务。作为一站式数据中台套件，DataLeap 会集了字节外部多年积攒的数据集成、开发、运维、治理、资产、平安等全套数据中台建设的教训，助力 ToB 市场客户晋升数据研发治理效率、升高治理老本。

点击跳转 大数据研发治理套件 DataLeap 理解更多