数据治理是企业数据建设必不可少的一个环节。好的数据治理体系能够盘活整条数据链路，最大化保障企业数据的采集、存储、计算和应用过程的可控和可追溯。如何构建企业数据治理体系？企业数据治理过程须要留神哪些问题？总体而言，不能一口一个瘦子，路要一步一步地走。上面我将联合企业级数据治理教训，具体介绍从 0 到 1 搭建数据治理体系全流程，帮你梳理数据治理的次要内容以及过程中会遇到的哪些坑。
1 数据治理到底是在做什么
1.1 一个小故事在注释之前，我先介绍一个小故事。年底了，企业财务管理员小张须要统计公司的金融财务状况。繁忙了一年，公司老板亟需晓得公司目前的经营情况。
小张须要思考哪几个点呢：
1. 公司目前有哪些财产？
2. 这些财产从哪里来？用到了哪些地方？
3. 是否所有财产的应用均符合规范和制度？
幸好小张年初曾经制订了一套治理规范。每笔财产的出入都有记录且严格把控应用状况，过程可追溯可审查。
最初，小张失去了领导们的统一好评。
1.2 数据治理做的事件故事中的小张监管着公司所有金融财产流动，确保财产应用的有序高效。这也是数据治理角色的相似性能。
数据治理的外围工作：在企业的数据建设过程中，保障企业的数据资产失去正确无效地治理。一般来说，数据从内部或者外部产生后，通过大数据伎俩解决，流转到不同的业务端，为企业的下层利用提供数据赋能。
整个过程，如图所示。
咱们先做一些相似数据同步的工作将数据放入到大数据系统中数据进来后须要治理和存储，即参考建模实践和理论场景建设数仓通过主题布局、维度确定、标签计算输入等步骤解决数据输入到报表、利用端应用整体流程数据治理体系将全程监管。要确认进出零碎的数据品质怎么样？是否可转化数据资产？数据血统是否可追溯、数据安全等问题。脏乱差的数据是无奈应用的，甚至重大埋雷。
2 为什么要做数据治理
有一些企业对这个问题的概念很含糊，认为目前的数据规模很小，人为可控，临时不须要做数据治理。然而在理论应用中还是会遇到很多问题：数据监管力度不够，呈现脏数据数据体系逐步规模变大，管理混乱数据的血统失落，无奈回溯旧、老的数据无论企业的数据规模如何，我认为还是提起做好数据治理的布局。思考到老本的问题，能够分阶段进行。
为什么要进行数据治理：你的数据是否真的可用，缺失和异样值怎么办？数据从哪里来到哪里去，血统信息是否失落数据拜访是否平安，明文标识还是加密？新的数据加工参考什么标准，维度和标签治理是否存在规范？
有剑在手不必和无剑可用是两回事。提前做好数据治理布局，会节俭后续的革新老本，防止过程冗余重构或者推倒重来等状况的产生。
数据治理能够无效保障数据建设过程在一个正当高效的监管体系下进行，最终提供高质量、平安、流程可追溯的业务数据。
3 数据治理体系
企业数据治理体系包含数据品质治理、元数据管理、主数据管理、数据资产治理、数据安全及数据规范等内容。
1）数据品质个别采纳业内罕用的规范来掂量数据品质的好坏：完整性、准确性、一致性和及时性。
完整性：数据的记录和信息是否残缺，是否存在缺失状况
准确性：数据汇总记录的信息和数据是否精确，是否存在异样或者谬误
一致性：多个业务数仓间的公共数据，必须在各个数据仓库中保持一致
及时性：数据能及时产出和预警
2）元数据管理元数据是对于数据的组织、数据域及其关系的信息，艰深了解，元数据就是形容数据的数据。
元数据蕴含技术元数据和业务元数据。能够帮忙数据分析人员分明理解企业领有什么数据，它们存储在哪里，如何抽取、清理、保护这类数据，也即数据血统。帮忙构建业务知识体系，确立数据业务含意可解释性晋升数据整合和溯源能力，血缘关系可保护建设数据品质稽核体系，分类管理监控
3）主数据管理企业主数据指企业内统一并共享的业务主体，大白话了解就是各业余公司和业务零碎间共享的数据。常见的主数据比方公司的员工、客户数据、机构信息、供应商信息等。这些数据具备权威性和全局性，可归约至公司的企业资产。
个别主数据管理须要遵循如下几点：
治理和监管各组织机构、子公司、部门对主数据的拜访
制订拜访标准和治理准则定期进行主数据评估
判断既定目标的欠缺水平组织相干人员和机构
对立欠缺主数据建设提供技术和业务流程反对
全团体集中兼顾
4）数据资产治理个别企业在数字化转型时都会思考数据资产梳理。你的数据有没有被正当利用？如何产生最大价值？这是数据资产治理关怀的外围工作。在构建企业资产时个别会思考不同角度，即业务角度和技术角度，最初进行合并，输入对立的数据资产剖析，并向外提供对立的数据资产查问服务。
如何盘活数据，造成数据资产，提供残缺的数据资产全景视图，可不便运营者全局、宏观地掌控企业资产动静。
5）数据安全数据安全是企业数据建设必不可少的一环，咱们的数据都存储在大大小小的磁盘中，对外提供不同水平的查问和计算服务。须要定时对数据进行核查、敏感字段加密、拜访权限管制，确保数据可能被平安地应用。
6）数据规范大白话了解，咱们须要在组织内定义一套对于数据的标准，好让咱们都能了解这些数据的含意。明天张三说这个客户号是办理银行卡的客户，今天李四又说是借贷过的客户。比照一看，两者的字段类型和长度统一，到底要驳回哪个意见呢？数据规范是保障数据的内外部应用和替换的一致性和准确性的规范性束缚，通过对立标准，打消二义性。
4 企业数据治理施行过程
4.1 数据治理施行框架数据治理体系是为了标准业务数据标准、数据规范、数据品质和数据安全中的各类治理工作流动而建设的组织、流程与工具。通过一个常态化的数据治理组织，建设数据集中管理长效机制，标准数据管控流程，晋升数据品质，促成数据规范统一，保障数据共享与应用平安，从而进步企业经营效率和管理水平。
4.2 数据治理组织架构企业数据治理体系除了在技术方面的施行架构，还须要治理方面的组织架构撑持。个别在数据治理建设初期，团体会先成立数据治理治理委员会。从上至下由决策层、管理层、执行层形成。决策层决策、管理层制定方案、执行层施行。层级治理、对立协调。
4.2.1 组织架构
1）决策层提供数据规范治理的决策职能，艰深了解即拍板定计划
。
2）管理层审议数据规范治理相干制度对跨部门难的数据规范治理争议事项进行探讨并决策治理重大数据规范事项，提交信息科技治理委员会审议
3）执行层业务部门：负责业务线数据规范的制订、批改、复审，推广落实数据规范等
科技开发：承当治理平台、数据规范、数据品质等施行工作；零碎设计和开发工作中遵循数据规范
科技经营：负责技术标准的制订和技术推广
4.2.2 管理层职责
1）项目经理确定我的项目指标、范畴和打算制订我的项目里程碑治理跨我的项目协同
2）专家评审组评审我的项目计划，确定计划的合理性
3）PMO 确保我的项目按计划执行治理我的项目重大危险执行跨我的项目协同、沟通组织我的项目要害评审
4）数据治理专项组执行各项目标落地施行和经营推广，推动执行层的施行数据治理技术落地和我的项目停顿。
4.2.3 执行层职责数据架构师、数据治理专家和业务专员造成数据治理 ” 铁三角 ”，严密合作，推动数据治理与数据架构落地。
1）业务专员业务专员作为业务部门数据治理的接口人，在规范、品质、利用等畛域组织业务人员发展工作定义数据规定保障数据品质提出数据需要
2）数据治理专家数据治理专家作为数据治理组成员，负责设计数据架构，经营数据资产；牵头组织业务、IT 达成数据治理指标。构建数据逻辑模型监控数据品质经营数据资产
3）数据架构师数据架构师作为 IT 开发部门的专家，承当数据规范落地、模型落地的重任，帮助解决数据品质问题。数据规范落地逻辑模型落地物理模型落地
4.3 数据治理平台在确定了技术实施方案和组织治理架构，上面须要进行数据治理体系的落地施行。在大型企业中个别会开发一个残缺的数据治理平台，囊括所有数据治理性能，对外提供平台服务。
1）外围性能数据治理平台作为数据治理的产品体系，旨在保障数据平台的数据是平安、牢靠的、规范的、有价值的。
数据资产治理：提供面向用户的场景化搜寻，提供全景数据资产地图，不便疾速查找资产和资产剖析
数据规范治理：对立定制数据规范，进步包含字段、码值、数据字典治理，保障业务数据和中台数据的统一标准
数据品质监控：提供事先、事中、预先的数据质量体系，反对数据品质监控规定配置、告警治理等性能数据安全：提供数据安全脱敏、平安分级和监控
数据建模核心：对立建模，提供业务零碎建模和模型治理
2）元数据管理
元数据管理系统作为数据治理平台的前端展现门户，帮忙实现对数据资产的疾速检索能力，进步数据应用有效性和效率。通过建设残缺且统一的元数据管理策略，提供集中、对立、标准的元数据信息拜访、查问和调用性能。
3）数据品质数据品质监控：反对所有用户进行数据品质监控规定配置规定阻断：配置数据品质监控阻断规定，数据品质呈现差别可实时阻断上游作业运行，屏蔽谬误后果链路扩散。告警：数据品质呈现预设偏差，及时收回预警告诉及时修复
4）数据规范反对定制对立的数据规范平台，包含字段规范治理，码值规范治理以及字典治理，业务源数据和中台数据统一标准。
5）数据安全基于团体数据资产实现数据安全分级管理，自动识别平安信息；提供数据拜访平安行为监测，及时辨认拜访危险。
4.4 数据治理评估数据治理平台开发实现并运行，须要对整体数据治理体系的成果进行验证和评估。
1）数据是否能够打消 ” 脏、乱、差 ” 的景象
2）数据资产是否最大价值化
3）所有数据的血统是否残缺可追溯
1）数据资产通过构建数据资产管理体系，实现资产全笼罩，并反对全局搜寻和精准定位指标资产。实现全局搜寻，面向用户提供场景化检索服务反对标签、数据地图、表名和字段名等多种检索维度反对进行数据地图，源业务数据字典的后果筛选比方反对 PV/UV 用户搜寻和资产展现，明确服务指标
2）数据规范新旧数据规范积淀，买通了数据建模工具、数据规范库和词根规范库，落地数据规范和词根。实现数据规范库 100% 拉通智能辨认数据规范和援用客户端同步更新数据规范、词根
3）数据安全放弃事先制度建设、事中技术管控、预先监控审计的准则建设全流程数据安全管控体系。基于以上数据安全管控体系，反对数据安全定级，构建灵便的数据安全共享流程。
4）数据品质通过数据品质雷达图，定期进行数据和工作品质打分，综合考查数据品质成果。
数据完整性：查看数据项信息是否全面、完整无缺失
告警响应水平：日常治理、应急响应、升高影响；防止数据损毁和失落
监控笼罩水平：确保数据遵循对立的数据规范和标准要求
作业稳定性：监控作业稳定性，是否存在作业异样等问题
作业时效性：查看工作对应的数据项信息获取是否满足预期要求
5 数据治理的几点误区
1）数据治理是否要做得大而全这是一个经典问题，个别对于不同阶段和规模的企业，数据治理的施行水平会有所不同。个别倡议先依据本身的数据情况分阶段进行，防止自觉铺开规模，过程中可调整。
2）数据治理只是技术思考的事件正如文中所说，数据治理不仅仅是技术团队的事件，而是整个团体一起合作实现。其中就包含各业务线以及其余治理组织，没有一个好的实施方案和合作机制，往往事倍功半。
3）数据治理能够短期奏效数据治理是个长期过程，会跟随着企业数据的规模和数仓布局的变更同步调整，局部性能可能会在短期内行之有效，残缺体系搭建短期很难实现。
4）必须得有工具平台，能力发展数据治理俗话说工欲善其事必先利其器，有好的工具当然是更好，前提是曾经有了成熟的数据治理体系布局和策略。工具和技术手段目前市面上很成熟，先把实践给铺垫好。
5）数据治理感觉很含糊？不晓得最初的落地后果数据治理是一个长期工作，须要相干从业者依据企业的数据现状和管理模式去构建和调整，倡议边做实际边总结演绎，小步慢跑是一个很好的形式。