美团住宿数据治理团队从事数据治理工作多年，从最后的被动、单点治理，倒退到起初的被动、专项治理，再倒退到当初的体系化、自动化治理。一路走来，他们一直进行积攒和积淀，也在继续思考与实际。目前该团队获得了一些阶段性的成绩，并失去美团多个业务线的认可和必定。过程的教训与教训，心愿能和大家分享，也心愿能给从事数据治理工作的同学带来一些新思路。
一、序言
美团住宿数据治理团队通过多年数仓建设及数据治理的教训积淀，并联合业务倒退阶段对于数据治理的诉求，将治理的思路逐渐从专项、表象、问题驱动的治理，转变为自动化、体系化的治理，并从标准化、数字化、系统化三个方向进行了落地与实际。
二、背景介绍
美团住宿业务从 2014 年上线之后倒退多年，历经探索期、防御期，发展期，并逐渐由发展期向改革期过渡。业务从之前的疾速扩张阶段进入绝对稳固的倒退阶段，经营伎俩转变为精细化经营，同时对数据的老本、效率、平安、价值等方向的要求也越来越高，这些都对数据治理提出了新的要求。
另一方面，住宿数据组所属的数据中心外部有住宿、门票度假等多条业务线，各业务线业务模式不同，所处业务生命周期阶段不同，在数据治理上的认知及教训积攒也不同。如何能将数据治理教训及能力高效复用，使数据中心各业务线在数据治理的效率和成果上都能稳步晋升，防止踩坑，这就须要数据治理更加标准化、体系化、自动化。
此前，咱们在数据治理上曾经有了一些积攒和积淀，前一阶段次要从单点、被动的治理转变为被动、专项的治理，治理动作无意识、有布局，也有肯定的针对性，且获得了肯定的成绩（前一阶段的治理教训可参考美团酒旅数据治理实际一文），但总的来说仍以问题驱动治理、凭教训治理为主。面对新的数据治理责任及要求，过往的形式存在着一些问题，次要包含以下几个方面。
治理认知差别大
- 认知不统一，思路不对立：治理不足通用的体系指引，不同的治理人对于数据治理的认知深度、问题拆解的形式、治理的思路步骤、采取的办法及其成果追踪等方面，都存在较大的差别。
- 反复治理、信息不通：治理不彻底、治理教训不足积淀，同样的治理，不同的人重复履行。
- 范畴穿插、边界不清、成果难评估：不同的人针对不同的问题成立不同的专项进行治理，问题的底层逻辑有穿插。有的治理没做什么动作，反而收到了较好的后果，有的治理对于后果说不清。
治理办法不规范
- 流程标准缺失：对于每个方向、每类问题的治理短少理论指导，治理的办法、动作、流程、步骤依赖治理人的教训和判断。
- 问题难度量追踪：治理的问题短少衡量标准，更多靠人为来进行判断，治理成果短少评估体系。
- 解决方案难落地：解决方案存在于文档中，须要治理人查找了解，短少工具撑持，老本较高。
治理效率低、成果差
- 治理线上化水平低：治理依赖的资产信息、治理动作都扩散于多个零碎中，信息碎片化，执行效率低。
- 过程无奈标准化，后果无保障：治理过程须要治理人来“人为保障”，存在了解偏差和执行偏差。
数据管治不足体系化
- 不足整体顶层治理方案设计：业务及数据中心对于数据治理的要求，须要治理更全面、更精密、更无效，须要治理的体系化，须要从宏观角度进行思考，层层拆解，须要从整体、从顶层来做方案设计。
- 问题越来越简单，单点难解决：过往更多的是从表象去解决问题，从外表来看掂量指标有改善，理论是“头痛医头、脚痛医脚”，并没有从根本上解决问题。或者多个问题具备共性，基本问题是统一的。比方查问资源缓和的基本，可能是剖析主题模型建设有余或经营不够。
- 不同问题的优先级无奈确定：不同问题的优先级不足衡量标准和办法，次要靠人为判断。
- 治理不合乎 MECE 准则：每个治理方向由哪些问题组成，哪些最重要，哪些的 ROI 最高，哪些问题和治理动作能够合并，同一问题在数仓不同主题、不同分层的衡量标准和治理办法应该有哪些差别，都须要在体系化治理中进行思考。
三、治理体系化思考
从上述背景中不难看出，咱们面临着不同业务生命周期阶段对数据建设和治理不同的要求及挑战，同时过往更多的以被动治理、问题驱动的专项治理形式办法也比较落后，这间接导致技术团队很难满足业务方对于财务、业务反对等方面的要求。
通过一直的吸取教训和总结经验，咱们开始意识到数据管治是一个非常复杂的综合性问题，只有构建出一套规范的业务数据管治体系，能力确保数据治理在现状评估、指标制订、流程标准建设、治理监控治理、能力建设、执行效率、成果评估等各环节无效落地。上面介绍一下咱们在治理体系化层面的了解和思考。
3.1 什么是数据治理体系化？
针对数据管理和治理，咱们冀望搭建一套集管理体系、办法体系、评估体系、规范体系、工具体系等外围能力的组合，继续服务于数据管治施行。能够类比个别的电商公司，如果须要运行并服务好顾客，它首先必须搭建起来一套销售体系、产品体系、供应体系、物流体系、人力体系等等，只有这样才能够相互配合，实现服务好用户这一大指标。
3.2 数据治理体系化如何解决目前治理存在的问题？
- 形式办法上：先做顶层治理框架设计，从团队整体视角定义和布局好治理的范畴、人员、职责、指标、办法、工具等必须局部，再进行落地。更关注整体策略的普适性及有效性，而非深陷某个具体问题解决方案开始治理。
- 技术手段上：以欠缺的技术研发标准为根底，以元数据及指标体系为外围，对业务数仓和数据利用进行全面评估和监控，同时配套治理零碎工具，帮忙治理同学落地治理策略和解决数据开发同学治理效率低问题。
- 经营策略上：通过看待治理问题进行影响范畴、收益状况进行评估，确定待治理问题的重要度，从管理者视角以及问题责任人视角 2 个路径推动不同重要水平的治理问题解决。
3.3 业务数据管治体系框架如何建设？
咱们的建设思路是：以团队数据治理指标为外围导向，设计实现目标须要的相干能力组合，并依据组织要求，施行过程的问题反馈，继续一直地迭代欠缺，最终实现数据治理的愿景。
体系框架次要蕴含以下内容：
- 管理层：立法，制订相干的组织保障流程标准、职责设计、奖惩措施，领导和保障数据治理顺利进行，这是数据治理可能胜利启动运行的关键因素。
- 规范层：设规范，制订各类研发标准规范、解决方案规范 SOP 等数据治理过程中须要的各类技术规范和解决方案，这是所有技术问题正确与否的重要依据，也是治理中事先解决方案必不可少的一部分。欠缺的标准规范和良好的落地成果，可很好地升高数据故障问题的发生量。
- 能力层：欠缺能力，次要是基于元数据的问题度量的数字化能力，以及问题工具化检测和解决的系统化能力。数字化和系统化能力是数据治理施行的科学性、施行的品质及效率的重要保障。
- 执行层：设定动作，联合要达成的具体指标，对各治理域问题，依照事先束缚、事中监控、预先治理的思路进行解决。指标的达成，须要拆分到 7 大治理域相干的具体问题中去落地。因而，一个治理指标的达成，很依赖治理域对问题形容的全面性及深度。
- 评估层：给出评估，基于指标的问题监控，衰弱度评估体系，专项评估报告，评估治理收益及成果，这是施行治理推动过程监控，后果测验的重要抓手。
- 愿景：长期治理指标，领导数据管治有方向地一直朝着最终目标后退。
体系框架建设成绩：业务数据治理体系框架是针对数据治理工作整体做的顶层方案设计，框架定义好了业务线数据治理是什么、怎么做、做什么、用什么工具以及达成什么指标。拉齐各方对业务数据治理的认知，标准化治理门路办法和组成部分，领导数据治理有序、无效地进行。
3.4 体系框架如何落地施行？
参照业务线数据标准化管治体系框架各组成部分特点，咱们具体通过 标准化 、 数据化 、 系统化 3 大部分能力建设及经营，来实现数据管治体系框架的落地，并利用在数据治理问题的解决中，最终拿到可量化的后果。
四、治理体系化实际
4.1 标准化
数据治理标准化是企业进行数据资产治理的要害突破口和重要伎俩，一系列政策、法规、布局须要转化为规范和制度能力无效落地。数据治理标准化既有利于建立健全各种数据管理工作机制、欠缺业务流程，又有利于晋升数据品质，保障数据安全合规应用，开释数据价值。但在数据治理标准化建设过程中，咱们常常会面临以下三个问题：
- 流程标准缺失：各个环节短少规范和束缚来领导规范化操作，无奈无效杜绝问题的产生、解决。
- 落地条件差：标准规范、SOP 等不具备落地条件，靠主观志愿，无奈无效落地，成果差。
- 建设办法不合理：标准建设 Case by Case，短少体系化建设思路导致“始终建、始终缺”。
针对上述三个问题，咱们从解决问题的视角登程，划分数据开发流程，通过事先束缚、事中监控、预先剖析评估的思路，整顿补齐缺失的流程标准，从而实现规范流程标准在数据管治各环节全笼罩，并建设系统化工具来保障标准规范的落地施行。下文将别离从标准建设及工具保障两方面来介绍咱们在数据治理标准化过程中是如何解决上述问题的。
4.1.1 标准建设
标准是数据治理建章立制的根底，针对标准规范建设不合理及流程标准缺失的问题，咱们用体系化的建设思路从整体架构上对数据开发流程及数据治理流程进行划分，并针对全流程数据管治各个环节建设相应标准：
- 数据治理治理标准：明确数据治理组织职责以及人员构成，确定数据治理施行流程及治理问题运维流程，以保障数据治理过程顺利进行。
- 数据研发标准：明确数据开发各个环节须要恪守的标准要求，从问题产生的源头，通过建设欠缺的研发标准，领导研发工作按规范进行，肯定水平上可缩小问题产生。
- 数据标准化治理 SOP：明确各个治理问题治理动作，确保治理动作是规范且可施行。
- 数据衰弱度评估标准：明确治理成果的评估规范，对数据体系做到长期，稳固及指标化的掂量。
4.1.2 工具保障
标准规范可视化 - 常识核心
在标准规范的共享方面，以往技术团队在理论标准落地过程中可能存在以下问题：
- 标准找不着：重要标准文档散落在各个 Wiki 空间，导致应用时无奈疾速查找，效率低下。
- 标准品质差：文档没有对立进行保护，无奈继续进行迭代和欠缺，不能随着业务及技术的倒退更新。
- 标准没权限：文档散落在各个成员的私人空间外部，未对所有人开明权限，优质内容无奈及时共享。
针对上述问题，咱们从新收集整理已有标准文档并进行分类，补充缺失文档，优化文档内容，并新增常识核心模块，将常识体系框架产品化，在产品层面保护对立的入口及权限治理，同时严格控制公布流程，解决了标准规范在理论落地时“找不着”、“品质差”、“没权限”等问题。
测试标准工具化 - 八卦炉
在数据测试标准落地方面，以往数据测试标准都是通过 Wiki 保护，无奈束缚大家理论执行过程，导致数据品质较差，容易呈现数据故障。为缩小数据开发过程中因为测试不标准而导致数据故障的状况，晋升数据品质及业务满意度，咱们利用数据中心与数据平台工具组合作共建的 ETL 测试工具（美团外部工具 - 八卦炉）来保障测试标准 SOP 落地执行，要求大家在不影响测试验数效率状况下充沛测试，实现数据治理问题在事先束缚，缩小预先问题量，保障数据品质，工具建设如下图所示：
治理提效保质工具 -SOP 自动化工具
在日常数据开发工作中，数据工程师会承当一部分数据治理工作，以往都是通过执行数据治理 SOP 中每个步骤对问题进行治理，但常常会面临以下几个问题：
- 治理效率低：须要依据 SOP 中治理教训，去各个平台别离执行相应治理动作，对于一些步骤较为简单的 SOP，须要跳转多个平台操作，治理效率较低。
- 治理过程无奈束缚：治理教训浮于文字，无奈束缚数据工程师的执行动作，导致局部问题治理不彻底。
基于上述问题，咱们开发了治理提效工具 -SOP 自动化工具，汇总多个平台治理工具，将数据治理标准化 SOP 的各个执行步骤通过工具落地，实现在一个工具内一站式治理能力，束缚工程师的治理动作，确保整个治理过程是规范的，成果是可监控的，从而晋升了治理效率及治理品质。
比方有效工作的治理，首先须要调研问题治理教训并积淀至 SOP 文档，而后将 SOP 文档中各个执行步骤顺次通过自动化的工具进行配置。数据工程师在治理时只须要在一个界面内即可实现全副的治理动作，下图是有效工作治理 SOP 及美团的自动化工具：
4.1.3 标准化收益及建设教训
通过数据治理标准化建设，咱们解决了团队在数据治理标准方面若干问题，获得了显著成果：
- 实现了数据开发、数据治理的标准化，解决了团队内各小组之间在开发、治理、运维方面流程办法规范不统一的问题。
- 通过测试工具对标准化测试标准进行落地，在事先阻塞问题产生，晋升数据品质，缩小故障产生。
- 通过 SOP 自动化工具，无效保障治理过程的标准化，解决了治理成果差的问题。
同时，咱们在理论建设的过程中，也总结了一些标准化的建设教训：
- 标准规范如何落地，需成为规范流程标准建设的一部分，最好有交付物。
- 标准规范的制订，除惯例内容外，须要综合思考组织指标、组织特点、已有工具、历史状况、用户反馈等因素，否则会给人“不接地气”的感觉。
- 标准规范的制订要优先思考利用和适配已有工具能力，借助工具落地，而非让工具适配流程标准。
4.2 数字化
以往大家在发展数据治理工作时次要依赖教训判断，不足迷信可量化的抓手，对治理问题的重大水平无奈精确感知，同时对治理收益的回收也不能精确评估。因而咱们发展了数字化的工作，将大家数据开发工作用数据形容，构建整个数据开发工作的精确视图。
4.2.1 数字化架构设计计划
建设思路：通过对数据生命周期各环节进行类比业务数仓建设中形象和形容业务对象形式，进行元数据对象的形象和形容，并建设成元数据数仓和治理指标体系，利用在数据管治场景
框架次要蕴含元数据仓库、指标体系、数据资产等级以及基于元数仓根底上建设的各个数据利用，利用元数据驱动数据治理及日常团队治理，防止过多依赖教训解决问题，更好地服务业务。下边几个章节将别离介绍数字化框架最外围的数据内容：元数据仓库、指标体系、数据资产等级。
4.2.2 元数据仓库建设
元数据是形容数据的数据，蕴含数据资产品种、数据存储大小、数据流血缘关系、数据生产过程等信息，存在信息品种多，散布零散，信息不残缺的特点。丰盛的元数据有助于咱们疾速理解团队数据资产，让数据资产更加精准，通明。为数据应用和价值开释提供撑持。
咱们的建设思路，采取 数据业务化 、 业务数字化 、 数字利用化 的思路来搭建元数据仓库。
- 数据业务化：行将数据工程师日常数据开发工作业务化形容，形象多个业务过程，如需要提出、工作开发、数据表产出、数据利用、需要交付。
- 业务数字化：用建设业务数仓的思路和办法，对数据业务化之后的各个业务过程及主题，搭建元数据数仓及指标掂量体系，并通过元数据场景化利用晋升易用性及丰盛度。
- 数字利用化：在元数据仓库根底上开发数据产品，驱动数据管治施行。
通过数据业务化思路，咱们形象业务域、治理域、技术域等 3 大主题域来形容元数仓对象，并对每个主题域进行细分，划分多个主题：
- 业务元数据：基于具体业务逻辑元数据，常见业务元数据包含业务定义、业务术语、业务规定、业务指标等。
- 技术元数据：形容了与数据仓库开发、治理和保护相干数据，包含数据源信息、数据仓库模型、数据荡涤与更新规定、数据映射和拜访权限等，次要为开发和治理数据仓库的工程师应用。
- 治理元数据：形容治理畛域相干概念、关系和规定的数据，次要包含治理流程、人员组织、角色职责等信息。
在元数仓分层上，咱们采纳最常见的四层架构分层形式，别离是贴源层、明细层、汇总层、应用层和维度信息。区别于业务数仓分层设计形式，从明细层就按维度建模思路组织数据，防止适度设计，只须要做好主题划分和解耦。在汇总层从剖析习惯登程耦合数据，晋升易用性。应用层按需创立所需接口撑持利用。
目前，咱们已实现元数据仓库技术域、治理域、业务域局部内容的建设，并已撑持指标体系及下层多个数据利用，将来仍将依据大家在理论工作中外围关注的内容对元数仓进一步补充和欠缺。
4.2.2 指标体系建设
一个问题的掂量须要从多方面进行思考，只用一个指标无奈充分说明问题，这就须要一组有逻辑且互相关联的数据指标来形容问题。在数据开发过程中，须要制订多个指标来监控掂量数据开发团队在品质、平安、效率、老本等方面存在的问题。
此前，住宿数据团队没有一套成熟稳固的指标体系，无奈长期精确掂量团队的业务反对能力、技术能力。2020 年，咱们在元数据仓库根底上搭建了数据治理指标体系，全面掂量了业务数仓建设过程中各类问题，通过指标体系监测工作中的长处与有余，晋升了团队的工作能力，进而进步了对业务的反对能力。
建设计划
指标体系的建设指标是监控团队工作状态和变化趋势，须要可能笼罩到工作中的各个方面。因而，在指标体系的建设上，咱们通过不同视角对指标体系进行分类，做到不重不漏全笼罩，让指标实用于不同应用场景：
- 生命周期视角：从数据自身登程，掂量数据从生产到销毁的各个过程，包含定义、接入、解决、存储、应用、销毁等等。
- 团队治理指标视角：依据团队治理外围要达成的指标分类，包含品质、效率、老本、平安、易用性、价值等等。
- 问题对象视角：依据治理问题外围关注的对象分类，包含平安、资源、服务、架构、效率、价值、品质等等。
建设成绩
目前，咱们已建设技术、需要及故障三大类指标共计 112 个，全面笼罩数据开发中的各个环节：
- 技术类指标：笼罩老本、品质、平安、价值及易用性 5 个方面共 57 个指标。
- 需要类指标：笼罩新增、响应、开发、上线及验收等 7 个方面共 36 个指标。
- 故障类指标：笼罩故障发现、起因定位及解决环节共 19 个指标。
元数据及指标体系利用：
- 团队治理：帮忙团队管理者疾速理解团队状况，晋升管理效率。
- 数据治理：利用元数据及指标体系驱动数据治理，为数据治理提供可量化的抓手。
- 我的项目评估：帮忙我的项目成员精确评估我的项目的问题、停顿及收益。
建设思考
在指标建设过程中，咱们积淀了以下几点教训：
- 指标体系既要解决管理者对日常工作无抓手的问题，也要成为具体问题解决人员的治理抓手，兼顾管理者和开发者。
- 指标体系是展现偏整体层面的内容，还需通过指标解决理论问题，造成指标体系和数据治理工具闭环，实现发现问题、治理问题、掂量后果继续循环。
- 优先确定团队总体倒退指标，从指标拆分设定指标，指标尽量笼罩不同业务线不同倒退阶段。
- 业务须要明确本人所处阶段，针对不同阶段，制订考核指标，掂量阀值，既对立了衡量标准，又中和了大家考核规范。
- 指标需注意分层建设，防止“胡子眉毛一把抓”，便于适配目前的组织构造，也便于划分责任与定位。
- 根底指标体系建设实现后，可作为平时治理和工作的抓手，作为我的项目发动的根据，作为我的项目后果评估的伎俩。
4.2.3 资产等级建设
随着业务疾速倒退，团队负责的数据资产规模也日益扩充。截止以后，团队共负责离线 Hive 表 3000+，ETL 生产工作 2000+，人均负责 ETL 生产工作 100+。在面对规模日益扩充的数据资产，团队管理者及数据工程师通常会遇到以下问题：
- 只能评教训判断哪些是外围资产，遇到问题无奈评估解决的优先级。
- 外围链路的保障，比方 SLA 及 DQC 的配置范畴短少迷信的评估伎俩。
- 管理者对团队外围资产不足精确的判断，无奈精确无效的做出治理动作。
为丰盛元数据之间的关系和内容，开掘辨认更有价值的数据信息，以元数据能力驱动数据研发及运维日常工作，在元数据仓库的根底上咱们做了衍生能力即资产等级的建设。资产等级能够对数据的重要性进行迷信无效地评估，也可帮忙欠缺数据品质分级监控计划，从而实现对重点工作的重点保障。
下图是数据资产等级通用计算流程，咱们首先依据资产类型确认各个影响因子及影响权重值，划分影响因子重要性等级，其次依据各个影响因子数值范畴划分得分区间，最初汇总计算失去最终资产等级得分及资产等级后果，并抽样验证后果的准确性。
资产等级建设（数据表）
下图是针对数据表资产等级建设的办法和流程图：
1）确定影响因子及权重评估
影响因子的确定是资产等级计算中最为要害一环，正当评估影响因子对最终资产等级后果的准确性至关重要。依据理论数据开发中教训可知，影响数据表重要水平次要有以下几个关键因素：
- 上游类型：决定上游资产重要水平，上游资产类型个别有 ETL 工作和数据产品两类，ETL 工作及数据产品又依据重要度分为普通型及 VIP 型。
- 上游数量：决定是否是要害节点，对上游生产的影响范畴，上游数量越多表明影响范畴越大。
- 应用热度：决定是否有用，影响查问用户的范畴，热度越高表明影响的用户范畴越广。
- 链路深度及分层：决定问题的修复工夫，链路越深，问题修复的工夫可能就越长。
确定好影响因子之后，咱们须要判断每个影响因子所占的权重值。咱们采纳档次分析法来计算权重值（档次分析法次要利用在不确定状况下及具备少数个评估准则的决策问题上，具体计算步骤，大家可查阅相干的材料），其长处是把钻研对象作为一个零碎，依照合成、比拟判断、综合的思维形式进行决策，而且计算过程简洁实用。
2）计算资产等级得分
依据理论状况对每个影响因子划分得分区间，并联合每个影响因子权重值，能够计算失去资产等级最终得分。总得分为各影响因子得分与对应权重乘积加和。
3）资产等级映射
咱们将资产等级最终得分划分区间至 L1 ~ L5，L5 为最高资产等级，L1 为最低资产等级。
资产等级利用场景（数据表）
目前，资产等级已使用到日常管治施行，为数据分级管治提供了无力的抓手：
4.3 系统化
4.3.1 数据百品 - 管治核心
除了标准化和数字化之外，咱们数据治理体系落地仍面临诸多问题：
- 数据资产无奈统计和形容，管理者及数据工程师不晓得有什么，不足资产的可视化。
- 管理者短少抓手发现团队的问题，且问题难以追踪。
- 治理线上化水平低，须要跳转多个工具，治理效率低，治理过程无奈标准化，导致后果无奈保障。
针对上述问题，咱们搭建了数据百品 - 管治核心治理平台（美团外部产品），实现了集资产治理、问题剖析监控、自动化治理、过程追踪、后果评估的一站式、全笼罩数据治理平台，能无效晋升治理品质和效率，为数据品质晋升做好强有力的撑持。通过“管 + 治”相结合的理念，别离从管理者及研发人员的视角对数据、人效等问题实现全面监控，并实现了资产全景、管理中心、治理核心三大模块：
资产全景
资产全景从 管理者 + 数据 RD视角登程，介绍了以后数据现状即 有什么 的问题，帮忙业务线管理者及数据 RD 实现数据资产可视化，为管理者提供技术治理的抓手，为数据 RD 晋升数据探查和数据应用效率。蕴含资产大盘、资产目录、集体资产三个子模块：
- 资产大盘：从业务线管理者视角登程，展现了业务线内各类资产概览，帮忙管理者一站式疾速理解组内数据资产，无需跳转多个平台。
- 资产目录：展现团队数据各资产类型及明细，为数据 RD 数据应用提供信息撑持，晋升 RD 数据探查效率。
- 集体资产：从归属人视角，展现数据 RD 集体及小组名下数据资产数量和资产类型及数据明细，详细描述集体资产信息。
管理中心
数据团队管理者在日常团队治理中时常常会面临两个问题：
- 管理手段多依赖教训判断，当团队需要承接减少、团队人数减少时会带来治理难度的晋升，管理者短少抓手疾速看到团队的整体状况。
- 治理动作天级别。管理者发现团队某外围指标异样（例如：故障数），须要找对应的责任人询问，无奈从零碎上疾速进行异样追踪，起因获取。
管理中心次要从 管理者视角 登程，解决了 怎么管 的问题，通过管理者关注的外围指标，为管理者提供监测团队状态、判断团队问题、辅助管理决策的能力，让管理者从“依赖教训治理”转变为“数据驱动治理”。蕴含管理者大盘、运维治理、需要治理、团队治理四大模块：
- 管理者大盘：向管理者提供团队外围指标总览、问题趋势剖析、异样明细追踪、异样起因标记等性能，不便管理者疾速理解团队状况，及时做出治理动作。
- 需要治理：提供具体的人效剖析大盘以及需要治理性能，服务于人效治理及提效。
- 故障治理：提供具体的故障剖析大盘以及故障复盘治理能力，晋升故障管理效率。
- 团队经营：团队周月报，值班，满意度问卷等团队经营须要的能力，晋升经营效率。
治理核心
日常数据治理过程中，问题责任人解决问题次要有以下痛点：
- 不理解调配给本人的待治理问题背景、指标和重要水平。治理工作成为自觉去实现调配的工作，即便实现了治理动作，可能仍然无奈保障是否真正达到治理指标，尤其是面对同时须要解决多类治理问题时，成果差。
- 数据治理解决问题时通常要应用各类工具相互辅助能力解决，问题多了之后，治理问题变成了重复使用不同的工具，重大影响治理效率和成果。
治理核心从 问题责任人视角 登程，解决了 怎么治 的问题，为一线治理工程师提供从问题评估剖析，到治理，到进度监控的一站式治理能力。将治理工作精细化、常态化经营，晋升了数仓治理品质和效率。蕴含治理概览、剖析评估、问题治理、进度监控四大模块。
- 治理概览：治理核心首页，介绍了团队数据治理体系框架及标准化治理成绩，让使用者在认知上与治理核心的治理理念统一，并提供数据治理优良解决方案。
- 剖析评估：对七大类治理问题进行量化评估，提供治理优先级及问题排名，让用户理解应该先做什么。
- 问题治理：提供丰盛治理指标，全面掂量治理问题，问题调配及时告诉，并利用 SOP 自动化工具，实现对解决问题过程的标准化，保障治理成果，进步治理效率。
- 进度监控：提供问题治理进度看板及问题调配进度监控，便于管理者宏观把控问题治理进度，正当布局调配节奏。
4.3.2 SOP 自动化工具
在日常数据治理过程中，每个团队都会积淀若干 SOP 标准文档来领导大家进行问题治理，缩小问题产生。然而在 SOP 的落地上，仍然存在很多问题：
- SOP 个别以 Wiki 模式存在，理论执行过程无奈跟踪束缚。
- SOP 动作的执行须要跳转多个平台零碎，执行效率低下。
建设计划
基于上述问题，咱们开发了 SOP 自动化配置工具。SOP 自动化工具是一款 SOP 配置工具，实用于问题治理类 SOP，将治理动作通过工具进行配置以进步治理效率，进而保障过程品质和后果品质。指标是解决 SOP 标准文档在落地过程中遇到的执行效率低、过程无奈跟踪监控的问题，实现一站式解决问题的能力。
SOP 自动化工具次要蕴含根底组建层、配置层及应用层，以下是产品架构图及产品界面：
- 根底组建层：SOP 最小粒度模块，包含展现类组件（富文本、表格、IFrame），逻辑管制类组件（单选、多选），用户可依据 SOP 内容抉择多个根底组件组合。
- 配置层：配置 SOP 中应用参数信息及执行步骤。
- 应用层：SOP 最终成果展现，通过 URL 接口对外提供服务，比方治理核心可调用 SOP 工具接口实现一站式治理能力。
SOP 理论操作步骤如下：
用户在创立 SOP 后可选择性配置须要展现的数据信息，而后依照 SOP 执行步骤顺次拖动各个根底组件，并填写执行操作实现 SOP 的配置工作，在成果预览实现后即可公布上线并生成外嵌 URL。自动化工具次要通过外嵌的模式对外提供服务。
利用场景
通过 SOP 自动化工具，数据治理已实现了问题解决过程线上化、步骤标准化，很好地保障了治理成果，晋升了治理效率。下图是有效存储指标在应用 SOP 自动化工具前后的流程比照，通过比照，咱们能够看到之前工程师须要人工确认若干信息，并跳转多个平台操作，当初只须要在一个界面实现所有动作，极大地加重了研发人员的工作量。
目前，咱们团队已实现 7 大治理域内 30 多个指标的治理 SOP 建设，并均已通过自动化工具落地。后续，咱们仍将摸索其余专项治理内容，并利用 SOP 自动化工具辅助发展数据治理的工作。
4.3.3 经验总结
通过数据治理系统化的建设，咱们总结了以下几点：
- 系统化是将解决问题的办法从线下到线上，从散点动作到连贯动作的一种无效解决方案。
- 没有完满的零碎，也不用谋求完满，思考投入产出比，疾速解决主要矛盾，利用到具体问题解决中。
- 产品定位设计，产品长远规划的能力设计尤为重要，否则容易呈现“做着做着不晓得做什么，不晓得往什么方向倒退”的状况。
五、业务数据治理施行流程
数据治理施行流程，是咱们根据业务数据治理标准化框架在施行解决具体数据问题时，总结形象进去的一套实用于大多数治理场景解决问题的通用规范流程。规范流程的益处在于更加规范化数据治理工程师的操作流程，来保障施行的品质。流程一共蕴含 5 个步骤：
- STEP 1：发现问题和制订指标，发现问题要从业务数据开发团队的视角登程，围绕服务好业务、恪守数据研发标准、收集好用户反馈，尽可能全地发现和收集相干须要解决的问题。同时，制订的指标要具备可实现性。
- STEP 2：针对问题进行拆解，设计可掂量的指标，并通过元数据的采集建设进行实现，用做对指标的进一步量化，并作为施行过程监控及治理抓手。
- STEP 3：对掂量进去的具体问题，制订相干的解决 SOP，并且查看相应的研发标准规范是否欠缺，通过问题产生的事先、事中、预先几个阶段，建设或欠缺相应的工具化解决问题的能力。
- STEP 4：推广经营，以拿后果为外围指标，针对不同角色使用不同策略，重点关注问题解决过程是否会与用户利益发生冲突，管制好节奏，依据问题的重要水平有布局地进行解决。
- STEP 5：总结积淀方法论，迭代认知，继续摸索问题的最优解，优化治理计划和能力。
六、总结与瞻望
通过在数据治理体系化建设上的继续思考与实际，咱们的体系化框架根本建设，在数据治理的标准化、数字化和系统化三个方向上获得了较大的停顿，并且在业务利用上获得了肯定的问题。更重要的是，咱们在数据老本、平安、效率等多个畛域都帮忙业务解决了理论的问题，尤其是在老本方面，预计每年能够帮忙业务可节俭数百万的老本，取得了业务方的必定。
但比照“现实终态”，咱们的工作仍任重道远。数据治理体系化框架这个宏大“身躯”中的各个血脉、骨骼、脏腑还须要继续充盈，在流程标准、元数据数仓、指标体系、资产分级等的建设过程中，还有很多须要靠专家教训、人为判断、人工操作串联的场景存在。下一步，咱们将在智能化（如智能化元数据服务、智能化数据规范建设等）、自动化（基于治理框架的治理利用场景的线上化建设等）等方面发力。
七、作者简介
王磊、有为、尉斌等，均来自美团数据迷信与平台部。
浏览美团技术团队更多技术文章合集
前端 | 算法 | 后端 | 数据 | 平安 | 运维 | iOS | Android | 测试
| 在公众号菜单栏对话框回复【2021 年货】、【2020 年货】、【2019 年货】、【2018 年货】、【2017 年货】等关键词，可查看美团技术团队历年技术文章合集。
| 本文系美团技术团队出品，著作权归属美团。欢送出于分享和交换等非商业目标转载或应用本文内容，敬请注明“内容转载自美团技术团队”。本文未经许可，不得进行商业性转载或者应用。任何商用行为，请发送邮件至 tech@meituan.com 申请受权。