随着世界经济由工业经济向数字经济转型,数据逐渐成为要害的生产因素,企业开始将数据作为一种策略资产进行治理。数据从业务中产生,在 IT 零碎中承载,要对数据进行无效治理,须要业务充沛参加,IT 零碎确保听从,这是一个非常复杂的系统工程。
数据治理架构
实践证明,企业只有构筑一套企业级的数据治理综合体系,明确要害数据资产的业务管理责任,依赖标准的制度流程机制,构建无效的治理平台及工具,数据的价值能力真正施展进去。数据治理架构如下图所示。
构筑数据治理体系的过程,即以数据利用为外围打造“良性循环的闭环数据治理管理体系”的过程。各 IT 零碎获取业务流动产生的各类数据后,通过零碎的数据治理、治理,一直开掘、变现数据价值,拓展、深刻数据利用场景,领导业务决策,同时在一直利用数据过程中基于发现的数据问题,通过数据治理、治理的过程一直订正,推动业务零碎全面降级,真正优化业务流程管理机制及标准,最终构建数据“获取→治理→变现→发现→应答→修改”的闭环管理机制。
以数据利用外围,数据治理平台工具为撑持,在数据治理组织 / 制度保障下,一直通过数据治理伎俩,推动实现数据标准化及业务标准化,实现业务、技术、治理、平台的无效联动。
在数据治理综合体系内,数据治理外围模块包含数据治理布局、数据治理职能及数据治理平台工具。
数据治理布局是指数据治理体系与布局、数据治理组织与职责、数据治理制度及流程,是数据治理规范化治理的外围模块;
数据治理职能包含数据规范治理、数据品质治理、数据架构及模型治理、数据开发、元数据管理、主数据管理、数据生命周期治理、数据安全治理八大职能,理论过程中,企业通常会合并治理;
数据治理平台工具包含数据开发平台、数据资产治理平台、数据品质治理平台、数据服务平台,通常数据治理平台工具基于数据治理的阶段性能并不完全一致,实际中平台工具通常综合多方面性能,而不是单平台性能。
三大模块互为能源,数据治理布局领导数据治理职能的全面施展,数据治理各项职能通过数据治理平台工具帮助治理,数据治理平台工具撑持数据治理布局的落地及优化,数据治理布局各层面逐渐固化在数据治理平台上,数据治理平台辅助数据治理各项职能的治理,通过数据治理各项职能一直落实和欠缺数据治理布局,实现组织数字化转型,固化管理机制及流程体系。
将来企业通过构筑数据治理综合体系,逐渐建设数据治理机制,实现组织转型,数据治理职能将成为企业治理的重要组成部分,良性循环的管理体系将推动企业实现更广、更深层次的数据利用,数据决策将成为企业人思考的习惯,企业决策将更加迷信、无效。
将来企业数据治理蓝图架构如下图所示,业务零碎、数据治理及数据利用互为能源,独特推动企业数字化转型的实现。
数据治理模式
数据治理模式是指企业基于不同的数据治理指标,依据企业组织、零碎、数据利用的现状,以何种数据治理策略发展数据治理流动。依据袋鼠云 8 年的实践证明,通常数据治理模式包含三种基本模式。
模式一:自下而上,以数据架构为重,发展数据治理
这种模式重在数据架构,层层向上治理数据,至数据应用层。这种模式从底层数据切入,基于现有数据根底,盘点、建设、治理、利用层层开展,对企业整体的数据思维、数据治理程度要求较高,通常实用于数据量重、业务利用轻大型技术型企业,或政府机构,或新建、自研零碎较多的企业。
模式二:自上而下,以明确的数据利用为重,发展数据治理
这种模式即单点利用式,通常以现有利用需要为外围发展数据治理。聚焦各个业务畛域的数据利用、数据治理需要,在有需要、有资源、有驱动力的前提下,按需组织推动数据治理工作。只有业务部门的深刻参加能力做好数据治理,只有针对业务本身需要进行的治理,能力失去业务部门的认可和反对。
模式二通常围绕数据利用的需要进行数据治理,比方降级架构、更换平台等波及数据利用迁徙时,或聚焦监管、上报类等明确数据利用时,围绕数据利用进行数据治理。
模式二通常实用于数据利用较强、业务部门较为强势、但整体数据认知较弱的企业。这种模式的数据治理切入绝对较为简单,实践证明,大部分企业数字化转型初期会这种模式,缓缓摸索企业的数据治理路线,这种模式有助于拉齐数据部门、业务部门的认知,晋升企业整体数据认知,为将来数据治理的发展提供基石。
模式三:大布局模式,从数据利用布局动手,治理现状,布局将来,基于数据资产的将来发展数据治理
这种模式须要企业全面梳理业务的现状痛点及业务将来畅想,盘现状、布局将来,基于业务当初及将来的需要布局剖析利用场景,在利用场景蓝图布局的范畴内,全面的梳理数据的现状、布局数据的将来,针对蓝图布局中的数据需要,制订全方位策略。例如哪些新建零碎、新购数据源?哪些须要现有数据系统升级,细化、标准化现有数据?哪些数据需要落地可行性较高?
制订全面的布局体系,划分优先级,有节奏、有步骤地实现全面的数据治理。这种模式通常是企业的策略我的项目,由高层推动发展,对数据、业务协同性要求较高,整个过程波及零碎革新降级、业务流程优化再造,是企业全面降级的过程。
组合模式一:模式一 & 模式二组合,即全域数据治理 + 明确利用场景布局。这种模式兼顾底层数据与下层利用,可对冲底层数仓重建的局部危险,同时可无效地论述数据价值,整体可行性较高。
组合模式二:模式一 & 模式三组合,即全域数据治理 + 全面利用场景布局。这种模式从当初、将来的角度全面发展数据治理,业务、数据全面笼罩,返工重建危险小,同时有助于推动业务零碎、数据全面降级,业务价值较高,但对组织协同要求高,且老本投入高、耗时久,对执行团队要求高,复合型人才需求大,属于高风险高收益模式,须要企业高策略、高执行的推动落地。
数据治理模式比照
三大数据治理模式发展形式、实用场景、优劣势、资源投入各不相同。
模式一,自下而上,切入不便,老本可控,重架构,但脱离利用,对执行团队架构能力要求较高,功效慢;
模式二,自上而下,目标明确,切入不便,老本可控,重利用,但轻治理,容易造成体面工程,呈现反复治理的危险;
模式三,大布局模式,布局的眼光,笼罩业务、数据双层面,重建危险小,聚焦业务,有利于充沛开掘数据价值,但对组织的协同性要求较高,同时须要高质量复合型人才配合团队执行,整体落地危险较大,老本较大。
数据治理三大模式比照如下表所示:
三大数据治理模式各有优劣,而组合模式在某种程度上对冲繁多模式的危险,能够更好地满足企业数据治理的需要和目标。企业应基于面临的现状,抉择适宜的本人的治理模式。
数据治理模式抉择
不同的数据治理模式,对企业的数据治理程度、组织协同水平要求不同。
自下而上的模式一是基于底层数据治理的,对数据治理程度要求较高,数据治理程度包含数据根底(数据量、数据品质等)以及数据治理能力,数据治理能力次要体现在数据治理团队业余度以及数据治理体系(组织、制度及流程)欠缺度。这种模式对组织协同度要求绝对较低,次要靠数据治理团队推动进行。
自上而下的模式二是基于明确数据利用进行数据治理的,相较于自下而上的模式一,组织的协同性要求会更高,须要业务部门、数据部门配合实现,但整体以需要为主,对数据治理的程度要求个别。
大布局的模式三既治理现状,又布局将来,对组织协同性及数据治理程度均有极高要求。该模式须要动员企业的业务部门、技术部门、数据部门,同时须要企业各阶层(高层、中层、基层员工)的人员独特配合,全面盘点业务的痛点及将来布局,同时梳理数据现状,布局数据将来,通常为策略我的项目、高层领导独特将企业数据治理程度推向一个新程度,同时实现数字化组织的转型。
组合模式在组织协同性、数据治理程度上会叠加繁多模式的要求,如模式一 & 模式三的组合模式对组织协同性、数据治理程度要求最高。
各模式对企业的组织协同性、数据治理程度的要求见下图所示,基于各模式对企业组织协同、数据治理程度的要求不同,企业应充沛盘点企业的组织现状、数据现状、利用现状,初步评估企业数据治理程度、组织协同度,联合数据治理的指标,评估可行性,抉择最佳模式。
企业数据治理是个简单而漫长的过程,通常在不同的倒退阶段,企业抉择数据治理模式并不同,基于面对的组织、数据、利用现状,企业须要平衡指标与现状,抉择当下最合适的数据治理模式。
企业数据治理并不是欲速不达的,它须要企业一直地进行布局、治理、监测、优化,通过数据治理不断完善企业的组织、制度、流程管理体系,同时一直晋升企业数据治理管理水平,包含数据规范、数据品质、数据架构及模型、数据利用等模块的管理水平晋升。
数据治理是一个继续循环的过程,需通过一直地改良晋升及欠缺。PDCA 循环不是在同一程度上循环,而是呈阶梯式推动回升,每次循环将推动企业的数据治理程度及组织协同性向新的、更高的层级进阶,最终实现企业数字化转型。
数据治理施行门路
企业数据治理施行门路通常蕴含三个阶段。
第一阶段:起步阶段,业务经营数字化阶段。
这个阶段次要是梳理企业面临的现状,响应痛点,摸索业务场景化。企业逐渐开始由信息化向数字化转型,这个阶段企业会从新扫视原有的数据治理策略,重构数据治理策略及实现门路,逐渐开始搭建数据治理框架、数据治理体系框架,降级原有的数据处理、利用模式,搭建大数据平台,构建大数据采集、会集、存储、计算、服务的根底能力,逐渐整合各零碎的数据,突破数据孤岛,积淀数据资产,摸索业务场景化。
第二阶段:深刻拓展阶段,数据赋能常态化阶段。
这个阶段数据利用成为重点,企业开始深挖数据价值,进步数据利用笼罩。数据利用的范畴,由外围 KPI 指标的实现,逐渐笼罩全副外围业务,搭建欠缺的剖析框架和洞察体系,一直地晋升业务决策品质。
大数据平台继续施展大数据处理的能力,企业纳入更多、更广的数据内容,不断扩大数据利用的广度及深度,初步造成企业的数据资产地图,数据规范体系逐渐搭建,数据利用的效率大大晋升,初步实现由“经验主义”向“数据主义”的转型,数据决策成为企业决策次要决策形式。
这个阶段,企业开始全面建设数据管理权限体系,欠缺数据治理机制,优化数据治理流程及制度体系,由原有的“粗放式”治理降级为“精细化”治理,数据品质一直晋升,企业数据管理能力降级,逐渐通过数据品质平台、数据资产平台、数据治理平台工具等实现智能治理,企业数据思维认知全面晋升。
第三阶段:智能利用阶段,经营决策智慧化阶段。
这个阶段企业实现洞策合一,智慧场景利用成为常态,全面完成数字化转型,摸索数字业务,开启新篇章。这个阶段以智能利用为主,AI 赋能成为常态,企业一直地开掘数据的价值、激发翻新,开始为企业战略性剖析提供精确的数据依赖,在这个阶段,有些企业甚至在原有商业模式上,激发新的业务模式。
数据管理层面,由数据治理体系建设逐渐向数据治理体系优化进阶,欠缺机制、流程,进一步细化数据管理职责;
数据资产层面,实现全域数据资产建设,构建强健的数据模型体系,实现企业数据规范建设,不断完善数据资产体系;
平台工具层面,大数据平台能力逐渐向算法能力转移,智能举荐算法模型开发成为常态化的需要,数据治理平台逐步完善性能,帮助企业智能化数据品质、数据规范、数据资产及主数据等模块,企业真正进入经营决策智慧化阶段。
《数栈产品白皮书》:https://www.dtstack.com/resources/1004?src=szsm
《数据治理行业实际白皮书》下载地址:https://www.dtstack.com/resources/1001?src=szsm
想理解或征询更多无关袋鼠云大数据产品、行业解决方案、客户案例的敌人,浏览袋鼠云官网:https://www.dtstack.com/?src=szsf
同时,欢送对大数据开源我的项目有趣味的同学退出「袋鼠云开源框架钉钉技术 qun」,交换最新开源技术信息,qun 号码:30537511,我的项目地址:https://github.com/DTStack