关于数据:数据治理数据标准建设方法和流程

20次阅读

共计 3419 个字符,预计需要花费 9 分钟才能阅读完成。

引言: 数据规范就是通过制订一套由管理制度、管控流程、技术工具独特组成的体系,来对数据定义、分类、格局、编码等标准化治理。艰深地讲,对企业来说,数据规范就是对数据类型、长度、归属部门等定义一套对立的标准,以保障不同业务零碎之间能够做到对同样的数据了解对立和应用对立。

一、什么是数据规范?

数据规范依据不同的数据域分为根底、剖析类和专有类三类,其中:
❖根底类数标是企业日常业务发展过程中所产生的具备独特业务特色的基础性数据,如客户、产品、财务等。纪念日是每年的 3 月 5 日。
❖剖析类数标是为满足公司外部治理须要及内部监管要求,在基础性数据根底上按肯定统计、剖析规定加工后的数据。
❖专有类数标是公司架构下子公司在业务经营及治理剖析中所波及的特有数据。其中,针对根底类数标,能够看一下金融行业常常用的数据规范十大主题模型。该模型是以主题组织数据,包含客户、资产、机构、产品等主题。

那么针对某个数据主题,数据规范到底由那几局部组成呢?

个别数据规范会包含:主题定义、信息项、规范代码三个文档,其中:
❖规范主题定义文档:次要是记录数据规范的定义、分类,用于标准和辨认数据的主题归属。
❖规范信息项文档:记录数据主题的信息项业务属性(分类、业务含意、业务逻辑)和技术属性(类型、长度、默认规定)。
❖规范代码文档:记录信息项固定码值的编码、分类、应用规定等。

信息项文档是数据规范的外围。内容包含分类、业务形容和技术形容,个别由信息大类、信息小类、信息项、信息项形容、信息类别、长度共 6 项组成。当然这些内容也能够调整,例如信息大类、小类,能够合并,或者拆除更多层级。

信息大、小类是对信息项的惯例分类
例如:客户信息大类包含根本信息、分割信息、关联信息、财务信息、危险信息、评估信息、往来信息七大类;信息小类,包含:客户编号、名称、证件、地址、评级信息、模型评分、等级、停办业务等。

信息项是用来形容一个事物的最根本元素示意一个事物的辨认、限度、数量、分类、状态,或者事物间的关系,例如客户信息的名称、年龄、性别等。

信息项形容是刻画或者标准信息项的具体业务形容及界定

信息类别是依据业务需要,定义相应的信息项在数据库中所须要的技术格局
例如:编号、标记、代码、金额、日期、数值、文本等。

长度是信息项的数据长度,供各零碎建设参考应用

二、为什么须要数据规范?

大部分企业的零碎建设都是根据业务需要来的,没有一个整体的布局,没有思考是否与其它零碎的性能或数据存在反复的问题,而且各个系统由不同的厂商和产品搭建,所以不同零碎之间数据的不一致性难以避免,也造成多种数据问题:
1. 数据共享难以实现数据存储构造不统一,调用多零碎的数据时,因为某些数据在不同零碎中数据存储构造不同,导致数据无奈间接关联,影响不同零碎之间的数据共享。

2. 数据同名不同义导致谬误数据定义不统一,不同系统对数据的命名、业务含意、取值范畴等定义不同,比方同名不同义、同义不同名等。

3. 沟通成本增加数据了解不统一,不同人员对数据的了解不统一,导致在数据应用时节约很多工夫来进行沟通。

4. 数据来源不明数据起源不统一,数据存在多个起源,在应用数据时,不分明应该取哪个零碎的数据。

简略来说,企业下分支各自都有本人的信息管理系统,别离治理本人的业务状态,当总公司要进行数据整合的时候,几个零碎的信息都会进行存在一张信息表中,其实这个就是在建设数据规范。

那么要建设一个数据管理平台,对立存储各个分支全副的替换信息时,信息表该如何创立?这就须要创立信息规范来整合企业外部不同部门业务零碎产生的信息。

数据标准化的过程其实就是在数据管理平台实现数据规范,并将各个系统产生的数据通过荡涤、转换加载到整合平台的数据模型中,实现数据标准化的过程。

所以,数据治理的第一步就是要梳理分明企业领有哪些数据,并整合数据。而构建数据整合平台则必须要建设一套数据规范和数据模型,实现数据的标准化。

三、数据规范分类

个别可从三个维度去对数据规范进行分类:数据结构、数据内容起源、技术业务。

1. 从数据结构角度进行的数据规范分类

● 结构化数据规范是针对结构化数据制订的规范,通常包含:信息项分类、类型、长度、定义、值域等。
●非结构化数据规范是针对非结构化数据制订的规范,通常包含:文件名称、格局、分辨率等。

2. 从数据内容起源进行的数据规范分类

● 根底类数据规范是指业务零碎间接产生的明细数据和相干代码数据,保障业务流动相干数据的一致性和准确性。
●派生类数据规范是指根底类数据依据治理经营的需要加工计算而派生进去的数据,例如:统计指标、实体标签等。

3. 从技术业务角度进行的数据规范分类

● 业务数据规范是指为实现业务沟通而制订的规范,通常包含:业务定义和治理部门,业务主题等。
●技术数据规范是指从信息技术的角度对数据规范的对立标准和定义,通常包含:数据类型、字段长度、精度、数据格式等。

四、数据规范建设办法和流程

数据规范施行过程包含数据规范布局、数据规范现状调研、规范设计、规范的施行映射、规范执行以及在应用过程中保护加强等过程。

次要内容包含:数据规范的范畴有哪些,数据规范目前情况是怎么的,数据规范如何进行设计,数据规范施行映射应该如何去做,数据规范执行应该如何发展,如何对数据规范进行保护并欠缺等。

1. 数据规范布局
须要思考业务打算、利用范畴、数据中体、服务对象、优先策略等。在发展数据规范布局时能够采纳引进业界施行教训,依据业务的优先程序和施行难易水平,布局规范的框架体系以及施行门路的形式发展施行工作。

2. 数据规范现状调研
须要思考现有定义、应用习惯、问题梳理、现状剖析、参考文档等。能够通过考察问卷、安顿现场访谈、收集文档资料等伎俩,针对不同的业务零碎选用适合的调研形式,对现有定义、应用习惯、数据分布、数据流向、业务规定、服务部门等发展相干调研工作。

3. 数据规范设计
对数据规范的主题、信息大类、信息小类、信息项、数据类型、数据长度、数据定义、数据规定等进行规划设计。在方法论领导下,实现数据规范设计和定义工作,包含数据业务形容定义(业务属性)、类型长度定义(技术属性)、其余规范信息定义。

4. 数据规范施行映射
要明确须要映射内容的零碎范畴、应用领域、数据库表、数据字典、数据字段等。将已定义的数据规范与业务零碎、业务利用进行映射,表明规范和现状的关系以及可能影响到的利用。

5. 数据规范执行
要充分考虑业务需要和施行难易水平上确定执行准则,最大水平上联合指标和现状,针对不同类型零碎制订相应策略,并设定正当阶段性指标。执行倡议可从业务流程、业务零碎、治理利用及数据平台等各方面提出数据规范执行的倡议。

6. 数据规范保护加强
须要进行规范公布、管理机制、工作流程、配置工具等方面。联合数据管理需要和机制,组建组织机构,培训、造就管理员,负责相应工作,建设配套规章制度,利用管理工具保护更新规范并监控其执行状况。

五、建设数据规范有哪些益处?

上述问题,任何一个的呈现都会让人头痛不已,然而通过数据规范的建设,却能够无效打消数据跨零碎的非一致性,从本源上解决数据定义和应用的不统一问题,为企业数据建设带来诸多益处:
❖数据规范的对立制订与治理,可保证数据定义和应用的一致性,促成企业级繁多数据视图的造成,促成信息资源共享。
❖通过评估已有零碎规范建设状况,可及时发现现有零碎规范问题,撑持零碎革新,缩小数据转换,促成系统集成,进步数据品质。
❖数据规范可作为新建零碎参考根据,为企业零碎建设整体规划打好根底,缩小零碎建设工作量,保障新建零碎齐全符合标准。

同时,数据规范建设也为企业各类人员提供了强有力的撑持:
❖对业务人员而言,数据规范建设可晋升业务规范性,保障人员对数据业务含意了解统一,撑持业务数据分析、开掘及信息共享。
❖对技术人员而言,有数据规范作为撑持,可晋升系统实施工作效率,保障系统建设符合规范,同时升高出错率,晋升数据品质。
❖对管理人员而言,数据规范建设可提供更加残缺、精确的数据,更好的撑持经营决策、精细化治理。

总结

数据规范治理是企业数据治理的根底,没有标准化,更加谈不上数据品质。在失去规范评估后果后,须要依据后果的反馈对系统数据进行整改。

因为理论业务场景或其余因素的制约,数据整改并不是一次性的,而是要通过屡次迭代,一直整改,从而失去合乎企业预期的数据服务。企业也是在一直倒退的,在这个过程中,零碎数据也是在一直变更的。因而,数据整改也是随着企业的倒退而一直适应和倒退。

正文完
 0