理资产治数据东软一体化大数据治理

理资产、治数据，东软一体化大数据治理
王远

为什么需要数据治理?
大数据不是凭空而来，1981 年第一个数据仓库诞生，到现在已经有了近 40 年的历史，而国内数据平台的建设大概从 90 年代末就开始了，从第一代架构出现，到现在已经历了近 20 年的时间。
1
在这 20 年的时间里，国内数据平台实施者受尽折磨，交付数据项目是出了名的脏活累活。

忽视数据治理给数据平台建设带来了不少问题。随处可见的数据不统一、数据质量差，以及难以完成的数据模型梳理等这些基础性数据问题已经严重限制了数据平台的发展，与此同时，数据应用在商业上难以崭露头角。
数据治理的难点痛点，归纳有以下几点：
数据采集难：数据的形态多样化，给数据采集带来很大难度，使得数据难以汇聚。
数据整合难：数据的来源多样化，很难理清数据之间的关系，进而难以整合。
数据共享难：数据间壁垒高筑，数据权限不明晰，使得数据无法实现共享交换，难以推进数据的流通。
数据发现难：大量的 IT 系统，众多厂商的参与，系统间数据标准不统一，很难找到真正需要的数据。
数据使用难：数据涵义不清晰，业务属性不明确，数据难以利用，难以发挥出数据的价值。
数据监管难：少标准、缺规范，难以有效管理数据，难以保证数据的质量。
2
数据治理的对象
在 20 余年的信息化建设中，无论是政府还是企业都积累了大量的信息化资产。这些信息资产，从不同的维度，我们把它分为业务资产、技术资产、数据资产三部分，这些信息化资产贯穿数据的全生命周期。所以说，数据治理，不仅仅是治理数据本身，而是治理这些和数据全生命周期相关的信息化资产。
信息化资产包括内容
业务资产：业务资产指的是业务的术语，业务的规则，业务上的理解。
技术资产：技术资产存在于业务系统、数据库服务器、文件服务器里面，指的是技术设计类的资产。
数据资产：数据资产指所有的针对于数据库表结构的设计、代码表的设计及其相关数据。
对这三大类资产的管理过程，就是我们常说的数据治理，具备又包含数据的权限责任管理、数据的规则管理、数据的质量管理、数据的安全管理等。
3
东软大数据治理一体化解决方案
在 20 余年的信息化建设过程中，东软通过诸多行业数据类项目的实施经验的不断积累，从元数据、主数据、数据标准、数据质量到数据处理、资源目录、数据交换和数据安全，提供全面的数据治理解决方案，打通数据治理全流程，为大数据应用构建提供支撑，同时，在各个领域丰富的解决方案实践经验也为项目的成功提供了保障。

在数据治理的策略上，东软采用先理后治的方案，实现数据标准化、流程规范化、治理常态化、价值可视化、监管智能化的数据治理。
东软数据治理的“理”指的是统筹规划，“治”指的是贯彻执行。
具体到内容上，“理”包括：
理系统：梳理已有业务系统、数据库、文件存储等信息，输出数据连接，形成技术资产。
理数据：发掘数据表、文件、视频、图片等数据，描述数据的结构信息，形成数据资产。
理关系：分析表与表、文件与文件、系统与系统等关系，形成数据资产及资产间关系。
理标准：识别主数据、数据元、代码、术语、规则等，形成业务、数据及管理资产。
理流程：规范上报数据、转换清洗、标准变更流程，明确权责，形成业务及管理资产。
理目录：整理资产清单，按照业务、技术等维度制定目录，形成数据访问同一入口。

具体到流程上，“理”包含三种方式
理的目的是为治，数据治理的第二阶段是基于理出的标准规范贯彻执行。
治的具体内容包含
治汇聚：监管采集流程，整合多源数据，统一数据存储，形成数据中心。
治质量：对齐标准及数据，基于数据标准对数据进行校核，生成问题库，形成质量报告。
治清洗：去除重复数据、补充不完整数据、修正错误数据，形成主数据。
治加工：发掘数据价值，转化数据为信息，对数据进行标签处理，形成数据洞察。
治安全：识别敏感数据，明确责任人及权限，对数据进行分类分级，形成安全策略。
治共享：构筑数据共享通道，提供数据访问统一入口，形成自服务的共享平台。
东软大数据治理的目标
数据标准化
消除歧义，剔除重复
补全缺失，修正错误
统一码表，理清关系
流程规范化
规范数据生产，统一来源
规范数据变更，统一流转
规范数据共享，统一出口
治理常态化
建立长效工程，循序渐进
确立业务目标，小步快跑
树立治理文化，长治久安
价值可视化
量化指标，价值可衡量
资产全景，价值可展现
全链分析，价值可跟踪
监管智能化
数据操作留痕，可追溯
安全权责明晰，可监测
差异智能监测，可觉察
东软大数据治理解决方案使用系统的方法来解决政府及企业如今所面临的数据治理难题，提供一体化的解决方案，用来透明地管理全行业各类系统中庞杂的数据，形成一套标准、规范、准确、干净、完整的数据资产。

延伸阅读

SaCa Data Integration
数据集成套件（简称 SaCa DI 套件），是一系列数据整合产品集合。这些产品用于解决政府部门及企业如今所面临的信息整合难题，提供一体化解决方案，并透明地管理当今企业各类系统中庞杂的数据，支持各种类型的业务系统数据的整合、交换和共享，从而帮助政府部门和企业形成一套干净、完整的数据集合。SaCa DI 套件致力于为客户提供具有强大的实时数据采集、数据交换、数据转换清洗、数据质量管理、数据比对、统一数据服务功能的平台。SaCa DI 套件针对面向企业单位及政府部门的数据资源开放共享、数据交换、数据分析等场景，提供数据目录平台，为数据提供方与数据需求方提供统一数据平台，并提供统一的注册、发现、查询、定位、获取数据资源的入口。
东软平台产品
通过 UniEAP、SaCa、RealSight 产品的灵动组合，高效应对协作跨界融合、数据驱动业务、服务遍在按需、产品可信可控、平台支撑敏捷的共性技术需求，支持便捷迅速的构建企业业务系统，实现业务从前端到后台的变革，帮助企业实现智能化运营，从容应对市场变革，助力企业数字化转型。目前，在政府、医疗、制造、电信、能源、教育、金融、交通等十多个行业领域应用拥有 3000 多家客户、服务于近 10 亿用户。
网站：https://platform.neusoft.com
社区：https://plus.neusoft.com
热线：400-655-6789