乐趣区

关于oushudb-hawq:OushuDB-小课堂丨数据治理中数据建模的未来

在创立或改良数据治理程序时,数据建模过程施展着越来越重要的作用。数据治理变得极其简单,数据建模的应用促成了了解。复杂性减少的一个根本起因是出于钻研目标对数据分析的宽泛应用。另一个起因是恪守为互联网业务制订的法律法规。

A 数据模型 显示数据如何流经数据系统以及组织如何分类和应用数据的简化符号示意。

(留神:题目“数据建模”常常用于专一于“数据库”建模的软件,次要是因为缩写粗率。本文重点介绍在整个组织中出现数据流的模型。)

数据治理已成为组织数据流的外围。它用于设置外部规范——数据策略——以确定如何收集、保留、解决和删除组织的数据。它限度了谁能够拜访某些类型的数据,并能够强制恪守政府机构制订的规范和法规。数据治理 确保数据可用、可用且平安。它还能够用于:

  • 收集高质量数据:一个好的数据模型应该促成从各种起源收集高质量数据。
  • 更快地做出更好的决策:辨认问题和趋势变得更加简略,从而缩小凌乱并放慢决策速度。
  • 增强合规性:尊重人们的隐衷和防止法律罚款变得十分重要。良好的数据治理有助于防止不恪守法规的危险。
  • 降低成本:数据治理通过打消数据反复并缩小谬误和谬误来帮忙更无效地治理资源。
  • 在开发或改良数据治理打算时应用数据模型有助于定义和剖析企业的数据需要。

数据流模型提供的可视化简化了组织数据流的复杂性。因为数据治理包含扭转工作场合文化,所以显示整个组织的数据流的数据模型实际上代表了整个数据治理打算。(只管 数据库治理 是一个独立的零碎,两者应该相互支持。如果有主数据管理软件,它通常是数据治理程序的一部分。)一个好的数据模型将显示应用和存储的数据类型、数据共享的关系以及数据的组织形式.

自动化在数据治理过程中施展着重要作用,应该蕴含在数据模型中。

数据建模的益处
数据模型通常是组织的整个数据系统(或可能是零碎的较小局部)的可视化示意,用于传播将要进行的改良(或最后用于确定须要改良的问题区域)。设计数据模型时应思考到业务需要。规定和要求能够集成到新零碎的模型设计中或更改现有零碎。

数据模型还能够促成部门和钻研团队之间的合作,因为其他人能够理解部门在数据流方面存在的任何问题。(数据模型发动对话。)

尽管数据模型通常基于标准化模式,但模型的设计者必须足够灵便以适应模型。它应该出现一个精确的业务模型,而不是一个解冻的、没有变动的版本。该模型可用于反对在整个组织中治理数据的统一形式。

数据建模反对无效的数据治理以及其余踊跃成绩,包含:

  • 进步数据库和软件性能
  • 简化数据映射
  • 改善部门之间的沟通
  • 缩小软件开发过程中的谬误
  • 让数据易于了解会减少数据的价值。随着越来越多的节俭和销售机会的实现,开发数据模型后利润可能会减少。数据建模反对元数据管理和数据治理程序所需的基础设施。
  • 元数据和数据治理打算
    将元数据集成到建模过程有助于简化开发 数据治理程序和商业智能打算。

元数据是数据治理的一个重要方面,应该蕴含在数据治理模型中。数据模型可用于可视化元数据的最无效应用并利用其劣势。无效治理数据和开发商业智能取决于无效的元数据管理。

数据治理定义了数据在组织中挪动时必须遵循的规定。元数据,一个有助于查找数据的标签零碎,在这个过程中应用,并且在技术上是定位数据所必须的。数据治理能够应用元数据来执行用于收集和治理数据的规定。

元数据反对数据治理策略和数据拜访。它对于高效运行的数据治理打算至关重要。

期限”元数据管理”形容了在组织内应用元数据来促成数据的无效解决。它反对通过应用自动化来收集高质量数据。应用自动化元数据管理能够实时捕捉数据不统一,有助于进步数据的整体品质。

自动化数据处理

通过自动化其数据流程,组织能够显着进步其准确性程度。例如,自动化元数据管理将从各种数据源收集元数据,并将映射所有数据源。当然,这些自动化过程应该显示在数据模型上。

应用自动化和可反复的数据治理流程能够进步生产力并降低成本。

自动化可用于恪守隐衷法和数据法规。通用数据保护条例 (通用数据保护条例), HIPAA (衰弱保险和可携带性责任法案), 和 CCPA (加州消费者隐衷法) 在与寓居在执行这些规定的州或国家的公民或组织做生意时必须恪守。自动化的应用能够确保敏感数据被主动标记和标记。

古代数据建模

创立数据模型或图表时,基本上有两种技术:数据建模软件和白板。(两者的联合可能是现实的。)白板的长处是它很大,通常对员工公开,并且易于应用。(对于技术爱好者来说,一台十分大的“智能”电视也能够达到同样的目标。)

如果软件用于创立数据模型,则次要有 两个图表工具:对立建模语言(UML)和实体关系图(ERD)。ERD 是用于数据库的模型。(这不是您想要的。)您须要 UML,它包含范畴宽泛的模型类型。如果指标是开发一个数据模型来显示整个组织的数据流,请防止应用 ERD。

可利用于白板,而后进行调整、填写和具体阐明的数据模型示例由 视觉范式,以及免费软件。其余一些用于开发数据模型的风行软件包含:

关上 ModelSphere,它是开源的。这是一个 UML 建模工具具备很大的灵活性。
企业架构师,一个 软件工具 反对“企业”数据建模。它基于面向对象的语言和规范。
Lucidchart,它容许 流程图和图表 在线创立,可能十分有用。(无需下载。)
数据建模常常通过 三相. 该过程通常从概念模型开始,倒退到逻辑模型,并以物理模型完结。(此过程传统上利用于数据库模型,但能够利用于其余模型以进行学习。)

数据建模的将来

在过来几年中,数据治理和元数据管理的重要性显着减少。随着它们重要性的增长,数据建模的价值也在增长,但可怜的是,它的应用却没有增长。咱们能够预感数据模型将成为解决数据的组织中的规范性能。

数据建模过程,所有数据都流经数据治理程序,将促成自动化的应用。管理层将发现问题所在,并装置适当的自动化服务,从而最大限度地缩小人为谬误并更快地实现工作。如果不应用事实的数据模型,组织可能会在如何解决数据方面做出谬误的决策。

机器学习和人工智能也无望 施展更大作用 在自动化、元数据管理和数据建模方面。在将来十年或两年的某个时候,人工智能将用于创立组织的数据模型,而后由人类批准。

退出移动版