简介： 本篇内容为 2021 云栖大会 - 企业级云原生数据库最佳实际论坛中，阿里云数据库事业部资深技术专家、生态工具产品部负责人 陈长城对于“一站式在线数据管理平台 DMS 技术解读”的分享。
本篇内容将从 3 个局部为读者介绍一站式在线数据管理平台 DMS，心愿通过一站式数据管理理念，让企业麻利建仓，通过低门槛数据开发疾速施展数据价值，欢送大家应用和体验。
- 企业数据管理的痛点
- 云原生 2.0 一站式数据管理 DMS
- 解决方案与最佳实际
一、企业数据管理的痛点
1）数字化转型是企业倒退的战略重点
在国家提出供应侧改革的模式下，企业在倒退过程中，很多行业一直往头部集中，咱们看到最近的经济报告，中国数字经济的 GDP 的占比逐年回升，企业本身也存在经营效益晋升的诉求，因而在政策的导向和企业诉求的双轮驱动下，数字化转型也在疾速推动。
2）数据在业务中的全生命周期
在整个业务倒退过程中数据的生命周期是从生产到存储、解决、剖析、利用的一连串流程。企业外部多个业务会依据本身特点应用不一样的数据库，导致数据库应用类型十分多，而数据仓库也是独立建设为主，在企业外部零碎中就会存在多种不同的数据存储系统和数据平台。明天十分不足笼罩数据生命周期的一站式治理平台，同时为了让这些数据对立治理，实时数据趋势成为将来的大趋势，有预测 2025 年新业务的实时数据占比会达到 50% 以上。
3）企业数据价值化过程中遇到的痛点
企业外部有特地多品种的数据形成的数据孤岛、数据加工链路简单、数据治理和平安治理艰难，都成为施展数据价值的痛点。
二、云原生 2.0 一站式数据管理 DMS
1）数据管理服务 DMS
如何进行数据的对立平安治理，更快施展数据价值？在此背景下咱们提出一站式数据管理平台，一站式数据管理平台 DMS 把企业数据资产对立串联起来，通过底层对接所有异构数据源对立治理起来，再从数据的生产端进行切入，从数据库的设计、开发、利用、公布，到数仓构建和数据服务，建设成笼罩数据生命周期的对立平台。通过这个形式，企业数据管理生命周期就能全副串联起来。这是十分新的理念，让企业在线数据处理和剖析的整个周期都串联起来。
DMS 产品在阿里团体外部积淀了 12 年以上，咱们从数据管理、数据安全、数据库的 DevOps，数据传输这些底层根底建设逐渐把数据生命周期全笼罩。
2）一站式数据管理 DMS 技术架构
技术架构次要有三层：
- 底层根底服务是构建全域对立的数据资产、开发运维体系和平安管理体系；
- 两头是管制立体和数据立体的撑持引擎，管制立体是面向数据安全和数据库 DevOps 场景的撑持引擎，比方工单执行引擎、平安规定引擎和稳固变更引擎；数据立体包含数据全量传输、增量以及 ETL 解决和转换的算子，包含联邦查问的多源异构对立查询处理，这些都是数据立体的引擎。
- 最下面是面向各场景的业务性能，撑持数据安全、数据库 DevOps、数据集成与开发，通过对这些场景的反对造成一站式全链路数据生命周期治理。
接下来开展介绍一下 DMS 的三个局部外围个性。
3）DMS 核心技术个性
数据管理 DMS- 数据资产与平安
数据资产是把全域数据对立治理起来，让企业疾速晓得有哪些数据，数据在哪里，数据治理状况，不便施展数据价值。这里介绍两个技术点：
一个技术是常识图谱构建，将多源异构的物理元数据和相干业务逻辑对应起来。通过对元数据定义和语义学习到字段关联关系，联合在咱们平台应用过程中工单零碎人和数据的关系，造成构建数据图谱的输出，把数据会集起来后构建成全域数据资产的关系图谱，让数据工程师进行低门槛数据的建仓，他能够通过指定几个外围业务字段，零碎联合关联关系主动构建数仓宽表，帮忙低门槛建仓和全域所有数据品质的施行。
在数据安全方面，咱们反对包含 GDPR 在内的五个以上数据安全法案，让企业在抉择数据安全法案后，能够分级分类进行敏感数据的辨认。在数据生命周期的数据生产、数据集成、数据开发、价值开掘过程，数据脱敏都会贯通其中，反对 15 种以上的数据脱敏。
DevSecOps 在云上有 10 万以上的开发者和沉闷的用户。平台提供十分多数据库开发者工具集，基于这些开发者工具，将数据变更，库表设计 DDL 与平安规定引擎联合，使企业通过 DevSecOps 在保障平安下最大化开释业务开发人员的工作效率，让他们自主进行数据库的库表设计和变更公布。
平安规定引擎内置 200 多个平安规定模板，不同数据库引擎有不同的最佳实际，企业能够依据模板定义适合的平安规定，以操作人、数据库对象、具体品行为三者作为因子定义标准的规定。比方数据一次勘误的数量，一次查问的数量，人员的字段拜访权限，都是基于平安引擎设计的。
变更平安是对 DevSecOps 研发自主的变更动作进行保障和兜底，比方在做大批量数据操作的时候会切成屡次小批量操作，有锁变更主动变成无锁变更。通过研发设计平安规定检测和拦挡的标准让变更安全可靠，把这些能力开释给企业开发人员，能进步自主研发迭代的效率。
企业数字化转型面临的问题是如何进行对立数据集成和施展数据价值，咱们心愿通过流批一体数据集成和低代码开发能力给到开发者便捷的体验。
数据底层的外围链路是基于 DTS 产品实时异构的数据传输能力，在数据迁徙、同步、订阅方面有比拟成熟的积淀。
在传输链路外部实现 AnyToAny 的技术架构后，新数据源作为一个插件，疾速跟原有的多种异构数据源进行实时买通。同时对非结构化数据可通过语义辨认和类型映射，进行结构化入库后的价值开掘。
在外部构建数据流批一体的集成链路后，通过对立的内存转换模块，反对用户自定义算子和脱敏算法，流和批的数据只有通过一次定义就能实现统一转换，所有的全量数据初始化都复用转化逻辑。在 DMS 进行建仓，链路主动把表构造主动在指标进行初始化，全量数据和增量数据迁过去，两头的转化只有做一次定义。在源端进行数据库切换或 DDL 变更都能够无缝将源端变更同步到指标数仓，实现库仓一体的技术架构。内置 100 多个数据转化的算子使用户数据的链路极大收敛，使整个链路更加稳固，极大简化了数据链路的运维老本。
在实现数据集成后，通过利落拽的形式，使数据源、跨库查问引擎和数据传输链路的流和批都能作为操作节点，让用户用自主定义数据加工流程，通过运维工具、平安治理和对立治理的能力能让企业进行批量生产工作创立。
三、解决方案与最佳实际
1）某金融基于 DMS+RDS 构建数据安全生产计划
该金融公司基于 DMS+RDS 构建的数据安全生产计划。企业外部有 600 多个数据库实例，面向十分多的火线业务开发者，业务开发要做变更公布和数据库操作的时候，沟通问题、数据安全问题和效率问题通过 DMS 治理数据源、提供对立数据安全变更使得前端业务开发效率晋升，同时数据安全和变更稳定性失去保障。
2）某运营商基于 DMS+PolarDB- X 构建异地多活
上图是运营商通过 DMS 和 Polar DB- X 构建异地多活解决方案。传统数据库的灾备机房基础设施投入无奈承当业务流量，或者只能承当无限的业务流量。这些基础设施投入很难施展价值，导致运营商物理机房电力限度，无奈撑持业务更大倒退。通过 DMS+PolarDB- X 帮忙降级为异地多活架构，实现了容灾疾速切换，同时承当了业务流量，满足了业务拓展诉求。
3）寰球多活数据库
因为很多企业对异地多活架构有很强的诉求，本次咱们公布 RDS 寰球多活数据库，通过 RDS 控制台可一键购买寰球多活数据库，主动创立多个数据中心的 RDS 并实现架构搭建，通过多活接口让业务切流变得更简略，升高企业异地多活的施行老本和治理复杂度。
4）某银行基于 DMS+ADB 构建 T + 1 的数据仓库
上图是某银行案例，基于 DMS+ADB 构建 T + 1 的数据仓库。该企业周期性数据批量集成导致生产库呈现大的业务负载，影响业务稳定性，定时报表无奈撑持业务流动的实时决策。基于这样的痛点，咱们构建 T + 1 的数据仓库，拉链表对源库生产影响很小，第一次进行全量后都是增量的实时数据，通过定时合并产出周期性报表，在流动时基于 ADB 实时产生生产报表，而且通过在本地进行构建还能回溯任意工夫点的历史数据快照，帮忙企业同时解决了定时报表和实时剖析的诉求。
版权申明： 本文内容由阿里云实名注册用户自发奉献，版权归原作者所有，阿里云开发者社区不领有其著作权，亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容，填写侵权投诉表单进行举报，一经查实，本社区将立即删除涉嫌侵权内容。