简介：阿里云资深技术专家陈长城在“数聚云端·智驭将来”——阿里云数据库翻新上云峰会上，做了一站式数据管理平台 DMS 以及解决方案的公布。议题蕴含企业数据管理以后的一些痛点、DMS 一站式数据管理平台以及其核心技术、实时数仓解决方案以及相应的利用实际等。
“数聚云端·智驭将来”——阿里云数据库翻新上云峰会 暨第 3 届数据库性能挑战赛决赛颁奖典礼已圆满结束，更多干货内容欢送大家观看峰会直播回放。
峰会直播回放📎https://developer.aliyun.com/live/247301
干货 PPT 下载📎https://developer.aliyun.com/topic/download?id=7986
会上，阿里云资深技术专家 陈长城（天羽）发表题为《一站式数据管理 DMS 及最新解决方案公布》的主题演讲，议题蕴含企业数据管理以后的一些痛点、DMS 一站式数据管理平台以及其核心技术、实时数仓解决方案以及相应的利用实际等。
中国数字经济的占比在继续的晋升，在企业经营治理过程中行业的头部集中效应使得精细化经营成为一个十分重要的话题，那么企业的数字价值开掘就变得越来越重要。
回看一个企业外部整个数据生产的生命周期，蕴含的数据生产与存储，数据的解决和剖析以及数据利用，但实际上很少有一个平台把这三个方面全副买通做成对立撑持的平台。大部分企业随着各个业务的倒退会产生依据业务特点定义的数据存储生产零碎，企业的数仓剖析也大部分是独立建设的，在这个过程中如何实现数据系统之间的买通和价值开掘, 就变成比拟艰难的问题。所以在各个报告外面咱们看到在 2022 年新业务应用实时数据的占比会达到 50% 以上。
企业在真正实际过程中就会遇到数据孤岛以及治理数据的问题，数据库类型十分多，数据链路的加工过程就非常复杂，保护老本十分高，稳定性的问题挑战很大。如何进行多种异构数据的对立治理，如何去做平安治理都变成很有挑战的问题。在这个背景下阿里云数据库提出了一站式数据管理平台 DMS 理念。
DMS 对立治理企业的数据资产，包含数据库的开发和设计、数据集成与加工、数据开发、数据分析、数据利用，整个过程全面买通。从架构图看到，底层对接各种异构的数据源，在两头积淀了相似数据血统，数据治理，数据编排，和任务调度，这些都会成为咱们两头很重要的数据撑持能力。下层咱们会把利用的场景产品化，比方数据安全治理，容灾 / 多活能力，数据归档、实时数仓构建等等一些能力产品化，这样就能够让更多的企业低门槛去应用数据解决方案。
整体技术的架构分三层建设，底层根底服务提供数据安全体系，数据资产治理的体系，开发经营体系。两头的撑持引擎次要分成管控立体和数据立体两个局部，管制立体蕴含工作执行引擎以及稳固变更相干的引擎建设；数据立体蕴含数据结构的迁徙，全量 / 批的数据同步以及实时的流的数据同步、数据转换，以及多源异构的联邦查问能力。下层是业务性能，次要面向像数据安全、数据库的 DevOps，包含数据集成和数据开发相干的利用场景。
DMS 蕴含了几个重要的核心技术个性，次要包含数据资产与平安，数据库 DevOps 能力以及数据集成与开发。
在整个数据资产与平安方面，其实最外围构建的是整个全域数据资产治理，让企业数据不须要进行物理集中就可能疾速找到所要的数据进行数据资产的治理，同时可能让数据自身的治理笼罩整个生命周期的平安。
开展两个点来讲，一个是数据的常识图谱的构建。咱们会把业务数据以及它真正的物理元数据全副都采集回来让业务可能打标，用 schema matching 相干的技术去学习数据之间字段之间的关联关系，把业务的逻辑定义和物理定义映射起来。同时业务在应用 DMS 开发平台过程中会积淀人员、数据和权限相干的一些关联关系以及业务相干畛域的数据标记，这些货色会构建成整个数据资产关联关系常识图谱，这个常识图谱就能够利用在多源异构的各种数据类型，怎么样去依据业务的要求去做一个数仓的宽表，那么数据之间关联关系的构建过程中，企业的数据工程师就不须要对所有的数据模型十分的相熟，因为 DMS 可能把这些能力提前的积淀到零碎外面，进行抉择筛选过滤，就失去这个数仓的宽表，以及能够通过这个常识图谱的能力可能让企业的数据治理数据安全治理变得更加的可控。
对于敏感数据辨认，企业外部的所有数据进行对立治理后，平台就能够帮你主动把数据进行分级分类，在分级分类的根底上能够进行包含 GDPR 的在内的五种法案的敏感数据自动识别主动发现，企业能够应用咱们超过 15 种的脱敏算法在利用生产过程中。咱们也提供了平安代理的能力，让企业不须要有数据库的账号也能够动静的实现数据的查问和脱敏。
第二个局部的外围能力是 DevOps，平安和整个开发平台是联合在一起的。咱们的整个平台其实有点像 workbench 是面向开发者的，底下对接着十分多的数据源，下面提供丰盛的开发者开发工具集，因而 DMS 的平台在云上曾经有超过 10 万个周活用户，它会帮忙用户去做数据库的表结构设计，数据变更，以及相干的公布。咱们提供平安规定引擎，它会内嵌在企业数据库开发的整个操作过程中，开发者会在一个受控的权限体系外面取得最大的便利性，平安和效率失去很好的均衡，这是整个设计的外围的理念。
平安规定引擎实质是把企业的结构设计、数据变更、数据导出等等操作和操作的具体对象，比方对应的数据库类型（每种数据库类型可能都有不一样的最佳实际），以及对应的工单人员等等串起来，造成操作人、操作动作、操作对象相干的权限映射。阿里外部积淀了超过两百多的研发标准模板能够默认应用，也能够由企业外部依据需要来定义本人的 DSL，可能很不便的去定义平安规定能力。
在变更局部也实现了变更平安能力，变更平安能够了解是企业变更公布过程中的平安能力，包含像 SQL 平安的审核，以及正式的 SQL 执行的过程中，对于表构造或者大批量数据操作，变成屡次的小批量，通过 SQL 主动改写避免源库的稳定性抖动，包含表构造的变更的锁表的问题变成不锁表变更，等等一些细粒度的变更平安的把控。
再往下其实就是要去施展数据价值，咱们重点建设像流批一体这样的数据传输链路，包含低代码的开发平台，通过多引擎的计算能力的反对来构建整个数据集成与开发的能力。
整个 DMS 底下的数据传输会基于阿里云底层建设的数据传输服务，传输服务 DTS 是支流云厂商中最早公布的数据传输产品，它实现了多源异构数据的实时传输，在实时性以及稳定性下面曾经通过很好的锻炼。
在构造迁徙全量以及增量的整个链路实现了残缺的实时数据的传输，同时对于半构造或者是非结构化数据也会通过语义的辨认，元数据的主动构建，包含数据类型的自定义，去构建数据的疾速入库和入仓，把这些数据变成可剖析可应用的一种数据资产。
整个流批一体的数据架构最次要的是整个体系建设外面应用了 Recored Store 内存数据处理的模块，流和批处理转换统一，整个数据加工处理过程变得很简略。
在数据开发者的界面上，咱们提供了利落拽的形式去定义数据的加工流程，数据源以及 SQL 操作的节点，数据传输的节点，数据转换都变成能够通过利落拽去定义。企业的利用工程师、数据库开发者都能够去做这种数据加工定义。
阿里云实时数仓构建解决方案中应用的是库仓一体的技术架构，就是数据库和数据仓库是一体化对立治理的技术架构。相比以前很多做数据链路时会把在线数据拉到一个离线存储去计算，再把计算结果回流到在线生产零碎外面，这个流程十分长，数据链路和存储老本都会相应的比拟高。咱们实时数仓构建的解决方案是在你做全量数据初始化的时候不须要在指标端进行表构造的初始化，咱们在批量数据过程中会帮你把表构造主动在指标构建。做增量数据过程中，源端产生任何的表构造变更或者源端的主备切换等变更，都不会影响整个链路的稳定性，会在指标端实现这个表构造的同步，对整个链路主动通明掉。
接下来通过两分钟视频理解 DMS 实时数仓构建解决方案。如何通过数据来晋升生产力成了企业一直摸索的方向，而数据仓库在其中施展着关键作用。传统数仓个别基于 T + 1 数据集成，构建离线数仓以撑持企业各项剖析与服务，该计划岂但会影响线上业务稳定性，且难以反对企业高频变动的实时需要，企业由此开始建设实时数仓。那么怎么构建一个企业及实时数仓呢？接下来为大家介绍如何通过阿里云一站式数据管理平台 DMS 和云原生实时数据仓库 VB 引擎来构建与在线零碎增删改的延时放弃在一秒内的实时数仓 DMS 反对两种实时数仓构建计划，实时数据入仓及基于实时拉链表的 T + 1 周期性快照。
其中实时数据入仓反对两种形式。形式一，通过 DMS 实现历史全量 + 增量数据实时同步至 ADB 实时数仓。形式二，通过 DMS 数据传输与加工模块进行实时数据加工后写入 ADB 实时数仓。为了满足业务上对于 T + 1 快照数据需要，DMS 推出了一种不影响线上业务的 T + 1 周期性快照计划。上面介绍该计划应用形式。
通过 DMS 与工单模式可疾速搭建基于实时数据的周期性快照，既能反对小时 / 天维度的快照剖析，也可能反对回溯任意业务工夫点进行剖析，从而反对业务侧按不同工夫统计总贷款、总余额、总订单额等场景需要。
阿里云实时数仓构建计划相较其余计划提供了如下劣势，一、数据时效性高，且实时链路对业务侧影响小，不会因为批量拉取数据影响业务侧失常运行。二、实现库仓一体的一站式数据管理，源端运维变更对链路无感知，保障多元数据汇聚时效性、稳定性和全链路血统。三、内置简单实时数据加工、计算逻辑、解决链路短。四、低代码操作可能大大降低实时数仓的构建难度，晋升构建效率的同时，撑持企业数字化转型过程中的各类实时场景。
上面介绍两个实际，第一个案例：某汽车厂商应用 DMS+ADB 的解决方案来构建数据集市和营销平台。
第二个案例：某银行应用 DMS+ADB 构建 T + 1 数据仓库的解决方案。
版权申明：本文内容由阿里云实名注册用户自发奉献，版权归原作者所有，阿里云开发者社区不领有其著作权，亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容，填写侵权投诉表单进行举报，一经查实，本社区将立即删除涉嫌侵权内容。