关于数据采集:如何将业务系统的数据抽取汇聚到数据中台

22次阅读

共计 2342 个字符,预计需要花费 6 分钟才能阅读完成。

简介:数据集成是简略高效的数据同步平台,致力于提供具备弱小的数据预处理能力、丰盛的异构数据源之间数据高速稳固的同步能力,为数据中台的建设打好松软的数据基座。

- 更少数智化转型、数据中台内容请退出阿里云数据中台交换群以及官网微信(文末扫描二维码)

- 阿里云数据中台官网 https://dp.alibaba.com/index


数据中台是当下大数据畛域最前沿的数据建设体系, 它并不是从零开始, 无中生有的。数据中台是传统的数据仓库的一种降级, 是数据采集、建设、治理与应用的一整套体系。Dataphin 是一个构建数据中台的弱小工具, 数据集成是 Dataphin 的组成部分,负责数据“采”、“建”、“管”“用”中的采集局部。数据集成是简略高效的数据同步平台,致力于提供具备弱小的数据预处理能力、丰盛的异构数据源之间数据高速稳固的同步能力,为数据中台的建设打好松软的数据基座。

(__Dataphin__:面向各行各业大数据建设、治理及利用诉求,一站式提供从数据接入到数据生产全链路的智能数据构建与治理的大数据能力,包含产品、技术和方法论等,助力打造规范对立、死记硬背、资产化、服务化、闭环自优化的智能数据体系,以驱动翻新。__具体理解:https://dp.alibaba.com/product/dataphin)

数据集成定位

数据集成是数据中台建设中最根底的工作,将不同零碎的数据互相买通,实现数据自在离线或实时流动。

面对各行各业对大数据越来越多的利用,对数据集成也有了更多的诉求。包含:_可能简略高效的配置大量数据表的同步工作;可能集成多种异构数据源;可能实现对数据源的数据进行轻度预处理;可能实现数据同步工作的调优(例如容错,限速,并发)_等。Dataphin 的数据集成模块次要 面向企业数据开发人员,以组件利落拽的模式,帮忙企业高效构建大数据流通管道,从而将各种烟囱状态的数据汇聚到数据中台

数据集成能力

数据集成旨在为用户构建简略高效、安全可靠的数据同步平台:

  • 反对通过整库迁徙(疾速生成批量同步工作)和一键生成指标表的形式,进步数据集成的效率。
  • 反对流程和转换组件,实现数据源的数据预处理(例如荡涤、转换、字段脱敏、计算、合并、散发、过滤等)能力。
  • 反对丰盛的异构数据源,实现数据源之间数据高速稳固的同步能力。
  • 反对 Dev-Prod 和 Basic 的开发模式,您能够依据业务场景进行灵便抉择开发模式。
  • 反对将 Dataphin 中创立的逻辑表疾速地同步到指标库。
  • 用户可自定义零碎尚未反对的数据源组件,以满足不同业务场景数据同步的需要。

数据集成场景关注要点

– 易用性

用户进行数据中台建设时,须要集成的表的数量往往很多,须要进行大量反复的繁琐配置工作。

Dataphin 的数据集成通过高效的拖拽式操作,自动化一键主动建表、组件复制和整体管道配置复制,批量化的整库迁徙等操作可大大提高零碎的易用性及操作效率。

Dataphin 的数据集成的画布数据的输出、转换、输入组件、采集工作流、采集工作等可视化性能,使管理员直观的把握数据采集状况。

Dataphin 的数据集成在工作搭建过程中反对同步工作试运行、度量查看、数据预览,不便用户进行数据集成工作的调试。

– 多源异构的数据同步能力

在企业信息化建设过程中,因为各业务零碎建设和施行数据管理系统的阶段性、技术性以及其它经济和人为因素等因素影响,导致企业在倒退过程中积攒了大量采纳不同存储形式的业务数据,包含采纳的数据管理系统也大不相同,从简略的文件数据库到简单的网络数据库,它们形成了企业的异构数据源。

在数据中台的建设中,须要反对各种异构数据源的数据集成,Dataphin 的数据集成可反对 30+ 种数据源的反对,同时可自定义数据源进行灵便接入。

– 数据预处理、同步配置能力

在数据集成过程中,起源端数据会有轻度预处理诉求,比方敏感数据加密、数据过滤、分库分表数据合并、追 加字等。也会有各式各样同步配置诉求,如容错,限速,并发,同步过程调试等。

Dataphin 的数据集成反对数据荡涤转换能力,提供字段计算、合并、散发、过滤、字段脱敏等组件或函数,反对容错配置、并发配置、限速配置等。

以上就是 Dataphin 的外围性能数据集成的介绍, 心愿能帮忙您更好地应用 Dataphin 数据集成性能。

理解产品更多内容能够戳入:https://dp.alibaba.com/product/dataphin


数据中台是企业数智化的必经之路,阿里巴巴认为数据中台是集方法论、工具、组织于一体的,“快”、“准”、“全”、“统”、“通”的智能大数据体系。

目前正通过阿里云对外输入系列解决方案,包含 通用数据中台解决方案、批发数据中台解决方案、金融数据中台解决方案、互联网数据中台解决方案、政务数据中台解决方案 等细分场景。

其中阿里云数据中台产品矩阵是以 Dataphin 为基座,以 Quick 系列为业务场景化切入,包含:

  • – Dataphin,一站式、智能化的数据构建及治理平台;
  • – Quick BI,随时随地 智能决策;
  • – Quick Audience,全方位洞察、全域营销、智能增长;
  • – Quick A+,跨多端全域利用体验剖析及洞察的一站式数据化经营平台;
  • – Quick Stock,智能货品经营平台;
  • – Quick Decision,智能决策平台;

官方站点:

数据中台官网 https://dp.alibaba.com

版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

正文完
 0