乐趣区

关于存储:解读Dataphin流批一体的实时研发

jiezi

简介：Dataphin 作为一款企业级智能数据构建与治理产品，具备全链路实时研发能力，从 2019 年开始就撑持可团体天猫双 11 的实时计算需要，文章将具体介绍 Dataphin 实时计算的能力。

- 更多对于数智化转型、数据中台内容请退出阿里云数据中台交换群—数智俱乐部 和关注官网微信公总号（文末扫描二维码或点此退出）

- 阿里云数据中台官网 https://dp.alibaba.com/index

背景

每当双 11 寰球购物狂欢节钟声响起，上千万用户涌入天猫、淘宝，晦涩的购物体验背地是阿里工程师用技术打造出的营地，撑持了每年双 11 所带来的数据洪峰。2020 年 11 月 1 日至 11 月 12 日 0:00，天猫“双 11”累计总交易额达 4982 亿元，物流订单总量达到 23.21 亿单。这所有的背地都离不开实时计算技术。

Dataphin 作为一款企业级智能数据构建与治理产品，具备全链路实时研发能力，从 2019 年开始撑持团体天猫双 11 的实时计算需要。就以下文介绍 Dataphin 实时计算的能力。

传统的数仓架构

在数仓建设过程中，一般来说都是先建设离线数仓，同时围绕着离线数据构建利用。而后随着业务的倒退或者体验的优化，再建设实时计算的链路去晋升数据的时效性。

在这个过程中类似的代码写两遍就难以避免，还会呈现实时和离线口径不统一，别离保护成本增加等各种各样的问题。

传统的数仓架构流与批从 存储计算中拆散 带来以下的问题：

  1. 效率问题：流批底层数据模型不统一，导致应用层做大量的拼接逻辑（同比、环比、二次加工等），搭建效率低且容易出错
  2. 品质问题：一个业务逻辑，两个引擎两套代码，SQL 逻辑不能复用，数据一致性和品质问题难以保障
  3. 老本问题：
  4. 流批存储系统隔离（面向不同写入场景），提供的数据服务不一，保护老本高
  5. 手工建数据同步工作，开发成本 / 存储老本高（两份）
  6. 批处理 & 流解决集群无奈做到错峰，资源利用率低

Dataphin 流批一体劣势

为解决传统数仓架构的存储计算拆散的问题，有了“流批一体”的思路：

  1. 流批存储透明化，查问逻辑完全一致，利用端接入老本大幅升高，点查 /OLAP 剖析对立反对 
  2. 服务层对立存储，无需手工同步，无反复存储
  3. 一套代码，两种计算模式，逻辑对立，灵便切换，研发效率大幅晋升
  4. 流批计算资源混部，资源利用率晋升

Dataphin 在 Flink 流批一体的能力之上额定提供了更多的平台能力，如数据源治理、元数据管理、资产血统、资产品质管制、预编译、调试等能力：

  1. 开发生产隔离：提供开发环境和生产环境隔离，保障开发环境开发的业务代码和生产相互之间不烦扰
  2. 元数据管理：各零碎组件包含数据源、元表、UDX 等具备权限管制性能，敏感型配置信息加密爱护。反对数据源敏感字段拜访订阅。元表、函数、资源等全副单元化可视化的治理，反对跨我的项目鉴权（字段级）调用，让使用者聚焦业务逻辑。
  3. 流批一体：流批存储层的对立治理，实现模型层对立，流批代码对立、通过流批各自专属配置，生产独立有协同的额调度实例
  4. 研发提效：
  5. 提供了预编译的能力，提供语法校验、权限校验、字段血统提取的性能；
  6. 容器化调试，反对上传自定义数据或间接生产实在生产数据用来察看作业运行、查看各个节点的输入后果
  7. 反对元数据检索，作业依赖、字段血统的可视化探查
  8. 稳定性及品质保障：
  9. 反对流量阈值设置，避免计算资源适度竞争，防止上游零碎过载
  10. 反对实时元表品质监测，可配置统计趋势监测、实时多链路比照、实时离线数据核查。

开发生产隔离

Dataphin 反对开发生产隔离的我的项目，反对开发和生产双环境的数据源配置。这样在开发模式下，工作就会主动应用开发数据源和开发环境下的物理表；而当公布到生产环境时，Datpahin 则会主动切换为生产数据源及生产环境的物理表。这个过程齐全自动化，不必手动批改代码或配置。

元数据管理

Dataphin 创造性的引入了实时元表和镜像表的概念，将实时研发过程中的表进行了平台化、资产化的对立治理，并简化了研发，晋升研发效率和体验。

传统实时工作研发工具须要用户反复写 Create table 建表语句，须要进行繁琐的输入输出表映射等操作。实时元表将实时开发工作中所有用到的数据表进行了对立表构建与治理，对立保护了所有实时元表和相干 schema 信息。开发者在开发过程中不必反复写 DDL 语句；同时，也不须要进行繁冗的输出、输入、维表映射，采纳简略的纯代码研发模式，简略的 SET 语句及权限申请，即可援用表数据，进行间接查问或写入数据，轻松做到一次建表，屡次援用，大幅度晋升研发效率和体验。

镜像表顾名思义则是用于保护离线表与实时表之间字段的映射关系。创立镜像表并提交公布后，就能够在流批一体的 Flink 工作中应用镜像表的字段，Datpahin 会在编译时主动映射到流表和批表上，实现一份代码，两种计算，代码逻辑、口径变更强统一。

流批一体的代码工作

除了引入实时元表与镜像表，Dataphin 也反对了流批一体的工作，应用 Flink 引擎作为对立的流批计算引擎，在一份代码上可同时配置流 + 批的工作配置，基于同一份代码生成不同模式下的实例。而对于流批差异化的代码，Dataphin 也提供了不同的形式给与反对。

流批一体工作中会宽泛应用镜像表，而镜像表在最终应用时会翻译为对应的流表 / 批表，为了适应流表 / 批表的多样性（流表 / 批表的数据源可能不一样，带来 with 参数中 key 可能不一样；流表 / 批表的某些设置可能不一样，比方 batchSize 等），能够利用 tableHints 进行流表 / 批表的对应。办法如下：

set project.table.${mode}.${key} –mode: 流工作：\`stream\` 批工作：batch

举个例子，设置批工作的起停工夫：

set project.table.batch.startTime=’2020-11-11 00:00:00′; set project.table.batch.endTime=’2020-11-12 00:00:00′;

第二种是在 Dataphin 的工作配置实时和离线模式别离工作参数的形式是利用工作参数进行替换。

实时品质监控

Dataphin 实时数据品质次要面向开发者，针对产品中实时产出的数据表，通过对产出后果进行数据品质剖析和校验，来保障数据的最终无效与精确。Dataphin 反对统计趋势监测、实时多链路比照、实时离线数据核查。

  1. 统计趋势监测：趋势监测指的是基于数据趋势变动以及专家教训以捕捉稳定异样的监测形式；如 实时 GMV 的趋势陡增有些异样
  2. 实时多链路趋势比照：实时多链路指的是在实时计算的场景中，因为数据的复原老本较高，无奈疾速从终点从新计算，因而须要应用多个计算链路，当产生计算异样时，主动 / 手动切换计算链路，是一种用资源换稳固的策略，当有重大的保障业务时，往往会采纳该种类型；如每年双十一大屏都会采纳多链路保障。
  3. 实时离线核查：实时离线核查，是保障实时数据罕用的一种措施，因为实时计算处于一种继续运算状态，计算工夫长久且受资源与源数据的扰动较大；离线数据在逻辑、数据复用性方面能够被更好地操作，因而，为了保障实时数据的准确性，罕用离线数据与实时数据进行比照；如每年双十一前都会应用离线数据对实时数据进行校验；

双十一大屏后的 Dataphin

回到文章开始的天猫双十一，理解了 Dataphin 平台特有的能力，咱们来具体拆解 Dataphin 为什么能撑持天猫双十一的实时数据大屏。

快

  1. Dataphin 为实时提供研发、调试、测试、运维全链路一站式服务，极大升高用户开发门槛；
  2. 同时提供对立元数据管理，元数据仅需初始化一次，轻松做到一次建表，屡次援用，让开发聚焦业务逻辑，大幅度晋升研发效率和体验；
  3. 另外有数据研发经验的同学都有这样的领会，很多数据口径都惊人的相似，甚至有些只是输入输出表不同，典型的场景比方主备链路，针对这种场景咱们提供了模版研发的能力，雷同逻辑封装在模版中，差别逻辑通过模版参数体现，新工作仅需援用模版配置模版参数即可，极大晋升研发效率的同时也升高了口径保护老本。

基于以上能力，在双十一大屏的反对上，只管业务玩法很多，需要井喷，依然仅以 2 人便撑持上百需要。

稳

Dataphin 提供工作监控及数据品质监控全方位保障工作稳固，疾速发现问题；基于模版的主备多链路在异样产生时能够秒级切换，疾速止血；基于实时工作血统，疾速定位问题根因；基于调试、测试、细粒度资源配置，疾速验证并修复，真正做到 1min 发现、5min 定位、10min 解决。

准

基于流批一体的能力，真正做到代码对立，口径对立，存储对立，数据服务接口对立，研发提效的同时，保证数据统一。

将来布局

在行将公布的 Flink VVP（Ververica Platform）适配版本将反对新的 VVR 引擎，也将在将来反对开源 Flink 引擎已反对更多的部署环境。Dataphin 也将继续晋升实时研发的能力和体验，帮忙企业升高实时研发的门槛，开掘更多的场景，取得实时数据带来的业务价值！

数据中台是企业数智化的必经之路，阿里巴巴认为数据中台是集方法论、工具、组织于一体的，“快”、“准”、“全”、“统”、“通”的智能大数据体系。

目前正通过阿里云对外输入系列解决方案，包含 通用数据中台解决方案、批发数据中台解决方案、金融数据中台解决方案、互联网数据中台解决方案、政务数据中台解决方案 等细分场景。

其中阿里云数据中台产品矩阵是以 Dataphin 为基座，以 Quick 系列为业务场景化切入，包含：

  • – Dataphin，一站式、智能化的数据构建及治理平台；
  • – Quick BI，随时随地 智能决策；
  • – Quick Audience，全方位洞察、全域营销、智能增长；
  • – Quick A+，跨多端全域利用体验剖析及洞察的一站式数据化经营平台；
  • – Quick Stock，智能货品经营平台；
  • – Quick Decision，智能决策平台；

官方站点：

数据中台官网 https://dp.alibaba.com

钉钉沟通群和微信公众号

版权申明：本文内容由阿里云实名注册用户自发奉献，版权归原作者所有，阿里云开发者社区不领有其著作权，亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容，填写侵权投诉表单进行举报，一经查实，本社区将立即删除涉嫌侵权内容。

退出移动版