关于运维:历经3年的打磨数据构建及管理平台Dataphin增加了什么新功能

73次阅读

共计 2158 个字符,预计需要花费 6 分钟才能阅读完成。

简介:自 Dataphin 产品上线以来,经验 3 年的迭代打磨,在 2021 年 5 月 15 日公布新版本,次要波及数据源类型拓展,数据集成、实时研发、数据服务性能降级,运维体验优化等,将满足更多用户场景,晋升研发体验。

- 更多对于数智化转型、数据中台内容请退出阿里云数据中台交换群—数智俱乐部 和关注官网微信公总号(文末扫描二维码或点此退出)

- 阿里云数据中台官网 https://dp.alibaba.com/index


Dataphin 即智能数据构建与治理平台

旨在提供从数据接入到数据生产的全链路、一站式的大数据能力,包含产品、技术和方法论等,以助力企业打造规范对立、死记硬背、资产化、服务化、闭环自优化的智能数据体系。

版本新个性详情

自 Dataphin 产品上线以来,经验 3 年的迭代打磨,本次 2.9.4.2 版本在 2021 年 5 月 15 日公布,次要波及数据源类型拓展,数据集成、实时研发、数据服务性能降级,运维体验优化等,将满足更多用户场景,晋升研发体验:

性能降级亮点摘要

1、新增数据源

新增反对 Hologres 数据源类型,用于后续 Hologres 数据同步集成,及后续实时 Blink 工作读写应用。

对于应用 Hologres 数据源的用户来说,Dataphin 反对从 Hologres 数据集成至计算引擎及多种数据源,同时可从计算引擎及数据源回流至 Hologres;反对 Blink 工作实时读写 Hologres 数据,且在 Dataphin 流批一体场景中,Hologres 能够用作批流一体的对立存储服务,实时查问实时写入,无冗余数据搬迁工作,大幅晋升研发效率。

性能场景 a. 数据源引入

性能场景 b. 离线数据集成

性能场景 c. 流批一体

  • 定义 Hologres 元表,指定数据源及起源表

  • 定义流批虚构镜像表,指定镜像表映射的批流别离写入的物理表,因为 Hologres 同时反对离线与实时读写,因而两边物理表能够均为 Hologres 表

  • 创立 Blink 流批一体工作,指定批流参数配置及工作配置,代码逻辑统一,一套代码实现两种调度时效

  • Dataphin 流批一体架构图

2、Blink 实时工作反对代码采样调试

Blink 实时工作反对代码采样调试,采样数据反对本地上传文件数据、在线抽样数据、在线编辑输出数据三种形式,仅兼容反对 blink-3.6 及以上版本。

降级前 Blink 工作不反对本地调试,无奈在草稿态时验证作业开发的数据正确性,须要提交到运维后启动运维的测试实例进行验证,提交工作之前无奈验证。

降级后在提交 Blink 工作之前能够进行本地数据采样,并在 Console 中输入工作运行后果,能够即时查看代码逻辑是否正确、输入后果是否合乎预期等,验证正确再进行工作提交,无效保障了工作品质及开发效率。并且咱们反对三种采样形式!主动抽样数据起源表数据、上传本地 csv 文件(提供样例可下载),或者间接在采样的面板中进行数据输出,灵便且不便。

3、运维列表展现对象拓展

运维列表每页展现对象拓展至 100 个,默认展现 20/ 页,可切换 20/40/60/80/100 个 / 页;运维工作 DAG 图中反对查看物化代码及运行日志时主动定位到对应物化节点,晋升运维效率

4、数据服务模块反对新离线数据源

数据服务模块新增反对 AnalyticDB for MySQL 3.0 离线数据源。

新增数据服务管理员角色,作为 API 权限申请、服务单元权限申请及数据源权限申请的审批人,增强 API 数据服务进口的权限管控强度,限度 API 开发者自己对 API 的广泛应用权限,需设置专人进行权限审批,API 利用平安及权限管控效劳大幅加强。

版本小结

本次 5 月公布的 V2.9.4.2 版本中,Dataphin 围绕数据源、通用研发、实时研发、运维、数据服务进行性能迭代。

在下一期的迭代中,打算反对 CDH 6 计算引擎、审计日志、子账号下单购买、OpenAPI 扩大、监控告警能力降级、MySQL8.0 数据源等性能,敬请期待!

我想理解更多:https://dp.alibaba.com/consult


数据中台是企业数智化的必经之路,阿里巴巴认为数据中台是集方法论、工具、组织于一体的,“快”、“准”、“全”、“统”、“通”的智能大数据体系。

目前正通过阿里云对外输入系列解决方案,包含 通用数据中台解决方案、批发数据中台解决方案、金融数据中台解决方案、互联网数据中台解决方案、政务数据中台解决方案 等细分场景。

其中阿里云数据中台产品矩阵是以 Dataphin 为基座,以 Quick 系列为业务场景化切入,包含:

  • – Dataphin,一站式、智能化的数据构建及治理平台;
  • – Quick BI,随时随地 智能决策;
  • – Quick Audience,全方位洞察、全域营销、智能增长;
  • – Quick A+,跨多端全域利用体验剖析及洞察的一站式数据化经营平台;
  • – Quick Stock,智能货品经营平台;
  • – Quick Decision,智能决策平台;

官方站点:

数据中台官网 https://dp.alibaba.com

版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

正文完
 0