产品简介
Dataphin即智能数据构建与治理平台,旨在提供从数据接入到数据生产的全链路、一站式的大数据能力,包含产品、技术和方法论等,以助力企业打造规范对立、死记硬背、资产化、服务化、闭环自优化的智能数据体系。
版本新个性详情
自Dataphin产品上线以来,经验3年的迭代打磨,本次2.9.4.2版本在2021年5月15日公布,新增个性列表如下:
性能降级亮点摘要
1、新增数据源
新增反对Hologres数据源类型,用于后续Hologres数据同步集成,及后续实时Blink工作读写应用。
对于应用Hologres数据源的用户来说,Dataphin反对从Hologres数据集成至计算引擎及多种数据源,同时可从计算引擎及数据源回流至Hologres;反对Blink工作实时读写Hologres数据,且在Dataphin流批一体场景中,Hologres能够用作批流一体的对立存储服务,实时查问实时写入,无冗余数据搬迁工作,大幅晋升研发效率。
性能场景a. 数据源引入
性能场景b. 离线数据集成
性能场景c. 流批一体
定义Hologres元表,指定数据源及起源表
定义流批虚构镜像表,指定镜像表映射的批流别离写入的物理表,因为Hologres同时反对离线与实时读写,因而两边物理表能够均为Hologres表
创立Blink流批一体工作,指定批流参数配置及工作配置,代码逻辑统一,一套代码实现两种调度时效
Dataphin流批一体架构图
2、Blink实时工作反对代码采样调试
Blink实时工作反对代码采样调试,采样数据反对本地上传文件数据、在线抽样数据、在线编辑输出数据三种形式,仅兼容反对blink-3.6及以上版本。
降级前Blink工作不反对本地调试,无奈在草稿态时验证作业开发的数据正确性,须要提交到运维后启动运维的测试实例进行验证,提交工作之前无奈验证。
降级后在提交Blink工作之前能够进行本地数据采样,并在Console中输入工作运行后果,能够即时查看代码逻辑是否正确、输入后果是否合乎预期等,验证正确再进行工作提交,无效保障了工作品质及开发效率。并且咱们反对三种采样形式!主动抽样数据起源表数据、上传本地csv文件(提供样例可下载),或者间接在采样的面板中进行数据输出,灵便且不便。
3、运维列表展现对象拓展
运维列表每页展现对象拓展至100个,默认展现20/页,可切换20/40/60/80/100个/页;运维工作DAG图中反对查看物化代码及运行日志时主动定位到对应物化节点,晋升运维效率
4、数据服务模块反对新离线数据源
数据服务模块新增反对AnalyticDB for MySQL 3.0 离线数据源。
新增数据服务管理员角色,作为API权限申请、服务单元权限申请及数据源权限申请的审批人,增强API数据服务进口的权限管控强度,限度API开发者自己对API的广泛应用权限,需设置专人进行权限审批,API利用平安及权限管控效劳大幅加强。
版本小结
本次5月公布的V2.9.4.2版本中,Dataphin围绕数据源、通用研发、实时研发、运维、数据服务进行性能迭代。
在下一期的迭代中,打算反对CDH 6计算引擎、审计日志、子账号下单购买、OpenAPI扩大、监控告警能力降级、MySQL8.0数据源等性能,敬请期待!