乐趣区

关于数据:数据智能构建管理平台Dataphin-V2943版本发布

简介:Dataphin 公布 V2.9.4.3 版本升级多项产品能力,该版本在产品性能和用户体验上都进行了优化和晋升,旨在为用户提供更欠缺的产品能力和体验,以减速企业数据中台建设过程。

1 产品简介

Dataphin 是阿里巴巴团体 OneData 数据治理方法论基于外部实际的产品化输入,一站式提供数据采、建、管、用全生命周期治理的能力,以助力企业显著晋升数据治理程度,构建品质牢靠、生产便捷、生产平安经济的企业级数据中台。Dataphin 提供多种计算引擎反对及可拓展的凋谢能力,以适应各行各业的平台技术架构和个性化诉求。

2 版本概览

2021 年 6 月,Dataphin 公布 V2.9.4.3 版本,降级多项产品能力。
• 平台能力上,拓展计算引擎丰盛度和 OpenAPI 覆盖度
• 数据集成模块,拓展反对的 MySQL 数据源版本和一键建表覆盖范围,以晋升配置效率
• 监控能力上,优化告警接管规定配置,提晋升灵活性适配更多监控场景
• 资产核心,优化逻辑表预览及敏感字段辨认规定,欠缺资产链路
• 数据服务拓展 API 分页查问能力,以拓展查问范畴,晋升服务响应效率和链接稳定性

该版本在产品性能和用户体验上都进行了优化和晋升,旨在为用户提供更欠缺的产品能力和体验,以减速企业数据中台建设过程。

3 新版本重点个性详解

个性 1:计算引擎新增反对 CDH6

新增针对 CDH6 计算引擎的适配,以晋升多引擎兼容能力;截至以后版本,Dataphin 反对的计算引擎类型包含:MaxCompute、CDH5、CDH6、EMR。

个性 2:MySQL 数据源反对 8.x 版本

目前,8.0 是市面上比拟支流且应用度较广的 MySQL 数据库版本。Dataphin 在曾经反对 MySQL 5.6 和 5.7 数据源的根底上,新增反对 MySQL 8.0 版本,能够在数据同步、数据服务等模块基于该数据源进行配置,以晋升业务数据覆盖度。

个性 3:数据集成反对在 Oracle 指标库一键建表

反对在目 Oracle 指标库一键创立数据建表,以简化配置流程,晋升数据同步配置效率。截至以后版本,一键建表性能一共笼罩 4 种指标数据源:MaxCompute、Oracle、Hive、AnalyticDB for PostgreSQL。

个性 4:工作运行监控和品质监控反对给不同的接管对象指定不同的告警和接管形式

降级前,针对所有选中的接管人,均须要配置雷同的告警接管形式。降级至本版本后,针对不同的接管人类型,能够指定不同的接管形式,以依据理论状况实现区别告警。如:工作负责人须要理解本人所负责的工作运行详情,但不须要立刻解决异常情况,能够抉择短信告警;值班负责人须要及时发现异常并解决,能够抉择电话作为强揭示;我的项目管理员须要定期统计告警详情,能够抉择邮件告警以不便记录和统计。


个性 5:资产地图新增逻辑表数据预览性能、资产平安反对手动触发敏感字段辨认

新增逻辑表预览性能,针对有权限的字段,间接展现抽样的数据记录,若字段设置过脱敏规定,则仅展现脱敏后的数据;针对无权限的字段,提醒“无权限”字样并提供快捷申请的跳转链接。联合该性能,Dataphin 欠缺了逻辑表从研发到资产积淀到生产预览的全链路,晋升了建模体验。

默认状况下,在资产平安模块配置了敏感数据辨认规定后,次日开始每日定时进行扫描。本次在每日定时扫描的根底上,新增反对用户手动触发敏感数据辨认工作的运行,以实现新增规定立刻失效,以及长期变更场景下的记录及时更新,晋升敏感数据辨认笼罩场景。

个性 6:数据服务反对基于 Impala 数据源创立的 API 分页查问,以拓展查问范畴,晋升查问稳定性

历史版本中,思考到查问性能,基于 Impala 数据源创立的的 API 单次查问仅反对返回最大 1000 条后果,无奈满足大数据量查问场景,影响上游业务应用。本次针对基于 Impala 数据源创立的 API,提供分页查问能力,反对通过 limit 或 offset 语句设置分页条件,以保障服务连贯稳定性和相应效率,反对大数据量查问的场景。

4 总结与瞻望

本次公布的 V2.9.4.3 版本中,Dataphin 围绕计算引擎、数据源、数据集成、监控告警、数据服务进行了性能迭代降级;在下一个版本中,咱们将重点反对 FusionInsight 计算引擎适配、数据萃取降级、OpenAPI 扩大、运维补数据能力晋升、数据服务多我的项目等性能,敬请期待!

原文链接
本文为阿里云原创内容,未经容许不得转载。

退出移动版