简介: DataWorks性能实际系列,帮忙您解析业务实现过程中的痛点,进步业务性能应用效率!

性能举荐:独享数据集成资源组

如上期数据同步解决方案介绍,数据集成的批数据同步工作运行时,须要占用肯定的计算资源,这些资源即资源组,通常先从数据起源所在的机器抽取数据至资源组所在的机器,再推送至指标数据源所在的机器。

而进行数据同步时,能够依据理论状况布局应用哪种数据集成资源组,资源组布局的关键点包含连通性和性能两方面。

以下就从数据集成资源组的类型与性能、网络连通性两方面,为您介绍数据集成资源组的详情:

Part1:数据集成资源组的类型与性能比照

DataWorks数据集成反对多种不同资源组:

独享数据集成资源组:

购买后可独占应用的资源组。在工作高并发执行且无奈错峰运行,须要独享的资源组来保障数据疾速、稳固地传输时,您能够抉择独享资源组。

自定义数据集成资源组:

如果您有充裕的服务器资源,也可将此局部资源作为DataWorks中工作运行的资源组应用,DataWorks反对自定义资源组。

以上两种数据集成资源组在利用上的能力比照如下表所示:



十分建议您应用独享数据集成资源组来运行数据集成工作。独享数据集成资源组的购买后,您须要实现网络配置和工作空间绑定,后续即可抉择与数据源的网络连通计划进行连通配置了。在此之前,独享数据集成资源组的购买与根底配置的操作详情请参见新增和应用独享数据集成资源组。

Part2:数据集成资源组的网络连通计划

进行数据同步时,须要依据数据库所在网络环境,通过对应的网络解决方案,实现对应类型资源组与数据库的网络连通。连通计划概览如下。

以下为您重点介绍独享数据集成资源组的网络连通计划详情,其余资源组类型的网络连通计划可进入帮忙核心查看。

场景1:数据源具备拜访公网的能力

如果数据源具备公网拜访能力的话,那么数据源与资源组之间能够间接通过公网互访。

场景2:数据源在VPC网络中,且VPC和DataWorks在同一个地区

如果数据源在VPC网络中,且VPC和DataWorks在同一个地区,那能够将独享数据集成资源组绑定数据源所在VPC。同时须要关注,资源组与DataWorks是否在同一个可用区中,如果不在同一个可用区中,还须要手动增加一下路由,保障资源组与数据源之间网络是连通的。增加路由的操作详情可参见增加路由。

场景3:数据源在VPC网络中,且VPC和DataWorks在不同的地区

如果数据源在VPC网络中,且VPC和DataWorks在不同的地区中,那您须要为独享数据集成资源组绑定一个VPC,而后通过高速通道、VPN或其余网络连通产品连通资源组绑定的VPC与数据源所在的VPC。

常见的网络连通产品包含:

  • 云企业网应用场景示例,请参见云企业网。
  • 高速通道应用场景示例,请参见高速通道。
  • VPN网关应用场景示例,请参见VPN网关。

此外,您仍旧须要手动增加一下路由,保障网络连通性。增加路由的操作详情可参见增加路由。

场景4:数据源在IDC内

如果数据源在IDC内,与场景3:数据源在VPC中且与DataWorks不同地区的场景相似,您须要为独享数据集成资源组绑定一个VPC,而后通过高速通道、VPN或其余网络连通产品连通资源组绑定的VPC与数据源所在的VPC。

常见的网络连通产品包含:

  • 云企业网应用场景示例,请参见云企业网。
  • 高速通道应用场景示例,请参见高速通道。
  • VPN网关应用场景示例,请参见VPN网关。

此外,您仍旧须要手动增加一下路由,保障网络连通性。增加路由的操作详情可参见增加路由。

场景5:数据源在经典网络

如果数据源在经典网络内,则此场景下,不反对数据源与DataWorks资源组网络连通,建议您将数据源迁徙至VPC网络中。

PS:阿里云经典网络已不举荐应用,建议您迁徙数据源至VPC。

Part3:注意事项——白名单的影响

保障资源组与数据源之间网络连通后,您还需保障资源组与数据源之间不会因为白名单的限度而无奈进行数据拜访,例如,局部数据源设置白名单后会不容许白名单外的IP拜访,您须要将资源组的IP增加至数据源的白名单中。

应用不同类型的数据集成资源组时,须要增加到数据源白名单中的IP地址不统一,详情可进入帮忙核心查看,以下为您示例,应用独享数据集成资源组时,须要获取并增加到数据源白名单中的IP地址。

交换机网段:

独享资源组的EIP地址:

原文链接
本文为阿里云原创内容,未经容许不得转载。