简介: DataWorks性能实际系列,帮忙您解析业务实现过程中的痛点,进步业务性能应用效率!
往期回顾:
- DataWorks 性能实际速览01期——数据同步解决方案:为您介绍不同场景下可选的数据同步计划。
- DataWorks 性能实际速览02期——独享数据集成资源组:为您介绍进行数据同步时,可应用的资源组与网络连通计划、注意事项。
- DataWorks 性能实际速览03期——生产开发环境隔离:为您介绍DataWorks通过规范模式提供开发环境与生产环境隔离及不同环境的权限要求。
通过往期的介绍,您曾经理解到在DataWorks上进行工作运行的最要害的几个知识点,接下来为您逐渐介绍如何通过DataWorks的工作节点实现最常见的数据开发场景。本期为您介绍如何在DataWorks上实现参数透传,即把上游工作的参数透传到上游工作。
性能举荐:赋值节点与参数节点
在阿里云DataWorks中,一个数据开发工作最终是拆解为多个节点工作,并通过设置节点间上下游关系最终造成一个残缺的数据开发业务流程,如下图所示。
以上为一个简略的示例,在理论利用时,咱们通常会碰到这样的状况,拆解进去的上游节点工作会生成一些参数,或上游节点的运行后果,须要在上游节点工作中利用到,这就须要数据开发工作可能实现参数/节点运行后果在各个节点间的透传,依据不同的透传需要,DataWorks提供了两种非凡节点能够实现:赋值节点与参数节点。
Part1:赋值节点 - 实现工作后果透传
当您须要将上游节点工作的后果提供给上游节点应用时,您可应用赋值节点,实现工作后果在节点间传递。赋值节点反对ODPS SQL、SHELL和Python三种赋值语言,且依据赋值规定,主动为您增加赋值参数(outputs参数),便于其余节点援用。
应用赋值节点进行透传参数时,需关注以下三个要点。
1.1赋值节点与上下游节点间的依赖关系
如上图所示,应用赋值节点透传参数时:
- 赋值节点(fuzhi\_python、fuzhi\_sql、fuzhi\_shell)需作为援用赋值节点参数节点(down\_compare)的上游节点,上游节点须要与赋值节点设置间接依赖关系(赋值节点为上游节点的一层父节点)。
- 赋值节点作为上游与其它节点配合应用时,请务必先提交赋值节点,以便上游节点在配置时能够解析出参数。
1.2赋值节点与上游节点的上下文参数透传关系
如下图所示,通过赋值节点与援用节点的调度配置中的上下文参数配置,造成参数透传援用关系:
- 赋值节点(fuzhi\_python、fuzhi\_sql、fuzhi\_shell)需将待赋值给上游的参数增加为节点上下文中的本节点输入参数。
- 上游援用赋值参数的节点需将待援用的赋值参数增加为节点上下文中的本节点输出参数。
阐明:
- 赋值节点参数传递只反对传递给一层子节点,不反对跨节点传递。
1.3赋值语言与赋值后果
援用赋值节点后果时,赋值节点的参数输入格局与上游节点援用参数形式有关系,不同语言的赋值参数(outputs参数)赋值阐明如下。
赋值语言 | outputs参数取值 | outputs参数格局 | outputs参数大小限度 |
ODPS SQL | 最初一行SELECT语句的输入作为赋值参数,增加为赋值节点的本节点输入参数,供其余节点援用。 | 将输入后果作为一个二维数组传递至上游。 | 传递值最大为2 MB。如果赋值语句的输入后果超过该限度,赋值节点会运行失败。 |
SHELL | 最初一行ECHO语句的数据,增加为赋值节点的本节点输入参数,供其余节点援用。 | 将输入后果基于逗号(,)宰割为一维数组。 | |
Python | 最初一行PRINT语句的输入,增加为赋值节点的本节点输入参数,供其余节点援用。 | 将输入后果基于逗号(,)宰割为一维数组。 |
比照项 | 赋值节点 | 参数节点 |
透传场景 | 节点运行后果透传 | 节点参数透传 |
透传限度 | 仅能透传至一层子节点,不反对跨节点透传 | 可跨节点透传 |
节点属性 | 一种工作节点,节点中运行赋值工作,反对<span>ODPS SQL、SHELL和Python三种赋值语言</span> | 实质上是一种虚构节点,不会运行工作产生数据 |