关于大数据:火山引擎-DataLeap在数据研发中如何提升效率

89次阅读

共计 1001 个字符,预计需要花费 3 分钟才能阅读完成。

更多技术交换、求职机会,欢送关注字节跳动数据平台微信公众号,回复【1】进入官网交换群

在数仓及中台研发过程中,研发人员常常须要在不同工作中保护雷同或相似代码,不仅费时费力,并且代码迭代后也面临不同业务单元逻辑性不统一的问题,对运维治理造成挑战。

一般来说,研发人员往往通过代码模板来解决这一问题。具体而言,在外围数据处理逻辑雷同的状况下,研发人员通过代码模版传入不同的工作参数,解决外围数据处理逻辑复用的问题,使得后续工作能够批量化,满足实时调用需要。

目前,工作模板已是火山引擎 DataLeap 研发治理能力之一,次要用于治理罕用的工作逻辑,以此升高罕用代码的运维老本。在产品性能上,DataLeap 工作模板反对丰盛的引擎能力,包含 LAS/EMR HSQL、LAS/EMR Java Flink、LAS/EMR Flink SQL、shell 工作,满足离线实时工作的不同需要。

此外,DataLeap 还反对历史版本治理,即保留或更新模板后,记录各个版本更新状况,不便查看代码设置及参数。

在应用层面上,研发人员只须要三步骤即可实现工作模板创立,便捷复用外围数据处理逻辑。

第一步:选中反对的工作类型

  • 在模板列表右侧的“+”(更多)按钮中,新建子目录或新建工作模板。
  • 在新建工作模板窗口中,输出以下参数,并新建模板。

    第二步:代码编写参数设置

  • 在工作模板的代码开发编辑界面,通过 DDL 和 DML 编写通用 SQL。
  • 表名、字段名别离能够用参数示意,以下以 LAS Flink SQL 的逻辑解决,保留为 test02 模板。

第三步:在工作开发中援用

研发人员能够通过以下 2 种形式援用 test02 模板:

  • 办法 1:在模板列表中,抉择模板并点击后即可疾速援用。
  • 办法 2:在代码编辑界面右上角抉择工作模板,抉择模板后,按需抉择是否最新版本的模板,在对参数设置之后,预览代码最终生成成果(如图)。

火山引擎 DataLeap 工作模板能力可利用于以下场景:

  • 场景 1: 将事后设计好的离线、实时工作模板保留后,即可在多个工作中援用此类型模板,疾速实现代码复用。
  • 场景 2: 将 shell 工作代码制作为前置判断条件,在数据分析前的触发检测运行条件是否满足。

除了工作模板之外,作为大数据研发治理套件,DataLeap 还能够提供数据集成、开发、运维、治理、资产、平安等能力,帮忙用户晋升数据研发效率、升高治理老本,减速推动企业的数字化转型。

点击跳转 火山引擎大数据研发治理 DataLeap 理解更多

正文完
 0