关于大数据:火山引擎-DataLeap-一招教你避坑数据开发中的资源隔离问题

3次阅读

共计 1409 个字符,预计需要花费 4 分钟才能阅读完成。

更多技术交换、求职机会,欢送关注字节跳动数据平台微信公众号,回复【1】进入官网交换群

在离线数仓开发过程中,研发人员须要依据业务变动,在开发 / 生产环境中一直切换、解析、调试。以往,企业个别通过人工形式核验,但因为数据量大且类型不同,导致研发人员资源、精力投入大。

如何使同构代码在不同环境正确运行,防止因调试过程中的误操作,对生产环境间接造成数据负面危险,成为很多企业数仓研发团队的痛点之一。

近期,火山引擎 DataLeap 推出“我的项目参数治理”能力,即通过自定义我的项目参数别离设置开发、生产环境参数值,参数反对配置多种类型,包含 Region、DB、shecma、table、date 以及自定义等,且反对工作级别援用,疾速帮忙研发团队实现资源隔离。

火山引擎 DataLeap“我的项目参数治理”能力

以湖仓一体剖析服务(LAS)引擎为例,介绍如何利用“我的项目参数治理”辨别不同环境库和工夫格局的查问。

在应用之前,因为 1 个业务需要经常波及 10+ 工作、30+ 参数,且不同环境 DB 中、table 基本一致,须要治理 2 套代码。数仓研发人员难以避免呈现测试代码在生产环境执行、表误删、数据误删等问题。

在应用之后,只须要 3 个步骤即可解决生产、测试环境数据隔离问题:

  • 步骤一: LAS 有 2 套环境,包含测试环境库 test_dev、生产环境库 test_prod。2 套环境都有雷同表名 LAS_table01、分区字段名 datetimes。开发环境分区字段为 yyyymmdd,生产环境分区格局为 YYYY-MM-DD。在 DataLeap 中设置日期参数 arg,开发环境参数值 =${date}、生产环境参数值 =${DATE}。设置库参数 env,开发环境 =test_dev、生产环境 =test_prod。
  • 步骤二:对于离线数据开发工作,研发人员能够间接在代码中应用我的项目参数,点击“解析”“调试”,零碎会主动替换为相应的开发环境参数值,并进行语法解析、权限查看等。
  • 步骤三:点击“提交上线”、“工作例行执行”时,对于我的项目参数,零碎会主动替换为相应的生产环境参数值,而后进行相应的语法解析以及权限查看。从而无效晋升环境代码管理效率。

据介绍,企业能够在以下场景应用火山引擎 DataLeap“我的项目参数治理”能力:

  • 【场景 1】开发生产环境隔离
    以 HSQL 工作为例,为防止在开发测试阶段,因误操作影响生产库表的数据,研发人员能够在 HSQL 代码中应用我的项目参数。调试时,零碎会主动替换为开发环境参数值;上线后的工作例行执行,零碎将主动替换为生产环境参数值。同时,DataLeap 也反对代码统一,无需在上线前批量将开发环境的库表名称替换为生产环境的库表名称。
  • 【场景 2】跨区域 / 我的项目代码同构
    一般来说,不同 Region 下的库、表名不同。为了实现不同 Region、我的项目下代码同构,研发人员能够在 HSQL 代码中应用我的项目参数,来实现不同环境下,同一个工作的代码同构,无效晋升环境代码管理效率。

火山引擎 DataLeap 让研发人员不再须要通过”调度设置 - 工作输出参数”的形式增加我的项目参数,只需定义一次参数即可轻松构建,并且实现生产、测试环境下的数据主动隔离,代码同构。除此之外,DataLeap 还具备数据集成、开发、运维、治理、资产、平安等数据中台建设能力,助力企业晋升数据研发效率、升高治理老本,为数字化转型提供撑持。

点击跳转 大数据研发治理 DataLeap 理解更多

正文完
 0