共计 1405 个字符,预计需要花费 4 分钟才能阅读完成。
在工作运维同学的日常工作中,常常须要应用补数据性能,例如当一个新的数据开发工作提交上线后,须要将历史的数据也能写入对应的工夫分区;或者当发现某个工作产出数据有误时,须要从新刷新数据,这时候也会须要用到补数据性能。
通过本篇文章,你可能播种:
- 理解补数据的场景和流程;
- 把握补数据的步骤和内容,体验 Easydata 补数据的产品性能。
01 实际内容
1.1 场景阐明
假如你是一名勤勤恳恳的数据开发兼运维同学,明天早上如平常一样登陆平台查看工作运维状况,忽然收到来自数据分析师的一条信息,对方示意明天有一个重要报表忽然没有产出数据,须要你帮忙紧急排查问题。
你连忙定位到具体任务,再依据血统定位上游工作,通过一番排查与操作,发现原来是 ods 层的有一个开发同学对表进行了变更,原先依赖的 ods 表曾经不再产出,于是你尽管埋怨上游开发的粗枝大叶,但依然吭哧吭哧认真地把所有相干上游工作代码改好并从新提交上线。但你的工作不仅是把上游工作的代码编辑实现,你还须要把昨天的数据恢复正常,于是你在运维核心的工作详情页面,点击了“补数据”按钮……
1.2 实操阶段
(1)创立补数据工作
进入工作运维核心,补数据入口有三处:别离是工作列表的右侧操作栏,能够反对单个工作补数据;工作列表的左上操作按钮,能够反对批量补数据;以及工作详情页右上角反对单个工作补数据。
本次实际带大家体验批量补数据的性能,点击工作列表,点击上方“批量补数据”按钮,即可进入批量补数据页面:
上游工作抉择实现后,进入配置补数据设置的页面,配置项都已零碎默认填充,本次试验须要体验告诉性能,因而请确保告诉条件的三个勾选项均已被勾选、告诉对象为实验者自己,告诉形式需至多勾选邮件、POPO 之一。
(2)查看补数据工作详情
点击创立补数据工作后,页面主动返回补数据实例运维列表,用户能够查看补数据工作停顿、对补数据工作进行暂停、终止等操作:
(3)补数据工作运维
让咱们回到本次实际场景中。
你创立完补数据工作后,终于舒了一口气,想着终于找到了问题,还算是有惊无险,然而万万没想到紧接着就收到了来自运维核心的报警信息:
你连忙点击链接,回到工作运维核心,链接主动跳转到了失败实例的详情页面,原来是最上游的工作呈现了问题。于是你点击节点状态旁边的“放大镜”图标,进入智能诊断页面
在智能诊断页面显示,Hive 语法错误,须要查看代码。
于是你来到离线开发,从新查看代码,发现是在刚刚改代码的时候,不小心写错了一个字段,你这才想起来,刚刚批改代码的时候,匆匆忙忙之中遗记先在开发模式试运行,居然没有测试就间接就把代码提交到了线上!你连忙把代码从新改好,并测试了节点,在测试通过后将工作从新提交上线。
你的工作还没有实现。批改完代码后,最初还须要回到运维核心,将刚刚失败的补数据实例重跑。
(4)补数据工作实现告诉
点击运行后,实例开始重跑。在期待几分钟后,终于,零碎再次发来告诉,宣告这次数据补救口头圆满结束,撒花~
02 小结
“补数据”是工作运维核心非常重要的性能。目前产品可能反对单个工作补数据与批量补数据,因为有些工作的上下游链路十分复杂,为不便用户疾速抉择须要补数据的工作和节点,产品也反对流程视图的补数据性能。感兴趣的同学欢送理解产品~
* 本文基于 Easydata-V7.0 版本,工作运维核心 V1.8.2.1 版本进行编写。点击试用 Easydata 产品
作者简介
露亚,网易数帆 Easydata- 工作运维核心产品经理。