关于消息中间件:DataWorks-OpenAPI企业开发实战运维监控大屏

44次阅读

共计 2318 个字符,预计需要花费 6 分钟才能阅读完成。

简介:本文将会介绍如何通过应用 DataWorks OpenAPI、DataWorks 凋谢元数据、DataWorks 凋谢事件音讯三大利器搭建企业本人的 DataWorks 运维大屏。其中 DataWorks OpenAPI 曾经面向所有企业凋谢商业化,而 DataWorks 凋谢元数据、DataWorks 凋谢事件音讯还在邀测中。

工欲善其数,必先利其器!

DataWorks OpenAPI 现已正式公布,通过自带的 100 多个 API 性能,能够疾速进行批量操作与系统集成对接等,助您显著晋升数据开发效率!

(DataWorks OpenAPI 限企业版及以上版本应用)

DataWorks OpenAPI 现 凋谢 7 天收费试用,请应用钉钉扫码分割,提供试用账号的 UID 与 Region 即可。

本文将会介绍如何应用 DataWorks OpenAPI、DataWorks 凋谢元数据、DataWorks 凋谢事件音讯三大利器搭建企业本人的 DataWorks 运维大屏。其中 DataWorks OpenAPI 曾经面向所有企业凋谢商业化,而 DataWorks 凋谢元数据、DataWorks 凋谢事件音讯还在邀测中。

租户级别运维监控

1、工作大盘

如上图所示,咱们能够在大屏上展现每天的节点总数和产生的实例(工作)总数以及他们的环比状况,那么能够通过 DataWorks 凋谢元数据的表 raw\_v\_schedule\_node 的数据计算出每日的节点总数而后再回流到 RDS,通过 raw\_v\_schedule\_task 表的数据则能够计算出每日的实例总数而后再回流到 RDS,这样就能失去每日的总数,通过计算后计算出环比。

想要应用 DataWorks 凋谢元数据的表须要在咱们的邀测名单中,给主账号实现表受权后就能应用本人的数据了。

2、工作运行趋势图

该图展现 DataWorks 每日工作实现状况,这个监控图须要借助 DataWorks 凋谢事件音讯的实时数据来统计实现,DataWorks 凋谢事件音讯目前邀测凋谢了调度工作事件音讯和元数据表事件音讯两种事件音讯,订阅调度工作事件音讯后可实时拿到调度工作的实时运行状况,比方某个工作开始等工夫时就能收一条 DataWorks 事件音讯,在本地零碎接管到该音讯后能拿到工作的概要信息,如果想要获取该工作的更多信息能够通过调用 GetInstance 接口获取。工作从未运行 -> 等工夫 -> 等资源 -> 开始运行 -> 运行胜利整个运行生命周期都能订阅到事件音讯,拿到实例信息后能够存储到 RDS,通过积攒后就能造成下面所示的工作运行状况趋势图了。

通过调度的事件音讯数据不仅能够展现工作实现状况,还能展现工作各时间段等资源、运行中、运行失败状况。想要订阅 DataWorks 凋谢事件音讯须要在咱们的邀测名单中,咱们颁发 DataWorks 的 Kafka Topic 以及账密后就能订阅到本人的音讯了。

3、工作类型分布图

基于第 2 节中从 raw\_v\_schedule\_node 统计的数据也能够拿到工作类型分布图中。工作类型对应的字段是 prgName。

我的项目级别运维监控

1、周期实例数量趋势图

通过调用 DataWorks OpenAPI 的接口 GetInstanceCountTrend 即可拿到某我的项目下的周期实例运行数据,参考文档 https://help.aliyun.com/document\_detail/185675.html?spm=a2c4g.11186623.6.1294.13494e6dN9Hr0K

2、实例运行时长排行

通过调用 DataWorks OpenAPI 的接口 GetInstanceConsumeTimeRank 即可拿到某我的项目下实例运行时长数据,参考文档 https://help.aliyun.com/document\_detail/185676.html?spm=a2c4g.11186623.6.1295.2c0161c2yTlqiV

3、实例运行出错排行

通过调用 DataWorks OpenAPI 的接口 GetInstanceErrorRank 即可拿到某我的项目下近一个月节点的出错数据,参考文档 https://help.aliyun.com/document\_detail/185677.html?spm=a2c4g.11186623.6.1296.44945985P8ONel

4、结语

以上内容介绍了运维大屏的一些根底性能和如何应用 DataWorks OpenAPI 的能力来实现,基于这些能力用户能够挖掘出更多丰盛的需要和场景,如果您有更好的想法也能够分割咱们。

本文案例中应用到的 API 列表:

GetInstanceCountTrend

GetInstanceConsumeTimeRank

GetInstanceErrorRank

本文案例中应用到的元数据表列表:

raw\_v\_schedule\_node

raw\_v\_schedule\_task

本文案例中应用到的事件音讯:任务调度事件

DataWorks OpenAPI 实战系列:

数据开发全流程介绍

DataWorks OpenAPI 示例(元数据模块)

DataWorks OpenAPI 现 凋谢 7 天收费试用,请应用钉钉扫码分割,提供试用账号的 UID 与 Region 即可。

提效神器,DataWorks OpenAPI 凋谢 7 天收费试用!

版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

正文完
 0