关于大数据:海豚调度5月Meetup6个月重构大数据平台帮你避开调度升级改造集群迁移踩过的坑

42次阅读

共计 1931 个字符,预计需要花费 5 分钟才能阅读完成。

当今许多企业都有着技术架构的 DataOps 水平不够、二次开发老本高、迁徙老本高、集群部署凌乱等状况,团队在技术选型之后发现并不适宜本人的需要,然而迁徙老本和难度又比拟大,甚至前团队还留下了不少坑,企业自有的开发能力又比拟无限,导致前面的小伙伴上手难度高体验差。

俗话说“工具选得好,上班回家早;调度用得对,中午安心睡”,面对各种难点和痛点:

  • 如何无效地评估数据调度工具?
  • 如何平滑的过渡到 Apache DolphinScheduler?
  • 如何稳固高效的对已有的工具降级革新?

这几个问题是改善现有情况的重中之重,是保障企业和团队数据调度工作高效运行的引擎。

不管你是处在什么企业,如果你正为数据调度工具的选型或迁徙而苦恼;不足工作可视化编辑界面、补数和重试等必要性能;甚至连监控和治理性能都没有;

这就阐明,你是时候来加入本期 Meetup 流动啦!

2022 年 5 月 28 日,Apache DolphinScheduler 社区邀请了来自当贝科技、Fordeal、JuiceFS 社区等企业的资深大数据工程师与开发者,分享他们在技术选型、平台迁徙、场景摸索、优化与革新 Apache DolphinScheduler 过程中遭逢的问题与挑战。

除此之外,咱们还特地邀请到了 JuiceFS 社区技术专家,跟大家延长探讨对于设计云文件系统和日志归档场景中 Apache DolphinScheduler 的实际。无论你是 Apache DolphinScheduler 的开发工程师还是集体爱好者,来到本次 Meetup,你肯定能听到一手的分享,失去一手的播种!

Apache DolphinScheduler 作为新一代的大数据任务调度零碎,致力于让调度变得更加容易。身为一款专门针对于大数据平台的工作调度零碎,具备本土化格调和多样化的部署形式。

01 报名通道

Apache DolphinScheduler Meetup | 5 月线上直播报名通道已开启,赶快预约吧!

工夫:2022-5-28 14:00-16:10

模式:线上直播

点击原文链接或扫码预约报名(收费):https://zhibo.51cto.com/liveDetail/126

扫码预约报名

扫码增加群聊

02 议程介绍

王昱翔 当贝大数据平台根底开发工程师

毕业于电子科技大学,次要是做大数据平台的构建、集成及组件的运维的工作

演讲工夫 :14:00-14:40

演讲题目 :Apache DolphinScheduler 在当贝大数据环境中的利用

演讲概要 :之前当贝的大数据平台用的是 Hadoop 和 CDH 混合产物,调度用的是 Oozie,次要问题是短少补数和重试机制没有,导致用户上手难体验差,还存在 hadoop 集群部署凌乱和 clickhouse 混合部署等问题,通过调研后,当初次要用 Apache DolphinScheduler 解决迁徙集群、大数据平台重构、数据迁徙、调度告警等问题!

卢栋    Fordeal 大数据开发工程师

5 年的数据开发相干教训,目前就任于 Fordeal

次要关注的数据技术方向包含:湖仓一体、MPP 数据库、数据可视化等

演讲工夫 :14:40-15:30

演讲题目 :数据平台调度降级革新,从 Azkaban 平滑过渡到 Apache DolphinScheduler

演讲概要 :Fordeal 数据平台调度零碎之前是基于 Azkaban 进行二次开发的,用户层面的问题是短少工作可视化编辑界面、补数等必要性能,导致用户上手难体验差。技术层面的问题是架构过期继续迭代难度大。通过调研后,新版零碎决定基于 DolphinScheduler 进行降级革新。整个迁徙过程中面临最大的问题是如何让应用方平滑过渡到新零碎,为了平滑迁徙做了哪些降级革新?

15:30-15:35 填写问卷抽奖环节

苏锐 Juicedata 合伙人

毕业于西安电子科技大学。在北航攻读硕士期间,作为晚期工程师先后在傲游(Maxthon)浏览器、豆瓣任职。2014 年创建上门汽车服务品牌功夫洗车,并任 CEO 率领团队实现两轮融资。2017 年退出 Juicedata 开始新一次守业之旅,公司旗下的外围产品 JuiceFS 是一款面向云环境设计的分布式文件系统,以翻新的设计定义了云时代文件存储的架构,服务数字化时代对海量数据、海量文件的存储与计算需要,已落地近百家当先科技企业。

演讲工夫 :15:35-16:05

演讲题目 :设计云文件系统和日志归档场景中 DolphinScheduler 的实际

演讲概要 :介绍什么是云文件系统;介绍设计架构与设计中的思考;如果用云文件系统做日志归档,分享在 Nginx 和 Apache DolphinScheduler 中的实际

欢送大家参加 5 月 28 日 Apache DolphinScheduler 的线上交流会,下午 14:00,咱们不见不散!

正文完
 0