乐趣区

关于workflow:Apache-Dolphinscheduler300beta1-版本发布新增FlinkSQLZeppelin任务类型

jiezi

导读：近日，Apache Dolphin Scheduler 迎来了 3.0.0-beta-1 版本的正式公布。新版本次要针对 3.0.0-alpha 进行了代码和文档的修复，并引入了局部的性能，如反对 FlinkSQL 工作类型，新增 Zeppelin 工作类型，新增 Kubernetes namespace 治理性能，以及通过 bash 传参性能等，具体更新详见下文。

01 新性能

反对 FlinkSQL 工作类型

在该版本中，咱们扩大了 Flink 工作类型，使其反对运行 Flink SQL 工作，其应用 sql-client.sh 提交工作。

更多详情查看：

flink sql client](https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/sqlclient/)

对应 PR：9840

【链接】

https://github.com/apache/dolphinscheduler/pull/9840

新增 Zeppelin 工作类型

在该版本中，咱们减少了 Zeppelin 工作类型，用于创立并执行 Zeppelin 类型工作。Worker 执行该工作时，会通过 Zeppelin Cient API 触发 Zeppelin Notebook 段落。

PR：9810

【链接】

https://github.com/apache/dolphinscheduler/pull/9810

新增 Kubernetes namespace 治理

该版本新增了 kubernetes namespace 治理性能，容许用户在 Apache DolphinScheduler 中治理 Kubernetes 的 namespace。

PR：9303

【链接】：

https://github.com/apache/dolphinscheduler/pull/9303

新增通过 shell 组件获取本地参数

新版本还新增了通过 bash 传参的性能，如果你想在上游工作中应用 bash 变量而不是常量值 export 参数，你能够在通过 setValue 和 Bash 变量实现，它更加灵便，能够让你动静地获取现有的本地或 HTTP 资源 获取设定变量。

能够应用相似的语法：

PR：9586

【链接】

https://github.com/apache/dolphinscheduler/pull/9586

容许用户上传没有后缀的文件

之前资源核心只能上传有后缀的文件，在 3.0.0-beta-1 版本后，咱们反对用户上传没有后缀的文件。

02 Bug Fix

  • 3.0.0-alpha 各个部署形式呈现的问题
  • 工作组为空时页面报错问题
  • treemap 视图深度谬误问题
  • 告警信息不明确问题：告警组为空时报错信息不明确，批量删除工作流有异样时报错信息不明确，租户内容错长的谬误提醒，删除
  • 参数校验问题：数据源核心的参数校验问题，批改明码时明码不统一提醒，发告警前校验 alert script
  • Python api：不能设置 release state 问题，本地参数有值然而校验失败问题
  • token 查问不遵循时区问题
  • 修复 HTTPS 和 HTTP 字符串辨认问题
  • 修复 alert server 衰弱监测生效问题
  • 修复 condition 工作分支失败问题
  • 修复 docker 镜像不反对多平台问题
  • 修复带有工作组优先级的工作流创立时不能正确写数据库的问题
  • master 工作的生效问题
  • 修复串行期待不运行的问题
  • 时区问题：调度时区谬误问题，日志减少时区反对
  • 从新运行、暂停工作流实例失败问题
  • 资源核心实例化失败问题

03 文档批改 更正部署文档

修复、更新局部应用文档：WebexTeams 中文文档，本地参数、全局参数文档，Kubernetes FAQ 文档，Spark 注意事项文档，DataX 应用文档，删除 Flink API 文档，修复 open-api 的谬误，修复数据品质中的谬误文档；新增 stand-alone 切换数据库文档；新增 shell 中判断 Yarn 运行状态文档；新增更新零碎截图

更正局部开发文档：明确反对的操作系统，修复开发环境搭建文档，新增本人构建 docker 镜像文档

04 具体批改

能够在：https://github.com/apache/dolphinscheduler/releases/tag/3.0.0-beta-1 中找到全副批改记录。

05 感激 3.0.0-beta-1 版本贡献者

Amy0104, BaoLiang, caishunfeng, calvin, chuxing, czeming, Dannila, Devosend, Eric Gao, exmy, gaojun2048, guoshupei, HeChuan, hstdream, jiachuan.zhu, Jiajie Zhong, JinYong Li, Kerwin, kezhenxu94, labbomb, leiwingqueen, lidongdai, litiliu, LongJGun, longtb, Lyle Shaw, mans2singh, mazhong, Mr.An, naziD, nobolity, Paul Zhang, PJ Fanning, qianli2022, QuakeWang, rockfang, songjianet, sparklezzz, sq-q, Town, Tq, WangJPLeo, wangyang, worry, wqxs, xiangzihao, yimaixinchen, youzipi, zhuxt2015, zixi0825, 陈家名, 陈爽, 旺阳

退出移动版