乐趣区

关于调度器:Apache-Dolphin-Scheduler-301-发布对核心及UI相关进行优化

jiezi

点亮 ⭐️ Star · 照亮开源之路

GitHub:https://github.com/apache/dol…

​

版本公布

感激本次的 Release Manager [email protected], 是他主导了咱们这个版本的公布流程，疏导社区进行 版本内容沟通，发版前的问题跟踪，blocking issue 解决，版本品质治理 等，感激 @zhuangchong 为社区的付出，也期待其余 Committer 和 PMC 可能一起参加到 Release Manager 的角色中来。

在 3.0.0 正式版本公布 1 个多月之后，期间社区也紧锣密鼓的进行着新版本的迭代的筹备，通过用户访谈对一线的倡议、意见反馈进行收集，作为 3.0.1 版本的外围开发点，咱们约谈了多个企业，社区收集了 上百条 issue PR，近 30 位贡献者 参加，推出了大家期盼已久的 3.0.1 版本，该版本对于 UI 以及调度内核做了些许调整，同时也修复了一些 3.0.0 版本存在的 bug，十分欢送社区的小伙伴加入到社区的共建中。

Release note：

https://github.com/apache/dol…

外围相干 Core Related

  • 工作流执行可运行将面临有限循环
  • 降级时提醒数据库字段存在问题
  • 普通用户不能创立依赖工作
  • 工作、工作流实例优先级导致 NPE
  • Dependent 上游谬误触发
  • 修复工作流实例可能屡次故障转移
  • 工作组获取工作状态为运行谬误
  • 修复 worker 杀工作触发 OOM

UI 相干优化 UI-related optimization

  • 工作流列表名称显示重叠
  • 工作流实例不反对运行
  • 数据源批改端口报错
  • 工作实例操作不在同一行
  • 显示工作流名称

资源核心 Resource Center

资源核心 defaultFs 配置生效问题

文档相干 Documentation Related

减少了局部揭示性语言，如上传文档时候的全门路、standalone 默认资源核心的应用；

更正了本来谬误的文档，如 工作流相干形容、创立 worker group 相干、python api 跳转链接、局部拼写错误、社区 email slack 链接；

Python API

本次次要减少了 python 10 和 python 11-dev 反对，修复了 switch 工作类型，sql 工作 truncate 语法辨认谬误问题。同时修复了 python api 只有最新版文档的问题

BUG Fix

  • [Improvement][UI] Unified local parameters UI #11190
  • [Fix][UI] Fix bug where icons are displayed in one line. #11320
  • [Improvement-11386][UI] Concise the logic available for task action buttons #11419
  • [Fix][UI] Fix the preTask options are unavailable when creating a tas… #11501
  • S3 Resource center supports bucket customization (#12022)
  • fix status check issue (#11580) (#12030)
  • [LDAP] Config value should return real null instead of ‘null’ string (#12031)
  • [3.0.1-preapre][cherry-pick]3.0.1 UI (#12020)
  • [Fix][UI] Fix bug where crontab special of month and year #11661
  • [UI] Enable highlight and auto-complete for SQL scripts #11659
  • [Fix][UI] Fix the problem that the pagination component is not centered in the environment management. #11646
  • [Fix][UI] Fix the port in the datasource edit. #11624
  • [Fix][UI] Fix the table header in the workflow instance. #11487
  • [Fix][UI] Fix bug where warn group name not display #11429
  • [Feature-10117][UI] Hide node execution when start from the workflow definition list page #11372
  • [Fix-11366][UI] Workflow instance should not support right-click running #11367
  • [fix-10961][alert server]Change the content of alert to an array (#11033)
  • [Fix][UI] Fix workflow name overlaps bug (#11862) (#12019)
  • [Bug] [Worker] Optimize the getAppId method to avoid worker OOM when kill task (#11994)
  • fix heartBeatTaskCount bug (#12024)
  • Fix kill task failed will cause the taskGroup cannot release and add taskGroup log (#11469) (#12013)
  • Workflow Definition Name Change Validation Optimization. (#11986)
  • add unit test ci timeout (#11655) (#12021)
  • [helm] fix worker template persistentVolumeClaim link (#11248) (#12018)
  • Set master’s task running status in runTask to avoid the task group acquire failed, but the task status is in running (#11451) (#12011)
  • Refactor structure to avoid cycle import (#11167)
  • Add support interpreter version 310 and 311-dev (#11170)
  • [bug] Fix task switch error when default branch not defined last (#11606)
  • [fix] Sql pattern add truncate. (#11666)
  • Add dependent task instance log (#11541) (#12014)
  • If the task processor is not found need to throw error rather than exception (#11461) (#12012)
  • Fix workflow instance may failover many times due to doesn’t check the restart time (#11445) (#12010)
  • Fix find last process instance in dependent task is not correct (#11424) (#12009)
  • Fix quartz threadPriority config name error (#11596) (#12015)
  • [Fix-11413] Cannot set task status to kill if the task is not in running(#11414) (#12007)
  • Clear thread name in BaseTaskProcessor (#11422) (#12008)
  • Bug Dependent downstream trigger error when schedule cycle not day. (#11987)
  • [CI] Fix cluster test abnormal (#11688) (#11985)
  • [Improvement-11380][scp-host.sh] Set StrictHostKeyChecking=no option to ssh (#11382) (#11995)
  • optimize the process instance query, change the date time range (#11719) (#11991)
  • [Fix-11051][Task]Fix the process exitValue exception when the process times out and th… (#11099) (#11983)
  • [fix-11404]: make the common.properties to configurable on values.yaml (#11441) (#11967)
  • ][fix-11452][Bug] [Logger Server] Incorrect password regular expression (#11993)
  • Remove logger header in task log file (#11555) (#11968)
  • [Bug] [API] The task priority and process instance priority might be null and cause NPE (#11969)
  • [Bug] [spark-sql] In spark-sql, select both SPARK1 and SPARK2 versions and execute /bin/spark-sql (#11971)
  • Update dolphinscheduler_ddl.sql (#11974)
  • [fix-#11815] fix ck column names contain special characters (#11973)
  • [Bug][Workflow Definition] fix ordinary users can not create depend task (#11961) (#11976)
  • [Fix-11877][UI] Fix the problem that the environment cannot be delete (#11934)
  • [fix-10938]: use dot to replace source and make the default env work in shell (#11937)
  • fix hdfs defaultFs not working (#11823) (#11936)
  • [Quartz] cron did not work as expected (#11932)
  • [Bug] [Master] WorkflowExecuteRunnable will face a infinite loop #11838 #11864 (#11949)
  • [Bug-#11650][worker] #11650 fix SQL type task, stop task does not take effect (#11938)
  • [Fix][db] fix init&upgrade mysql-meta-schema bugs #11887 (#11933)
  • Process definition length too long when copy or import #10621 (#11893)

DOC

  • [Doc] Upgrade license. (#9967)
  • [Doc] Update README. (#9970)
  • [Doc] Fix Doc deadlink in readme (#9972)
  • [Doc] Update the Document picture to new UI (#9953)
  • [Doc] Add example and notice about task type Conditions (#9945)
  • [Doc] Fix Docker link. (#9998)
  • [Doc] Add the description about execute type in SQL task (#9987)
  • [Doc] Add example and notice about task type Dependent (#10001)
  • [Doc] Correct kubernetes (#9985)
  • [Doc] Correct Doc of development-environment-setup (#9995)
  • [Bug][Document] Fix task group management Document link error (#10062)
  • [Fix-10083][Doc]Change Docker cmd && Change WebexTeams Chinese Translation (#10084)
  • [improvement-#11630]fix document about common.properties (#11653)
  • update PyDolphinScheduler documentation link. (#11474)
  • [doc] Correct E2E Doc, fix WorkerGroupPage typo (#11629)
  • Fix homepage email subscription link (#11622)
  • [DOC] should notice that need setting the full path when call the resource file #11620 (#11621)
  • [Doc][Bug] Fix resource center docs for standalone mode (#11600)
  • feat: update slack (#11578)
  • [Improvement-11550] [Doc]Document content update (#11577)
  • [Doc][Security] Update instructions on worker groups (#11483)
  • [Doc][DSIP] Move DSIP docs to the right place (#11442) (#11443)
  • [Doc][Resources] Instruct users to use local storage if they have remote storage mounted to local (#11435)
  • feat: Modifying Slack Links (#11416)
  • Add multiple version of document (#11391)
  • [doc] Refine the deployment documentation (#11361)
  • [Fix-11217] [Doc] add postgresql config in doc: datasource-setting (#11326)
  • [doc] Improve the document introduction of complement (#11275)
  • [DOC] improve zk digest doc (#11703) (#11992)
  • [Doc] Remove re-upload file function in the 3.0.0’s doc (#11804) (#11984)
  • [doc] Add how obtain IP address from network card in FAQ (#11311) (#11982)
  • fix doc about sub-process’s child node describe (#11972)
  • [fix][doc] Update the registry related configuration in values.yaml (#11444) (#11980)

致谢 Acknowledgement

感激所有 3.0.1 版本的贡献者（按首字母排序），是你们的不懈努力让社区不断进步

106umao、Amy0104、ChrisYuan、DarkAssassinator、EricJoy2048、EricGao888、HeZean、JinyLeeChina、MonsterChenzhuo、SbloodyS、WangJPLeo、abzymeinsjtu、devosend、fengjian1129、fuchanghai、guodongym、hiSandog、huage1994、insist777、jackfanwan、jieguangzhou、labbomb、limaiwang、liqingwang、lishiyucn、luoyedeyi、rickchengx、ruanwenjun、shangeyao、sketchmind、songjianet、stalary、wendongdi、yutianaiqingtian、zhangshuocn、zhongjiajie、zhuangchong、zhuxt2015

最初十分欢送大家退出 DolphinScheduler 小家庭，融入开源世界！

咱们激励任何模式的参加社区，最终成为 Committer 或 PMC，如：

  • 将遇到的问题通过 GitHub 上 issue 的模式反馈进去。
  • 答复他人遇到的 issue 问题。
  • 帮忙欠缺文档。
  • 帮忙我的项目减少测试用例。
  • 为代码增加正文。
  • 提交修复 Bug 或者 Feature 的 PR。
  • 发表利用案例实际、调度流程剖析或者与调度相干的技术文章。
  • 帮忙推广 DolphinScheduler，参加技术大会或者 meetup 的分享等。

欢送退出奉献的队伍，退出开源从提交第一个 PR 开始。

  • 比方增加代码正文或找到带有”easy to fix”标记或一些非常简单的 issue(拼写错误等) 等等，先通过第一个简略的 PR 相熟提交流程。

注：奉献不仅仅限于 PR 哈，对促成我的项目倒退的都是奉献。

置信参加 DolphinScheduler，肯定会让您从开源中受害！

参加奉献

随着国内开源的迅猛崛起，Apache DolphinScheduler 社区迎来蓬勃发展，为了做更好用、易用的调度，真挚欢送酷爱开源的搭档退出到开源社区中来，为中国开源崛起献上一份本人的力量，让外乡开源走向寰球。

参加 DolphinScheduler 社区有十分多的参加奉献的形式，包含：

奉献第一个 PR(文档、代码) 咱们也心愿是简略的，第一个 PR 用于相熟提交的流程和社区合作以及感触社区的友好度。

社区汇总了以下适宜老手的问题列表：https://github.com/apache/dol…

非老手问题列表：https://github.com/apache/dol…

如何参加奉献链接：https://dolphinscheduler.apac…

来吧，DolphinScheduler 开源社区须要您的参加，为中国开源崛起添砖加瓦吧，哪怕只是小小的一块瓦，汇聚起来的力量也是微小的。

参加开源能够近距离与各路高手切磋，迅速晋升本人的技能，如果您想参加奉献，咱们有个贡献者种子孵化群，能够增加社区小助手微信(Leonard-ds)，手把手教会您(贡献者不分程度高下，有问必答，要害是有一颗违心奉献的心)。

增加小助手微信时请阐明想参加奉献。

来吧，开源社区十分期待您的参加。

退出移动版