共计 3955 个字符，预计需要花费 10 分钟才能阅读完成。
简介：本文通过梳理我的项目环境生命周期内创立、部署、重启、删除等工作的特点后，去除了流程引擎对音讯的依赖，应用分布式分片工作，分布式锁实现工作的分布式运行。通过应用工厂模式，责任链模式，以及畛域驱动设计的思路对流程引擎进行重构。最终实现在环境数量翻数百倍以上的状况下，日常以及预发环境均匀创立成功率达到 99% 以上，单个环境创立工夫由数百秒以上升高至 100 秒 以下。工单量每秒并行执行翻近百倍的状况下，零碎异样率低于 1%，单次工作执行工夫均值升高 8x%。引言我的项目环境是团体研发同学联调测试必不可少的平台型工具之一，其环境申请与开释动静灵便，环境间流量互相隔离，在开发和上线前的集体自测以及全链路联调场景下有着不可代替的重要作用。一个稳固易用的我的项目环境能极大地提高一线研发同学的测试体验，通过对环境简化形象、屏蔽基础设施和微服务复杂性，为业务提供稳固牢靠、简略易用的测试环境。我的项目环境作为与变更或某个我的项目的生命周期保持一致的灵便环境，相较于固定环境（如骨干，预发，正式）有着不同的特质，其环境申请和开释与变更生命周期绑定，部署和重启更是其中的高频操作。随着我的项目环境覆盖范围的推开，在每天开发高峰期期间，每秒同时运行的工单量（环境创立、部署、重启、删除等）最高能到数千余次。这为我的项目环境自身的稳定性提出了极高的要求。在我的项目环境建设初期，每一次创立、删除、部署等工单次要通过单机执行，通过外部流程引擎发送音讯以及定时工作推动状态流转。在实际过程中随着工单量的上涨逐步呈现了工作反复运行，工作无迹象隐没，工作猝死等问题。而研发流程的革新和推动也给我的项目环境提出了更高要求，然而以上问题的呈现限度了我的项目环境承载更大范畴应用的可能性。本文通过梳理我的项目环境生命周期内创立、部署、重启、删除等工作的特点后，去除了流程引擎对音讯的依赖，应用分布式分片工作，分布式锁实现工作的分布式运行。通过应用工厂模式，责任链模式，以及畛域驱动设计的思路对流程引擎进行重构。最终实现在环境数量翻数百倍以上的状况下，日常以及预发环境均匀创立成功率达到 99% 以上，单个环境创立工夫由数百秒以上升高至 100 秒 以下。工单量每秒并行执行翻近百倍的状况下，零碎异样率低于 1%，单次工作执行工夫均值升高 8x%。技术实际文章架构
现状 1. 流程梳理环境创立部署等流程如下所示，研发同学创立变更后我的项目环境会主动开始创立流程，非云原生利用在环境创立实现后便开始异步申请机器资源，期待资源扩容实现后，会主动开始部署流程。云原生利用会在部署过程中生产资源。我的项目环境资源生产实现后建设隔离标与机器的映射关系，即打标流程。三种工单（创立、部署、重启）的外围流程如下图所示：
2. 工作特点能够看到上述三类工作有着两个显著特点：工作间有程序单个工作为异步进行异步工作须要在条件满足后才会触发下一个工作的执行，这是一个典型的流水线模型，所以咱们外部将推动工作流转的模型称为流程引擎
3. 工作解决现状异步工作由用户触发创立，定时工作会定时调用异步工作判断同步后果，工作实现后会通过音讯推动工作间流转。
3.1 工作猝死当异步工作在运行过程中抛出非预期的异样会导致工作间接猝死，因为没有发送工作实现的音讯，工作间流转所依赖的音讯失落就导致流程引擎无奈推动下一个工作运行。3.2 工作解决单机瓶颈环境创立、部署、重启都属于不可重入工作，如果被定时工作被分布式调用，会导致工作被反复执行导致资源节约，工单报错等无奈预期的工作。而单机调度就导致我的项目环境大部分的机器被闲置，呈现一核有难、八核围观的情况。
3.3 工作反复执行任务量的增多还会导致工作被反复执行。为了更快的推动工作执行，定时工作的运行距离必须设置的足够短。然而随着任务量的急剧增多，定时工作单机解决会导致以后批次解决的工作在下一次定时工作被调度时仍未执行，从而导致工作被反复执行。
优化之路 1. 工作猝死优化在流程推动过程中任意一个非预期异样都会导致工作戛然而止，在用户看来就是环境创立无机器，不部署，流水线不展现，隔离不失效等。首先对以后流程引擎的流程架构进行了初步梳理，如下图所示（能够不看，仅做展现）
1.1 架构降级 - 畛域模型（DDD）欲重构先架构，通过整顿梳理发现，整个流程引擎能够分为四大局部，触发流程创立的 GroupEnv(我的项目环境) 实体流程操作的 AppRunningEnv(应用环境) 实体保留流程信息的 Operation 实体推动流程运行的 TaskEngine(流程引擎) 实体依据抽取进去的四个实体，从新总结绘制了相互间的依赖关系图，将扩散在各处的部署，删除，重启等依赖关系收敛到各自的 Domain 中，并抽取出四个能力：创立，提交运行，操作以及更新状态。
1.2 流程引擎重构 1.2.1 执行器对立接口能够发现，子工作的执行过程能够分为两个局部（1）执行操作（2）同步后果其中执行操作须要拿到子工作的初始执行后果。同步后果操作须要同步内部零碎的状态到我的项目环境并更新子工作后果。所以能够将这两个能力形象到一个接口中，即 Taskexecutor。对于不同的子工作调用不同的 executor。1.2.2 应用工厂办法分拆执行器针对不同操作应用不同的执行器这个思路与工厂模式十分符合。所以能够将每一个子工作执行器都抽取为一个独自的类，通过操作类型以及阶段从工厂类（ExecutorFactory）拿到对应的执行器执行对应的办法。1.2.3 异样解决兜底在流程引擎 execSubTask 以及 handleSubTaskSyncResult 两个办法中做异样对立解决，标准执行器异样解决，在异样信息中携带第三方或己方处理结果并格式化后填充到异样信息中。1.2.4 操作子工作状态对立透出在子工作执行器中构建对立的异样信息模板，并通过异样的模式透出给下层调用者。下层调用者不须要关注执行器中产生了什么，只须要将异样信息落库。1.2.5 单元测试补齐以流程引擎为入口，以 HTTPClient 与 mapper 为最大 mock 对象，实现全链路测试。1.3 优化后果重构后，极大地简化了工作执行流程，去除了对 metaQ 的强依赖，流程引擎依赖定时工作触发，实现异样兜底逻辑，单测全笼罩。共删除冗余代码 2700 行。流程引擎外围流程收敛至 Domain。
2. 工作执行工夫优化此前定时工作通过 SchedulerX 随机抉择一台机器作为 worker，之后从 db 中查问全副正在运行中的工作后逐个触发运行。单 worker 执行导致其余机器始终处于闲置状态。如何充分利用计算资源成为解决工作运行速度的重点。分布式分片工作解决单机计算瓶颈 Schedulerx2.0 提供了 map 模型，通过一个 map 办法就能将海量数据分布式到多台机器上分布式执行，通过利用 MapReduce 能力，随机选取一台机器作为 master 节点，将所有正在运行中的工作分批推送到蕴含该节点的 worker 中，逐个触发运行。总结为一下三个步骤：取工作选集工作分片多机并行执行通过优化，全量工作单次触发的执行工夫升高为原来的 1 /n，其中 n 为机器数。流程引擎具备了横向扩大的能力。
3. 反复执行优化尽管减少了分布式分片能力，然而 worker 节点依然是单线程执行，单机串行执行依然存在执行瓶颈。所以对于单个 worker 节点通过线程池减少了并行执行的能力，通过减少线程同步器保障单个节点在所有工作执行完结后才返回。
3.1 秒级调度解决反复执行应用秒级别调度，期待所有 worker 的工作都执行实现后才开始下一次调度。Schedulerx2.0 的秒级任务具备高牢靠的个性，如果某台机器挂了，能够在 30 秒外在另一台机器上从新拉起。工作执行工夫进一步优化至 1 /(n*x)，x 为线程池线程数。4. 多机忙等问题解决应用分布式分片工作 + 单机多线程 + 秒级任务，我的项目环境的工作基础架构曾经根本竣工，然而在理论运行过程中依然发现多机执行工夫依然很长。体现在用户触发工作执行后状态须要期待几秒后才会向前流转。因为线程同步器以及秒级任务的双重加持，整个分布式分片工作的单次执行工夫取决于本批工作中的执行工夫最长的工作，这就导致很多 worker 在期待运行最长工作的 worker 执行后才会被再次调度。4.1 分布式锁解决多机忙等应用线程同步器能够保障单个 worker 所有工作执行实现后才会向主节点上报工作集执行实现的信息，在放慢工作执行速度的同时解决了工作反复执行的问题，然而会造成执行完工作的 worker 期待的状况。通过剖析任务模型能够发现，AppRunningEnv（应用环境）是流程引擎执行的最小不可分原子，只须要保障单个环境不被反复操作，就能够去掉 worker 节点的线程同步器。解决方案就是分布式锁。通过数据库惟一键索引能够依据 AppRunningEnv 的环境 Id 建设惟一主键，通过在工作被调度时抢夺分布式锁，如果未拿到锁，则间接跳过不执行。获取到锁后执行工作，在执行实现或者出现异常后开释锁。为避免占有锁的 worker 节点挂掉，导致工作无奈被调度，在工作分片时，主节点会开释所有过期的锁，减少兜底能力。
后果环境创立成功率环境创立成功率从之前的随机胜利，到当初的环境创立成功率稳固在 99% 以上（排除云原生利用后）环境创立工夫在环境数量翻百倍的状况下，创立工夫均值由 300 秒以上升高至 100s 以内。工作执行异样率工单量每秒并行执行 n + 状况下，零碎异样率低于 1% 单次工作执行工夫打消调用量尖峰，在工单量翻 70 倍的前提下, 最大执行工夫降落为原来的十六分之一。
原文链接：https://click.aliyun.com/m/10…
本文为阿里云原创内容，未经容许不得转载。