关于java:利用-XXLJOB-实现灵活控制的分片处理

本文讲述了一种利用 XXL-JOB 来进行分片工作解决的办法，另外退出对执行节点数的灵便管制。

当初一张数据表里有大量数据须要某个服务端利用来解决，要求：

可能并行处理；
可能较灵便地管制并行任务数量。
压力较平衡地扩散到不同的服务器节点；

因为须要并行处理同一张数据表里的数据，所以比拟天然地想到了分片查问数据，能够利用对 id 取模的办法进行分片，防止同一条数据被反复解决。

依据第 1、2 点要求，原本想通过对线程池的动静配置来实现，但联合第 3 点来思考，服务器节点数量有可能会变动，节点之间互相无感知无通信，本人在利用内实现一套调度机制可能会很简单。

如果有现成的独立于这些服务器节点之外的调度器就好了——顺着这个思路，就想到了曾经接入的分布式任务调度平台 XXL-JOB，而在浏览其官网文档后发现「分片播送 & 动静分片」很贴合这种场景。

利用 XXL-JOB 的路由策略「分片播送」来调度定时工作；
通过工作参数传入执行工作节点数量；
定时工作逻辑里，依据获取到的分片参数、执行工作节点数量，决策以后节点是否须要执行，分片查问数据并解决：
- 如果 分片序号 > (执行工作节点数量 – 1)，则以后节点不执行工作，间接返回；
- 否则，取 分片序号 和 执行工作节点数量 作为分片参数，查问数据并解决。

这样，咱们能够实现灵便调度 [1, N] 个节点并行执行工作解决数据。

JobHandler 示例：

@XxlJob("demoJobHandler")
public void execute() {String param = XxlJobHelper.getJobParam();
    if (StringUtils.isBlank(param)) {XxlJobHelper.log("工作参数为空");
        XxlJobHelper.handleFail();
        return;
    }

    // 执行工作节点数量
    int executeNodeNum = Integer.valueOf(param);
    // 分片序号
    int shardIndex = XxlJobHelper.getShardIndex();
    // 分片总数
    int shardTotal = XxlJobHelper.getShardTotal();

    if (executeNodeNum <= 0 || executeNodeNum > shardTotal) {XxlJobHelper.log("执行工作节点数量取值范畴[1, 节点总数]");
        XxlJobHelper.handleFail();
        return;
    }

    if (shardIndex > (executeNodeNum - 1)) {XxlJobHelper.log("以后分片 {} 无需执行", shardIndex);
        XxlJobHelper.handleSuccess();
        return;
    }

    shardTotal = executeNodeNum;

    // 分片查问数据并解决
    process(shardIndex, shardTotal);

    XxlJobHelper.handleSuccess();}

分片查问数据示例：

select field1, field2 
from table_name 
where ... 
    and mod(id, #{shardTotal}) = #{shardIndex} 
order by id limit #{rows};

如果须要更大的并发量，须要有大于利用节点数量的工作并行，如何解决？

两种思路：
- 通过工作参数传入一个并发数，单个节点在解决工作时，将查问到的数据按这个数字进行再分片，交由线程池并行处理；
- 配置 M 个定时工作，指定雷同的 JobHandler，给它们编号 0、1、2…M，并将定时工作编号和 M 这两个数，由工作参数传入，定时工作逻辑里，先依据分片参数、定时工作编号、M，从新计算出新的分片参数，如 分片序号 = (分片序号 M) + 定时工作编号，分片总数 = 分片总数 * M*，再查问数据并解决。
如果有可能频繁调整工作执行逻辑，包含可能要新增工作参数等，而不想重启服务器，如何解决？

能够思考应用 XXL-JOB 的「GLUE 模式」工作，可能在线编辑和更新定时工作执行逻辑。

分布式任务调度平台 XXL-JOB

关于java:利用-XXLJOB-实现灵活控制的分片处理

场景

思路

计划

次要代码示例

进一步思考

参考