[发明专利]一种基于KAFKA的数据持久化任务分布式调度方法及系统

权利要求书

1.一种基于KAFKA的数据持久化任务分布式调度方法，其特征在于，包括：通过KAFKA向任务管理模块新增持久化任务，持久化任务执行器向NACOS注册服务信息，任务管理模块通过监听NACOS获取持久化任务执行器的上下线信息，并根据持久化任务执行器上下线情况动态分配任务，持久化任务执行器执行任务并将待持久化数据写入持久化存储组件中。

2.如权利要求1所述的一种基于KAFKA的数据持久化任务分布式调度方法，其特征在于，通过KAFKA向任务管理模块新增持久化任务具体包括：通过持久化任务管理界面配置KAFKA地址，创建包含需要监听的KAFKA的TOPIC和对应字段的任务，将任务信息下发给任务管理模块。

3.如权利要求2所述的一种基于KAFKA的数据持久化任务分布式调度方法，其特征在于，任务管理模块根据任务的TOPIC分区情况及各个持久化任务执行器负载情况动态分配任务，其中，优先将任务分配给负载较低的持久化任务执行器。

4.如权利要求3所述的一种基于KAFKA的数据持久化任务分布式调度方法，其特征在于，任务管理模块根据各个持久化任务执行器的负载情况进行负载均衡处理，具体包括：向负载较高的持久化任务执行器发送取消执行部分任务的消息指令，并向负载较低的执行器发送新增执行任务的消息指令以执行被取消的任务。

5.如权利要求2所述的一种基于KAFKA的数据持久化任务分布式调度方法，其特征在于，根据监听的KAFKA的TOPIC的分区数生成对应数量的消费者，不同的消费者分布到不同的持久化任务执行器中进行任务执行。

6.如权利要求1所述的一种基于KAFKA的数据持久化任务分布式调度方法，其特征在于，持久化任务执行器采用分布式部署以实现任务调度集中管理，并支持动态扩展。

7.如权利要求6所述的一种基于KAFKA的数据持久化任务分布式调度方法，其特征在于，当整个持久化任务执行器集群负载过高时，会自动启动一个全新的持久化任务执行器分担任务。

8.如权利要求1所述的一种基于KAFKA的数据持久化任务分布式调度方法，其特征在于，当持久化任务执行器因不可控的原因下线后，该持久化任务执行器上尚未执行完毕的任务需要分配到其他持久化任务执行器继续执行。

9.一种基于KAFKA的数据持久化任务分布式调度系统，其特征在于，包括：

KAFKA组件，用于向任务管理模块新增持久化任务；

NACOS组件，用于给持久化任务执行器注册服务信息；

任务管理模块，通过监听NACOS获取持久化任务执行器上下线信息，并根据持久化任务执行器上下线情况动态分配任务；

持久化任务执行器，用于执行任务并将任务数据写入持久化存储组件中；

存储组件，用于存储待持久化数据。

10.如权利要求9所述的一种基于KAFKA的数据持久化任务分布式调度系统，其特征在于，持久化任务执行器采用分布式部署以实现任务调度集中管理，并支持动态扩展。