[发明专利]一种基于分布式架构的批处理方法

权利要求书

1.一种基于分布式架构的批处理方法，其特征在于，包括：

任务配置：负责管理任务信息，配置业务批处理任务；

任务调度：将配置好的任务注册到计划调度器容器形成装配好的作业，计划调度器容器中的线程池并行调度执行每个作业；

批处理：在Spring Batch的基础上采用远程分片的技术对业务数据按照不同的业务需求进行批量处理；

任务监控：对任务调度及批处理进行全过程的日志记录。

2.根据权利要求1所述的一种基于分布式架构的批处理方法，其特征在于，在任务配置时支持可视化地、动态地管理调度信息，包括定时任务新建、修改、查询、删除、启用、禁用、执行任务，所有操作都实时生效，同时支持监控调度结果和查看执行日志，支持业务系统故障重启断点续跑。

3.根据权利要求1所述的一种基于分布式架构的批处理方法，其特征在于，所述的任务调度时计划调度器容器为基于quartz分布式调度框架的Scheduler容器。

4.根据权利要求1所述的一种基于分布式架构的批处理方法，其特征在于，并行调度执行每个作业时在每个作业执行前获取分布式锁，获取锁成功则执行作业，获取锁失败则退出，在每个作业执行后释放分布式锁。

5.根据权利要求4所述的一种基于分布式架构的批处理方法，其特征在于，多线程并发运行时，通过Redisson实现分布式锁，同一时刻只能有一个线程获得分布式锁。

6.根据权利要求5所述的一种基于分布式架构的批处理方法，其特征在于，所述的通过Redisson实现分布式锁的具体过程包括：

线程通过JobKey获取作业执行的分布式锁，获取成功则执行lua脚本，保存数据到redis数据库，如果获取失败，一直通过while循环尝试获取分布式锁，获取成功后，执行lua脚本，保存数据到redis数据库，while循环超时后返回失败。

7.根据权利要求6所述的一种基于分布式架构的批处理方法，其特征在于，当线程获取了分布式锁，若超过分布式锁的有效时限线程仍旧没有执行完，通过Watch Dog看门狗机制自动给redis中的JobKey延长超时时间。

8.根据权利要求1所述的一种基于分布式架构的批处理方法，其特征在于，所述的批处理过程具体包括：采用Redis做消息中间件实现批处理的远程分片，Master节点将数据或文件根据一定的业务规则，拆分成若干段要处理的数据集，然后将数据集放到Redis消息中间件中，从节点监听到消息，获取消息，读取消息中的数据集处理并返回结果到Master。

9.根据权利要求1所述的一种基于分布式架构的批处理方法，其特征在于，任务调度的日志记录包括任务id、任务名称、调度时间、执行人、所属服务、调度参数。

10.根据权利要求1所述的一种基于分布式架构的批处理方法，其特征在于，批处理的日志记录包括实例id、任务名称、执行时间、状态、执行状态、执行参数。