[发明专利]一种基于去中心化作业任务的分布式高并发调度系统

权利要求书

1.一种基于去中心化作业任务的分布式高并发调度系统，其特征在于：包括，

分布式消息队列；用于实现包括心跳、作业全量加载、作业全量同步、作业分派和作业调度在内的数据交互；

节点；节点包括调度器和执行器；节点定时向向指定的分布式消息队列发送心跳，告知其他节点自己的存活状态；所述节点在加入集群时，第一时间发送注册消息到指定的分布式消息队列，告知其他节点自己的存在；调度器注册成功后，由主调度器分派调度任务，同步作业；执行器注册成功后，主调度器同步全量作业，所有调度器添加可调度的执行器的信息；

内存数据库；用于作为缓存使用；

节点发送数据至指定的分布式消息队列中，供其他节点消费，进而实现与其他节点的数据交互通信；对于发送的重要数据，自动保存在内存数据库中，以便提高数据持久化效率。

2.根据权利要求1所述的基于去中心化作业任务的分布式高并发调度系统，其特征在于：调度器集群中，存在一主多从，主节点的选举方式为抢占式，需要定期重置内存数据库的Leader锁标识，Leader锁标识在预设时间内过期，Leader锁标识的值为调度器的唯一Hash标识符，那个调度器先抢占该Leader锁标识，该调度器即为主节点，其余调度器即为从节点。

3.根据权利要求2所述的基于去中心化作业任务的分布式高并发调度系统，其特征在于：调度器集群中，采用一主多从运行模式，主节点和从节点分工不同，所有节点都在工作；主调度器需实现作业全量加载、作业全量同步、作业分派功能，主调度器和从调度器都需实现已分派作业的工作调度；

作业全量加载具体为：通知所有执行器，汇总所有需要执行的作业，或者直接查询内存数据库，作业全量加载是在调度器竟争成为主调度器后，若本身从未执行过作业全量加载，则触发该项功能；

作业全量同步具体为：由主节点发送同步消息给所有从节点，包括调度器和执行器；调度器以及执行器收到消息后，从内存数据库中加载所有作业数据至本地；此功能用于令所有节点本地数据保持一致性；

作业分派具体为：主调度器需要执行作业分派，通过负载均衡的理念，将全量作业均衡的分派到所有调度器中，包括自己；各个调度器领到作业后，就开始调度每个调度器都保存有当前的全量作业；作业分派即分派作业的ID，每个调度器都保存有当前的全量作业，调度器只负责自己领取作业的调度；作业分派包括全量、添加和删除三种类型；

工作调度具体为，调度器一直在进行作业的调度计算，该项工作不分角色，即主调度器与从调度器都同时在进行，某一作业一旦到达需要执行的时间点时，会发送通信消息给执行器，通知其执行任务；作业调度伴随调度器整个生命周期，永不停歇。

4.根据权利要求1所述的基于去中心化作业任务的分布式高并发调度系统，其特征在于：当作业存在增删改查时，会发送消息到指定的分布式消息队列，所有节点消费并同步增删改查作业，实现作业的一致性。

5.根据权利要求4所述的基于去中心化作业任务的分布式高并发调度系统，其特征在于：节点同步增删改查作业的具体过程为，

当节点收到消息后，会判断该消息的操作类型，操作类型中会明显标识出新增、查询、修改、删除；针对不同类型触发不同的动作。

6.根据权利要求4所述的基于去中心化作业任务的分布式高并发调度系统，其特征在于：节点消费的过程即为分布式消息队列的消费者接收消息的过程，具体为，

S1、消费者创建连接开启一个信道，连接到分布式消息队列的服务器；

S2、向服务器请求消费相应分布式消息队列中的消息，并设置相应的回调函数；

S3、等待服务器回应闭关投递相应分布式消息队列中的消息，消费者接收消息；

S4、确认接收到的消息；

S5、从分布式消息队列中删除相应已经被确认的消息；

S6、关闭信道；

S7、关闭连接。

7.根据权利要求1所述的基于去中心化作业任务的分布式高并发调度系统，其特征在于：系统采用弱中心化模式，即主节点宕机后，在选举过程中，其他从节点的调度工作不受影响，能够一直持续执行任务的调度工作。

8.根据权利要求1所述的基于去中心化作业任务的分布式高并发调度系统，其特征在于：所有的节点都将全量作业保存在线程安全的集合中。