[发明专利]分布式任务调度方法及系统

权利要求书

1.一种分布式任务调度方法，其特征在于，所述方法由分布式调度系统中包括的工作节点执行，所述分布式调度系统中包括多个主节点，所述方法包括：

定期向至少一个主节点发送参数获取请求，并接收所述主节点反馈的任务类型和任务负载总量进行本地存储；

在检测到新任务处理条件时，根据处理中任务数和所述任务负载总量，计算请求任务数，并根据所述请求任务数和所述任务类型，构造任务获取请求；

向在所述多个主节点中确定的第一目标主节点发送所述任务获取请求，所述任务获取请求用于指示所述第一目标主节点获取与所述请求任务数和所述任务类型匹配的任务进行反馈。

2.根据权利要求1所述的方法，其特征在于，还包括：

在检测到任务状态上报条件时，获取当前处理的至少一项任务的任务状态信息，所述任务状态信息中包括：任务标识与任务状态之间的映射关系；

向在所述多个主节点中确定的第二目标主节点发送所述任务状态信息，所述任务状态信息用于指示所述第二目标主节点对接收到的任务状态信息进行存储。

3.根据权利要求1或2所述的方法，其特征在于，在向在所述多个主节点中确定的第一目标主节点发送所述任务获取请求之后，还包括：

如果在第一等待时长内未接收到所述第一目标主节点反馈的任务，则重新在所述多个主节点中确定新的目标主节点，并重新向所述新的目标主节点发送所述任务获取请求；和/或

如果在第二等待时长内未收到所述第二目标主节点反馈的任务状态更新成功响应，则重新在所述多个主节点中确定新的目标主节点，并重新向所述新的目标主节点发送当前的任务状态信息。

4.一种分布式任务调度方法，其特征在于，所述方法由分布式调度系统中包括的主节点执行，所述分布式调度系统中包括多个主节点，所述方法包括：

根据第一目标工作节点发送的参数获取请求，查询元数据库，获取与所述参数获取请求匹配的任务类型以及任务负载总量反馈给所述第一目标工作节点；

其中，元数据库中存储有工作节点与节点参数之间的映射关系，所述映射关系为用户通过前端操作平台写入所述元数据库中的；所述节点参数包括：任务类型以及任务负载总量；

根据第二目标工作节点发送的任务获取请求，提取与所述任务获取请求匹配的目标任务请求数以及目标任务类型；

获取与所述目标任务请求数以及目标任务类型匹配的任务反馈给所述第二目标节点。

5.根据权利要求4所述的方法，其特征在于，获取与所述目标任务请求数以及目标任务类型匹配的任务反馈给所述第二目标节点，包括：

根据所述目标任务类型，查询状态数据库，获取与所述目标任务类型匹配的目标待分配任务列表；所述状态数据库中存储有与各任务类型分别对应的待分配任务标识列表；

在所述目标待分配任务列表中，获取与所述目标任务请求数匹配的任务标识集合；

向元数据库中请求与所述任务标识集合匹配的任务的元数据，并将所述任务的元数据反馈给所述第二目标工作节点，所述元数据库中存储有任务标识与任务的元数据之间的映射关系。

6.根据权利要求5所述的方法，其特征在于，还包括：

根据第三目标工作节点发送的状态上报信息，查询所述状态数据库，获取与所述第三目标工作节点匹配的目标当前执行任务标识集合和目标已分配任务状态集合；

其中，所述状态数据库中存储有与各所述工作节点分别对应的当前执行任务标识集合和已分配任务状态集合；

在所述状态上报信息中，提取任务状态为结束的各任务标识，并将所述各任务标识从所述目标当前执行任务标识集合中移除；

根据所述状态上报信息中包括的各任务标识的任务状态，更新所述目标已分配任务状态集合，并在更新结果中加入所述状态上报信息的心跳时间戳；

和/或

在向元数据库中请求与所述任务标识集合匹配的任务的元数据，并将所述任务的元数据反馈给所述第二目标工作节点之后，还包括：

根据所述任务标识集合，更新与所述第二目标节点对应的当前执行任务标识集合和已分配任务状态集合。