[发明专利]一种任务调度方法、装置及系统有效
申请号: | 201611088406.5 | 申请日: | 2016-12-01 |
公开(公告)号: | CN108132830B | 公开(公告)日: | 2020-12-25 |
发明(设计)人: | 胡伟;贾涛;罗钧 | 申请(专利权)人: | 北京金山云网络技术有限公司;北京金山云科技有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 马敬;项京 |
地址: | 100085 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 任务 调度 方法 装置 系统 | ||
1.一种任务调度方法,其特征在于,应用于任务调度系统中的目标任务处理节点,所述任务调度系统包括任务处理节点集群,所述任务处理节点集群中存在至少两个任务处理节点,目标任务处理节点是任务处理集群其中的一个任务处理节点,所述方法包括:
获取针对目标任务的任务处理请求;
计算所述目标任务的标识信息的第一哈希值;
将所述目标哈希值与当前记录的所有任务处理节点的哈希值分区进行匹配,根据匹配结果确定处理所述目标任务的第一任务处理节点,其中,各个任务处理节点的哈希值分区分别由各个任务处理节点对应的第二哈希值确定,各个任务处理节点的哈希值分区不重合,且各个任务处理节点的哈希值分区形成的区域与封闭圆环对应的区域相同,所述封闭圆环是由所述第二哈希值确定的,所述第二哈希值为任务处理节点的标识信息的哈希值;每一任务处理节点的哈希值分区为:该任务处理节点与封闭圆环中按照顺时针顺序的前一个任务处理节点之间的分区;
将所述目标任务调度给所述第一任务处理节点,以使得所述第一任务处理节点对所述目标任务进行处理。
2.根据权利提要求1所述的方法,其特征在于,所述任务处理节点集群中每一任务处理节点设置有至少一个虚拟节点;
所述封闭圆环是由所述第二哈希值和各个虚拟节点对应的第三哈希值确定的,其中,所述第三哈希值为虚拟节点的标识信息的哈希值;
每个任务处理节点的哈希值分区由第一哈希值子分区和第二哈希值子分区组成,其中,所述第一哈希值子分区由该任务处理节点的第二哈希值确定,第二哈希值子分区由该任务处理节点对应的虚拟节点的第三哈希值确定。
3.根据权利要求1所述的方法,其特征在于,所述任务处理节点集群中包括一个主任务处理节点和至少一个从任务处理节点;当所述目标任务处理节点是所述主任务处理节点时,所述方法还包括:
监听是否存在从任务处理节点退出所述任务处理节点集群;
若存在,更新第一邻居任务处理节点的哈希值分区,其中,所述第一邻居任务处理节点是根据已退出的任务处理节点的标识信息的哈希值确定的;
在已退出的任务处理节点上存在未完成的第一任务时,获取所述第一任务的标识信息的第四哈希值;
将所述第四哈希值与当前所有任务处理节点的哈希值分区进行匹配,根据匹配结果确定处理所述第一任务的第二任务处理节点;
将所述第一任务调度给所述第二任务处理节点,以使得所述第二任务处理节点对所述第一任务进行处理。
4.根据权利要求3所述的方法,所述任务调度系统还包括:用于监听任务处理节点工作状态的ZooKeeper节点;
所述监听是否存在从任务处理节点退出所述任务处理节点集群,包括:
根据所述ZooKeeper节点针对任务处理节点工作状态的监听结果,判断是否存在从任务处理节点退出所述任务处理节点集群。
5.根据权利要求3或4所述的方法,其特征在于,所述方法还包括:
监听到有新增的任务处理节点加入所述任务处理节点集群时,根据哈希算法,计算新增的任务处理节点的标识信息的第五哈希值;
根据所述第五哈希值,确定所述新增的任务处理节点的第二邻居任务处理节点;
根据所述第五哈希值,更新所述第二邻居任务处理节点的哈希值分区,并确定所述新增的任务处理节点的哈希值分区;
将所述第二邻居任务处理节点的未完成任务中,任务的标识信息的哈希值与所述新增的任务处理节点的哈希值分区相匹配的任务调度至所述新增的任务处理节点。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取针对第二任务的删除请求;
基于所述删除请求,获得所述第二任务的标识信息的第六哈希值;
将所述第六哈希值与当前所有任务处理节点的哈希值分区进行匹配,根据匹配结果确定处理所述第二任务的第四任务处理节点;
判断所述第四任务处理节点是否为所述目标任务处理节点;
如果是,删除所述第二任务;
如果否,向所述第四任务处理节点发送删除所述第二任务的删除指令;
接收所述第四任务处理节点反馈的已删除所述第二任务的确认信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金山云网络技术有限公司;北京金山云科技有限公司,未经北京金山云网络技术有限公司;北京金山云科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611088406.5/1.html,转载请声明来源钻瓜专利网。