[发明专利]一种分布式任务调度方法及系统有效
申请号: | 201911026996.2 | 申请日: | 2019-10-26 |
公开(公告)号: | CN110750349B | 公开(公告)日: | 2022-07-29 |
发明(设计)人: | 刘昊松;徐辉;姚懿丹;罗跃军 | 申请(专利权)人: | 武汉中海庭数据技术有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50 |
代理公司: | 武汉蓝宝石专利代理事务所(特殊普通合伙) 42242 | 代理人: | 王振宇 |
地址: | 430000 湖北省武汉市*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 任务 调度 方法 系统 | ||
1.一种分布式任务调度方法,其特征在于,包括;
接收到客户端业务处理请求后,基于文件传输协议将预处理数据分发至对应的节点服务器;
根据节点服务器分配的处理任务,创建redis指令放入消息队列中;
当节点服务器轮询监测到对应redis指令,读取所述redis指令中的写入参数,并根据所述参数,调起预处理数据的任务处理进程;
其中,所述根据所述参数,调起预处理数据的任务处理进程还包括:
在redis指令中实时写入任务执行状态,通过将redis指令添加至消息中间体中反馈任务状态信息。
2.根据权利要求1所述的方法,其特征在于,所述根据节点服务器分配的处理任务具体为:
根据各节点服务器资源占用率及预处理数据对应的任务处理量,为每个节点服务器动态分配处理任务,所述处理任务至少包括任务类型信息、数据库信息。
3.根据权利要求1所述的方法,其特征在于,所述通过将redis指令添加至消息中间体中反馈任务状态信息具体为:
主进程获取节点服务器写入的redis指令,判断节点服务器中对应的数据处理任务是否执行完毕,当节点服务器中数据处理任务执行完毕,再通过对应的redis指令更新任务状态。
4.一种分布式任务调度系统,其特征在于,包括:
分发模块,用于接收到客户端业务处理请求后,基于文件传输协议将预处理数据分发至对应的节点服务器;
创建模块,用于根据节点服务器分配的处理任务,创建redis指令放入消息队列中;
执行模块,用于当节点服务器轮询监测到对应redis指令,读取所述redis指令中的写入参数,并根据所述参数,调起预处理数据的任务处理进程;
其中,所述执行模块还包括:
反馈模块,用于在redis指令中实时写入任务执行状态,通过将redis指令添加至消息中间体中反馈任务状态信息。
5.根据权利要求4所述的系统,其特征在于,所述根据节点服务器分配的处理任务具体为:
根据各节点服务器资源占用率及预处理数据对应的任务处理量,为每个节点服务器动态分配处理任务,所述处理任务至少包括任务类型信息、数据库信息。
6.根据权利要求4所述的系统,其特征在于,所述通过将redis指令添加至消息中间体中反馈任务状态信息具体为:
主进程获取节点服务器写入的redis指令,判断节点服务器中对应的数据处理任务是否执行完毕,当节点服务器中数据处理任务执行完毕,再通过对应的redis指令更新任务状态。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉中海庭数据技术有限公司,未经武汉中海庭数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911026996.2/1.html,转载请声明来源钻瓜专利网。