[发明专利]分布式任务处理系统有效
申请号: | 202010322658.X | 申请日: | 2020-04-22 |
公开(公告)号: | CN111538604B | 公开(公告)日: | 2023-03-28 |
发明(设计)人: | 黄威 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G06F9/54 | 分类号: | G06F9/54 |
代理公司: | 北京远智汇知识产权代理有限公司 11659 | 代理人: | 范坤坤 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 任务 处理 系统 | ||
1.一种分布式任务处理系统,其特征在于,包括:任务配置子系统、任务解析子系统和下游服务子系统,其中,
所述任务配置子系统包含至少两个任务配置设备,每个所述任务配置设备用于接收任务配置信息,并将所述任务配置信息发送至任务解析子系统;
所述任务解析子系统用于解析各相同任务配置信息中的其中一个任务配置信息,确定任务周期和任务执行指令,并依据所述任务周期设置定时器,以及在所述定时器被触发时,将所述任务执行指令写入所述任务配置信息对应的消息队列;
所述下游服务子系统包含至少两个下游服务处理设备,所述下游服务处理设备用于依据所述消息队列中的所述任务执行指令处理所述任务配置信息对应的定时任务。
2.根据权利要求1所述的系统,其特征在于,所述系统还包括:
任务配置信息输入设备,用于接收用户输入的所述任务配置信息,并基于分布式系统的推送机制和探活机制,将所述任务配置信息发送至所述任务配置子系统。
3.根据权利要求1所述的系统,其特征在于,所述任务配置子系统还包含至少两个配置备用设备,所述配置备用设备用于在所述任务配置设备故障时,接收任务配置信息,并将所述任务配置信息发送至所述任务解析子系统。
4.根据权利要求1所述的系统,其特征在于,所述任务解析子系统包含至少两个任务解析设备,每个所述任务解析设备用于解析各所述任务配置信息中的同一个任务配置信息,确定任务周期和任务执行指令,并依据所述任务周期设置定时器,以及在所述定时器被触发时,将所述任务执行指令写入所述任务配置信息对应的消息队列。
5.根据权利要求1或4所述的系统,其特征在于,所述任务解析子系统还用于:
当所述任务执行指令写入所述消息队列失败时,将所述任务执行指令存入内存,并在满足预设内存读取条件时,读取所述内存中的所述任务执行指令,以将所述任务执行指令重试写入所述消息队列。
6.根据权利要求4所述的系统,其特征在于,所述任务解析子系统还用于:
记录各所述任务配置信息中被解析的任务配置信息,作为所述同一个任务配置信息,并记录所述同一个任务配置信息中每个任务信息的解析状态及相应的任务解析设备,以使一个所述任务信息被一个所述任务解析设备解析。
7.根据权利要求1所述的系统,其特征在于,所述系统还包括:
消息分发子系统,用于在监测到所述消息队列中有消息时,将所述消息队列中的所述任务执行指令分发至所述下游服务子系统。
8.根据权利要求7所述的系统,其特征在于,所述消息分发子系统包含至少两个消息分发设备,每个所述消息分发设备用于监测所述消息队列中是否有消息,且最早监测到所述消息队列中有消息的所述消息分发设备将所述消息队列中的所述任务执行指令分发至所述下游服务子系统。
9.根据权利要求7或8所述的系统,其特征在于,所述消息分发子系统具体用于:
在监测到所述消息队列中有消息,且所述消息的数量大于1时,判断各所述消息是否为重复消息;
若是,则保留所述消息队列中的任一所述任务执行指令,并将所述任务执行指令分发至所述下游服务子系统。
10.根据权利要求7所述的系统,其特征在于,所述消息分发子系统还用于:
将各所述任务执行指令分发至所述下游服务子系统中的同一个下游服务设备。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010322658.X/1.html,转载请声明来源钻瓜专利网。