[发明专利]任务分配方法、装置、电子设备及计算机可读介质有效
申请号: | 202010480927.5 | 申请日: | 2020-05-30 |
公开(公告)号: | CN111625364B | 公开(公告)日: | 2023-05-16 |
发明(设计)人: | 吕德超;张相龙 | 申请(专利权)人: | 抖音视界有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06F16/27 |
代理公司: | 北京风雅颂专利代理有限公司 11403 | 代理人: | 郭曼 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 任务 分配 方法 装置 电子设备 计算机 可读 介质 | ||
本公开提供了一种任务分配方法、装置、电子设备及计算机可读介质,涉及数据处理的技术领域。该方法包括:接收任务集群中的多个设备节点中的一个发送的任务分配请求;根据任务分配请求将新任务分配到预设数量的虚拟节点中;将虚拟节点上的待分配任务分配到与虚拟节点绑定的设备节点上。本公开实施例在获取到新任务之后,通过先将任务分配到预设数量的虚拟节点中,将虚拟节点上的任务分配到对应的设备节点上,每次任务分配,不需要根据节点数进行重新调整分配方式,并保证任务会被集群中某个涉笔节点获取,并根据设定的执行时间被调度执行,在节点故障时,做好失败处理工作,保证任务不会因为节点故障而丢失。
技术领域
本公开涉及数据处理的技术领域,具体而言,本公开涉及一种任务分配方法、装置、电子设备及计算机可读介质。
背景技术
定时任务,即需要按照设定的时间,计划执行的任务,如手机闹钟就是一种典型的定时任务。定时任务的分类,从总体上,又可分为单机定时任务和分布式定时任务两类。
现有技术中对于分布式定时任务,其解决方案主要包括分时方案、高可用方案、多路心跳方案、任务抢占方案以及任务轮询方案,还有基于上述方案延伸出的单机版的Quartz(扩特兹公式)框架,但是单机版本存在单点故障、执行规模受限等问题,再加上分布式场景的逐渐增多,便在单机版本的基础上,借助数据库实现了分布式Quartz,但是分布式Quartz对于存在大量的短任务的场景,各个节点会因为抢占数据库锁而出现大量的线程等待,造成资源的浪费。
由此可见,现有技术在对任务进行处理时,存在单点故障、执行规模受限等问题,而分布式Quartz中各个节点会因为抢占数据库锁而出现大量的线程等待,造成资源的浪费的技术问题。
发明内容
本公开的目的旨在至少能解决上述的技术缺陷之一,特别是现有技术在对任务进行处理时,存在单点故障、执行规模受限等问题,而分布式Quartz中各个节点会因为抢占数据库锁而出现大量的线程等待,造成资源的浪费的技术问题。
第一方面,提供了一种任务分配方法,该方法包括:
接收任务集群中的多个设备节点中的一个发送的任务分配请求;其中,所述任务集群包括多个所述设备节点和虚拟节点,各所述虚拟节点与所述设备节点绑定;当所述设备节点接收到新任务时,发出所述任务分配请求;
根据所述任务分配请求将所述新任务分配到预设数量的虚拟节点中;
将所述虚拟节点上的所述待分配任务分配到与所述虚拟节点绑定的所述设备节点上。
第二方面,提供了一种任务分配装置,该装置包括:
任务分配请求获取模块,用于接收任务集群中的多个设备节点中的一个发送的任务分配请求;其中,所述任务集群包括多个所述设备节点和虚拟节点,各所述虚拟节点与所述设备节点绑定;当所述设备节点接收到新任务时,发出所述任务分配请求;
第一任务分配模块,用于根据所述任务分配请求将所述新任务分配到预设数量的虚拟节点中;
第二任务分配模块,用于将所述虚拟节点上的所述待分配任务分配到与所述虚拟节点绑定的所述设备节点上。
第三方面,提供了一种电子设备,该电子设备包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序配置用于:执行上述任务分配方法。
第四方面,提供了一种计算机可读介质,可读介质存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述任务分配方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于抖音视界有限公司,未经抖音视界有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010480927.5/2.html,转载请声明来源钻瓜专利网。