[发明专利]一种任务处理方法、装置、系统、设备及介质

说明书

本申请公开了一种任务处理方法、装置、设备及介质，应用于计算机技术领域，用以解决现有技术通过分布式任务处理系统处理任务时存在的部分资源闲置的问题。具体为：接收任务处理平台发送的任务处理指令；从内存数据库中获得任务处理指令对应的目标任务的任务锁时，基于与各个任务处理节点的空闲硬件资源的均衡程度相适配的任务分片策略，对目标任务进行分片，得到各个子任务并分配至相应的任务处理节点进行处理。这样，通过按照与各个任务处理节点的空闲硬件资源的均衡程度相适配的任务分片策略对目标任务进行分片并分配至相应的任务处理节点进行处理，可以确保各个任务处理节点的空闲硬件资源的充分利用，有效地避免了部分硬件资源闲置的问题。

技术领域

本申请涉及计算机技术领域，尤其涉及一种任务处理方法、装置、系统、设备及介质。

背景技术

随着大数据时代的到来，数据规模越来越大，数据结构也越来越复杂，传统的单机任务处理系统已经无法满足大数据对计算性能的要求，为此，分布式架构的任务处理系统应运而生，相比于单机任务处理系统，分布式任务处理系统在大数据处理效率上有所提升。

然而，目前的分布式任务处理系统在利用各个任务处理节点处理任务时，通常会因为各个任务处理节点的硬件性能不均衡，导致高性能的任务处理节点优先完成任务处理，从而造成部分资源闲置，无法充分利用分布式任务处理系统的处理资源。

发明内容

本申请实施例提供了一种任务处理方法、装置、系统、设备及介质，用以解决现有技术通过分布式任务处理系统处理任务时存在的部分资源闲置的问题。

本申请实施例提供的技术方案如下：

一方面，本申请实施例提供了一种任务处理方法，包括：

接收任务处理指令；

从内存数据库中获得任务处理指令对应的目标任务的任务锁时，基于与各个任务处理节点的空闲硬件资源的均衡程度相适配的任务分片策略，对目标任务进行分片，得到各个子任务并分配至相应的任务处理节点进行处理。

另一方面，本申请实施例提供了一种任务处理装置，包括：

指令接收单元，用于接收任务处理指令；

任务分配单元，用于从内存数据库中获得任务处理指令对应的目标任务的任务锁时，基于与各个任务处理节点的空闲硬件资源的均衡程度相适配的任务分片策略，对目标任务进行分片，得到各个子任务并分配至相应的任务处理节点进行处理。

另一方面，本申请实施例提供了一种任务处理系统，包括：

任务处理平台，用于接收任务处理指令；

任务管理服务器，用于获取任务处理指令对应的目标任务，并将目标任务发布至任务调度服务器；

任务调度服务器，用于从内存数据库中获得目标任务的任务锁时，基于与各个任务处理节点的空闲硬件资源的均衡程度相适配的任务分片策略，对目标任务进行分片，得到各个子任务并分配至相应的任务处理节点；

各个任务处理节点，用于处理所述任务调度服务器分配的子任务。

另一方面，本申请实施例提供了一种任务处理设备，包括：存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本申请实施例提供的任务处理方法。

另一方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令被处理器执行时实现本申请实施例提供的任务处理方法。

本申请实施例的有益效果如下：