[发明专利]一种集群任务处理方法、装置、电子设备及存储介质

说明书

本申请提供一种集群任务处理方法、装置、电子设备及存储介质。方法包括：集群中的登录节点接收任务信息，所述任务信息包括任务参数和任务分发结构参数；所述登录节点根据所述任务分发结构参数确定并选择对应的目标任务分发结构；其中，所述目标任务分发结构为预先配置好的；所述登录节点利用所述目标任务分发结构将所述任务信息分发给集群中的计算节点，以使所述计算节点根据所述任务参数执行对应的任务。本申请实施例通过预先配置多个任务分发结构，并根据不同的开销的任务选择不同的任务分发结构，保证任务能够尽快分发到各个计算节点，提高了任务分发的效率。

技术领域

本申请涉及计算机集群技术领域，具体而言，涉及一种集群任务处理方法、装置、电子设备及存储介质。

背景技术

随着社会的发展和科技的进步，人类对于计算能力的需求越来越高。近年来，大型超级计算集群层出不穷。计算能力与日俱增的同时，集群节点数也越来越多，数千乃至上万节点的集群已经不再罕见。如此规模巨大的集群给调试、管理和维护等集群操作带来了巨大的挑战，例如批量安装操作系统、节点状态检查、分发文件等等。单节点或者小规模集群上普通的操作，如果在规模巨大的集群上串行进行，其成百上千倍的执行时间增长显然是无法接受的。即使在集群上并行批量执行，由于单节点负载能力、节点间网络延迟与带宽等限制，时间开销也往往远大于小规模时的情况。快速高效的集群任务批量执行方法对于大规模集群的建设与维护能够起到重要的支持作用。

任务的分发对大规模集群任务的执行效率有重要的影响，现有技术一般在一个主节点上向所有执行节点分发命令，当集群规模很大时会面临严重的单节点、单网络链路性能问题，进而导致任务分发效率低的问题。

发明内容

本申请实施例的目的在于提供一种集群任务处理方法、装置、电子设备及存储介质，用以解决现有技术中任务分发效率低的问题。

第一方面，本申请实施例提供一种集群任务处理方法，包括：集群中的登录节点接收任务信息，所述任务信息包括任务参数和任务分发结构参数；所述登录节点根据所述任务分发结构参数确定并选择对应的目标任务分发结构；其中，所述目标任务分发结构为预先配置好的；所述登录节点利用所述目标任务分发结构将所述任务信息分发给集群中的计算节点，以使所述计算节点根据所述任务参数执行对应的任务。

本申请实施例通过预先配置多个任务分发结构，并根据不同的开销的任务选择不同的任务分发结构，保证任务能够尽快分发到各个计算节点，提高了任务分发的效率。

进一步地，所述集群包括多个接入层交换机、至少一个登录节点、至少一个管理节点和多个计算节点；所述登录节点、所述管理节点和所述计算节点均与对应的接入层交换机通信连接；所述在所述登录节点根据所述任务分发结构参数确定对应的目标任务分发结构之前，所述方法还包括：通过如下方式预先配置多个集群任务分发结构：将一个接入层交换机或多个接入层交换机对应的计算节点分为一组，并且将集群中的登录节点和管理节点分散配置到各组中；将所述集群中的登录节点配置为分发任务的主节点；从每个分组中选择一个节点配置为头节点。

本申请实施例通过将临近的接入层交换机对应的节点划分为一组，相比任意划分，减少了整个集群任务执行时所经过的网络连接跳数，提高集群任务的执行效率。

进一步地，所述从每个分组中选择一个节点配置为头节点，包括：若分组中包括至少一个管理节点，则将任意一个管理节点配置为头节点；若分组中没有管理节点，则从对应的计算节点中选择一个配置为头节点。

进一步地，所述方法还包括：针对每一分组，若分组中包括管理节点和计算节点，将分组中的管理节点分为一层，计算节点作为管理节点对应层的下一层。

本申请实施例通过从每个分组中选择一个节点作为头节点，能够用于接收主节点发送的任务，并且将任务分发到组内的计算节点，以使计算节点处理该任务，避免了主节点直接向各个组中的计算节点进行任务的分发，使得主节点的负载过大的问题。