[发明专利]用于任务调度的方法、电子设备和计算机存储介质

说明书

根据本公开的示例实施例，提供了一种用于任务调度的方法、电子设备和计算机可读存储介质。该方法包括如果确定任务处理系统的当前可用资源不能满足多个任务集合中要执行的当前任务集合的资源需求，则调度当前任务集合中的、当前可用资源能够支持的任务以用于执行，每个任务集合中的任务彼此独立，基于当前任务集合中未被调度的任务，创建用于下一轮调度的待调度任务集合，在多个任务集合中的、当前任务集合之后的下一任务集合中确定与待调度任务集合中的任务相独立的任务的子集，下一任务集合至少部分依赖于当前任务集合，以及将子集从下一任务集合移入待调度任务集合中。由此，本方案能够调度并行任务，同时最大化利用当前可用资源。

技术领域

本公开的实施例总体涉及信息处理领域，具体涉及用于任务调度的方法、电子设备和计算机存储介质。

背景技术

目前有很多流行的深度学习框架，但是无论是数据并行化还是模型并行化，这些框架均未能基于资源来调度深度学习任务，例如时期(epoch)和模型分区。如果在云中使用这类框架，用户必须先创建虚拟机，并且指定需要多少计算资源，而不知道这些资源的计算能力对于这类深度学习任务是过多的还是不足的。

发明内容

本公开的实施例提供了用于任务调度的方法、电子设备和计算机存储介质，能够以正确维持任务之间的依赖关系的方式调度并行任务，同时最大化利用当前可用资源，避免了资源浪费。

在本公开的第一方面，提供了一种用于任务调度的方法。该方法包括：如果确定任务处理系统的当前可用资源不能满足多个任务集合中要执行的当前任务集合的资源需求，则调度当前任务集合中的、当前可用资源能够支持的任务以用于执行，每个任务集合中的任务彼此独立，基于当前任务集合中未被调度的任务，创建用于下一轮调度的待调度任务集合，在多个任务集合中的、当前任务集合之后的下一任务集合中确定与待调度任务集合中的任务相独立的任务的子集，下一任务集合至少部分依赖于当前任务集合，以及将子集从下一任务集合移入待调度任务集合中。

在本公开的第二方面，提供了一种电子设备。该设备包括至少一个处理单元和至少一个存储器。至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。该指令当由至少一个处理单元执行时使得设备执行动作，该动作包括：如果确定任务处理系统的当前可用资源不能满足多个任务集合中要执行的当前任务集合的资源需求，则调度当前任务集合中的、当前可用资源能够支持的任务以用于执行，每个任务集合中的任务彼此独立，基于当前任务集合中未被调度的任务，创建用于下一轮调度的待调度任务集合，在多个任务集合中的、当前任务集合之后的下一任务集合中确定与待调度任务集合中的任务相独立的任务的子集，下一任务集合至少部分依赖于当前任务集合，以及将子集从下一任务集合移入待调度任务集合中。

在本公开的第三方面，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，计算机程序被机器执行时使机器实现根据本公开的第一方面所描述的方法的任意步骤。

提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。

图1示出了根据本公开的实施例的信息处理环境100的示例的示意图；

图2示出了根据本公开的实施例的用于任务调度的方法200的示意流程图；

图3示出了根据本公开的实施例的计算图300的示意图；

图4示出了根据本公开的实施例的多个任务集合400的示意流程图；

图5示出了根据本公开的实施例的调度结果500的示例的示意图；以及