[发明专利]确定用于分布式基于批的优化应用的最佳计算资源

说明书

本文提供了用于确定用于分布式基于批的优化应用的最佳计算资源的方法、系统和计算机程序产品。一种方法包括：获得输入数据集的大小、模型的大小和与要使用分布式计算系统处理的作业对应的批大小集合；至少部分地基于批大小集合，计算与能够用于处理所述作业的节点的数量相对应的一个或多个节点计数；针对所述节点计数中的每个给定节点计数，基于用于一批所述输入数据集的平均计算时间和用于所述一批所述输入数据集的平均通信时间来估计处理所述作业的执行时间；以及至少部分地基于所述估计，选择所述节点计数中的至少一个节点计数用于处理作业。

技术领域

本申请一般而言涉及信息技术，并且更具体地涉及确定最佳计算资源。

背景技术

许多优化应用，诸如基于随机梯度下降(SGD)的那些优化应用，迭代地作用于多批输入数据以学习最小化(或最大化)目标函数的模型。基于批的优化应用(诸如深度学习(DL)作业)通常花费数天或甚至数周来对数据集进行训练。随着数据集变得更大和模型变得更深和更复杂，训练时间也增加。例如，DL作业正越来越多地在为此目的定制的DL云上运行。当前，用户预先确定计算单元(GPU/节点)的数量，并基于每小时每计算单元的成本来收费。

发明内容

在本发明的一个实施例中，提供了用于为分布式基于批的优化应用(distributedbatch based optimization application)确定最佳计算资源的技术。一种示例性的计算机实现的方法包括：获得(i)模型的大小和(ii)与要使用分布式计算系统处理的作业对应的输入数据集的批大小集合，其中所述分布式计算系统包括多个节点；至少部分地基于批大小集合，计算与能用于处理所述作业的节点数量对应的一个或多个节点计数；对于所述节点计数中的每一个给定节点计数，估计使用与给定节点计数对应的节点数量来处理作业的执行时间，其中所述估计包括确定(i)一批所述输入数据集的平均计算时间，以及(ii)用于一批所述输入数据集的平均通信时间，其中平均通信时间至少部分地基于模型的大小和与给定节点计数对应的节点数量；和至少部分地基于所述估计，选择所述节点计数中的至少一个来处理作业。

另一个示例性的计算机实现的方法包括至少部分地基于(i)模型的大小和(ii)批大小集合来确定用于处理基于批的作业的分布式计算系统的多个计算资源配置；对于所述计算资源配置中的每个给定计算资源配置，确定(i)使用给定计算资源配置处理一批所述输入数据集的平均计算时间，以及(ii)所述一批所述输入数据集的平均通信时间；和至少部分地基于(i)平均计算时间和(ii)为每个所述计算资源配置确定的平均通信时间，从多个计算资源配置中选择用于处理基于批的作业的最佳计算资源配置。

本发明的另一个实施例或其元素可以以有形地实施计算机可读指令的计算机程序产品的形式来实现，所述计算机可读指令在被实现时，使得计算机执行如本文所描述的多个方法步骤。此外，本发明的另一个实施例或其元素可以以包括存储器和至少一个处理器的系统的形式来实现，该至少一个处理器耦合到存储器并且被配置为执行所述的方法步骤。此外，本发明的另一个实施例或其元素可以以用于执行本文所述的方法步骤的装置或其元素的形式来实现；该装置可以包括(一个或多个)硬件模块或硬件和软件模块的组合，其中软件模块被存储在有形计算机可读存储介质(或多个这样的介质)中。

本发明的这些和其它目的、特征和优点将从结合附图阅读的本发明的说明性实施例的以下详细描述中变得显而易见。

附图说明

图1是示出根据本发明一示例性实施例的系统架构的示图；

图2是示出根据本发明一示例性实施例的技术的流程图；

图3是示出根据本发明一实施例的技术的另一流程图；

图4是可以在其上实现本发明的至少一个实施例的示例性计算机系统的系统图；

图5表示根据本发明一实施例的云计算环境；以及