[发明专利]用于训练深度学习模型的方法和制品、以及计算系统

权利要求书

1.一种用于训练深度学习模型的方法，包括：

在计算系统的一个或多个服务器节点上提供多个加速器资源以执行分布式深度学习模型训练过程以训练所述深度学习模型；

将训练数据集划分成多个小批量数据集；

根据初始作业划分比率将初始小批量数据集划分成多个子批量数据集；

通过所述加速器资源中的每个加速器资源处理所述初始小批量数据集的所述子批量数据集中对应的一个子批量数据集来执行所述分布式深度学习模型训练过程的初始小批量迭代；以及

执行迭代批量大小调整过程以迭代地调整所述作业划分比率，以用于所述分布式深度学习模型训练过程的后续小批量迭代，其中所述迭代批量大小调整过程包括：

确定针对所述加速器资源中的每个加速器资源的作业完成时间，以完成所述初始小批量数据集的所述子批量数据集中所述对应的一个子批量数据集的处理；

确定由于针对所述初始小批量迭代的所述初始作业划分比率导致的所述加速器资源的所述作业完成时间的变化量；

将所确定的所述变化量与变化阈值进行比较；以及

响应于所述作业完成时间的所确定的所述变化量超过所述变化阈值，调整所述作业划分比率，以用于将下一小批量数据集划分成子批量数据集，以用于所述分布式深度学习模型训练过程的下一小批量迭代。

2.根据权利要求1所述的方法，其中调整所述作业划分比率以用于将所述下一小批量数据集划分成所述多个子批量数据集以用于所述分布式深度学习模型训练过程的所述下一小批量迭代包括：

确定具有针对所述初始小批量迭代的最快作业完成时间的加速器资源；

确定具有针对所述初始小批量迭代的最慢作业完成时间的加速器资源；以及

基于作业划分比率调整值，调整被确定为具有所述最快作业完成时间和所述最慢作业完成时间的所述加速器资源之间的所述作业划分比率。

3.根据权利要求2所述的方法，其中调整被确定为具有所述最快作业完成时间和所述最慢作业完成时间的所述加速器资源之间的所述作业划分比率包括：

将被分配给被确定为具有所述最慢作业完成时间的所述加速器资源的所述子批量数据集的大小减小对应于所述作业划分比率调整值的量；以及

将被分配给被确定为具有所述最快作业完成时间的所述加速器资源的所述子批量数据集的大小增加对应于所述作业划分比率调整值的量。

4.根据权利要求1所述的方法，其中根据所述初始作业划分比率将所述初始小批量数据集划分成所述多个子批量数据集包括：将初所述始小批量数据集划分成多个相同大小的子批量数据集。

5.根据权利要求1所述的方法，其中根据所述初始作业划分比率将所述初始小批量数据集划分成所述多个子批量数据集包括：将初所述始小批量数据集划分成多个子批量数据集，其中所述子批量数据集中的至少一些子批量数据集是不同大小的。

6.根据权利要求1所述的方法，其中执行所述迭代批量大小调整过程以迭代地调整所述作业划分比率以用于所述分布式深度学习模型训练过程的后续小批量迭代进一步包括：

针对当前小批量迭代：

根据当前作业划分比率将当前小批量数据集划分成多个子批量数据集；

确定针对所述加速器资源中的每个加速器资源的作业完成时间，以完成所述当前小批量数据集的所述子批量数据集中所述对应的一个子批量数据集的处理；

确定由于针对所述当前小批量迭代的所述当前作业划分比率导致的所述加速器资源的所述作业完成时间的变化量；

将所确定的所述变化量与所述变化阈值进行比较；

响应于所述作业完成时间的所确定的所述变化量超过所述变化阈值，调整所述作业划分比率，以用于将下一小批量数据集划分成多个子批量数据集，以用于所述分布式深度学习模型训练过程的下一小批量迭代；以及

响应于所述作业完成时间的所确定的所述变化量未超过所述变化阈值，维持所述当前作业划分比率，以用于将剩余的小批量数据集划分成多个子批量数据集，以用于所述分布式深度学习模型训练过程的剩余的小批量迭代。