[发明专利]一种为模型变量分配处理器的方法、装置及电子设备

说明书

本公开关于一种为模型变量分配处理器的方法、装置及电子设备，用以解决为模型变量随机分配处理器的方式会导致深度学习模型训练速度较慢的问题，本公开实施例采集深度学习模型中的每个模型变量对应的时长参数，并根据采集的模型变量的时长参数确定模型变量的处理时长；确定将模型变量分配给多个处理器的多种备选分配方式；确定任一种备选分配方式对应的参考值；从多种备选分配方式中选取目标分配方式并根据目标分配方式为每个模型变量分配处理器。本公开实施例根据每种备选分配方式下每个处理器对应的总处理时长合理选择目标分配方式，能够避免某一处理器处理时间过长，从而提高深度学习模型的处理速度。

技术领域

本公开涉及计算机技术领域，特别涉及一种为模型变量分配处理器的方法、装置及电子设备。

背景技术

深度学习技术具有更高的预测精度和泛化效果，它广泛用于互联网的各种领域，例如自然语言处理、网页搜索、商品推荐和互联网广告等领域。

深度学习模型通常采用多层神经网络架构，每层网络具有大量的模型变量。为了加速模型的训练，以及处理更大规模的深度学习模型，模型的训练通常需要采用多个处理器训练，例如采用多个GPU(Graphics Processing Unit，图形处理器)进行训练。为此，通常深度学习模型的模型变量需要放置在不同处理器上。目前一种常用的为模型变量分配处理器的方式为，为每个模型变量随机分配一个处理器，将模型变量放置在随机分配的处理器上。这种随机分配处理器的方式可能会导致一个处理器上分配了大量的模型变量，这样，在训练过程中该处理器操作过于繁忙，会经常出现其他处理器处于空闲状态，等待该处理器执行操作，因此会影响深度学习模型训练过程的效率。

综上所述，目前为模型变量随机分配处理器的方式会导致深度学习模型训练速度较慢，效率较低。

发明内容

本公开提供一种为模型变量分配处理器的方法、装置及电子设备，用以解决现有技术中模型变量随机分配处理器导致深度学习速度较慢的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种为模型变量分配处理器的方法，包括：

采集深度学习模型中的每个模型变量对应的时长参数，并根据采集的所述模型变量的时长参数确定所述模型变量的处理时长；

确定将深度学习模型中的模型变量分配给多个处理器的多种备选分配方式，其中每种备选分配方式下一个模型变量分配给一个处理器，且每种备选分配方式下每个处理器分配到的模型变量的容量之和不大于对应的处理器的容量；

针对任意一种备选分配方式，根据所述备选分配方式下处理器分配到的模型变量的处理时长确定处理器对应的总处理时长，并根据所述备选分配方式下每个处理器对应的总处理时长确定所述备选分配方式对应的参考值；其中，所述参考值用于表示所述备选分配方式下的处理器对应的总处理时长的离散程度；

根据每种备选分配方式对应的参考值，从多种备选分配方式中选取目标分配方式，并根据所述目标分配方式为每个模型变量分配处理器。

在一种可能的实现方式中，所述模型变量对应的时长参数包括前向计算时长、梯度更新时长、模型变量需要读取的数据量；

根据下列方式确定所述模型变量的处理时长：

将所述模型变量需要读取的数据量与预设的传输速率之间的比值作为所述模型变量的数据传输时长；并将所述模型变量的前向计算时长、所述模型变量的梯度更新时长和所述模型变量的数据传输时长之和作为所述模型变量的处理时长。

在一种可能的实现方式中，所述根据所述备选分配方式下每个处理器对应的总处理时长确定所述备选分配方式对应的参考值，包括：

将所述备选分配方式下每个处理器对应的总处理时长的方差作为所述备选分配方式对应的参考值。