[发明专利]一种为模型变量分配处理器的方法、装置及电子设备

权利要求书

1.一种为模型变量分配处理器的方法，其特征在于，该方法包括：

采集深度学习模型中的每个模型变量对应的时长参数，并根据采集的所述模型变量的时长参数确定所述模型变量的处理时长；

确定将深度学习模型中的模型变量分配给多个处理器的多种备选分配方式，其中每种备选分配方式下一个模型变量分配给一个处理器，且每种备选分配方式下每个处理器分配到的模型变量的容量之和不大于对应的处理器的容量；

针对任意一种备选分配方式，根据所述备选分配方式下处理器分配到的模型变量的处理时长确定处理器对应的总处理时长，并根据所述备选分配方式下每个处理器对应的总处理时长确定所述备选分配方式对应的参考值；其中，所述参考值用于表示所述备选分配方式下的处理器对应的总处理时长的离散程度；

根据每种备选分配方式对应的参考值，从多种备选分配方式中选取目标分配方式，并根据所述目标分配方式为每个模型变量分配处理器。

2.如权利要求1所述的方法，其特征在于，所述模型变量对应的时长参数包括前向计算时长、梯度更新时长、模型变量需要读取的数据量；

根据下列方式确定所述模型变量的处理时长：

将所述模型变量需要读取的数据量与预设的传输速率之间的比值作为所述模型变量的数据传输时长；并将所述模型变量的前向计算时长、所述模型变量的梯度更新时长和所述模型变量的数据传输时长之和作为所述模型变量的处理时长。

3.如权利要求1所述的方法，其特征在于，所述根据所述备选分配方式下每个处理器对应的总处理时长确定所述备选分配方式对应的参考值，包括：

将所述备选分配方式下每个处理器对应的总处理时长的方差作为所述备选分配方式对应的参考值。

4.如权利要求1所述的方法，其特征在于，所述根据所述备选分配方式下每个处理器对应的总处理时长确定所述备选分配方式对应的参考值，包括：

将所述备选分配方式下每个处理器对应的偏差值之和作为所述备选分配方式对应的参考值，其中所述偏差值是所述处理器对应的总处理时长与所述备选分配方式中的处理器对应的总处理时长的平均值之差的绝对值。

5.如权利要求1所述的方法，其特征在于，所述根据所述备选分配方式下每个处理器对应的总处理时长确定所述备选分配方式对应的参考值，包括：

将所述备选分配方式下的处理器对应的总处理时长中的最大值和最小值之差作为所述备选分配方式对应的参考值。

6.如权利要求1所述的方法，其特征在于，所述根据每种备选分配方式对应的参考值，从多种备选分配方式中选取目标分配方式，包括：

从多种备选分配方式中选取参考值最小的备选分配方式作为所述目标分配方式。

7.一种为模型变量分配处理器的装置，其特征在于，包括：

采集单元，被配置为采集深度学习模型中的每个模型变量对应的时长参数，并根据采集的所述模型变量的时长参数确定所述模型变量的处理时长；

获取单元，被配置为执行确定将深度学习模型中的模型变量分配给多个处理器的多种备选分配方式，其中每种备选分配方式下一个模型变量分配给一个处理器，且每种备选分配方式下每个处理器分配到的模型变量的容量之和不大于对应的处理器的容量；

确定单元，被配置为执行针对任意一种备选分配方式，根据所述备选分配方式下处理器分配到的模型变量的处理时长确定处理器对应的总处理时长，并根据所述备选分配方式下每个处理器对应的总处理时长确定所述备选分配方式对应的参考值；其中，所述参考值用于表示所述备选分配方式下的处理器对应的总处理时长的离散程度；

分配单元，被配置为根据每种备选分配方式对应的参考值，从多种备选分配方式中选取目标分配方式，并根据所述目标分配方式为每个模型变量分配处理器。