[发明专利]神经网络训练方法、装置、电子设备、介质和程序产品

权利要求书

1.一种神经网络分布式训练方法，包括：

获取用于深度学习的神经网络，所述神经网络包括多个网络层，所述多个网络层中的每个网络层由多个类型的处理单元中的一个类型的处理单元执行训练，其中所述处理单元的类型包括中央处理单元和专用处理单元；

针对所述神经网络建立深度强化学习模型，所述深度强化学习模型包括与所述多个网络层一一对应的多个模型层；以及

使用所述深度强化学习模型，基于使用所述多个类型的处理单元中的每个类型的处理单元针对每个网络层执行训练所需的时长、以及每个类型的处理单元的成本，来确定针对所述多个网络层的处理单元选择，所述处理单元选择包括针对所述多个网络层中的每个网络层将使用的处理单元的类型，所述处理单元选择使得在使针对所述神经网络执行训练所需的流水线并行计算时长小于预定时长的情况下，所述神经网络所使用的处理单元的总成本低于成本阈值，其中确定所述处理单元选择包括：

基于针对与所述多个网络层中的第一网络层的训练相关联的简档来确定由每个类型的处理单元针对所述第一网络层执行训练所需的时长，

基于与所述第一网络层的训练相关联的、要被传输的参数的大小，以及用于传输所述参数的网络带宽，来确定针对所述第一网络层的参数传递时长，以及

响应于所述参数传递时长大于由每个类型的处理单元针对所述第一网络层执行训练所需的时长，使由每个类型的处理单元针对所述第一网络层执行训练所需的所述时长等于所述参数传递时长。

2.根据权利要求1所述的方法，其中确定所述处理单元选择包括：

使用所述深度强化学习模型，基于使用所述多个类型的处理单元中的每个类型的处理单元针对所述多个网络层中的第一网络层执行训练所需的时长、每个类型的处理单元的成本、以及针对所述第一网络层的前一网络层所确定的处理单元的类型，来确定针对所述第一网络层将使用的处理单元的类型。

3.根据权利要求1所述的方法，其中确定所述处理单元选择包括：

确定所述处理单元选择，使得在使针对所述神经网络执行训练所需的所述流水线并行计算时长小于所述预定时长的情况下，针对所述神经网络所使用的所述处理单元的所述总成本最低。

4.根据权利要求1所述的方法，还包括：

基于由所述处理单元选择指示的、针对所述多个网络层中的、使用相同类型的处理单元的相邻网络层的至少一个集合中的、针对相邻网络层执行训练所需的总时长，来确定所述流水线并行计算时长。

5.根据权利要求1所述的方法，还包括：

基于所述处理单元选择，使用针对所述多个网络层中的每个网络层将使用的处理单元的类型、由针对每个网络层所使用的类型的一个处理单元针对该网络层执行训练所需的时长、以及所述流水线并行计算时长，确定针对所述多个网络层中的每个网络层将使用的处理单元的数目。

6.根据权利要求1所述的方法，还包括：

基于所述处理单元选择，使用针对所述多个网络层中的每个网络层将使用的处理单元的类型、由针对每个网络层所使用的类型的一个处理单元针对该网络层执行训练所需的时长、该网络层中可用于并行训练的部分的比例、以及所述流水线并行计算时长，确定针对所述多个网络层中的每个网络层将使用的处理单元的数目。