[发明专利]多GPU并行训练的归一化处理方法、装置和系统

权利要求书

1.一种多GPU并行训练深度神经网络的归一化处理方法，其特征在于，包括：

在多个图像处理单元GPU并行迭代训练相同的深度神经网络得到模型的过程中，中央处理单元CPU接收来自一个GPU的当前并行迭代训练得到的模型的预测精度，并确定预测精度的增长值；

在预测精度的增长值小于预定增长阈值的情况下，将全部GPU划分为至少一个GPU组；在预测精度的增长值大于或等于预定增长阈值的情况下，保持当前的至少一个GPU组；

接收分别来自各GPU的本地归一化参数，根据一个GPU组内各个GPU的本地归一化参数，确定该GPU组的全局归一化参数；

将确定的各个全局归一化参数发送给对应的GPU组中的各GPU，以使GPU组内的各GPU根据接收到的全局归一化参数进行归一化处理。

2.根据权利要求1所述的方法，其特征在于，当前并行迭代训练包括当前的一组并行迭代训练；其中，一组并行迭代训练中包括预定迭代次数的并行迭代训练；

确定预测精度的增长值，包括：确定当前一组并行迭代训练得到的模型的预测精度和相邻的上一组并行迭代训练得到的模型的预测精度的差值为预测精度的增长值。

3.根据权利要求2所述的方法，其特征在于，预定迭代次数包括：预定的与训练数据的数量相关的次数。

4.根据权利要求1所述的方法，其特征在于，在并行迭代训练的初始状态下，每个GPU为一个GPU组。

5.根据权利要求1所述的方法，其特征在于，将全部GPU划分为至少一个GPU组，包括：

根据当前每个GPU组中包括的GPU的数量，确定划分后的每个GPU组中的GPU的数量；

根据确定的划分后的GPU组中包括的GPU的数量Gn、以及预定的分组规则，将全部GPU划分为至少一个GPU组。

6.根据权利要求5所述的方法，其特征在于，根据当前GPU组的数量，确定划分后的GPU组中的GPU的数量，包括：

根据公式Gn＝i*Gc确定划分后的GPU组中的GPU的数量，其中，Gn为分组后各个GPU组中的GPU数量，Gc为当前各个GPU组的GPU的数量，i为预定的系数；

在Gn小于总的GPU的数量的情况下，保留Gn；

在Gn大于或等于多个GPU的总数的情况下，设置Gn为总的GPU的数量。

7.根据权利要求5所述的方法，其特征在于，预定的分组规则包括至少以下之一：

将相邻标识的Gn个GPU划分为一个GPU组；

按照各GPU反馈本地归一化参数的先后次序，依次将Gn个GPU划分为一个GPU组；

将随机的Gn个GPU划分为一个GPU组。

8.根据权利要求1所述的方法，其特征在于，根据一个GPU组内各个GPU的本地归一化参数，确定该GPU组的全局归一化参数，包括：

将一个GPU组内全部的GPU的本地归一化参数的均值或者加权均值确定为该GPU组的全局归一化参数。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在模型的预测精度低于预定的精度阈值的情况下，确定预测精度的增长值。

10.一种多GPU并行训练深度神经网络的归一化处理方法，其特征在于，包括：

一个图像处理单元GPU在迭代训练深度神经网络的过程中，在进行归一化层处理时，确定归一化层的输入数据的本地归一化参数，并将确定得到的本地归一化参数发送给中央处理单元CPU；其中，该深度神经网络在其他的多个GPU上进行并行迭代训练；

接收来自CPU的全局归一化参数；其中，全局归一化参数是CPU在多个GPU并行迭代训练所述深度神经网络所得到的模型的预测精度的增长值小于预定增长阈值的情况下，对多个GPU进行分组，并根据所述GPU所在的GPU组内各个GPU发送的本地归一化参数确定得到的；

各GPU组内的各GPU根据接收到的全局归一化参数对归一化层的输入数据进行归一化处理。