[发明专利]多GPU并行训练的归一化处理方法、装置和系统

说明书

本发明公开多GPU并行训练的归一化处理方法、装置和系统，用以解决现有技术使用多GPU并行训练深度神经网络的归一化处理中，处理速度慢、处理效率低的问题。该方法包括：CPU接收来自一个GPU的当前并行迭代训练得到的模型的预测精度，并确定预测精度的增长值；在预测精度的增长值小于预定增长阈值的情况下，将全部GPU划分为至少一个GPU组；接收分别来自各GPU的本地归一化参数，根据一个GPU组内各个GPU的本地归一化参数，确定该GPU组的全局归一化参数；将确定的各个全局归一化参数发送给对应的GPU组中的各GPU，以使GPU组内的各GPU根据接收到的全局归一化参数进行归一化处理。

技术领域

本发明涉及高性能计算领域，特别涉及多图像处理单元(Graphic ProcessingUnit，GPU)并行训练的归一化处理方法、装置和系统。

背景技术

目前对深度神经网络进行训练时，为了提高训练效率和速度，通常会使用多块GPU进行并行训练。具体包括，在每块GPU上分别加载一套训练神经网络，在每块GPU上分别对神经网络进行迭代训练，得到进行预测的模型。

在多GPU并行迭代训练深度神经网络的过程中，为了提高训练精度可以对深度神经网络中的归一化层进行同步处理。也即，对于深度神经网络中的归一化层的处理，各个GPU需要确定得到用于归一化处理的归一化参数，也即归一化层的上一层输出数据的平均值和/或方差值；将计算得到的归一化参数反馈给其它的各个GPU；GPU根据计算得到的归一化参数和接收到的其它各个GPU的归一化参数，确定得到全局归一化参数；并根据全局归一化参数对归一化层的输入数据进行相应的归一化处理。

在上述处理过程中，有些GPU需要等待较长时间才能接收到其它GPU反馈的归一化参数。这样，会严重的降低深度神经网络的训练速度和训练效率。

可见，目前在使用多GPU并行训练深度神经网络的归一化处理中，存在处理速度慢、处理效率低的问题。

发明内容

鉴于上述问题，本发明提供了一种多GPU并行训练深度神经网络的归一化处理方法、装置和系统，用以解决现有技术使用多GPU并行迭代训练深度神经网络的归一化处理中，处理速度慢、处理效率低的问题。

根据本申请的一个方面，提供了一种多GPU并行训练深度神经网络的归一化处理方法，包括：

在多个图像处理单元GPU并行迭代训练相同的深度神经网络得到模型的过程中，中央处理单元CPU接收来自一个GPU的当前并行迭代训练得到的模型的预测精度，并确定预测精度的增长值；

在预测精度的增长值小于预定增长阈值的情况下，将全部GPU划分为至少一个GPU组；在预测精度的增长值大于或等于预定增长阈值的情况下，保持当前的至少一个GPU组；

接收分别来自各GPU的本地归一化参数，根据一个GPU组内各个GPU的本地归一化参数，确定该GPU组的全局归一化参数；

将确定的各个全局归一化参数发送给对应的GPU组中的各GPU，以使GPU组内的各GPU根据接收到的全局归一化参数进行归一化处理。

根据本申请的一个方面，提供了一种多GPU并行训练深度神经网络的归一化处理方法，包括：

一个图像处理单元GPU在迭代训练深度神经网络的过程中，在进行当前迭代的归一化层处理时，确定归一化层的输入数据的本地归一化参数，并将确定得到的本地归一化参数发送给中央处理单元CPU；其中，该深度神经网络在其他的多个GPU上进行并行迭代训练；

接收来自CPU的全局归一化参数；其中，全局归一化参数是CPU对多个GPU进行分组，并根据所述GPU所在的GPU组内各个GPU发送的本地归一化参数确定得到的；

根据全局归一化参数对归一化层的输入数据进行归一化处理。