[发明专利]一种加大深度学习训练数据量的方法

说明书

本发明提供了一种加大深度学习训练数据量的方法，包括S1、根据数据量总量确定更新梯度的批量，根据内存或者显存数据确定计算梯度的子批量；S2、计算更新梯度的批量大小包含的子批量数量，所述更新梯度的批量包含的子批量数量为更新梯度的批量与计算梯度的子批量的商；S3、在更新梯度的批量大小包含的子批量数量的数据上运行网络的前向传播，然后进行反向传播以计算相对于网络参数的梯度；S4、执行步骤S3更新梯度的批量大小包含的子批量数量次，对更新梯度的批量大小包含的子批量数量个梯度累加后取平均梯度；S5、用平均梯度更新模型参数。训练更稳定，训练效果更好；加快训练进程；让内存有限的CPU和显存有限的GPU可以用于训练大型网络。

【技术领域】

本发明涉及深度学习技术领域，尤其涉及一种加大深度学习训练数据量的方法。

【背景技术】

在过去几年中，神经网络规模不断扩大，训练可能需要大量的数据和计算资源。例如，CNN经典模型之一inception-v3有2千3百万参数。模型越大，相应所需要的训练数据也越大。训练神经网络通常采用批量随机梯度下降，即将样本分成m个样本(mini-batch)，每个样本(mini-batch)包含n个样本(mini-batch)；在每个样本(mini-batch)里计算每个样本的梯度，然后在这个样本(mini-batch)里求和取平均作为最终的梯度来更新参数。

通常来说，如果每个样本(mini-batch)所包含的样本与总体的分布越一致，训练效果越好。而样本的batch size越大，就越可能与总体的分布一致。遗憾地是，训练占用内存(如果用CPU训练)或显存(如果用GPU训练)随着批大小(batch size)按比例增大。而内存或显存总是有限的。因此，训练总是无法发挥理论的潜力。

【发明内容】

本发明所要解决的技术问题是提供一种加大深度学习训练数据量的方法，能够降低训练门槛，让内存有限的CPU和显存有限的GPU可以用于训练大型网络；改善训练效果，批大小batch_size的增大使得样本(sample)的分布更加接近总体(population)的分布，使得训练更加稳定，训练效果更好；加快训练进程，批大小batch_size的增大，可以使用更大的学习率，从而可以加快训练进程；通过对普通梯度下降方法的改进，可适用于不同的网络结构，如全连接、CNN、RNN等网络；可适用于不同的优化器，如SGD、ADAM、ADAGRAD、RMSPROP等。

为解决上述技术问题，本发明一实施例提供了一种加大深度学习训练数据量的方法，包括步骤：

S1、根据数据量总量确定更新梯度的批量大小，根据内存或者显存数据确定计算梯度的子批量大小；

S2、计算更新梯度的批量大小包含的子批量数量，所述更新梯度的批量大小包含的子批量数量为更新梯度的批量大小与计算梯度的子批量大小的商；

S3、在更新梯度的批量大小包含的子批量数量的数据上运行网络的前向传播，然后进行反向传播以计算相对于网络参数的梯度；

S4、执行步骤S3更新梯度的批量大小包含的子批量数量次，对更新梯度的批量大小包含的子批量数量个梯度累加后取平均梯度；

S5、用平均梯度更新模型参数，即w_t+1＝w_t–ηgrad，其中w_t+1为后一个step的模型参数，w_t为前一个step的模型参数，η为学习率，grad为平均梯度。

优选地，所述更新梯度的批量大小批大小为1024～65536。

优选地，所述批量大小包含的子批量数量为16～256。

优选地，所述学习率η为10^-4～1。

优选地，步骤S5用平均梯度更新模型参数包括：