[发明专利]一种神经网络模型的训练装置、方法及相关设备

说明书

本申请实施例提供了一种神经网络模型的训练装置、方法及相关设备，该训练装置可用于对人工智能AI领域的神经网络进行模型训练的场景中，该训练装置包括多个加速器，在训练装置使用多个加速器训练神经网络模型的并行处理的过程中，将神经网络模型中的完整权重系数分布式存储于训练装置中的多个加速器中，后续在多个加速器中通过汇聚以得到完整权重系数，在每个加速器上再进一步根据不同的输入数据以及该完整权重系数训练神经网络模型，即在训练装置中的多个加速器中通过分布式存储完整权重系数，从而减少神经网络模型训练过程中训练装置的显存消耗。

技术领域

本申请涉及人工智能领域，尤其涉及一种神经网络模型的训练装置、方法及相关设备。

背景技术

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。

近年来，神经网络模型训练朝着大网络、大数据量的方向发展，一般来说，可以通过数据并行的方式提升训练网络中计算需求激增的需求。数据并行的基本思想是使用多个设备上的模型副本同时对数据子集进行训练，并在迭代结束时同步跨副本的模型参数。

具体地，图1给出了一种采用数据并行方式训练神经网络的示意图，该训练过程通过CPU与多个加速器(加速器1、加速器2、...、加速器n)参与实现，其中，多个加速器共同训练，一般地，训练过程包括如下步骤：1)在各加速器上创建同样的训练模型，例如训练Bert网络，则每个加速器上都需要有一个完整的Bert模型；2)在加速器1上初始化权重系数，并将该权重系数通过集合通信中的广播(broadcast)操作发送到各加速器上(1001)。一般从头开始训练神经网络，可以采用随机的方法给权重赋一个初值。为了让各加速器上的权重初始值保持一致，采用先在任一加速器上随机初始化权重，再将该权重发送到各加速器上的方式；3)CPU给不同的加速器发送不同的数据；4)各加速器进行前向反向计算，得到对应的梯度信息。这一步是在各加速器内部进行操作。前向反向计算后，得到当前该加速器的批量(batch)数据对应的梯度信息。由于3)中保证了输入数据的不同，因此各加速器得到的梯度是不同的；5)进行集合通信减少(allreduce)操作，得到平均梯度。将4)中各加速器得到的不同的梯度进行平均。经过该步后，所有加速器上的梯度值会保持一致，都是各加速器梯度平均后的值；6)使用平均梯度值进行初始权重的更新。由于2)中的操作保证了各加速器上的初始权重一致，各加速器上的更新量又是经过allreduce平均后的平均梯度。因此可以保证每次更新后各加速器的权重值也可以保持一致，其中，在6)的更新过程中，各加速器可以进一步使用该平均梯度值和1)中得到的权重作为优化器的输入，经过优化器的初始变量(1002)进行优化操作，优化器输出处理后的梯度，各加速器再进一步使用处理后的梯度进行权重的更新。

其中，上述加速器可以是图形处理单元(graphics processing unit，GPU)、神经处理单元(neural processing unit，NPU)或者张量处理单元(tensor processing unit，TPU)；梯度汇聚可以由多种实现方法，比如集合通信。

在上述数据并行处理的方式中，步骤2)中的初始权重以及步骤6)中的初始变量等训练参数需要消耗加速器训练中使用的存储空间，比如GPU训练中使用的显存，CPU训练中使用的内存，在训练较大型的神经网络模型的时候，会出现单块加速器中的存储空间不足而导致无法进行训练的问题。

发明内容

本申请实施例提供了一种神经网络模型的训练装置、方法及相关设备，用于减少神经网络模型训练过程中训练装置的显存消耗。