[发明专利]一种低通信开销的神经网络并行训练方法

说明书

本发明公开了一种低通信开销的神经网络并行训练方法，本发明通过跨多层拆分目标卷积网络，使得拆分后得到的每个分离网络中均包含目标卷积网络中各个操作层的一部分。因此本发明只需要获取各分离网络的前向结果即可实现目标卷积网络的网络训练过程，各分离网络无需中间通信，减少了参数传播过程的通信开销。解决了现有的神经网络并行训练方法会产生大量的中间通信，导致训练过程中产生大量的通信开销，从而影响训练效率的问题。

技术领域

本发明涉及神经网络并行训练领域，尤其涉及的是一种低通信开销的神经网络并行训练方法。

背景技术

卷积神经网络是目前计算机视觉中使用最普遍的模型结构。传统的卷积神经网络虽然在计算机视觉领域已经取得了良好效果，但当应用于实际工业场景时，模型参数量的激增会直接导致计算量和模型更新开销的上升。

分布式机器学习中的模型并行方法是将一个网络的不同层对应的计算任务放到不同的节点上执行；或者把同一层的任务细分成很多份，每一份分到每个节点上执行，每个工作节点存储并更新部分子网络。如果需要子模型以外的激活函数值和误差传播值，则需要向对应的工作节点请求相关信息并进行通信。因此传统的神经网络并行训练方法会产生大量的中间通信，导致训练过程中产生大量的通信开销，随着模型层数加深继续升高，严重影响训练效率。

因此，现有技术还有待改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种低通信开销的神经网络并行训练方法，旨在解决现有的神经网络并行训练方法会产生大量的中间通信，导致训练过程中产生大量的通信开销，从而影响训练效率的问题。

本发明解决问题所采用的技术方案如下：

第一方面，本发明实施例提供一种低通信开销的神经网络并行训练方法，其中，所述方法包括：

获取训练集中的训练数据，将所述训练数据分发至若干计算节点，其中，各所述计算节点分别对应不同的分离网络，各所述分离网络分别包括等量的若干子操作层，各所述分离网络中同一功能的子操作层基于目标卷积网络的同一操作层拆分得到；

获取各所述计算节点分别发送的预测数据，根据各所述预测数据确定目标预测数据，其中，每一所述计算节点发送的所述预测数据为本地的所述分离网络基于所述训练数据得到的前向结果；

根据所述目标预测数据确定所述目标卷积网络对应的损失值，判断所述损失值是否收敛至目标值，若所述损失值未收敛至所述目标值，根据所述损失值对所述目标卷积网络进行网络参数更新，得到更新卷积网络；

将所述更新卷积网络重新作为所述目标卷积网络，继续执行获取训练集中的训练数据，将所述训练数据分发至若干计算节点的步骤，直至所述损失值收敛至所述目标值，得到已训练的所述目标卷积网络。

在一种实施方式中，所述计算节点为图形处理器。

在一种实施方式中，若干所述分离网络为两个所述分离网络，两个所述分离网络的生成过程包括：

获取所述目标卷积网络；

对所述目标卷积网络的各操作层进行拆分，得到各操作层分别对应的两个子操作层；

根据各操作层分别对应的两个子操作层，构建两个所述分离网络，其中，每一所述分离网络包括所述目标卷积网络的各操作层分别对应的一个子操作层，两个所述分离网络分别对应的子操作层互不重叠。

在一种实施方式中，所述目标卷积网络的操作层包括卷积操作层，所述卷积操作层对应的卷积核矩阵的拆分过程包括：

对所述卷积核矩阵进行拆分，得到第一卷积核矩阵和第二卷积核矩阵，其中，所述第一卷积核矩阵和所述第二卷积核矩阵分别位于不同的所述分离网络，所述卷积核矩阵的尺寸为n*m，所述第一卷积核矩阵的尺寸为n*1，所述第二卷积核矩阵的尺寸为1*m。