[发明专利]一种低通信开销的神经网络并行训练方法

权利要求书

1.一种低通信开销的神经网络并行训练方法，其特征在于，所述方法包括：

获取训练集中的训练数据，将所述训练数据分发至若干计算节点，其中，各所述计算节点分别对应不同的分离网络，各所述分离网络分别包括等量的若干子操作层，各所述分离网络中同一功能的子操作层基于目标卷积网络的同一操作层拆分得到；

获取各所述计算节点分别发送的预测数据，根据各所述预测数据确定目标预测数据，其中，每一所述计算节点发送的所述预测数据为本地的所述分离网络基于所述训练数据得到的前向结果；

根据所述目标预测数据确定所述目标卷积网络对应的损失值，判断所述损失值是否收敛至目标值，若所述损失值未收敛至所述目标值，根据所述损失值对所述目标卷积网络进行网络参数更新，得到更新卷积网络；

将所述更新卷积网络重新作为所述目标卷积网络，继续执行获取训练集中的训练数据，将所述训练数据分发至若干计算节点的步骤，直至所述损失值收敛至所述目标值，得到已训练的所述目标卷积网络。

2.根据权利要求1所述的低通信开销的神经网络并行训练方法，其特征在于，所述计算节点为图形处理器。

3.根据权利要求1所述的低通信开销的神经网络并行训练方法，其特征在于，若干所述分离网络为两个所述分离网络，两个所述分离网络的生成过程包括：

获取所述目标卷积网络；

对所述目标卷积网络的各操作层进行拆分，得到各操作层分别对应的两个子操作层；

根据各操作层分别对应的两个子操作层，构建两个所述分离网络，其中，每一所述分离网络包括所述目标卷积网络的各操作层分别对应的一个子操作层，两个所述分离网络分别对应的子操作层互不重叠。

4.根据权利要求3所述的低通信开销的神经网络并行训练方法，其特征在于，所述目标卷积网络的操作层包括卷积操作层，所述卷积操作层对应的卷积核矩阵的拆分过程包括：

对所述卷积核矩阵进行拆分，得到第一卷积核矩阵和第二卷积核矩阵，其中，所述第一卷积核矩阵和所述第二卷积核矩阵分别位于不同的所述分离网络，所述卷积核矩阵的尺寸为n*m，所述第一卷积核矩阵的尺寸为n*1，所述第二卷积核矩阵的尺寸为1*m。

5.根据权利要求4所述的低通信开销的神经网络并行训练方法，其特征在于，所述目标卷积网络的操作层包括补全操作层，所述补全操作层对应的两个子操作层为第一补全操作层和第二补全操作层，所述补全操作层的拆分过程包括：

对所述补全操作层进行拆分，得到所述第一补全操作层和所述第二补全操作层，其中，所述第一补全操作层与所述第一卷积核矩阵位于同一所述分离网络，用于进行行部分的补全操作；所述第二补全操作层与所述第二卷积核矩阵位于同一所述分离网络，用于进行列部分的补全操作。

6.根据权利要求4所述的低通信开销的神经网络并行训练方法，其特征在于，所述目标卷积网络的操作层包括池化层，所述池化层对应的权重矩阵的拆分过程包括：

对所述权重矩阵进行拆分，得到第一权重矩阵和第二权重矩阵，其中，所述权重矩阵的尺寸为N*M，所述第一权重矩阵的尺寸为N*1，所述第二权重矩阵的尺寸为1*M，所述第一权重矩阵与所述第一卷积核矩阵位于同一所述分离网络，所述第二权重矩阵与所述第二卷积核矩阵位于同一所述分离网络。

7.根据权利要求1所述的低通信开销的神经网络并行训练方法，其特征在于，所述根据各所述预测数据确定目标预测数据，包括：

对各所述预测数据进行聚合，得到聚合结果；

对所述聚合结果进行归一化处理，得到所述目标预测数据。

8.根据权利要求7所述的低通信开销的神经网络并行训练方法，其特征在于，所述对各所述预测数据进行聚合，得到聚合结果，包括：

对各所述预测数据进行矩阵乘操作，得到所述聚合结果。