[发明专利]一种基于层稀疏化的分布式深度学习训练方法及系统

权利要求书

1.一种基于层稀疏化的分布式深度学习训练方法，其特征在于，包括如下步骤：

S1、根据神经网络模型收敛特性，得到归一化窗口中心列表；

S2、利用层稀疏化方法和归一化窗口中心列表，得到层传输列表；

所述步骤S2的具体步骤如下：

S21、获取神经网络的热身周期和归一化窗口中心列表；

S22、根据层稀疏化方法，归一化神经网络中网络层的序号，得到归一化层序号列表；

S23、针对当前训练周期处于热身周期，则传输神经网络所有层的所有参数，否则进入步骤S24；

S24、根据归一化窗口中心列表和归一化层序号列表，得到动态窗口列表和当前训练周期窗口内采样列表；

S25、根据归一化层序号列表和动态窗口列表，得到当前训练周期窗口外采样列表；

S26、合并当前训练周期窗口内采样列表和当前训练周期窗口外采样列表，得到层传输列表；

S3、根据层传输列表进行基于层稀疏化的分布式深度学习训练，得到权重更新参数，完成基于层稀疏化的分布式深度学习训练；

所述步骤S3包括如下步骤：

S31、通过神经网络样本前馈和反馈计算，得到神经网络层梯度列表；

S32、逐层遍历神经网络层梯度列表中的各层，并判断各层是否在层传输列表中，若是则得到若干选中层，并进入步骤S33，否则得到若干本地累积梯度；

S33、判断各选中层是否有层内压缩，若是则得到若干有层内压缩的选中层，并进入步骤S34，否则得到若干无层内压缩的选中层传输梯度；

S34、将各有层内压的缩选中层内部依次进行层内稀疏化、节点间通信和解压同步，得到若干有层内压缩的选中层传输梯度；

S35、将各本地累积梯度、各无层内压缩的选中层传输梯度或各有层内压缩的选中层传输梯度进行全局平均，得到完整梯度；

S36、根据完整梯度，得到权重更新参数，完成基于层稀疏化的分布式深度学习训练。

2.根据权利要求1所述的基于层稀疏化的分布式深度学习训练方法，其特征在于，所述步骤S1包括如下步骤：

S11、将神经网络的所有层设为层连续序列，并设置神经网络总训练次数；

S12、根据神经网络模型收敛特性，设置动态窗口，所述动态窗口随神经网络训练次数增加从后向前遍历层连续序列，并设置动态窗口整体遍历次数；

S13、根据神经网络总训练次数和动态窗口整体遍历次数，计算得到动态窗口单次遍历神经网络过程中神经网络的训练次数和剩余神经网络训练次数；

S14、根据动态窗口单次遍历神经网络过程中神经网络的训练次数，得到动态窗口遍历时移动的归一化步长；

S15、基于归一化步长，迭代动态窗口整体遍历次数和动态窗口单次遍历神经网络模型过程中神经网络的训练次数，得到整周期窗口中心列表；

S16、判断剩余神经网络训练次数是否为零，若是则归一化整周期窗口中心列表作为归一化窗口中心列表，否则进入步骤S17；

S17、基于动态窗口遍历时移动的归一化步长，迭代剩余神经网络的训练次数，得到剩余窗口中心列表；

S18、将整周期窗口中心列表末尾添加剩余窗口中心列表，作为归一化窗口中心列表。

3.根据权利要求1所述的基于层稀疏化的分布式深度学习训练方法，其特征在于，所述步骤S24包括如下步骤：

S241、根据归一化窗口中心列表，获取当前训练周期的窗口中心；

S242、将当前训练周期的窗口中心和归一化层序号列表分别作为期望和自变量列表，并计算得到标准正态分布列表；

S243、选取标准正态分布列表头部预设量对应的网络层的序号，得到动态窗口列表；

S244、通过对动态窗口列表随机均匀采样预设比例k_in，得到当前训练周期窗口内采样列表。

4.根据权利要求1所述的基于层稀疏化的分布式深度学习训练方法，其特征在于，所述步骤S25包括如下步骤：

S251、根据归一化层序号列表和动态窗口列表，得到动态窗口外部列表；

S252、通过对动态窗口外部列表随机均匀采样预设比例k_out，得到当前训练周期窗口外采样列表。

5.一种基于层稀疏化的分布式深度学习训练方法的系统，其特征在于，包括：

归一化窗口中心列表获取模块，用于根据神经网络模型收敛特性，得到归一化窗口中心列表；

层传输列表获取模块，用于利用层稀疏化方法和归一化窗口中心列表，得到层传输列表，其具体为：

A1、获取神经网络的热身周期和归一化窗口中心列表；

A2、根据层稀疏化方法，归一化神经网络中网络层的序号，得到归一化层序号列表；

A3、针对当前训练周期处于热身周期，则传输神经网络所有层的所有参数，否则进入步骤A4；

A4、根据归一化窗口中心列表和归一化层序号列表，得到动态窗口列表和当前训练周期窗口内采样列表；

A5、根据归一化层序号列表和动态窗口列表，得到当前训练周期窗口外采样列表；

A6、合并当前训练周期窗口内采样列表和当前训练周期窗口外采样列表，得到层传输列表；

基于层稀疏化的分布式深度学习训练模块，根据层传输列表进行基于层稀疏化的分布式深度学习训练，得到权重更新参数，完成基于层稀疏化的分布式深度学习训练，其具体为：

B1、通过神经网络样本前馈和反馈计算，得到神经网络层梯度列表；

B2、逐层遍历神经网络层梯度列表中的各层，并判断各层是否在层传输列表中，若是则得到若干选中层，并进入步骤B3，否则得到若干本地累积梯度；

B3、判断各选中层是否有层内压缩，若是则得到若干有层内压缩的选中层，并进入步骤B4，否则得到若干无层内压缩的选中层传输梯度；

B4、将各有层内压的缩选中层内部依次进行层内稀疏化、节点间通信和解压同步，得到若干有层内压缩的选中层传输梯度；

B5、将各本地累积梯度、各无层内压缩的选中层传输梯度或各有层内压缩的选中层传输梯度进行全局平均，得到完整梯度；

B6、根据完整梯度，得到权重更新参数，完成基于层稀疏化的分布式深度学习训练。