[发明专利]一种脉冲神经网络模型的训练方法、存储介质及计算设备

说明书

本申请公开了一种脉冲神经网络模型的训练方法、存储介质及计算设备，方法包括：各计算节点进行前向传播确定激活值；各计算节点根据激活值计算并传输局部梯度，使得计算节点仅保存其对应的所有局部梯度；根据所有局部梯度确定目标梯度，根据目标梯度确定局部模型参数；将局部模型参数传输至其他计算节点以更新模型参数。本申请中各计算节点计算每个计算节点的局部梯度，传输并删除其他计算节点的局部梯度，使得各计算节点仅保存其对应的所有局部梯度，这样每个计算节点仅需要存放自身的局部梯度及激活值等，降低对计算节点的显示占用量，从而可以增大脉冲神经网络模型的训练批量，提高脉冲神经网络模型的训练速度。

技术领域

本申请涉及人工智能技术领域，特别涉及一种脉冲神经网络模型的训练方法、存储介质及计算设备。

背景技术

脉冲神经网络(SNN)被誉为“第三代神经网络”，其模拟生物大脑神经元的运作机制，与传统的神经网络相比，在低功耗方面具有较大突破，吸引了越来越多的学者对其进行深入研究。

脉冲神经网络使用最拟合生物神经元机制的模型来进行信号的处理和计算，脉冲神经网络采用脉冲信号，当神经元达到了某一电位值脉冲时产生脉冲信息并重置该神经元的点位。2012年C.Eliasmith提出了一个250万神经元规模的SNN小型类脑模型，该模型可以完成手写数字识别和机械臂运动输出等任务响应。此后，越来越多的SNN模型相继提出，且SNN模型的表现效果也越发的出色。近年来，研究人员通过增加SNN模型中神经元的数量来提升模型的学习能力，例如，结合残差网络的SNN模型包括超过2000万神经元。

然而，在SNN模型能力提升的同时，SNN模型中的神经元的数量也在不断增加，使得SNN模型的越来越复杂。因而，在脉冲神经网络模型的训练过程中，不仅需要依赖大量的昂贵的硬件设施来进行超大规模网络模型的部署，还需要消耗大量的训练时间来进行训练，使得SNN模型的训练成本高且训练效率低。

因而现有技术还有待改进和提高。

发明内容

本申请要解决的技术问题在于，针对现有技术的不足，提供一种脉冲神经网络模型的训练方法、存储介质及计算设备。

为了解决上述技术问题，本申请实施例第一方面提供了一种脉冲神经网络模型的训练方法，所述的训练方法应用于分布式计算系统，所述分布式计算系统包括多个计算节点，各计算节点均存储所述脉冲神经网络模型的模型参数以及参数优化区间；所述的训练方法包括：

各计算节点根据各自对应的训练样本集对脉冲神经网络模型进行前向传播，确定所述脉冲神经网络模型的激活值；

对于每个计算节点，各计算节点根据各自对应的激活值计算所述计算节点的参数优化区间对应的局部梯度，并将局部梯度传输至所述计算节点，以使得各计算节点保存各自对应的参数优化区间的所有局部梯度；

各计算节点根据各自对应的参数优化区间的所有局部梯度确定目标梯度，并根据所述目标梯度优化各自对应的参数优化区间对应的部分模型参数，以得到局部模型参数；

各计算节点将各自对应的局部模型参数传输至其他计算节点，以使得各计算节点更新其存储的脉冲神经网络模型的模型参数。

所述脉冲神经网络模型的训练方法，其中，所述脉冲神经网络模型的构建过程具体包括：

构建Resnet269的残差网络，将所述Resnet269的残差网络中的激活层替换为脉冲神经网络层，以得到脉冲神经网络模型。

所述脉冲神经网络模型的训练方法，其中，所述各计算节点各自对应的参数优化区间互不相同，并且各计算节点各自对应的参数优化区间的区间长度相同。

所述脉冲神经网络模型的训练方法，其中，所述各计算节点根据各自对应的训练样本集对脉冲神经网络进行前向传播，确定所述脉冲神经网络模型的激活值具体包括：