[发明专利]一种高能效脉冲序列级脉冲神经网络及其训练方法

说明书

本发明涉及脉冲神经网络及其训练方法，具体涉及一种高能效脉冲序列级脉冲神经网络及其训练方法，用于解决尽管采用替代梯度(SG)使不可微SNN具有可训练性，但无法实现脉冲神经网络的高精度、低延迟和高能效的不足之处。该高能效脉冲序列级脉冲神经网络及其训练方法，包括输出输入依次连接的卷积块、M个端到端脉冲残差块、全局平均池化层以及至少一个全连接层；本发明在脉冲残差块中应用空时转换块(STCB)来代替卷积层和ReLU层，以保持SNN的低功耗特征并提高准确性。

技术领域

本发明涉及脉冲神经网络及其训练方法，具体涉及一种高能效脉冲序列级脉冲神经网络及其训练方法。

背景技术

脉冲神经网络(SNN)因其具有受生物学启发的计算原理、时空信息处理能力以及在神经形态计算中实现高能效的潜力而受到越来越多的关注。然而，脉冲神经网络的训练仍然是一个重大挑战，因为SNN中的信息是通过不可微分的脉冲序列传输和处理的。为了解决这个问题，目前已经提出了替代梯度(SG)方法和人工神经网络(ANN)到SNN的转换方法。ANN到SNN的转换方法为直接从相应的ANN网络中获得SNN的权重，该方法使所获得的SNN具有与ANN相当的精度。然而，该方法的延迟通常是非常大，因为只有大量的时间步长可以使神经网络的激活率接近。显著的延迟也消除了SNN实现高能效的潜力。另一方面，SG使SNN可以以低延迟直接训练，但不能实现与ANN相当的高性能。总的来说，实现高精度、低延迟和高能效的SNN依然是一个挑战。

随着网络结构与前神经元数量的增加，将导致后神经元膜电压的快速积累，由于常规神经元较为单一的脉冲触发机制，会造成脉冲激发的频率骤增并形成冗杂的脉冲序列，使得神经元处理过多信息甚至更新为错误的神经元状态。

为了解决以上问题，中国专利CN114037047A公开了一种脉冲神经网络的训练方法，其将目标卷积神经网络转换为初始脉冲神经网络，同时在时间域和空间域对所述初始脉冲神经网络进行训练，解决了完成一次前向推理所需要的时间步长较长的问题，但该专利受到人工神经网络的精度与结果等方面约束，同时训练成本高。

中国专利CN113255905A公开了一种脉冲神经网络中神经元的信号处理方法及该网络训练方法，虽然其使用自学习的训练方式，引入了多脉冲机制，但所引入的多脉冲机制导致了脉冲数的增加，同时该专利增加了不同的损失计算，将导致网络产生额外计算消耗。

发明内容

本发明的目的是解决尽管采用替代梯度(SG)使不可微SNN具有可训练性，但无法实现脉冲神经网络的高精度、低延迟和高能效的不足之处，而提供一种高能效脉冲序列级脉冲神经网络及其训练方法。

为了解决上述现有技术所存在的不足之处，本发明提供了如下技术解决方案：

一种高能效脉冲序列级脉冲神经网络，其特殊之处在于：包括输出输入依次连接的卷积块、M个端到端脉冲残差块、全局平均池化层以及至少一个全连接层；M为正整数；

所述脉冲残差块包括输出输入依次连接的第一空时转换块、第一批处理规范化层、第二空时转换块和第二批处理规范化层，以及第三空时转换块；所述卷积块的输出端分别连接第一空时转换块的输入端、第三空时转换块的输入端，第三空时转换块的输出端与第二批处理规范化层的输出端合并后作为该脉冲残差块的输出；所述第一空时转换块、第二空时转换块、第三空时转换块均用于将输入信息转换成具有时间信息的脉冲序列，并对其进行卷积操作，提取输入信息中的特征并进行信息传递。

进一步地，所述第一空时转换块、第二空时转换块、第三空时转换块均包括输出输入依次连接的脉冲序列编码模块、卷积层和电流累计块，所述脉冲序列编码模块用于利用IF神经元模型将输入信息转换为脉冲序列，所述电流累计块用于累计各个时间步长内的电流，并将最后一个步长的累计结果作为输出。

进一步地，所述脉冲序列编码模块的工作过程如下：

IF神经元模型的神经元i在第t个步长时的膜电压u_i[t]为：