[发明专利]基于膜电势预处理的ANN-SNN转换的分类方法

说明书

本发明属于类脑智能、人工智能领域，具体涉及一种基于膜电势预处理的ANN‑SNN转换的分类方法，旨在解决现有的ANN‑SNN转换方法获取的脉冲神经网络存在较大的时间延迟以及网络分类性能较低的问题。本系统方法包括获取待分类数据并进行实值编码，将实值编码后的数据作为输入数据；将输入数据输入通过ANN‑SNN转换后的脉冲神经网络中，结合IF神经元的软重置，通过设定时间步长的膜电势预处理，得到预初始化的膜电势信息；将输入数据重新输入所述脉冲神经网络中，结合预初始化的膜电势信息，通过前向传播得到待分类数据的分类结果。本发明提高了收敛速度，减小了时间延迟，并提高了网络的分类性能。

技术领域

本发明属于类脑智能、人工智能领域，具体涉及一种基于膜电势预处理的ANN-SNN转换的分类方法、系统、装置。

背景技术

人工神经网络(ANN)通过对生物神经元的抽象模拟以及从低层到高层的逐层抽象机制，在诸如图像识别、目标检测、物体分割等任务上取得了优异的表现，但是人工神经网络只是在脉冲发放率上对生物神经元进行了抽象，使用实值表示神经元的脉冲发放频率在多层神经网络的信息处理过程中带来了极大的能耗。脉冲神经网络(SNN)通过加入神经元动力学特性，使用脉冲对信息进行编码，每个神经元接收来自前一层神经元的脉冲输入，膜电势进行累加，当膜电势超过阈值后，神经元才会发放一次脉冲，极大地减少了网络信息传递的能耗。特别是在深层神经网络中，随着网络层数加深，神经元活动逐渐稀疏，完成任务所需的能耗更少。

但是由于脉冲神经网络的非连续性和不可微分的特性，训练一个较深的网络通常比较困难。目前脉冲神经网络的训练方法有很多，如基于脉冲时序依赖可塑性的无监督学习方法、基于脉冲发放时间误差或脉冲发放率的监督信息的监督学习方法、基于奖赏的强化学习方法等，但是都没有反向传播算法那样高效。为了充分结合高效的反向传播算法和低能耗的脉冲神经网络，人们提出了基于人工神经网络转换的脉冲神经网络学习算法，即训练一个与目标的脉冲神经网络相同的拓扑结构的人工神经网络，使用反向传播算法进行训练，将学习好的权重映射到脉冲神经网络的对应结构中，从而完成脉冲神经网络的训练。

转换方法的核心是将脉冲神经元的脉冲发放频率逼近人工神经网络中神经元的激活值，为了保证转换的精度，ANN中通常使用ReLU激活函数，在脉冲神经元阈值为1和足够的仿真时长下，脉冲神经元的脉冲发放率能够很好地逼近ANN中神经元的激活值；ANN中的偏置作为脉冲神经元的额外恒定突触电流进行输入；ANN中的批归一化(BatchNorm)在测试阶段会使用训练得到的均值与方差对输入进行归一化，然后通过线性运算进行输出，但在脉冲神经网络中使用的是0、1脉冲来表示信息，因此无法进行归一化运算，这里通过将BN层的运算与上层卷积层运算进行融合，从而隐式地完成BatchNorm操作；ANN中的均值池化操作可以认为是权重均为卷积和的倒数的卷积运算；ANN中的最大池化操作通常会选择SNN中具有最大脉冲发放率的神经元所发放的脉冲；为了保证信息损失最小，转换方法中SNN使用实值输入和软重置方法，软重置即当神经元膜电势超过阈值时，神经元发放脉冲，然后膜电势减去阈值，将多余的信息保留到下个时刻，而不是将膜电势重置为0(硬重置)。