[发明专利]一种基于量化ANN的脉冲神经网络转化训练方法、装置及芯片

权利要求书

1.一种基于量化ANN的脉冲神经网络转化训练方法，其特征在于，包括：

(1)采用量化训练的方法来训练量化ANN；

(2)构建量化ANN和脉冲神经网络SNN之间的等价映射，通过量化ANN训练对阈值和权重的优化来最小化ANN到SNN转化过程中的量化误差；

(3)构建有符号IF神经元模型，对错误发放的脉冲进行检测并以负脉冲的形式进行补偿，以降低ANN到SNN转化过程中每层的序列误差；

(4)使用逐层微调方法，以降低ANN到SNN转化过程中逐层传递累积的序列误差。

2.根据权利要求1所述的基于量化ANN的脉冲神经网络转化训练方法，其特征在于，步骤(2)中，构建量化ANN和脉冲神经网络SNN之间的等价映射具体为：

通过构建ANN中在空域上对于输入浮点数的量化数值与SNN在时域上通过脉冲发放函数对输入膜电位在时域上的脉冲发放率之间的映射来实现量化ANN到SNN的映射。

3.根据权利要求2所述的基于量化ANN的脉冲神经网络转化训练方法，其特征在于，在量化训练ANN的时候同时对激活和权重进行量化，将量化ANN中的低精度权值直接映射到转化SNN的低精度突触权值中。

4.根据权利要求3所述的基于量化ANN的脉冲神经网络转化训练方法，其特征在于，对于激活值量化精度为b位的量化ANN，其量化后的激活值映射到步长为T＝2^b-1的SNN的脉冲发放率。

5.根据权利要求1所述的基于量化ANN的脉冲神经网络转化训练方法，其特征在于，步骤(3)中，有符号IF神经元模型通过对于已经发放脉冲的数目以及当前的膜电位来判断是否有错误发放的脉冲；

当膜电位低于负阈值同时发放的脉冲数大于零时，有符号IF神经元模型认为存在错误发放的脉冲，并发放一个负脉冲以纠正错误，同时将膜电位加上正阈值以复位。

6.根据权利要求1所述的基于量化ANN的脉冲神经网络转化训练方法，其特征在于，步骤(4)中，使用逐层微调方法时，通过构建与SNN共享权值的代理ANN，通过代理ANN间接实现对SNN权重的优化。

7.根据权利要求6所述的基于量化ANN的脉冲神经网络转化训练方法，其特征在于，逐层微调方法的具体过程为：

通过代理ANN逐层降低SNN输出的脉冲发放率图谱与原始量化ANN的激活值图谱之间的欧式距离，让SNN输出的脉冲发放率尽可能的近似原始量化ANN中的激活值；

在训练数据集上，从网络的第二层开始，将当前层的SNN的脉冲发放率图谱作为代理ANN的输出，上一层的SNN的脉冲发放率图谱作为输入，优化ANN权重以降低SNN脉冲发放率与量化ANN之间的欧式距离；然后将优化后权重更新给SNN对应层的突触权重，并更新当前层SNN的输出；重复这一过程直到抵达网络最后的分类层。

8.一种基于量化ANN的脉冲神经网络转化训练装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1～7任意一项所述的训练方法。

9.一种类脑芯片，其部署有脉冲神经网络SNN，其特征在于，所述的脉冲神经网络SNN采用权利要求1～7任一所述的训练方法进行训练。