[发明专利]用于脉冲神经网络的图表示时空反向传播算法

权利要求书

1.一种用于脉冲神经网络的图表示时空反向传播算法，其特征在于：

通过神经元在网络结构中的网络前向传播获得脉冲神经网络；

通过损失函数评估所述脉冲神经网络对任务的误差；

通过误差反向传播对所述脉冲神经网络进行训练；

通过神经网络优化算法完成训练过程中的参数更新。

2.根据权利要求1所述的一种用于脉冲神经网络的图表示时空反向传播算法，其特征在于，所述神经元在网络结构中的网络前向传播，包括所述神经元在前馈网络结构中的网络前向传播，和所述神经元在循环网络结构中的网络前向传播。

3.根据权利要求2所述的一种用于脉冲神经网络的图表示时空反向传播算法，其特征在于，在所述前馈网络结构中，所述神经元的前向过程如下式：

式中，表示前馈层中第i个神经元在t时刻的膜电位；表示第j个神经元在t时刻的输入脉冲，取值满足x∈{0，1}，其中0表示没有输入脉冲，1表示有输入脉冲；表示前馈层中第i个神经元在t时刻的输出脉冲，取值亦满足s∈{0，1}，分别表示有无输出脉冲；w_ij表示从输入神经元j到前馈层神经元i的突触权重，w中的0值表示不存在该突触；b_i表示神经元的偏置，b中的0值表示该神经元没有偏置；τ表示LIF模型中的泄露常数，表示单位时间内(Δt＝1)膜电位下降的比例；U_th表示神经元的脉冲发放阈值，当膜电位大于发放阈值时神经元发出脉冲；

表示膜电位的复位函数，控制膜电位在发放脉冲后降为静息电位(0电位)；表示发放函数，控制神经元是否发放脉冲，具体函数取值如下：

4.根据权利要求3所述的一种用于脉冲神经网络的图表示时空反向传播算法，其特征在于，在所述前馈网络结构中，所述神经元的前向过程还可通过矩阵运算进行显著加速，如下式：

for t＝0～T-1 do：

S(：，：，t)_m×n×1＝U(：，：，t)_m×n×1≥U_th

式中，是输入脉冲的矩阵形式，角标中注明的是矩阵的尺寸，m表示批大小(batchsize)，n_in表示输入神经元数量，T表示算法运行的时间步长；计算并储存膜电位和神经元脉冲的矩阵形式U_m×n×T与S_m×n×T，并将S_m×n×T作为该层输出作为下一层的输入进行传递；表示突触权重矩阵，表示一维的偏置矩阵；⊙为哈达马积，表示矩阵之间的逐元素相乘；U(：，：，t)表示矩阵的切片操作。

5.根据权利要求2所述的一种用于脉冲神经网络的图表示时空反向传播算法，其特征在于，在所述循环网络结构中，所述神经元的前向过程如下式：

式中，表示前馈层中第i个神经元在t时刻的膜电位；表示第j个神经元在t时刻的输入脉冲，取值满足x∈{0，1}，其中0表示没有输入脉冲，1表示有输入脉冲；表示前馈层中第i个神经元在t时刻的输出脉冲，取值亦满足s∈{0，1}，分别表示有无输出脉冲；w_ij表示从输入神经元j到前馈层神经元i的突触权重，w中的0值表示不存在该突触；b_i表示神经元的偏置，b中的0值表示该神经元没有偏置；τ表示LIF模型中的泄露常数，表示单位时间内(Δt＝1)膜电位下降的比例；U_th表示神经元的脉冲发放阈值，当膜电位大于发放阈值时神经元发出脉冲；w_ik表示层内部神经元之间的突触权重；

表示膜电位的复位函数，控制膜电位在发放脉冲后降为静息电位(0电位)；表示发放函数，控制神经元是否发放脉冲，具体函数取值如下：