[发明专利]用于脉冲神经网络的图表示时空反向传播算法

说明书

本发明涉及脉冲神经网络技术领域，具体是一种用于脉冲神经网络的图表示时空反向传播算法，通过神经元在网络结构中的网络前向传播获得脉冲神经网络；通过损失函数评估所述脉冲神经网络对任务的误差；通过误差反向传播对所述脉冲神经网络进行训练；通过神经网络优化算法完成训练过程中的参数更新。本发明通过误差反向传播提高了脉冲神经网络的准确率，通过稀疏正则化降低脉冲发放率从而提高了脉冲(事件)驱动计算下的能量效率，并通过图表示的方法适应于各种仿生网络结构的训练过程。

技术领域

本发明涉及脉冲神经网络技术领域，尤其涉及一种用于脉冲神经网络的图表示时空反向传播算法。

背景技术

近年来，受到生物神经系统启发的人工神经网络(ANN)取得了飞速发展和巨大进步，并被广泛应用于物体检测、人脸识别、自动驾驶、语音识别以及翻译等领域。但传统ANN仍缺乏对神经元行为和神经系统的结构可靠模拟，使得ANN在推理、决策等智能化任务上与生物体之间存在一定差距，能量效率也远不及生物大脑高效。

脉冲神经网络(SNN)被誉为第三代人工神经网络。SNN因其对复杂的神经元动力学行为的模拟，以及受到生物神经系统功能区启发的各种结构设计，而有着处理丰富时空域特征的信号的巨大潜力。由于SNN像生物神经系统一样通过脉冲在神经元之间进行信息传递，神经元可以没有接收到脉冲时不执行大量计算，以维持较低的静息能量开销。这种脉冲(事件)驱动的计算特征有助于SNN实现更高的能量效率。

作为ANN的一种，SNN也需要经过训练以适应指定的任务。现有的训练算法包括基于转换的算法、突触可塑性算法和反向传播算法三类。基于转换的算法将传统ANN的参数转换到相同结构的SNN中，但是由于通过浮点数传递信息的ANN和通过脉冲传递信息的SNN无法完全吻合，而使得参数转换后的SNN存在信息损失，产生了网络准确率的下降。同时基于转换的方法使得SNN的结构仍受限于传统ANN结构，缺乏对生物神经系统结构的更进一步模仿。突触可塑性算法是一种基于生理学现象的训练算法，其通过神经元突触前后的脉冲时序调整突触的权重，即SNN的参数。突触可塑性算法适用于各种不同的网络结构，并且在学习过程中仅需较少的计算量。传统的突触可塑性算法适用于无监督的学习，使得SNN性能受到一定限制。新兴的改进突触可塑性算法在突触权重调整中加入了全局奖励信号进行调制，以实现一定程度的监督学习，但仍低于反向传播算法。因为反向传播算法通过误差的反向传播，使得网络参数可以被精确调整，而带来了较高的网络性能提升。现阶段适用于SNN的反向传播算法，通过构建各种可导的反向传播通路，或者对反向传播链路的近似替代，将误差传播至每个网络参数，通过梯度下降等方式实现对参数的更新和调整。但和基于转换方法相似的是，现有反向传播算法仅适用于类似传统ANN的前馈结构，而缺乏对各种模拟生物神经系统结构的复杂网络的支持。同时上述各种算法大多着眼于网络准确率，而缺乏对SNN能量效率的探索，使得SNN的优势未被完全利用。

发明内容

本发明的目的在于克服上述现有技术的问题，提出了一种用于脉冲神经网络的图表示时空反向传播算法，以解决各种具有复杂结构的脉冲神经网络的训练问题，并充分利用脉冲神经网络的脉冲(事件)驱动特性，实现较高的能量效率。

上述目的是通过以下技术方案来实现：

一种用于脉冲神经网络的图表示时空反向传播算法，包括：

通过神经元在网络结构中的网络前向传播获得脉冲神经网络；

通过损失函数评估所述脉冲神经网络对任务的误差；

通过误差反向传播对所述脉冲神经网络进行训练；

通过神经网络优化算法完成训练过程中的参数更新。

进一步地，所述神经元在网络结构中的网络前向传播，包括所述神经元在前馈网络结构中的网络前向传播，和所述神经元在循环网络结构中的网络前向传播。

进一步地，，在所述前馈网络结构中，所述神经元的前向过程如下式：