[发明专利]空时域脉冲神经网络训练方法、芯片及电子产品

说明书

本发明涉及一种空时域脉冲神经网络训练方法、存储介质、计算设备及芯片和电子产品。为了克服现有技术中仅仅关注脉冲神经网络的空域结构，忽视脉冲之间的时域依赖性缺陷，本发明通过将训练样本输入脉冲神经网络，获得当前网络损失，并在当前网络损失关于当前层的权重化的后突触输入的第二梯度中充分考虑了未来时间步的网络损失与当前时间步之间的时域依赖关系。本发明解决了现有网络训练方法收敛慢、不稳定的技术问题，确保了在训练时脉冲神经网络能够稳定、快速收敛，取得了降低网络训练时长、提升网络性能的技术效果，对于LIF或IAF神经元尤为显著。本发明适用于类脑芯片领域，尤其是训练脉冲神经网络领域。

技术领域

本发明涉及一种空时域(spatiotemporal)脉冲神经网络训练方法、存储介质及芯片、电子产品，具体涉及一种空时域误差返还(credit)分配策略的脉冲神经网络的训练方法、存储介质及芯片、电子产品。

背景技术

神经拟态计算(Neuromorphic Computing)是一种高能效的类脑智能计算。不同于传统人工神经网络(ANN)中基于纯数学函数的计算，神经拟态计算所使用的神经元在微观层面上同时具有时、空动力学特征，因而更加仿生，也是打破冯·诺依曼架构的新型计算架构。

神经拟态计算的研究主要涉及脉冲神经网络(Spiking Neural Network，SNN)模型及其训练方法、神经拟态硬件(俗称类脑芯片)。经过训练，可以获得脉冲神经网络对应的配置参数(突触权重、时间常数、轴突延迟等)，将其部署至神经拟态硬件中，即可获得以超低功耗运行的、类似大脑工作的(神经拟态)芯片。

传统AI芯片(基于ANN)因面临可拓展性和电源效率方面的挑战(寒武纪-MLU220：16nm工艺，10瓦，225mm²；华为-昇腾310：12nm工艺，8瓦)，而云端处理方案则面临网络接入带宽、延时、隐私侵犯等挑战。不论是从芯片成本还是功耗方面，传统AI芯片难以为百亿IoT设备(对芯片价格、功耗均敏感)赋予智能。事件触发的本质为脉冲神经网络带来十分省电的计算，因此神经拟态计算对赋予万物智能具有十分重要的意义。目前比较有影响力的类脑芯片功耗多在亚毫瓦至数百毫瓦之间，其功耗比传统AI芯片低2-4个数量级，这对实现always-on应用极为重要。

脉冲神经网络训练方法是一个极为重要的研究方向，尤其是发放离散的脉冲特性导致神经元的激活函数(spike function)不可导问题，而传统的人工神经网络中并不存在该问题。反向传播是传统人工神经网络中一种十分有效的网络训练方法，而为了在脉冲神经网络中借鉴和应用该方法，已有若干成果被提出，比如代理梯度技术。以下现有技术在此以全文引入的方式并入本发明所公开的技术内容，并在必要的时候辅助解释本发明技术术语含义、语义。

现有技术1：Lee,J.H.,Delbruck,T.,Pfeiffer,M.(2016).Training deepspiking neural networks using backpropagation.Frontiers in neuroscience,10,508.

现有技术2：Shrestha,S.B.,Orchard,G.(2018,December).SLAYER:spike layererror reassignment in time.In Proceedings of the 32nd InternationalConference on Neural Information Processing Systems(pp.1419-1428).

现有技术1根据脉冲神经元的膜电压反向传播误差，对于输入信号在一个给定的时间步分配误差，但仅仅只针对单个时间步，因此忽略了脉冲之间的时域依赖性。

脉冲神经元包括内部状态，这不仅取决于当前输入，还取决于它之前的状态。基于此，误差不仅应透过层(Layers)反向传播以体现脉冲神经网络的空域(spatial)性，还应透过时间以体现脉冲神经网络的时域(temporal)性，但这往往带来极大的计算代价。