[发明专利]一种基于脉冲神经网络的无乘法卷积调度器及其硬件实现方法

说明书

本发明提出一种基于脉冲神经网络的无乘法卷积调度器及其硬件实现方法，利用SNN基于事件驱动的特性，通过硬件来实现SNN中的卷积计算，为图像分割中的SNN提出了一种有效的卷积调度方法；该方法通过FIFO缓存输入的神经元状态，并送入“1”过滤器实现有效状态的过滤，避免无效状态参与计算，提高计算效率，且无需乘法计算；根据数据流特点，特殊考虑并行存储结构，使用较少的存储资源达到并行存储，以适配计算单元的高并行算力；计算过程中每个time step的结果原位存回，提高存储资源利用率；最终可实现基于脉冲神经网络任意规格输入的3×3卷积计算，支持64路并行计算；该方法提高了神经网络中卷积计算的性能，降低计算复杂度和功耗，同时具有较高灵活性。

技术领域

本发明涉及卷积神经网络算法领域，尤其涉及一种基于脉冲神经网络的无乘法卷积调度器及其硬件实现方法。

背景技术

近年来，神经网络的复杂度逐渐增加，传统的人工神经网络（ANN）通常具有巨大量参数，需要参与矩阵乘法计算，导致其在硬件平台上实施时会消耗巨大的内存和功耗；与传统ANN相比，受生物脑启发的脉冲神经网络（SNN）直接在硬件中重新激活神经元，具有数千个突触，这些神经元之间的尖峰连接是二进制的，这意味着不需要乘法，仅通过加法即可完成运算，同时脉冲神经网络基于事件驱动，可利用被激活神经元的稀疏性来追求更高的效率和更低的功耗。

对于脉冲神经网络（SNN）来说，每个神经元对应一个膜电位，它基于时间步长进行更新，在每个步长内，神经元的输入是前一层神经元的spike激活信号，通过计算一个kernel卷积核中有效神经元所对应的权重和，可得到新的神经元膜电位，当膜电位达到一个阈值时，神经元会被激活并向其后继神经元输出一个spike激活信号。

利用SNN的优势，通过硬件来实现高效的SNN生物模型逐渐成为研究热点，然而使用当前的CPU或GPU体系结构执行SNN效果并理想，与CPU所提供的架构相比，SNN需要具有更高并行度的架构，GPU虽可实现高并行计算，但不适用于事件驱动的计算模式；同时，虽然SNN可通过减少等待时间和计算量达到更高效率，但是它需要跨多个time step接收和处理输入数据，重复的数据访问会导致吞吐量不高；此外，SNN被激活神经元具有稀疏性，它的数据存储结构以及控制流也需要特殊考虑。

发明内容

发明目的：旨在克服以上现有技术的不足，提出一种基于脉冲神经网络的无乘法卷积调度器及其硬件实现方法。通过FIFO缓存输入的神经元状态，并送入“1”过滤器实现有效状态的过滤，避免无效状态参与计算，提高计算效率，且无需乘法计算；根据数据流特点，特殊考虑并行存储结构，使用较少的存储资源达到并行存储，以适配计算单元的高并行算力；计算过程中每个time step的结果原位存回，提高存储资源利用率；最终可实现基于脉冲神经网络任意规格输入的3×3卷积计算，并支持64路并行计算。

技术方案：一种基于脉冲神经网络的无乘法卷积调度器，包括处理器，外部DDR存储器，硬件加速器，其中硬件加速器包括卷积控制器，存储单元和计算单元；

其中，所述卷积控制器负责对处理器的指令进行解码，控制卷积计算的整体执行，从存储单元读数写数，管理计算单元的输入输出，并据此更新神经元状态；

所述存储单元包括三个独立部分，分别存储神经元状态（NeuronState），膜电位（Vmem）和突触权重（Weight）；

所述计算单元承担了大部分计算任务，负责计算前一层有效神经元发射的尖峰信号，据此判断当前层神经元是否被激活，最终更新神经元状态。

在进一步的实施例中，所述基于脉冲神经网络的无乘法卷积调度器高效硬件实现方法的进一步设计在于，卷积控制器管理计算单元的输入输出，只考虑被激活神经元对后一层神经元的影响，控制未激活神经元不参与计算，从而有效节省计算时间。