[发明专利]一种基于特征图稀疏性的卷积神经网络加速器

说明书

本发明公开了一种基于特征图稀疏性的卷积神经网络加速器。所述卷积神经网络加速器包括输入特征图编码模块、权重编码模块、数据流控制模块、稀疏矩阵计算模块和总线；总线分别连接数据流控制模块、输入特征图编码模块、权重编码模块和稀疏矩阵计算模块；输入特征图编码模块根据特征图中的0元素，对特征图编码；权重编码模块根据输入特征图编码模块的编码信息，为稀疏矩阵计算模块提供对应的权重数据；数据流控制模块根据寄存器信息控制其余模块的工作模式；稀疏矩阵计算模块使用输入特征图编码模块和权重编码模块提供的数据进行卷积计算。本发明可以将加速器切换为利用权重中的稀疏性，可以灵活应用，对稀疏权重加以支持。

技术领域

本发明涉及卷积神经网络硬件加速器领域，属于集成电路硬件加速技术领域，具体涉及一种基于特征图稀疏性的卷积神经网络加速器。

背景技术

近年来人工智能技术迅速发展，深度神经网络在自然语言处理、计算机视觉等方面取得了重大的突破。随着移动设备的普及和物联网的出现，在移动设备或者物联网设备上部署神经网络的需求与日俱增。然而，算法中大量的数据移动与其计算复杂性对终端设备的功耗以及性能带来的巨大的挑战，阻碍了CNN算法在智能手机、智能汽车、智能家居领域的应用部署。

目前已经出现许多对于CNN算法进行硬件加速的方法，设计在灵活性与乘法器利用效率等方面都表现很好，但是这些设计都无法突破卷积层的算力需求限制，或者是通过引导模型在训练时将权重稀疏化，然后利用权重的稀疏性进行计算，然后对模型进行稀疏化引导需要额外的训练时间，不利于模型的直接部署。

论文《An Efficient Hardware Accelerator for Structured SparseConvolutional Neural Networks on FPGAs》中，通过大规模查找表实现了对权重的0元素的利用，但是论文所采用的方法一方面需要消耗大量查找表资源，另一方面需要在神经网络模型训练阶段额外引导模型权重的产生0元素，不利于模型直接部署。同时，目前主流神经网络模型中，大量采用Relu激活函数(f(x)＝MAX(0,x))，使得特征图中出现大量0元素，当前方法并没有对这些0元素加以利用。

发明内容

本发明的目的在于克服现有卷积加速器发明在特征图或者权重中元素稀疏性利用的不足，提出了一种基于特征图稀疏性的卷积神经网络加速器，利用特征图或权重中元素的稀疏性，从原理上减少卷积的计算量，加速神经网络模型的计算。

本发明的目的至少通过如下技术方案之一实现。

一种基于特征图稀疏性的卷积神经网络加速器，包括输入特征图编码模块、权重编码模块、数据流控制模块、稀疏矩阵计算模块和总线；

总线分别连接数据流控制模块、输入特征图编码模块、权重编码模块和稀疏矩阵计算模块；输入特征图编码模块根据特征图中对计算没有贡献的0元素，对特征图编码；权重编码模块根据输入特征图编码模块的编码信息，为稀疏矩阵计算模块提供对应的权重数据；数据流控制模块根据寄存器信息控制其余模块的工作模式；稀疏矩阵计算模块使用输入特征图编码模块和权重编码模块提供的数据进行卷积计算，实现卷积神经网络加速器的功能。

进一步地，数据流控制模块中的寄存器由外接的CPU通过总线进行配置，数据流控制模块根据寄存器配置信息中的卷积层计算参数，访问总线，读取输入特征图数据和权重数据，从而实现卷积计算，将输入特征图数据和权重数据对应灌入输入特征图编码模块和权重编码模块，并且将稀疏矩阵计算模块运算得到的输出特征图数据通过总线写回外部缓存；

同时，数据流控制模块根据输入特征图编码模块和稀疏矩阵计算模块的信息进行反压控制，从而避免由于特征图数据中稀疏度变化导致的各个模块计算速度不一致，协调加速器工作；

采用矩阵运算实现卷积，当稀疏矩阵计算模块经过多次矩阵运算结果并累加后，由数据流控制模块发出指令，控制稀疏矩阵计算模块将输出特征图数据依次输出。