[发明专利]一种面向FPGA的稀疏卷积神经网络多级存储计算系统

说明书

本发明公开了一种面向FPGA的稀疏卷积神经网络多级存储计算系统，其特征在于，包括ARM端和FPGA端；其中ARM端用于获取网络模型权重参数和输入特征图数据，根据网络模型权重参数和输入特征图数据的存储信息生成流程控制指令，并将该流程控制指令发送到FPGA端；FPGA端接收到所述流程控制指令后，从ARM端中读取网络模型权重参数和输入特征图数据，并进行计算，最后将计算结果反馈给所述ARM端；其中FPGA端的计算架构设计以并行计算阵列和多级存储结构为核心，发挥FPGA高并行度、高吞吐量和低功耗的硬件优势，充分利用稀疏卷积神经网络的稀疏特性，获得尽可能高的加速比，快速高效的实现卷积神经网络的前向推理过程。

技术领域

本发明属于嵌入式AI领域，特别是一种面向FPGA的稀疏卷积神经网络多级存储计算系统。

背景技术

在大量数据可用和数据处理能力不断提高的前提下，深度学习成为广泛领域最近几年来解决复杂问题的关键方法，比如图像识别、语音处理、自然语言处理、语言翻译和自动驾驶等。随着卷积神经网络应用范围的扩大，使用场景愈加复杂，对网络模型预测的准确度越来越高，导致卷积神经网络越来越深，参数量不断增加。现有卷积神经网络中超大规模的参数、数以亿计的计算量以及高带宽需求限制了其应用的进一步推广。

有研究表明，卷积神经网络中大多数层的激活值稀疏度(零值数量)在70％以上，部分层甚至可以达到95％左右，结合模型权重剪枝及激活值剪枝的方法达到减少数据量和计算量的目的，并将通过剪枝后获得的网络称为稀疏卷积神经网络。然而诸如CPU这样的通用计算平台的计算架构难以充分利用剪枝方法带来的稀疏特性，因此需要设计定制化的硬件加速器来获得理想的加速比。由于FPGA具有灵活的硬件设计特性，以及其超高的并行计算能力和低功耗硬件优势，逐渐成为在资源受限的嵌入式环境中实现推理加速的主流平台。为充分利用稀疏卷积神经网络的稀疏特性，已有研究提出了一种基于笛卡尔积的卷积计算方式，但是该方式引入了极高的存储读写冲突问题或极大的存储开销，使最后获得的加速效果远低于理论期望。

因此，如何减少卷积计算单次任务的数据量和计算量，并设计出高效的访存策略，在有限的条件下最大程度发挥出FPGA平台的优势，从而加快稀疏卷积神经网络的计算速度，已经成为同行从业人员亟待解决的问题。

发明内容

鉴于上述问题，本发明提供一种面向FPGA的稀疏卷积神经网络多级存储计算系统，通过该系统能够有效减少卷积计算单次任务的数据量和计算量，发挥FPGA高并行度、高吞吐量和低功耗的硬件优势，从而加快稀疏卷积神经网络的计算速度。

本发明实施例提供了一种面向FPGA的稀疏卷积神经网络多级存储计算系统，包括ARM端和FPGA端；

所述ARM端用于获取网络模型权重参数和输入特征图数据，根据所述网络模型权重参数和输入特征图数据的存储信息生成流程控制指令，并将所述流程控制指令发送到FPGA端；

所述FPGA端接收到所述流程控制指令后，从所述ARM端中读取所述网络模型权重参数和输入特征图数据，并进行计算，最后将计算结果反馈给所述ARM端。

进一步地，所述ARM端包括片外存储器访问控制模块、DDR访问控制模块和流程控制模块；

所述DDR访问控制模块内开辟有权重缓冲区和特征图缓冲区；

所述片外存储器访问控制模块从片外存储器中将所述网络模型权重参数和输入特征图数据读入到所述DDR访问控制模块中；

所述DDR访问控制模块将所述网络模型权重参数和输入特征图数据对应写入到所述权重缓冲区和特征图缓冲区；

所述流程控制模块根据所述网络模型权重参数和输入特征图数据的存储信息生成流程控制指令，并将所述流程控制指令发送到FPGA端。