[发明专利]一种基于CPU-FPGA内存共享的卷积神经网络加速器

说明书

本发明公开了一种基于CPU‑FPGA内存共享的卷积神经网络加速器，其中：CPU处理子系统包括输入控制模块、配置参数生成模块和输出控制模块；输入控制模块接收和缓存像素数据和权重数据；配置参数生成模块控制配置参数；输出控制模块控制数据的传输；FPGA加速子系统包括片上存储模块、计算引擎模块和控制模块；片上存储模块用于数据的缓冲和读写访问；计算引擎模块对计算进行加速；控制模块控制片上存储模块对数据的读写操作，与计算引擎模块的数据交换和计算控制。本发明既能充分发挥FPGA的高并行度、高吞吐率和低功耗特点，同时又能充分利用CPU处理器灵活高效的数据处理特点，从而使得整个系统能够以较低的功耗，高效快速实现卷积神经网络的推理过程。

技术领域

本发明涉及神经网络技术领域，更具体的说是涉及一种基于CPU-FPGA内存共享的卷积神经网络加速器。

背景技术

卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被广泛应用于计算机视觉、自然语言处理等领域。

由于卷积神经网络计算的复杂性，通用CPU已经无法满足计算需求，现有解决方案主要是通过Caffe、Tensorflow和Kears等开发框架，在CPU服务器上部署。虽然CPU在并行计算方面有着天然的优势，但是成本和功耗较大，无法满足一些低功耗特定场景下的卷积神经网络的推理加速。由于FPGA具有强大的并行处理能力、灵活的可配置和超低功耗等特性，近年来受到越来越多研究者的关注，逐渐成为低功耗应用场景下实现卷积神经网络加速的重要平台。

因此，一种基于CPU-FPGA内存共享的卷积神经网络加速器及其加速方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于CPU-FPGA内存共享的卷积神经网络加速器，解决了卷积神经网络应用于功耗受限的嵌入式系统的技术问题，为低功耗应用场景下卷积神经网络加速计算提供了新的方法。

为了实现上述目的，本发明采用如下技术方案：

一种基于CPU-FPGA内存共享的卷积神经网络加速器，包括：CPU处理子系统和FPGA加速子系统；所述CPU处理子系统与所述FPGA加速子系统相连；

所述CPU处理子系统包括输入控制模块、配置参数生成模块和输出控制模块；

所述输入控制模块，用于接收和缓存像素数据和权重数据；

所述配置参数生成模块，用于根据卷积神经网络描述信息生成每一层的数据调度和计算控制配置参数；

所述输出控制模块，与所述输入控制模块和所述FPGA加速子系统分别相连，用于控制数据的传输；

所述FPGA加速子系统包括片上存储模块、计算引擎模块和FPGA控制模块；

所述片上存储模块，用于所述配置参数、输入输出数据的缓冲和读写访问；

所述计算引擎模块，用于对卷积神经网络推理过程的计算进行加速；

所述FPGA控制模块，用于根据所述配置参数，控制所述片上存储模块对数据的读写操作，并完成与所述计算引擎模块的数据交换和计算控制。

优选的，还包括片外存储器，所述片外存储器与所述输出控制模块相连，用于存储所述CPU处理子系统所产生的数据。

优选的，所述CPU处理子系统还包括数据预处理模块；

所述数据预处理模块，与所述输入控制模块相连，用于对接收到的所述像素和所述权重数据进行定点数量化和预处理，并进行存储。