[发明专利]一种基于FPGA的二值神经网络加速方法及系统

说明书

本发明公开了一种基于FPGA的二值神经网络加速系统，其利用FPGA形成的卷积核参数获取模块、二值化卷积神经网络结构和缓存模块，缓存模块为FPGA的片上内存，各模块通过获取待处理图片的输入特征图、获取卷积计算逻辑规则和相应的进行二值化卷积计算，FPGA依据卷积计算逻辑规则遍历多个线程的卷积计算，得到待处理图像的输出特征图数据，通过该整体架构将二值神经网络中各层的计算量全部卸载到片上内存，而不依赖片外内存与片上内存的交互，从而减少了存储器之间的通信成本，极大地提高了计算效率，提高了待检测图像的检测速度。

技术领域

本发明属于图像处理领域，具体涉及一种基于FPGA的二值神经网络加速方法及系统。

背景技术

人工智能技术的重大进步已经开始惠及人类生活的方方面面。从家居的真空机器人到工厂里的整套智能生产设备，世界上的许多任务都已经达到高度自动化。而深度学习在这场伟大的技术革命中发挥着举足轻重的作用，其在人脸识别、对象检测、图像处理、等领域有着广泛的应用。其中主要采用的算法就是卷积神经网络，这种性能较优的深度学习算法已经在大量的PC端、手机移动端和嵌入式专用加速器中进行了部署，用来实现多种智能计算任务，并取得了较好的加速效果。

卷积神经网络(CNN，Convolutional Neural Network)作为深度学习发展最重要的分支之一，它的发展是最为成熟的，并广泛应用于各种图形图像视频处理的任务中。卷积神经网络发展如此迅速，除训练数据规模增长和计算能力提升外，还得益于各种卷积神经网络框架。现有的卷积神经网络应用大多是部署在服务器或桌面机平台上，而移动端才是应用最广泛、用户量最多的应用平台，将卷积神经网络应用移动化才能最大限度推动深度学习应用的发展。

然而所有这样的移动端和嵌入式计算设备都只能提供有限的计算能力，以及容量并不算大的片上存储。随着卷积神经网络的模型结构越来越复杂、模型层数越来越深、模型参数量越来越大，使得卷积神经网络在移动端和嵌入式端上的部署变得越来越困难。庞大的计算量全部采用32bit浮点数作为操作数运行在轻量级芯片上，无疑是对计算资源的巨大消耗，同时也很难达到比较好的实时效果。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于FPGA的二值神经网络加速系统，其利用FPGA形成的卷积核参数获取模块、二值化卷积神经网络结构和缓存模块，缓存模块为FPGA的片上内存，各模块依据获取的卷积计算逻辑规则进行相应的二值化卷积计算，通过该整体架构将二值神经网络中各层的计算量全部卸载到片上内存，而不依赖片外内存与片上内存的交互，从而减少了存储器之间的通信成本，极大地提高了计算效率，提高了待检测图像的检测速度。

为实现上述目的，按照本发明的一个方面，提供了一种基于FPGA的二值神经网络加速系统，该系统包括利用FPGA形成的卷积核参数获取模块、二值化卷积神经网络结构和缓存模块，缓存模块为FPGA的片上内存，

卷积核参数获取模块用于获取待处理图片的输入特征图，利用卷积神经网络模型在已有的数据集上进行二值化训练，得到卷积计算逻辑规则和多个卷积核参数，卷积计算逻辑规则包括多个线程的卷积计算；

缓存模块用于调取所述卷积计算逻辑规则和多个卷积核参数，依据卷积计算逻辑规则将多个卷积核参数存储于FPGA的片上内存，缓存模块还用于缓存卷积基本计算模块的计算结果和待处理图片数据；

二值化卷积神经网络结构用于调取卷积计算逻辑规则生成多个卷积基本计算模块，多个卷积基本计算模块依据卷积计算逻辑规则建立相应的连接关系，一个线程的卷积计算对应多个卷积基本计算模块，多个卷积核参数与多个卷积基本计算模块一一对应；