[发明专利]基于存储资源受限FPGA的卷积神经网络实现方法

说明书

一种基于存储资源受限FPGA的卷积神经网络实现方法，利用卷积层处于神经网络中的不同的位置，对于靠前的大尺寸小通道的特征图层，采取按高度维度分块输入特征图和卷积核，缓存全部卷积核参数的方式进行缓存；对于靠后的小尺寸大通道的特征图层，采取按输入通道分块输入特征图和卷积核，缓存部分通道的全尺寸输入特征图和卷积核参数的方式进行缓存。本发明在不增加FPGA与外部存储器之间传输数据的前提下，针对大尺寸卷积神经网络和小存储资源FPGA都适用，充分利用卷积神经网络的特点，分层设计存储方案，节约片上的存储资源。

技术领域

本发明涉及的是一种神经网络应用领域的技术，具体是一种基于存储资源受限FPGA的卷积神经网络实现方法。

背景技术

卷积神经网络是目前最先进的人工智能算法之一，但卷积神经网络的优异性能是依赖大量参数进行大规模计算，例如典型的vgg16网络，参数量就高达1.38亿个，而乘加运算次数更是高达155亿次。所以对于传统的CPU平台很难高效地处理卷积神经网络模型，特别是对于需要实时处理的任务，如目标检测，人脸识别等情况会更加糟糕。

现有技术中有通过将特征图分块便于更好地计算，同时由于不同卷积核之间，不同通道之间的卷积运算互不影响，但由于卷积核存在大量的复用，需要以滑窗的形式遍历整个输入特征图，所以卷积核在一层计算中从始至终都需要存在，所以大多数的硬件实现都会选择将一层的权值参数全部存储在片上存储器中。但对于一些资源有限的FPGA并不能存储一层所有的权值参数，这时候可能需要反复从片外存储器中读取数据，相较于直接从片上存储器读取数据，片外存储器读取数据会占用更多的时间，同时会消耗更多的能量，从而阻碍在硬件上实现卷积神经网络。

发明内容

本发明针对现有技术在资源有限的FPGA上无法满足每一层的权值参数都能完全缓存在FPGA的片上存储器中的缺陷，提出一种基于存储资源受限FPGA的卷积神经网络实现方法，在不增加FPGA与外部存储器之间传输数据的前提下，针对大尺寸卷积神经网络和小存储资源FPGA都适用，充分利用卷积神经网络的特点，分层设计存储方案，节约片上的存储资源。

本发明是通过以下技术方案实现的：

本发明涉及一种基于存储资源受限FPGA的卷积神经网络实现方法，利用卷积层处于神经网络中的不同的位置，对于靠前的大尺寸小通道的特征图层，采取按高度维度分块输入特征图和卷积核，缓存全部卷积核参数的方式进行缓存；对于靠后的小尺寸大通道的特征图层，采取按输入通道分块输入特征图和卷积核，缓存部分通道的全尺寸输入特征图和卷积核参数的方式进行缓存。

由于卷积神经网络的从前向后的过程中，特征图的尺寸(对应图中正方体的长和高)会越来越小，而通道数(对应图中正方体的宽)会越来越大。本发明中靠后的小尺寸大通道的特征图层尺寸小于30*30像素，对应此时特征图的通道数相对较大；相应地，靠前的大尺寸小通道的特征图层尺寸大于等于30*30像素。

但针对不同的卷积神经网络，通道数会有不同的值。

所述的缓存全部卷积核参数是指：将每一层的卷积核参数全部缓存到片上存储器中，对输入特征图和输出特征图按高度维度分块，每当第一批的数据处理完成后，会从外部存储器中缓存新的一批输入特征图。同理对于输出特征图，每当本发明得到一行数据时，将其输出到外部存储器中，以便下一层使用。

所述的缓存部分通道的全尺寸输入特征图和卷积核参数是指：每一次缓存部分输入通道上的全尺寸输入特征图，以及同样长度输入通道上的所有卷积核参数；每当该批通道计算完成时，读取新一批通道数据并累加在当前输出特征图上直至完成所有通道上的计算。

技术效果

本发明整体解决了在资源有限的FPGA上无法满足每一层的权值参数都能完全缓存在FPGA的片上存储器的问题。

与现有技术相比，本发明适用范围广，针对大尺寸卷积神经网络和小存储资源FPGA都适用且显著地节约片上的存储资源。