[发明专利]一种卷积神经网络加速器的内部存储带宽优化方法

说明书

本发明提出了一种卷积神经网络加速器的内部存储带宽优化方法，步骤1、在存放待计算特征数据的内部存储RAM与计算单元之间设置一块与计算单元数相同大小的CACHE，在每个计算周期先将CACHE中数据传入计算单元；步骤2、由内存读写控制单元用读取并准备好下一周期所用数据：缓存块相对于内存区优先上下移动，每次移动将缓存块中不同于上一周期的一行数据丢弃，其他数据顺序前移，将缓存块新覆盖到的数据加入到空行；步骤3、当纵向移动到边界时，将缓存块新覆盖到的数据加入到空列；本发明以数据复用为核心的基于特殊规律传递内存地址的数据读取方法，以达到使用尽可能少的带宽和内存匹配所有计算单元，使计算单元效率达到最高。

技术领域

本发明属于卷积神经网络技术领域，尤其涉及一种卷积神经网络加速器的内部存储带宽优化方法。

背景技术

卷积神经网络时一个多层的神经网络，总体上可分为输入层，隐含层和输出层三类，输入层只包含一层，它直接接受二维图像输入，负责将要处理的数据以矩阵形式传递给隐含层，输出层主要使用逻辑函数或归一化函数(softmaxfunction)输出分类标签。而隐含层一般包含卷积层、池化层和全连接层三种常见构筑，其中卷积层和池化层时卷积神经网络特有。卷积层中的卷积核包含权重系数，但是池化层可以认为并不包含权重系数，因此在文献中，池化层也可能不被认定为独立的层。以LeNet-5为例，隐含层中的顺序为：卷积层——池化层——卷积层——池化层——卷积层(也可认为是全连接层)——全连接层。

卷积神经网络在被不断地推广使用，而实际场景中存在着的一些制约因素，如超高的计算量，大量的数据访存带来的高时延以及在嵌入式端的能耗等问题，极大的限制了卷积神经网络在人们日常生活中去应用，即使它已经发展成熟可以在生活中的很多时候去使用来给人们带来便利。使用FPGA(现场可编程逻辑门阵列)来设计并实现卷积神经网络加速器可解决相关问题。卷积神经网络可以看作是众多神经元组成的，而这些神经元又可以基本的逻辑资源构成。由于卷积神经网络自身的特性，及FPGA所拥有的优势，所设计的卷积神经网络加速器可以定向的解决计算量与计算单元不匹配、数据量与带宽不匹配等核心问题。现有的卷积神经网络加速器中，会尽可能的将卷积神经网络的计算过程并行化，比如在计算量极大的卷积层的计算过程中引入更多的计算单元来加速计算，但是这样做需要相应地扩充内存及带宽来给与支撑，由于相邻的两次卷积运算中有较多的重复数据，因此造成了带宽和多次访存能耗的浪费。此问题主要是由内存BRAM的固有特性引起的。

一般在卷积神经网络加速器的设计中，会将权重数据和中间数据暂存在具有高速读写性能的BRAM(Block RAM)中，但BRAM每个时钟周期仅能从一个地址中读取数据，因此想要在一个周期内并行化更多动作必须增加数据读取时的带宽，而增加带宽就需要更多的BRAM资源。不过由于卷积层中运算的特殊性，相邻的卷积运算中会使用到很多相同的数据，因此也可以使用数据复用的办法来尽可能使更多计算并行化，但是这样做会在一些时候出现数据无法复用而产生计算等待地情况，比如在二维数据块中换行读取数据时，相邻两次计算中数据并无相同，便需要等待所有数据均重新载入才可。

发明内容

为了优化卷积神经网络加速器中增加计算单元所带来的带宽问题，本发明提出了以数据复用为核心的基于特殊规律传递内存地址的数据读取方法，使得缓存区数据的重用率达到最大的同时，访存次数最少，以达到使用尽可能少的带宽和内存匹配所有计算单元，使计算单元效率达到最高。

本发明采用如下技术实施：

一种卷积神经网络加速器的内部存储带宽优化方法，所述神经网络的卷积层中设置有对加速器减少带宽需求的优化模块，所述优化模块采用如下步骤：

步骤1、在存放待计算特征数据的内部存储RAM与计算单元之间设置一块与计算单元数相同大小的CACHE，CACHE中的各个数据直连在计算单元上，在每个计算周期先将CACHE中数据传入计算单元；