[发明专利]一种基于FPGA的可变膨胀卷积运算硬件系统

说明书

本发明公开了一种基于FPGA的可变膨胀卷积运算硬件系统，包括数据重排列单元和卷积流水计算单元，其中，数据重排列单元用于将原始图像中随膨胀率变化的随机空域采样点整理成列向量，数据重排列单元包括多级数据选择器、读写双向移位缓存和有限状态机，有限状态机能够对限定膨胀率范围内的膨胀率进行遍历并控制多级数据选择器对随机空域采样点进行数据选择，读写双向移位缓存用于获取并存储多级数据选择器选择的数据以完成数据重排列；卷积流水计算单元用于根据重排列的数据和卷积核参数进行卷积流水计算，并获得输出数据。本发明利用基于多级MUX和读写双向移位缓存的控制逻辑实现了可变膨胀卷积硬件加速，最大程度地实现了数据高效缓存重排列与卷积并行流水计算。

技术领域

本发明属于数字图像处理技术领域，具体涉及一种基于FPGA的可变膨胀卷积运算硬件系统，可用于基于可变膨胀卷积神经网络的图像处理任务中。

背景技术

可变膨胀卷积作为一种新型的卷积模型，通过从目标任务中学习膨胀率并利用膨胀率改变空域图像采样位置，已经被证实了其可以有效的提高卷积神经网络的性能，基于可变膨胀卷积的卷积神经网络模型已经被广泛应用到了图像分类、图像分割、目标检测以及图像处理等领域。但是由于可变膨胀卷积模型的空域采样位置被膨胀率随机改变，导致可变膨胀卷积模型的硬件实现相比于传统卷积模型变得更加复杂。

当前对于传统卷积的硬件加速的主流手段有im2col方法和Line buffer方法，im2col方法把卷积输入数据转换为适用于矩阵乘法的形式，并利用矩阵乘法进行计算进而得到卷积运算结果，im2col方法要求数据排布具有一定的规律，而可变膨胀卷积的数据排布依靠学习到的膨胀率变化，没有规律性，因此利用im2col方法无法实现可变膨胀卷积；Line buffer方法预先对卷积输入数据进行行缓存，对于利用该方法实现的传统卷积仅需2行缓存即可，然而，若利用line buffer方法实现可变膨胀卷积，即便限制膨胀率为4也需要9行缓存才有可能实现，极大地浪费了硬件资源。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于FPGA的可变膨胀卷积运算硬件系统。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种基于FPGA的可变膨胀卷积运算硬件系统，包括数据重排列单元和卷积流水计算单元，其中，

所述数据重排列单元用于将原始图像中随膨胀率变化的随机空域采样点整理成列向量，所述数据重排列单元包括多级数据选择器、读写双向移位缓存和有限状态机，所述有限状态机能够对限定膨胀率范围内的膨胀率进行遍历并控制所述多级数据选择器对所述随机空域采样点进行数据选择，所述读写双向移位缓存用于获取并存储多级数据选择器选择的数据以完成数据重排列；

所述卷积流水计算单元用于根据所述重排列的数据和卷积核参数进行卷积流水计算，并获得输出数据。

在本发明的一个实施例中，所述多级数据选择器为n组k列多级数据选择器，用于根据所述随机空域采样点的中心点膨胀率从原始图像的一行n个像素点中选择中心点所需的k个空域采样点，其中，k为可变膨胀卷积的卷积核尺寸，n为所述卷积运算单元的列并行度；

所述n组k列多级数据选择器的选择端为中心点的膨胀率，输入端用于输入对应膨胀率范围下的空域采样点。

在本发明的一个实施例中，所述读写双向移位缓存包括n组k行k列个寄存器，其中，

每组寄存器之间相互独立；

在一组寄存器中，写方向由第m行中k列寄存器分别指向第m-1行中对应的k列寄存器，其中m为2～k中的任意实数，读方向由第m个寄存器指向第m-1个寄存器，其中m为2～k×k中的任意实数；

所述读写双向移位缓存第k行的n组k列寄存器的输入与所述n组k列多级数据选择器的输出连接，并由所述有限状态机控制传输通路是否开启。