[发明专利]一种基于FPGA的可变膨胀卷积运算硬件系统

权利要求书

1.一种基于FPGA的可变膨胀卷积运算硬件系统，其特征在于，包括数据重排列单元(1)和卷积流水计算单元(2)，其中，

所述数据重排列单元(1)用于将原始图像中随膨胀率变化的随机空域采样点整理成列向量，所述数据重排列单元(1)包括多级数据选择器(11)、读写双向移位缓存(12)和有限状态机(13)，所述有限状态机(13)能够对限定膨胀率范围内的膨胀率进行遍历并控制所述多级数据选择器(11)对所述随机空域采样点进行数据选择，所述读写双向移位缓存(12)用于获取并存储多级数据选择的数据以完成数据重排列；

所述卷积流水计算单元(2)用于根据所述重排列的数据和卷积核参数进行卷积流水计算，并获得输出数据。

2.根据权利要求1所述的基于FPGA的可变膨胀卷积运算硬件系统，其特征在于，所述多级数据选择器(11)为n组k列多级数据选择器，用于根据所述随机空域采样点的中心点膨胀率从原始图像的一行n个像素点中选择中心点所需的k个空域采样点，其中，k为可变膨胀卷积的卷积核尺寸，n为所述卷积运算单元的列并行度；

所述n组k列多级数据选择器的选择端为中心点的膨胀率，输入端用于输入对应膨胀率范围下的空域采样点。

3.根据权利要求2所述的基于FPGA的可变膨胀卷积运算硬件系统，其特征在于，所述读写双向移位缓存(12)包括n组k行k列个寄存器，其中，

每组寄存器之间相互独立；

在一组寄存器中，写方向由第m行中k列寄存器分别指向第m-1行中对应的k列寄存器，其中m为2～k中的任意实数，读方向由第m个寄存器指向第m-1个寄存器，其中m为2～k×k中的任意实数；

所述读写双向移位缓存(12)第k行的n组k列寄存器的输入与所述n组k列多级数据选择器的输出连接，并由所述有限状态机(13)控制传输通路是否开启。

4.根据权利要求1所述的基于FPGA的可变膨胀卷积运算硬件系统，其特征在于，所述有限状态机(13)包括IDLE状态、RD_DILATION状态、DILATION状态和CONV_CALCU状态，其中，

IDLE状态为初始状态，等待数据重排列开始信号；RD_DILATION状态用于读取一行n个中心点的膨胀率；DILATION状态用于依次完成限定膨胀率范围内所有膨胀率下空域采样点数据的选择并将选择后的数据传入读写双向移位缓存中以完成数据重排列；CONV_CALCU状态用于读取所述读写双向移位缓存中的数据以进行卷积计算。

5.根据权利要求1所述的基于FPGA的可变膨胀卷积运算硬件系统，其特征在于，所述卷积流水计算单元(2)包括n×m个数字信号处理子单元，所述n×m个数字信号处理子单元均连接所述读写双向移位缓存(12)和权重缓存，能够同时获取存放在所述读写双向移位缓存(12)中列并行度为n的特征图像数据的对应值以及存放在权重缓存中输出并行度为m的卷积核参数的对应值，以进行并行度为n×m的数据乘加运算。

6.根据权利要求5所述的基于FPGA的可变膨胀卷积运算硬件系统，其特征在于，所述数字信号处理子单元执行数据乘加运算的运算公式为A*B+C，其中，A为像素点，B为对应的卷积核参数，C为前一次A*B+C的计算结果，且第一次计算时C取0。

7.根据权利要求1至6中任一项所述的基于FPGA的可变膨胀卷积运算硬件系统，其特征在于，所述读写双向移位缓存(12)包括第一读写双向移位缓存单元和第二读写双向移位缓存单元，所述第一读写双向移位缓存单元和所述第二读写双向移位缓存单元基于乒乓缓存的机制运行。

8.根据权利要求7所述的基于FPGA的可变膨胀卷积运算硬件系统，其特征在于，基于乒乓缓存的机制具体包括：

对所述第一读写双向移位缓存单元进行写入，完成后所述有限状态机通知所述卷积流水计算单元读取所述第一读写双向移位缓存单元中的数据，并向所述第二读写双向移位缓存单元写入数据，完成后等待所述卷积流水计算单元读完所述第一读写双向移位缓存单元中的数据再向所述第一读写双向移位缓存单元中写入数据，同时卷积流水计算单元读取所述第二读写双向移位缓存单元中的数据，直至输入数据完全重排列完成。