[发明专利]基于FPGA加速的Winograd YOLOv2目标检测模型方法

权利要求书

1.一种基于FPGA加速的Winograd YOLOv2目标检测方法，采用PYNQ板卡，PYNQ板卡的主控制芯片包括处理系统端PS和可编程逻辑端PL；其中PS端将YOLO模型及待检测图像的特征图数据进行缓存；PL端将YOLO模型的参数与待检测图像缓存到片上RAM中，部署带有Winograd算法的YOLO加速器，完成对模型加速运算，形成硬件加速器的数据通路，实现对待检测图像的目标检测；还可将加速电路运算结果读出，并进行图像预处理和显示；

包括如下步骤：

A.训练YOLOv2目标检测网络模型，获取YOLOv2目标检测网络模型的权重值weight；

B.对步骤A中训练好的YOLOv2目标检测网络模型进行低位定点化；具体过程如下：

B1.获取YOLOv2目标检测网络模型最佳的定点量化方法：通过比较量化前后的网络各个参数平方和之差，确定最佳的定点化参数即尾码M_min；

B2.获取YOLOv2目标检测网络模型的网络层数R；

B3.获取YOLOv2网络每一层的权重，并将权重值weight和偏置参数值bias定点化，得到定点化模型参数；

B4.根据B3中得到的定点化模型参数，对当前模型参数进行测试，验证模型的准确率；

C.设计针对YOLOv2的FPGA加速器，将Winograd算法通过加法代替乘法运算的方法用在YOLOv2的加速器中，包括：

在PL端设计带有Winograd算法的YOLOv2卷积核，在卷积操作时将大量的乘运算换为Winograd算法实现的加法运算；采用Winograd算法加速卷积操作，Winograd算法通过使用m+r-1次乘法计算出卷积核大小为r的卷积核F(m,r)的m维特征图输出；即Winograd算法的输入为m+r-1个像素的图像数据，输出为m维的向量；将Winograd算法通过加法代替乘法运算的方法用在YOLOv2的加速器中，包括：

C1.通过输入转换将从缓存器中取到的特征图数据进行变换，得到变换后的特征矩阵Transform(In)，In为卷积输入；

C2.通过卷积核转换得到卷积核转换结果Transform(F)，其中F为卷积核参数；

C3.经过反变换函数得到Winograd的卷积计算结果Inverse_Transform(E)，其中E为卷积输出结果；

C4.设计YOLOv2网络模型的卷积模块，包括：

C4.1设计卷积计算数据流，读取卷积运算数据的流程；

C4.2构建Winograd PE运算单元；将Winograd PE运算单元分成三个部分，分别对进入卷积单元的特征图、卷积核进行变换，再进行运算；包括如下过程：

C4.2.1将从缓存器中取到的特征图数据进行变换，得到变换后的特征矩阵U；

C4.2.2将存储在缓存区的卷积核参数取出，通过变换求得转换后的特征矩阵V；

C4.2.3将上述步骤求得的矩阵U、V传递给运算单元进行点积运算，得到矩阵M，得到输出结果，M表示输出特征图的张数或通道数；

D.PL缓存流水线的存储优化；

D1.针对FPGA加速，采用缓存流水线的方法,将单缓存集合改进为多缓存结构进行FPGA加速；过程如下：

D1.1在ZYNQ的逻辑部分，数据交互通过外部存储DDR DRAM与CPU进行交互；DDR在与加速器数据交换时，由片内总线AXI控制；

D1.2在AXI总线后例化一个FIFO接口，使得输入和输出加速器运算单元的数据以高速进行高频度传输；在加速器运算单元的输入接口处，加上缓存集群，将数据变换格式并等待；

D1.3在加速器输入数据部分，将输入缓存集群分为多个，将输出缓存集群页相应分为多个，形成缓存流水线结构；在保证正常数据交互与传输时，充分利用每一个缓存，在时钟总线的跳变周期中，最大程度利用每个缓存的存储能力；

通过上述步骤，即实现基于FPGA加速的Winograd YOLOv2目标检测，快速得到待检测图像中的目标。