[发明专利]基于深度学习的目标检测算法的硬件架构及其执行方法

说明书

本发明提供一种基于深度学习的目标检测算法的硬件架构及其执行方法，包括设置在FPGA上的输入缓存器、行缓存器、寄存器矩阵、卷积计算核、输出缓存器和全连接计算核；输入缓存器用于缓存基于深度学习的目标检测算法的输入层的数据；行缓存器包括k个存储单元，用于缓存k行输入缓存器的输出数据；所述寄存器矩阵包括k*k个寄存器；卷积计算核用于根据每个时钟周期所述寄存器矩阵输出的k*k个寄存器数据进行卷积计算；输出缓存器用于存储所述卷积计算核的输出结果；全连接计算核用于计算得到目标检测的最终结果。本发明的基于深度学习的目标检测算法的硬件架构及其执行方法能够在FPGA硬件架构下，实现基于深度学习的目标检测算法的实时计算。

技术领域

本发明涉及FPGA的技术领域，特别是涉及一种基于深度学习的目标检测算法的硬件架构及其执行方法。

背景技术

现场可编程门阵列(Field-Programmable Gate Array，FPGA)是一种在生产后可编程的集成电路芯片。FPGA芯片中电路提供可编程节点，可根据用户设定重新定义电路逻辑。相比于传统处理芯片CPU，FPGA可提供针对特定问题的高度优化电路，提升百倍级别计算性能。相比于传统集成电路芯片ASIC，FPGA可提供更灵活的计算方案。

目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一。目标检测为机器视觉的一个基础应用。相较于图像识别，目标检测需要在图像中标记物体位置。典型的目标检测算法包括以下两个步骤：

(1)边框收敛

(2)框内物体识别

然而，基于滑动窗口以及区域分割的目标检测算法存着这检测准确率低、检测时间长的缺点。因此，基于深度学习的目标检测算法应用而生，如YOLO，Faster R-CNN。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。因此，基于深度学习的目标检测算法需要大量的计算资源支持。在机器人、无人机、卫星等急需人工智能支持的移动设备中，受限于计算资源与空间，无法支持此类基于深度学习的目标检测算法的实现。

针对深度学习算法的硬件定制架构为在功耗、空间资源受限条件下的实时目标检测提供了可能。然而，在实际应用中，对于复杂的目标检测算法，如何在有限的硬件资源下实现计算性能的最优化成为当前一个热点研究课题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于深度学习的目标检测算法的硬件架构及其执行方法，能够在FPGA硬件架构下，在低功耗、低空间条件下实现基于深度学习的目标检测算法的实时计算。

为实现上述目的及其他相关目的，本发明提供一种基于深度学习的目标检测算法的硬件架构，包括设置在FPGA上的输入缓存器、行缓存器、寄存器矩阵、卷积计算核、输出缓存器和全连接计算核；所述输入缓存器用于缓存基于深度学习的目标检测算法的输入层的数据；所述行缓存器包括k个存储单元，用于缓存k行输入缓存器的输出数据，其中，k为卷积计算核的大小；所述寄存器矩阵包括k*k个寄存器，第一列k个寄存器分别与所述行缓存器的k个存储单元的输出端相连，相邻列寄存器相互连接；所述卷积计算核用于根据每个时钟周期所述寄存器矩阵输出的k*k个寄存器数据进行卷积计算；所述输出缓存器用于存储所述卷积计算核的输出结果；所述全连接计算核用于将所述输出缓存器中卷积计算核计算得到的特征向量图与所述输入缓存器输入的系数矩阵相乘，以得到目标检测的最终结果。

于本发明一实施例中，所述行缓存器通过硬件连接线与所述输入缓存器连接；当多个卷积计算核并行计算时，所述行缓存器通过并行连接线与所述输入缓存器相连。

于本发明一实施例中，单个卷积计算核能够配置为多个小卷积计算核。

于本发明一实施例中，所述全连接计算核包含多个矩阵向量乘单元，能够配置为行计算计算核或列计算计算核。