[发明专利]物体检测硬件加速器、系统、方法、设备和介质

说明书

本申请提供的一种物体检测硬件加速器、系统、方法、设备和介质，通过提取增强图像的横向和纵向对数梯度，以得到梯度值并进行量化，生成多层的横向和纵向对数梯度，计算检测窗口中每个像素的梯度幅值及箱标识；采用双线性细胞间空间插值方法将梯度幅值按比例分配，并依据箱标识将幅值投票给相应方向的梯度；通过将区块内各细胞的梯度直方图拼得到区块特征，进而得到检测窗口特征；计算各窗口的窗口分数和对应的位置坐标、以及所在金字塔的层数，以供检测原始图像中不同尺寸的物体。本申请不需要图像信号处理器，能够从原始图像中，提取有效的HOG特征，并检测视频画面中不同尺寸的物体，可以在不影响检测精度的基础上，减少检测系统的能耗和面积。

技术领域

本发明涉及场景新视角生成技术领域，特别是涉及一种物体检测硬件加速器、系统、方法、设备和介质。

背景技术

移动视觉随着物联网以及5G行业的发展，对物体检测系统的性能以及效能提出了愈发苛刻的要求。例如自动驾驶辅助系统(ADAS)，一方面要求压缩延迟时间至几毫秒，另一方面无法接受上百瓦的功耗。单独的基于冯诺依曼架构的通用处理器无法再同时推动系统性能与效能的提升，因为物体检测是数据量巨大(约712Mbit/s；1920*1080；30frame/s)、计算密集型任务。而专用检测电路能够支撑大规模并行计算，因此可以同时挑战性能和效能的极限。

目前的物体检测涉及三个步骤：图像捕获，图像信号处理(ISP)，以及检测。与之相对应的，检测电路或检测芯片通常由3个部件组成：图像传感器，图像信号处理器，以及检测器。

原始图像是图像传感器的直接输出，其像素值与光照强度成比例。通过在图像传感器上覆盖彩色过滤阵列(CFA)，可以得到色彩信息。Bayer阵列是一种最常见的CFA。单通道的CFA图像经过“去马赛克”，可以被转换为三通道彩色图像，“去马赛克”是ISP所包含的算法之一。

ISP会增加图像的不确定性，这主要有两个方面的原因：一方面，ISP管道没有标准配置，因此不同的图像信号处理器所采用的算法以及算法的排列顺序是不同的[1]。另一方面，ISP的设计初衷旨在复刻人眼所看到的图像，其所包含的有损转换(例如色调映射和JPEG压缩)，会丢弃有价值的信息[2]。

除了增加图像的不确定性，ISP也会带来额外的能耗和面积。研究表明，一个典型的图像信号处理器，在以60帧/秒(FPS)的速度处理1080p(1920×1080)的视频时，消耗250mW的能量[1]。而一个专用检测芯片，仅需要58.6mW(约为图像信号处理器所需能量的20％)来处理30FPS的1080p视频[3]。检测器可以使用不同的平台来实现，例如CPU，GPU，以及专用检测电路。

而现有的专用检测电路专注于检测，以彩色图像作为输入，并未探索ISP流水线中的冗余。从检测系统的层面来看，其缺点是系统功耗大、资源消耗多，需要外围设备来支撑图像信号处理。

与此同时，直接用基于彩色图像的检测算法来处理Bayer CFA图像，检测的准确率会降低，这是因为ISP改变了像素直方图的分布。

综上可以看出，现有物体检测中图像信号处理过程不仅增加图像的不确定性，而且还会带来额外的功耗和面积，并且现有专用检测电路也并未探索图像信号处理流水线中的冗余，还需要外部设备来支撑图像信号处理。

因此，为解决现有的基于彩色图像的物体检测方法，难以满足基于原始图像的物体检测需要，以及现有的检测电路需要与图像信号处理器相连接，不支持与图像传感器的直接连接的问题，本申请提供一种新的检测系统和方法。

参考文献：