[发明专利]基于热像仪和双目相机的行人检测方法及系统

说明书

本发明提出了一种基于热像仪和双目相机的行人检测方法及系统，该方法包括：利用热像仪和双目相机采集车辆前方图像；消除双目相机采集的图像间的视差；对双目相机图像和热像仪图像进行灰度化；利用滑动窗分别对灰度化后的双目相机图像和热像仪图像按照设定步长以光栅扫描的形式进行扫描，同时对每个步长上的双目相机图像和热像仪图像进行HOG特征提取，得到HOG特征描述值；利用SVM的分类结果，判定窗口是否有行人存在；对比双目相机图像和热像仪图像的检测结果，得到最终检测结果。本发明行人检测计算量小，各参数、状态量持续更新，可不间断地进行预警，提高预警的及时性和连续性。

技术领域

本发明属于汽车自动驾驶领域，具体为一种基于热像仪和双目相机的行人检测方法及系统。

背景技术

行人的自动和可靠检测是自动驾驶车辆或高级驾驶员辅助系统(ADAS)的重要功能。关于行人检测的研究工作在很大程度上取决于数据，因为不同的数据和方法可能产生不同的评估结果。目前的行人检测装置数据收集装置中，数据采集中最常用的传感器是常规彩色摄像机，但彩色相机仍然有许多局限性。例如，彩色相机对照明条件敏感。如果在光线不足的条件下图像质量受损。故可以使用热像仪来克服彩色相机的一些限制，因为它们不受照明条件的影响。但是单一的热像仪检测会受到周围温度的影响。例如，在室外高温情况下，不能很好地区分出行人与周围物体。

发明内容

本发明的目的在于提出了一种基于热像仪和双目相机的行人检测方法。

实现本发明目的的技术解决方案为：一种基于热像仪和双目相机的行人检测方法，包括以下步骤：

步骤1、在车辆上设置热像仪和双目相机，采集车辆前方图像；

步骤2、消除双目相机采集的图像间的视差；

步骤3、对步骤2视差消除后的双目相机图像和热像仪图像进行灰度化；

步骤4、利用滑动窗分别对灰度化后的双目相机图像和热像仪图像按照设定步长以光栅扫描的形式进行扫描，同时对每个步长上的双目相机图像和热像仪图像进行HOG特征提取，得到HOG特征描述值；

步骤5、采用行人数据库对SVM进行训练得到系数w^T，将每个滑动窗窗口对应的HOG特征描述值X与系数w^T做乘法累加，将乘法累加的结果与设定阈值相加，若和大于0，则判定窗口有行人存在；

步骤6、对比双目相机图像和热像仪图像的检测结果，若两幅图检测结果一致，则输出统一结果，若不一致，则判定为无。

优选地，步骤4利用滑动窗分别对灰度化后的双目相机图像和热像仪图像按照设定步长以光栅扫描的形式进行扫描的具体步骤为：

设定待测场景的感兴趣区域；

设定滑动窗的尺寸，横、纵向移动步长；

从待检测图片的左上角开始，在感兴趣区域按照从左到右、从上到下的规则，以设定的横纵向步长移动滑动窗遍历整个待检图片。

优选地，对双目相机图像和热像仪图像进行HOG特征提取的具体方法为：

计算滑动窗内灰度图像像素梯度，确定像素点梯度的模及方向；

将滑动窗内的灰度图像划分为n个像素块，将每个像素块中每个像素点的模与高斯矩阵做点乘；

根据像素点所在像素块的坐标及像素点的梯度向量角度，对每个像素块做三位线性插值并仲裁累加成36维向量直方图；

对每个像素块得到的36维向量直方图进行归一化；

将归一化后的n个36维向量合并，得到该窗口中的36×n维的HOG特征描述值X。

优选地，计算滑动窗内灰度图像像素梯度，确定像素点梯度的模及方向的具体方法为：