[发明专利]一种基于彩色相机与红外热成像仪特征融合的目标检测方法

说明书

本发明公开了一种基于彩色相机与红外热成像仪特征融合的目标检测方法，包括以下步骤：a、通过彩色相机获得彩色数据集，通过红外热成像仪获得热红外数据集；b、将双模态数据集同时输入到双模态的YOLOv3神经网络算法中，提取目标的颜色特征与温度特征；在主干网络的某一层通过融合函数与1×1卷积块将两个模态的特征融合，然后选取融合后的特征图继续进行主干网络的特征提取，得到融合后的提取特征图；c、融合后的提取特征图输入到后续的卷积层中进行目标的分类，输出训练完成的双模态神经网络的算法模型。本发明融合温度与颜色信息，在双模态神经主干网络算法进行融合，输入分类层中进行目标的预测，增加目标的多种特征信息，提高目标识别准确性。

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于彩色相机与红外热成像仪特征融合的目标检测方法。

背景技术

在背景多变、地形地物遮挡等复杂地形环境中，以及在雨天、雾霾、黑暗等能见度低的自然环境中，使用传统目标识别方案准确率低，不能满足自动驾驶的需求。这是由于彩色相机对光线特别的敏感，神经网络无法提取到目标完整的特征，故一味的提升网络算法也无法提高目标识别的准确率。为了保证自动驾驶车辆能够及时地、精确地感知路面环境中存在的安全隐患，快速采取措施，避免发生交通事故，往往采取多传感器联合观测的方法。

目前自动驾驶车辆感知平台主要包含激光雷达、彩色相机、红外热成像仪、毫米波雷达等传感器。其中，激光雷达主要通过雷达扫描车辆周围环境来获得三维距离信息，通过距离分析识别技术对行驶路况进行感知，它能够获得物体的三维距离信息，具有很高的测量精度且不受环境的影响，但是其价格昂贵，也不能获得目标的形态特征。毫米波雷达主要也是用来获得目标的距离信息，它具有波长短、频带宽、穿透能力强等特点，并且其体积小巧，识别精度高，但是毫米波雷达也不能探测到目标的形态特征并且价格较贵，不适合目标检测与识别。而彩色相机与红外热成像仪主要负责目标的识别且成本最低、安装方便、体积小、能耗低。彩色可以获得丰富的纹理信息，而红外热成像仪可以获得目标的温度信息。

因此，彩色相机与红外热成像仪联合检测目标的方法得到广泛应用，如何对热红外相机的温度信息与彩色相机的颜色信息进行融合，以达到最优的目标检测效果，是亟待解决的问题。

发明内容

为解决上述问题，本发明提出一种基于彩色相机与红外热成像仪特征融合的目标检测方法，针对特殊场景下彩色相机无法准确识别目标的问题，融合热红外相机的温度信息与彩色相机的颜色信息，利用双通道的神经网络算法，分别学习目标特征，并且在双模态神经网络算法的某一层进行融合，然后输入网络算法的分类层中进行目标的预测，能够增加目标的多种特征信息，提高目标识别的准确性。

技术方案：本发明提出一种基于彩色相机与红外热成像仪特征融合的目标检测方法，包括以下步骤：

a、通过彩色相机获得彩色数据集，通过红外热成像仪获得热红外数据集；

所述步骤a包括：

a.1、将彩色相机与红外热成像仪固定在传感器支架上，并保证彩色相机与红外热成像仪拍摄的视角一致；然后对彩色相机与红外热成像仪进行联合标定，分别获得彩色相机与红外热成像仪的内外参数矩阵，完成空间上的同步；

a.2、用红外热成像仪与彩色相机同时实时对环境进行采集，获取同步时间戳的彩色数据集和热红外数据集，完成时间上的同步；

a.3、将上述拍摄到的彩色数据集和热红外数据集根据彩色相机与红外热成像仪的内外参数矩阵先进行去畸变处理，然后进行配准，保证彩色数据集中的像素点与热红外数据集上的像素点一一对应。

所述步骤a.1中的联合标定采用张正友标定板，通过张正友标定法获取两个传感器的内外参数矩阵。