[发明专利]基于可见光图像与红外图像融合的行人检测方法、模型、电子设备和计算机可读介质

说明书

本发明公开了基于可见光图像与红外图像融合的行人检测方法、模型、电子设备和计算机可读介质，方法包括：对同步获取的包含有行人的红外图像与可见光图像进行标定、配准、构成公共标签文件；对公共标签文件中的图像分别进行特征提取，并获取红外图像的ROI信息；将红外图像的ROI信息映射到对应的可见光图像的特征图上，得到融合后的特征图；对于融合后的特征图，经分类、调整位置，提取出目标类别和识别框，从而实现行人检测。本发明融合红外和光学特征，并将红外图像生成ROI信息映射到可见光图像提取的特征图中，结合了可见光图像纹理清晰、红外图像行人特征显著的优势，有效地克服了光照条件对行人检测的影响。

技术领域

本发明属于目标检测技术领域，特别是涉及基于可见光图像与红外图像融合的行人检测方法、模型、电子设备和计算机可读介质。

背景技术

随着无人驾驶技术的不断发展，汽车驾驶系统对行人检测能力提出了更高要求。传统的行人检测方法基于可见光图像特征完成行人识别任务，但可见光图像在曝光失调或者行人外观纹理特征和背景极其相似的条件下，检测准确率会显著下降，甚至造成漏检、误检，从而引发严重的交通事故。可见光图像通过反射光获取行人的颜色和纹理特征，而红外图像通过目标自身的辐射热信息获取行人特征，因而红外图像不受光照条件、曝光条件等环境信息的干扰。但红外图像成像分辨率低，无法对检测目标的细节纹理特征进行捕捉。

中国专利CN202110971334.3提出了一种基于可见光图像和红外图像融合的行人检测方法，该方法中首先将红外图像和可见光图像采用Dense fuse网络进行图像融合，并生成融合图像，然后基于改进的YOLOv5算法以融合图像为输入进行行人检测。但该方法没有考虑融合图像的真实标签，且在通过可见光图像和红外图像融合生成新图像的过程中，由于算法的局限性，并不能完全保留二者的相关特征(出现图像失真、遗漏特征点等)，导致融合图像不能真实的反映现实环境，从而无法直接利用可见光图像的标签或红外图像的标签作为融合图像的标签进行监督学习。部分文献针对此类问题，尝试加入人工标签，但人工标签是否合理没有统一的评判标准，较难实现。

中国专利CN201510473667.8提出了一种基于滤波算法的方式，提取图像信息中的高低频信息，然后进行组合叠加实现图像融合，该方法虽然较为简便，但对所有红外图像和可见光图像进行了无差别融合，不能根据图像特点实现“学习式”融合，融合方案的适用性差。

中国专利CN201810722036.9提出了一种基于通道叠加的方式完成图像融合的方法，一般情况下，可见光图像中的纹理特征和红外图像中的梯度信息是各自比较优的信息，该方法直接叠加了可见光图像和红外图像的信息，未对信息进行筛选，无法充分融合可见光图像和红外图像的优势。

为了解决上述问题，本申请提出了一种基于可见光图像与红外图像融合的行人检测方法。

发明内容

本发明的目的在于提供一种基于可见光图像与红外图像融合的行人检测方法，设计了红外相机和光学相机标定方案，可以更好的融合红外和光学特征，并且将红外图像生成ROI信息映射到可见光图像提取的特征图中，结合了可见光图像纹理清晰、红外图像行人特征显著的优势，可以有效的克服光照条件对行人检测的影响，解决了现有技术中行人检测方法存在的问题。

本发明所采用的技术方案是，基于可见光图像与红外图像融合的行人检测方法，包括：

同步获取包含有行人的红外图像与可见光图像；

对获取的红外图像与可见光图像进行标定、配准；

配准的红外图像与对应的可见光图像组成数据对，各数据对构成公共标签文件；

对公共标签文件中的红外图像和可见光图像分别进行特征提取，获得各自的特征图，并获取其中红外图像的ROI信息；

将红外图像的ROI信息映射到对应的可见光图像的特征图上，得到融合后的特征图；