[发明专利]基于可见光图像与红外图像融合的行人检测方法、模型、电子设备和计算机可读介质

权利要求书

1.基于可见光图像与红外图像融合的行人检测方法，其特征在于，包括：

同步获取包含有行人的红外图像与可见光图像；

对获取的所述红外图像与所述可见光图像进行标定、配准；

配准的红外图像与对应的可见光图像组成数据对，各数据对构成公共标签文件；

对所述公共标签文件中的红外图像和可见光图像分别进行特征提取，获得各自的特征图，并获取其中所述红外图像的ROI信息；

将所述红外图像的ROI信息映射到对应的可见光图像的特征图上，得到融合后的特征图；

对于所述融合后的特征图，采用softmax方法分类，并用目标框回归方法调整位置，最终提取出目标类别和识别框，从而实现行人检测。

2.根据权利要求1所述的基于可见光图像与红外图像融合的行人检测方法，其特征在于，对所述红外图像与所述可见光图像进行标定、配准，具体包括以下步骤：

分别定义红外相机和光学相机在世界坐标系下的坐标，在对应坐标系下对标定板上不同位姿和距离的角点拍摄红外图像和可见光图像；

根据红外相机或光学相机的尺寸因子、角点在像素坐标系和世界坐标系的坐标，得到红外相机或光学相机的单应性矩阵，再根据多组角点坐标和约束性条件，得到红外相机或光学相机的内参矩阵和外参矩阵；所述红外相机或光学相机的外参矩阵包括角点相对于红外相机或光学相机主点的旋转矩阵和平移矩阵；

根据角点相对于红外相机和光学相机的外参矩阵，得到红外相机相对于光学相机的旋转矩阵和平移矩阵，确定红外相机和光学相机之间的坐标系转变关系，完成标定；

对于获取的所述包含有行人的红外图像与可见光图像，根据确定的所述红外相机和光学相机之间的坐标系转变关系，进行配准。

3.根据权利要求2所述的基于可见光图像与红外图像融合的行人检测方法，其特征在于，在确定红外相机和光学相机之间的坐标系转变关系的过程中，还包括：输入红外相机和光学相机的畸变矩阵。

4.根据权利要求1所述的基于可见光图像与红外图像融合的行人检测方法，其特征在于，所述各数据对构成公共标签文件的过程，包括以下步骤：

对配准后的红外图像与对应的可见光图像分别进行标注，形成各自的标注项；由所述红外图像与所述可见光图像的标注项，分别构成所述红外图像与所述可见光图像的标签文件；

遍历所述红外图像与所述可见光图像的标注项，计算两个标签文件中各个标注项之间的交并比；对于一个标签文件中的标注项，在另外一个标签文件中仅有一个对应标注项与之的交并比大于设定阈值时，将该标注项与对应标注项存入共用标签文件中；

当所述标注项未检索到与之交并比大于设定阈值的对应标注项时，则舍弃该所述标注项；当所述标注项检索到多项与之交并比大于设定阈值的对应标注项时，对所述设定阈值进行更新，再次进入标注过程，直到标签文件所有标注项完成标注过程，结束循环。

5.根据权利要求1所述的基于可见光图像与红外图像融合的行人检测方法，其特征在于，对于所述公共标签文件中的红外图像，经过改进的Darknet主干网络进行多次特征提取，得到红外图像的特征图；其中，每次所述特征提取均由上一层特征图为输入，经过卷积层、残差网络、稠密块处理，分别进行特征提取、跳跃连接、特征重用，得到下一层特征图，最后一层特征提取模块获得的特征图作为红外图像的特征图。