[发明专利]一种红外可见光融合目标检测方法

说明书

本发明公开了一种红外可见光融合目标检测方法、目标检测系统、双光相机、电子设备以及计算机可读存储介质。其中目标检测方法包括：获取待检测目标的红外图像信息；获取所述待检测目标的可见光图像信息；将所述红外图像信息和所述可见光图像信息进行图像对齐配准；基于所述红外图像信息，确定所述待检测目标位置；基于所述待检测目标位置，确定待检测目标在可见光图像中的图像块；基于所述图像块，进行目标检测。有效解决了目前可见光图像目标检测算法泛化能力有限的问题，大幅提高了目标的检测效率。

技术领域

本发明一般地涉及图像检测领域，特别涉及人物等具有红外热辐射能力的目标图像检测，具体涉及一种红外可见光融合目标检测方法、目标检测系统、双光相机、电子设备、计算机可读存储介质。

背景技术

目前，可见光图像的深度学习目标检测算法的泛化能力有限，当目标背景环境为复杂时，算法的检测能力不能达到实际的任务要求，另一方面，由于平台计算能力的限制，深度网络的输入分辨率一般较低，常见为416*416，对于输入的高清图像具有一定的压缩作用，使得在高清图像中的小目标在压缩后其特征信息消失，以至于检测算法无法有效的对小目标进行识别检测，现阶段基于红外图像的深度学习目标检测算法在无人机航拍目标检测领域得到了广泛的应用，但航拍视角下的红外图像数据集的采集需要耗费巨大的人力和财力，并且红外图像反映的是目标的温度信息和景象的热辐射信息，对光线亮度的变化不敏感，由于红外感光芯片性能的限制，与可见光图像相比，红外图像的像素分辨率较低，感光视场角较小，可见光图像能够反应更加丰富的场景细节信息，像素分辨率高，感光视线角较大，为了反映目标的细节信息依然需要通过可见光图像进行确认，使得检测效率降低。

发明内容

为解决上述问题，提高特定小目标(如人物目标)的目标检测效率，本发明提出了一种目标检测方法，通过双光相机获取图像信息，采用图像预处理、图像特征提取、图像分割、深度学习检测网络等方式解决小目标(人物目标)的检测效率。

第一方面，本发明提供一种目标检测方法，所述方法包括：获取待检测目标的红外图像信息；获取所述待检测目标的可见光图像信息；将所述红外图像信息和所述可见光图像信息进行图像对齐配准；基于所述红外图像信息，确定所述待检测目标位置；基于所述待检测目标位置，确定待检测目标在可见光图像中的图像块；基于所述图像块，进行目标检测。

进一步地，采用等温线拍照模式获取检测目标的图像信息。

进一步地，利用红外相机获取待检测目标红外图像信息后进行图像处理，包括：转化HSV色彩空间、空间划分、二值化处理、轮廓检测。

进一步地，利用所述红外图像信息和所述可见光图像信息进行图像对齐配准之前，还包括对所述红外相机和可见光相机进行标定。

进一步地，对所述红外相机和可见光相机进行标定，获得红外相机、可将光相机的内参、外参以及图像的尺度因子，确定红外图像相对可见光图像的偏移，使两个相机的成像同光轴。

进一步地，利用所述红外图像信息和所述可见光图像信息进行图像对齐配准，包括在红外图像中确定目标定位位置的水平和竖直视线角，确定待检测目标粗定位位置在可见光图像中的像素坐标。

进一步地，图像块各区域之间相互重叠。

进一步地，采用深度卷积神经网络进行目标检测。

第二方面，本发明还提供一种目标检测系统，所述系统包括红外图像目标粗定位模块，用于获取待检测目标红外图像信息以及基于所述红外图像信息，确定所述待检测目标位置；可见光图像获取模块，用于获取所述待检测目标可见光图像信息；红外与可见光图像对齐配准模块，用于将所述红外图像信息和所述可见光图像信息进行图像对齐配准；可见光图像分割模块，基于所述待检测目标位置，用于确定待检测目标在可见光图像中的图像块；目标检测模块，用于对所述图像块进行目标检测。