[发明专利]基于可见光和红外热成像的消防无人机图像融合方法

说明书

本发明公开了基于可见光和红外热成像的消防无人机图像融合方法，包括：利用消防无人机的可见光摄像头和红外热成像摄像头分别捕获可见光图像和红外热像图；将两张图片通过OpenCV中的resize函数转化为1280*720大小的图像；在红外热像图中提取ROI顶点坐标并用红色矩形框显示于可见光图像中；对红外热像图中获得的边缘内部的图像与可见光对应坐标的图像运用拉普拉斯金字塔算法进行融合，获得火情点信息；在探测到火情点之后，根据视觉信息计算目标三维位置，通过计算无人机与目标之间的相对高度和偏航角度来精确估算火情点在消防无人机坐标系下的三维位置信息。本发明还具有结构简单、操作方便、容易实施的优点。

技术领域

本发明涉及消防无人机技术领域，尤其涉及一种用于消防无人机的基于可见光和红外热成像的图像融合方法。

背景技术

随着我国无人机的快速发展，我国的无人机在消防领域的运用也愈加广泛，诸如火灾监测、辅助灭火和应急救援等方式，特别是利用无人机对火灾火情进行侦查和预防是目前非常有优势的一种方式，由无人机代替消防员进入危险现场进行侦查也成为未来的趋势，但目前我国但是由于现有的消防无人机和一般的民用航拍无人机性能差别并不大，仅单独配备可见光摄像头或红外摄像头，并由消防员用肉眼对获取的图像进行辨别，没有对两种摄像头进行搭配使用和对两者获取的图像进行计算机视觉融合，造成消防无人机对火情侦查的性能不足，特别是由于可见光摄像头在夜间无法工作，导致消防无人机并不具备夜间工作的能力，在消防领域应用有待进一步挖掘。因此，现有技术需要进一步改进和完善。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于可见光和红外热成像的消防无人机图像融合方法。

本发明的目的通过下述技术方案实现：

基于可见光和红外热成像的消防无人机图像融合方法，该方法主要包括如下具体步骤：

步骤S0：利用消防无人机的可见光摄像头和红外热成像摄像头分别捕获可见光图像和红外热像图。

步骤S1：改变红外热像图的尺寸大小：由于可见光图像的分辨率为1280*720，而红外热像图分辨率为160*120，因而在红外热像图中的一个像素色块相当于可见光图像中的8*6个像素，将两张图片通过OpenCV中的resize()函数转化为1280*720大小的图像。

步骤S2：在红外热像图中提取ROI顶点坐标并用红色矩形框显示于可见光图像中。

步骤S3：对红外热像图中获得的边缘内部的图像与可见光对应坐标的图像运用拉普拉斯金字塔算法进行融合，获得融合后的结果并确定火情点。

步骤S4：在探测到火情点之后，根据视觉信息计算目标三维位置，通过计算无人机与目标之间的相对高度和偏航角度来精确估算火情点在消防无人机坐标系下的三维位置信息。

进一步的，所述步骤S2还包括如下步骤：

步骤S21：提取红外热线图的ROI区域顶点坐标(x1,y1)、(x2,y2)、(x3,y3)和(x4,y4)。

步骤S22：将获得的坐标映射到可见光图像中，并用红色矩形框显示，矩形框的宽度为16。

步骤S23：将红外热像图中火情点的边缘对应提取坐标(xi,yi)并显示在可见光图像中，边缘用黑色且宽度为8的线表示。

进一步的，所述步骤S3还包括如下步骤：

步骤S31：将红外热像图提取的边缘内部的图像和对应可见光图像区域提取出来，保存为两幅新的图片，并建立两幅图片的高斯金字塔，然后分别建立一个4层的拉普拉斯金字塔。

步骤S32：传入一个mask掩膜，代表了融合的位置，由于在两图的中间进行融合，故而掩膜图像左半为255，右半为0；根据这个mask建立一个高斯金字塔，用于后续融合，层数为第5层。