[发明专利]基于可见光和红外热成像的消防无人机图像融合方法

权利要求书

1.基于可见光和红外热成像的消防无人机图像融合方法，其特征在于，包括如下步骤：

步骤S0：利用消防无人机的可见光摄像头和红外热成像摄像头分别捕获可见光图像和红外热像图；

步骤S1：改变红外热像图的尺寸大小：由于可见光图像的分辨率为1280*720，而红外热像图分辨率为160*120，因而在红外热像图中的一个像素色块相当于可见光图像中的8*6个像素，将两张图片通过OpenCV中的resize()函数转化为1280*720大小的图像；

步骤S2：在红外热像图中提取ROI顶点坐标并用红色矩形框显示于可见光图像中；

步骤S3：对红外热像图中获得的边缘内部的图像与可见光对应坐标的图像运用拉普拉斯金字塔算法进行融合，获得融合后的结果并确定火情点；

步骤S4：在探测到火情点之后，根据视觉信息计算目标三维位置，通过计算无人机与目标之间的相对高度和偏航角度来精确估算火情点在消防无人机坐标系下的三维位置信息。

2.根据权利要求1所述的基于可见光和红外热成像的消防无人机图像融合方法，其特征在于，所述步骤S2还包括如下步骤：

步骤S21：提取红外热线图的ROI区域顶点坐标(x1,y1)、(x2,y2)、(x3,y3)和(x4,y4)；

步骤S22：将获得的坐标映射到可见光图像中，并用红色矩形框显示，矩形框的宽度为16；

步骤S23：将红外热像图中火情点的边缘对应提取坐标(xi,yi)并显示在可见光图像中，边缘用黑色且宽度为8的线表示。

3.根据权利要求1所述的基于可见光和红外热成像的消防无人机图像融合方法，其特征在于，所述步骤S3还包括如下步骤：

步骤S31：将红外热像图提取的边缘内部的图像和对应可见光图像区域提取出来，保存为两幅新的图片，并建立两幅图片的高斯金字塔，然后分别建立一个4层的拉普拉斯金字塔；

步骤S32：传入一个mask掩膜，代表了融合的位置，由于在两图的中间进行融合，故而掩膜图像左半为255，右半为0；根据这个mask建立一个高斯金字塔，用于后续融合，层数为第5层；

步骤S33：根据mask将两幅图像的1到5层的拉普拉斯金字塔的图像进行相加，mask为权值；相加的结果即为一个新的金字塔，记为Img1；

步骤S34：根据这个新的金字塔重建出最终的图像：首先在Img1上采样，然后跟新金字塔的顶层相加，得到Img2；Img2进行上采样后跟下一层相加，得到Img3；重复这个过程，将5层均进行采样后相加，得到融合后的结果。

4.根据权利要求1所述的基于可见光和红外热成像的消防无人机图像融合方法，其特征在于，所述步骤S0还包括：在对两款摄像头进行标定和畸变校正之后，可得到对应的摄像头内参矩阵，用于对获得的图像进行校和坐标分析。

5.根据权利要求1所述的基于可见光和红外热成像的消防无人机图像融合方法，其特征在于，所述步骤S0还包括：经由三轴相机云台的板载陀螺仪和板载加速度计，可以得到摄像头相对于水平方向、竖直方向和俯仰方向的角度。

6.根据权利要求1所述的基于可见光和红外热成像的消防无人机图像融合方法，其特征在于，可见光图像通过检测烟和火焰的RGB判据和HIS判据来检测火情情况，具体的约束条件为：

rule1:R≥G≥B

rule2:R≥R_T

rule3:S≥((255-R)*S_T/R_T)

其中，R_T是红色分量阀值，S_T是饱和度阀值，火焰像素主要取决于红色分量(R)的色度和饱和度。

7.根据权利要求1所述的基于可见光和红外热成像的消防无人机图像融合方法，其特征在于，将红外热像图通过预处理之后转换到HSV色彩空间，提取出颜色接近橙色和红色的明亮区域，制成ROI(region of interest)区域，该ROI区域即可能存在火情的区域；接着在ROI区域运用坎尼边缘检测算法，提取出可能火情区域的边缘；最后通过火情点的特征对可能的区域进行判定。

8.根据权利要求1所述的基于可见光和红外热成像的消防无人机图像融合方法，其特征在于，所述步骤S4通过下述公式获取火情点在消防无人机坐标系下的三维位置信息：

其中，x_d，y_d，z_d—火情点的三维位置信息；x_ft，y_ft—图像坐标系下火情点的位置信息；—消防无人机无火情点的相对高度；—旋转矩阵。