[发明专利]基于空基多模态图像融合的森林烟火监测方法

权利要求书

1.基于空基多模态图像融合的森林烟火监测方法，获取目标监测区域的卫星遥感图像、可见光图像和红外图像，其中可见光图像和红外图像是通过在无人机上布置对应的相机获取；其特征在于，监测方法包括以下步骤：

S1、通过对卫星遥感图像的语义分割，标识植被覆盖区及非覆盖区；

S2、使用多模态对齐技术对齐卫星遥感数据、可见光和红外图像之间的空间位置；

S3、通过步骤S2对齐后图像的霍特林变换提取烟火的运动信息；

S4、采用基于轻量级卷积神经网络的多模态语义分割方法获取森林烟火的像素级识别结果。

2.根据权利要求1所述的基于空基多模态图像融合的森林烟火监测方法，其特征在于，所述步骤S1的具体方法是：

对于(H,W)大小的遥感图像I，通过语义分割算法预测每个像素的类别C＝{0,1}，“0”表示非植被覆盖区，“1”表示植被覆盖区，得到植被分布图G，G_i,j∈[0,1]，i∈[0,H-1]，j∈[0,W-1]。

3.根据权利要求2所述的基于空基多模态图像融合的森林烟火监测方法，其特征在于，所述步骤S2的具体方法是：

(1)运动图像序列对齐：运动图像序列对齐包括红外和可见光各自运动图像序列的对齐，对于t时刻和t-1时刻的红外或可见光运动图像序列I_t和I_t-1，首先通过尺度不变特征变换提取图像序列的特征点及特征描述子，作为空间配准的锚点；采用投影变换描述前后帧同一特征点之间的运动，投影变换模型为：

其中(x,y,1)^T和(x’,y’,1)^T分别为图像I_t-1和I_t特征点的齐次坐标；a_i，i∈[1,9]是投影变换矩阵H的元素；s是缩放因子；利用开源计算机视觉库OpenCV的findHomography函数计算投影矩阵H，然后利用OpenCV的warpPerspective函数将前后帧投影到同样的空间坐标系下，实现图像序列的空间对齐；

(2)可见光和红外图像当前时刻的图像对齐：可见光和红外图像的对齐和运动图像对齐方法除提取图像特征点的算法是采用Harris角点法外，其它步骤方法与运动序列图像对齐一样；

(3)摄像机图像和遥感图像的对齐，利用针孔相机模型配准摄像机图像和遥感图像，不考虑畸变的情况下的成像模型为：

s·p＝A[R|t]P_w

其中的s是投影变换的缩放系数；p是图像平面的像素坐标；A是相机内参；R和t分别是世界坐标系到相机坐标系的旋转矩阵和平移向量，二者合称相机外参；Pw是世界坐标系中的点坐标；该成像模型的具体形式为：

其中p＝(u,v,1)^T为图像平面像素坐标；(f_x,f_y)是相机焦距；(c_x,c_y)是相机光心像素坐标；r_ij(i,j＝1,2,3)是旋转矩阵R的元素；(t_x,t_y,t_z)^T＝t为平移向量；(X_w,Y_w,Z_w)＝P_w是世界坐标系中的点坐标，内参A可通过标定摄像机得到；旋转矩阵通过机载倾角传感器获取；应用摄像机成像模型将遥感图像逆投影到图像坐标系下，实现相机图像和遥感图像的配准。