[发明专利]基于空基多模态图像融合的森林烟火监测方法

说明书

本发明属于森林烟火监测技术领域，具体涉及一种基于空基多模态图像融合的森林烟火监测方法。本发明主要包括(1)通过对卫星遥感数据的语义分割，准确标识植被覆盖区及非覆盖区；(2)使用多模态对齐技术对齐卫星遥感数据、无人机运动图像序列之间、可见光和红外图像之间的空间位置；(3)通过无人机图像序列的霍特林变换提取烟火的运动信息；(4)采用基于轻量级卷积神经网络的多模态语义分割方法快速准确获取森林烟火的像素级识别结果。本发明的方法，可以显著降低空基人工智能平台的计算负载；多模态对齐技术可在空基平台运动的情况下，获取中心视场内静态的图像序列，便于算法提取烟火的运动特征，且不影响空基平台的正常作业。

技术领域

本发明属于森林烟火监测技术领域，具体涉及一种基于空基多模态图像融合的森林烟火监测方法。

背景技术

森林火灾一旦发生,危害十分巨大,如果能在林火的萌芽状态就进行识别,则可以减少不必要的损失。目前,林火监测方法有基于卫星遥感、计算机视觉和传感器网络等多种方案，但不同方案都存在一些固有的缺陷。计算机视频监测存在易误报漏报、监测区域范围受到视频设备性能限制、无法实现山火位置的定位等缺陷。红外传感监测方法可实现无人值守的不间断监测，自动发现监控区域内的火点，但红外监测会对阳光、高温物体等产生虚警，无法实现对火源的精确定位，且雨雾天对观测距离和图像清晰度影响较大。卫星遥感监测山火可对山火进行广域的监测，但该方法存在虚警率高的问题，且受卫星过境时间的限制，难以实现全天候监测，另外还存在监测结果易受云层影响，监测分辨率不高等问题。使用无人机(UAVs)搭载视觉相机,其操作灵活,价格便宜,效率更高，但目前常规的无人机图像林火监测存在识别精度不高，虚警率高等问题。

发明内容

本发明针对上述情况，为解决云、雾、阳光反射、人类生产活动产生的正常烟火导致出现误报的问题，提出一种基于空基多模态图像融合的烟火监测方法，全方位智能分析烟火的颜色、纹理、空间、光谱、时态、运动特征，以及植被覆盖、地貌等信息，极大提升了森林烟火监测的精度和可靠性。

为实现上述目的，本发明采用如下技术方案：

基于空基多模态图像融合的森林烟火监测方法，获取目标监测区域的卫星遥感图像、可见光图像和红外图像，其中可见光图像和红外图像是通过在无人机上布置对应的相机获取，通过无人机获取的为运动序列图像；如图1所示，监测方法包括以下步骤：

S1、通过对卫星遥感图像的语义分割，标识植被覆盖区及非覆盖区；

S2、使用多模态对齐技术对齐卫星遥感数据、可见光和红外图像之间的空间位置；

S3、通过步骤S2对齐后图像的霍特林变换提取烟火的运动信息；

S4、采用基于轻量级卷积神经网络的多模态语义分割方法获取森林烟火的像素级识别结果。

进一步的，所述步骤S1的具体方法是：

对于(H,W)大小的遥感图像I，通过语义分割算法预测每个像素的类别C＝{0,1}，“0”表示非植被覆盖区，“1”表示植被覆盖区，得到植被分布图G，G_i,j∈[0,1]，i∈[0,H-1]，j∈[0,W-1]。

进一步的，所述步骤S2的具体方法是：

(1)运动图像序列对齐。运动图像序列对齐包括红外和可见光各自运动图像序列的对齐，采用相同的序列对齐方法。对于t时刻和t-1时刻的红外或可见光运动图像序列I_t和I_t-1，首先通过尺度不变特征变换(Scale Invariant Feature Transform,SIFT)提取图像序列的特征点及特征描述子，作为空间配准的锚点。采用投影变换描述前后帧同一特征点之间的运动，投影变换模型为：