[发明专利]一种基于时空域双通道火灾视频烟雾识别方法

权利要求书

1.一种基于时空域双通道火灾视频烟雾识别方法，其特征在于，其步骤如下：

步骤一：收集并制作含有云、雾干扰图像和视频的烟雾数据集；

步骤二：搭建静态特征提取网络和动态特征提取网络，对静态特征提取网络和动态特征提取网络进行融合连接，构建视频烟雾识别网络模型；

步骤三：利用步骤一中的烟雾数据集对步骤二构建的视频烟雾识别网络模型进行训练，得到优化后的视频烟雾识别网络模型；

步骤四：利用优化后的视频烟雾识别网络模型对实时采集的烟雾视频进行处理，静态特征提取网络提取图像空间域上的静态特征，动态特征提取网络提取视频序列在时间域上的动态特征，并将静态特征和动态特征进行融合生成烟雾特征，对烟雾特征进行识别，判断是否存在烟雾，如果存在烟雾则进行报警。

2.根据权利要求1所述的基于时空域双通道火灾视频烟雾识别方法，其特征在于，所述步骤一中的烟雾数据集包含森林、田野、室内、操场、工地、城市、公路场景下的烟雾图像或视频，烟雾数据集是包含多种正样本、负样本的图像和视频。

3.根据权利要求1或2所述的基于时空域双通道火灾视频烟雾识别方法，其特征在于，所述视频烟雾识别网络模型包括并联连接的静态特征提取网络和动态特征提取网络，静态特征提取网络和动态特征提取网络均与融合组件相连接，融合组件与全连接单元相连接；所述融合组件采用自适应融合方法，利用神经网络的学习能力，为融合特征重新分配权值。

4.根据权利要求3所述的基于时空域双通道火灾视频烟雾识别方法，其特征在于，所述融合组件包括特征融合单元，特征融合单元将静态特征提取网络提取的静态特征和动态特征提取网络提取的动态特征组合：采用3D全局平均池化得到一组1×(n+k)的特征向量I，特征向量经过重组转化为的特征矩阵I，特征矩阵I通过卷积处理得到权值矩阵II，将的特征矩阵II转换为1×(n+k)的权值向量II；将权值向量II和对应的静态特征和动态特征相乘得到融合后的特征，输入全连接单元的全连接层。

5.根据权利要求4所述的基于时空域双通道火灾视频烟雾识别方法，其特征在于，所述视频烟雾识别网络模型的融合方法为

其中，参数和经过反向传播自主学习得到，F_st和F_dy分别表示用于融合的静态特征和动态特征，为融合后的特征。

6.根据权利要求3-5中任一项所述的基于时空域双通道火灾视频烟雾识别方法，其特征在于，所述静态特征提取网络是基于残差注意力模块搭建的；所述静态特征提取网络依次连接12个残差注意力模块，且每两个2个残差注意力模块后连接1个池化层；所示残差注意力块均采用3×3大小的卷积核，步长为1；池化层均采用大小为2×2的最大池化且步长为2；所述静态特征提取网络采用ReLU非线性非饱和激活函数。

7.根据权利要求6所述的基于时空域双通道火灾视频烟雾识别方法，其特征在于，所述残差注意力块包括通道注意力单元、空间注意力单元和残差结构，输入特征图X经过主干分支中的卷积运算传送至通道注意力单元，然后经过通道注意力单元处理得到的特征图传送至空间注意力单元，空间注意力单元处理得到特征图特征图是重新分配权值后的特征图，特征图与跳跃分支中的输入特征图X相加得到输出特征图