[发明专利]基于数字图像和卷积特征的火焰目标检测方法

权利要求书

1.基于数字图像和卷积特征的火焰目标检测方法，其特征是：它包括以下步骤：

1)、将待检测视频分为若干视频块，每个视频块包含31帧图像，读取视频块数据并从每个视频块中提取动态特征：火焰面积变化特征，形状相似性特征和闪烁频率特征；

2)、从视频块中随机抽取一张图像并对其进行图像规整化；

3)、对规整化后的图像进行卷积产生特征图；

4)、在卷积得到的特征图上采用Faster R-CNN的RPN网络生成256个候选区域，通过候选区域坐标从规整化图像裁剪出相应的图像块，对每个图像块提取LBP特征；

5)、将各候选区域所对应的特征图ROI池化到固定的大小，再通过卷积降维并展平到固定维度的特征向量；

6)、将网络分为两支，一支用来修正边框坐标，另一支对特征向量降维后合并动态特征和LBP特征，以softmax分类器进行火焰识别。

2.如权利要求1所述的火焰目标检测方法，其特征是：步骤2)中，进行图像规整化时，设定图像短边不超过300像素，图像长边不超过500像素，对超出限定的图像进行等比缩放。

3.如权利要求2所述的火焰目标检测方法，其特征是：步骤3)中，卷积网络第1层为标准卷积，之后11层为深度可分离卷积；其中卷积网络第3、5、7、11层的卷积步长为2，这样卷积每次将特征图的长宽各缩小一半，最终将特征图长宽各缩为规整化图像的1/16。

4.如权利要求1所述的火焰目标检测方法，其特征是：步骤5)中，将各候选区域所对应的特征图分别ROI池化到固定的5×5×512大小，再经过步长为2的卷积，缩小特征图尺寸，降低展平后的特征向量维数，展平后特征向量尺寸为256×2048。

5.如权利要求1所述的火焰目标检测方法，其特征是：步骤1)中，

对视频图像提取疑似火焰区域，利用像素点数量的变化来表示火焰面积的变化，视频帧中火焰的面积变化率如下：

式中，S_t和S_t-1分别表示视频序列中第t帧和第t-1帧疑似火焰区域内的像素点个数，ΔA_t表示疑似火焰区域像素点总数的变化率，即为疑似火焰区域面积变化率；每个视频块有31帧图像，共提取30维火焰面积变化特征向量；

火焰形状相似度ξ_t计算公式如下：

其中，b_t(x,y)和b_t+3(x,y)分别为第t帧和第t+3帧图像序列，Ω为疑似火焰区域，每个视频块提取10维形状相似性特征向量；

用疑似火焰区域边缘像素变化来间接的反映火焰闪烁频率特征,公式如下：

ΔP_t＝|P_t-P_t-3|

其中，P_t和P_t-3表示视频序列中第t帧和第t-3帧疑似火焰区域边缘像素点；ΔP_t表示边缘像素变化；每个视频块提取10维闪烁频率特征向量；

合并火焰面积变化、形状相似性和闪烁频率特征，每个视频块提取50维动态特征向量。

6.如权利要求5所述的火焰目标检测方法，其特征是：步骤4)中，对每个图像块的RGB三通道分别提取59维的LBP特征向量，总共177维的LBP特征向量。

7.如权利要求6所述的火焰目标检测方法，其特征是：步骤6)中，类别预测网络先用一层全连接层将特征向量降维到256×512，然后与之前提取的256×177的LBP特征向量以及从视频数据中提取的256×50的动态特征向量合并为256×739的新特征向量，再接两层全连接层将维数降到类别总数，最后由softmax分类器得到分类结果。