[发明专利]一种基于迁移学习的视频烟雾检测与识别方法

权利要求书

1.一种基于迁移学习的视频烟雾检测与识别方法，其特征在于：所述方法包括以下步骤：

步骤一，收集获取烟雾视频和图像数据，包括生成模拟数据来扩大烟雾图像样本数量；

步骤二，利用标注工具在图像数据上标注出烟雾区域，获取图像文件名、类别、烟雾区域的左上角坐标、右下角坐标。

步骤三，对图像数据集进行预处理，通过滤波方法对图像进行平滑降噪处理，增强对比度，并将图像数据归一化到[0,1]区间；

步骤四，构造改进的Faster R-CNN目标检测网络，其中特征提取网络部分使用改进的VGG-16网络；

步骤五，利用ImageNet图像数据集对改进的VGG-16网络进行预训练，让网络学习从自然图像中提取深度特征的能力，得到迁移特征；

步骤六，采用迁移学习方式在完成标注的烟雾数据集上训练Faster R-CNN网络，其中特征提取网络部分使用改进VGG-16网络预训练权重进行特征迁移，并在训练过程中冻结所迁移特征参数，模型训练充分收敛后，导出保存模型权重参数；

步骤七，从视频中提取关键帧，依次输入到模型中进行识别，如果发现烟雾返回坐标信息并在视频图像中定位其区域。

2.如权利要求1所述的一种基于迁移学习的视频烟雾检测与识别方法，其特征在于：所述步骤一中，生成模拟烟雾图像数据的过程为：拍摄前景与背景区分度较大的烟雾图像，利用阈值法提取出烟雾前景，并插入到无烟雾图像中的随机位置来生成模拟数据。

3.如权利要求1或2所述的一种基于迁移学习的视频烟雾检测与识别方法，其特征在于：所述步骤三中，滤波平滑降噪方法为中值滤波，其输出公式为：p(x，y)＝med{f(x+u，y+v)|(u，v)∈W}，其中f(x,y)为原始图像，p(x,y)为处理后图像，W为5*5二维模板，u表示W上的横坐标，v表示W上的纵坐标，med表示取中位数。

4.如权利要求1或2所述的一种基于迁移学习的视频烟雾检测与识别方法，其特征在于：所述步骤四中，改进的VGG-16分类网络的构建过程为：

步骤4.1：输入图像经过第一个卷积层，其中卷积层包含两个卷积操作，再经过一个最大池化层，随后输出分为两个部分，一个为中间特征图并进行反卷积，另一个继续输入下一个卷积层；

步骤4.2：重复步骤4.1流程；

步骤4.3：输入图像经过一个卷积层，其中卷积层包含三个卷积操作，再经过一个最大池化层，随后输出分为两个部分，一个为中间特征图并进行反卷积，另一个继续输入下一个卷积层；

步骤4.4：重复步骤4.3流程；

步骤4.5：合并步骤4.1-4.4中的中间特征图，形成最终的特征图。

5.如权利要求1或2所述的一种基于迁移学习的视频烟雾检测与识别方法，其特征在于：所述步骤七中，视频中疑似产生运动图像帧视为关键帧，其判定采用帧差法，过程为：

步骤7.1：对视频序列中第t帧图像和g_t和第t-1帧图像g_t-1，对其进行灰度化处理，其对应像素点灰度值记为g_t(x,y)和g_t-1(x,y)；

步骤7.2：将连续两帧图像进行差分运算，得到差分图像D_t，并取绝对值，运算公式为：D_t(x，y)＝|g_t(x，y)-g_t-1(x，y)|；

步骤7.3：对差分图像D_t进行二值化处理，得到二值化图像B_t；

步骤7.4：计算B_t中灰度值为255的前景像素点占B_t所有像素点个数的比例，设置阈值T，若达到阈值比例，则判定第t帧图像为关键帧。