[发明专利]一种基于迁移学习的视频烟雾检测与识别方法在审
申请号: | 201910160856.8 | 申请日: | 2019-03-04 |
公开(公告)号: | CN109977790A | 公开(公告)日: | 2019-07-05 |
发明(设计)人: | 郝鹏翼;徐震宇;高翔;李芝禾;吴福理;白琮 | 申请(专利权)人: | 浙江工业大学 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/40;G06K9/44;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 杭州斯可睿专利事务所有限公司 33241 | 代理人: | 王利强 |
地址: | 310014 浙江省*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 烟雾 迁移 图像数据集 视频 网络 检测 预处理 定位视频 模拟数据 目标检测 视频图像 特征提取 学习方式 训练目标 烟雾检测 烟雾识别 烟雾图像 自动识别 坐标信息 初始化 关键帧 数据集 权重 学习 标注 样本 改进 图像 返回 发现 | ||
1.一种基于迁移学习的视频烟雾检测与识别方法,其特征在于:所述方法包括以下步骤:
步骤一,收集获取烟雾视频和图像数据,包括生成模拟数据来扩大烟雾图像样本数量;
步骤二,利用标注工具在图像数据上标注出烟雾区域,获取图像文件名、类别、烟雾区域的左上角坐标、右下角坐标。
步骤三,对图像数据集进行预处理,通过滤波方法对图像进行平滑降噪处理,增强对比度,并将图像数据归一化到[0,1]区间;
步骤四,构造改进的Faster R-CNN目标检测网络,其中特征提取网络部分使用改进的VGG-16网络;
步骤五,利用ImageNet图像数据集对改进的VGG-16网络进行预训练,让网络学习从自然图像中提取深度特征的能力,得到迁移特征;
步骤六,采用迁移学习方式在完成标注的烟雾数据集上训练Faster R-CNN网络,其中特征提取网络部分使用改进VGG-16网络预训练权重进行特征迁移,并在训练过程中冻结所迁移特征参数,模型训练充分收敛后,导出保存模型权重参数;
步骤七,从视频中提取关键帧,依次输入到模型中进行识别,如果发现烟雾返回坐标信息并在视频图像中定位其区域。
2.如权利要求1所述的一种基于迁移学习的视频烟雾检测与识别方法,其特征在于:所述步骤一中,生成模拟烟雾图像数据的过程为:拍摄前景与背景区分度较大的烟雾图像,利用阈值法提取出烟雾前景,并插入到无烟雾图像中的随机位置来生成模拟数据。
3.如权利要求1或2所述的一种基于迁移学习的视频烟雾检测与识别方法,其特征在于:所述步骤三中,滤波平滑降噪方法为中值滤波,其输出公式为:p(x,y)=med{f(x+u,y+v)|(u,v)∈W},其中f(x,y)为原始图像,p(x,y)为处理后图像,W为5*5二维模板,u表示W上的横坐标,v表示W上的纵坐标,med表示取中位数。
4.如权利要求1或2所述的一种基于迁移学习的视频烟雾检测与识别方法,其特征在于:所述步骤四中,改进的VGG-16分类网络的构建过程为:
步骤4.1:输入图像经过第一个卷积层,其中卷积层包含两个卷积操作,再经过一个最大池化层,随后输出分为两个部分,一个为中间特征图并进行反卷积,另一个继续输入下一个卷积层;
步骤4.2:重复步骤4.1流程;
步骤4.3:输入图像经过一个卷积层,其中卷积层包含三个卷积操作,再经过一个最大池化层,随后输出分为两个部分,一个为中间特征图并进行反卷积,另一个继续输入下一个卷积层;
步骤4.4:重复步骤4.3流程;
步骤4.5:合并步骤4.1-4.4中的中间特征图,形成最终的特征图。
5.如权利要求1或2所述的一种基于迁移学习的视频烟雾检测与识别方法,其特征在于:所述步骤七中,视频中疑似产生运动图像帧视为关键帧,其判定采用帧差法,过程为:
步骤7.1:对视频序列中第t帧图像和gt和第t-1帧图像gt-1,对其进行灰度化处理,其对应像素点灰度值记为gt(x,y)和gt-1(x,y);
步骤7.2:将连续两帧图像进行差分运算,得到差分图像Dt,并取绝对值,运算公式为:Dt(x,y)=|gt(x,y)-gt-1(x,y)|;
步骤7.3:对差分图像Dt进行二值化处理,得到二值化图像Bt;
步骤7.4:计算Bt中灰度值为255的前景像素点占Bt所有像素点个数的比例,设置阈值T,若达到阈值比例,则判定第t帧图像为关键帧。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江工业大学,未经浙江工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910160856.8/1.html,转载请声明来源钻瓜专利网。