[发明专利]一种基于迁移学习的视频烟雾检测与识别方法在审

专利信息
申请号: 201910160856.8 申请日: 2019-03-04
公开(公告)号: CN109977790A 公开(公告)日: 2019-07-05
发明(设计)人: 郝鹏翼;徐震宇;高翔;李芝禾;吴福理;白琮 申请(专利权)人: 浙江工业大学
主分类号: G06K9/00 分类号: G06K9/00;G06K9/40;G06K9/44;G06K9/62;G06N3/04;G06N3/08
代理公司: 杭州斯可睿专利事务所有限公司 33241 代理人: 王利强
地址: 310014 浙江省*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 烟雾 迁移 图像数据集 视频 网络 检测 预处理 定位视频 模拟数据 目标检测 视频图像 特征提取 学习方式 训练目标 烟雾检测 烟雾识别 烟雾图像 自动识别 坐标信息 初始化 关键帧 数据集 权重 学习 标注 样本 改进 图像 返回 发现
【权利要求书】:

1.一种基于迁移学习的视频烟雾检测与识别方法,其特征在于:所述方法包括以下步骤:

步骤一,收集获取烟雾视频和图像数据,包括生成模拟数据来扩大烟雾图像样本数量;

步骤二,利用标注工具在图像数据上标注出烟雾区域,获取图像文件名、类别、烟雾区域的左上角坐标、右下角坐标。

步骤三,对图像数据集进行预处理,通过滤波方法对图像进行平滑降噪处理,增强对比度,并将图像数据归一化到[0,1]区间;

步骤四,构造改进的Faster R-CNN目标检测网络,其中特征提取网络部分使用改进的VGG-16网络;

步骤五,利用ImageNet图像数据集对改进的VGG-16网络进行预训练,让网络学习从自然图像中提取深度特征的能力,得到迁移特征;

步骤六,采用迁移学习方式在完成标注的烟雾数据集上训练Faster R-CNN网络,其中特征提取网络部分使用改进VGG-16网络预训练权重进行特征迁移,并在训练过程中冻结所迁移特征参数,模型训练充分收敛后,导出保存模型权重参数;

步骤七,从视频中提取关键帧,依次输入到模型中进行识别,如果发现烟雾返回坐标信息并在视频图像中定位其区域。

2.如权利要求1所述的一种基于迁移学习的视频烟雾检测与识别方法,其特征在于:所述步骤一中,生成模拟烟雾图像数据的过程为:拍摄前景与背景区分度较大的烟雾图像,利用阈值法提取出烟雾前景,并插入到无烟雾图像中的随机位置来生成模拟数据。

3.如权利要求1或2所述的一种基于迁移学习的视频烟雾检测与识别方法,其特征在于:所述步骤三中,滤波平滑降噪方法为中值滤波,其输出公式为:p(x,y)=med{f(x+u,y+v)|(u,v)∈W},其中f(x,y)为原始图像,p(x,y)为处理后图像,W为5*5二维模板,u表示W上的横坐标,v表示W上的纵坐标,med表示取中位数。

4.如权利要求1或2所述的一种基于迁移学习的视频烟雾检测与识别方法,其特征在于:所述步骤四中,改进的VGG-16分类网络的构建过程为:

步骤4.1:输入图像经过第一个卷积层,其中卷积层包含两个卷积操作,再经过一个最大池化层,随后输出分为两个部分,一个为中间特征图并进行反卷积,另一个继续输入下一个卷积层;

步骤4.2:重复步骤4.1流程;

步骤4.3:输入图像经过一个卷积层,其中卷积层包含三个卷积操作,再经过一个最大池化层,随后输出分为两个部分,一个为中间特征图并进行反卷积,另一个继续输入下一个卷积层;

步骤4.4:重复步骤4.3流程;

步骤4.5:合并步骤4.1-4.4中的中间特征图,形成最终的特征图。

5.如权利要求1或2所述的一种基于迁移学习的视频烟雾检测与识别方法,其特征在于:所述步骤七中,视频中疑似产生运动图像帧视为关键帧,其判定采用帧差法,过程为:

步骤7.1:对视频序列中第t帧图像和gt和第t-1帧图像gt-1,对其进行灰度化处理,其对应像素点灰度值记为gt(x,y)和gt-1(x,y);

步骤7.2:将连续两帧图像进行差分运算,得到差分图像Dt,并取绝对值,运算公式为:Dt(x,y)=|gt(x,y)-gt-1(x,y)|;

步骤7.3:对差分图像Dt进行二值化处理,得到二值化图像Bt

步骤7.4:计算Bt中灰度值为255的前景像素点占Bt所有像素点个数的比例,设置阈值T,若达到阈值比例,则判定第t帧图像为关键帧。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江工业大学,未经浙江工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910160856.8/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top