[发明专利]一种基于深度学习的无人机检测方法有效
申请号: | 201811587293.2 | 申请日: | 2019-02-27 |
公开(公告)号: | CN109753903B | 公开(公告)日: | 2020-09-15 |
发明(设计)人: | 张学军;黄如;杨镇宇;白浪 | 申请(专利权)人: | 北航(四川)西部国际创新港科技有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00 |
代理公司: | 成都方圆聿联专利代理事务所(普通合伙) 51241 | 代理人: | 贺超英 |
地址: | 610000 四川省成*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 深度 学习 无人机 检测 方法 | ||
1.一种基于深度学习的无人机检测方法,其特征在于,包括以下步骤:
S1:数据收集:首先从互联网上收集无人机图像和无人机种类,选取图像的要求有两点,一是无人机应位于图像的中心,二是无人在图像的面积应超过图像的一半;然后,从互联网收集无人机真实飞行的视频,并标注出视频中的无人机;
S2:数据增强:对标注后的图像施加随机旋转、左右翻转、度调整、对比度调整、高斯噪声添加,目的是为了在训练过程中增加数据量,有效的抑制过拟合问题;
S3:构建深度卷积神经网络模型;
S31:构建改进SSD算法的骨干网络,该网络一共50层,其结构主要由通道分割、残差块和通道混淆三个模块组成的基本单元堆叠而成;通道分割模块沿着通道轴将输入划分为两个部分,两部分的通道数相同;残差块由两个1×1卷积和一个3×3卷积,其中3×3卷积的逐通道卷积位于两个1×1卷积中间,它们的输出通道数相同;通道混淆模块是将输入的通道打乱,以增强训练时信息的流动性;
S32:锚点框精炼网络构建;
S321:建立特征融合模块,所述特征融合模块的输入为一个高层特征和一个低层特征,高层特征首先经过一个1×1卷积的卷积将通道数降低为256,然后使用最近邻插值将其分辨率调整与低层特征相同,最后使用批归一化操作标准化特征;低层特征也首先经过一个1×1卷积的卷积将通道数降低为256,然后经过一个3×3卷积层进一步处理,最后使用批归一化操作标准化特征;将标准化后的特征逐像素相加,并传入修正线性单元进行激活处理,得到融合特征;
融合后的三种特征图分辨率分别为输入图像的并用于精炼锚点框的预测;
S322:建立统一预测模块,该模块包含锚点框偏移预测和锚点是否为目标的预测,偏移预测由一个滤波器数为4×5的3×3卷积层完成,其中4表示预测框的中心坐标和宽高四个偏移,5表示每个像素位置设置5个锚点框;是否为目标的预测由一个滤波器数为2×2的3×3卷积层完成,其中2表示是否为目标,5表示每个像素位置设置5个锚点框;
S33:构建预测子网络,预测子网络由特征融合模块、注意力模块和预测分支组成:
S331:建立特征融合模块,各项设置与S321相同;
S332:建立注意力模块,注意力模块由串联的通道注意力模块和空间注意力模块组成;
S3321:在空间注意力模块中,首先,在空间维度上,对输入分别使用全局最大池化和全局均值池化,得到两个大小为1×1×256的特征max1和Avg1;然后,特征max1和Avg1被传入3个全连接层,它们的输出分别为256、128和256,其后都跟一个修正线性单元,得到输出特征Max′1和Avg′1;
接着,将特征Max′1和Avg′1逐元素相加,并且相加的结果传入sigmoid函数,得到注意力特征A1;最后A1与输入逐元素相乘得到通道注意力模块的输出SpatoalAttention;
S3322:在通道注意力模块中,将空间注意力模块的输出SpatoalAttention作为通道注意力模块的输入;接着,沿着通道维度,对输入分别使用全局最大池化和全局均值池化,得到两个大小为H×W×1的特征max2和Avg2;然后,将[max2,Avg2]输入一个3×3卷积层,该卷积层后跟批归一化层和修正线性单元,得到特征A2;最后,将A2输入到sigmoid函数,并与输入SpatoalAttention相乘得到最终的注意力模块输出Attention;
S333:同S322采用统一预测模块,该模块包含无人机坐标偏移预测和无人机类别的预测,偏移预测由一个滤波器数为4×5的3×3卷积层完成,其中4表示预测框的中心坐标和宽高四个偏移,5表示每个像素位置设置5个锚点框;是否为目标的预测由一个滤波器数为11×5的3×3卷积层完成,其中11表示背景和10种无人机类型,5表示每个像素位置设置5个锚点框;
S4:模型训练:
S41:采用多尺度训练,输入图像从640,608,576,544,512,480,448,416中随机选取;在测试阶段,将输入图像的分辨率固定为512;
S42:将图像输入S3构建好的深度卷积神经网络模型,计算网络的损失函数值;
S43:利用反向传播算法训练网络,直至网络收敛位置;
S5:模型部署;
S51:使用量化技术将训练好的模型参数从32位的浮点型转换为8位的整型,假设需要转换的浮点型参数为w,先求出其最大、最小值Mmax、Mmin;然后计算量化参数最后得到量化值并将量化值转化为8位无符号整型,其中x为需要转换的参数;进行反推便可由量化整型值转换到浮点型值;
S52:将量化后的模型部署到嵌入式设备进行最终的推理过程,并在此阶段添加一个修正模块,用于收集误检图像收集,并定期发送到服务器,用于模型的修正训练;
S6:模型应用:
S61:将光电摄像机拍摄的图像缩放至512×512;
S62:将缩放后的图像传入部署于嵌入式设备的模型进行推理;
S63:若模型判断存在无人机,则输出其所属类型的概率和在图像中的位置;若模型判断不存在目标,则判断系统的前一张图像和后一张图像是否存在无人机,若存在无人机则保存该图像,若不存在无人机,则继续判断连续5张图像中是否存在无人机,若不存在则保存五张中的任意两张图像,目的是避免数据准备过程中没有收集到相应无人机的情况;
S64:将S63中预测的无人机类型作为关键字,从收集无人机各项参数信息的数据库中查询无人机各项参数,用于对无人机的反制;
S65:将保存的图像传送到服务器,经过人工标注无人机并剔除无效图像后,再对模型进行训练,重新部署。
2.根据权利要求1所述的一种基于深度学习的无人机检测方法,其特征在于:所述S31中骨干网络分6个阶段,参数设置为:
第一阶段为输入层;
第二阶段是一个输出通道为32,歩幅为2的3×3卷积层和一个歩幅为2的3×3最大池化层,输出的分辨率降低为输入的四分之一;
第三阶段是4个输出通道为116的基本单元,其中第一个基本单元的歩幅为2,共计12层卷积,输出的分辨率为输入的八分之一;
第四阶段是8个输出通道为232的基本单元,其中第一个基本单元的歩幅为2,共计24层卷积,输出的分辨率为输入的十六分之一;
第四阶段是4个输出通道为464的基本单元,其中第一个基本单元的歩幅为2,共计12层卷积,输出的分辨率为输入的三十二分之一;
第五阶段是1个输出通道为1024的1×1卷积。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北航(四川)西部国际创新港科技有限公司,未经北航(四川)西部国际创新港科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811587293.2/1.html,转载请声明来源钻瓜专利网。