[发明专利]一种基于深度学习的弱监督目标定位方法在审
申请号: | 202010614514.1 | 申请日: | 2020-06-30 |
公开(公告)号: | CN111967464A | 公开(公告)日: | 2020-11-20 |
发明(设计)人: | 赖睿;吴俣;徐昆然;李奕诗;官俊涛;杨银堂 | 申请(专利权)人: | 西安电子科技大学 |
主分类号: | G06K9/32 | 分类号: | G06K9/32;G06K9/34;G06K9/46;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 西安嘉思特知识产权代理事务所(普通合伙) 61230 | 代理人: | 李园园 |
地址: | 710000 陕*** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 深度 学习 监督 目标 定位 方法 | ||
1.一种基于深度学习的弱监督目标定位方法,其特征在于,包括:
获取待测图像;所述待测图像中包含有待定位的目标;
将所述待测图像输入至预先训练完成的弱监督定位网络,得到所述待测图像对应的目标定位图以及所述目标的分类结果;
基于所述目标定位图和所述分类结果,确定目标定位结果;
其中,所述弱监督定位网络是基于多个训练图像以及每个训练图像的分类标签所训练获得的;所述弱监督定位网络包括:
初始特征提取模块,包括多个级联的第一卷积单元和第二卷积单元,用于通过所述多个级联的第一卷积单元和第二卷积单元从所述待测图像中提取初始特征图;其中,每个所述第一卷积单元均包括级联的多个卷积层和一个最大池化层,每个所述第二卷积单元均包括级联的多个卷积层,且不包括最大池化层,任一所述第二卷积单元包括的多个卷积层为具有不同膨胀率的空洞卷积层;
注意力加权模块,用于基于所述初始特征图计算一注意力权重矩阵,并利用所述注意力权重矩阵对所述初始特征图进行加权,得到注意力加权特征图;其中,所述注意力权重矩阵用于表征所述初始特征图的通道间的空间相似度;
掩模模块,用于屏蔽所述注意力加权特征图中与所述目标相关的显著性区域,得到注意力掩模图;
特征融合模块,用于对所述初始特征图和所述注意力掩模图进行特征融合,得到融合特征图;
去冗余连通域模块,用于去除所述融合特征图中的冗余连通域,输出所述待测图像对应的目标定位图;其中,所述冗余连通域为与所述目标非相关的像素连通区域;
分类结果输出模块,用于基于所述目标定位图,确定并输出所述目标的分类结果。
2.根据权利要求1所述的方法,其特征在于,所述基于所述目标定位图和所述分类结果,确定目标定位结果的步骤,包括:
确定所述目标定位图中的最大像素值;
基于所述最大像素值确定一像素筛选阈值;
确定所述目标定位图中,像素值大于所述筛选阈值的像素所在的目标区域,得到图像分割结果;
基于所述图像分割结果中最大的像素连通区域,生成一图像分割框;
以热力图的形式展示所述目标定位图,并在所展示的目标定位图中显示所述图像分割框;
将显示有所述图像分割框的所述目标定位图和所述分类结果作为目标定位结果。
3.根据权利要求1所述的方法,其特征在于,所述注意力加权模块,基于所述初始特征图计算一注意力权重矩阵,包括:
将所述初始特征图重构为一个维度为C×N的矩阵M;其中,C代表所述初始特征图的通道,N=H×W,H代表所述初始特征图的高度,W代表所述初始特征图的宽度;
将所述矩阵M与所述矩阵M的转置相乘,得到一注意力权重矩阵。
4.根据权利要求3所述的方法,其特征在于,所述掩模模块,屏蔽所述注意力加权特征图中与所述目标相关的显著性区域,得到注意力掩模图,包括:
将所述注意力加权特征图在通道的维度求平均,得到平均注意力特征图;
基于所述平均注意力特征图,利用预设的阈值计算公式,计算一采样阈值;
根据所述采样阈值对所述平均注意力特征图进行采样,得到初始注意力掩模图;
对所述初始注意力掩模图进行扩维和卷积,得到注意力掩模图。
5.根据权利要求4所述的方法,其特征在于,所述掩模模块,根据所述采样阈值对所述平均注意力特征图进行采样,得到初始注意力掩模图,包括:
将所述平均注意力特征图中不小于所述采样阈值的像素值设置为0,并将所述平均注意力特征图中小于所述采样阈值的像素值设置为1,得到掩模模板;
将所述掩模模板与所述平均注意力特征图进行相乘,得到初始注意力掩模图。
6.根据权利要求4或5所述的方法,其特征在于,所述阈值计算公式为:
val=λ*pmax(i,j)+(1-λ)*pmin(i,j);
其中,pmax(i,j)为所述平均注意力特征图中的最大像素值,pmin(i,j)为所述平均注意力特征图中的最小像素值;λ∈[0.4,0.6],val为所述采样阈值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西安电子科技大学,未经西安电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010614514.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种混凝土水泥浆回收装置
- 下一篇:一种网络违规外联场景的分析识别方法