[发明专利]细粒度图像检索方法、装置、计算机设备及存储介质在审
申请号: | 201910751805.2 | 申请日: | 2019-08-15 |
公开(公告)号: | CN110688511A | 公开(公告)日: | 2020-01-14 |
发明(设计)人: | 罗茜;张斯尧;谢喜林;王思远;黄晋;蒋杰;张诚 | 申请(专利权)人: | 深圳久凌软件技术有限公司 |
主分类号: | G06F16/583 | 分类号: | G06F16/583;G06N3/04;G06N3/08 |
代理公司: | 43229 长沙德恒三权知识产权代理事务所(普通合伙) | 代理人: | 徐仰贵 |
地址: | 518000 广东省深圳市福田区梅林街道*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 细粒度 目标对象 神经网络模型 对比图像 图像 输入图像 图像检索 图像采集模块 图像检索技术 图像检索装置 计算机设备 存储介质 输入完成 特征比对 自动定位 构建 输出 | ||
1.一种细粒度图像检索方法,其特征在于,包括如下步骤:
构建细粒度神经网络模型,并对所述细粒度神经网络模型进行预训练;
将对比图像和通过图像采集模块获取的待识别图像分别作为输入图像输入完成预训练的所述细粒度神经网络模型中;
在所述细粒度神经网络模型中自动定位所述输入图像中的主要目标对象,并提取目标对象特征;
将所述待识别图像的目标对象特征与所述对比图像的目标对象特征比对,输出所述待识别图像的目标对象特征中含有的与所述对比图像的主要目标对象同类别的待识别图像。
2.根据权利要求1所述的细粒度图像检索方法,其特征在于,所述在所述细粒度神经网络模型中自动定位所述输入图像中的主要目标对象,并提取目标对象特征的步骤,包括:
在所述细粒度神经网络模型中自动定位所述对比图像中的第一主要目标对象,并提取第一目标对象特征;
在所述细粒度神经网络模型中自动定位所述待识别图像中的第二主要目标对象,并提取第二目标对象特征。
3.根据权利要求1所述的细粒度图像检索方法,其特征在于,所述在所述细粒度神经网络模型中自动定位所述输入图像中的主要目标对象,并提取目标对象特征的步骤,包括:
将所述输入图像输入所述细粒度神经网络模型,在通过所述细粒度神经网络模型最后一层激活卷积层提取图像特征后,输出n个二维特征映射,每个所述二维特征映射分布式表示有多个激活响应的特征显著性区域,其中,n>1;
获取设定的阈值,将n个所述二维特征映射叠加,选取叠加后激活响应高于所述阈值的第一区域,以得到掩映图;
采用双三次插值的方法调整所述掩映图的大小,使其与所述输入图像同样大小,并将所述掩映图覆盖到所述输入图像上;
选取所述掩映图中所占面积最大的激活响应高于所述阈值的第二区域,将所述第二区域在所述输入图像中所对应的第三区域确定为所述输入图像的所述主要目标对象位置,激活响应特征即为所述目标对象特征。
4.根据权利要求3所述的细粒度图像检索方法,其特征在于,所述将n个所述二维特征映射叠加的步骤,包括:
将n个所述二维特征映射在深度方向进行加和以得到加和结果;
将所述加和结果作为总结特征。
5.根据权利要求3所述的细粒度图像检索方法,其特征在于,所述选取所述掩映图中所占面积最大的激活响应高于所述阈值的第二区域的步骤,包括:
采用Flood Fill算法,选取所述掩映图中所占面积最大的激活响应高于所述阈值的第二区域。
6.根据权利要求1至5中任一项所述的细粒度图像检索方法,其特征在于,所述构建细粒度神经网络模型,并对所述细粒度神经网络模型进行预训练的步骤,包括:
获取神经网络模型,所述神经网络模型为VGG-m模型或Alex-Net模型;
采用全局平均池化替换所述神经网络模型中的全连接层,并融合从激活的卷积特征映射中提取的图像特征,以得到所述细粒度神经网络模型;
用ImageNet数据集预训练细粒度神经网络模型,并采用反向传播算法微调模型参数。
7.根据权利要求1至5中任一项所述的细粒度图像检索方法,其特征在于,所述将所述待识别图像的目标对象特征与所述对比图像的目标对象特征比对,输出所述待识别图像的目标对象特征中含有的与所述对比图像的主要目标对象同类别的待识别图像的步骤之前,还包括:
对所述目标对象特征采用奇异值分解、白化和主成分分析中的至少一种处理方式进行处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳久凌软件技术有限公司,未经深圳久凌软件技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910751805.2/1.html,转载请声明来源钻瓜专利网。