[发明专利]一种基于主体推断的多标签图像检索方法有效
申请号: | 202010515544.7 | 申请日: | 2020-06-09 |
公开(公告)号: | CN111723223B | 公开(公告)日: | 2021-05-18 |
发明(设计)人: | 李福亮;成汶霖;王兴伟 | 申请(专利权)人: | 东北大学 |
主分类号: | G06F16/53 | 分类号: | G06F16/53;G06F16/55;G06F16/58;G06K9/32;G06K9/62;G06N3/04;G06N3/08;G06T7/11;G06T7/70 |
代理公司: | 沈阳优普达知识产权代理事务所(特殊普通合伙) 21234 | 代理人: | 陈曦 |
地址: | 110169 辽*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 主体 推断 标签 图像 检索 方法 | ||
1.一种基于主体推断的多标签图像检索方法,其特征在于,包括:
步骤1:多标签图像样本数据集的准备和预处理,包括公共数据集的样本筛选、尺度归一化处理、去均值处理和增强处理;
步骤2:对预处理后的多标签图像进行基于二值特征图和边框提议的多物体粗粒度分割;
步骤3:对多标签图像的粗粒度分割结果,提取同类物体数目、物体居中程度、物体区域大小以及物体相对远近关系四种多物体关系特征,且都构造成等长向量的形式;
步骤4:利用四种物体关系特征进行基于GRU的主体推断,得到多标签图像中多个物体的主次关系,主次关系体现了物体对图像所属类别的贡献程度;
步骤5:基于物体主次关系构造用于检索的哈希编码,具体包括:
步骤5.1:根据物体的主次关系构造加权高斯分布图,其(x,y)处的值如式(8)所示,各个物体所代表的高斯分布峰值直观表征了物体的重要程度:
其中,是物体l的重心点坐标,协方差矩阵∑取为式(9)所示:
其中,和分别为目标l的标定框的宽和高,使高斯分布的1.96σ区域尽量落在物体所在区域,在突出目标区域特征的同时,有效避免引入背景区域过多的特征;
步骤5.2:计算图像的哈希编码如式(10)所示:
其中,表示输入为C维,输出为m维的全连接操作,x=(x1,x2,...xc)为加权高斯分布图和步骤2的C个特征图加权平均池化所得的C维特征向量;
步骤6:多标签图像检索。
2.如权利要求1所述的基于主体推断的多标签图像检索方法,其特征在于,所述步骤1中的样本筛选要从公开数据集中筛选出具有多个物体标签的图像。
3.如权利要求1所述的基于主体推断的多标签图像检索方法,其特征在于,所述步骤2具体包括:
步骤2.1:基于卷积神经网络的初步图像特征提取,得到一列特征图;
步骤2.2:对步骤2.1得的特征图经过1×1卷积变换成一个特征图F,再按式(1)对F中所有像素进行Softmax归一化处理,得到特征图S,进而通过阈值函数(2)将其变换为二值特征图T:
其中,si,j和fi,j分别表示S和F中第i行j列的像素值,是预定义参数;
步骤2.3:基于RPN网络对图像进行边框提议,将得到的候选框与全图的二值特征图进行交运算,候选框能够辅助二值特征图分隔出每个物体区域,二值特征图也能反过来辅助筛选出候选框;
步骤2.4:对候选框,用平滑一范数损失函数进行边框回归,得到能更准确指明物体位置的矩形标定框;
步骤2.5:对筛选出的标定框,通过交叉熵损失函数,进行Softmax分类。
4.如权利要求1所述的基于主体推断的多标签图像检索方法,其特征在于,所述步骤3具体包括:
步骤3.1:统计多标签图像中同类物体的数目,构造物体数目长度的同类物体数目特征向量如下式(3)所示:
其中,m为图像数据集总包含物体类别数目,n为一幅图像中识别出的物体总数,图像中m个类别的物体数目分别为n1,n2,...,nm;
步骤3.2:以物体区域的重心到图像中心的距离cl作为物体居中程度的衡量标准,构造出的物体居中程度向量如式(4)所示:
Cobject=(c1,c2,...,cn) (4)
其中,cl定义如式(5)所示:
其中,(xl,yl)为物体区域的重心坐标,(xk,yk)为图像中心坐标,为第l个物体区域内的像素点数目,物体区域由二值特征图区域和物体矩形标定框的交集决定;
步骤3.3:以物体区域内的像素点数目衡量物体区域大小,如式(6)所示:
步骤3.4:获取物体相对远近关系,利用卷积神经网络估计像素点的相对远近,即深度,得到表征像素点深度的深度图,通过物体区域内所有像素点深度值的中位数来衡量该物体的深度,进而构造出所有物体的相对远近关系向量如式(7)所示:
Dobject=(d1,d2,...,dn) (7)
其中,为物体l区域内所有numPl个像素点深度值的中位数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东北大学,未经东北大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010515544.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种潜在电力能效服务客户的研判方法
- 下一篇:一种过滤装置及半导体加工设备