[发明专利]基于卷积神经网络和概念格的图像语义完备标注方法有效

专利信息
申请号: 201911300499.7 申请日: 2019-12-17
公开(公告)号: CN111079840B 公开(公告)日: 2022-07-01
发明(设计)人: 张素兰;李雯莉;胡立华;张继福;杨海峰 申请(专利权)人: 太原科技大学
主分类号: G06V10/764 分类号: G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
代理公司: 太原市科瑞达专利代理有限公司 14101 代理人: 王思俊
地址: 030024 山*** 国省代码: 山西;14
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 卷积 神经网络 概念 图像 语义 完备 标注 方法
【权利要求书】:

1.基于卷积神经网络和概念格的图像语义完备标注方法,包括采用VGG19模型进行卷积神经网络通用模型预训练方法;提取待标注图像的初始标注词和深度特征;概念格改善初始标注结果;利用候选标签集进行标签预测;其特征是概念格改善初始标注结果具体为:

步骤1:将卷积神经网络模型去掉softmax层,作为一个图像通用特征提取器,为每个图像保存由全连接层第二层输出的4096维特征向量,再使用主成分分析法进行维数缩减以保持80%的特征差异,最终输出对应的图像特征;对得到的图像特征归一化之后转换为向量,若选择性搜索后得到的图像个数为N,则图像转换成大小为65535*N的向量矩阵;后对该矩阵奇异值分解,得到降序排列的特征值,利用特征值计算权值wi,得到相似图像的权重,wi的计算公式如:其中,λi表示图像的特征值;

步骤2:假设待标注图像I0,将图像块的权重值wi大于0.5对应图像构成近邻图像集合I,得到若干张与待标注图像I0最相似的近邻图像I1-I5,得到近邻图像集合I={I0,I1,I2,I3,I4,I5},然后获取图像I0及近邻图像集合I中所有图像的标签并入标签集合T中,则T={“sky”、“grass”、“river”、“tree”、“ground”、“people”、“bird”、“animal”、“dog”、“car”},用以生成形式背景G,并得到近邻图像与标签映射关系并进行归一化处理;

步骤3:分别计算出概念-概念相关度Rel(dist(zi,zj))、外延-概念相关度Rel(I,z)、内涵-概念相关度Rel(T,z),综合考虑概念-概念、外延-概念、内涵-概念以上三者对图像语义相关度的影响,得到每个概念节点之间的相关度Rel(zi,zj):Rel(zi,zj)=Rel(I,z)×α+Rel(T,z)+Rel(dist(zi,zj))×γ,其中,α、β、γ是各部分所占的权重比,且α+β+γ=1;α=β=0.25,则γ=0.5;

步骤4:计算所有概念之间的语义相关度,降序排列得到近邻图像对其图像语义的支持度并将其归一化,利用相似图像之间的语义相关度,进一步衡量图像之间相似程度,减少噪声图像标签的加入;

步骤5:将包含同一对象的不同概念节点相关度叠加得到图像之间的语义相关度,待标注图像I0与图像I1的语义相关度为1.322,且与图像I5的语义相关度为0.257;得到待标注图像Ii与训练集Ij视觉相似度。

2.根据权利要求1所述的基于卷积神经网络和概念格的图像语义完备标注方法,其特征在于,利用候选标签集进行标签预测方法,具体为:通过计算图像标签之间的语义相关度,获取一系列同待标注图像关联密切的近邻图像标签作为候选标签,对初始预测标签进行语义扩展,本文融合CNN标注结果并结合近邻图像与待标注图像的语义相关度,从视觉和语义两个角度,筛选候选标签集中关联程度强的候选标签,保留支持度更高的标签标记图像,计算候选标签集中每个关键词对待标注图像的支持度sup(tgj,Ii)

其中,是近邻图像Ik与标签tj的所属关系,若近邻图像Ik被赋予标签tj,则反之为计算sup(tgj,Ii)并得到每个标签词的分数之后,将sup(tgj,Ii)进行归一化处理,将支持度大于0.01且去除标签噪声后的候选标签词,作为待标注图像最终标记标签。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于太原科技大学,未经太原科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201911300499.7/1.html,转载请声明来源钻瓜专利网。

同类专利
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code