[发明专利]一种基于形状回归的草图图像检索方法有效
| 申请号： | 201810304969.6 | 申请日： | 2018-04-08 |
| 公开（公告）号： | CN108681555B | 公开（公告）日： | 2019-08-02 |
| 发明（设计）人： | 雷建军;宋宇欣;侯春萍;郑凯夫;彭勃;牛力杰 | 申请（专利权）人： | 天津大学 |
| 主分类号： | G06F16/583 | 分类号： | G06F16/583;G06N3/04;G06N3/08 |
| 代理公司： | 天津市北洋有限责任专利代理事务所 12201 | 代理人： | 李林娟 |
| 地址： | 300072*** | 国省代码： | 天津;12 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 草图图像 初始化 回归 检索 损失函数 网络 卷积神经网络 边界提取 轮廓图像 图像检索 图像数据 图像特征 网络整体 余弦距离 原始图像 图像域 排序 匹配 近似 迁移 图像 学习 分类 挖掘 引入 | ||
1.一种基于形状回归的草图图像检索方法，其特征在于，所述方法包括以下步骤：
使用ImageNet图像数据预训练的VGG19网络作为初始化网络；
使用Gb边界提取方法，生成草图近似；
将Gb轮廓图像和原始图像同时送到初始化网络中进行训练，实现域迁移学习；
在初始化网络的分类softmax损失基础上，增加形状回归损失作为网络整体的损失函数，该损失函数的设计有助于挖掘图像和形状之间的潜在一致性；
在图像检索的过程中，利用提取出来的草图特征和图像特征基于余弦距离进行匹配和排序；
所述网络整体的损失函数为：
L(p,y,t,v)＝Lcls(p,y)+λLreg(t,v)
其中，第一个损失项Lcls(p,y)＝-logpy，是真实类别y的对数分类损失，py为输入图像或轮廓属于真实类别的概率；
第二个损失项λLreg(t,v)是基于形状信息的回归损失，t表示目标形状向量，从Gb轮廓中提取得到，v表示网络预测的形状信息输出，超参数λ表示两个损失项之间的权重比。
2.根据权利要求1所述的一种基于形状回归的草图图像检索方法，其特征在于，
在网络训练完成后，所述初始化网络具备同时输出有效的草图特征和图像特征的能力，更好地关联图像特征和草图特征。
3.根据权利要求1所述的一种基于形状回归的草图图像检索方法，其特征在于，
所述形状回归损失将形状信息引入图像特征，促进草图特征与其对应的图像形状的关联性信息的挖掘，提取鲁棒的图像和草图特征。
4.根据权利要求1所述的一种基于形状回归的草图图像检索方法，其特征在于，
所述形状回归损失项的回归目标是从Gb轮廓中提取的形状信息，用于增强网络保留形状信息的能力。
5.根据权利要求1所述的一种基于形状回归的草图图像检索方法，其特征在于，
调整Gb轮廓图的大小为8×8来降低由于大分辨率引入的形状误差影响，调整大小后的轮廓图被映射成一个一维形状向量，大小为64维；同时，形状回归损失嵌入层的维度也调整为64维，与上述形状向量的大小相匹配。
6.根据权利要求1所述的一种基于形状回归的草图图像检索方法，其特征在于，
两个损失项之间的权重比λ值设为1，形状回归损失项使用欧式距离作为回归的距离度量函数，具体设计如下：
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于天津大学，未经天津大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201810304969.6/1.html，转载请声明来源钻瓜专利网。
