[发明专利]一种基于自监督的跨模态深度哈希检索方法有效
| 申请号： | 201910599265.0 | 申请日： | 2019-07-04 |
| 公开（公告）号： | CN110309331B | 公开（公告）日： | 2021-07-27 |
| 发明（设计）人： | 王轩;漆舒汉;李逸凡;蒋琳;廖清;刘洋;夏文;李化乐;吴宇琳;贾丰玮 | 申请（专利权）人： | 哈尔滨工业大学（深圳） |
| 主分类号： | G06F16/51 | 分类号： | G06F16/51;G06F16/583;G06F16/31;G06F16/33;G06K9/62 |
| 代理公司： | 深圳市添源知识产权代理事务所(普通合伙) 44451 | 代理人： | 黎健任 |
| 地址： | 518000 广东省深圳市南*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明专利涉及一种基于自监督的跨模态联合哈希检索方法，该方法包括以下步骤：步骤1：针对图像模态数据进行处理：采用深度卷积神经网络对图像模态的数据进行特征提取，对图片数据进行哈希学习，将深度卷积神经网络的最后一层全连接层的节点个数设置为哈希码的长度；步骤2：针对文本模态数据进行处理：使用词袋模型对文本数据进行建模，建立一个两层的全连接神经网络对文本模态的数据进行特征提取，神经网络的输入是使用词袋模型表示的词向量，第一个全连接层节点的数据与第二个全连接层节点的数据与哈希码的长度相同；步骤3：针对类别标签处理的神经网络：采用自监督的训练方式从标签数据中提取语义特征；步骤4：最小化图像与文本网络所提取的特征与标签网络的语义特征间的距离，使得图像与文本网络的哈希模型能够更充分学习不同模态间的语义特征。 | ||
| 搜索关键词： | 一种 基于 监督 跨模态 深度 检索 方法 | ||
【主权项】：
1.一种基于自监督的跨模态联合哈希检索方法，该方法包括以下步骤：步骤1：针对图像模态数据进行处理：采用深度卷积神经网络对图像模态的数据进行特征提取，对图片数据进行哈希学习，将深度卷积神经网络的最后一层全连接层的节点个数设置为哈希码的长度；步骤2：针对文本模态数据进行处理：使用词袋模型对文本数据进行建模，建立一个两层的全连接神经网络对文本模态的数据进行特征提取，神经网络的输入是使用词袋模型表示的词向量，第一个全连接层节点的数据与第二个全连接层节点的数据与哈希码的长度相同；步骤3：针对类别标签处理的神经网络：采用自监督的训练方式从标签数据中提取语义特征；步骤4：最小化图像与文本网络所提取的特征与标签网络的语义特征间的距离，使得图像与文本网络的哈希模型能够更充分学习不同模态间的语义特征。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于哈尔滨工业大学（深圳），未经哈尔滨工业大学（深圳）许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910599265.0/，转载请声明来源钻瓜专利网。
