[发明专利]基于伪标签学习和语义一致性的跨模态检索方法及系统有效
| 申请号： | 201910038843.3 | 申请日： | 2019-01-16 |
| 公开（公告）号： | CN109784405B | 公开（公告）日： | 2020-09-08 |
| 发明（设计）人： | 徐功文;王义华;石林;张志军;赵莉;李晓梅;张娟;吴永春;胡顺泉 | 申请（专利权）人： | 山东建筑大学 |
| 主分类号： | G06K9/62 | 分类号： | G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 济南圣达知识产权代理有限公司 37221 | 代理人： | 黄海丽 |
| 地址： | 250101 山东省济*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于伪标签学习和语义一致性的跨模态检索方法及系统，所述方法包括：接收图像数据集和文本数据集，其中包括已标记的图像文本对以及未标记的图像数据；学习从图像空间投影到文本空间的投影矩阵，将所述未标记的图像数据投影到文本空间；计算已标记文本的类中心；根据未标记图像数据的投影数据与文本数据的类中心的相似度，为这些图像数据分配伪标签，并且将与其距离最近的类中心相应的文本数据作为对应的文本模态；将已标记的和分配伪标签的图像数据，以及对应的文本数据作为训练数据集，学习图像和文本投影到公共语义空间的投影矩阵；执行跨模态检索。本发明在训练数据集中引入未标记数据，能够获取更有效的投影矩阵。 | ||
| 搜索关键词： | 基于 标签 学习 语义 一致性 跨模态 检索 方法 系统 | ||
【主权项】：
1.一种基于伪标签学习和语义一致性的跨模态检索方法，其特征在于，包括以下步骤：接收图像数据集和文本数据集，其中包括已标记的图像文本对以及未标记的图像数据；学习从图像空间投影到文本空间的投影矩阵，将所述未标记的图像数据投影到文本空间；计算已标记文本的类中心；根据未标记图像数据的投影数据与文本数据的类中心的相似度，为这些图像数据分配伪标签，并且将与其距离最近的类中心相应的文本数据作为对应的文本模态；将已标记的和分配伪标签的图像数据，以及对应的文本数据作为训练数据集，学习图像和文本投影到公共语义空间的投影矩阵；接收测试图像或文本，根据投影矩阵转换到公共语义空间，在公共语义空间查找与该测试图像或文本相似性最高的投影数据，该投影矩阵相应的另一模态数据即为检索结果。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山东建筑大学，未经山东建筑大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910038843.3/，转载请声明来源钻瓜专利网。
