[发明专利]一种基于无标记数据迁移的跨模态检索方法及系统

摘要

本发明提出一种基于无标记数据迁移的跨模态检索方法及系统，将经过聚类的无标注信息的单模态图像和文本数据作为迁移源域，有标注信息的跨模态数据集作为目标域，通过迁移学习将源域迁移至目标域的跨模态数据集，扩大训练数据规模，增加跨模态数据的语义信息，学得一个更好的共同空间。本发明很好地解决了跨模态数据集数据规模小的问题，更加符合实际用户查询不在预定义类别范围内的情况；同时，可以更好地提取不同模态数据的上层语义信息，克服模态之间的异构性差异，增加模态之间的相似性，提高跨模态检索准确率。

主权项

1.一种基于无标记数据迁移的跨模态检索方法，包括以下步骤：/n将待检索样本输入训练完成的跨模态数据检索模型，得到其特征表示；/n对于每个待检索的样本，计算其与所有其他模态样本的欧氏距离，再进行排序，距离小于指定阈值的其他模态样本即为检索结果；/n其中，所述跨模态数据检索模型的训练过程如下：/n(1)通过聚类的方法分别为无标记图像、文本设置伪标签；/n(2)将带有伪标签的无标签图像、文本所含知识分别迁移至跨模态数据集的图像、文本部分，生成跨模态数据集图像和文本的单独表达；/n(3)将图像和文本的单独表达传入同一个网络，学习图像和文本在同一语义空间下的共同表达。/n