[发明专利]面向跨模态数据的语义检索方法

说明书

本发明提供一种面向跨模态数据的语义检索方法，通过在检索学生模型的每一轮训练过程中，基于第一样本对检索教师模型进行当前轮训练，并基于当前轮训练后的检索教师模型对第二样本进行图文匹配，得到第二样本的匹配标签，再基于第二样本的匹配标签对检索学生模型进行当前轮训练，使得检索学生模型在训练过程中可以克服第二样本中的大量噪声带来的干扰；同时通过提供第二样本的匹配标签作为检索学生模型的训练目标，可以将各个第二样本中包含的多对多关系传达给检索学生模型，使得检索学生模型可以学习到上述多对多的关联关系，从而给出更优的跨模态检索结果，提升了检索学生模型在复杂的网络数据中的跨模态检索精度。

技术领域

本发明涉及语义检索技术领域，尤其涉及一种面向跨模态数据的语义检索方法。

背景技术

随着信息技术的快速发展，城市信息化进程进入了新的阶段。智慧城市的建立，实现了信息化、工业化与城镇化的深度融合，从而提升了资源运用的效率，优化了城市管理和服务，以及改善了市民生活质量。在智慧城市的建设中，信息的获取和传播是十分重要的环节，而检索是人们获得信息的常用途径，因此如何根据检索内容提供所需的结果是关键。

随着互联网和多媒体的快速发展，文本、图像、视频、音频等多模态数据爆炸式增长，成为知识获取和信息传播的主要形式。单模态检索是用一种模态的数据(如文本)作为查询条件，检索出相同模态(还是文本)的语义相似数据。跨模态搜索是使用一种模态的数据(如文本)作为查询条件，检索出其他模态(如图像)的语义相似数据。其中，跨模态检索具有广泛的应用前景，从而吸引了越来越多的注意力。

目前的跨模态检索方法中，由于不同模态数据具有异质性，具有不同的分布和表示形式，因此通常采用有监督的方法来训练一个参数矩阵，并以该参数矩阵作为不同模态数据之间的对应关系，使得二者能通过查询此关系进行互相转化。然而，有监督的训练方法需要大量的数据标签，例如图像及其描述文本之间对应关系的标签来进行训练，但网络上存在大量的噪声数据，使得自动获取的数据标签质量不佳，从而导致模型训练效果较差。另外，模型训练过程中所使用的数据标签均为硬标签，即一个文本仅与一个图像相对应，但对于复杂的网络数据中所包含的多对多的对应关系，目前的模型将难以准确识别，从而导致检索结果准确性欠佳。

发明内容

本发明提供一种面向跨模态数据的语义检索方法，用以解决现有技术中检索精度欠佳的缺陷。

本发明提供一种面向跨模态数据的语义检索方法，包括：

接收待进行语义检索的第一模态的查询数据；

基于训练好的检索学生模型，对所述查询数据进行特征编码，得到所述查询数据的第一模态特征，并基于所述第一模态特征与数据库中第二模态的各候选结果的第二模态特征进行语义检索，得到所述查询数据对应的检索结果；

其中，在所述检索学生模型的一轮训练过程中，基于当前批样本中的第一样本对检索教师模型进行当前轮训练，并基于当前轮训练后的检索教师模型对所述当前批样本中的第二样本进行图文匹配，得到所述第二样本的匹配标签，再基于所述第二样本的匹配标签对所述检索学生模型进行当前轮训练；第一样本为经过人工标注的图文样本，第二样本为未经过人工标注的图文样本；任一第二样本的匹配标签包含所述任一第二样本中的样本文本与各个第二样本中的样本图像之间相似度对应的第一行向量，以及所述任一第二样本中的样本图像与各个第二样本中的样本文本之间相似度对应的第二行向量。

根据本发明提供的一种面向跨模态数据的语义检索方法，所述基于当前轮训练后的检索教师模型对所述当前批样本中的第二样本进行图文匹配，得到所述第二样本的匹配标签，再基于所述第二样本的匹配标签对所述检索学生模型进行当前轮训练，具体包括：