[发明专利]面向跨模态数据的语义检索方法

权利要求书

1.一种面向跨模态数据的语义检索方法，其特征在于，包括：

接收待进行语义检索的第一模态的查询数据；

基于训练好的检索学生模型，对所述查询数据进行特征编码，得到所述查询数据的第一模态特征，并基于所述第一模态特征与数据库中第二模态的各候选结果的第二模态特征进行语义检索，得到所述查询数据对应的检索结果；

其中，在所述检索学生模型的一轮训练过程中，基于当前批样本中的第一样本对检索教师模型进行当前轮训练，并基于当前轮训练后的检索教师模型对所述当前批样本中的第二样本进行图文匹配，得到所述第二样本的匹配标签，再基于所述第二样本的匹配标签对所述检索学生模型进行当前轮训练；第一样本为经过人工标注的图文样本，第二样本为未经过人工标注的图文样本；任一第二样本的匹配标签包含所述任一第二样本中的样本文本与各个第二样本中的样本图像之间相似度对应的第一行向量，以及所述任一第二样本中的样本图像与各个第二样本中的样本文本之间相似度对应的第二行向量。

2.根据权利要求1所述的面向跨模态数据的语义检索方法，其特征在于，所述基于当前轮训练后的检索教师模型对所述当前批样本中的第二样本进行图文匹配，得到所述第二样本的匹配标签，再基于所述第二样本的匹配标签对所述检索学生模型进行当前轮训练，具体包括：

基于所述当前轮训练后的检索教师模型，确定任一第二样本中的样本文本与各个第二样本中的样本图像之间的相似度对应的第一行向量，作为所述任一第二样本中的样本图像的匹配标签，并确定所述任一第二样本中的样本图像与各个第二样本中的样本文本之间的相似度对应的第二行向量，作为所述任一第二样本中的样本文本的匹配标签；

基于所述检索学生模型，确定任一第二样本中的样本文本与各个第二样本中的样本图像之间的相似度，并确定所述任一第二样本中的样本图像与各个第二样本中的样本文本之间的相似度；

基于任一第二样本中的样本图像的匹配标签，对所述检索学生模型输出的所述任一第二样本中的样本文本与各个第二样本中的样本图像之间的相似度进行约束，并基于任一第二样本中的样本文本的匹配标签，对所述检索学生模型输出的所述任一第二样本中的样本图像与各个第二样本中的样本文本之间的相似度进行约束。

3.根据权利要求2所述的面向跨模态数据的语义检索方法，其特征在于，所述检索学生模型中包括图像编码器和文本编码器；

所述基于任一第二样本中的样本图像的匹配标签，对所述检索学生模型输出的所述任一第二样本中的样本文本与各个第二样本中的样本图像之间的相似度进行约束，并基于任一第二样本中的样本文本的匹配标签，对所述检索学生模型输出的所述任一第二样本中的样本图像与各个第二样本中的样本文本之间的相似度进行约束，具体包括：

基于所述任一第二样本中的样本图像的匹配标签与所述检索学生模型输出的所述任一第二样本中的样本文本与各个第二样本中的样本图像之间的相似度的差异，反向调整所述图像编码器的参数；

基于所述任一第二样本中的样本文本的匹配标签与所述检索学生模型输出的所述任一第二样本中的样本图像与各个第二样本中的样本文本之间的相似度的差异，反向调整所述文本编码器的参数。

4.根据权利要求2所述的面向跨模态数据的语义检索方法，其特征在于，每一轮训练的整体损失函数包括学生模型损失和教师模型损失；

其中，所述学生模型损失是基于当前轮第二样本中的样本图像的匹配标签与所述检索学生模型输出的各个第二样本中的样本文本和其余第二样本中的样本图像之间的相似度的差异，以及当前轮第二样本中的样本文本的匹配标签与所述检索学生模型输出的各个第二样本中的样本图像与其余第二样本中的样本文本之间的相似度的差异确定的；所述教师模型损失是基于所述检索教师模型输出的当前轮第一样本中样本文本与样本图像之间的相似度确定的。

5.根据权利要求4所述的面向跨模态数据的语义检索方法，其特征在于，每一轮训练的整体损失函数是基于所述学生模型损失及其对应的权重以及所述教师模型损失及其对应的权重确定的；其中，所述教师模型损失对应的权重为当前轮样本中第一样本所占的比例。