[发明专利]文本图像检索方法和装置

说明书

本申请涉及一种文本图像检索方法和装置；所述方法包括：获取训练数据集；根据预设的算法模型提取特征向量；根据文本特征向量计算不同文本数据之间的语义相似度；将文本数据之间的第一语义相似度作为文本数据与图像数据之间的第二语义相似度；构建损失函数，并将第二语义相似度导入损失函数中以调整损失函数的边界；根据损失函数对所述算法模型进行迭代训练，并将训练完成的算法模型进行保存。本申请的方案利用文本之间的语义相似度近似文本与图像之间的语义相似度，利用近似的文本图像语义相似度调整损失函数的边界，能够大幅提升排序结果的合理性，达到提升检索用户实际体验，提升多媒体数据管理效率的效果。

技术领域

本申请涉及人工智能技术领域，具体涉及一种文本图像检索方法和装置。

背景技术

文本图像检索是指给定一个查询文本，在图像数据库中检索与查询文本语义相关的图像，在很多领域有重大应用，例如在大型图像、视频类网站有巨大的应用需求，用户输入查询文本，通过文本图像检索技术，实现对查询文本相关的图像或视频的检索，从而达到多媒体数据的快速索引，提升多媒体数据管理效率，提升用户使用体验的效果。

相关技术中，在文本图像检索系统的训练过程中，三元组损失函数平等地对待所有的负样本。然而，在实际情况中，锚点与不同的负样本之间的语义相似度并不相同，平等地对待所有的负样本会造成视觉语义空间的不连贯，从而造成检索的排序结果不合理，影响用户体验。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本申请提供一种文本图像检索方法和装置。

根据本申请实施例的第一方面，提供一种文本图像检索方法，包括：

获取训练数据集，所述训练数据集中包括若干个图像文本对，一个所述图像文本对包括一个图像数据和一个文本数据；

根据预设的算法模型提取特征向量，所述特征向量包括：所述训练数据集中所有文本数据的文本特征向量和图像数据的图像特征向量；

根据文本特征向量计算不同文本数据之间的语义相似度；

将文本数据之间的第一语义相似度作为文本数据与图像数据之间的第二语义相似度；

构建损失函数，并将第二语义相似度导入损失函数中以调整损失函数的边界；

根据损失函数对所述算法模型进行迭代训练，并将训练完成的算法模型进行保存。

进一步地，所述算法模型包括特征提取算法和特征映射算法；

所述根据预设的算法模型提取特征向量，包括：

为文本和图像分别选择特征提取算法，分别提取训练数据集中所有文本数据的特征和图像数据的特征；

通过特征映射算法，分别将文本数据的特征和图像数据的特征映射到相同的维度，获得文本特征向量和图像特征向量。

进一步地，所述文本数据之间的语义相似度为：

其中，t_i和t_j分别为两个不同的文本数据，f_i和f_j分别为t_i和t_j的文本特征向量。

进一步地，所述将文本数据之间的第一语义相似度作为文本数据与图像数据之间的第二语义相似度，包括：

令S_S(v_i,t_j)＝S_S(t_i,t_j)；

其中，(v_i,t_i)为一个图像文本对。