[发明专利]文本图像检索方法和装置

权利要求书

1.一种文本图像检索方法，其特征在于，包括：

获取训练数据集，所述训练数据集中包括若干个图像文本对，一个所述图像文本对包括一个图像数据和一个文本数据；

根据预设的算法模型提取特征向量，所述特征向量包括：所述训练数据集中所有文本数据的文本特征向量和图像数据的图像特征向量；

根据文本特征向量计算不同文本数据之间的语义相似度；

将文本数据之间的第一语义相似度作为文本数据与图像数据之间的第二语义相似度；

构建损失函数，并将第二语义相似度导入损失函数中以调整损失函数的边界；

根据损失函数对所述算法模型进行迭代训练，并将训练完成的算法模型进行保存。

2.根据权利要求1所述的方法，其特征在于，所述算法模型包括特征提取算法和特征映射算法；

所述根据预设的算法模型提取特征向量，包括：

为文本和图像分别选择特征提取算法，分别提取训练数据集中所有文本数据的特征和图像数据的特征；

通过特征映射算法，分别将文本数据的特征和图像数据的特征映射到相同的维度，获得文本特征向量和图像特征向量。

3.根据权利要求1所述的方法，其特征在于，所述文本数据之间的语义相似度为：

其中，t_i和t_j分别为两个不同的文本数据，f_i和f_j分别为t_i和t_j的文本特征向量。

4.根据权利要求1所述的方法，其特征在于，所述将文本数据之间的第一语义相似度作为文本数据与图像数据之间的第二语义相似度，包括：

令S_S(v_i,t_j)＝S_S(t_i,t_j)；

其中，(v_i,t_i)为一个图像文本对。

5.根据权利要求1所述的方法，其特征在于，所述构建损失函数，包括：

构建三元组损失函数：

其中，S(v_i,t_i)＝S(v_i,t_i；W)＝φ(v_i)^TWψ(t_i)是图像特征φ(v_i)和文本特征ψ(t_i)之间的相似度，W是S的权重；i、j、k是样本序号；和是使用困难样本挖掘策略挖掘出的最困难负样本对；和是损失函数的边界，用于约束正样本对之间的相似度S(v_i,t_i)大于负样本对之间的相似度或加上一个的边界或

6.根据权利要求1所述的方法，其特征在于，所述调整损失函数的边界，包括：

将近似的文本图像语义相似度S_S(v_i,t_j)导入损失函数中；

令三元组损失函数的边界和与近似的正样本对的语义相似度S_S(v_i,t_i)和负样本对的语义相似度S_S(v_i,t_j)的差值成正比。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据损失函数对所述算法模型进行迭代训练，包括：

选择深度学习优化器，设定学习率大小和批次大小，在训练数据集上训练N次迭代；

读取验证数据集，通过验证数据集对所述算法模型进行召回率判定；

若召回率不再提升，则模型训练结束；否则继续调整损失函数的边界。

8.根据权利要求7所述的方法，其特征在于，深度学习优化器为Adam优化器，设定学习率为0.0005，批次大小为128，训练次数N＝20次。