[发明专利]图像搜索模型的训练方法及图像搜索方法

权利要求书

1.一种图像搜索模型的训练方法，包括：

获取样本文本，其中，所述样本文本包括第一语种文本和第二语种文本；

基于所述样本文本，对跨模态图文检索模型中的语义转换网络中进行训练，以获取目标语义转换网络，并基于所述目标语义转换网络生成最终的目标跨模态图文检索模型，其中，跨模态图文检索模型，包括语义转换网络和图像处理网络；目标跨模态图文检索模型，包括目标转换网络和图像处理网络；

其中，所述目标语义转换网络用于将所述样本文本的语义向目标语种的训练文本的语义进行对齐，所述训练文本用于训练所述跨模态图文检索模型；所述基于所述样本文本，对跨模态图文检索模型中的语义转换网络中进行训练，以获取目标语义转换网络，包括：

将所述样本文本输入至所述语义转换网络中，以输出所述样本文本对应的目标训练文本；

获取所述样本文本和所述目标训练文本的相似度，并基于所述相似度确定所述语义转换网络的损失函数；

基于所述损失函数对所述语义转换网络进行调整，以生成所述目标语义转换网络；所述将所述样本文本输入至所述语义转换网络中，以输出所述样本文本对应的目标训练文本，包括：

对所述第一语种文本和所述第二语种文本分别进行特征提取，以获取所述第一语种文本的第一特征向量和所述第二语种文本的第二特征向量；

将所述第一特征向量和所述第二特征向量拼接，生成拼接特征向量；

基于所述拼接特征向量生成第三特征向量；

根据所述第三特征向量，获取所述样本文本对应的目标训练文本。

2.根据权利要求1所述的训练方法，其中，所述根据所述第三特征向量，获取所述样本文本对应的目标训练文本，包括：

将所述第三特征向量与候选训练文本的第四特征向量进行相似度比较，以获取最高相似度的所述第四特征向量对应的所述候选训练文本，作为所述目标训练文本。

3.根据权利要求1所述的训练方法，其中，所述将所述第一特征向量和所述第二特征向量拼接，生成拼接特征向量，包括：

将所述第一特征向量和所述第二特征向量通过分隔符进行连接，生成所述拼接特征向量。

4.根据权利要求1所述的训练方法，其中，所述基于所述拼接特征向量生成所述第三特征向量，包括：

在所述拼接特征向量之前加入预留向量，以得到所述第三特征向量。

5.一种图像搜索方法，包括：

获取搜索文本，其中，所述搜索文本为中文文本、英文文本或者中英混合文本中的一种；

将所述搜索文本输入如权利要求1-4中任一所述的目标跨模态图文检索模型中，输出与所述搜索文本对应的目标搜索图像。

6.一种图像搜索模型的训练装置，包括：

获取模块，用于获取样本文本，其中，所述样本文本包括第一语种文本和第二语种文本；

生成模块，用于基于所述样本文本，对跨模态图文检索模型中的语义转换网络中进行训练，以获取目标语义转换网络，并基于所述目标语义转换网络生成最终的目标跨模态图文检索模型，其中，跨模态图文检索模型，包括语义转换网络和图像处理网络；目标跨模态图文检索模型，包括目标转换网络和图像处理网络；

其中，所述目标语义转换网络用于将所述样本文本的语义向目标语种的训练文本的语义进行对齐，所述训练文本用于训练所述跨模态图文检索模型；所述生成模块，还用于：

将所述样本文本输入至所述语义转换网络中，以输出所述样本文本对应的目标训练文本；

获取所述样本文本和所述目标训练文本的相似度，并基于所述相似度确定所述语义转换网络的损失函数；

基于所述损失函数对所述语义转换网络进行调整，以生成所述目标语义转换网络；所述生成模块，还用于：

对所述第一语种文本和所述第二语种文本分别进行特征提取，以获取所述第一语种文本的第一特征向量和所述第二语种文本的第二特征向量；

将所述第一特征向量和所述第二特征向量拼接，生成拼接特征向量；

基于所述拼接特征向量生成第三特征向量；

根据所述第三特征向量，获取所述样本文本对应的目标训练文本。