[发明专利]模型训练、图片检索方法及装置

权利要求书

1.一种模型训练方法，包括：

获取样本图片以及每个样本图片的文本描述信息；以及

利用所述样本图片和所述每个样本图片的文本描述信息训练第二多模态表征模型，得到第一多模态表征模型。

2.根据权利要求1所述的方法，其中，获取样本图片的文本描述信息，包括以下至少之一：

获取样本图片的标注信息，并将获取的标注信息作为样本图片的文本描述信息；

获取与样本图片关联的文本信息，并将获取的文本信息作为样本图片的文本描述信息；

获取样本图片上自带的文本信息，并将获取的文本信息作为样本图片的文本描述信息。

3.根据权利要求1所述的方法，其中，所述第二多模态表征模型包括以下之一：

双路模型，其中，所述双路模型是图片和文本分两路输入的模型；

单路模型，其中，所述单路模型是图片和文本通过一路输入的模型。

4.根据权利要求1所述的方法，其中，所述第二多模态表征模型是基于自注意力变换网络构建的模型。

5.一种图片检索方法，包括：

获取目标图片以及所述目标图片的文本描述信息；

针对所述目标图片提取图片特征；

针对所述文本描述信息提取文本特征；

将所述图片特征和所述文本特征输入第一多模态表征模型，得到所述第一多模态表征模型输出的融合特征向量；以及

基于所述融合特征向量进行图片检索。

6.根据权利要求5所述的方法，其中，获取所述目标图片的文本描述信息，包括以下至少之一：

获取所述目标图片的标注信息，并将该标注信息作为所述目标图片的文本描述信息；

获取与所述目标图片关联的文本信息，并将获取的该文本信息作为所述目标图片的文本描述信息；

获取所述目标图片上自带的文本信息，并将获取的该文本信息作为所述目标图片的文本描述信息。

7.根据权利要求5所述的方法，其中，所述第一多模态表征模型是基于第二多模态表征模型训练得到的，所述第二多模态表征模型是基于自注意力变换网络构建的模型。

8.根据权利要求5所述的方法，其中，基于所述融合特征向量进行图片检索，包括：

基于所述融合特征向量，在预先设定的索引库中进行图片检索，

其中，通过以下操作构建所述索引库：

获取多个图片以及所述多个图片中每个图片的文本描述信息；

基于所述每个图片以及该图片的文本描述信息，利用所述第一多模态表征模型，获取所述每个图片的融合特征向量；以及

基于所述每个图片的融合特征向量创建一个索引，从而构成所述索引库。

9.一种模型训练装置，包括：

第一获取模块，用于获取样本图片以及每个样本图片的文本描述信息；以及

训练模块，用于利用所述样本图片和所述每个样本图片的文本描述信息训练第二多模态表征模型，得到第一多模态表征模型。

10.根据权利要求9所述的装置，其中，所述第一获取模块包括以下至少之一：

第一获取单元，用于获取样本图片的标注信息，并将获取的标注信息作为样本图片的文本描述信息；

第二获取单元，用于获取与样本图片关联的文本信息，并将获取的文本信息作为样本图片的文本描述信息；

第三获取单元，用于获取样本图片上自带的文本信息，并将获取的文本信息作为样本图片的文本描述信息。

11.根据权利要求9所述的装置，其中，所述第二多模态表征模型包括以下之一：

双路模型，其中，所述双路模型是图片和文本分两路输入的模型；

单路模型，其中，所述单路模型是图片和文本通过一路输入的模型。