[发明专利]一种多模态复合编码图像检索方法和系统

权利要求书

1.一种多模态复合编码图像检索方法，其特征在于，包括：

获取待检索信息，并判定待检索信息的数据类型；

根据所述待检索信息的数据类型选择进行粗粒度检索或细粒度检索，所述细粒度检索包括当输入的待检索信息同时包括图像和文本描述数据时，通过对两种特征进行融合，获取复合特征，进而通过所述复合特征进行数据检索，获取目标数据；所述粗粒度检索包括当输入的待检索信息包括图像或文本描述数据之一时，根据对应的特征进行数据检索，获取目标数据。

2.根据权利要求1所述的多模态复合编码图像检索方法，其特征在于：

预先建立识别模型并进行训练，所述识别模型包括用于图像描述生成的第一模型、用于文本处理的第二模型，以及用于多模态特征提取的第三模型；

通过所述第一模型对输入的图像数据进行处理，获取第一输出结果，所述第一输出结果包括图像特征编码以及图像内容的文本描述；

通过所述第二模型对输入的文本数据和/或第一模型输出的所述图像内容的文本描述进行处理，获取第二输出结果；

当输入的待检索信息为文本描述时，通过所述第二模型的输出结果进行所述粗粒度检索；

当输入的待检索信息为图像时，通过所述第一输出结果中的图像特征编码进行所述粗粒度检索，或者，将第一输出结果中的图像内容的文本描述输入至第二模型，通过第一输出结果中的图像特征编码和第二输出结果进行细粒度检索；

当同时输入的图像和文本描述时，将图像输入至第一模型，将文本描述输入至第二模型，再将各自的输出结果同时输入至所述第三模型，根据第三模型的输出结果进行所述细粒度检索。

3.根据权利要求2所述的多模态复合编码图像检索方法，其特征在于：所述第二输出结果包括文本特征的文本编码，当输入的文本数据和/或第一模型输出的所述图像内容的文本描述包括多个句子时，所述文本编码为包括句子全局特征和局部特征的混合编码。

4.根据权利要求2所述的多模态复合编码图像检索方法，其特征在于，通过所述第二模型对输入的文本数据和/或第一模型输出的所述图像内容的文本描述进行处理，获取包含文本特征的文本编码包括：

获取句子向量，并将所述句子向量作为混合编码的句编码部分；

对所述多个句子进行词性标注，并进行命名实体识别，获取用于与检索相关词性的词语，及词向量，并将所述词向量作为混合编码的词编码部分；

通过所述句编码部分和词编码部分，获取包含句子全局特征和局部特征的混合编码；

所述句编码部分和词编码部分均作为检索特征。

5.根据权利要求2所述的多模态复合编码图像检索方法，其特征在于，所述通过对两种特征进行融合，获取复合特征包括：

根据第一模型和第二模型对输出结果，对图像特征和文本特征进行拼接，获取特征矩阵，完成初步融合；

通过一特殊卷积对所述特征矩阵进行注意力机制处理，获取新特征矩阵；

通过对所述新特征矩阵与原始特征矩阵进行通道融合，完成最终融合。

6.根据权利要求5所述的多模态复合编码图像检索方法，其特征在于：

通过一特殊卷积对所述特征矩阵进行注意力机制处理，获取将图向量与所有文本特征进行融合的新特征矩阵，所述特殊卷积的长度为特征矩阵的向量长度；

将所述新特征矩阵与原始特征矩阵进行通道融合，形成2通道特征图，完成最终融合。

7.根据权利要求5所述的多模态复合编码图像检索方法，其特征在于，所述初步融合包括：

获取图向量，图向量所对应的所有句子向量，以及所有句子对应的词向量；

按图向量、图像对应的第一句子向量、第一句子对应的第一词向量的顺序，依次将图像中所有词向量进行拼接，获取所述包含图像特征和文本特征的特征矩阵。