[发明专利]一种多模态复合编码图像检索方法和系统

说明书

本发明提供一种多模态复合编码图像检索方法和系统，方法包括：获取待检索信息，并判定待检索信息的数据类型；根据待检索信息的数据类型选择进行粗粒度检索或细粒度检索，细粒度检索包括当输入的待检索信息同时包括图像和文本描述数据时，通过对两种特征进行融合，获取复合特征，进而通过所述复合特征进行数据检索；本发明可以根据数据类型选择进行粗粒度检索或细粒度检索，可以通过对两种特征进行融合，获取复合特征，进而通过复合特征进行细粒度检索的数据检索；本发明可以提高数据库构建效率，增加了检索方式的灵活性，减小了检索难度，为图像检索提供一种精度与泛化性能统一，模糊检索与精准检索切换更灵活的解决方案。

技术领域

本发明涉及计算机应用领域，尤其涉及一种多模态复合编码图像检索方法和系统。

背景技术

图像检索技术在各种领域得到了广泛的应用，如商品搜索，视频内容理解等。但是由于图像的多样性，图像内容的复杂性，高效准确的图像检索方法的研究一直以来是机器视觉领域重要的研究课题。

目前，图像检索的技术流程主要为三步：特征的提取，特征编码以及数据库的索引。根据特征的不同，图像检索一般分为基于文本的检索和基于图像内容的检索，这两种技术也得到了广泛的应用与研究。基于文本的检索一般是对图像进行各维度属性的标记，检索时只能匹配具有相同属性的图像，准确性较高但泛化性能较差，而且需提前对大量图像进行人工标注，时间成本较高。基于图像内容的检索则利用图像语义为线索进行处理，以图像处理技术为基础完成图像低、高维特征的提取，并进行匹配，可检索存在相同或者相似特性的图像，具备一定的泛化性能，人工参与较少；但基于图像特征的多样性复杂性，可能存在大量的误匹配，例如当图像中存在相同类别但非相同目标图像时就很难进行区分。另外，通过提前对图像进行文本语义标注，完成图像内容的文本描述，应用起来标注成本较高，维护难度大。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种多模态复合编码图像检索方法和系统，以解决上述技术问题。

本发明提供的多模态复合编码图像检索方法，包括：

获取待检索信息，并判定待检索信息的数据类型；

根据所述待检索信息的数据类型选择进行粗粒度检索或细粒度检索，所述细粒度检索包括当输入的待检索信息同时包括图像和文本描述数据时，通过对两种特征进行融合，获取复合特征，进而通过所述复合特征进行数据检索，获取目标数据；所述粗粒度检索包括当输入的待检索信息包括图像或文本描述数据之一时，根据对应的特征进行数据检索，获取目标数据。

于本发明的一实施例中，预先建立识别模型并进行训练，所述识别模型包括用于图像描述生成的第一模型、用于文本处理的第二模型，以及用于多模态特征提取的第三模型；

通过所述第一模型对输入的图像数据进行处理，获取第一输出结果，所述第一输出结果包括图像特征编码以及图像内容的文本描述；

通过所述第二模型对输入的文本数据和/或第一模型输出的所述图像内容的文本描述进行处理，获取第二输出结果；

当输入的待检索信息为文本描述时，通过所述第二模型的输出结果进行所述粗粒度检索；

当输入的待检索信息为图像时，通过所述第一输出结果中的图像特征编码进行所述粗粒度检索，或者，将第一输出结果中的图像内容的文本描述输入至第二模型，通过第一输出结果中的图像特征编码和第二输出结果进行细粒度检索；

当同时输入的图像和文本描述时，将图像输入至第一模型，将文本描述输入至第二模型，再将各自的输出结果同时输入至所述第三模型，根据第三模型的输出结果进行所述细粒度检索。

于本发明的一实施例中，所述第二输出结果包括文本特征的文本编码，当输入的文本数据和/或第一模型输出的所述图像内容的文本描述包括多个句子时，所述文本编码为包括句子全局特征和局部特征的混合编码。