[发明专利]一种基于图像的信息搜索方法、装置、设备及存储介质

权利要求书

1.一种基于图像的信息搜索方法，包括：

根据参考图像进行信息搜索，得到与所述参考图像匹配的N个备选图像以及与备选图像对应的文本，N为自然数；

对所述参考图像和每个备选图像对应的文本进行图文相关度分析，得到相应备选图像的图文相关度得分；

从所述N个备选图像中移除图文相关度得分低于阈值的备选图像，得到M个目标图像，M为自然数，所述M小于等于N。

2.根据权利要求1所述的方法，其中，所述对所述参考图像和每个备选图像对应的文本进行图文相关度分析，得到相应备选图像的图文相关度得分，包括：

将所述参考图像和每个备选图像对应的文本输入图文相关度分析网络，得到相应备选图像的图文相关度得分，所述图文相关度分析网络是使用图像和文本对进行自监督训练得到的。

3.根据权利要求2所述的方法，其中，所述图文相关度分析网络包括图像特征提取分支和文本特征提取分支；

相应地，所述将所述参考图像和每个备选图像对应的文本输入图文相关度分析网络，得到相应备选图像的图文相关度得分，包括：

将所述参考图像输入所述图像特征提取分支，得到所述参考图像的图像特征向量；

将所述每个备选图像对应的文本输入所述文本特征提取分支，得到相应备选图像的文本特征向量；

根据所述参考图像的图像特征向量和相应备选图像的文本特征向量之间的向量距离，确定相应备选图像的图文相关度得分。

4.根据权利要求3所述的方法，还包括：

将相应备选图像的文本特征向量，存储至第一数据存储系统；

相应地，所述获取所述参考图像的图像特征向量和相应备选图像的文本特征向量之间的向量距离，包括：

获取所述参考图像的图像特征向量和所述第一数据存储系统中存储的相应备选图像的文本特征向量之间的向量距离。

5.根据权利要求3所述的方法，其中，所述向量距离为余弦距离。

6.根据权利要求2至5任一项所述的方法，还包括：

对所述图文相关度分析网络进行自监督训练。

7.根据权利要求6所述的方法，所述对所述图文相关度分析网络进行自监督训练，包括：

获取图文相关的图像和文本对，作为正样本对；

获取图文不相关的图像和文本对，作为负样本对；

将所述正样本对和所述负样本对，输入所述图文相关度分析网络，得到所述正样本对的图文相关度得分和所述负样本对的图文相关度得分；

根据所述正样本对的图文相关度得分和所述负样本对的图文相关度得分，计算损失函数的值，所述损失函数为所述正样本和所述负样本的噪声对比估计函数；

根据所述损失函数的值，修改所述图文相关度分析网络的网络参数以使所述损失函数的值最小化。

8.根据权利要求7所述的方法，所噪声对比估计函数为信息噪声对比估计函数InfoNCE。

9.一种基于图像的信息搜索装置，包括：

图像搜索模块，用于根据参考图像进行信息搜索，得到与所述参考图像匹配的N个备选图像以及与备选图像对应的文本，N为自然数；

图文相关度分析模块，用于对所述参考图像和每个备选图像对应的文本进行图文相关度分析，得到相应备选图像的图文相关度得分；

图像筛选模块，用于从所述N个备选图像中移除图文相关度得分低于阈值的备选图像，得到M个目标图像，M为自然数，所述M小于等于N。

10.根据权利要求9所述的装置，其中，所述图文相关度分析模块，具体用于将所述参考图像和每个备选图像对应的文本输入图文相关度分析网络，得到相应备选图像的图文相关度得分，所述图文相关度分析网络是使用图像和文本对训练得到的。