[发明专利]一种基于图像的信息搜索方法、装置、设备及存储介质

说明书

本公开提供了一种基于图像的信息搜索方法、装置、设备及其存储介质，涉及人工智能技术领域，具体为深度学习、计算机视觉技术领域，可应用于图像处理等场景。具体实现方案为：首先，根据参考图像进行信息搜索，得到与参考图像匹配的一组图像及相应图像所对应的文本(例如，标题或概要信息等)；之后，对参考图像和搜索结果中的每一图像所对应的文本进行图文相关度分析，得到每一图像的图文相关度得分；然后，将图文相关度得分低于阈值的图像从搜索结果中移除。如此，可大大减少搜索结果中，图像与参考图像相似，但图像关联的内容却与参考图像不相关的情况。

技术领域

本公开涉及人工智能技术领域，具体为深度学习、计算机视觉技术领域，可应用于图像处理等场景。

背景技术

用图来搜商品是目前各大电商平台的重要能力之一，商家所展示的商品中，往往存在商品图像和标题不符、商品图像中包含多个不相关物体的问题。例如，使用A商品的图像进行搜索，却得到了商品图像包含A的B商品。

发明内容

本公开提供了一种基于图像的信息搜索方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种基于图像的信息搜索方法，包括：根据参考图像进行信息搜索，得到与参考图像匹配的N个备选图像以及与备选图像对应的文本，N为自然数；对参考图像和每个备选图像对应的文本进行图文相关度分析，得到相应备选图像的图文相关度得分；从N个备选图像中移除图文相关度得分低于阈值的备选图像，得到M个目标图像，M为自然数，M小于等于N。

根据本公开的另一方面，提供了一种基于图像的信息搜索装置，包括：图像搜索模块，用于根据参考图像进行信息搜索，得到与参考图像匹配的N个备选图像以及与备选图像对应的文本，N为自然数；图文相关度分析模块，用于对参考图像和每个备选图像对应的文本进行图文相关度分析，得到相应备选图像的图文相关度得分；图像筛选模块，用于从N个备选图像中移除图文相关度得分低于阈值的备选图像，得到M个目标图像，M为自然数，M小于等于N。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项基于图像的信息搜索方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述任一项基于图像的信息搜索方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述任一项基于图像的信息搜索方法。

本公开提供一种基于图像的信息搜索方法、装置、设备及存储介质，该方法包括：首先，根据参考图像进行信息搜索，得到与参考图像匹配的一组图像及相应图像所对应的文本(例如，标题或概要信息等)；之后，对参考图像和搜索结果中的每一图像所对应的文本进行图文相关度分析，得到每一图像的图文相关度得分；然后，将图文相关度得分低于阈值的图像从搜索结果中移除。如此，可大大减少搜索结果中，图像与参考图像相似，但图像关联的内容却与参考图像不相关的情况。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开第一实施例实现基于图像的信息搜索方法的流程示意图；

图2是本公开第二实施例图文相关度分析网络的框架示意图；

图3是本公开第三实施例图文相关度分析网络的框架和应用场景示意图；

图4是本公开第三实施例使用图文相关度分析网络进行图文相关度分析的流程示意图；