[发明专利]图像检索的视觉重排序方法、系统、设备及存储介质

说明书

本发明公开了一种图像检索的视觉重排序方法、系统、设备及存储介质，相关方法包括：获取初次检索结果列表，选取排序靠前的k个图像进行重排序，称为top‑k图像，选取排序靠前的L个图像作为锚点图像；分别计算每一top‑k图像与锚点图像的相似性，获得相应的关联特征；使用Transformer的编码器结构聚合所有top‑k图像的关联特征，并为每个top‑k图像更新得到一个新的关联特征；利用每一top‑k图像的新的关联特征，计算与查询图像之间的相似性，并根据相似性大小获得重排序列表。上述方案能够在保证重排序性能的同时保证检索系统要求的实时性，并且该方法可应用于通用的检索系统。

技术领域

本发明涉及图像检索技术领域，尤其涉及一种图像检索的视觉重排序方法、系统、设备及存储介质。

背景技术

随着互联网的飞速发展和移动智能终端的普及，多媒体数据尤其是视觉数据呈现出爆炸式的增长。数十亿人在网上共享和浏览照片和视频。为了让用户能够快速地从这些多媒体数据中找到自己感兴趣的内容，多媒体检索技术受到了广泛的关注并且得到了快速的发展。在海量的数据面前，如何设计高效的检索算法一直是国内外学术届与工业界的研究热点。

图像作为多媒体数据的重要组成部分，已经成为了信息检索领域关注的重点。不同于早期的基于文本的图像检索技术，基于内容的图像检索将图像的视觉内容作为搜索的依据，更加直接的表达了用户的搜索意图，同时也可以作为文本搜索的重要补充来进一步提高搜索的性能。

图像检索任务是根据给定的查询图像在大规模图像数据库中检索得到与查询图像相关的图像。然而原始的检索结果效果可能差强人意，而图像检索重排序是一种能够有效提升检索性能的后处理方法。

检索重排序主要包括三类方法：扩展查询、基于K近邻的重排方法、基于空间验证的重排方法。

1)扩展查询方法将检索结果列表中靠前的结果的特征与查询图像特征相加，从而得到一个新的查询特征，并以此进行二次检索。该方法的缺陷在于：需要做二次检索甚至是多次检索，当数据库规模很大时，该方法会严重影响图像检索的效率。

2)基于K紧邻的重排方法通过挖掘数据库中图像间的K紧邻结构关系得到新的相关度排序。该方法的缺陷在于：依据K近邻重构的重排序方法需要在查询时构建K紧邻关系并进行相似性传播，这同样会对检索效率产生影响。

3)空间验证方法通常利用图像局部不变特征的空间上下文信息来删除错误匹配，但是该方案会严重影响检索效率。

发明内容

本发明的目的是提供一种图像检索的视觉重排序方法、系统、设备及存储介质，能够在保证重排序性能的同时保证检索系统要求的实时性，并且该方法可应用于通用的检索系统。

本发明的目的是通过以下技术方案实现的：

一种图像检索的视觉重排序方法，包括：

获取初次检索结果列表，选取排序靠前的k个图像进行重排序，称为top-k图像，选取排序靠前的L个图像作为锚点图像；

分别计算每一top-k图像与锚点图像的相似性，获得相应的关联特征；

使用Transformer的编码器结构聚合所有top-k图像的关联特征，并为每一top-k图像更新得到一个新的关联特征；

利用每一top-k图像的新的关联特征，计算与查询图像之间的相似性，并根据相似性大小获得重排序列表。

一种图像检索的视觉重排序系统，用于实现前述的方法，该系统包括：

列表获取及图像筛选单元，用于获取初次检索结果列表，选取排序靠前的k个图像进行重排序，称为top-k图像，选取排序靠前的L个图像作为锚点图像；

关联特征计算单元，用于分别计算每一top-k图像与锚点图像的相似性，获得相应的关联特征；