[发明专利]图像检索的视觉重排序方法、系统、设备及存储介质

权利要求书

1.一种图像检索的视觉重排序方法，其特征在于，包括：

获取初次检索结果列表，选取排序靠前的k个图像进行重排序，称为top-k图像，选取排序靠前的L个图像作为锚点图像；

分别计算每一top-k图像与锚点图像的相似性，获得相应的关联特征；

使用Transformer的编码器结构聚合所有top-k图像的关联特征，并为每一top-k图像更新得到一个新的关联特征；

利用每一top-k图像的新的关联特征，计算与查询图像之间的相似性，并根据相似性大小获得重排序列表。

2.根据权利要求1所述的一种图像检索的视觉重排序方法，其特征在于，所述分别计算每一top-k图像与锚点图像的相似性，获得相应的关联特征表示为：

其中，表示单个top-k图像与单个锚点图像的相似性，l＝1，...，L。

3.根据权利要求1所述的一种图像检索的视觉重排序方法，其特征在于，所述使用Transformer的编码器结构聚合所有top-k图像的关联特征，并为每一top-k图像更新得到一个新的关联特征包括：

将所有top-k图像的关联特征构成的关联特征序列A＝{a₁，...，a_k}经过全连接层后，输入至Transformer的编码器结构，所述Transformer编码器能够动态的学习聚合每个top-k图像的权值，输出更新得到的新的关联特征序列Y＝{y₁，...，y_k}，其中，a、y分别为更新前、后的关联特征，角标为图像序号。

4.根据权利要求1所述的一种图像检索的视觉重排序方法，其特征在于，所述查询图像为初次检索结果列表中排序第1的图像，所述top-k图像与锚点图像各自构成的图像集合中均包含所述查询图像；

在训练阶段，利用查询图像的新的关联特征与其他top-k图像的新的关联特征的相似性计算对比损失函数以及利用top-k图像更新前后的关联特征计算最小均方误差损失函数

利用对比损失函数与最小均方误差损失函数构造最终的损失函数，表示为：

其中，λ为损失项的权重系数。

5.根据权利要求1所述的一种图像检索的视觉重排序方法，其特征在于，所述计算对比损失函数表示为：

其中，1()代表指示函数，若r₁与r_i相关，则指示函数等于1，否则等于0，τ是温度系数，sim()为相似性函数；y₁是查询图像r₁的新的关联特征，y_i表示top-k图像r_i的新的关联特征，2≤i≤k；当查询图像与相关图像都相似，与不相关图像都不相似时，对比损失取得最小值。

6.根据权利要求1所述的一种图像检索的视觉重排序方法，其特征在于，最小均方误差损失函数表示为：

其中，a、y分别为更新前、后的关联特征，角标为图像序号，MLP()代表多层感知机。