[发明专利]视觉检索的排序优化方法、装置、电子设备及存储介质

说明书

本发明提供一种视觉检索的排序优化方法、装置、电子设备及存储介质。该方法包括：建立视觉实体数据库；获取待查询视觉实体；对所述待查询视觉实体和待搜索集合中的视觉实体进行特征提取；查询所述待搜索集合中与所述待查询视觉实体特征相似的目标检索实体；将所述目标检索实体按照与所述待查询实体的特征相似性大小降序排列并输出。本发明通过直接优化平均准确率作为损失函数的优化方法，直接优化搜索排序，而不是优化基于距离的损失函数，有效克服基于距离的损失函数仅仅关注特征之间的相似度的缺陷，而不考虑加大对排序列表前列错误的结果进行加大惩罚的缺陷；显著提高了视觉检索准确率。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种视觉检索的排序优化方法、装置、电子设备及存储介质。

背景技术

现有的视觉检索系统从技术角度可以分为两大类：

（1）、基于传统计算机视觉提取的特征，可以是全局特征或者是局部特征；

全局特征如：颜色直方图、纹理特征等；局部特征如：SIFT、SURF、ORB等。

（2）、 基于深度学习的方式。本大类也包括了两种方式：

a.直接提取特定层（如卷积层，或者全连接层）作为特征向量，进行搜索；

b.结合度量函数进行端到端的训练。

视觉检索的目标是与待查询的视觉实体是同一个类别（或者是同一个实体，或者同一个语义等），应该尽可能的在排序列表的前列，尤其是要保证排在最前面的K个的准确率。通常衡量检索系统的准确率采用平均准确率指标 Average Precision(AP），如公式1-1：

1-1

以图像为例，作为视觉实体的表现形式。其中q表示待查询图像，APq表示待查询图像q的平均准确率，数据库中待搜索的数据集S={Ii，i=1,2,...,n}，q根据查询和待查询图像是否属于相同的类别，被分为S+和S-，S+表示与待查询图像相同类别的图像集合，S-表示与待查询图像不同类别的图像集合，其中 S = S+ U S- ，Rank（i，S）表示图像i和图像集合S的排序顺序数。

现有的技术的缺点是：没有明确的通过优化上述的排序损失进行优化，例如在基于传统计算机视觉提取的特征时，根本就没考虑更不可能保证上述性质。在基于深度学习的方式时，其中提取特定层（如卷积层或者全连接层）作为特征向量，进行搜索，也没有显示的进行排序列表的优化；另一方面虽说基于深度学习的方式，结合度量函数进行端到端的训练的方式可以通过损失函数，隐式的控制排序列表的顺序，但是它本质是基于距离的优化，而不是明确的采用基于排序的损失进行优化，这样会导致在相同的距离损失下，排在排序列表前面和排序列表后面的两项，他们产生的损失是一样的，但是在根据图像检索的目标，我们要尽可能保证前面的K项都是正确的，而排在后边的优先级则没有那么高。

发明内容

为解决上述问题，本发明提供了一种视觉检索的排序优化方法、装置、电子设备及存储介质，采用直接优化平均准确率作为损失函数的优化方法，有效克服基于距离的损失函数仅仅关注特征之间的相似度的缺陷，而不考虑加大对排序列表前列错误的结果进行加大惩罚，显著提高了视觉检索准确率。

为了实现上述目的，本发明提供的具体技术方案如下：

第一方面，本申请提供了一种视觉检索的排序优化方法，包括：

建立视觉实体数据库；

获取待查询视觉实体；

对所述待查询视觉实体和待搜索集合中的视觉实体进行特征提取，所述待搜索集合为所述视觉实体数据库中所有视觉实体的集合；