[发明专利]一种利用全景图构建的视觉实例检索方法

权利要求书

1.一种利用全景图构建的视觉实例检索方法，其特征在于，主要包括卷积神经网络(CNN)描述符检索(一)；代表矢量集(二)；聚合数据集图像(三)；聚合查询图像(四)；全景图匹配(五)。

2.基于权利要求书1所述的基于全景图构建的视觉实例检索方法，其特征在于，该方法无人监督，有效提高了性能，而且通过聚合每个组中的各个图像的描述节省空间。

3.基于权利要求书1所述的CNN描述符检索(一)，其特征在于，通过由ImageNet训练的网络进行调整，能够获得特定的适合于实例搜索的描述符表示。

4.基于权利要求书1所述的代表矢量集(二)，其特征在于，计算一个集合中所有向量的和，给定表示为d×n矩阵，其中x_i∈R^d，总和存储向量定义为：

m(X)=X1n---(1)]]>

假设线性独立的列(n<d)，伪逆矩阵X⁺，由下式给出：

将总和存储向量(1)作为求和向量，将伪逆存储向量(2)称为关联向量。

5.基于权利要求书1所述的聚合数据集图像(三)，其特征在于，聚合数据集图像的主要目的是降低查询时间相似搜索的计算成本；数据集向量在离线过程中被分配给集合，并且每个集合由单个(存储器)向量表示；在查询时，计算查询向量与每个存储向量之间的相似度，并对其进行排序；查询只与属于顶级集合的数据库向量进行比较。

6.基于权利要求书1所述的聚合查询图像(四)，其特征在于，针对实例级对象检索研究查询图像的聚合，描述查询对象的多个图像，允许处理闭塞、视点变化、大小变化和其他变化；可用于查询向量的平均值或最大池、创建支持向量机(SVM)模型等；使用关联向量聚合查询向量可以提高搜索质量。

7.基于权利要求书5所述的全景图匹配(五)，其特征在于，对于每个可能的位置，给出一组涵盖全部360度视图的图像，连续图像具有重叠；通过隐式和显式两种方法构建全景图。

8.基于权利要求书7所述的隐式全景图的构建，其特征在于，通过聚合来自同一位置的图像的描述符来形成全景表示；假设数据集位置中的n个图像由d×n矩阵X表示，k个图像在查询位置由d×k矩阵Y表示；分析两个求和向量之间的相似性；

全景相似度由内积给出，如上式所示。

9.基于权利要求书8所述的全景相似度，其特征在于，针对向量的全景相似度由下式给出：

其中，G_X＝X^TX是X的格拉姆矩阵(内积的对称矩阵)；与公式(3)相比，加权和后验交叉匹配，权重由和给出。

10.基于权利要求书7所述的显式全景图的构建，其特征在于，根据局部尺度不变特征转换(SIFT)描述符和异常对象自动对齐、拼接和混合图像；拼接完成后，可以从全景图像中提取单个全局描述符，捕获整个场景。