[发明专利]一种利用全景图构建的视觉实例检索方法

说明书

技术领域

本发明涉及视觉实例搜索领域，尤其是涉及了一种利用全景图构建的视觉实例检索方法。

背景技术

随着多媒体、网络技术的迅速发展，图像、视频信息的应用日益广泛，对规模越来越大的图像和视频库、视觉信息进行有效的管理成为迫切人们需要解决的问题。近些年，深度学习在各种计算机视觉任务上都取得了重大的突破，其中一个重要因素就是其强大的非线性表示能力，能够理解图像更深层次的信息。其中，视觉实例检索是一个重要研究方向，它可以实现从候选的图片库中找到那些与查询图片包含相同物体的图片，这可以应用在商品搜索、车辆搜索和基于图像的地理位置识别等。移动商品图像搜索就是通过分析利用手机相机拍摄的商品照片，从商品库中找到相同或相似的商品。然而，原来的检索方法占用内存太多，查询时间长，计算成本也很高，所以，我们需要寻找更好的方法来实现搜索。

本发明提出了一种利用全景图构建的视觉实例检索方法，先通过卷积神经网络获得特定的适合于实例搜索的描述符表示，定义总和存储向量为求和向量，伪逆存储向量为关联向量，用聚合数据集图像降低查询时间相似搜索的计算成本，用关联向量聚合查询向量提高搜索质量，通过隐式和显式两种方法构建全景图。本发明中数据集图像的聚合提高了速度，扩大了内存，同时降低了性能损失；通过聚合每个组中的各个图像的描述来大大节省空间，同时降低了查询时间相似搜索的计算成本。

发明内容

针对占用内存太多，查询时间长，计算成本高等问题，本发明的目的在于提供一种利用全景图构建的视觉实例检索方法，先通过卷积神经网络获得特定的适合于实例搜索的描述符表示，定义总和存储向量为求和向量，伪逆存储向量为关联向量，用聚合数据集图像降低查询时间相似搜索的计算成本，用关联向量聚合查询向量提高搜索质量，通过隐式和显式两种方法构建全景图。

为解决上述问题，本发明提供一种利用全景图构建的视觉实例检索方法，其主要内容包括：

(一)卷积神经网络(CNN)描述符检索；

(二)代表矢量集；

(三)聚合数据集图像；

(四)聚合查询图像；

(五)全景图匹配。

其中，所述的基于全景图构建的视觉实例检索方法，该方法无人监督，有效提高了性能，而且通过聚合每个组中的各个图像的描述节省空间。

其中，所述的CNN描述符检索，通过由ImageNet训练的网络进行调整，能够获得特定的适合于实例搜索的描述符表示。

其中，所述的代表矢量集，计算一个集合中所有向量的和，给定表示为d×n矩阵，其中x_i∈R^d，总和存储向量定义为：

假设线性独立的列(n<d)，伪逆矩阵X⁺，由下式给出：

将总和存储向量(1)作为求和向量，将伪逆存储向量(2)称为关联向量。

其中，所述的聚合数据集图像，聚合数据集图像的主要目的是降低查询时间相似搜索的计算成本；数据集向量在离线过程中被分配给集合，并且每个集合由单个(存储器)向量表示；在查询时，计算查询向量与每个存储向量之间的相似度，并对其进行排序；查询只与属于顶级集合的数据库向量进行比较。

进一步地，所述的聚合查询图像，针对实例级对象检索研究查询图像的聚合，描述查询对象的多个图像，允许处理闭塞、视点变化、大小变化和其他变化；可用于查询向量的平均值或最大池、创建支持向量机(SVM)模型等；使用关联向量聚合查询向量可以提高搜索质量。

其中，所述的全景图匹配，对于每个可能的位置，给出一组涵盖全部360度视图的图像，连续图像具有重叠；通过隐式和显式两种方法构建全景图。

进一步地，所述的隐式全景图的构建，通过聚合来自同一位置的图像的描述符来形成全景表示；假设数据集位置中的n个图像由d×n矩阵X表示，k个图像在查询位置由d×k矩阵Y表示；分析两个求和向量之间的相似性；

全景相似度由内积给出，如上式所示。

进一步地，所述的全景相似度，针对向量的全景相似度由下式给出：

其中，G_X＝XTX是X的格拉姆矩阵(内积的对称矩阵)；与公式(3)相比，加权和后验交叉匹配，权重由和给出。

进一步地，所述的显式全景图的构建，根据局部尺度不变特征转换(SIFT)描述符和异常对象自动对齐、拼接和混合图像；拼接完成后，可以从全景图像中提取单个全局描述符，捕获整个场景。

附图说明