[发明专利]一种融合空间信息的图像特征聚合表示方法及系统

说明书

技术领域

本发明属于多媒体检索领域，特别涉及一种融合空间信息的图像特征聚合表示方法及系统。

背景技术

随着互联网和移动互联网的飞速发展，人们面临的问题不再是缺乏多媒体信息，而是如何找到自己真正所需要的信息。传统的图像检索是基于文本的图像检索，其典型框架是首先对图像用文本进行注解，然后用基于文本的数据库管理系统进行图像的检索，检索操作是基于该图像的文本描述进行精确匹配或概率匹配。然而，文本注解工作基本上都是人工进行的，而人工标注往往具有主观性、不完整性和不准确性，于是基于内容的图像检索技术应运而生，其主要思路是：从图像中分析提取底层视觉特征，利用这些特征来描述每一幅图像，并以此衡量图像之间的相似程度以实现基于内容的检索。

现有的图像特征主要分为局部特征和全局特征两大类。局部特征因其局部性而对遮挡、重叠等情况具备良好的鲁棒性，但计算复杂度和空间复杂度都较高；全局特征提取速度快，存储占用少，但对插入logo,内容裁剪等变换鲁棒性不足。所以局部特征和全局特征都有各自的优点，从而近些年，结合全局特征和局部特征的方法引起了广泛研究，如：BoW(Bag-of-Words)，VLAD(Vector of Locally Aggregated Descriptors)和Fisher Vector，这类方法都是通过聚合一部分局部特征的统计信息来生成最终的全局特征。针对每幅图片，BoW首先提取局部特征(如SIFT)，然后把这些局部特征聚类到视觉单词，并统计属于每个视觉单词的特征个数，从而形成全局的特征向量。但BoW只统计了每个视觉单词的出现次数，所以在区分性上存在局限性。为了进一步提高检索精度，Jegou等人提出了VLAD(局部聚合描述子)，也是一种图像特征聚合表示方法。与BoW不同的是，该算法并不统计视觉单词的词频信息，而是通过聚合局部特征与局部特征对应的视觉单词的残差信息来形成最终的全局特征，所以VLAD更具区分性，对裁剪、插入logo有更强的鲁棒性。

但是VLAD没有考虑局部特征的其他信息，如：主方向，空间信息等。由于VLAD是全局特征，而空间信息是具体到某个局部特征的，所以将局部特征的空间信息融入到最终生成的全局特征中是比较困难的。

发明内容

为了解决上述问题，本发明的目的在于，提供一种融合空间信息的图像特征聚合表示方法及系统，其能够克服上述现有技术没有融入局部特征空间信息的问题，降低误匹配，进一步提高图像检索精度。

本发明提出一种融合空间信息的图像特征聚合表示方法，该方法包括：

局部特征提取步骤，对于图像库中的每幅图像分别提取其局部特征，并对所述局部特征的集合进行聚类，将聚类中心作为视觉单词；

特征表示步骤，将每幅图像在空间上划分为多层，使每一层被划分为若干个子区域，并通过将每一层属于同一个子区域的所述局部特征量化为对应的所述视觉单词并聚合所述局部特征与对应的所述视觉单词的残差信息的方式生成局部聚合描述子特征向量；然后对该局部聚合描述子特征向量进行归一化处理；

图像匹配步骤，为所述图像的每一层赋予权重，通过将两幅图像的每一层的所述局部聚合描述子特征向量集的内积乘以对应的所述权重后进行累加来计算两幅图像的相似度。

本发明所提出的融合空间信息的图像特征聚合表示方法，其中，在所述特征表示步骤中，对所述图像进行区域划分的方法为：

使第l层沿图像的纵向和横向等间隔划分为2^l×2^l个子区域。

本发明所提出的融合空间信息的图像特征聚合表示方法，其中，在所述特征表示步骤中，所述生成局部聚合描述子特征向量的步骤具体为：

局部特征量化步骤，将子区域内的每个局部特征量化到对应的视觉单词μ_i，

其中||.||₂表示L₂范数，q(x)为量化函数，x表示局部特征，C代表所述视觉单词的集合，表示d维的实空间；

残差信息统计步骤，统计局部特征与其对应视觉单词的残差信息，

其中xinc表示局部特征x的位置在子区域c中，x：q(x)＝μ_i表示局部特征x被量化到第i个视觉单词μ_i，i表示视觉单词的序号。

本发明所提出的融合空间信息的图像特征聚合表示方法，其中，在所述特征表示步骤中，对该局部聚合描述子特征向量进行归一化处理的具体过程包括：