[发明专利]协变局部特征聚集的图像特征表示法

说明书

协变局部特征聚集的图像特征表示法，涉及计算机视觉与多媒体信息检索。提取图像局部特征；离线训练一个小的视觉词汇集合；将每幅图的局部特征用简化的费舍尔核方法进行聚集；聚集时，同时考虑每个局部特征的主方向信息,将主方向分为8个量化区间，根据量化后的主方向值，聚集到不同的费舍尔子向量，8个子向量拼接为一个长向量，作为图像的特征表示；将8个费舍尔子向量重组得一系列8维的子向量。对每个子向量进行一维离散余弦变换，变换到该特征的频率域；再对频率域的特征重组，得不同频段的8个子向量，对每个子向量做主成分分析，再对降维后的8个子向量重组得一系列8维的子向量；在子向量上定义相似度度量，以计算图像两两间的相似度。

技术领域

本发明涉及计算机视觉与多媒体信息检索，具体是涉及协变局部特征聚集的图像特征表示法。

背景技术

随着Web 2.0的引入以及各种便携式移动多媒体设备，如智能手机、iPad、数码照相机等的普及，互联网上有着数以千亿的多媒体资源。这些多媒体资源，主要以图像和视频的形式存在。据2014年的统计，每分钟就有超过3300幅照片上传到全球最大的照片分享网站Flickr上。Flickr所维护的照片总数已经超过了70亿张。在国内最大的视频分享网站YouKu，其视频总数在2010年已经达到4500万个，日均上传6万个。注意到以上照片和视频分享网站的数据规模仍以较快速度增长。面对互联网海量多媒体数据，如何对其进行有效的组织、管理允许用户以便捷的方式检索及浏览成为一个亟待解决的问题。

目前，对于基于内容的图像检索的解决方法主要有两种思路。一种是基于词袋模型，另一种是基于费舍尔核的方法(即把局部特征全局化)。前者的优点是便于加入各种对检索结果的优化方案，例如加入各种视觉和几何验证，缺点是所需存储空间较大。计算复杂度与数据集所衍生的局部特征总数呈线性关系。这通常比图像库大小本身大三个数量级。当图像库达到百亿级时，计算的时间和空间代价都非常大。

基于费舍尔核的方法将局部特征聚集为一个高维向量。其具体方法是总体上可以分为两个步骤。首先从图像提取局部特征，图像被表示为一个局部特征集；接着把一个输入局部特征量化到一个视觉词汇并进行累集。在第二步中，累集操作只针对局部特征同其对映的词汇之间的差值。最终，对一幅图，得到一个长德向量表示。这个向量被称为局部累集特征向量。注意到，这里需要一个视觉词汇。通常使用的视觉词汇从几十个到几百个，远小于采用视觉词汇量化方法时使用的视觉词汇数目。该方法的优点是可以很大程度上压缩图像局部特征。当同主成分分析方法结合时，这个长向量可以大幅降维，同时保持较高的可区分性。当进一步与积量化的最近邻检索算法结合时，该表示方法可以有效降低内存消耗。

发明内容

本发明的目的在于提供一种协变局部特征聚集的图像特征表示法。

本发明包括以下步骤：

1)提取图像的局部特征，采用描述子进行描述，一幅图像被表示为一系列描述子的集合χ，同时获得每个局部特征的主方向θ；

2)用一个独立的图像集，提取并收集其局部特征，从而生成一个由描述子组成的矩阵；采用K平均聚类算法，获得K个聚类中心，K一般设为32至64之间的一个整数值，K个聚类中心作为视觉词汇集C＝{c_1...K}；

3)采用如下公式(1)对一幅图的每个局部特征进行简化的费舍尔聚集：

其中，q(x)在C中找到最近邻c_i,b＝B(θ)；c_i为视觉词汇集C＝{c_1...K}中离局部特征x(x∈χ)最近的视觉词汇；函数B(θ)对图像局部特征x的主方向θ进行量化，主方向量化为8个量化区段，公式(1)将一个图像的一系列描述子转化为一个长的向量Y表示，根据主方向的量化值，长向量又分为多个子向量，由于使用8个量化区段，因此有8个子向量，即Y＝{P¹,P²,...,P⁸}；