[发明专利]一种融合局部聚合描述符和局部线性编码的图像分类方法

说明书

本发明涉及一种融合局部聚合描述符和局部线性编码的图像分类方法，包括以下步骤：提取数据集中每张图像显著区域的局部特征；对提取的局部特征进行聚类，得到聚类字典；对图像显著区域的局部特征进行重构，累加每张图像中局部特征的重构系数；利用局部特征和聚类字典进行VLAD编码；将每张图像中累加的重构系数向量与VLAD编码进行融合；利用分类器对测试图像的融合编码进行分类。本发明充分考虑到了特征的重构信息对图像的有效表示以及VLAD编码对于图像的准确表达性能，提高了图像分类中的准确率。

技术领域

本发明涉及一种融合局部聚合描述符(VLAD)和局部线性编码(LLC)的图像分类方法，属于模式识别与信息处理技术领域。

背景技术

图像分类是计算机视觉、模式识别领域非常热门的研究方向，并且被广泛运用到很多领域，包括安防领域中的人脸识别、行人检测，交通领域中的交通标记识别、车牌检测和识别等。随着大数据时代的来临，图像数量不断增加，这使得图像分类面临巨大的挑战，因此在图像分类、检索等任务中，如何有效的表示一张图像显得至关重要。

早期的图像分类研究主要采用图像的颜色、纹理和形状等全局特征来表示图像，但是由于全局特征缺乏图像的局部信息，并且对光照变化、比例缩放等现象表现出较差的鲁棒性，于是一些基于局部不变特征的编码算法被提出来，例如，词袋(bag of words，BoW)、fisher vector(FV)、局部聚合描述符(vector of locally aggregateddescriptors，VLAD)等。

BoW算法基于投票方式将特征量化到最近邻字典，信息损失较多，但是BOW算法会忽略有关特征空间布局的信息，因此它无法捕获形状或定位对象。空间金字塔匹配(SPM)方法可用于将图像划分为越来越精细的空间子区域，并计算每个子区域的局部特征的直方图，但是SPM是一个很难投票的过程，所以编码的量化损失非常高。基于稀疏编码的SPM(ScSPM)使用稀疏编码策略对每个局部描述符进行编码。然而，当字典比较完备时，稀疏编码过程可能会为相似特征选择完全不同的视觉单词，从而失去了编码之间的相关性。为了确保相似的特征有相似的编码，有人提出了局部约束线性编码(LLC)，其引入了用于特征编码的局部约束。在LLC中,使用视觉字典中的多个视觉单词表示一个特征描述子的方式更加精确,且相似的特征描述子通过共享其局部的视觉单词,得到相似的编码,这使得ScSPM的不稳定性得到极大改善。

FV算法使用混合高斯模型(Gaussian mixture model，GMM)估计特征分布，能够较细致地描绘特征，但是计算量较大。VLAD作为FV的非概率版本，考虑了特征点每一维的值，对图像局部信息有更细致的刻画，并且计算量相对较小，已经被成功应用于图像分类和检索等任务中。但是，现有的VLAD编码对图像的表达不足。

发明内容

本发明的目的在于：针对现有技术存在的缺陷，考虑特征的重构信息对图像有效表示的性能，提出一种融合VLAD(局部聚合描述符)和LLC(局部线性编码)的图像分类方法，该方法能有效的提高图像分类的准确率。

为了达到以上目的，本发明提供了一种融合局部聚合描述符和局部线性编码的图像分类方法，包括以下步骤：

步骤1、建立包含一组测试图像的数据集，利用视觉显著性检测得到数据集中每张图像的显著区域，并提取每张图像显著区域的局部特征(SIFT特征)；

步骤2、对步骤1中获得的所有图像的局部特征进行聚类，得到关于局部特征的一个字典，聚类的个数为字典的大小；

步骤3、由步骤2得到的字典对步骤1中每张图像显著区域的局部特征进行重构，并将每张图像得到的重构系数进行累加，得到每张图像的重构系数向量；

步骤4、将步骤1得到的每张图像显著区域的局部特征和步骤2得到的字典采用VLAD算法进行编码，得到每张图像的VLAD编码；