[发明专利]一种图像检索中视觉单词的提取方法

说明书

技术领域

本发明属于多媒体信息检索、数据挖掘和模式识别等信息检索领域，具体涉及一种图像检索中视觉单词的提取方法。 

背景技术

基于内容的图像检索技术通过对图像颜色、纹理、形状等特征进行分析进行检索，检索结果在视觉上体现出与查询图像的相关性。图像的视觉特征可以分为全局特征和局部特征向量。全局图像特征表达了图像整体特征的全局统计，对图像中物体的位置和尺度变化等较为敏感，如颜色直方图、图像纹理分布或者图像区域的形状特征等。图像的局部特征向量一般是基于图像中具有丰富的纹理的点或者区域的位置、方向、尺度等参数，对每个特征点或区域的周围提取图像块中所有像素的统计量的描述。常用的局部特征向量描述包括基于梯度直方图的SIFT(尺度不变特征变换)、GLOH(梯度位置及方向直方图)等，它们不但具有很强的可区分性，可以区分不同的图像内容，同时也能容忍一定程度的图像噪声与特征检测带来的误差。 

目前多数前沿的基于局部特征向量的图像检索或分类利用图像的视觉词袋模型来实现系统的可扩展性。视觉词袋模型预先利用训练图像的局部特征向量形成“视觉词表”，并利用该“视觉词表”对图像局部特征向量进行量化，将相似的图像局部特征向量近似的表示为它们的聚类中心-“视觉单词”。由此，图像被表示为一组“视觉单词”的集合。随后，人们利用倒排索引表存储图像的“视觉单词”，并利用文本检索中的TF-IDF模型对图像进行检索。 

可以看到在基于局部特征的图像检索中，视觉单词量化结果对于最终的检 索结果有着重大的影响。 

通常的视觉单词表示方法采用k-means算法对特征样本训练集进行聚类，每一个聚类中心对应于一个视觉单词，所有视觉单词组成视觉词典。Jurie等人结合在线聚类和Mean-Shift两种方法的有点，产生更加均匀的视觉单词；Nister等人通过层级k-means方法构造视觉单词树，在图像表示过程中使用更多的视觉单词成为可能；Moosmann等人考虑随机森林算法，能有效的提高视觉词典的生成效率。 

图像的局部特征向量维数较高，在进行向量之间的相似性比较时承受着维数灾难：随着维数的增加，局部特征的向量分布变得稀疏，并且大部分向量产生高相关距离。这就降低了视觉模式的比较性和普适性。 

二值化后的局部特征增强了局部特征向量的空间利用率，并保持了局部特征向量的稳定性和信息量。但之前的研究中没有对二值化后的局部特征向量进行视觉单词提取的。 

参考文献 

1.J.Philbin，O.Chum，M.Isard，J.Sivic，and A.Zisserman.Object retrieval with large vocabularies and fast spatial matching.In Proc.CVPR，2007. 

2.J.Sivic and A.Zisserman，Video Google：A Text Retrieval Approach to Object Matching in Videos，Proc.Ninth Int’l Conf.Computer Vision，2003，pp.1470-1478. 

发明内容

本发明的目的在于提出一种基于二值化后的局部特征向量视觉单词提取的方法，通过对图像库中的局部特征向量集合进行二值化，得到特征独特性和信息量保持的二值局部特征向量，在向量空间上提高特征的空间利用率，有利于提高视觉单词的独特性，并通过快速计算二值特征的汉明距离在之后的检索或 分类应用中提高计算的速度和减小存储的代价。 

本发明的总体思想如下：首先提取图像库中所有图像的局部特征向量，进行抽样得到局部特征向量向量集合，对特征向量集合中的特征进行统计分析，得到局部特征向量每个维度上的中值，保存中值并将中值作为阈值对所有局部特征向量进行二值化，之后对图像库的局部特征向量向量集合进行聚类，将聚类中心作为视觉词表。利用之前保存的特征维度上中值作为阈值，将视觉词表对应的局部特征向量向量进行二值化。在提取每幅图像的视觉单词时，首先利用维度中值将单幅图像上的局部特征向量向量集合进行二值化，然后将二值局部特征向量向量在二值视觉词表中查找最近邻，将最近邻的视觉单词作为该局部特征向量向量最终对应的视觉单词。 

具体创新点：本方法将利用二值化特征提高向量空间利用率来增强局部特征向量向量的独特性，保持了局部特征向量的信息量和独特性，进而提高视觉单词的独特性，又提高了特征的计算效率和存储效率。 

本发明的具体方法步骤为：