[发明专利]一种结合语义特征的ERVQ图片索引与检索方法

说明书

本发明公开了一种结合语义特征的ERVQ索引，包括以下步骤：准备训练索引的图片集P1和待索引图片集P2，对P1提取低层特征(SIFT、SURF等)，使用残差量化索引(RVQ)训练方法训练得到一个L层的RVQ码书Codebook1，使用ERVQ优化方法调整Codebook1生成码书Codebook2，将码书Codebook2多层质心一一组合构建索引字典，将索引字典每个索引项上根据语义划分成多个倒排链表结构，对P2提取低层特征和语义特征，根据低层特征找到索引项，根据语义特征插入到对应的倒排链表中，查找过程为：对查询图片提取低层特征和语义特征，根据低层特征找到索引项，根据语义找到索引项上倒排链表，最后对返回的多条链表图片排序。本发明的索引结构能够提高基于内容的图片查询结果的精度，并有效减少查询时间。

技术领域

本发明属于计算机视觉、多媒体索引领域，更具体地，涉及一种结合语义特征的ERVQ图片索引与检索方法。

背景技术

基于内容的图片搜索是当今研究的热点之一，由于互联网上图片数目庞大，要实现快速图片检索，就必须要构建一个高效的索引结构。图片索引的第一步是提取描述特征，图片的描述特征维度通常很高(如尺度不变特征变换(Scale-invariant featuretransform，SIFT)特征有128维)，要在如此高维度上建立高效索引成为很大挑战。

图像索引结构目前主要有三个类别：树型结构索引、哈希索引和基于视觉单词的倒排索引。树形结构索引当向量维度过高时会面临“维度灾难”，并且占用很大内存空间，索引效率下降。哈希索引难以确定合适的哈希函数使其使用范围受限。基于倒排链表的增强型残差量化索引ERVQ由于其索引效率高、占用内存少的优点正逐步受到学者重视。

积量化(Product Quantization,PQ)索引将一个描述向量划分为几个子向量，并对这些子向量独立编码，在子向量特征空间使用K-means方法训练量化器。当使用k位量化器时，可以表示2^k个质心。假设一个描述向量被划分为m个子向量，每个子向量被相应的量化器量化，量化器查找每个子向量最近的质心并使用该质心的编码来描述该子向量，然后将m个子向量的编码合并来表示原始描述向量(km位)。与直接把原始向量描述量化相比，PQ使用了更少的质心，因此减少了内存使用量。基于积量化的最近邻搜索方法对高维向量数据库的压缩和检索效率都非常高，但是当处理非结构化向量时正确率受到向量拆分方式的限制。残差量化(Residual Vector Quantization,RVQ)索引结构直接使用量化器的前L层作为索引的粗量化。如果每一层量化为k个质心，那么就会产生k^L个倒排链表。这一过程比PQ更高效，使用量化器的前L层给描述向量编码，描述向量的id和RVQ编码插入到对应的倒排链表中。给定一个查询向量，通过计算其前L层的RVQ编码来找到候选集，然后与PQ类似，使用非对称距离计算来快速计算剩余向量与候选集的精确距离，最后根据距离大小排序。与构建RVQ索引类似，Babenko Artem等提出一种倒排多索引结构，这种索引结构是基于PQ的多维表结构。相比PQ索引，RVQ对数据的结构性没有要求，能在非结构化数据上仍然取得不错的检索结果，并且其搜索过程更快速高效。Ai Liefu等对RVQ码书的训练过程进行迭代优化，提出了增强型残差量化(Enhanced Residual Vector Quantization,ERVQ)索引，减少了索引向量的量化误差，使得索引结果更加精确。

由于“语义鸿沟”的存在，目前的索引都是基于图片低层特征(SIFT、SURF(SpeededUp Robust Features,加速稳健特征)和颜色特征等)，未考虑语义特征，导致索引检索结果不太理想。当用户输入左半场球场图片检索时，结果可能是中场或者右半场结果。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种结合语义特征的ERVQ索引结构与索引检索算法，旨在解决现有方法中存在的检索结果不准确的问题。

为实现上述目的，本发明提供了一种结合语义特征的ERVQ索引结构与索引检索算法，包括以下步骤：