[发明专利]一种结合语义特征的ERVQ图片索引与检索方法

权利要求书

1.一种结合语义特征的增强型残差量化ERVQ索引与检索方法，其特征在于，包括以下步骤：

(1)准备用于训练索引的图片集P1，以及待索引图片集P2；

(2)对图片集P1提取低层特征，得到特征向量集F；

(3)使用残差量化索引训练方法训练特征向量集F得到一个L层的残差量化RVQ码书Codebook1；

(4)使用增强型残差量化ERVQ条件联合优化方法调整Codebook1，得到优化后的码书Codebook2；

(5)将码书Codebook2多层质心一一组合构成索引字典；

(6)将索引字典每个索引项根据语义划分成多个倒排链表结构；

(7)对待索引图片集P2中的每个图片提取低层特征和语义特征，根据低层特征找到索引节点，根据语义特征将图片ID插入到对应的倒排链表中；

(8)将查询图片提取低层特征和语义特征，根据低层特征找到索引节点，根据语义特征找到对应的倒排链表，对链表图片排序返回结果。

2.根据权利要求1所述的结合语义特征的增强型残差量化ERVQ索引与检索方法，其特征在于，所述步骤(3)具体包括以下子步骤：

(3-1)使用K-means算法对F聚类，聚成K个类别，对应的聚类中心为C_i；

(3-2)把F减去每个向量对应的聚类中心，得到残差E_i，令F＝E_i；

(3-3)重复步骤(3-1)至(3-2)L次，记录每一层的聚类中心C_i得到一个L层的码书Codebook1。

3.根据权利要求1或2所述的结合语义特征的增强型残差量化ERVQ索引与检索方法，其特征在于，步骤(4)包括以下子步骤：

(4-1)从码书Codebook1的第一层开始，在调整到当前层时把其它层作为已知层，将特征向量集F作为输入向量集减去其它所有层的量化结果得到X’；

(4-2)X’根据上一次在当前层的聚类结果，将聚类到聚类中心i的所有向量计算平均值更新该聚类中心；

(4-3)重新量化输入向量集X，然后继续调整下一层；

(4-4)重复步骤(4-1)-(4-3)，每调整完一次计算量化后的向量集和原始特征向量集F的平均平方差MSE值，当平均平方差MSE值不再减小或者调整次数达到了预设的最大次数便结束调整；

(4-5)保存聚类中心结果为码书Coodebook2。

4.根据权利要求1或2所述的结合语义特征的增强型残差量化ERVQ索引与检索方法，其特征在于，步骤(5)中由各层码书聚类中心编码到索引项ID计算公式如下：

上式中的M为增强型残差量化ERVQ码书层数，K为每一层码书聚类中心个数，C_x,i为向量x(x∈F)在第i层码书Codebook2中的编码。

5.根据权利要求1或2所述的结合语义特征的增强型残差量化ERVQ索引与检索方法，其特征在于，步骤(6)中索引项根据语义特征分割成多个倒排链表，链表只保存图片的ID，不存储其它层量化编码信息。

6.根据权利要求1或2所述的结合语义特征的增强型残差量化ERVQ索引与检索方法，其特征在于，所述步骤(7)具体包括以下子步骤：

(7-1)将待索引图片提取低层特征F_L和语义特征F_S；

(7-2)F_L使用基于下限的查找方法快速找到最近的索引项；

(7-3)根据F_S值将图片ID插入到索引项的对应链表。

7.根据权利要求1或2所述的结合语义特征的增强型残差量化ERVQ索引与检索方法，其特征在于，步骤(7)中查找码书中每一层最近质心采用基于下限的最近邻查找方法，加快查找速度。