[发明专利]基于词汇树层次语义模型的图像检索方法

摘要

本发明公开了一种图像检索方法，基于词汇树层次语义模型实现。首先提取图像包含颜色信息的SIFT特征来构造图像库的特征词汇树，生成描述图像视觉信息的视觉词汇。并在此基础上利用Bayesian决策理论实现视觉词汇到语义主题信息的映射，进而构造了一个层次语义模型，并在此模型基础上完成了基于内容的语义图像检索算法。通过检索过程中用户的相关反馈，不仅可以加入正反馈图像扩展图像查询库，同时能够修正高层语义映射。实验结果表明，本发明的检索方法性能稳定，并且随着反馈次数的增加，检索效果明显提升。

主权项

1.一种基于词汇树层次语义模型的图像检索方法，提供用于检索的图像库和待检索的图片，其特征在于，包括下列步骤：(1)提取图像库中所有图片的SIFT特征，得到特征集合；(2)构建词汇树，方法是：设定聚类个数K，树的深度P，对步骤(1)获得的特征集合进行分层聚类，第一层获得K个聚类，作为词汇树的K个子节点，计算出每个子节点的中心向量；对每个子节点分别进行聚类，每一子节点生成K个下一层的子节点，并计算出每个子节点的中心向量；不断重复直到树的深度达到预设值P，获得SIFT词汇树；其中，K取5～10的整数，P取3～6的整数；(3)将图像库中的图片与词汇树进行关联：词汇树的叶节点个数为M=K×P，每个叶节点具有中心向量C_m，其中，m为1～M的整数，将每个叶节点称为一个视觉词汇单词W_m，图像库中的总图片数为N，其中每个图片称为一个文档F_i，i是1～N的整数，则文档F_i和视觉词汇单词W_m的相关度为Weight(i,m)=NUMi_m×idf_m，式中，NUMi_m表示视觉词汇单词W_m在图片文档F_i中出现的次数，N_m表示视觉词汇单词W_m一共包含的图片文档数目；计算每个图片与词汇树的每个叶节度的相关度，完成图片与词汇树的关联；(4)设定图像库的语义主题信息集，先采用人工标注的方法将图像库中的图片分类至语义主题信息集中的各语义主题信息；再利用Bayesian统计决策理论实现视觉词汇层到语义信息层的映射，映射方法为，每个视觉词汇单词和语义主题信息间的映射概率为：式中，q_n表示当前语义主题信息，y_m表示当前视觉词汇单词的中心向量，y_i表示第i个视觉词汇单词的中心向量，f(y_i)是第i个视觉词汇单词对应语义主题信息节点q_n的图片数目与总的图像库中图片数目N的比值，G(y_m,y_i,δ)是Gaussian核函数，δ是平滑参数；(5)提取待查询图片的SIFT特征，得到具有n个特征点的特征向量T={t₁,t₂......t_n}；(6)将待查询图片的SIFT特征量化到SIFT词汇树的m个视觉词汇单词上，形成一个m维的特征向量V={v₁,v₂......v_m}，方法为：将待查询图片提取到的SIFT特征点向量对词汇树逐层的节点进行欧氏距离计算，找到每层上最相近的节点作为匹配节点；对提取到的n个特征点进行匹配操作，对于每一个视觉词汇单词节点，累计待查询图片中特征点与该节点的匹配次数NUM_m，利用生成词汇树时产生的视觉词汇单词节点的值idf_m，计算出待查询图片与视觉词汇单词节点的相关程度w_m，最终形成一个m维的特征向量V={v₁,v₂......v_m},其中w_i=v_i；(7)利用在视觉词汇层上量化后的特征向量V={v₁,v₂......v_m}，与图像库中所有图片在视觉词汇层上量化结果进行欧氏距离计算，和每张图片V'={v₁',v₂'......v_n'}得到一个匹配值Wt₁：Wt1=(v1-v1′)×(v1-v1′)+(v2-v2′)×(v2-v2′)+......+(vn-vn′)×(vn-vn′);]]>(8)根据步骤(6)中计算得到的NUM_m，利用所建立的主题信息语义映射的Bayesian模型，计算得到主题语义信息集合对应的概率值集合q={q₁,q₂......q_n}，式中，n是主题语义信息的个数，q_n为待查询图片属于该主题语义信息的概率；(9)对于步骤(8)中生成的集合q={q₁,q₂......q_n}，和图像库中每张图片的语义特征q'={q₁',q₂'......q_n'}进行欧氏距离的计算，得到匹配值记为Wt₂：Wt2=(q1-q1′)×(q1-q1′)+(q2-q2′)×(q2-q2′)+......+(qn-qn′)×(qn-qn′);]]>(10)待查询图片与图像库中的每张图片的相似度定义为Weight=g×Wt₁+Wt₂，式中，g的取值范围是8～12，Weight的值越小，待查询图片与该图片越近似，检索结果排位越前，由此实现图像的检索。