[发明专利]利用超图融合多模态信息的图像检索方法

说明书

本发明公开了一种利用超图融合多模态信息的图像检索方法，主要解决现有方法存在语义鸿沟，图像检索准确率低的问题。其实现方案是：1.提取每幅待检索图像的视觉内容、用户标签和地理位置三种模态信息；2.构建所有待检索图像三种模态信息的距离矩阵；3.根据三种不同模态信息下图像之间的距离，构建描述这三种模态信息之间关联的超图模型；4.根据超图模型顶点和超边的关系构建超图关联矩阵；5.根据不同模态信息下图像之间的距离构建超边权重矩阵；6.根据给出的待检索图像，基于超图模型对所有图像排序并返回检索结果。本发明能切实减小语义鸿沟，将图模型更好的应用于多模态信息，提升图像检索的实用性、灵活性和准确率，可用于海量图像检索领域。

技术领域

本发明属于图像处理技术领域，特别涉及一种图像检索方法，可用于海量图像检索领域。

技术背景

随着互联网上的图像数据信息越来越多，用户对网上图像搜索的要求也越来越多样化，查找和选择用户需要的信息变得越来越困难，因此图像搜索成为了学术界和业界关注的热门话题。

图像排序是图像搜索系统的核心。随着互联网上的图像越来越多，帮助用户从大量数据中查找相关图像的排序算法就变得很重要。

有许多基于图像内容的排序方法是从大型数据库中找到标志性的图像；其中一种典型的方法是匹配低级特征，构建图像簇，然后基于簇内的相似性识别选择最具代表性的图像；另一种方法是直接估计图像的密度模型，即将密度模型分布的高峰图像作为标志性的图像。

近年来，基于图的排序方法越来越流行，其中一种典型的方法是构建图，图的顶点表示图像，图的边表示两个图像之间的视觉相似性，然后使用标准的图像挖掘技术来识别选择“权威”的顶点，也就是图像。

通常，基于图像内容的排序方法得到的结果不尽人意，存在语义鸿沟问题；而在已有的一些基于图的排序方法中，尽管已经考虑了多模态信息，但是传统基于图的排序方法方法只能捕获成对的图像关系，很难描述作用于多个图像上的多元关系，得不到准确的排序结果。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种利用超图融合多模态信息的图像检索方法，以减小语义鸿沟，提高图像检索的准确率；

为实现上述目的，本发明的技术方案包括如下：

(1)提取每一幅待检索图像的视觉内容、用户标签和地理位置三种模态信息；

(2)对于每一种模态信息，采用不同的距离测量方法计算图像之间的距离，并构建所有待检索图像的视觉内容距离矩阵D₁、用户标签距离矩阵D₂和地理位置距离矩阵D₃；

(3)根据三种不同模态信息下的图像之间的距离，构建描述这三种模态信息之间关联的超图模型；

(4)根据超图模型的顶点和超边的关系构建关联矩阵H_k，H_k表示第k种模态信息下的关联矩阵，k＝1,2,3，将三个关联矩阵H_k按列连接构建超图关联矩阵H；

(5)在三种不同模态信息下，利用图像与图像之间的距离，计算得到不同模态的超边权重进而构建权重矩阵W_k，再将三种模态信息的W_k的对角线相接形成新的对角矩阵W；

(6)根据用户给出的待检索图像设置超图模型的查询顶点，在步骤(3)构建的超图模型上，基于查询顶点利用超图关联矩阵H和对角矩阵W计算其它图像的排名分数并按照从高到低的顺序排序，返回前N个图像，即为检索结果，N的范围是[1,+∞)。

本发明的有益效果如下：

1.提升了图像检索的实用性。