[发明专利]利用超图融合多模态信息的图像检索方法

权利要求书

1.一种利用超图融合多模态信息的图像检索方法，其特征在于，包括:

(1)提取每一幅待检索图像的视觉内容、用户标签和地理位置三种模态信息；

(2)对于每一种模态信息，采用不同的距离测量方法计算图像之间的距离，并构建所有待检索图像的视觉内容距离矩阵D₁、用户标签距离矩阵D₂和地理位置距离矩阵D₃；

(3)根据三种不同模态信息下的图像之间的距离，构建描述这三种模态信息之间关联的超图模型；

(4)根据超图模型的顶点和超边的关系构建关联矩阵H_k，H_k表示第k种模态信息下的关联矩阵，k＝1,2,3，将三个关联矩阵H_k按列连接构建超图关联矩阵H；

(5)在三种不同模态信息下，利用图像与图像之间的距离，计算得到不同模态的超边权重进而构建第一权重矩阵W_k，再将三种模态信息的W_k的对角线相接形成超边权重矩阵W；

(6)根据用户给出的待检索图像设置超图模型的查询顶点，在步骤(3)构建的超图模型上，基于查询顶点利用超图关联矩阵H和对角矩阵W计算图像的排名分数并按照从高到低的顺序排序，返回前N个图像，即为检索结果，N的范围是[1,+∞)。

2.如权利要求1所述的方法，其特征在于，步骤(1)中提取每一幅待检索图像的视觉内容、用户标签和地理位置三种模态信息，按如下步骤进行：

1a)提取待检索图像的视觉内容，即图像的HSV颜色直方图、Gist特征、Sift特征，得到视觉内容模态信息；

1b)将数据集中所有标签转换成小写，得到唯一的词典，并利用直方图统计标签的出现概率，删除图像库中频率小于1的标签，得到标签集，即为用户标签模态信息；

1c)根据每幅图像的地理标注信息得到图像的拍摄地点坐标，该地点坐标的经度和纬度信息即为图像的地理位置模态信息。

3.如权利要求1所述方法，其特征在于，步骤(2)中构建所有待检索图像的视觉内容距离矩阵D₁，是根据图像视觉内容模态信息，先计算两两图像间的曼哈顿距离，再用两两图像间的曼哈顿距离组成视觉内容距离矩阵D₁，D₁的行和列是所有待检索图像的总数n，D₁中的第i个图像和第j个图像之间的曼哈顿距离为D₁(i,j)，i∈(0,n)，j∈(0,n)，i≠j。

4.如权利要求1所述方法，其特征在于，步骤(2)中构建所有待检索图像的用户标签距离矩阵D₂，是先提取用户标签模态信息，再利用Skip-gram模型将用户标签模态信息映射到向量空间，得到每个用户标签的向量；然后利用两两图像的用户标签向量计算两两图像的欧式距离；最后用两两图像的欧式距离组成用户标签距离矩阵D₂，D₂的行和列是所有待检索图像的总数n，D₂中的第i个图像和第j个图像之间的欧氏距离为D₂(i,j)，i∈(0,n)，j∈(0,n)，i≠j。

5.如权利要求1所述方法，其特征在于，步骤(2)中构建所有待检索图像的地理位置距离矩阵D₃，是先提取地理位置模态信息，再利用Vincenty公式计算两两图像的地理位置距离，最后用两两图像的地理位置距离组成地理位置距离矩阵D₃，D₃的行和列是所有待检索图像的总数n，D₃中的第i个图像和第j个图像之间的地理位置距离为D₃(i,j)，i∈(0,n)，j∈(0,n)，i≠j。