[发明专利]一种基于缺失多模态哈希的社交图像检索方法及系统

权利要求书

1.一种基于无监督缺失多模态哈希的社交图像检索方法，其特征在于，包括以下步骤：

获取多模态检索数据，构造训练集、测试集和数据库集，每个样本均包括成对的图像和文本两个模态的数据，并对训练集、测试集和数据库集分别构造缺失数据集；

将训练集中的两个模态的原始数据分别输入到所构建的深度特征提取模型中进行多模态提取，将提取后的多模态特征利用高斯核函数映射到低维空间进行非线性特征表示；

根据非线性特征表示的训练集的多模态特征，构造训练集的基于无监督缺失多模态哈希的目标函数；

采用迭代求解算法求解上述目标函数，得到社交图像和文本的基矩阵与转换矩阵；

构造并利用在线模态缺失哈希的目标函数，根据计算得到的社交图像和文本的基矩阵与转换矩阵，获取测试集和数据库集中样本的哈希码，计算每个测试样本的哈希码与数据库集样本的哈希码之间的汉明距离，数据库集样本按其对应的汉明距离升序排序，得到检索结果；

基于无监督缺失多模态哈希的目标函数，具体为：

f₁:

s.t.H＝[H_c；H⁽¹⁾；H⁽²⁾],B＝[B_c；B⁽¹⁾；B⁽²⁾]∈{-1,1}^n×r；

在线模态缺失哈希的目标函数，具体为：

s.t.H＝[H_c；H⁽¹⁾；H⁽²⁾],

其中，和是n_c个完全成对的图像-文本对，是n₁个缺失相应社交标签描述的社交图像，是n₂个缺失图像的标签，d₁和d₂分别是图像和文本特征的维度，是单模态特征x_i的高斯核函数，H_c是共享潜在表示，H^(l)为独特潜在表示，H⁽¹⁾和H⁽²⁾分别是图像和文本特征的独特潜在表示，U₁和U₂分别是社交图像和文本的基矩阵，W是转换矩阵，B是学习到的共享哈希码，μ₁和μ₂是动态权重，θ是平衡参数，λ是正则化参数，r是哈希码的长度，n是训练集中全部样本数量，B_c是图像-文本对对应的哈希码，B⁽¹⁾是缺失的图像数据对应的哈希码，B⁽²⁾是缺失的文本数据对应的哈希码，U_l为基矩阵。

2.如权利要求1所述的基于无监督缺失多模态哈希的社交图像检索方法，其特征在于，对于社交图像模态，将其输入到VGG-16网络模型中，提取多维的图像特征；对于文本模态，将标签利用词袋模型提取多维的文本特征。

3.如权利要求1所述的基于无监督缺失多模态哈希的社交图像检索方法，其特征在于，将图像-文本对数据进行投影，得到共享潜在表示H_c，将仅存在于图像模态或标签模态中的缺失数据投射到各自的潜在语义空间中，得到独特潜在表示H⁽¹⁾和H⁽²⁾。

4.如权利要求1所述的基于无监督缺失多模态哈希的社交图像检索方法，其特征在于，计算每个测试样本的哈希码与数据库集样本的哈希码之间的汉明距离，具体为：给定一个测试样本，计算该测试样本的哈希码跟数据库集中的所有样本的哈希码之间汉明距离，然后数据库集样本按照汉明距离排序，跟测试样本距离小的排在前面，距离大的排在后面，从而验证准确度。