[发明专利]基于语义迁移的弱监督深度哈希社交图像检索方法和系统

权利要求书

1.基于语义迁移的弱监督深度哈希社交图像检索方法，其特征在于，包括：

获取待检索的社交图像，以及获取社交图像的图像标签，构造包含图像标签的图像数据库，并划分为训练集、测试集和数据库集；

构建深度哈希网络并进行网络参数初始化；

将训练集输入到所构建的深度哈希网络中，获取图像特征沿着网络继续传输，得到Φ(x_i；Θ)，其中表示特征表示部分的网络参数，Θ表示整个深度哈希网络的参数，x_i表示训练集中第i个样本；

根据训练集的图像特征、图像标签和深度哈希网络的输出Φ(x_i；Θ)，分别构建图像视觉相似性保存、直接语义迁移和间接语义迁移的损失函数，以及深度哈希网络的量化损失函数，整合得到整体的目标函数；

所述构建深度哈希网络并进行网络参数初始化包括：将特征表示和哈希函数学习整合到深度哈希网络中，采用VGG-16模型作为深度哈希网络，并使用预先训练的权值对其进行初始化，在VGG-16模型中，卷积层和前两个全连接层构成特征表示部分，用于获取社交图像特征，最后一个全连接层的神经元数目设置为哈希码长度，并选择tanh函数作为激活函数，整个深度哈希网络作为哈希函数学习部分；

所述图像视觉相似性保存通过构建相似度图保存社交图像间的视觉关联，将相似图像映射到汉明空间的哈希码中，通过设置锚点获得相似度矩阵；

所述直接语义迁移引入语义迁移矩阵，用于将哈希码与图像标签进行关联，通过最小化哈希码与图像标签的映射向量之间的差异学习语义迁移矩阵，通过L_2,1范数过滤有噪音的标签；

所述间接语义迁移构造图像-概念超图间接传递社交图像的语义关联，将图像标签中的语义迁移到哈希码中，合并特征矩阵和标签矩阵，利用迭代求解的聚类分析算法对合成后的矩阵进行概念探测，将图像定义为顶点，将概念定义为超边，构建图像-概念超图；

求解目标函数，利用反向传播和随机梯度下降算法更新网络参数，直至达到迭代次数，从而得到哈希函数；

利用哈希函数获取测试集和数据库集中社交图像的哈希码，计算每个测试集样本的哈希码与数据库集样本的哈希码之间的汉明距离，数据库集样本按其对应的汉明距离升序排序，得到检索结果。

2.如权利要求1所述的基于语义迁移的弱监督深度哈希社交图像检索方法，其特征在于，

所述直接语义迁移的损失函数为：

引入语义迁移矩阵P＝[p₁,…,p_r]∈R^c×r，用于将哈希码与图像标签进行关联，通过最小化哈希码与图像标签的映射向量之间的差异学习语义迁移矩阵P：

其中，Z＝[z₁,…,z_n]∈R^r×n是哈希码，r是哈希码的长度，n是训练集样本点的个数，z_i表示第i个样本x_i的哈希码，Y＝[y₁,…,y_n]∈R^c×n是标签矩阵，每个样本x_i有c个图像标签，表示为y_i∈R^c，如果x_i与标签j关联，则y_ji＝1，否则y_ji＝0，p_k∈R^c×1表示第k位哈希码的语义相关向量。

3.如权利要求2所述的基于语义迁移的弱监督深度哈希社交图像检索方法，其特征在于，

所述图像视觉相似性保存的损失函数为：

其中，I_n为n×n的单位矩阵，V∈R^n×m是锚点图矩阵，表示训练集中的n个样本跟m个锚点之间的相似性，Λ＝diag(V^T1)∈R^m×m，diag(·)用于构建对角矩阵，1表示元素全为1的矩阵。