[发明专利]基于深度哈希能量模型的多标签图像检索方法和装置

权利要求书

1.一种基于深度哈希能量模型的多标签图像检索方法，其特征在于，包括以下步骤：

获取查询图像，通过能量模型预训练完成的深度神经网络的模型文件获取所述查询图像的哈希编码；

其中，所述能量模型包括基于噪声对比估计NCE的EBM分类损失模型，和通过均方误差MSE对所述能量模型进行模型优化的哈希量化MSE损失模型，基于所述的EBM分类损失模型和所述的哈希量化MSE损失模型建立联合学习模型；

遵循汉明空间检索的评估方法，所述遵循汉明空间检索的评估方法包括剪枝和扫描；

其中，所述剪枝是根据所述查询图像的哈希编码，搜索所述模型文件的哈希表中与汉明半径不大于2的关联图像；

所述扫描是将所述关联图像按连续编码的汉明距离，从小到大进行排序，并对排序后的关联图像进行展示。

2.如权利要求1所述的方法，其特征在于，基于所述噪声对比估计NCE的EBM分类损失模型的公式为：

其中，L_EBM为EBM分类损失，n为图像样本数量，i为图像序号，m为噪声样本序号，M为来自P_N(y|y_i)的噪声样本数量，f_θ(x_i,y^(i,0))为x_i与y^(i,0)经过能量模型输出的能量值，y^(i,0)定义为y_i，x_i为第i个图像数据，y_i为第i个图像的真实标签信息，y^(i,m)为针对第i个图像第m个噪声样本生成的标签信息，P_N(y^(i,0)|y_i)在y_i的条件下y^(i,0)的概率分布，f_θ(x_i,y^(i,m))为x_i与y^(i,m)经过能量模型输出的能量值。

3.如权利要求2所述的方法，其特征在于，所述通过均方误差MSE对所述能量模型进行模型优化的哈希量化MSE损失模型的公式为：

其中，L_MSE为哈希量化MSE损失，h(x_i)为卷积神经网络输出的深度特征，n为图像样本数量，i为图像序号，x_i为第i个图像数据，sgn(h(x_i))为返回h(x_i)的正负值，如果数字大于0，则sgn返回1，数字等于0，则返回0，数字小于0，则返回-1。

4.如权利要求3所述的方法，其特征在于，基于所述的EBM分类损失模型和所述的哈希量化MSE损失模型建立联合学习模型的公式为：

其中，arg min_θ为当L取最小值时相关参数的取值，θ为目标函数相关参数，λ_EBM和λ_MSE均为超参数。

5.如权利要求1所述的方法，其特征在于，所述能量模型为通过样本集学习数据与标签之间的联合概率密度生成所述能量模型；

根据所述的联合概率密度获取条件概率密度，所述条件概率密度的公式为：

其中，x为样本集图像数据，y为标签，p(x,y)为联合概率密度，p(y|x)为条件概率密度，p(x)为样本集图像数据的概率密度，

所述能量模型的公式为：

其中，Z为配分函数，用以将概率值归一化，Z=∫e^f(x,y)dy；e^f(x,y)视为联合概率密度p(x,y)，f(x,y)为能量函数。