[发明专利]基于多任务哈希学习的图像检索方法

权利要求书

1.基于多任务哈希学习的图像检索方法，其特征在于，具体步骤如下：

步骤一、确定卷积神经网络模型；

步骤二、利用多任务学习机制，设计损失函数为：

L＝αL_s+βL_c+λL_e； (1)

其中，L表示损失函数；L_s表示分类损失函数，L_c表示对比损失函数，L_e表示信息熵损失函数；而α是分类损失函数L_s的权重系数，β是对比损失函数L_c的权重系数，γ是信息熵损失函数L_e的权重系数；

步骤三、确定卷积神经网络模型训练方法，结合设计的损失函数，并利用反向传播方法对卷积神经网络模型进行优化训练；

步骤四、输入查询图像至训练后的卷积神经网络模型，并将训练后的卷积神经网络模型的输出转换生成哈希编码，进行图像检索；

所述步骤一的卷积神经网络模型由卷积子网络和全连接层组成；

所述卷积子网络由第一卷积层、最大池化层、第二卷积层、平均池化层、第三卷积层及空间金字塔池化层依次组成；

所述第一卷积层和第二卷积层分别设有32个卷积核，卷积核大小为5×5，步长Stride＝1；

所述最大池化层和平均池化层分别设有32个池化窗口，池化窗口大小为3×3，步长Stride＝2；

所述第三卷积层设有64个卷积核，卷积核大小为5×5，步长Stride＝1；

所述空间金字塔池化层高度Pyramid height＝3，池化方式为最大池化；

所述全连接层由隐含层、哈希层及分类层依次组成；

所述步骤二中分类损失函数L_s为Softmax损失函数；

所述步骤二中对比损失函数L_c为：

其中，b_i,1和b_i,2为输入的第i对图像I_i,1和I_i,2对应的卷积神经网络模型输出的近似哈希码；y_i为相似度系数，用来表示第i对图像之间的相似度，若图像相似，y_i＝0，图像不相似，则y_i＝1；边距参数m0；u是一个所有元素均等于1的列向量；表示b_i,1-b_i,2的2-范数，|| |b_i,1|-u||₁表示|b_i,1|-u的1-范数，|| |b_i,2|-u||₁表示|b_i,2|-u的1-范数；η是量化系数，用来控制公式中(|| |b_i,1|-u||₁+|| |b_i,2|-u||₁)所代表的量化误差，使卷积神经网络模型输出的近似哈希码能尽量逼近-1和1；是通过衡量相似图像对的近似哈希码之间所存在的距离而计算损失；则是表示在图像之间不相似的情况下，判断图像对应的近似哈希码之间的距离是否超过了边界参数m，如果距离不够达到m的值，那么就会产生损失；

所述步骤二中信息熵损失函数L_e为：

其中，B表示所有训练样本对应的维度为q的近似哈希码向量所构成的矩阵；其总输入训练样本数目为M，指Bu的F-范数；

所述步骤三中，卷积神经网络模型训练方法采用联合式训练方法或分离式训练方法；

所述联合式训练方法，具体实现过程如下：

步骤1、将训练样本输入卷积神经网络模型，并将训练样本中两两相邻的图像作为图像对；

步骤2、卷积子网络前向传播计算图像对的特征，并将图像对的特征向量依次输入隐含层和哈希层；

步骤3、哈希层输出图像对的近似哈希码向量；

步骤4、将图像对的近似哈希码向量输入到分类层；再利用分类层的输出，通过Softmax损失函数计算分类损失；同时将图像对的近似哈希码向量，输入到对比损失函数和信息熵损失函数，计算对比损失和信息熵损失；

所述分离式训练方法，是将对比损失函数和分类损失函数分开进行训练，具体实现过程如下：

对比损失函数训练：卷积子网络提取图像对的特征，输出图像对的特征向量，依次将图像对的特征向量输入隐含层和哈希层；哈希层输出图像对的近似哈希码向量，并将其分别输入对比损失函数和信息熵损失函数；

分类损失函数训练：输入图像经过卷积子网络提取特征，输出特征向量并将其依次送入隐含层和哈希层；哈希层的输出为图像的近似哈希码向量，将图像的近似哈希码向量分别送入分类层和信息熵损失函数，分类层的输出则进入分类损失函数；

所述联合式训练方法，其哈希层的节点数等于哈希编码的长度，其分类层的节点数等于图像类别个数；

所述分离式训练方法，其对比损失部分和分类损失部分中哈希层的节点数都等于哈希编码长度的一半，其分类层的节点数等于图像类别个数；

所述联合式训练方法中，分类损失函数的权重系数α＝1，对比损失函数的权重系数β＝1，信息熵损失函数γ＝1；

所述分离式训练方法中，分类损失函数训练部分，分类损失函数的权重系数α＝1，对比损失函数的权重系数β＝0，信息熵损失函数γ＝1；对比损失函数训练部分，分类损失函数的权重系数α＝0，对比损失函数的权重系数β＝1，信息熵损失函数γ＝1；

所述步骤四将训练后的卷积神经网络模型的输出，转换生成哈希编码，具体实现过程如下：

将训练后的卷积神经网络模型输出的近似哈希码向量输入符号函数，用符号函数计算哈希编码：

其中，h_p(x)表示哈希编码的第p个元素；sign()是符号函数；近似哈希码向量b(x)为符号函数的输入，b_p(x)表示近似哈希码向量的第p个元素。