[发明专利]一种基于目标检测的无监督深度哈希方法

摘要

本发明涉及一种基于目标检测的无监督深度哈希方法，属于计算机信息检索技术以及图片检索技术领域。利用目标检测获得图片中存在的物体标签，并将这些标签作为图片的伪标签，基于伪标签训练设计好的端到端深度哈希模型，得到每张图片在汉明空间中的哈希码表示；再通过对应哈希码在图片检索任务中的平均准确率均值来评价深度哈希模型的好坏；其中，平均准确率均值即MAP；所依托的无监督深度哈希模型包括目标检测算法单元以及哈希网络单元。所述方法能获得更有指导性的信息；能充分利用深度模型的能力来学习高质量的保持相似度的哈希码；在真实图片数据集中进行图片检索取得了最好的效果，即MAP值最高。

主权项

1.一种基于目标检测的无监督深度哈希方法，其特征在于：利用目标检测获得图片中存在的物体标签，并将这些标签作为图片的伪标签，基于伪标签训练设计好的端到端深度哈希模型，得到每张图片在汉明空间中的哈希码表示；再通过对应哈希码在图片检索任务中的平均准确率均值来评价深度哈希模型的好坏；其中，平均准确率均值，即Mean Average Precision，简称MAP；基于目标检测的无监督深度哈希方法依托的无监督深度哈希模型包括目标检测算法单元以及哈希网络单元；其中，哈希网络单元包括顺序连接的五个卷积层和三个全连接层；其中，五个卷积层和三个全连接层中的前两个全连接层的激活函数均为ReLU，最后一个全连接层的激活函数为双曲正切函数tanh；目标检测算法单元与哈希网络单元相连；目标检测算法单元用于挖掘图片中的隐语义标签；哈希网络单元用于生成图片的哈希码；所述基于目标检测的无监督深度哈希方法，包括如下步骤：步骤1：选取一个目标检测方法，将该方法在大规模的图片数据集上按照选取的目标检测方法的训练步骤进行训练，输出训练好的目标检测单元；步骤2：选取公共图片数据集中百分之八十的图片作为图片数据集P，剩下的百分之二十作为测试集T；其中，图片数据集P中包含n张图片，测试集T中包含r张图片；P中的第k张图片表示为P_k∈P；k的取值范围为1到n；T中的第k张图片表示为T_k∈T；k的取值范围为1到r；步骤3：将图片数据集P中的图片输入到预训练好的目标检测单元中检测标签；若一张图片能被检测出标签，则将检测出的标签作为该图片伪标签；若检测不出标签则舍去该图片，将所有被检测出标签的图片构成新的图片数据集P′；其中，预训练好的目标检测单元即步骤1输出的训练好的目标检测单元；其中，图片数据集P′中包含m张图片，m表示被检测出标签的图片总数，且m小于等于n；P′中的第j张图片表示为P′_j∈P′；j的取值范围为1到m；步骤4：根据图片数据集P′中图片的伪标签构造图片数据集P′中的图片对相似性矩阵S；其中，图片对相似性矩阵S中的第i行第j列表示为s_ij，S中的元素s_ij取值范围为[0,1]，且s_ij越接近1表示图片P_i和图片P_j越相似，反之s_ij越接近0表示图片P_i和图片P_j越不相似；步骤5：初始化无监督深度哈希模型中哈希网络单元参数；其中，哈希网络单元参数，记为包括哈希网络单元中所有网络层的权重参数和偏置参数；步骤6设置收敛判断值flag为判断初始值；步骤7：选取mini‑batch大小为B并对每个mini‑batch集合进行训练；其中，mini‑batch集合是指将图片数据集P′随机分成份，每一份有B张图片，每一份就是一个mini‑batch，简记为MB；其中，表示的值向下取整；步骤7，包括如下子步骤：对图片数据集P′，按大小为B划分个mini‑batch集合，对每一个MB做如下训练：步骤7.1：将MB_i输入哈希网络单元，获得输出u_i；其中，MB_i代表MB中的第i张图片；u_i表示MB_i经过哈希网络单元处理后的输出；步骤7.2：对输出u_i进行量化，得到b_i，按照损失函数公式(2)计算损失：其中，u_i表示图片P_i经过哈希网络单元处理后的输出；表示哈希网络单元中的所有权重参数及偏置参数；且表示u_i和u_j的点积，近似为哈希码之间的汉明距离；b_i表示量化u_i后的哈希码，量化方式为当u_i的某一位大于0时，b_i的对应位置值为1，反之b_i的对应位置值为‑1；I_ij是一个指示函数，其定义为当s_ij＝0 or 1时，I_ij＝1，反之I_ij＝0；t_ij＝2s_ij‑1；α及η表示哈希网络单元的超参数α和超参数η；sigmoid(Θ_ij)的定义如公式(4)所示：步骤7.3：基于随机梯度下降反向更新哈希网络单元参数步骤8：当哈希网络单元损失随训练次数epoch下降较为缓慢时，降低学习率到原来的十分之一；其中，较为缓慢指当前训练时刻与前一时刻损失差值的绝对值小于阈值1；步骤9：判断当前步骤7.2所计算的损失和上一个训练时刻步骤7.2所计算的损失的差值的绝对值是否小于阈值2，若是则将收敛判断值flag减1，否则令收敛判断值flag的值为判断初始值；步骤10：判断当前损失是否收敛，即判断收敛判断值flag的值是否等于0，若等于0，即收敛，则获得训练好的哈希网络单元，并跳至步骤11，若不等于0，即不收敛，则跳至步骤7；至此，步骤1到步骤10使用图片数据集P完成了对哈希网络单元的训练；步骤11：将图片数据集P中的所有图片依次输入哈希网络单元，并获得所有图片量化后对应的哈希码；其中，数据集P中的第i张图片，记为P_i，其量化后的哈希码，记为b_i；步骤10：将测试集T中的图片输入训练好上述训练好的哈希网络单元，得到其对应的哈希码；步骤11：计算“测试集T中图片的哈希码”与“图片数据集P中图片的哈希码”的汉明距离，并按汉明距离从小到大排序，返回检索图片；其中，返回的检索图片是经汉明距离从小到大排序的前Y张图片；步骤12：依据步骤11返回的检索图片计算MAP、WMAP、NDCG、ACG值，即为评判无监督深度哈希模型优劣的评价指标；至此，步骤9到步骤12使用测试集T完成了对哈希网络单元的测试。