[发明专利]融合三元组损失和生成对抗网络的多标签图像检索方法

权利要求书

1.一种融合三元组损失和生成对抗网络的多标签图像检索方法，其特征在于，包括如下步骤：

搭建深度学习框架，部署生成对抗网络模型，所述生成对抗网络模型包括深度哈希编码网络；

输入图像数据集至所述生成对抗网络模型中以获取与所述图像数据集相似的多标签图像，及获取由所述多标签图像与图像数据集结合组成的三元组数据；

所述输入图像数据集至所述生成对抗网络模型中以获取与所述图像数据集相似的多标签图像，及获取由所述多标签图像与图像数据集结合组成的三元组数据，是指：将所述图像数据集中的图像输入至所述生成对抗网络模型中，并通过图像数据中的bounding box监督图像并确定其在bounding box中被激活的特征；依次移除每个图像在bounding box中激活的特征，并生成相应的多标签图片：k表示图像数据集中的标签个数，j表示被移除的特征映射个数；将所述多标签图片与图像数据集中的图像组合成三元组样本数据，每一所述三元组样本数据包括为三张不同的图片，三张图片分别命名为固定图片Anchor，记为a，正样本图片Positive，记为p，负样本图片Negative，记为n；组成的三元组样本数据表示为：x^a表示输入到生成对抗网络模型中的图像数据集中的图像，表示根据所述图像生成的多标签图片，xⁿ表示在图像数据集中与该图像没有相同标签的图片；

基于所述多标签图像构建三元组损失函数；

所述基于所述多标签图片构建三元组损失函数，是指：L＝max{0,d_a,p-d_a,n+m}；上述公式中，L表示三元组损失函数Triplet Loss，d_a,p表示的是Positive和Anchor之间的欧式距离度量，d_a,n表示Negative和Anchor之间的欧式距离度量；m表示的是在d_a,p与d_a,n之间的一个间隔值；其中d_a,p与m分别为：上述公式中，n表示哈希向量的位数，表示Anchor的哈希向量第i维度的值，表示Positive的哈希向量第i维度的值；上述公式中，m是指相似度数值，其表示与Anchor有着不同相似度的图片，其在三元信息中的距离间隔也有所不同；

从图像数据集中选取预设数量的第一图像对所述深度哈希编码网络进行训练以获取完成训练的深度哈希编码网络；

从图像数据集中选取预设数量的第二图像，将所述第二图像输入完成训练的深度哈希编码网络以获取哈希向量数据库；

将需要检索的第一图像输入完成训练的深度哈希编码网络以检索出与所述第一图像相似的第二图像；

所述将需要检索的第一图像输入完成训练的深度哈希编码网络以检索出与所述第一图像相似的第二图像，是指：将需检索的图像i输入训练完成的深度哈希编码网络中，从而得到相对应的近似哈希向量Z_i；经过sign函数，得到与图像i相对应的哈希向量h_i；将向量h_i和所述二进制哈希向量数据库集合中的所有哈希向量进行与运算，分别得到相对应的结果值；将结果值按从大到小进行排列，结果值越大，表明参与与运算的哈希向量与h_i越相似，即表明该哈希向量对应的图像与图像i越相似。

2.根据权利要求1所述的多标签图像检索方法，其特征在于，所述搭建深度学习框架，部署生成对抗网络模型，是指：

搭建Caffe深度学习开源框架；

在所述Caffe深度学习开源框架中部署DCGAN模型；

采用预设的数据集对所述DCGAN模型进行预训练以获取训练好的DCGAN模型。

3.根据权利要求2所述的多标签图像检索方法，其特征在于，所述生成对抗网络模型包括深度哈希编码网络，是指：

根据所述DCGAN模型的参数设计出深度哈希编码网络，所述深度哈希编码网络包括5个卷积层、3个全连接层；

将所述深度哈希编码网络添加至训练好的DCGAN模型中。