[发明专利]融合语义信息和多级相似性的深度哈希图像检索方法

权利要求书

1.一种融合语义信息和多级相似性的深度哈希图像检索方法，其特征在于，包括以下步骤：

S1，构建图像数据库；

S2，构建标签向量矩阵和语义向量矩阵；

构建标签向量矩阵和语义向量矩阵的步骤如下：

从图像数据库中随机抽取图像及对应的标签和文本描述，以构建出标签向量矩阵和语义向量矩阵；利用标签信息构建出标签向量矩阵L，其中L_i,j＝0表示第i张图片不含有第j个标签，L_i,j＝1表示第i张图片含有第j个标签；利用自然语言处理技术，将每张图片的文本描述编码成一个向量，构建出图片语义向量矩阵C，其中，Ci表示第i张图片的文本描述对应的向量，用此向量代表该图片的语义信息；

S3，构建相似度矩阵；

构建相似度矩阵的步骤如下：

S3-1，利用步骤S2中构建的标签向量矩阵，对标签向量进行相互内积，以构建标签相似度矩阵：

公式(1)中，S_label是标签相似度矩阵，为图像i和图像j之间的标签相似度，n表示图片个数，L为S2中构建的标签向量矩阵，L^T为L的转置矩阵，L_total为图片间的总标签矩阵，其中L_total[i,j]为图片i和j总共包含的标签个数；

S3-2，利用步骤S2中构建的语义向量矩阵，计算语义向量相互间的余弦相似度，以构建语义相似度矩阵：

公式(2)中，S_seman是语义相似度矩阵，是图像i和图像j之间的语义相似度，n表示图片个数，公式(3)中，C是S2中构建的语义向量矩阵，||C_i||是向量C_i的模长；

S3-3，利用标签相似度矩阵和语义相似度矩阵，构建相似度矩阵为：

公式(4)中，S是相似度矩阵，s_i,j代表图像i和图像j之间的相似度，n表示图片个数，w是权重系数；

S4，搭建深度哈希神经网络模型，将原始图像转换为近似哈希向量；

S5，构建对相似图片哈希向量的海明距离有下界约束的损失函数；

所设计的损失函数为：

公式(8)中，表示损失函数，s_i,j为图像i和图像j之间的相似度，/为图像i和图像j之间的标签相似度，S是相似度矩阵，α为调节阈值上界的超参数，β为调节阈值下界的超参数，σ为第一参数，δ为第二参数，N_bits是生成哈希向量的长度；b_i、b_j分别表示第i张图像和第j张图像的近似哈希向量，/表示b_i、b_j间的欧式距离；γ是权重系数；/表示维度和b_i相同的所有元素值为1的向量，/分别表示近似哈希向量b_i、b_j的绝对值向量和全1向量每个元素之间的差值之和；

S6，对搭建的深度哈希神经网络模型进行训练；

S7，构建图像的哈希向量数据库；

S8，将待检索图像的哈希向量与哈希向量数据库里的向量进行对比，以找出相似的图像。

2.如权利要求1所述的融合语义信息和多级相似性的深度哈希图像检索方法，其特征在于，所述步骤S4包括以下步骤：

S4-1，利用TensorFlow深度学习开源框架搭建AlexNet网络模型，并使用ImageNet数据集对AlexNet网络模型进行预训练；

S4-2，在经典的AlexNet模型上进行优化，构建深度哈希神经网络模型；

所搭建的深度哈希神经网络模型结构如下：

包含5个卷积层：第一卷积层、第二卷积层、第三卷积层、第四卷积层以及第五卷积层；

包含3个全连接层：第一全连接层、第二全连接层以及哈希层。

3.如权利要求2所述的融合语义信息和多级相似性的深度哈希图像检索方法，其特征在于，所述哈希层的神经元个数为64。