[发明专利]一种利用多层特征融合生成哈希码的方法及装置

权利要求书

1.一种利用多层特征融合生成哈希码的方法，其特征在于，包括：

S11：建立图文对的相似度矩阵；

根据数据集中的标签信息建立图文对的相似度矩阵S，S中的元素S_ij表示第i个图像和第j个文本之间的相似性，如果图像与文本相似则S_ij为1，否则为0；

S12：设计图像网络模型；

通过不同残差块的输出来获取不同层的特征，将所述不同层的特征转换为通道数和尺寸一致的特征图，然后进行融合，最后通过全局池化和全连接并离散化得到图像对应的哈希码；

S13：设计文本网络模型；

用多尺度融合模块为每个文本生成对应的多尺度Bag-of-words模型，然后通过卷积层获得不同尺度的特征并进行融合，最后通过全连接层得到文本对应的哈希码；

S14：利用所述S11中的相似度矩阵S，设计损失函数；

S15：训练模型；

对于图像网络，随机选取两张图像送入图像网络，利用所述S14中的损失函数进行约束，使用SGD对其进行训练，同时固定文本网络参数；

对于文本网络，随机选取两个文本送入文本网络，利用所述S14中的损失函数进行约束，使用SGD对其进行训练，同时固定图像网络参数；

S16：获得哈希码；

利用所述S15训练得到的模型，将样本输入其中获得对应的哈希码；

所述S14进一步包括：

所述损失函数包括：模态间相似性损失函数、模态内相似性损失函数、哈希过程中的量化损失函数；

所述S14进一步为：

S141：所述模态间相似性损失函数：

使用成对的似然函数来衡量F和G之间的相似性：

其中，则模态间相似性损失函数为：

S142：所述模态内相似性损失函数：

对于图像模态，类内相似性损失函数为：

其中，

对于文本模态，类内相似性损失函数为：

其中，

S143：所述哈希过程中的量化损失函数为：

最后的损失函数为：

获得哈希码进一步表示为：

b^x＝sign(F_X(x_i；θ_X))

b^y＝sign(F_Y(y_j；θ_Y))

其中，b^x和b^y分别为图像对应的哈希码B^x和文本对应的哈希码B^y中的元素，sign(x)为符号函数，表达式为：

2.根据权利要求1所述的利用多层特征融合生成哈希码的方法，其特征在于，所述S12进一步包括：

S121：通过不同残差块的输出来获取N个不同层的特征；

S122：对于前N-2层，利用卷积层令该些层的通道数与第N-1层的一致，然后利用池化层对前N-2层进行下采样，令该些层特征图的大小与第N-1层的大小一致；

S123：对于第N层，利用卷积层令该层的通道数与第N-1层的一致，然后利用反卷积层对该层进行上采样，令该层特征图的大小与第N-1层的大小一致；

S124：对经过S122以及S123处理后的N不同层的特征相加进行融合，然后通过全池化层以及全连接层并离散化得到图像对应的哈希码。

3.根据权利要求1所述的利用多层特征融合生成哈希码的方法，其特征在于，所述S13进一步包括：

S131：将输入向量看作为一个长为L、宽为1的特征向量，其中L为数据集中选用词的个数，将输入向量经过多尺度融合后，可以看作为一个长为L、宽为R、通道数为C的特征图，其中R为所采用的不同尺度的个数，该维度对应不同尺度下的语义信息；

S132：将所述S131得到的特征图送入残差块中，得到长为1、宽为R、通道数为C的特征图，从而获取文本的全局信息；

S133：利用相加的方式将所述S132得到的对应不同语义信息的R个特征向量进行融合，然后经过全连接层并离散化得到文本对应的哈希码。