[发明专利]一种序列化多特征指导的跨媒体哈希检索方法和系统

权利要求书

1.一种序列化多特征指导的跨媒体哈希检索方法，包括以下步骤：

(1)建立图像和文本的数据库，分别提取图像和文本在多种尺度下的特征；

(2)将图像、文本的不同尺度特征按设定的顺序分别输入到两路循环神经网络，并计算图像和文本的哈希码；

(3)通过尺度间关联约束函数和媒体间、媒体内哈希约束函数对网络参数进行优化，实现尺度间关联挖掘和哈希函数的学习；

(4)在检索阶段，提取待查询图像或文本的不同尺度特征，并按步骤(2)中相同的方法生成对应的哈希码，通过哈希码实现跨媒体哈希检索；

其中，步骤(2)中采用基于循环神经网络的深度模型，将图像、文本的不同尺度特征按设定的顺序分别输入到两路循环神经网络，计算哈希码；其中同一尺度的特征能够多次输入网络，且每一个尺度的特征都会对应生成一定长度的哈希码，其长度由预先的参数定义，最终的哈希码为上述步骤 得到的哈希码拼接得到；图像和文本第k个输入的尺度特征生成的哈希码长度需要保持一致，以便于实现尺度间关联的挖掘；

步骤(3)中采用的尺度间关联约束函数为：

其中，loss_corr表示尺度间关联约束总损失，h_t(x),h_i(y)分别指图像和文本所有尺度特征生成的完整的文本哈希码和图像哈希码；h_t^k(x),h_i^k(y)指第k个输入的尺度特征生成的文本、图像哈希码；F_corr表示尺度间关联约束函数，定义为：F_corr(x,y)＝1-cos(x,y)，其中x,y分别表示图像和文本生成的哈希码，cos表示余弦距离函数。

2.如权利要求1所述的方法，其特征在于，步骤(1)中的图像特征向量为：VGG-19网络的POOL-5、FC-6、FC-7层特征，分别代表底层基元尺度特征、中层概念尺度特征和高层语义尺度特征；文本特征为：文本词袋特征和使用主成份分析方法对每一句的词袋特征降维拼接的句子词袋特征，分别代表单词尺度特征和句子尺度特征。

3.如权利要求1所述方法，其特征在于，步骤(3)中采用的媒体间、媒体内哈希约束函数定义如下：

Loss_inter＝∑J(h_i(x),h_t(x⁺),h_t(x^-))+J(h_t(x),h_i(x⁺),h_i(x^-))，

Loss_intra＝∑J(h_i(x),h_i(x⁺),h_i(x^-))+J(h_t(x),h_t(x⁺),h_t(x^-))，

其中Loss_inter表示媒体间哈希约束函数，Loss_intra表示媒体内哈希约束函数；h_t(x),h_i(x)分别指生成的文本哈希码和图像哈希码；x⁺和x^-分别表示和x有着相同标签和不同标签的图像或者文本；J(·)表示三元损失函数：

J(h(x),h(x⁺),h(x^-))＝max(0,m_t+‖h(x)-h(x⁺)‖²-‖h(x)-h(x^-)‖²)，

其中，h(·)表示哈希函数；m_t是边界阈值参数；x,x⁺,x^-表示多媒体数据，其中x,x⁺有着相同语义标签，x,x^-有着不同的语义标签。