[发明专利]一种基于鲁棒监督的深度离散哈希跨模态检索方法及系统

权利要求书

1.一种基于鲁棒监督的深度离散哈希跨模态检索方法，其特点在于，所述基于鲁棒监督的深度离散哈希跨模态检索方法包括：对输入的图片或对应图片描述文本检索时，采用模态内和模态间一致性保持策略，同时进行非冗余特征选择；并选择具有最小冗余度的鲁棒性和鉴别性特征生成二进制哈希码；

再基于奇异值分解进行离散哈希学习；搜索出对应的图片或对应图片描述的文本；

所述基于鲁棒监督的深度离散哈希跨模态检索方法具体包括以下步骤：

步骤一：获取训练特征数据集，其中每个样本都由文本和图像对组成；

步骤二：对数据集里图像和文本分别进行特征学习；

步骤三：基于非冗余特征选择的深度哈希码学习；

步骤四：模态内加入一致性保持策略；

步骤五：模态间加入一致性保持策略；

步骤六：得到总目标函数并进行优化；

步骤二所述的对数据集里图像和文本分别进行特征学习的具体方法包括：

图像特征学习：利用一个7层的神经网络，前5层是卷积神经网络CNN，分别是第一层用96个大小为11*11的卷积核，步长是4，0边距，用Relu激活函数；池化用传统的2*2大小的模板做max pooling，最后局部归一化；第二层以第一层的输出作为输入，用256个5*5大小的卷积核，步长是1，padding是2，同样用Relu激活函数，2*2大小的max pooling，最后局部归一化；第三层、第四层和第五层相互连接，没有中间的池层或归一化层；第三和四层，用384个3*3的卷积核，步长是1，padding是1，第五层用256个3*3的卷积核，步长是1，padding是1；最大池层跟随第五层卷积的输出，得到尺寸为6×6×256的输出特征；第6层全连接层有4096个神经元，激活函数用Relu；得到与输入图像对应的尺寸为4096×1的特征；最后连接第7层全连接层，激活函数用双曲正切TanH；

文本特征学习：采用多层感知器MLP，由三个全连接层构成一个MLP DNN，用于将文本特征从原始特征空间映射到语义空间；利用relu作为前两个完全连通层的非线性激活函数；并以双曲正切Tanh作为最后一层的激活函数；文本的维数是d^(t)；

在步骤三中，基于非冗余特征选择的深度哈希码学习包括：对于第i个实例(v_i,t_i)，表示学习到的图像特征，对应于图像模态的输出，其中θ_v为网络参数；

表示图像模态中n个训练实例的深度学习特征矩阵，其中第i个列向量为f(v_i；θ_v)；

表示学习到的文本特征，对应于文本模式的输出，其中θ_t为网络参数；表示文本模态中n个训练实例的深度学习特征矩阵，其中第i个列向量为g(t_i；θ_t)；

图像和文本模态中的第i个训练实例的投影深度学习特征和P_t^Tg(t_i；θ_t)分别在汉明空间中产生二值哈希码和和将深度学习特征f(v_i；θ_v)和g(t_i；θ_t)映射到潜空间的线性投影矩阵，(·)^T是矩阵转置；

步骤三中，基于非冗余特征选择方法基于谱回归和2，1-范数正则化进行非冗余特征选择，对图像模态和文本模式进行特征选择，获得图像和文本模式中的实例的二进制哈希码：

其中γ₁,γ₂,γ₃是权衡参数，1表示所有元素为1的向量，||·||_F表示矩阵的F-范数，Z^(v)和Z^(t)分别是基于两个相似矩阵构造的两个矩阵；和是通过对相似矩阵进行奇异值分解SVD得到，其中和通过对相似矩阵进行奇异值分解(SVD)得到；用一组向量表示和和分别从图像模式和文本模式中选择鉴别特征和非冗余特征，生成二进制哈希码。