[发明专利]基于映射字典学习的跨模态哈希检索方法

摘要

本发明公开了一种基于映射字典学习的跨模态哈希检索方法。其通过网络收集图像和文本样本建立跨媒体检索数据集，并将数据集分为训练集和测试集；利用BOW算法提取图像和文本的特征；利用映射字典学习分别为图像和文本模态学习一个共享子空间，并同时学习各模态的哈希函数；通过学习一个正交旋转矩阵，最小化量化误差；利用图像和文本模态的哈希函数和正交旋转矩阵计算测试样本的哈希码；将一个模态的测试样本集作为查询，另一模态的训练集作为被检索数据集，计算查询样本与被检索样本的汉明距离并排序，返回排序靠前的样本。本发明具有检索的准确率高，容易应用于大规模数据集，并且实现简单等特点，因此有广阔的应用前景和巨大的市场价值。

主权项

基于映射字典学习的跨模态哈希检索方法，其特征在于其通过计算机装置实现如下步骤：1）步骤S1，通过网络收集图像和文本样本，并建立跨媒体检索的图像和文本数据集，并将图像和文本数据集分为训练集和测试集；2）步骤S2，分别利用图像和文本的BOW算法提取训练集和测试集的图像和文本的特征；3）步骤S3，利用训练集的图像和文本样本，通过映射字典学习为图像和文本模态学习一个共享子空间，并通过保持两个模态的模态间相似度学习图像和文本模态的哈希函数；其包含以下步骤：步骤S31，用分别表示图像和文本模态的特征描述，其中，分别表示图像和文本模态特征空间的维数，表示样本对的数量；表示第个由图像、文本模态描述构成的样本对；分别表示图像和文本模态的字典，分别表示图像和文本模态的哈希函数，分别表示图像和文本模态的哈希码，其中表示哈希码的长度；和分别表示第个图像、文本样本的哈希码；根据上述所述的变量，利用训练集中样本的特征构建目标函数：其中为待定权重参数；一般设置，表明两个模态同等重要；参数是模态间相似性保持的权重，设置；参数是正则化项的权重，设置；表示字典的第个字典原子，表示字典的第个字典原子；步骤S32，求解步骤S31中的目标函数，得到图像和文本模态的哈希函数；所述步骤S32进一步包含以下步骤：步骤S321,为图像和文本两个模态分别引入一个中间变量和，此时目标函数可写为：其中，参数为待定权重参数，此参数也具有一定的鲁棒性，设置；步骤S322,初始化字典、哈希函数和、系数矩阵和，并设置最大迭代次数；步骤S323, 固定其他变量求解，则目标函数可以写为：其中const 表示常数，令：，则可以得到闭合解：其中，表示单位矩阵；同理：步骤S324,固定其他变量求解，则目标函数可写为：展开上式并对求导，令其导数为零，可以得到闭合解：同理：步骤S325，固定其他变量求解则目标函数可写为：该目标函数通过ADMM算法进行计算；同理，用求解的相同方法得到；步骤S326，判断迭代次数是否小于最大迭代次数，若是，则跳转到步骤S32继续迭代过程；若不是，则停止迭代，得到图像和文本模态的哈希函数、；4）步骤S4，为图像和文本样本学习一个正交旋转矩阵，最小化量化误差；所述步骤S4中为图像和文本样本学习一个正交旋转矩阵的方法，具体包含以下步骤：步骤S41，通过学习一个旋转矩阵最小化量化误差，量化损失函数定义为：其中，为占位符，可以是或，表示符号函数；，表示的均值；步骤S42，求解步骤S41中的量化损失函数，所述步骤S42进一步包含以下步骤：步骤S421，初始化旋转矩阵及最大迭代次数，最大迭代次数一般可设置为50；步骤S422，固定，求:步骤S423，固定，求:由奇异值分解（SVD）的方法求解，即：则：步骤S424，判断是否是最大迭代次数，如果不是则跳转到S422继续迭代；如果是，则停止迭代，得到正交旋转矩阵；步骤S5，利用图像和文本模态的哈希函数和学习的正交旋转矩阵，通过下式计算所有样本的哈希码：6）步骤S6，将一个模态的测试集样本作为查询样本，而另一模态的训练集样本作为被检索数据集；计算查询样本与被检索样本的汉明距离，并按照汉明距离进行排序，并返回排序靠前的样本；所述的查询样本与被检索样本的相似度可以利用汉明距离度量，汉明距离越小说明查询样本与被检索样本的相似度越高，反之亦然。