[发明专利]基于协同矩阵分解的在线哈希跨模态信息检索方法

权利要求书

1.一种基于协同矩阵分解的在线哈希跨模态信息检索方法，其特征在于，生成文本模态信息检索图像模态信息、图像模态信息检索文本模态信息的在线哈希跨模态信息检索模型，用信息检索系统实时获取到的无类标样本信息在线更新模型，在模型更新过程中，系统只需存储前一轮的优化结果，降低了信息检索系统的存储压力，提升了计算速度，实现了在线哈希跨模态检索方法，该方法的具体步骤包括如下：

(1)生成初始训练集；

(1a)采集不少于100个图像样本和英文单词样本；

(1b)利用信息矩阵转化方法，将采集到的样本信息转化为信息矩阵，将转化后的信息矩阵存入到信息检索系统中；

(1c)将图像和英文单词一一对应生成不少于100个样本对，得到初始训练集；

(2)在线训练哈希跨模态信息检索模型；

(2a)信息检索系统实时获取不少于100个样本信息，组成当前数据信息矩阵X∈R^d×N，其中，X表示数据信息矩阵，∈表示属于符号，R表示实数集，d表示样本信息的维数，若样本信息为图像信息，则d表示每一张图像像素点的总数，若样本信息为英文单词，则d表示单词向量化后的向量维数，N表示实时获取到的样本总数；

(2b)随机生成初始化潜在语义矩阵U∈R^d×k、投影矩阵P∈R^k×d、哈希编码矩阵V∈R^k×N共三个矩阵，其中，k表示哈希编码长度，其数值由用户从8bit，16bit，24bit，32bit，64bit，128bit的编码长度中选取一个长度；

(2c)构造一个信息损失函数，该函数中包含投影矩阵、潜在语义矩阵、哈希编码矩阵的信息；

所述的信息损失函数如下：

其中，F表示信息损失函数，||||_F表示做F范数操作，X'表示初始训练集中的图像信息矩阵或文本信息矩阵，U表示潜在语义矩阵，V'表示哈希编码矩阵，μ表示用于平衡矩阵分解与矩阵映射之间权重关系的参数，该参数是由用户在(0,1]范围内设定，P表示投影矩阵，X表示当前数据信息矩阵，V表示当前数据信息矩阵的哈希编码矩阵；

(2d)分别对信息损失函数中的投影矩阵、潜在语义矩阵和哈希编码矩阵求一阶导数，并将求导得到的矩阵带入到信息损失函数中，得到更新后的信息损失函数值；

(2e)判断更新后的信息损失函数值是否小于更新前的信息损失函数值，若是，则执行步骤(2f)，否则，执行步骤(2d)；

(2f)判断更新后的信息损失函数值减去更新前的信息损失函数值的差值是否大于0.001,若是，则执行步骤(2d)，否则，执行步骤(2g)；

(2g)将更新好的哈希编码矩阵中数值大于零的，记为1，其余记为0，得到样本的哈希编码，将其存入信息检索系统中；

(3)判断信息检索系统实时获取的新样本个数是否大于等于100，若是，则执行步骤(2)，否则，执行步骤(4)；

(4)计算待检索样本的哈希编码；

(4a)利用信息矩阵转化方法，将待检索的文本样本或者图像样本转化为信息矩阵；

(4b)将更新好的投影矩阵与待检索样本的信息矩阵相乘，计算出待检索样本的哈希编码；

(5)得到检索结果；

(5a)对待检索样本的哈希编码与信息检索系统中已有哈希编码进行异或操作，得到汉明距离；

(5b)将信息检索系统中存储的样本按照汉明距离的大小从小到大进行排序，将排序后的前50个样本作为检索结果。

2.根据权利要求1所述的基于协同矩阵分解的在线哈希跨模态信息检索方法，其特征在于：步骤(1b)、步骤(4a)中所述的信息矩阵转化方法如下：

若样本为图像样本，则将每张图像的每行像素灰度值首尾相接依次排列，组成图像信息矩阵；

若样本为英文单词样本，则将每一个英文单词向量化，将每一个向量化后的数据按行排列，组成文本信息矩阵。