[发明专利]在线多模态哈希检索方法、系统、存储介质及设备

权利要求书

1.在线多模态哈希检索方法，其特征在于：包括以下步骤：

获取流式多媒体数据集，将流式多媒体数据集中的训练数据分为t批数据块；

当第t批数据到达时，保持前t-1批数据训练得到的哈希码不变，学习第t批数据的哈希码，并对第t轮的哈希函数进行更新；其中，学习第t批数据的哈希码的过程包括，使用word2vec来生成每个类别的语义向量，word2vec是将类的标签名称转化为可计算、结构化的向量的操作，公式如下：

K_j＝word2vec(Y_j),

其中K_j表示第j个类的语义向量，使用Y＝{Y₁Y₂...Y_c}来表示类别的名称，c是类别的个数，Y_j表示第j个类的类别名称；然后可以得到类别向量矩阵其中k＝300是word2vec向量的维度；在生成类别语义向量后，可以通过将K作为监督信息来学习类别级的哈希码；利用类别级哈希码来重构语义向量，损失函数可以表述为：

其中，B_c为类别级哈希码矩阵，W_c为变换矩阵，r为哈希码的长度，c是类别的个数，α为控制正则化项的超参数，‖·‖_F代表矩阵的Frobenius范数；优化损失函数，逐行更新类别级哈希码矩阵；

对于类别增量情况下的类别级哈希码的学习，将新类别的类别级哈希码与旧类别的类别级哈希码共同保存形成当前总的类别级哈希码；

保存学习到的哈希码与前t-1批训练数据的哈希码，保存更新后的哈希函数，利用学习到的哈希函数为查询样本生成哈希码表示，获得检索结果。

2.如权利要求1所述的在线多模态哈希检索方法，其特征在于：所述利用学习到的哈希函数为查询样本生成哈希码表示，获得检索结果，包括，获得查询样本的哈希码与存储的所有训练数据的哈希码间的海明距离，对海明距离按照由小到大的顺序进行排序，按顺序输出训练集中的样本作为检索结果。

3.如权利要求1所述的在线多模态哈希检索方法，其特征在于：所述学习第t批数据的哈希码的过程还包括，利用更新后的类别级哈希码矩阵生成第t批数据的哈希码。

4.如权利要求1所述的在线多模态哈希检索方法，其特征在于：所述对第t轮的哈希函数进行更新包括，基于t批数据样本特征中的非线性关系，利用第t批和前(t-1)批数据的核特征和哈希码，构建哈希函数更新的目标函数，得到哈希函数投影矩阵。

5.如权利要求4所述的在线多模态哈希检索方法，其特征在于：所述对第t轮的哈希函数进行更新还包括，利用第t批和前(t-1)批数据的核特征、哈希码以及获得的哈希函数投影矩阵，得到样本点中模态权重的辅助投影矩阵，同时将辅助投影矩阵和查询数据样本点的核特征相结合，作为哈希函数中模态信息的权重，获得更新后的哈希函数。