[发明专利]基于弱监督哈希学习的多模态检索方法及系统

权利要求书

1.基于弱监督哈希学习的多模态检索方法，其特征在于，包括：

获取待检索样本，并将其进行哈希码计算；

将待检索样本的哈希码与检索数据库中的哈希码通过0/1异或运算，计算海明距离，并将以海明距离从小到大返回相似数据；

其中，所述检索数据库的构建过程为：

基于模态内成对相似度、模态间成对相似度以及补全的各模态标签信息，建立半监督半配对跨模态哈希的目标函数；补全各模态标签信息的过程为：

基于样本重构的思想，在各个模态内，对于每一个未标记样本：

首先用所有标记样本特征向量的线性组合完成重构，并计算每一个类别的样本对其重构的误差值，再选择重构误差最小的类别对该未标记样本赋伪标签，从而完成对所有未标记样本的标签分配；

通过优化半监督半配对跨模态哈希的目标函数获取哈希表示，并从哈希表示中采样，再将对应的部分跨模态相似度信息嵌入哈希函数学习中，最后利用嵌入的哈希函数生成检索数据库。

2.如权利要求1所述的基于弱监督哈希学习的多模态检索方法，其特征在于，所述半监督半配对跨模态哈希的目标函数由基于投影的损失函数项、基于模态内成对相似度的损失函数项、基于模态间成对相似度的损失函数项、各模态的鲁棒回归损失项、基于自步学习的权重正则项和量化损失项构成。

3.如权利要求1所述的基于弱监督哈希学习的多模态检索方法，其特征在于，模态内成对相似度是对模态内部流形结构进行拟合。

4.如权利要求1所述的基于弱监督哈希学习的多模态检索方法，其特征在于，模态间成对相似度的构造过程为：

基于补全后的各模态标签信息，形成标签矩阵，利用标签内积构造跨模态成对相似度矩阵，即在语义层面上构造模态间相似性。

5.如权利要求1所述的基于弱监督哈希学习的多模态检索方法，其特征在于，在优化半监督半配对跨模态哈希的目标函数的过程中，通过交替方向乘子法更新半监督半配对跨模态哈希的目标函数中变量和参数，直至达到预设的终止条件。

6.基于弱监督哈希学习的多模态检索系统，其特征在于，包括：

哈希码计算模块，其用于获取待检索样本，并将其进行哈希码计算；

在线检索模块，其用于将待检索样本的哈希码与检索数据库中的哈希码通过0/1异或运算，计算海明距离，并将以海明距离从小到大返回相似数据；

其中，所述检索数据库的构建过程为：

基于模态内成对相似度、模态间成对相似度以及补全的各模态标签信息，建立半监督半配对跨模态哈希的目标函数；

补全各模态标签信息的过程为：

基于样本重构的思想，在各个模态内，对于每一个未标记样本：

首先用所有标记样本特征向量的线性组合完成重构，并计算每一个类别的样本对其重构的误差值，再选择重构误差最小的类别对该未标记样本赋伪标签，从而完成对所有未标记样本的标签分配；

通过优化半监督半配对跨模态哈希的目标函数获取哈希表示，并从哈希表示中采样，再将对应的部分跨模态相似度信息嵌入哈希函数学习中，最后利用嵌入的哈希函数生成检索数据库。

7.如权利要求6所述的基于弱监督哈希学习的多模态检索系统，其特征在于，所述半监督半配对跨模态哈希的目标函数由基于投影的损失函数项、基于模态内成对相似度的损失函数项、基于模态间成对相似度的损失函数项、各模态的鲁棒回归损失项、基于自步学习的权重正则项和量化损失项构成。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的基于弱监督哈希学习的多模态检索方法中的步骤。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的基于弱监督哈希学习的多模态检索方法中的步骤。