[发明专利]面向携带新类别的增量数据的快速跨模态检索方法及系统

权利要求书

1.面向携带新类别的增量数据的快速跨模态检索方法，其特征是，包括：

增量哈希学习步骤：从多媒体已知类别数据库存储的已知哈希码中提取已知类别标签的二值表示，然后根据已有类别标签与未知类别标签的相似性关系，获取未知类别标签的二值表示，用来监督增量类别数据库中增量数据的哈希码的生成；

哈希函数学习步骤：在哈希函数的学习过程中，从已知类别数据库及增量类别数据库中通过抽样获取锚点集，基于该锚点集采用非对称策略更新深度网络的参数，进行哈希函数的学习，获得所需模型；

检索步骤：基于该模型进行生成查询样本的哈希码，然后与存储的哈希码进行比较，寻找海明距离最近的多个样本并将其输出为检索结果；

在增量哈希学习过程，保持已有的哈希码的不变性，根据哈希码与其标注的标签的二值类别标签表示的相似性，从公式#(2)中学到已有类别标签的二值表示：

其中，已有哈希码已有类别标签的二值表示已有数据的标签矩阵是已知类别标签的数量，r是哈希码的长度，S表示已知类别标签与增量类别标签的成对的相似性关系，S中的每个元素的值为-1，得到目标函数：

在学得已有类别标签的二值表示和增量类别标签的二值表示后，根据以下目标函数获取新来的增量数据的哈希码该目标函数是利用增量数据的哈希码与二值类别标签表示的相似性关系即公式(3)得到的：

其中，代表增量数据的类别标签表示，代表增量数据的标签矩阵，是已知类别的标签矩阵，是未知类别的标签矩阵。

2.如权利要求1所述的面向携带新类别的增量数据的快速跨模态检索方法，其特征是，获取未知类别标签的二值表示之后，通过增量数据的标签矩阵与未知类别标签表示直接学习获取增量数据的哈希码。

3.如权利要求1所述的面向携带新类别的增量数据的快速跨模态检索方法，其特征是，从已知类别数据库及增量类别数据库中通过抽样获取锚点集之后，将锚点集中的图像和文本模态分别喂入CNN网络和MLP网络来提取对应的模态特征，经过网络的哈希层得到锚点集合的哈希表示。

4.如权利要求1所述的面向携带新类别的增量数据的快速跨模态检索方法，其特征是，采用深度跨模态哈希方法作为基模型获取哈希码。

5.如权利要求1所述的面向携带新类别的增量数据的快速跨模态检索方法，其特征是，在学得已有类别标签的二值表示和增量类别标签的二值表示后，根据目标函数获取新来的增量数据的哈希码，该目标函数是利用增量数据的哈希码与二值类别标签表示的相似性关系得到的。

6.如权利要求1所述的面向携带新类别的增量数据的快速跨模态检索方法，其特征是，哈希函数学习的过程中，使用CNN-F模型和MLP模型分别作为图像网络ImgNet和文本网络TxtNet的骨干，构建用于解决增量哈希学习问题的端到端的框架。

7.如权利要求6所述的面向携带新类别的增量数据的快速跨模态检索方法，其特征是，将CNN-F模型中最后一个全连接层替换为哈希层，用于将倒数第二层多维的输出映射为r维的输出。

8.如权利要求1所述的面向携带新类别的增量数据的快速跨模态检索方法，其特征是，哈希函数学习的过程中，针对学习哈希函数的损失进行优化，在优化的过程中，在每一步中都是固定其他变量而优化其中一个变量。