[发明专利]基于语义对齐的离散监督跨模态哈希检索方法

摘要

本发明公开了一种基于语义对齐的离散哈希（Discrete Semantic Alignment Hahing，DSAH）方法实现跨模态检索。在训练过程中，首先利用图像的属性与本模态对齐语义信息，缩小异构鸿沟；然后，为了减少内存开销和训练时间，利用协同滤波学习一个潜在语义空间，直接构建哈希码和标签之间的内在联系；最后，为了减少量化误差，提出一种离散优化方法，得到性能更好的哈希函数。在线检索过程，首先利用哈希函数将测试集中样本映射到二值空间，然后计算查询样本的二值码与被检索异构样本间的汉明距离，并按从小到大排序返回排序靠前的样本。在两个具有代表性的多模态数据集上的实验结果证明了DSAH的优越性能。

主权项

基于语义对齐的离散监督跨模态哈希检索方法，其特征在于：其由两部分组成：离线训练过程和在线检索过程；所述的离线训练过程包括提取训练集中文本模态样本BOW特征、提取训练集中图像模态样本的语义属性以及哈希函数的学习；所述的在线检索过程，首先利用BOW算法或CNN提取测试集中文本模态样本的特征或图像模态样本的语义属性表示，然后通过哈希函数将测试集中文本模态样本或图像模态样本映射到二值空间，最后计算测试集中文本模态样本或图像样本的哈希码与被检索异构样本哈希码的汉明距离，并根据距离从小到大排序返回排序靠前的样本。