[发明专利]一种基于深度互信息约束的图文跨模态特征解纠缠方法

摘要

本发明公开了一种基于深度互信息约束的图文跨模态特征解纠缠方法。首先以规定的数据模式读取文本与图像文件；接下来，利用ResNet与BiGRU对文本和图像数据分别提取原始特征；然后，在深度互信息约束的作用下，原始特征被映射到混合特征空间；最后，利用生成对抗网络对数据进行不同程度的重构，通过控制重构过程，实现跨模态特征的解纠缠，使得模态共有信息和模态特有信息分别被映射到不同的特征空间。本发明能够在大规模图文数据上学习解纠缠特征，通过对特征仅进行解纠缠，提高了检索的准确率并使得深度特征具有更好的解释性。