[发明专利]一种基于自注意力推理的跨模态图文互索方法

摘要

本发明公开了一种基于自注意力推理的跨模态图文互索方法，属于跨模态检索领域。本发明提出的自注意力推理模型主要包含三个模块：第一部分利用自上而下的预训练骨干网络提取图像显著性特征，而文本分支特征提取，则利用词嵌入+序列化模型类结构得到；第二部分设计了自注意力推理模块，考虑每个边界框对于整体语义的贡献及语义之间的粘合性，并进一步消除不相关语义带来的负面影响；第三部分设计两分支间的交互注意力模块，使得相对应的图像‑文本对拥有更大的权重，以影响后续相似度评定。实验证明，本方法较传统方法具有匹配精度更高、检索速度更快的特点。