[发明专利]面向无约束视觉问答指向问题的检索方法及系统

摘要

本发明属于模式识别领域，具体涉及一种面向无约束视觉问答指向问题的检索方法及系统。旨在解决无候选答案时的视觉问答指向问题。该方法主要包括：利用图像似物性采样的方法生成一定数目的候选答案，提取问句的文本特征和候选答案的视觉特征，把文本特征和视觉特征映射到同一共同特征空间中，然后计算共同特征空间中问句与候选答案的余弦相似度，把与文本特征余弦相似度最高的候选答案视为预测的正确答案。本方法利用成对的排序损失函数建立问句特征与候选答案特征的相关关系，同时针对无候选答案的问题，使用图像似物性采样的方法生成一定数目的候选的答案，为无候选区域的视觉问答提供了一种可行的解决方案。

主权项

1.一种面向无约束视觉问答指向问题的检索方法，其特征在于，利用似物性采样的方法从输入图像中生成多个候选区域作为候选答案，利用所述候选答案通过视觉特征提取网络提取所述候选答案的视觉特征；基于文本特征提取网络提取输入问句的文本特征；使用文本映射矩阵WT将所述文本特征转化至共同特征空间，使用视觉映射矩阵WI将所述视觉特征转化至共同特征空间，计算共同特征空间内文本特征与每个视觉特征的余弦相似度，并将与文本特征的余弦相似度最大的视觉特征所对应的候选答案作为正确答案，输出所述正确答案；其中，所述视觉特征提取网络基于卷积神经网络构建，用以提取所述候选答案的视觉特征；所述文本特征提取网络基于循环神经网络构建，用以提取输入问句的文本特征。