[发明专利]基于细粒度图像特征和外部知识相融合的视觉问答方法

摘要

本发明公开了一种基于细粒度图像特征和外部知识相融合的视觉问答方法，该方法由四个步骤构成：细粒度图像特征提取、文本处理与特征提取、基于外部知识库的问题知识检索和多模态特征融合及答案预测。细粒度图像特征提取用于提取图像的分区域视觉特征；文本处理与特征提取对视觉问题问句进行处理并得到问句的整体特征；基于外部知识库的问题知识检索通过引入Freebase知识图谱作为模型的外部知识库为视觉问题答案的预测补充必需的常识或特定的知识；多模态特征融合及答案预测中利用基于相似度特征融合方法进行多模态特征融合，并利用融合后的视觉问题特征对问题答案进行预测。本方法具有较好的性能，对视觉问题的答案具有较高的预测准确率。