[发明专利]一种基于区域表示和视觉表示的视觉问答方法及系统

说明书

本申请公开了一种基于区域表示和视觉表示的视觉问答方法及系统，其中方法步骤包括：基于Faster R‑CNN模型学得的图像区域特征，为每张待问答图像构建图像区域特征图；基于图像区域特征图，生成邻居增强的区域表示；基于GRU模型学得的问题特征对邻居增强的区域表示进行指导，得到最终的视觉特征；基于区域表示、视觉特征和问题特征，得到预测答案，完成视觉问答。本申请为每张图像构建区域特征图，以表示该图像中所有区域之间的关联和特征。同时，基于带重启的随机行走方法，在区域特征图中学习邻域增强区域表示。此外，还提出一个问题指导的纵横双重注意力机制。机制以问题特征表示作为指导，从区域层面和特征层面增强区域表示。

技术领域

本申请涉及视觉问答领域，具体涉及一种基于区域表示和视觉表示的视觉问答方法及系统。

背景技术

视觉问答是一个跨越多种学科的研究任务，其需要同时且深刻地学习图像的视觉信息、问题的文本特征、和外部补充知识的表示，以进行答案的推理。目前视觉问答领域的工作主要关注3个方面：图像中视觉特征和问题中自然语言特征的提取、学习问题和图像之间的关系以发现最值得关注的图像区域、致力于更好地融合视觉特征和自然语言特征。然而，视觉问答任务中存在一些需要关注图像的多个区域才能作答的问题。这些区域在图中的位置有很近的，也有相距很远的。

总而言之，视觉问答任务不仅需要关注图像中的某个区域，还得能够整合多个距离近或者远的区域，以作答。如何实现图像中多个区域之间的信息增强，以及如何通过问题信息指导对图中各个区域的关注，是至关重要的。

发明内容

为解决上述背景中的技术问题，本申请提出了一个新颖的视觉问答方法，来学习图像中由远距离邻居增强的区域特征表示。然后问题引导视觉表示，最后预测答案。

为实现上述目的，本申请提供了一种基于区域表示和视觉表示的视觉问答方法，步骤包括：

基于Faster R-CNN模型学得的图像区域特征，为每张待问答图像构建图像区域特征图；

基于所述图像区域特征图，生成邻居增强的区域表示；

基于GRU模型学得的问题特征对所述邻居增强的区域表示进行指导，得到最终的视觉特征；

基于所述区域表示、所述视觉特征和所述问题特征，得到预测答案，完成视觉问答。

优选的，将待问答图像的每个区域作为所述图像区域特征图中的节点，并将每个所述待问答图像的区域特征作为节点属性；所述图像区域特征图由加权边组成；其中，图像区域之间关联的计算过程包括：

其中， v_m和 v_n分别表示区域 m和区域 n的低维特征；的值越大，表示第 m个和第 n个区域节点之间的关联性越强。

优选的，生成所述邻居增强的区域表示的方法包括：在所述图像区域特征图中对每个区域节点的信息和节点的邻居信息进行整合，生成所述邻居增强的区域表示；采用带重启的随机游走机制来关注区域特征图中所有节点的邻居增强的区域表示：对于的关联矩阵被行归一化为概率转移矩阵，所述带重启的随机游走机制包括：