[发明专利]一种基于区域表示和视觉表示的视觉问答方法及系统

权利要求书

1.一种基于区域表示和视觉表示的视觉问答方法，其特征在于，步骤包括：

基于Faster R-CNN模型学得的图像区域特征，为每张待问答图像构建图像区域特征图；

基于所述图像区域特征图，生成邻居增强的区域表示；生成所述邻居增强的区域表示的方法包括：在所述图像区域特征图中对每个区域节点的信息和节点的邻居信息进行整合，生成所述邻居增强的区域表示；采用带重启的随机游走机制来关注区域特征图中所有节点的邻居增强的区域表示：为图像I_i构建的图像区域特征图被记为，其中表示I_i的区域特征图中所有节点的集合，是区域特征图中所有区域节点的特征表示，对于的关联矩阵被行归一化为概率转移矩阵，所述带重启的随机游走机制包括：

其中，表示步行者在任意时刻返回起始节点的概率；表示步行者在t=0时刻时，处于初始节点；和分别表示在t和t+1时刻步行者从第m个节点到达其他节点的概率；表示的转置矩阵；和分别表示t和t+1时刻步行者到达各个节点的概率；表示一个对角矩阵；所述随机游走机制结束后，迭代过程停止；收敛后的最终结果向量涵盖了起始节点与行走后所有节点之间的关联关系，所述最终结果向量即为所述邻居增强区域表示；

基于GRU模型学得的问题特征对所述邻居增强的区域表示进行指导，得到最终的视觉特征；

基于所述区域表示、所述视觉特征和所述问题特征，得到预测答案，完成视觉问答。

2.根据权利要求1所述的基于区域表示和视觉表示的视觉问答方法，其特征在于，将待问答图像的每个区域作为所述图像区域特征图中的节点，并将每个所述待问答图像的区域特征作为节点属性；所述图像区域特征图由加权边组成；其中，图像区域之间关联的计算过程包括：

其中，v_m和v_n分别表示区域m和区域n的低维特征；的值越大，表示第m个和第n个区域节点之间的关联性越强。

3.根据权利要求1所述的基于区域表示和视觉表示的视觉问答方法，其特征在于，得到所述视觉特征的方法包括：利用问题引导的纵横双注意力机制，增强与问题相关的区域表征，并在区域和表征层面保留关键特征，得到所述视觉特征。