[发明专利]一种基于图建模视觉信息的利用问题指导的视频问答方法

权利要求书

1.一种基于图建模视觉信息的利用问题指导的视频问答方法，其特征在于，该方法包括：

步骤1，获取训练视频的视觉特征V和训练问题的问题特征Q，利用逐项积算法，计算时序注意力特征Q^t；其中，步骤1中，具体包括：

步骤11，将所述视觉特征V的维度扩展为Tx300维，计算所述问题特征Q与所述视觉特征V进行逐项积，并通过Softmax分类器计算问题权重Q^w；

步骤12，将所述问题权重Q^w和所述问题特征Q进行逐项积运算，得到所述时序注意力特征Q^t；，所述问题权重Q^w的计算公式为：

式中，为所述问题特征Q中的第i个词向量的分数，i＝1，2，…，T，T为词向量的个数，T为设定值，为分数权重，为一个可学习参数，为所述视觉特征V和第i个词向量qⁱ的融合参数，qⁱ是所述问题特征Q中第i个词的词向量，为视频权重，为词权重，和均为可学习参数；

步骤2，利用物体检测框架，计算所述训练视频的物体特征V_B，根据所述物体特征V_B建立显式图模型，并确定显式图建模特征V_G；其中，步骤2中，具体包括：

步骤21，根据所述训练视频中每一帧图像，建立一张图，并将所述图中的物体作为图节点，连接任意两个图节点，并将该连线记作图边，生成图邻接矩阵A_{B x B}；

步骤22，使用所述物体特征V_B对所述邻接矩阵A_{B x B}进行初始化，其中，所述图节点的初始化特征计算公式为：

f(x_k,i)＝V_B[k][i]

式中，f(x_k,i)为第k张图的第i个图节点的初始特征值，V_B[k][i]为物体特征V_B中第一维取值为k、且第二维取值为i时对应的特征取值；

所述图边的初始化计算公式为：

A_i,j＝|f(x_k,i)-f(x_k,j)|

式中，A_i,j为第k张图中第i个图节点和第j个图节点之间的图边的初始值；

步骤23，将初始化后的邻接矩阵A_{B x B}对应的图边值A_i,j，带入迭代多层神经网络，根据迭代结果更新邻接矩阵A_{B x B}，并将更新后的N个邻接矩阵A_{B x B}进行拼接，采用池化层对拼接后的N个邻接矩阵A_{B x B}进行池化，确定所述显式图建模特征V_G；

步骤3，利用所述时序注意力特征Q^t和所述显式图建模特征V_G，进行第0维点乘运算，生成全局视频特征向量V_F；

步骤4，根据所述问题特征Q和所述全局视频特征向量V_F，确定全局特征值J，并根据所示全局特征值J和所述训练问题对应的问题答案，优化所述显式图模型的参数，根据优化后的所述参数，更新所述显式图模型；

步骤5，根据更新后的显式图模型，分析待识别视频，确定视频问题的问题答案。

2.如权利要求1所述的基于图建模视觉信息的利用问题指导的视频问答方法，其特征在于，所述迭代多层神经网络的计算公式为：

式中，A_i,j′表示图节点i到图节点j(1＝i,j＝B)的图边的迭代值，MLP表示多层神经网络单元，f(x_i)表示图节点x_i的特征，即构造图节点初始值时使用的物体特征V_B中第i个物体的特征，其维度为C维。