[发明专利]一种基于多模态融合和结构性控制的视觉问答方法

权利要求书

1.一种基于多模态融合和结构性控制的视觉问答方法，视觉问答方法需要进行视觉问答的训练，视觉问答的训练需要图像数据集、问题数据集、答案数据集，并从中选取图像样本及其对应的问题样本、答案样本，得到图像样本数据集、问题样本数据集、答案样本数据集，其特征在于：包括以下步骤：

步骤S1：计算图像样本数据集的视觉特征向量、问题样本数据集的问题语义特征向量和答案样本数据集的答案语义特征向量；

训练时输入的图像样本数据集和问题样本数据集构成的并集为其中V＝[v₁,v₂,…,v_m]为所述并集的视觉特征向量组，d为图像样本中的区域数，l为每个区域的特征向量的维度，Q＝[q₁,q₂,…,q_m]为所述并集的问题语义特征向量组，r为样本中每个问题语义特征向量的维度，m为数据集中样本的总数，视觉特征向量v_i是通过152层的残差网络ResNet中最后一个卷积层提取的特征向量矩阵，问题语义特征向量q_j则是在词表示的全局向量GloVe嵌入的基础上使用双向LSTM，即bi-LSTM，提取的特征向量；

计算答案样本数据集中的答案语义特征向量，答案语义特征向量分为正确答案语义特征向量和错误答案语义特征向量，先使用词表示的全局向量GloVe获取答案的嵌入向量；然后将答案特征向量输入到指定的多层感知器模型g_φ(answers)获取输出正确答案特征向量组A，其中A＝[a₁,a₂,…,a_m]，a_i表示正确答案特征向量；

步骤S2：将视觉特征向量和问题语义特征向量输入到基于协同注意力机制的网络，计算多模态信息融合特征向量；

通过嵌入函数f_θ(images,questions)将视觉特征向量V和问题语义特征向量Q输入到基于协同注意力机制的网络，获取图像中与问题文本相关的注意力加权特征向量，最后通过一个多层感知器将混合特征向量嵌入到输出维度为n的空间，计算多模态信息融合特征向量组U_i，其中U_i＝[u₁,u₂,…,u_m]，u_i 为多模态信息融合特征向量，n为多模态融合特征向量的维度；

多模态融合特征向量的相关计算公式如下：

其中，k表示多模态融合特征向量迭代计算过程中的第k层注意力机制，融合特征向量h_A是利用注意力机制融合v_i和u^k-1得到的特征向量，分别表示图像特征、问题特征到注意力机制的线性变换矩阵，表示在图像上加权后得到的视觉特征向量，u为多模态信息融合特征向量，b_A为注意力机制的偏置项，p_I表示通过线性变化和多项逻辑斯蒂回归softmax得到融合特征向量h_A在图像上的概率分布，和b_P分别表示计算概率分布过程中的权值矩阵、偏置项，j为权值矩阵的维度，l为每个区域的特征向量的维度，d为图像的区域数，表示矩阵和向量的加法；I或者i作为下标，起到编号的作用，用于区分不同样本的对应参数；

步骤S3：对多模态信息融合特征向量和根据答案样本数据集计算的答案语义特征向量进行结构性控制，缩小多模态信息融合特征向量和答案语义特征向量的概率分布；

步骤S4：根据答案语义特征向量的概率分布预测视觉问答中图像对应问题的答案。