[发明专利]基于关键词感知的多模态注意力视频问答方法与系统

权利要求书

1.一种基于关键词感知的多模态注意力视频问答方法，其特征在于，所述方法包括：

输入视频帧、字幕文本和问题文本信息，利用多模态特征提取算法和关键词提取算法，提取输入视频的多模态特征；

利用关键词感知的多模态注意力算法，对所述视频的多模态特征进行处理，经有效关联和融合后，输出已融合的多模态特征；

利用多层感知机MLP，对所述已融合的多模态特征进行处理后，输出预测的答案。

2.如权利要求1所述的基于关键词感知的多模态注意力视频问答方法，其特征在于，将所述输入的视频帧、字幕文本和问题文本信息，利用多模态特征提取算法和关键词提取算法，提取输入视频的多模态特征，具体为：

利用卷积网络C3D提取所述视频帧的动作标签，利用对象检测算法Yolo提取所述视频帧的视觉标签，并将所述动作标签和视觉标签合为一个视觉标签集合；

将所述视觉标签集合、问题文本和字幕文本整合为一个长句子，利用预训练模型KeyBert进行关键词提取，输出提取的关键词集合；

利用预训练模型BERT和双向神经网络LSTM编码器，对所述视觉标签集合、问题文本、字幕文本和关键词集合进行处理，得到所述文本特征的编码；

将所述视频帧输入神经网络ResNet，直接提取所述视频帧对应图片的视觉特征，并输入双向LSTM获得视觉特征表示；

结合所述文本特征和所述视觉特征，得到多模态特征。

3.如权利要求1所述的基于关键词感知的多模态注意力视频问答方法，其特征在于，所述利用关键词感知的多模态注意力算法，对所述视频的多模态特征进行处理，经有效关联和融合后，输出已融合的多模态特征，具体为：

利用软注意力机制，对所述多模态特征中的关键词特征和字幕文本特征进行关联，筛选出与所述关键词特征更相关的字幕文本，并将所述两个特征合为一个关键字幕文本特征；

相似地，对所述多模态特征中的关键词特征和问题文本特征进行关联，筛选出与所述关键词特征更相关的问题文本，并将所述两个特征合为一个关键问题文本特征；

对所述多模态特征、关键字幕文本特征和关键问题文本特征分别应用自注意力机制，增强所述特征的时序性，并分别输出各模态的特征表示；

对所述各模态特征两两之间应用双向注意力机制，关联不同模态特征中的相关信息，以提高特征融合的效果。

4.如权利要求1所述的基于关键词感知的多模态注意力视频问答方法，其特征在于，利用MLP，对所述已融合的多模态特征进行处理后，输出预测的答案，具体为：

定义一个两层MLP作为分类器，所述分类器的结构如下：

FC(2048)-ReLU-FC(n)

其中，FC为神经网络的全连接层，2048为神经元的个数；ReLU为神经网络的激活函数，n为全连接层其输出维度，由候选答案的个数决定；

经过MLP后，输出对每个候选答案的预测得分，具体如下：

其中，为所述已融合的多模态特征，x为每个候选答案的预测得分，x＝x₁,x₂,…,x_n；

使用softmax函数对所述预测得分进行归一化，得到每个候选答案的预测概率；

使用argmax函数选取所有所述候选答案中预测概率的最大值，具体如下：

y＝atgmax(softmax(x))

其中，y为所述预测概率的最大值；

在训练时，使用交叉熵损失函数来衡量模型的输出与真实的输出之间的差距，具体公式如下：

其中，x为样本，概率分布p为真实答案的期望输出，概率分布q为实际输出；所述两个概率分布越接近，该损失函数的值H(p,q)越小，则预测答案时的实际输出越接近真实答案的期望输出；反之，所述两个概率分布越远，该损失函数的值H(p,q)越大，则预测答案时的实际输出越偏离真实答案的期望输出。