[发明专利]利用知识库渐进时空注意力网络解决视频问答任务的方法

权利要求书

1.利用知识库渐进时空注意力网络解决视频问答任务的方法，用于解决视频问答任务，其中视频问答任务包括用户输入的问题，由帧图像组成的视频，其特征在于包括如下步骤：

1)设计一种问题方面的知识库注意力机制对视频问答任务中用户输入的问题进行编码，获取结合了知识库信息的问题隐层状态输出和问题每个单词的隐层状态输出；

对视频问答任务中用户输入的问题，将问题中的各个单词利用单词映射的方式，获得问题中各个单词的映射向量q＝(q₁,q₂,...,q_n)，其中q_t代表问题中的第t个单词的映射向量，n代表问题中的单词个数；将问题中各个单词的映射向量q＝(q₁,q₂,...,q_n)依次输入到问题的长短时记忆神经网络单元LSTM_q中，获取问题中每个单词对应的问题的长短时记忆神经网络单元LSTM_q的隐层状态输出其中代表问题中的第t个单词输入到问题的长短时记忆神经网络单元LSTM_q中，获取的对应的隐层状态输出；n代表问题中的单词个数；

将视频问答中视频的每个帧图像利用提前训练好的Faster-RCNN网络，获取每个帧图像中最可能含有的5个对象物体；对于视频所有帧分别预测出的5个最可能含有的对象物体，统计出现次数最高的8个物体构成该视频的对象物体集合o_v＝(o_v1,o_v2,...,o_v8)；对于该视频的对象物体集合o_v中每个对象物体，利用DBPedia数据库分别获取每个对象物体的描述；将该视频的对象物体集合o_v中每个对象物体的描述输入到提前训练好的Doc2Vec模型中，获取该视频的对象物体集合o_v中每个对象物体的知识特征向量其中f_i^k代表该视频的对象物体集合o_v中第i个对象物体的知识特征向量，E＝8；

利用获取的问题每个单词的隐层状态输出视频的对象物体集合o_v中每个对象物体的知识特征向量按照如下公式获取结合了知识库信息的问题第t次循环的隐层状态输出

其中，W、W_q、W_k代表可训练的权重矩阵，b代表可训练的偏置向量，tanh()代表双曲正切函数，exp()代表以自然底数e为底的指数运算函数，E＝8，代表问题第t个单词的隐层状态输出，f_i^k代表视频的对象物体集合o_v中第i个对象物体的知识特征向量；则利用如上方法可以得到结合了知识库信息的问题隐层状态输出

2)利用步骤1)中设计的问题方面的知识库注意力机制的输出，设计一种时空注意力单元对视频问答任务中的视频进行编码，获取含有时空注意力信息的各个时刻视频编码；

3)利用步骤2)获得的含有时空注意力信息的各个时刻视频编码，获取对应的含有时空注意力信息的视频帧第n次隐层状态输出；

利用步骤1)中获取的结合了知识库信息的问题隐层状态输出、问题每个单词的隐层状态输出与获取的含有时空注意力信息的视频帧第n次循环隐层状态输出，设计一种答案生成器，利用该答案生成器获得视频问答任务的答案。