[发明专利]利用知识库渐进时空注意力网络解决视频问答任务的方法

说明书

本发明公开了一种利用知识库渐进时空注意力网络解决视频问答任务的方法，主要包括如下步骤：1)针对于所给视频、问题，获取问题第n个单词的隐层状态输出、结合了知识库信息的问题隐层状态输出、含有时空注意力信息的视频编码。2)利用得到的问题第n个单词的隐层状态输出、结合了知识库信息的问题隐层状态输出、含有时空注意力信息的视频编码，获取视频问答的答案。相比于一般的视频问答解决方案，本发明利用了知识库渐进时空注意力网络，能够更好地利用问题相关视频帧与问题相关视频画面区域。本发明在视频问答任务中所取得的效果相比于传统的方法更好。

技术领域

本发明涉及视频问答任务，尤其涉及一种利用知识库渐进时空注意力网络解决视频问答任务的方法。

背景技术

视频问答任务是一项十分有挑战性的任务，目前吸引了很多人的关注。在该任务中需要问答系统可以针对于某个特定视频的问题，回答用户的提问。目前视频问答任务仍然是一个较为新颖的任务，对其的研究还不像对图像问答任务那样成熟。对于图像问答任务，一般采用的方法为，将文本内容与图像内容均映射到同一个空间中，之后利用文本与图像内容的联合表达预测所给问题的正确答案。

然而视频是一个具有特定时序信息的静态图像集合，所以视频中隐藏的上下文信息与时间动态信息十分重要，不可以被忽略。此外，在视频中，还有许多视频帧是与所问问题无关的，需要在进行视频问答时给予较低的权重。

此外，在视频问答任务的视频处理时，与问题相关的视频画面区域往往只占整个视频画面区域的一小部分，需要找到问题所关注的视频画面区域。同时，为了提高视频问答的准确性，需要引入相关知识信息。为了解决上述问题，本发明使用知识库渐进时空注意力网络来解决视频问答任务，提高视频问答任务形成回答语句的准确性。

发明内容

本发明的目的在于解决现有技术中的问题，为了克服现有技术对于视频问答无法提供较为准确的回答的问题，本发明提供一种利用知识库渐进时空注意力网络解决视频问答任务的方法。本发明所采用的具体技术方案是：

利用知识库渐进时空注意力网络解决视频问答任务的方法，包含如下步骤：

1.设计一种问题方面的知识库注意力机制对视频问答任务中用户输入的问题进行编码，获取结合了知识库信息的问题隐层状态输出和问题每个单词的隐层状态输出。

2.利用步骤1中获取的结合了知识库信息的问题隐层状态输出，设计一种时空注意力单元对于视频问答任务中的视频进行编码，获取含有时空注意力信息的各个时刻视频编码。

3.利用步骤2获得的含有时空注意力信息的各个时刻视频编码，获取对应的含有时空注意力信息的视频帧第n次隐层状态输出；利用步骤1中获取的结合了知识库信息的问题隐层状态输出、问题每个单词的隐层状态输出与获取的含有时空注意力信息的视频帧第n次循环隐层状态输出，设计一种答案生成器，利用该答案生成器获得视频问答任务的答案。

上述步骤可具体采用如下实现方式：

对于视频问答任务中用户输入的问题，将问题中的各个单词利用单词映射的方式，获得问题中各个单词的映射向量q＝(q₁,q₂,...,q_n)，其中q_t代表问题中的第t个单词的映射向量，n代表问题中的单词个数。将问题中各个单词的映射向量q＝(q₁,q₂,...,q_n)依次输入到问题的长短时记忆神经网络单元LSTM_q中，获取问题中每个单词对应的问题的长短时记忆神经网络单元LSTM_q的隐层状态输出其中代表问题中的第t个单词输入到问题的长短时记忆神经网络单元LSTM_q中，获取的对应的隐层状态输出。n代表问题中的单词个数。