[发明专利]一种基于注意力模型的视频问答方法

摘要

本发明公开了一种基于注意力模型的视频问答方法，本方法基于编码解码的框架进行设计，采用端到端的方式学习视频的视觉信息和语义信息。通过端到端设计，本方法能够有效的强化视觉信息和语义信息之间的联系。本发明自主设计帧模型来提取视频的特征向量。在编码阶段，通过长短期记忆网络学习视频的场景特征表示，并将其作为解码阶段文本模型的初始状态输入，同时，在文本模型中加入的注意力机制能够有效的增强视频帧和问题之间的联系，更好的解析出视频的语义信息。因此，该基于注意力模型的视频问答方法取得了良好的效果。

主权项

一种基于注意力模型的视频问答方法，其特征在于，包括以下步骤：(1)从互联网下载视频，并对每个视频提出问题，同时针对问题给出答案，形成<视频，问答对>，构成视频问答训练集；(2)利用视频截取工具截取视频帧，并对视频帧进行采样，每一帧都是一张静态图像；(3)构造帧模型，逐帧处理视频帧，得到视频的特征向量；(4)将视频的特征向量作为长短期记忆网络的输入得到视频的场景特征表示；(5)将视频的场景特征表示作为文本模型的初始化，文本模型采用长短期记忆网络，同时，在每个节点处加入了注意力模型，通过端到端的方式进行训练，得到场景‑文本模型的参数；(6)输入待回答问题的视频的特征向量，以及待回答问题的文本特征，通过场景‑文本模型预测出合适的答案。