[发明专利]一种利用卷积多层注意力网络机制生成面向查询的视频摘要的方法

说明书

本发明公开了一种利用卷积多层注意力网络机制生成面向查询的视频摘要的方法。1)针对一组视频，切割构建视频片段。利用全卷积神经网络，提取视频每个镜头的视觉特征。2)利用局部自注意力机制，学习视频片段中所有镜头之间的语义关系，并生成视频镜头的视觉特征。3)利用查询相关的全局注意力机制，学习视频不同片段之间的语义关系，并生成面向查询的视频镜头的视觉特征。4)计算视频镜头和用户查询之间的相似度得分，用来生成查询相关的视频摘要。相比于一般视频摘要解决方案，本发明利用卷积多层注意力机制，能够更准确地反映查询相关的视频视觉特征，产生更加符合的视频摘要。本发明在视频摘要中所取得的效果相比于传统方法更好。

技术领域

本发明涉及视频摘要生成，尤其涉及一种利用卷积多层注意力网络来生成与查询相关的视频摘要的方法。

背景技术

自动化的视频摘要技术广泛应用于诸多领域，例如运动识别，监视视频分析，基于个人生活日志视频的可视日记创建，以及视频站点的视频预览。

现有的视频摘要方法侧重于寻找最多样化和最具代表性的视觉内容，缺少对用户偏好的考虑。它可以分为两个领域：(1)通用视频摘要(2)面向查询的视频摘要。通用视频摘要通过选择长视频的亮点，并删除视频冗余内容来生成原始视频的紧凑版本；面向查询的视频摘要不仅删除视频的多余部分，找到视频中的关键帧或镜头，而且挑选出与用户查询相关的视频片段。面向查询的视频摘要相较于通用视频摘要的优越性主要体现在以下三点：首先，视频摘要需要考虑用户的主观性，因为不同的用户查询可能会收到不同的视频摘要；其次，通用视频摘要方法的性能评估通常是为了测量时间重叠，从而难以捕获摘要和原始视频之间的语义相似性；第三，文本查询可以为任务带来更多的语义信息。

近期面向查询的视频摘要的相关研究主要采取序列标记的思路，采用基于顺序结构的模型，例如长短期记忆网络(LSTM，Long Short-Term Memory)(Hochreiter andSchmidhuber,1997)。对于视频的每个时间步长，模型都会输出一个二进制分数，以判定此框架是否重要以及是否与给定查询相关。但是，顺序模型通常会逐步执行计算，当视频长度增加时，模型的计算时间也会变长。而且，由于梯度消失的问题，当视频太长时，顺序模型不能轻易处理视频之间的长距离关系。在(Rochan，Ye，and Wang 2018)中，使用完全卷积网络进行编码与解码，以解决视频摘要任务，这表明卷积网络可以生成高质量的视频摘要。

发明内容

为了克服现有技术中缺少对于用户主观性的考虑，针对于目前较少评估摘要与原始视频之间的语义相似性，并且文本查询会带来额外的语义信息的情况，本发明采用一种利用卷积多层注意力网络(CHAN)来生成面向查询的视频摘要，该方法由两部分组成：特征编码网络和查询相关性计算模块。在特征编码网络中，本发明结合局部自注意力机制和查询相关的全局注意力机制的卷积网络来学习每个镜头的视觉特征，并生成视频的融合特征表达。编码后的视觉特征通过计算视频镜头的查询相关性得分，生成面向查询的视频摘要。

本发明所采用的具体技术方案是：

1.构建卷积多层注意力网络，所述卷积多层注意力网络包括全卷积神经网络、局部自注意力机制和全局注意力机制；对于输入的视频及查询语句，利用卷积多层注意力网络机制生成查询相关的视频的融合特征表达；

1.1对于输入的视频，构建视频片段；

1.2对于步骤1.1形成的视频片段，首先利用残差神经网络提取视频片段的视觉特征，然后通过全卷积神经网络获取每一个视频片段的镜头级别的视觉特征表达；

1.3利用步骤1.2得到的视频片段的镜头级别的视觉特征表达，通过局部自注意力机制，得到每一个视频片段的局部自注意力特征表达；

1.4利用步骤1.2得到的视频片段的镜头级别的视觉特征表达，结合输入的查询语句，通过全局注意力机制，得到每一个视频片段的全局注意力特征表达；