[发明专利]一种基于时空注意力模型的视频摘要生成方法

说明书

本发明公开了一种基于时空注意力模型的视频摘要生成方法，该方法基于“随手拍”视频的两个特点：“空间显著物体的吸引力”和“时间语义信息相关”，提出将时间语义信息和空间视觉信息融合，并以联合概率的形式以确定是关键帧的概率。首先将视频文件分解成帧序列，按照帧的时间顺序依次使用深度神经网络分别提取显著域特征和语义特征；显著域特征用于确定图像画面中，能够引起观众注意的区域；语义特征用于匹配当前视频帧与前后连续多张视频帧信息的关联程度，确定时序上的关键信息；通过对空间和时间上视频帧重要性的评估，确定时空上均有重要信息的关键帧；将重要性得分高的关键帧组成视频摘要。

技术领域

本发明属于视频摘要技术领域，尤其涉及一种针对用户的“随手拍”视频，基于时空注意力模型的视频摘要生成方法。

背景技术

视频摘要的目的是通过一个简短的视频来表示一个原始的视频内容，该技术能够方便视频的预览、存储、检索和管理。自从YouTube、Instagram等自媒体平台快速发展以来，普通用户创建并上传了大量的视频数据。然而，传统的基于人工浏览视频，挑选出关键片段的模式需要耗费大量的人力和时间、效率低下，无法高效及时的处理海量视频。自动视频摘要技术能够自动分析原始视频中的内容，并提炼出关键的片段组成时长更短的视频。便于自媒体平台快速的检索，浏览，存储，传播视频信息，对信息的流通具有重要的意义。

现有的视频摘要方法主要解决特定类别的视频，如运动视频，监控视频，关注的是在背景不变，或者有额外辅助信息的条件下度量视频帧的关键程度。然而，“随手拍”视频，场景在短时间内频繁变化，大大增加了语义信息复杂度，同时干扰信息也更多。因此，传统的方法并不能很好的解决“随手拍”视频的摘要问题。

发明内容

针对现有技术存在的不足，本发明提供了一种基于时空注意力模型的视频摘要生成方法。该方法基于“随手拍”视频的两个特点：“空间显著物体的吸引力”和“语义信息的时序相关性”。提出将时间语义信息和空间视觉信息融合，并以联合概率的形式以确定是关键帧的概率。具体包括：将视频文件分解成帧序列，按照帧的时间顺序依次使用深度神经网络分别提取视频帧的显著域特征和语义特征；显著域特征用于确定图像画面中，能够引起观众注意的区域；语义特征用于匹配当前视频帧与前后连续多张视频帧之间信息的关联程度，确定时序上的关键信息；通过对空间和时间上视频帧重要性的评估，确定时空上均有重要信息的关键帧。将多个重要性得分较高的关键帧组成视频摘要。

本发明系统框架图见图1。在两大视频摘要数据集上的测试结果证明概率模型的有效性，同时利用时空约束，能大大提升视频摘要生成效果，见附图2。其具体实现包括以下步骤：

步骤一：

1.几个定义

①视频摘要：在给定的一段长视频序列中，提取出重要的视频帧序列组成一段短视频。其中w,h,c是视频帧的长，宽，图像通道数；t为视频帧的索引，T为视频帧的总数。y_t∈[0,1]表示第t帧是否被选为关键帧，“1”表示为是，“0”表示否，生成的摘要表示为X_sub＝{x_t|t∈E},E＝{t∈[1,T]|y_t＝1}。

②视频帧视觉显著性特征的获取方法：视觉信息z_t，z_t∈R^w*h采用双流深度网络提取，如图4所示。

静态显著网络和动态显著网络的网络结构相似，详细网络结构如图5所示。该网络采用多层卷积网络处理输入图像，得到多维度的特征表达，随后，叠加一个反向卷积网络上采样卷积网络输出的特征图。最后，通过一个核为1*1的卷积和sigmoid激活函数，输出与原始图像大小一致的特征图，来预测显著图谱。