[发明专利]基于注意力扩展编解码网络的视频摘要方法

权利要求书

1.一种基于注意力扩展编解码网络的视频摘要方法，其特征在于，包括：将视频摘要看作是序列到序列学习过程，并且利用视频帧间的时域相关性，将SumMe或TVSum中的原始视频通过预训练网络得到视频帧特征序列，将视频帧特征序列作为注意力扩展编解码网络中编码器网络的输入，得到视频帧的语义信息序列，再通过乘性注意力的解码网络，得到对应每一视频帧的得分；然后将所有视频帧的得分构成摘要序列，通过回顾性编码器得到摘要序列的语义信息序列，构建全局语义判别损失，引入滑动平均模型，学习摘要序列与视频帧特征序列的语义相关性，得到保留原始视频重要信息的新的摘要序列，最后通过新的摘要序列来挑选所设定最终的摘要。

2.根据权利要求1所述的基于注意力扩展编解码网络的视频摘要方法，其特征在于，所述的原始视频重要信息，是在SumMe或TVSum中所标注的重要性得分信息。

3.根据权利要求1所述的基于注意力扩展编解码网络的视频摘要方法，其特征在于，具体包括如下步骤：

1)对SumMe或TVSum中原始视频以2fps的速率采样得到视频帧，将所述的视频帧经在ImageNet数据集上预训练得到GoogLeNet网络，提取视频帧特征序列X＝{x1,x₂,...,x_T}；

2)将视频帧特征序列输入到注意力扩展编解码网络中的由双向长短期记忆网络构成的编码器中，编码得到视频帧的语义信息序列V＝{v₁,v₂,...,v_T}；

3)将视频帧的语义信息序列输入到由长短期记忆网络构成的解码器中，在解码器中引入注意力机制，解码得到对应每一视频帧的得分，将所有视频帧的得分构成摘要序列Y＝{y₁,y₂,...,y_L}；

4)将生成的摘要序列输入到由双向长短期记忆网络构成的回顾性编码器中，编码得到摘要序列的语义信息序列U＝{u₁,u₂,...,u_T}，再通过摘要序列的语义信息序列与对应的在SumMe或TVSum中所标注的重要性得分信息构成的局部判别损失的基础上，再引入视频帧的语义信息序列和摘要序列的语义信息序列构成的全局判别损失，生成具代表性的新的摘要序列；其中局部判别损失和全局判别损失构建的损失函数如下：

l＝L_O+λL_s

其中：局部判别损失g_i表示第i个视频帧在SumMe或TVSum中所标注的重要性得分，y_i表示生成的每一视频帧的得分；

全局判别损失V表示视频帧的语义信息序列，U表示摘要序列的语义信息序列，λ为权衡参数，值为0.001；

5)引入滑动平均模型，记录构成编码器的网络、构成解码器的网络和构成回顾性编码器的网络中的每个参数在设定时间内过往参数值的平均值，使每个参数平滑变化，抑制参数突变，重复步骤1)～步骤4)直至得到所有视频帧的得分，构成新的摘要序列，最后通过新的摘要序列来挑选所设定最终的摘要。

4.根据权利要求3所述的基于注意力扩展编解码网络的视频摘要方法，其特征在于，步骤2)所述的视频帧的语义信息序列V＝{v₁,v₂,...,v_T}是由前向长短期记忆网络的隐藏状态和后向长短期记忆网络的隐藏状态融合得到，其中v融合了视频帧的上下文信息，t取1～T。

5.根据权利要求3所述的基于注意力扩展编解码网络的视频摘要方法，其特征在于，步骤3)在解码过程中引入注意力机制用于提高解码过程中每一视频帧得分预测的准确性，所述的注意力机制是融合摘要序列引导当前视频帧重要性分数的预测，即通过相似度函数度量前一个长短期记忆网络隐藏层状态与当前视频帧的语义信息序列的相似度，相似度函数为再通过归一化得到注意力权重其中注意力权重此时对应解码器的输入为视频帧新的语义信息序列V_t，其中通过视频帧新的语义信息序列得到对应每一视频帧的得分。