[发明专利]一种基于时空注意力模型的视频摘要生成方法

权利要求书

1.一种基于时空注意力模型的视频摘要生成方法，其特征在于：首先给出如下定义，

①视频摘要：在给定的一段长视频序列中，提取出重要的视频帧序列组成一段短视频，其中w,h,c是视频帧的长，宽，通道数，t为视频帧序号，T为视频帧的总数，y_t∈[0,1]表示t_th帧是否被选为关键帧，“1”表示为真“0”为假，生成的摘要表示为X_sub＝{x_t|t∈E},E＝{t∈[1,T]|y_t＝1}；

②视频帧描述信息：由视觉显著特征z_t、语义特征v_t两种信息进行描述；

具体实现包括如下步骤；

步骤1，获取给定视频帧图像的视觉显著特征和语义特征表达分别为

步骤2，构建空间注意力模型：如果图像的显著域大小大于预设的阈值则该图像的显著域为有效显著域，能够吸引观众的注意力，则该图像的空间注意力分数记作bins(·)表示显著域直方图中的离散函数，bins(·)计算概率，当时该视频帧中含有效显著域，并且有效显著域面积越大，当前帧的空间重要程度越高；

步骤3，构建时间注意力模型：基于经典的注意力模型，当前视频帧与其前后向视频帧的语义关联使用条件概率计算，其时间注意力分数描述为m_t＝p(p_t|p₁,p₂,...,p_t-1,V)＝G(p_t-1,s_t,c_t)，其中，时间注意力分数m_t计算可看作记作条件概率事件p(p_t|p₁,p₂,...,p_t-1,V)，即已知t时刻前每帧的时间重要性值p₁,...,p_t-1和语义向量集合V，求当前t时刻的时间注意力概率p_t，表示视频帧语义特征的集合，G(·)表示经典的注意模型解码器的计算，s_t是解码器隐含层向量，c_t为注意模型的编码器的输出向量；

步骤4，构建联合概率模型：联合概率模型为β_t＝P(l_t,m_t)＝W_l·l_t+W_m·m_t，其中，β_t为空间注意力分数l_t和时间注意力分数m_t的联合概率值，P(l_t,m_t)为联合概率函数；

步骤5，通过联合概率模型确定时空均重要的关键帧。

2.如权利要求1所述的一种基于时空注意力模型的视频摘要生成方法，其特征在于：步骤5中关键帧的选择服从伯努力分布Bernounil(·)，即通过y_t～Bernounil(β_t)确定关键帧，输出0或1，其中0表示非关键帧，1表示关键帧。