[发明专利]视频摘要的生成方法、设备和存储介质

权利要求书

1.一种视频摘要的生成方法，其特征在于，所述方法包括：

提取目标视频中每一视频帧的视觉特征；

将所述每一视频帧的视觉特征输入至自注意力网络，以使所述自注意力网络依据所述视频帧之间的相对位置获得所述每一视频帧的自注意力特征；

基于所述每一视频帧的自注意力特征，确定所述每一视频帧的重要性预测值；

基于所述每一视频帧的重要性预测值，生成所述目标视频的视频摘要。

2.根据权利要求1所述的方法，其特征在于，所述自注意力网络包括前向的自注意力网络和后向的自注意力网络；

所述将所述每一视频帧的视觉特征输入至自注意力网络，以使所述自注意力网络依据所述视频帧之间的相对位置获得所述每一视频帧的自注意力特征，包括：

将所述每一视频帧的视觉特征输入所述前向的自注意力网络，获得所述每一视频帧的第一自注意力特征，并将所述每一视频帧的视觉特征输入所述后向的自注意力网络，获得所述每一视频帧的第二自注意力特征；

将所述每一视频帧的第一自注意力特征和所述每一视频帧的第二自注意力特征对应叠加，获得所述每一视频帧的自注意力特征。

3.根据权利要求2所述的方法，其特征在于，所述前向的自注意力网络利用公式得到所述每一视频帧的第一自注意力特征；

所述后向的自注意力网络利用公式得到所述每一视频帧的第二自注意力特征；

其中，n为所述目标视频中视频帧的数目，i、j为1至n中的任一数值，x_i为第i视频帧的视觉特征，x_j为第j视频帧的视觉特征，c_i1为所述第i视频帧的第一自注意力特征，a_ij1为所述前向的自注意力网络中的权重系数，α_ij^V1为在所述前向的自注意力网络中所述第i视频帧与所述第j视频帧之间的相对位置，W^V1为所述前向的自注意力网络的线性变换参数；c_i2为所述第i视频帧的第二自注意力特征，a_ij2为所述后向的自注意力网络中的权重系数，α_ij^V2为在所述后向的自注意力网络中所述第i视频帧与所述第j视频帧之间的相对位置，W^V2为所述后向的自注意力网络的线性变换参数。

4.根据权利要求3所述的方法，其特征在于，a_ij1是基于前向掩码计算获得，a_ij2是基于后向掩码计算获得。

5.根据权利要求1所述的方法，其特征在于，所述基于所述每一视频帧的重要性预测值，生成所述目标视频的视频摘要，包括：

将所述目标视频划分为多个镜头片段；

基于所述镜头片段中各个所述视频帧的重要性预测值，确定所述镜头片段的重要度；

基于每个所述镜头片段的重要度，生成所述目标视频的视频摘要。

6.根据权利要求5所述的方法，其特征在于，所述基于每个所述镜头片段的重要度，生成所述目标视频的视频摘要，包括：

在所述多个镜头片段中选取至少一个目标镜头片段，所述至少一个目标镜头片段的长度总和为视频摘要的预设目标长度且所述至少一个目标镜头片段的重要度之和为最大值；

按照所述至少一个目标镜头片段在所述目标视频中的位置信息，将所述至少一个目标镜头片段拼接为所述目标视频的视频摘要。

7.根据权利要求5或6所述的方法，其特征在于，所述基于所述镜头片段中各个所述视频帧的重要性预测值，确定所述镜头片段的重要度，包括：

计算所述镜头片段中各个所述视频帧的重要性预测值的平均值；

将所述镜头片段对应的平均值，确定为所述镜头片段的重要度。

8.根据权利要求6所述的方法，其特征在于，所述预设目标长度为所述目标视频的长度和预设比值的乘积，所述预设比值小于1。