[发明专利]基于自注意力机制的电子商务视频高光检测方法及系统

权利要求书

1.一种基于自注意力机制的电子商务视频高光检测方法，其特征在于，包括以下步骤：

1)对视频进行均匀采样获取帧集合，通过一个预先训练的特征提取器来获得帧特征；

2)帧特征与绝对时序编码相加，将帧间位置关系编码到整个视频中，得到包含绝对时序信息的帧特征；

3)创建视频编码器处理包含绝对时序信息的帧特征，得到编码后的帧特征；

4)将视频划分为视频片段，将每个视频片段对应的帧特征划分为两个部分：片段内帧特征和片段外帧特征；所述的片段外帧特征包括片段前帧特征和片段后帧特征；

在片段内帧特征中引入绝对时序编码，得到编码后的片段内帧特征；在片段前帧特征和片段后帧特征中分别引入相对编码，得到编码后的片段前帧特征和编码后的片段后帧特征；将编码后的片段前帧特征和编码后的片段后帧特征相结合，作为初始上下文特征；

5)将编码后的片段内帧特征传递给片段编码器生成初始片段特征X_w，然后利用池化层获得中间片段特征z_w；将中间片段特征z_w和初始上下文特征作为加性注意力模块的输入，得到上下文特征z_c；将上下文特征z_c和中间片段特征z_w相结合，得到结合了上下文信息的最终片段特征，通过MLP模型获得视频片段的高光分数s_w；所述MLP模型的损失函数采用加权成对排序损失，计算公式为：

其中，λ为防止模型过拟合的参数；正片段是采样片段与训练集中高光片段重合度大于50％的片段，负片段是采样片段与训练集中高光片段重合度小于50％的片段，当重合片段刚好为50％时随机标记；是由正负片段对组成的集合，表示片段对的数量；w_(pos，neg)表示正负片段的重合参数，s_pos表示正片段的高光预测分数，s_neg表示负片段的高光预测分数，为加权成对排序损失；

6)选择高光分数最高的k个视频片段作为候选片段，使用自注意力模块和MLP模型生成每个候选片段的高光分数变化量，将步骤5)生成的高光分数与高光分数变化量之和作为候选片段的最终分数s′_w，将最终分数最高的候选片段作为高光片段输出。

2.根据权利要求1所述的基于自注意力机制的电子商务视频高光检测方法，其特征在于，所述的步骤2)具体为：

将步骤1)获取的帧特征X＝{x⁽⁰⁾，...，x^(T-1)}与视频帧的绝对时序编码相加，获得包含绝对时序信息的帧特征计算公式为：

其中，表示包含绝对时序信息的第t帧的帧特征，TempEmbed(t)表示第t帧的绝对时序编码，x^(t)表示视频中的第t帧的帧特征，T是视频中的总帧数。

3.根据权利要求1所述的基于自注意力机制的电子商务视频高光检测方法，其特征在于，步骤3)所述的视频编码器采用自注意力模型。

4.根据权利要求1所述的基于自注意力机制的电子商务视频高光检测方法，其特征在于，所述的步骤4)具体为：

将视频划分为视频片段，针对于一段帧范围为[m，n)的视频片段，片段内帧特征为片段前帧特征为片段后帧特征为

对于片段内的帧，使用绝对时序编码来捕获它们在片段内的时间关系，其中第t帧的绝对时序编码是由片段[m，n)的开始和t的偏移量计算得出的；对片段外的帧，使用相对时序编码来捕获它们各自与片段的相对时间关系，第t帧的相对时序编码是由第t帧与片段[m，n)的距离计算得出的，计算公式为：

式中，TempEmbed()表示绝对时序编码或相对时序编码，表示在经视频编码后的视频特征中再次引入绝对时序编码或相对时序编码之后的第t帧的帧特征，当m≤t＜n时，表示片段内帧特征，当t＜m和t≥n时，表示片段外帧特征；

将编码后的片段外帧特征相结合，表示为为方便表达，将表示为片段[m，n)的初始上下文特征

5.根据权利要求1所述的一种基于自注意力机制的电子商务视频高光检测方法，其特征在于，步骤5)所述的片段编码器采用自注意力模型。