[发明专利]一种基于TSN网络的视频画面抖动检测方法

权利要求书

1.一种基于TSN网络的视频画面抖动检测方法，其特征在于，包括步骤：

1）基于TSN网络结构，利用TVL1光流算法提取正常光流场和扭曲光流场；

2）将所述正常光流场和扭曲光流场输入到TSN网络中；

3）通过TSN网络判断视频是否抖动，并输出抖动的帧号；

其中在所述步骤3）中，所述TSN网络判断包括：给定一段视频V，将V按相等间隔分为K段{S₁，S₂，...,S_K}之后，TSN网络按如下方式对一系列片段建模：

其中：代表片段序列，每个片段T_K从其对应的段S_K中随机采样得到；函数代表采用W作为参数的卷积网络作用于片段T_K，该函数返回T_K相对于抖动类别的得分；G()为段共识函数；H()为概率预测函数；

其中，段共识函数G()结合多个片段的类别得分输出以获得关于类别假设的共识，基于该假设的共识，概率预测函数H()预测整段视频属于抖动类别的概率；结合标准分类交叉熵损失，关于部分共识的最终损失函数的形式为：

其中，C是行为总类别数；y_i是类别i的groundtruth，G_i为采用聚合函数g从所有片段中相同类别的得分中推断出的抖动类别分数。

2.根据权利要求1所述的基于TSN网络的视频画面抖动检测方法，其特征在于，所述TSN网络由空间流卷积网络和时间流卷积网络构成。

3.根据权利要求1所述的基于TSN网络的视频画面抖动检测方法，其特征在于，将所述正常光流场和扭曲光流场作为输入，用于捕获运动信息，当实时拍摄的视频中移动物体过多时，通过所述扭曲光流场抑制物体运动，使其专注于视频中的背景运动。

4.根据权利要求1所述的基于TSN网络的视频画面抖动检测方法，其特征在于，C=1，即抖动一种类别。

5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任一所述的基于TSN网络的视频画面抖动检测方法的步骤。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任一所述的基于TSN网络的视频画面抖动检测方法的步骤。