[发明专利]基于上下文信息与提议分类解耦的时序动作检测方法

权利要求书

1.一种基于上下文信息与提议分类解耦的时序动作检测方法，其特征在于，包括如下步骤：

1)输入视频帧序列其中，n为帧序号，T是视频总帧数，v_n为视频帧序列的第n帧，每个视频帧序列V有X个窗口位置；

2)通过3D ConvNet提取视频帧序列的时序特征f_s＝E(s_i)；

3)通过时序提议生成网络时序提议集合P；

4)通过扩展时序提议，连接时序上下文，融合时序上下文信息，计算新的时序提议特征f_p；

5)构建动作分类分支和时序边界回归分支，并利用两个分支的动作分类分数进行互补融合，计算最终的动作类别概率Ps；

6)通过与动作片段的真值匹配，给时序提议分配动作标签lp，输出最终的时序动作检测结果。

2.如权利要求1所述的基于上下文信息与提议分类解耦的时序动作检测方法，其特征在于，所述步骤2)中提取视频帧序列的时序特征，包括如下步骤：

2.1)对于每个视频帧序列V，位置i窗口所得视频帧片段记为s_i＝(c_i,l_i)，其中c_i表示该片段的中心位置，l_i表示该片段的长度；

2.2)采用3D ConvNet进行基础特征的提取，特征提取函数为E(·)，提取后的视频帧片段的时序特征记为f_s＝E(s_i)。

3.如权利要求1所述的基于上下文信息与提议分类解耦的时序动作检测方法，其特征在于，所述步骤3)中提取时序提议集合P，包括如下步骤：

3.1)在时序提议生成网络，输入时序特征f_s，在每个时间位置生成K个锚框，位置j所得锚框记为

3.2)通过二分类器对锚框进行动作分类，由(1×1)卷积核的时序卷积预测其类别分数，通过softmax函数计算输出动作概率p′；

3.3)通过边界回归器对锚框进行边界回归，由(1×1)卷积核的时序卷积预测锚框的中心位置的偏移c′和长度的偏移l′，预测输出时序提议集合记为

4.如权利要求1所述的基于上下文信息与提议分类解耦的时序动作检测方法，其特征在于，所述步骤4)中计算新的时序提议特征f_p，包括如下步骤：

4.1)输入时序提议集合P；

4.2)对时序提议集合P中的每个提议片段进行扩展，向前向后分别扩展为原提议片段长度的一半；每个片段的中心位置为c，持续时间为l，即提议前后的上下文表示为其中v_i表示片段中的第i帧，这使提议能够涵盖所有可能包含动作的时序片段；

4.3)通过平均池化层D从时序特征f_s中分离出初始提议特征和上下文特征；

4.4)将提议特征和时序上下文特征进行矢量连接，使得时序上下文信息与初始提议信息融合；

4.5)计算新的时序提议特征f_p，计算公式如下：

其中，代表矢量连接，D由平均池化层进行。