[发明专利]基于上下文信息与提议分类解耦的时序动作检测方法

说明书

本发明涉及计算机视觉领域，具体涉及一种基于上下文信息与提议分类解耦的时序动作检测方法。该方法在时序提议生成的基础上，提出了时序上下文信息融合模块，对每个时序提议进行扩展，并融合上下文信息，使得时序提议尽可能多的包含丰富的动作上下文信息；同时对动作分类网络进行解耦，构建动作分类分支和时序边界回归分支，分别侧重于分类任务和时序边界回归任务，以优化每个子任务的性能；通过单独的时序边界回归分支对时序边界进行调整，并将两个分支得到的分类分数进行融合，使之能够更为准确的对视频中的动作进行分类和定位。本发明提高了时序动作检测模型对视频中动作分类和定位的准确性。

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于上下文信息与提议分类解耦的时序动作检测方法。

背景技术

时序动作检测是计算机视觉领域中的基础任务之一，该任务的目的是通过对真实场景拍摄的视频进行分析和理解，检测其中存在的人类动作的类别和动作起止时间，让计算机可以代替人工更好的检测视频中存在的人类活动，减少人力物力的损耗，在视频推荐、智能安防、人机交互以及辅助驾驶等领域有着广泛的应用。现有的时序动作检测方法还面临着许多难点和挑战，其一，在时序动作检测方法中会生成大量的时序候选提议，但这些提议并不一定能完全覆盖动作片段的时间范围，对于包含不完整动作的时序候选提议，缺乏动作前后的上下文信息，动作分类器很容易因为表观信息的不同造成分类不准确；其二，常规的两阶段方法中动作分类网络将分类任务和时序边界回归任务放在一起考虑，对于时序边界的回归并不准确。对此，本发明提出一种更有效的时序动作检测方法以解决上述问题。

发明内容

针对上述时序动作检测方法中动作类别分类和边界回归不准确的问题，特别是因缺乏时序上下文信息造成的分类错误以及边界回归不精确的问题，本发明提出了一种基于上下文信息与提议分类解耦的时序动作检测方法。在时序提议生成的基础上，提出了时序上下文信息融合模块，对每个时序提议进行扩展，并融合上下文信息，使得时序提议尽可能多的包含丰富的动作上下文信息。同时对动作分类网络进行解耦，构建动作分类分支和时序边界回归分支，分别侧重于分类任务和时序边界回归任务，以优化每个子任务的性能。通过单独的时序边界回归分支对时序边界进行调整，并将两个分支得到的分类分数进行融合，使之能够更为准确的对视频中的动作进行分类和定位。

为实现上述目的，本发明具体技术方案如下：一种基于上下文信息与提议分类解耦的时序动作检测方法，包括如下步骤：

1)输入视频帧序列其中，n为帧序号，T是视频总帧数，v_n为视频帧序列的第n帧，每个视频帧序列V有X个窗口位置；

2)通过3D ConvNet提取视频帧序列的时序特征f_s＝E(s_i)；

3)通过时序提议生成网络时序提议集合P；

4)通过扩展时序提议，连接时序上下文，融合时序上下文信息，计算新的时序提议特征f_p；

5)构建动作分类分支和时序边界回归分支，并利用两个分支的动作分类分数进行互补融合，计算最终的动作类别概率Ps；

6)通过与动作片段的真值匹配，给时序提议分配动作标签lp，输出最终的时序动作检测结果。

进一步的，上述步骤2)中提取视频帧序列的时序特征，包括如下步骤：

2.1)对于每个视频帧序列V，位置i窗口所得视频帧片段记为s_i＝(c_i,l_i)，其中c_i表示该片段的中心位置，l_i表示该片段的长度；

2.2)采用3D ConvNet进行基础特征的提取，特征提取函数为E(·)，提取后的视频帧片段的时序特征记为f_s＝E(s_i)。