[发明专利]一种双阶段的时序动作检测方法、装置、设备和介质

权利要求书

1.一种双阶段的时序动作检测方法，其特征在于，包括以下步骤：

S1、获取视频信息特征；

S2、根据视频信息特征，提取候选边界，由候选边界组合获得候选框；

S3、校正候选框边界，判断视频中动作。

2.根据权利要求1所述的双阶段的时序动作检测方法，其特征在于，

在步骤S2中，所述提取候选边界包括以下子步骤：

S21、将视频信息特征转化为得分曲线；

S23、获取得分曲线中潜在开始时刻、潜在结束时刻，组合获得候选框；

在步骤S21中，通过生成器网络将视频信息特征转化为得分曲线，所述得分曲线为视频中动作状态的概率随着视频时间变化的曲线。

3.根据权利要求2所述的双阶段的时序动作检测方法，其特征在于，

所述生成器网络包括空洞卷积模块，视频信息特征输入空洞卷积模块后，将处理结果与视频信息特征一同依次通过第一激活函数、线性层、第二激活函数后输出，获得得分曲线，

所述空洞卷积模块具有空洞卷积，视频信息特征或数据输入空洞卷积处理后，处理结果依次通过第三激活函数并归一化后作为空洞卷积模块的输出，优选地，所述第一激活函数和第三激活函数相同。

4.根据权利要求2所述的双阶段的时序动作检测方法，其特征在于，

在步骤S21和步骤S23之间，还设置有步骤S22、提升得分曲线稳定性；

通过将获得的每组中多条得分曲线融合为一条，获得三条融合得分曲线，达到提升稳定性的作用。

5.根据权利要求2所述的双阶段的时序动作检测方法，其特征在于，

在步骤S23中，通过以下方式获取候选边界：

S231、将得分大于阈值的片段时刻以及得分为局部最大值的片段时刻作为潜在开始时刻和潜在结束时刻；

S232、组合潜在开始时刻和潜在结束时刻，二者及二者之间的视频片段信息特征即为获得的候选框。

6.根据权利要求2所述的双阶段的时序动作检测方法，其特征在于，

在步骤S23之后，还具有步骤S24、时序片段池化，将候选框特征由不定长度转化为固定长度。

7.根据权利要求1所述的双阶段的时序动作检测方法，其特征在于，

在步骤S3中，通过候选框评估模块和实例评估模块对候选框特征进行边界回归的校正和动作分类，具体地，

所述候选框评估模块进行二分类任务，将明显不是正样本的视频信息特征过滤掉；

所述实例评估模块进行多分类任务，输出视频信息特征的特定类别。

8.一种双阶段的时序动作检测装置，其特征在于，包括视频信息特征提取单元、候选边界提取单元和视频动作判定单元，

所述视频信息特征提取单元将视频裁剪成多个片段，提取视频信息特征；

所述候选边界提取单元将视频信息特征转化为得分曲线；

所述视频动作判定单元获得候选边界的回归值，根据回归值对候选边界进行校正，并判断候选框中对应动作。

9.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

10.一种存储有计算机指令的计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。