[发明专利]一种双阶段的时序动作检测方法、装置、设备和介质

说明书

本发明公开了一种双阶段的时序动作检测方法、装置、设备和介质，所述方法包括获取视频信息特征；根据视频信息特征，找到潜在的动作开始、结束时刻；将开始时刻和结束时刻组合成候选框；校准候选框边界，对候选框的内容进行判断，获得动作类别。本发明公开的双阶段的时序动作检测方法、装置、设备和介质，具有识别精度高、识别稳定性好、鲁棒性能好等诸多优点。

技术领域

本发明涉及一种时序动作检测方法，属于图像识别检测技术领域。

背景技术

视频中动作检测是图像理解中一个重要的分支。

现有的动作检测方法，存在着识别精度低，对动作起始、结束位置判断准确率低，对待检测视频长度有特殊要求等种种弊端。

由于上述原因，本发明人对现有的视频中动作检测方法进行了深入研究，提出了一种双阶段的时序动作检测方法。

发明内容

为了克服上述问题，本发明人进行了深入研究，设计出一种双阶段的时序动作检测方法，包括以下步骤：

S1、获取视频信息特征；

S2、根据视频信息特征，提取候选边界，由候选边界组合获得候选框；

S3、校正候选框边界，判断视频中动作。

进一步地，在步骤S2中，所述提取候选边界包括以下子步骤：

S21、将视频信息特征转化为得分曲线；

S23、获取得分曲线中潜在开始时刻、潜在结束时刻，组合获得候选框；

在步骤S21中，通过生成器网络将视频信息特征转化为得分曲线，所述得分曲线为视频中动作状态的概率随着视频时间变化的曲线。

优选地，所述生成器网络包括空洞卷积模块，视频信息特征输入空洞卷积模块后，将处理结果与视频信息特征一同依次通过第一激活函数、线性层、第二激活函数后输出，获得得分曲线，

所述空洞卷积模块具有空洞卷积，视频信息特征或数据输入空洞卷积处理后，处理结果依次通过第三激活函数并归一化后作为空洞卷积模块的输出，优选地，所述第一激活函数和第三激活函数相同。

优选地，在步骤S21和步骤S23之间，还设置有步骤S22、提升得分曲线稳定性；

通过将获得的每组中多条得分曲线融合为一条，获得三条融合得分曲线，达到提升稳定性的作用。

优选地，在步骤S23中，通过以下方式获取候选边界：

S231、将得分大于阈值的片段时刻以及得分为局部最大值的片段时刻作为潜在开始时刻和潜在结束时刻；

S232、组合潜在开始时刻和潜在结束时刻，二者及二者之间的视频片段信息特征即为获得的候选框。

优选地，在步骤S23之后，还具有步骤S24、时序片段池化，将候选框特征由不定长度转化为固定长度。

优选地，在步骤S3中，通过候选框评估模块和实例评估模块对候选框特征进行边界回归的校正和动作分类，具体地，所述候选框评估模块进行二分类任务，将明显不是正样本的视频信息特征过滤掉；

所述实例评估模块进行多分类任务，输出视频信息特征的特定类别。

另一方面，本发明还提供了一种双阶段的时序动作检测装置，包括视频信息特征提取单元、候选边界提取单元和视频动作判定单元，

所述视频信息特征提取单元将视频裁剪成多个片段，提取视频信息特征；

所述候选边界提取单元将视频信息特征转化为得分曲线；