[发明专利]一种基于动作连贯性的弱监督时序动作定位方法

摘要

本发明属于机器视觉领域，公开了一种基于动作连贯性的弱监督时序动作定位方法，包括：将视频分为RGB帧和光流分别处理；对于每个动作模态，首先针对视频上的每个时间点，提出长度不同的假设的动作片段，然后根据视频的动作连贯性和分类准确率使用卷积神经网络回归动作片段。对于两个动作模态得到的不同动作片段，通过一个特性的模块进行结合，筛选出最终的动作定位结果。本发明在给定视频类别的情况下，可定位视频中属于该类别的动作片段。

主权项

1.一种基于动作连贯性的弱监督时序动作定位方法，其特征在于，包括以下步骤：步骤1，将待处理视频分为多个不重合片段，获取每个片段的RGB特征和光流特征；步骤2，对步骤1获得的RGB特征和光流特征分别进行动作片段回归处理，获得RGB动作片段和光流动作片段；所述动作片段回归处理包括：对于待处理视频的每个时间点，枚举不同预设长度的假想的动作片段，对于不同长度的动作片段使用预定的回归神经网络进行回归，回归神经网络使用动作连贯性损失函数进行训练，并获得动作片段；步骤3，通过动作连贯性损失函数评价步骤2得到的RGB动作片段和光流动作片段的置信程度；使用非最大值抑制过滤掉重合度超过阈值的动作片段；步骤4，回归神经网络训练结束后；经过一个无参数的融合模块，筛选融合RGB动作片段和光流动作片段，得到最后的定位结果。