[发明专利]一种实时的动作时序定位方法

权利要求书

1.一种实时的动作时序定位方法，其特征在于，包括：

从深度动作序列中逐帧跟踪人体关节点，计算关节运动信息，将这些运动信息组成一个按时间和关节序列排序的密集关节运动矩阵，该密集关节运动矩阵为三维矩阵；

在生成的密集关节运动矩阵的基础上，通过双线性二次插值算法生成多个时序纬度统一的动作矩阵，使深度神经网络可对多个时间尺度的样本集进行训练；

引入空间金字塔池化层代替经典卷积神经网络中的flatten层，以得到可以接受任意输入尺寸的改进后的卷积神经网络，改进后的卷积神经网络在训练阶段能够接收不同尺寸的输入数据并共享权重，且在检测阶段，任意持续时间的动作都可以输入到改进后的卷积神经网络中进行分类；

使用长时优先时间探进策略，用于定位连续行为视频中的动作，所述长时优先时间探进策略在对人体行为视频进行探测时，通过改进后的卷积神经网络优先对相对较大的时间窗口内的动作进行探测，在得到的检测结果的置信度达不到阈值时，将时间窗口尺寸进行缩减，并再次探测，直到视频被检测完毕。

2.根据权利要求1所述的实时的动作时序定位方法，其特征在于，所述密集关节运动矩阵的表达式如下：

A=T×J×F

其中，A为动作序列矩阵，T为动作持续的帧数，J为动作者骨架采用的关节个数，F为每帧计算提取的特征个数。

3.根据权利要求1所述的实时的动作时序定位方法，其特征在于，所述空间金字塔池化层的输出尺寸如下：

其中，L为所述空间金字塔池化层的输出尺寸，N_f为特征图的数量，P_i表示所述空间金字塔池化层中使用的第i个池层。

4.根据权利要求1所述的实时的动作时序定位方法，其特征在于，所述改进后的卷积神经网络在训练阶段具有两种样本，分别为：用于模拟在不同速度下执行某一动作的样本、用于模仿不同体型的人做相同动作的样本。

5.根据权利要求4所述的实时的动作时序定位方法，其特征在于，所述方法还包括：

采用双线性二次插值算法对用于模拟在不同速度下执行某一动作的样本、用于模仿不同体型的人做相同动作的样本长度进行统一。

6.根据权利要求1或5所述的实时的动作时序定位方法，其特征在于，所述双线性二次插值算法包括插值策略和隔帧抛弃策略。