[发明专利]一种基于持续监控的动作预测方法

权利要求书

1.一种基于持续监控的动作预测方法，其特征在于，包括：

步骤1:将预设的人体动作序列样本划分为历史序列、待预测序列和未来序列，并将历史序列和未来序列输入预设的运动特征提取模块，提取历史运动特征和未来运动特征；其中，

所述运动特征提取模块中包括速度计算模块，加速度计算模块，级别划分模块，融合模块，时空卷积模块，特征融合模块和特征级联模块；

步骤2:将历史运动特征和未来运动特征相加后，并输入预设的动作预测模块进行训练，构造双流动作预测网络；

步骤3:将历史序列和未来序列输入双流动作预测网络，训练双流动作预测网络至收敛；

步骤4:通过经过训练的运动特征提取模块，提取历史运动特征输入预设的分类模块进行动作分类，训练分类模块至收敛；

步骤5:将经过训练的双流动作预测网络和分类模块结合并加入预设的字典模块，构建双流信息储存网络；其中，

所述双流信息储存网络的字典模块储存每一种动作的历史运动特征和未来运动特征的对应关系；

步骤6:将训练好的运动特征提取模块、训练好的分类模块、训练好的动作预测模块和储存完信息的字典模块相结合，构造自更新动作预测模型；

步骤7:将用来测试的人体动作序列样本划分的历史序列输入自更新动作预测模型，确定动作预测结果。

2.如权利要求1所述的一种基于持续监控的人体动作预测方法，其特征在于，所述步骤1，包括：

步骤11：通过预设的若干帧人体骨架样本，构建人体动作序列样本：

V＝[X₁,…,X_t,…,X_N]

其中，V代表人体动作序列样本，t代表人体动作序列样本的第t个帧数,t∈[1,N]，N代表人体动作序列样本的总帧数，X_t∈R^M×D,R^M×D代表人体动作序列样本V的第t帧人体骨架的矩阵，M代表第t帧人体骨架包含的关键点个数；D代表第t帧人体骨架中每个关键点的向量表示的维数；

步骤12：将人体动作序列样本V划分为历史序列V_history、待预测序列V_predict和未来序列V_future；其中，

V＝{V_history,V_predict,V_future}，

其中，V_history代表历史序列，h代表关于历史序列的时间索引，h∈[1,T_history]，T_history∈[1,T_predict]，T_history代表历史序列的总帧数；X_h∈R^M×D，X_h代表历史序列的第h帧人体骨架的矩阵，X₁代表历史序列的第1帧人体骨架的矩阵，代表历史序列的最后1帧人体骨架的矩阵；V_predict代表待预测序列，p代表关于待预测序列的时间索引，p∈[T_history+1,T_history+T_predict]，T_predict代表待预测序列的总帧数，T_predict∈[T_predict,T_future]；X_p∈R^M×D，X_p代表待预测序列的第p帧人体骨架的矩阵；代表历史序列的第1帧人体骨架的矩阵；代表历史序列的最后1帧人体骨架的矩阵；V_future代表未来序列，f代表关于历史序列的时间索引，f∈[T_history+T_predict+1,T_history+T_predict+T_future]，T_future代表未来序列的总帧数，T_future∈[T_future,N]；X_f∈R^M×^D，X_f代表未来序列的第f帧人体骨架的矩阵；代表未来序列的第1帧人体骨架的矩阵，代表未来序列的最后1帧人体骨架的矩阵，N＝T_history+T_predict+T_future；

步骤13：通过速度计算模块，对历史序列进行速度特征提取，确定历史速度序列；

其中，V_{history_v}代表历史速度序列，vel₁代表历史速度序列中的第1帧骨架的矩阵，代表未来速度序列中的第1帧骨架的矩阵，为历史速度序列V_{history_v}中第h帧骨架的矩阵表示，h代表关于历史序列的时间索引，X_h代表历史序列的第h帧人体骨架的矩阵，X_h-1代表历史序列的第h-1帧人体骨架的矩阵，代表历史速度序列中的第T_history帧骨架的矩阵，T_history代表历史序列的总帧数；

步骤14：通过加速度计算模块，对所述历史速度序列进行计算，确定历史加速度序列：

其中，V_{history_a}代表历史加速度序列，acl₁代表历史加速度序列中的第1帧骨架的矩阵，acl_h代表历史加速度序列中的第h帧骨架的矩阵，代表历史加速度序列中的第T_history帧骨架的矩阵；

步骤15：通过级别划分模块，分别将所述历史序列进行级别划分，划分为低级历史序列，中级历史序列和高级历史序列；

其中，V_{hp_1}代表低级历史序列，V_history代表历史序列，V_{hp_2}代表历史序列输入第一池化层得到的关于人体骨架的中级历史序列，mid_h∈R^W×D,R^W×D代表关于人体骨架的中级历史序列的第h帧人体骨架的矩阵，W和D代表中级历史序列中第h帧骨架的矩阵的行数和列数，V_{hp_3}代表高级历史序列，V_{hp_3}是通过历史序列输入第二池化层得到的关于人体骨架的高级历史序列，high_h∈R^U×D，U和D分别对应高级历史序列中第h帧骨架的矩阵的行数和列数；

步骤16：将低级历史序列，中级历史序列和高级历史序列依次传输至对应的时空卷积模块1、融合模块1、时空卷积模块2、融合模块2、时空卷积模块3和时空卷积模块4，生成对应的历史融合特征；

步骤17：将未来序列传输到步骤13-步骤15，生成对应的未来融合特征；所述步骤17包括：

步骤170：将未来序列传输至速度计算模块，获取对应的未来速度序列；

步骤171：将所述未来速度序列传输至加速度计算模块，计算对应的未来加速度序列；

步骤172：将所述未来加速度序列传输至级别划分模块，确定低级未来序列，中级未来序列和高级未来序列；

步骤173：将低级未来序列，中级未来序列和高级未来序列依次传输至对应的时空卷积模块1、融合模块1、时空卷积模块2、融合模块2、时空卷积模块3和时空卷积模块4，生成对应的未来融合特征；其中，

所述融合模块1包含低级别卷积层1，低级别线性层1，低级别聚集相关特征层1，低级别更新特征层1，低级别特征融合层1，中级别卷积层1，中级别线性层1，中级别聚集相关特征层1，中级别更新特征层1，中级别特征融合层1，高级别卷积层1，高级别线性层1，高级别聚集相关特征层1，高级别更新特征层1和高级别特征融合层1；

步骤18：通过所述历史融合特征和未来融合特征，生成历史运动特征和未来运动特征。