[发明专利]一种基于网格划分骨骼的行为预测方法

说明书

本发明涉及一种基于网格划分骨骼的行为预测方法，预测结果包括下一帧中各关节点的运动类型，下一帧中各关节点的运动类型的确定过程为：首先对测试视频帧进行密集网格划分，并根据划分网格的图像特点判断出密集网格中心o作为固定关节点；然后根据行人骨架特征点的分布特征及其与行人运动姿态的内涵关系规定多个关节点作为关键关节点；接着学习规定的各个关节点到o的距离度量特征和角度度量特征，并将二者关联得到行人的行为特征；最后计算下一帧中各关节点对应各运动类型的概率，确定下一帧中各关节点的运动类型。本发明的预测方法较为简单，能够准确预测下一帧中各关节点的运动类型，同时不需要大量的训练样本对模型框架进行训练。

技术领域

本发明属于基于图像处理的机器视觉技术领域，涉及一种基于网格划分骨骼的行为预测方法。

背景技术

行为预测是计算机理解人类活动的一个新维度，与近几十年来被广泛研究的行为识别不同，行为预测是在不观察整个动作执行的情况下对行为进行识别。行为预测由于近年来的应用前景而备受关注，在医疗保健、视频监控和人机交互等方面都有应用并且具有很高的要求。现有方法主要通过生成一种双运动生成对抗网络，同时预测未来的帧和未来的光学流来生成多个未来的帧，通过搭建时空卷积架构来生成未来的视频以达到行人行为预测的目的。在基于骨架的尺度选择网络的动作预测方法中，通过学习行人骨架的多层次结构化语义，通过扩展卷积网络的处理达到行为预测的目的。该方法在利用骨架信息时只考虑了前后帧骨骼度量距离的变化，但由于角度和光线的变化，骨骼度量距离的计算会产生比较大的误差，而且该方法没有固定的关键点，在行人运动中关节点的位置是随时间连续变化的，如果只考虑骨骼度量距离信息，就不能体现出行人行走时的关节点的变化规律。

发明内容

本发明的目的是解决现有技术中存在的问题，提供一种基于网格划分骨骼的行为预测方法。

为达到上述目的，本发明采用的技术方案如下：

一种基于网格划分骨骼的行为预测方法，预测结果包括下一帧中各关节点的运动类型，下一帧中各关节点的运动类型的确定过程为：

首先对测试视频帧进行密集网格划分，并根据划分网格的图像特点(即划分网格后的子网格的分布以及密集程度)判断出密集网格中心o作为固定关节点；

然后根据行人骨架特征点的分布特征及其与行人运动姿态的内涵关系规定多个关节点作为关键关节点；

接着学习规定的各个关节点到o的距离度量特征和角度度量特征，并将二者关联得到行人的行为特征，公式如下：

d_oi＝(x_i-x_o)^TM(x_i-x_o)；

T_i＝sinθ_i+τ_id_oi；

式中，d_oi表示关节点i到o的距离度量特征；x_i和x_o分别对应表示i点和o点的坐标；T表示矩阵的转置；M表示半正定矩阵；sinθ_i表示关节点i到o的角度度量特征；τ_i表示距离度量特征与角度度量特征的关联度；ρ表示分辨系数，取值为0.5；T_i表示行人的行为特征；

最后计算下一帧中各关节点对应各运动类型的概率，确定下一帧中各关节点的运动类型，公式如下：

λ＝Δt+ωΔ(t-1)；