[发明专利]一种基于人体骨骼节点距离的动作识别方法

说明书

技术领域

本发明属于多媒体信息处理领域，涉及计算机智能、模式识别、机器学习，由其是一种基于人体骨骼节点距离的动作识别方法。

背景技术

随着计算机智能技术的不断发展，在今后的生活中，人体动作识别具有广阔的应用前景。例如：智能监控、人机交互的体感游戏、视频检索等等。所以，研究动作识别方法有着深远的研究价值。近年来，随着计算机视觉技术的日渐成熟，易使用、低成本的深度传感器，如Kinect相机，得到了广泛的使用。由于深度摄像机与传统彩色摄像机相比，具有对照明变化不敏感和能够可靠估计身体轮廓和骨架的优点，基于深度骨骼视频序列的人类动作检测识别引起了越来越多的关注。但是，目前基于骨骼的动作技术识别尚不成熟。

本申请发明人之前申请的两篇专利CN106203503A、CN106228109A是与本申请最相关的公开专利，其缺点是只能识别单个主题场景中的动作，不能满足复杂场景下交互式动作识别的需要。

发明内容

本方法利用由Kinect摄像机得到的人体骨骼序列，通过提取人体骨骼节点之间的距离信息，进行颜色编码，并使用深度学习方法对动作进行分类训练，提出了一种基于人体关节点距离的动作识别方法，满足复杂场景下交互式动作识别的需要。

实现本发明目的的技术方案为：

一种基于人体骨骼节点距离的动作识别方法，步骤如下：

⑴将骨骼序列的每一帧在笛卡尔正交系的三个平面分别投影，生成人体骨骼分布图；

⑵提取人体骨骼分布图上的骨骼关节点；

⑶计算骨骼序列每一帧的骨骼关节之间的欧式距离，将所有节点的距离组合成帧距离向量；

⑷将骨骼序列的所有帧距离向量按照时间顺序组成序列距离矩阵；

⑸利用伪颜色编码方法对距离二维矩阵进行颜色编码，得到彩色纹理图；

⑹利用深度学习方法进行图片分类，从而完成人类的动作检测识别任务。

所述的深度学习方法步骤为：⑴采用四通道对正面、侧面、顶面、三维距离的彩色纹理图分别进行卷积神经网络的参数训练；⑵调节卷积神经网络参数；⑶融合四个通道的动作识别结果，对输入的测试数据进行分类。对四个通道输出分类概率矢量v₁，v₂，v₃，v₄按照如下公式进行融合，

lable＝Fin(max(v₁ov₂ov₃ov₄))

其中，o代表矢量的元素相乘，Fin()函数代表将概率值最大的动作作为动作识别的结果。

具体步骤为：

第一步，利用双线性插值法将所有动作的骨骼序列帧数固定为t；

第二步，假设从每一帧骨骼图V_xyz上提取m个人体骨骼节点，用

来表示第i帧的第j个骨骼节点的三维位置信息；整个视频序列中所有的骨骼均可以根据三维信息投影到三个笛卡尔正交系的三个正面、侧面、顶面，得到正面S_xy、侧面S_yz、顶面S_xz，投影后，每一帧骨骼序列得到三张黑白的描述该动作骨骼分布的图片；

第三步，在正面S_xy、侧面S_yz、顶面S_xz和骨骼图V_xyz上分别求出骨骼节点到其他m-1个骨骼节点的欧式距离

d_jkⁱ＝||P_jⁱ-P_kⁱ||₂,j∈1,...,m-1；k∈j+1,...,m

第四步，每一帧总共有m(m-1)/2个骨骼节点对，故得到m(m-1)/2个距离，重新对其标号为其中，l∈1,...,m(m-1)/2，将这m(m-1)/2个骨骼节点距离组成帧距离向量Dⁱ：

Dⁱ＝{d₁ⁱ,d₂ⁱ,...,d_lⁱ}

第五步，把每一帧的帧距离矩阵Dⁱ按照时间顺序组合起来，得到序列距离矩阵H：

H＝{D¹,D²,...,D^t}