[发明专利]一种面向虚拟现实的基于单深度图的人体关节点识别方法

摘要

本发明公开了一种面向虚拟现实的基于单深度图的人体关节点识别方法，首先通过卷积网络离线训练手势公开数据集NYU，得到一个鲁棒性好、准确率高以及识别速度快的模型；然后通过深度摄像头实时捕获深度图像，在对图像一系列预处理之后分别传入人体骨骼识别模块和手势识别模块，返回识别后的关节点三维信息，进而映射三维人体模型。利用本发明方法，在虚拟现实环境下具有良好的交互功能，在识别率、运算速度、普适性及准确性等方面均有较好的表现。

主权项

1.一种面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，包括以下步骤：(1)搭建五区域卷积神经网络模型，所述五区域卷积神经网络模型包括多个不同的卷积层、激活层、池化层和全连接层；(2)选取训练集，并设置五区域卷积神经网络模型的训练参数；(3)根据五区域卷积神经网络模型及其训练参数，以最小化损失函数为目标训练模型，得到深度图像手势估计神经网络模型；(4)利用深度摄像机获取实时的深度图像帧，并对图像帧预处理；(5)利用人体形态模型对经过预处理的图像帧进行分割，提取出独立的人体区域，通过人体骨骼识别模型识别人体关节点坐标；(6)利用手部模型分类器，在每个独立的人体区域上检测手部区域；若能够检测出手部区域，则执行步骤(7)，若检测不到，则跳转至步骤(4)；(7)通过步骤(3)的手势估计神经网络模型得到手势关节点坐标；(8)通过深度摄像机的参数，将步骤(5)与步骤(7)返回的关节点坐标从图像坐标系转换到物理坐标系，并最终映射三维人体模型。