[发明专利]一种面向虚拟现实的基于单深度图的人体关节点识别方法

说明书

本发明公开了一种面向虚拟现实的基于单深度图的人体关节点识别方法，首先通过卷积网络离线训练手势公开数据集NYU，得到一个鲁棒性好、准确率高以及识别速度快的模型；然后通过深度摄像头实时捕获深度图像，在对图像一系列预处理之后分别传入人体骨骼识别模块和手势识别模块，返回识别后的关节点三维信息，进而映射三维人体模型。利用本发明方法，在虚拟现实环境下具有良好的交互功能，在识别率、运算速度、普适性及准确性等方面均有较好的表现。

技术领域

本发明属于人机交互技术领域，尤其是涉及一种面向虚拟现实的基于单深度图的人体关节点识别方法。

背景技术

虚拟现实是一种可以创建和体验虚拟拟世界的计算机系统，提供给用户具有高度沉浸感的人机交互和画面呈现。由于体验沉浸式虚拟现实需要穿头戴式显示设备(HMD)，视线被阻挡，因而传统的键鼠交互不再适用，新的人机交互形式是虚拟现实的核心技术之一，其主要交互形式依旧是人体姿势以及手势，市面上现存的硬件设备，包括leap motion、手柄、手套等设备。额外的交互设备不但增加了硬件成本，而且增加的连接线进一步造成动作的限制，裸手交互，轻量级设备的基于计算机视觉的交互技术是虚拟现实发展的重要方向。

单一深度图像中的人体关节点识别在虚拟现实(VR)和增强现实(AR)的应用中起着重要作用，当前在虚拟环境下的人机交互，尽管已经进行了多年的研究，但由于视野变化大，关节灵活度高，深度质量差，严重自闭症和类似部位混乱，仍然具有挑战性。传统的识别是对对象区域分割后的图像进行特征提取和模型参数估计，是将参数空间中的点或轨迹分类到该空间里某个子集的过程，常见的研究方法一般为3类：基于模板匹配的方法、基于人工神经网络的方法以及基于概率统计模型的方法，适用背景的复杂度和抗干扰能力都能满足一般用户的需求，准确率和识别率也得到了显著的提高。但这些算法在识别率、运算速度、普适性及准确性等方面仍有不足，最近卷积网络(ConvNets)在诸如对象分类和人体姿态估计等几种计算机视觉任务中的应用都出现了很大的增长，因为其具有很强的建模能力和端到端的特征学习能力，模型的准确性和鲁棒性都有显著提高。ConvNets也被引入解决手部姿态估计问题，通常采用复杂的结构设计，如多分支输入和多模型回归，有使用ConvNets生成2D热图并通过逆向运动学推断3D手势；有使用线性层作为先验姿态，使用多阶段ConvNets直接回归三维位置；有采用3个ConvNets分别对每个视图的2D热图进行深度投影并将它们融合以产生3D手势；有将骨架流形嵌入到ConvNets中，并端到端训练模型以呈现顺序预测。

ConvNets的多模型集成方法传统的集成学习意味着训练多个单独的模型，并通过平均或权重融合来结合他们的输出，这在识别竞赛中被广泛采用。然而，ConvNets仍然无法获得传统的随机森林方法的重要优势。使用ConvNets进行手势估计最近深度ConvNets已经应用于手部深度成像的姿态估计。但是，使用多个ConvNets需要大量的内存和时间，这对于应用程序来说并不实用，尤其是虚拟现实应用需要占用大量计算机资源。

发明内容

本发明提供了一种面向虚拟现实的基于单深度图的人体关节点识别方法，在虚拟现实环境下具有良好的交互功能，与现有技术相比，在识别率、运算速度、普适性及准确性等方面均有较大的提高。

一种面向虚拟现实的基于单深度图的人体关节点识别方法，包括以下步骤：

(1)搭建五区域卷积神经网络模型，所述五区域卷积神经网络模型包括多个不同的卷积层、激活层、池化层和全连接层；

(2)选取训练集，并设置五区域卷积神经网络模型的训练参数；

(3)根据五区域卷积神经网络模型及其训练参数，以最小化损失函数为目标训练模型，得到深度图像手势估计神经网络模型；

(4)利用深度摄像机获取实时的深度图像帧，并对图像帧预处理；

(5)利用人体形态模型对经过预处理的图像帧进行分割，提取出独立的人体区域，通过人体骨骼识别模型识别人体关节点坐标；