[发明专利]一种面向虚拟现实的基于单深度图的人体关节点识别方法

权利要求书

1.一种面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，包括以下步骤：

(1)搭建五区域卷积神经网络模型，所述五区域卷积神经网络模型包括多个不同的卷积层、激活层、池化层和全连接层；

(2)选取训练集，并设置五区域卷积神经网络模型的训练参数；

(3)根据五区域卷积神经网络模型及其训练参数，以最小化损失函数为目标训练模型，得到深度图像手势估计神经网络模型；所述五区域卷积神经网络模型的训练过程为：

(3-1)根据手部二值图像检测并绘制其外部轮廓，求出轮廓的封闭多边形并确定封闭多边形的中心；

(3-2)以该中心为中心提取一个立方体，将立方体重新调整大小，深度值归一化为[-1,1]作为ConvNet的输入；

(3-3)深度值归一化后的图像作为输入，先进入网络通过六个卷积层进行特征提取，将输出特征映射到五个特征区域：R₁,R₂,R₃,R₄,R₅，其中，R₁-R₄分别为以图像四个顶点为顶点且沿着特征图边缘提取的固定大小区域，R₅为以图像中心为区域中心提取的同样大小区域，以图像中心为区域中心，五个特征区域作为分支，分别馈送到两个全连接层进行回归，每个回归器的丢失率为0.5；

(3-4)训练使用最小批量为128的随机梯度下降，使用0.0005的重量衰减和0.9的动量，学习率从0.005开始，每5万次迭代后除以10，模型训练达到200000次迭代；

(4)利用深度摄像机获取实时的深度图像帧，并对图像帧预处理；

(5)利用人体形态模型对经过预处理的图像帧进行分割，提取出独立的人体区域，通过人体骨骼识别模型识别人体关节点坐标；

(6)利用手部模型分类器，在每个独立的人体区域上检测手部区域；若能够检测出手部区域，则执行步骤(7)，若检测不到，则跳转至步骤(4)；

(7)通过步骤(3)的手势估计神经网络模型得到手势关节点坐标；

(8)通过深度摄像机的参数，将步骤(5)与步骤(7)返回的关节点坐标从图像坐标系转换到物理坐标系，并最终映射三维人体模型。

2.根据权利要求1所述的面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，步骤(1)中，所述五区域卷积神经网络模型由6个具有3×3内核的卷积层和3个2×2内核的池化层组成，每个卷积层后面跟着一个ReLU激活，两个池化层之间通过残差连接以增加特征图尺寸。

3.根据权利要求1所述的面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，步骤(2)中，所述的训练集为公开数据集NYU。

4.根据权利要求1所述的面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，步骤(4)中，所述的预处理具体步骤为：对实时深度图像帧进行中值滤波处理，然后进行图像前景提取操作，最后进行膨胀与腐蚀操作。

5.根据权利要求4所述的面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，所述中值滤波处理的公式为：

D₂(x,y)＝med{D₁(x-k,y-l)} (k,l∈W)

其中，D₂(x,y)为滤波处理后的深度图像，D₁(x,y)为原始图像，(x,y)为坐标处的深度值，W代表二维滤波模板，k表示模板的长度，l表示模板的宽度。

6.根据权利要求4所述的面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，所述图像前景提取操作的公式为：

其中，f_g(x,y)表示前景图像中(x,y)处的逻辑值，d(x,y)表示深度图像(x,y)坐标处的深度值。