[发明专利]基于广角相机和深度相机的增强现实手势识别方法

权利要求书

1.一种基于广角相机和深度相机的增强现实手势识别方法，其特征在于，包括如下步骤：

S1、数据采集：通过AR眼镜正中央的深度相机获取视线正前方锥体范围内的深度图像，通过AR眼镜两侧的广角相机获取广角范围内的彩色图像；

S2、手势识别：通过深度信息手势识别模块识别深度图像中的手部关节点3D坐标，从而得到锥体范围内的手势识别结果；通过彩色信息手势识别模块预测彩色图像中的手部关节点2D坐标，并利用2D坐标估计得到3D坐标，从而得到广角范围内的手势识别结果；使用深度信息手势识别模块参数对彩色信息手势识别模块进行优化；

S3、信息融合：将深度信息手势识别模块输出的椎体范围内的手势识别和彩色信息手势识别模块输出的广角范围手势识别结果进行融合，输出最后识别结果；

所述的步骤S3，对于深度相机和广角相机的视角重叠部分，视角重叠部分会出现两组手势关节点3D坐标，把深度信息手势识别模块的输出作为标准值3D'，把彩色信息手势识别模块估计得到的3D坐标记为待校正的3D”，然后用深度信息手势识别模块所得的模型参数去修正、优化彩色信息手势识别网络，得到修正后的关节点坐标3D”'，并使用优化后的彩色信息手势识别网络模型对锥形区域外的手势进行特征提取和识别，从而得到整个视线范围内的手势识别结果，并提高广角范围内的手势识别准确度；将深度信息手势识别模块输出的椎体范围内的手势识别和彩色信息手势识别模块输出的广角范围手势识别结果进行融合，当手势出现在锥形区域内时，使用深度相机为基础的深度信息手势识别模块输出；当手势出现在锥形区域外时，使用彩色相机为基础的深度信息手势识别模块输出。

2.一种如权利要求1所述的基于广角相机和深度相机的增强现实手势识别方法，其特征在于，所述的步骤S1具体包括：

S11，深度相机获取锥体范围内深度图像；

深度相机放置于AR眼镜的正中央，其视角只包含视线正前方以深度相机为顶点的锥体范围，深度相机捕获此区域内的深度图像；

所述的深度相机捕获深度图像，深度相机通过AR眼镜正中央的深度相机的传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来计算被拍摄景物的距离，以产生深度信息，从而得到视线正前方深度相机视角的锥体范围内的深度图像；

S12，广角相机获取广角范围内的彩色图像；

广角相机分布在AR眼镜的两侧，其水平方向视角范围大于180度，且两侧广角相机的部分视野与深度相机重叠，广角相机利用光学原理获取广角范围内的彩色图像。

3.一种如权利要求1所述的基于广角相机和深度相机的增强现实手势识别方法，其特征在于，步骤S2中，所述的手部关节点为手部骨架的关节点，用21个3D关键点来描述，包括每根手指的三个指节和指尖4个点以及手腕处的一个关键点，每个3D关键点有3个自由度，输出维度是21×3。

4.一种如权利要求1所述的基于广角相机和深度相机的增强现实手势识别方法，其特征在于，所述的步骤S2具体包括：

S21，深度信息手势识别模块通过提取深度图像中的手部关节点3D坐标对手势进行识别；

将深度相机获取的视线正前方椎体范围内的深度图像输入深度信息手势识别模块，该模块采用深度神经网络来实现，该模块采用残差网络(ResNet)结构，然后连接一个自编码层，该模块自动提取特征，输出手部关节点的三维坐标点序列，在不断地训练和学习中提高网络识别准确率和效率，同时增强模型泛化能力；

残差网络使用跳跃连接结构，可以从某一层网络层获取激活，然后迅速反馈给同深度的另外一层网络层，或者神经网络的更深层，从而缓解深度神经网络增加深度而导致的梯度消失问题，残差网络的表达式为：

H(x)＝F(x)+x，

其中，x是输入，F(x)是卷积分支的输出，H(x)是整个结构的输出；

S22，彩色信息手势识别模块用于预测彩色图像中的手部关节点2D坐标，然后以分层的方式从2D姿态估计中恢复深度信息，从而实现3D手势识别；

将AR眼镜两侧广角相机获取的广角范围内的彩色图像输入彩色信息手势识别模块，该模块由图像特征提取网络和自适应三维坐标转换网络串联构成，图像特征提取网络用于估计二维坐标下的手部关节点位置，自适应三维坐标转换网络用于将2D坐标转换为3D坐标。