[发明专利]基于广角相机和深度相机的增强现实手势识别方法

说明书

本发明公开了一种基于广角相机和深度相机的增强现实手势识别方法，其步骤包括：通过AR眼镜正中央的深度相机获取视线正前方锥体范围内的深度图像，通过眼镜两侧的广角相机获取广角范围内的彩色图像；识别锥体范围内深度图像手部关节点3D坐标；预测广角范围内彩色图像手部关节点3D坐标；将椎体范围内的手势识别和广角范围手势识别结果进行融合，输出最后识别结果。本发明克服了深度相机手势识别范围小的问题，利用深度信息识别网络模型参数优化彩色信息识别网络，克服了广角相机手势识别精度不高的问题。

技术领域

本发明涉及人机交互、增强现实、计算机视觉领域，尤其涉及到一种结合广角相机和深度相机的增强现实手势识别方法。

背景技术

增强现实(Augmented Reality，简称AR)技术是一种将虚拟信息与真实世界融合在一起并可以产生互动的技术。随着人机交互的发展，利用人体的自然属性来实现增强现实技术已经成为一大研究热点。基于手势的交互方式因其自然、直观、便捷、易于学习等特点，成为增强现实领域的主流研究方向之一。

利用手势识别进行交互时，其手势信息的获取方式是多样的，目前主流的方法包括数据手套、加速度传感器和基于视觉的手势识别等。尽管关于前两种的手势识别效果较好，数据获取也更为准确，但其设备的连接线给使用者带来了诸多不便，影响人机交流的便捷性。基于视觉的增强现实手势识别方法能够克服这些缺点，在提高用户超现实体验感的同时，也节约了部分硬件成本。

随着一些相对成熟的深度摄像头产品相继上市，三维手势识别技术逐渐成为研究热点。使用深度相机获取深度图像的方法，可以克服传统RGB相机获取图像时易受到光照及复杂背景等因素影响的问题。但深度相机的视角范围比较小，这对于AR来说是致命的缺点。另外，手部运动的复杂性以及严重的遮挡问题，也是手势识别面临的一大难点问题。由于深度学习具有推测功能，经过不断的训练和积累，可以从不完全的信息中推测出完全的信息，从而能得到更优化的手势识别效果。所以，应用AR眼镜所具备的硬件设施，结合广角相机和深度相机，使用深度学习完成手势识别，不仅能扩大手势交互范围而且能提高手势识别准确度。

发明内容

为解决用户在使用AR眼镜进行手势交互时由于设备硬件设施造成的识别范围小的问题，同时提高广角范围内的手势识别准确度，本发明提出了一种结合广角相机和深度相机的增强现实手势识别方法。

本发明给出了一种基于广角相机和深度相机的增强现实手势识别方法，包括如下步骤：

S1、数据采集：通过AR眼镜正中央的深度相机获取视线正前方锥体范围内的深度图像，通过AR眼镜两侧的广角相机获取广角范围内的彩色图像；

S2、手势识别：通过深度信息手势识别模块识别深度图像中的手部关节点3D坐标，从而得到锥体范围内的手势识别结果；通过彩色信息手势识别模块预测彩色图像中的手部关节点2D坐标，并利用2D坐标估计得到3D坐标，从而得到广角范围内的手势识别结果；使用深度信息手势识别模块参数对彩色信息手势识别模块进行优化；

S3、信息融合：将深度信息手势识别模块输出的椎体范围内的手势识别和彩色信息手势识别模块输出的广角范围手势识别结果进行融合，输出最后识别结果。

所述的步骤S1具体包括：

S11，深度相机获取锥体范围内深度图像；

深度相机放置于AR眼镜的正中央，其视角只包含视线正前方以深度相机为顶点的锥体范围，深度相机捕获此区域内的深度图像。

所述的深度相机捕获深度图像，深度相机通过AR眼镜正中央的深度相机的传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来计算被拍摄景物的距离，以产生深度信息，从而得到视线正前方深度相机视角的锥体范围内的深度图像。

S12，广角相机获取广角范围内的彩色图像；