[发明专利]手势识别和控制的方法、装置及虚拟现实设备

说明书

本公开提供了一种手势识别和控制的方法、装置及虚拟现实设备，其中，手势识别方法包括：获取所述双目摄像头中每一摄像头采集到的用户的手部图像；通过预先构建的识别模型识别获取到的所述手部图像中的第一组手部骨骼点，得到在所述手部图像的手部区域上标记出识别到的第一组手部骨骼点的手部骨骼点图像；根据得到的所述手部骨骼点图像，获得第二组手部骨骼点中各骨骼点间的二维位置关系及三维位置关系作为所述用户的手部姿态数据；根据所述手部姿态数据进行所述用户的手势识别。

技术领域

本发明涉及虚拟现实设备技术领域，更具体地，涉及一种手势识别和控制的方法、装置及虚拟现实设备。

背景技术

虚拟现实头戴式一体机设备可用于通过向用户呈现虚拟图像来提供虚拟现实体验。这种设备通常被实现为头戴式显示设备(HMD：Head Mount Display)。虚拟图像可以采取一个或多个虚拟形状、对象或其他视觉现象的形式，这些虚拟形状、对象或视觉现象的呈现方式使它们看起来好像存在于虚拟世界中，种种的虚拟内容通过虚拟现实头戴式一体机设备的显示屏幕呈现给用户，把现实存在的形状，对象或视觉现象都融合在虚拟场景中，达到虚拟和现实的完美融合。

其中，虚拟控件在虚拟场景交互中扮演着重要的角色，比如在一些虚拟场景下，通过虚拟控件可以自由调整场景的显示亮度；比如在一些虚拟场景下，通过虚拟控件可以自由调整场景中的一些音量；比如还在一些虚拟场景下，通过虚拟控件可以自由调整视觉属性等一些功能。

目前，在虚拟现实系统中，通过手柄控制追踪器控制虚拟控件，这种交互方式不够自然，特别是在一些特殊的场景下，无法通过手柄控制追踪器完成对虚拟控件的控制和交互，或者在一些场景下，使用手柄控制追踪器比较繁琐，用户使用虚拟现实设备的沉浸体验较差。

因此，发明人认为，需要针对现有技术中存在的至少一个技术问题进行改进。

发明内容

本说明书的一个目的是提供一种用于虚拟现实设备的手势识别和控制的新技术方案。

根据本说明书的第一方面，提供了一种用于虚拟现实设备的手势识别方法，所述虚拟现实设备包括双目摄像头，所述手势识别方法包括：

获取所述双目摄像头中每一摄像头采集到的用户的手部图像；

通过预先构建的识别模型识别获取到的所述手部图像中的第一组手部骨骼点，得到在所述手部图像的手部区域上标记出识别到的第一组手部骨骼点的手部骨骼点图像；其中，所述第一组手部骨骼点包括手指关节骨骼点和掌心骨骼点；

根据得到的所述手部骨骼点图像，获得第二组手部骨骼点中各骨骼点间的二维位置关系及三维位置关系作为所述用户的手部姿态数据，其中，所述第一组手部骨骼点包括所述第二组手部骨骼点；

根据所述手部姿态数据进行所述用户的手势识别。

优选地，所述第二组手部骨骼点包括大拇指指尖骨骼点和食指指尖骨骼点；

所述根据得到的所述手部骨骼点图像，获得第二组手部骨骼点中各骨骼点间的二维位置关系及三维位置关系，包括：

根据得到的所述手部骨骼点图像中所述大拇指指尖骨骼点和所述食指指尖骨骼点的二维坐标，获得所述大拇指指尖骨骼点和所述食指指尖骨骼点的三维坐标；

根据所述三维坐标，获得所述大拇指指尖骨骼点和所述食指指尖骨骼点的三维欧式距离，并根据所述三维欧式距离确定所述大拇指指尖骨骼点和所述食指指尖骨骼点的三维位置关系；

根据得到的所述手部骨骼点图像中所述大拇指指尖骨骼点到所述食指指尖骨骼点之间的轮廓以及所述二维坐标，获得所述大拇指指尖骨骼点和所述食指指尖骨骼点之间的二维欧式距离及所述轮廓的距离，并根据所述二维欧式距离以及所述轮廓的距离确定所述大拇指指尖骨骼点和所述食指指尖骨骼点的二维位置关系。