[发明专利]集成手势识别与超声波触觉反馈的装置及其方法和用途

说明书

技术领域

本发明涉及虚拟现实技术领域，特别涉及一种集成手势识别与超声波触觉反馈的装置及其方法和用途。

背景技术

虚拟现实技术是利用计算机仿真技术，在虚拟世界中进行真实世界物体的再现还原，并且通过设置一定的交互命令，使得用户可以与虚拟世界中的物体进行感官上的交互，从而沉浸于虚拟世界中。由于VR技术本身高度的沉浸性仿真效果，以及在国防、医学、教育、商业、制造业和娱乐游戏等领域的突出作用，虚拟现实技术被视为21世纪最有应用价值和市场前景的技术之一，而触觉反馈一直被认为是实现虚拟现实完全沉浸的重要组成部分。

当前在虚拟现实环境里面缺乏触觉的模拟以及输入方式单一被认为是影响沉浸感的一个重要的问题。缺乏触觉反馈会让人无法感觉到真正手持虚拟物品。现有的机械式触觉反馈方案无法做到全方位覆盖，而且只能提供方向单一的力。

部分公司的虚拟现实、增强现实产品使用手柄控制器来进行输入，这是在目前手势识别方案还有欠缺情况下的权宜方案。但是VR手柄也有着明显的缺陷：对于手部关节的精细动作无法还原；无法进行手部动作的精准定位；容易受周围环境的影响而降低精度。

目前已经面世的骨架式带压力板的手套只能在各个手指关节之间放置一片压力板，与真正的现实世界完全不同。只能小部分模拟压力，无法保证逼真度，用户体验差。

手势识别在虚拟现实和增强现实领域被部分公司采用。但是单纯通过摄像头识别手势需要将手置于摄像头的视野范围且使用者的手需一直抬起，无法长时间使用。而且由于使用环境非常复杂，周围的各种环境干扰也很大，会造成识别精度低，识别速度慢。

为了保证VR和AR交互控制的逼真度和沉浸度，需要进一步提高用户之间的交互性以及用户与识别设备之间的可交互性，因此，需要更加精确地识别手部运动及动作细节。现有技术通过在识别设备中加装三维摄像模组来识别游戏过程中的用户手部动作，但是经常遇到识别精度低，夜晚不能正常识别等问题。

发明内容

本发明的目的是至少解决上述缺陷与不足之一，该目的是通过以下技术方案实现的。

本发明提供了一种集成手势识别与超声波触觉反馈的装置，包括：手套本体以及镶嵌在所述手套本体上的多个功能单元，所述功能单元用于对处于所述手套本体内的人手进行手势数据采集并根据采集到的人手手势数据对所述人手提供超声波触觉反馈。

进一步地，所述多个功能单元包括用于获取人手手势数据的摄像头、为所述摄像头提供光线的照明单元以及超声波喷头组件，其中，所述多个功能单元中的第一功能单元包括所述摄像头、所述照明单元以及所述超声波喷头组件中的至少一种，所述多个功能单元中的第二功能单元包括所述摄像头、所述照明单元以及所述超声波喷头组件中的至少另一种，所述多个功能单元中的第三功能单元包括所述摄像头、所述照明单元以及所述超声波喷头组件中的至少其余一种。

进一步地，每个功能单元均包括用于获取人手手势数据的摄像头、为所述摄像头提供光线的照明单元以及超声波喷头组件。

进一步地，还包括计算模块，所述计算模块用于对采集到的手势数据进行计算处理，进行手势识别，并生成手势反馈信息。

进一步地，还包括计算模块，所述计算模块用于对所述摄像头采集到的手势数据进行计算处理，进行手势识别，并生成手势反馈信息。

进一步地，还包括控制模块以及通讯模块，所述控制模块用于接收所述手势反馈信息并根据所述手势反馈信息控制所述超声波喷头组件发出超声波。

进一步地，所述超声波喷头组件包括至少一个超声波喷头。

进一步地，所述通讯模块为USB模块、蓝牙模块、GPRS/3G/4G/5G模块、WiFi模块、ZigBee模块或特定协议的网络通讯模块中的一种或多种。

进一步地，所述集成手势识别与超声波触觉反馈的装置还包括内置的电池和/或能够与外部电源以有线或无线的方式连接的电源接口。

进一步地，所述手套本体固定在手腕处或者所述手套本体不固定在手腕处。

进一步地，所述手套本体为方形体、圆形体或其他任意形状。

进一步地，所述手套本体外部为柔性材质或刚性材质。

进一步地，所述手套本体内部表面覆有单色涂层或带图案的涂层。

进一步地，还包括终端设备，并且所述终端设备能够接收所述摄像头采集到的手势数据，进行手势识别，并生成手势反馈信息。

本发明还提供了一种利用上述集成手势识别与超声波触觉反馈的装置进行超声波手势识别和触觉反馈的方法，包括：