[发明专利]一种基于深度传感器的VR和AR输入设备

权利要求书

1.一种基于深度传感器的VR和AR输入设备，其特征在于，包括：

工作平面；

采集模块，用于实时采集从手腕角度得到的手掌深度图像信息，所述手掌深度图像信息包括五个手指的相关深度图信息；

动作估计模块，用于对实时采集的手掌深度图像信息进行估计，得到指尖相对于工作平面的动作估计信息；

显示发送模块，用于根据指尖的动作估计信息在工作平面上显示指尖想要键入的信息，并且将该信息生成用户待确认信息。

2.根据权利要求1所述的基于深度传感器的VR和AR输入设备，其特征在于，还包括通信反馈模块，所述通信反馈模块包括：

转化子模块，用于将用户待确认信息转化为图像信息；

通信子模块，用于将图像信息发送给用户端，以实现用户对该信息的获取；

反馈子模块，用于接收用户对该信息进行获取后键入的确认信息。

3.根据权利要求2所述的基于深度传感器的VR和AR输入设备，其特征在于，所述用户端包括PC和/或HMD。

4.根据权利要求1所述的基于深度传感器的VR和AR输入设备，其特征在于，还包括切换子模块，所述切换子模块用于接收用户的确认切换指令后切换工作平面的工作模式，以使得用户能够根据切换后的工作模式输入不同的指尖运动信息。

5.根据权利要求1所述的基于深度传感器的VR和AR输入设备，其特征在于，所述动作估计模块包括：

判断子模块，用于根据手掌深度图像判断当前判断的活动手指；

识别子模块，用于识别当前活动手指的指尖距离平面的高度；

计算子模块，用于计算每个活动手指对应的按键概率。

6.根据权利要求5所述的基于深度传感器的VR和AR输入设备，其特征在于，所述计算子模块包括：

计算单元，用于根据手掌深度图像计算每个指尖相对于复位动作的运动位置；

采集单元，用于采集手指关节的位置信息和弯曲度信息；

估测单元，用于当前活动手指的指尖在按下按键之前，基于手指关节的位置信息和弯曲度信息以及每个指尖相对于复位动作的运动位置估计当前手指的对应指向按键概率。

7.根据权利要求1所述的基于深度传感器的VR和AR输入设备，其特征在于，还包括按键动作判断模块，所述按键动作判断模块包括：

第一检测子模块，用于检测当前指尖与工作平面的距离变化；

第一判定子模块，当检测当前指尖与工作平面的距离变化小于预设阈值时，判定当前指尖接触到工作平面后实现执行按键的动作。

8.根据权利要求2所述的基于深度传感器的VR和AR输入设备，其特征在于，所述转化子模块包括：

第一标定单元，用于将每个活动手指对应的按键概率用颜色深浅的按键标定，其中颜色越深表示对应的按键概率越大；

第二标定单元，用于将每个活动手指对应的按键概率用不同大小的字体进行标定，其中字体越大表示对应的按键概率越大。

9.根据权利要求3所述的基于深度传感器的VR和AR输入设备，其特征在于，所述通信子模块包括：

第一通信单元，用于将第一转化单元的转化结果发送给PC；

第二通信单元，用于将第二转化单元的转化结果发送给HMD。

10.根据权利要求1所述的基于深度传感器的VR和AR输入设备，其特征在于，还包括复位模块，所述复位模块包括：

第二检测子模块，用于检测每次对工作平面执行动作时或者工作平面模式切换时，各个手指指尖是否处于预设直线的偏差范围内；

第二判定子模块，当各个手指指尖处于预设直线的偏差范围内时，判定手指完成复位动作；

校准子模块，当各个手指指尖处于预设直线的偏差范围内时，对各指尖的坐标进行重新校准，以提高下一次指尖动作追踪的精度。