[发明专利]头戴式显示设备的信息输入方法、装置及头戴式显示设备

权利要求书

1.一种头戴式显示设备的信息输入方法，其特征在于，所述头戴式显示设备的显示界面中展示有至少一个虚拟键盘，所述方法包括：

实时获取手势图像；

利用手势识别模型对所述手势图像进行识别，得到手势识别结果，其中所述手势识别结果包括手势动作及所述手势动作在手势图像中的位置信息；

判断所述手势识别结果是否满足预设输入条件；

若所述手势识别结果满足预设输入条件，则根据所述手势动作在手势图像中的位置信息，确定所述手势动作触发的所述虚拟键盘中的虚拟按键，以作为所述头戴式显示设备的输入。

2.根据权利要求1所述的方法，其特征在于，所述手势图像为多帧连续的手势图像，所述利用手势识别模型对所述手势图像进行识别，得到手势识别结果包括：

利用预先训练好的手势识别模型对多帧连续的手势图像逐帧进行识别，对应每帧手势图像得到一个当前帧的手势动作；

对每个当前帧的手势动作，判断当前帧的手势动作是否满足预设动作，若满足所述预设动作，则直接输出当前帧的手势动作在当前帧的手势图像中的位置信息，若不满足所述预设动作，则不输出当前帧的手势动作在当前帧的手势图像中的位置信息。

3.根据权利要求2所述的方法，其特征在于，所述判断所述手势识别结果是否满足预设输入条件包括：

根据满足所述预设动作的手势动作在手势图像中的位置信息，确定满足所述预设动作的手势动作的持续帧数；

若所述持续帧数满足预设帧数，则确定所述手势识别结果满足所述预设输入条件；

若所述持续帧数不满足所述预设帧数，则确定所述手势识别结果不满足所述预设输入条件。

4.根据权利要求3所述的方法，其特征在于，所述预设动作为单手的拇指与食指的挤压捏合动作，所述满足所述预设动作的手势动作在手势图像中的位置信息为单手的拇指与食指挤压捏合的接触点在图像坐标系下的位置信息，所述根据所述手势动作在手势图像中的位置信息，确定所述手势动作触发的所述虚拟键盘中的虚拟按键包括：

将单手的拇指与食指挤压捏合的接触点在图像坐标系下的位置信息换算到相机坐标系下，得到所述接触点在所述相机坐标系下的三维空间信息；

将所述接触点在所述相机坐标系下的三维空间信息转换到所述虚拟键盘所在的世界坐标系下；

根据所述接触点在世界坐标系下的位置信息，确定所述接触点触发的所述虚拟键盘中的虚拟按键。

5.根据权利要求4所述的方法，其特征在于，所述虚拟键盘包括多个虚拟按键，各个虚拟按键分别对应设置有三维空间区域，所述根据所述接触点在世界坐标系下的位置信息，确定所述接触点触发的所述虚拟键盘中的虚拟按键包括：

检测所述接触点在世界坐标系下的位置信息是否处在某个三维空间区域中；

若是，则根据所述接触点在世界坐标系下的位置信息所处的三维空间区域，确定所述手势动作触发的虚拟按键。

6.根据权利要求1所述的方法，其特征在于，所述手势识别模型为单手的拇指和食指的挤压捏合手势识别模型，所述手势识别模型通过如下方式训练得到：

获取待训练手势图像，其中所述待训练手势图像中包括至少一只手的拇指和食指的挤压捏合手势；

将所述待训练手势图像输入手势识别模型进行识别，得到待训练手势图像的手势识别结果，其中所述待训练手势图像的手势识别结果包括所述待训练手势图像中的挤压捏合手势的个数，以及单手的拇指与食指挤压捏合的接触点在手势图像上的位置信息；

将所述待训练手势图像的手势识别结果与所述待训练手势图像中已标记的手势识别信息进行比较，得到训练损失值；

根据所述训练损失值对所述手势识别模型的参数进行更新，得到预先训练好的手势识别模型。