[发明专利]一种混合现实交互方法、装置、设备及存储介质

权利要求书

1.一种混合现实交互方法，其特征在于，应用于混合现实眼镜中，包括：

采集含手机的采集信息；其中，所述手机中显示有预设的现实输入界面；

根据所述采集信息，确定现实手部区域和所述现实输入界面之间的相对位置关系；

根据所述现实手部区域与所述现实输入界面之间的相对位置关系，将所述现实手部区域映射到虚拟场景的虚拟输入界面上，以使用户通过所述手机在虚拟场景中执行输入操作；

根据所述手机发送的输入信息，确定所述输入操作关联的输入内容。

2.根据权利要求1所述的方法，其特征在于，所述根据所述采集信息，确定现实手部区域和所述现实输入界面之间的相对位置关系，包括：

根据所述采集信息，确定所述手机的空间位置信息；

对所述采集信息进行分割，确定所述现实手部区域和所述现实输入界面；

根据所述手机的空间位置信息，确定所述现实手部区域与所述现实输入界面之间的相对位置关系。

3.根据权利要求2所述的方法，其特征在于，所述根据所述采集信息，确定所述手机的空间位置信息，包括：

对所述采集信息进行深度学习检测，得到所述手机的计算位置信息；

根据所述手机发送的传感数据，对所述手机的计算位置信息进行校准，确定所述手机的空间位置信息。

4.根据权利要求1所述的方法，其特征在于，所述根据所述现实手部区域与所述现实输入界面之间的相对位置关系，将所述现实手部区域映射到虚拟场景的虚拟输入界面上，以使用户在虚拟场景中执行输入操作，包括：

根据所述现实输入界面，在虚拟场景中生成虚拟输入界面，建立所述虚拟输入界面与所述现实输入界面之间的输入映射关系；

根据所述现实手部区域与所述现实输入界面之间的相对位置关系，在虚拟场景中生成虚拟手部区域；

建立所述现实手部区域与所述虚拟手部区域之间的操作映射关系，以使用户在虚拟场景中根据所述输入映射关系和所述操作映射关系执行输入操作。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

向所述手机发送物体反馈指令，以使所述手机响应所述物体反馈指令对用户进行触觉反馈。

6.一种混合现实交互方法，其特征在于，应用于头盔中，包括：

于初始化完成后，通过手柄采集信息；手柄根据所述采集信息形成第一姿态信息和第一位置信息；

头盔根据所述采集信息确定形成第二姿态信息和第二位置信息；

对所述第一姿态信息、第一位置信息和第二姿态信息和第二位置信息做空间对齐；

于空间对齐完成后，根据所述手柄获取的第一姿态信息和/或第一位置信息形成输入操作。

7.一种混合现实交互方法，其特征在于，应用于手机中，包括：

获取用户的输入信息；其中，所述输入信息是用户通过虚拟场景中的虚拟输入界面输入的；

向混合现实眼镜发送所述输入信息。

8.一种混合现实交互装置，其特征在于，部署于混合现实眼镜中，包括：

图片采集模块，用于获取采集信息；

定位模块，用于根据所述采集信息，确定手部区域与所述手机之间的相对位置关系；

视觉关联模块，用于根据所述手部区域与所述手机之间的相对位置关系，将所述手部区域映射到虚拟场景的虚拟输入界面上，以使用户在虚拟场景中执行输入操作；

输入模块，用于根据所述手机发送的输入信息，确定所述输入操作关联的输入内容。

9.一种设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至5或6或7任一项所述的混合现实交互方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5或6或7任一项所述的混合现实交互方法。