[发明专利]一种混合现实交互方法、装置、设备及存储介质

说明书

本发明公开了一种混合现实交互方法、装置、设备及存储介质，该方法包括：采集含手机的采集信息；其中，所述手机中显示有预设的现实输入界面；根据所述采集信息，确定现实手部区域和现实输入界面之间的相对位置关系；根据现实手部区域与现实输入界面之间的相对位置关系，将现实手部区域映射到虚拟场景的虚拟输入界面上，以使用户通过手机在虚拟场景中执行输入操作；根据手机发送的输入信息，确定输入操作关联的输入内容。解决了用户使用传统手柄无法进行键盘输入的难点，实现了手机作为带键盘输入的混合现实手柄，使得复杂操作的方式在混合现实中可以进行，提高了用户的使用体验。

技术领域

本发明涉及混合现实领域，尤其涉及一种混合现实交互方法、装置、设备及存储介质。

背景技术

混合现实技术(Mixed Reality，MR)是虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。

在混合现实场景中，通常会使用手柄作为交互的工具。类似于电脑的鼠标，手柄用来对混合现实中的3D物体进行操作。但是传统手柄操作单一，难以作为复杂操作的输入，这样使得复杂操作的方式在混合现实中很难进行，从而降低用户的使用体验。

发明内容

本发明实施例提供了一种混合现实交互方法、装置、设备及存储介质，实现了手机作为带键盘输入的混合现实手柄。

第一方面，本发明实施例提供了一种混合现实交互方法，应用于混合现实眼镜中，包括：

采集含手机的采集信息；其中，所述手机中显示有预设的现实输入界面；

根据所述采集信息，确定现实手部区域和所述现实输入界面之间的相对位置关系；

根据所述现实手部区域与所述现实输入界面之间的相对位置关系，将所述现实手部区域映射到虚拟场景的虚拟输入界面上，以使用户通过所述手机在虚拟场景中执行输入操作；

根据所述手机发送的输入信息，确定所述输入操作关联的输入内容。

第二方面，本发明实施例提供了一种混合现实交互方法，应用于手机中，包括：

获取用户的输入信息；其中，所述输入信息是用户通过虚拟场景中的虚拟输入界面输入的；

向混合现实眼镜发送所述输入信息。

第三方面，本发明实施例提供了一种混合现实交互装置，部署于混合现实眼镜中，包括：

图片采集模块，用于获取含手机的采集信息；

定位模块，用于根据所述采集信息，确定手部区域与所述手机之间的相对位置关系；

视觉关联模块，用于根据所述手部区域与所述手机之间的相对位置关系，将所述手部区域映射到虚拟场景的虚拟输入界面上，以使用户在虚拟场景中执行输入操作；

输入模块，用于根据所述手机发送的输入信息，确定所述输入操作关联的输入内容。

第四方面，本发明实施例提供了一种混合现实交互装置，部署于手机中，包括：

输入信息获取模块，用于获取用户的输入信息；其中，所述输入信息是用户通过虚拟场景中的虚拟输入界面输入的；

输入信息发送模块，用于向混合现实眼镜发送所述输入信息。

第五方面，本发明实施例提供了一种设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的混合现实交互方法。