[发明专利]人机交互方法、装置、头戴显示设备及存储介质

权利要求书

1.一种人机交互方法，其特征在于，所述人机交互方法包括：

在头戴显示设备中增设虚拟的USB HID设备；

通过USB HID设备接收移动终端中Android应用发送的UI交互操作所作用的坐标数据；

将UI交互操作所作用的坐标数据上报给所述移动终端，模拟触发交互事件，以使得所述移动终端响应于所述交互事件，执行相应的交互操作。

2.如权利要求1所述的方法，其特征在于，

所述在头戴显示设备中增设虚拟的USB HID设备包括：在头戴显示设备中增设虚拟触摸屏；

所述通过USB HID设备接收移动终端中Android应用发送的UI交互操作所作用的坐标数据包括：

通过虚拟触摸屏接收移动终端中屏幕镜像应用发送的触摸操作所作用的坐标数据；

所述将UI交互操作所作用的坐标数据上报给所述移动终端，模拟触发交互事件包括：

虚拟触摸屏基于所述坐标数据，生成触摸屏操作数据，将生成的触摸屏操作数据上报给Android系统驱动层，以使得所述Android系统驱动层将触摸屏操作数据转发至Android系统框架层的触摸屏HID设备节点，模拟触发触摸事件。

3.如权利要求2所述的方法，其特征在于，所述在头戴显示设备中增设虚拟触摸屏包括：

在标准的自定义HID设备所在的USB接口上配置虚拟触摸屏对应的目标接口；

所述目标接口的接口描述符不同于所述自定义HID设备的接口描述符。

4.如权利要求3所述的方法，其特征在于，所述通过虚拟触摸屏接收移动终端中屏幕镜像应用发送的触摸操作所作用的坐标数据包括：

通过所述虚拟触摸屏接收所述屏幕镜像应用通过所述自定义HID设备发送的触摸操作所作用的坐标数据。

5.一种人机交互装置，其特征在于，所述人机交互装置包括：

虚拟模块，用于在头戴显示设备中增设虚拟的USB HID设备；

交互模块，用于通过USB HID设备接收移动终端中Android应用发送的UI交互操作所作用的坐标数据，将UI交互操作所作用的坐标数据上报给所述移动终端，模拟触发交互事件，以使得所述移动终端响应于所述交互事件，执行相应的交互操作。

6.如权利要求5所述的装置，其特征在于，

所述虚拟模块具体用于在头戴显示设备中增设虚拟触摸屏；

所述交互模块，用于通过虚拟触摸屏接收移动终端中屏幕镜像应用发送的触摸操作所作用的坐标数据，基于所述坐标数据，生成触摸屏操作数据，将生成的触摸屏操作数据上报给Android系统驱动层，以使得所述Android系统驱动层将触摸屏操作数据转发至Android系统框架层的触摸屏HID设备节点，模拟触发触摸事件。

7.如权利要求6所述的装置，其特征在于，

所述虚拟模块具体用于在标准的自定义HID设备所在的USB接口上配置虚拟触摸屏对应的目标接口；

所述目标接口的接口描述符不同于所述自定义HID设备的接口描述符。

8.如权利要求7所述的装置，其特征在于，

所述交互模块，具体用于通过虚拟触摸屏接收所述屏幕镜像应用通过所述自定义HID设备发送的触摸操作所作用的坐标数据。

9.一种头戴显示设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～4之任一所述方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的头戴显示设备执行时，使得所述头戴显示设备执行所述权利要求1～4之任一所述方法。