[发明专利]一种虚拟及增强现实设备与其他无线设备进行交互的方法

说明书

本发明公开了一种虚拟及增强现实设备与其他无线设备进行交互的方法。具备无线传输功能以及摄像头透视功能的头戴式虚拟及增强现实设备作为第一设备，具备无线传输功能的其他设备作为第二设备，使用第一设备的透视功能，将视野内的一个或多个第二设备显示在第一设备的头戴式屏幕上，用户在视觉可见的状态下，对一个或多个第二设备进行操作，并利用第一设备和第二设备之间的无线数据交换，实现用户对第一设备的操作，以及第一设备和第二设备之间的交互操作的目的。本发明提出了5种操作模式，使用智能手机为首选的一个或多个第二设备，方便快捷的完成对第一设备上运行的虚拟现实应用、增强现实应用或传统应用的操作。

技术领域

本发明涉及增强现实和虚拟现实技术领域，特别是涉及一种虚拟及增强现实设备与其他无线设备进行交互的方法。

背景技术

近年来，包括PC VR头盔、VR一体机以及增强现实眼镜等越来越多的VR/AR设备涌现，业界普遍把VR/AR设备看做台式电脑、笔记本电脑和智能手机之后的下一代计算平台，作为一个计算平台，没有方便快捷的输入输出设备的辅助，是万万不行的。而传统VR设备，人眼只能看到生成的3d虚拟空间，无法看到手中的输入设备，只能采用盲操作的方式操控输入设备。例如传统VR头盔中盛行的3dof或6dof手柄，作为输入设备的效率十分低下，尤其涉及文字输入时。而语音输入这类方法，缺乏隐私保护能力，不适合公共场合下的应用。

发明内容

针对上述现有技术中存在的技术问题，本发明提供了一种虚拟及增强现实设备与其他无线设备进行交互的方法。

为实现本发明的目的，本发明提供了一种虚拟及增强现实设备与其他无线设备进行交互的方法，具备无线传输功能以及摄像头透视功能的头戴式虚拟及增强现实设备作为第一设备，具备无线传输功能的其他设备作为第二设备，使用第一设备的透视功能，将视野内的一个或多个第二设备显示在第一设备的头戴式屏幕上，用户在视觉可见的状态下，对一个或多个第二设备进行操作，并利用第一设备和第二设备之间的无线数据交换，实现用户对第一设备的操作，以及第一设备和第二设备之间的交互操作的目的。

相应地，本发明提供了一种虚拟及增强现实设备的操作方法，具备无线传输功能以及摄像头透视(see through)功能的头戴式虚拟及增强现实设备作为第一设备，具备无线传输功能的其他设备作为第二设备，第一设备正在运行虚拟现实应用，此时第一设备的工作模式切换为虚拟现实模式，第一设备的摄像头功能开启，捕捉外部真实场景图像，但是透视功能关闭，摄像头捕捉的图像并不显示在第一设备的屏幕上，用户在屏幕上看到的是第一设备生成的3d虚拟空间，外部真实场景不可见，第一设备的交互界面被显示在该虚拟空间内，然后使用第二设备，以触摸屏控制和模拟手柄的方式运行，完成对第一设备的操作：第二设备必须具备陀螺仪传感器和触摸屏，在第二设备屏幕上显示辅助定位的图形，第一设备通过接收第二设备的陀螺仪数据，结合第一设备自身运动传感器的数据，摄像头捕捉到的第二设备的位置以及第二设备屏幕上的辅助定位图形，通过运算，在虚拟空间的相应位置渲染出第二设备的虚拟影像，在该虚拟设备影像的屏幕位置，绘制当前应用所需的虚拟用户界面；通过第一设备摄像头捕捉到的用户手指相对第二设备屏幕上辅助定位图形的所在位置，在虚拟空间中第二设备虚拟影像的相对位置上绘制虚拟的用户手指，用于操作该虚拟用户界面；根据陀螺仪数据生成一条由第二设备虚拟影像向外发射的一条射线，在虚拟空间中作为虚拟指示射线；用户通过在第一设备屏幕上看到第二设备虚拟影像，虚拟用户界面和虚拟用户手指，在第二设备触摸屏上移动、触摸或点击屏幕，完成对虚拟用户界面的操作；用户对第二设备进行旋转移动操作，控制虚拟指示射线与虚拟空间中的虚拟物件进行交互；第二设备将用户的操作行为通过无线网络，传输给第一设备，对当前运行的应用进行控制。