[发明专利]一种虚拟及增强现实设备与其他无线设备进行交互的方法

权利要求书

1.一种虚拟及增强现实设备与其他无线设备进行交互的方法，其特征在于，具备无线传输功能以及摄像头透视(see through)功能的头戴式虚拟及增强现实设备作为第一设备，具备无线传输功能的其他设备作为第二设备，使用第一设备的透视功能，将视野内的一个或多个第二设备显示在第一设备的头戴式屏幕上，用户在视觉可见的状态下，对一个或多个第二设备进行操作，并利用第一设备和第二设备之间的无线数据交换，实现用户对第一设备的操作，以及第一设备和第二设备之间的交互操作的目的。

2.根据权利要求1所述的虚拟及增强现实设备与其他无线设备进行交互的方法，其特征在于，所述的通过对第二设备操作，实现对第一设备操作的方式，通过下述方式中的一种或几种：对具备物理交互功能的第二设备进行操作，实现对第一设备的操作；在具备触摸屏的第二设备的屏幕上显示人机交互界面，对其进行操作，实现对第一设备的操作；对具备加速度计或陀螺仪等传感器的第二设备进行旋转移动操作，模拟3dof或6dof手柄功能，实现对第一设备的操作；在具备触摸屏的第二设备的触摸屏上进行滑动、点击操作，模拟鼠标或触控板的功能，实现对第一设备的操作。

3.根据权利要求1所述的虚拟及增强现实设备与其他无线设备进行交互的方法，其特征在于，所述的通过对第二设备操作，实现第一设备和第二设备之间的交互操作，通过下述方式中的一种或几种：第一设备与第二设备之间的文件传输和数据交换；第一设备和第二设备都具备屏幕的情况下，实现第一设备向第二设备投屏的操作，或者第二设备向第一设备投屏的操作；具备网络热点功能的设备可以作为热点，为另一个设备提供网络上传下载功能。

4.一种虚拟及增强现实设备的操作方法，其特征在于，具备无线传输功能以及摄像头透视(see through)功能的头戴式虚拟及增强现实设备作为第一设备，具备无线传输功能的其他设备作为第二设备，第一设备正在运行虚拟现实应用，此时第一设备的工作模式切换为虚拟现实模式，第一设备的摄像头功能开启，捕捉外部真实场景图像，但是透视功能关闭，摄像头捕捉的图像并不显示在第一设备的屏幕上，用户在屏幕上看到的是第一设备生成的3d虚拟空间，外部真实场景不可见，第一设备的交互界面被显示在该虚拟空间内，然后使用第二设备，以触摸屏控制和模拟手柄的方式运行，完成对第一设备的操作：第二设备必须具备陀螺仪传感器和触摸屏，在第二设备屏幕上显示辅助定位的图形，第一设备通过接收第二设备的陀螺仪数据，结合第一设备自身运动传感器的数据，摄像头捕捉到的第二设备的位置以及第二设备屏幕上的辅助定位图形，通过运算，在虚拟空间的相应位置渲染出第二设备的虚拟影像，在该虚拟设备影像的屏幕位置，绘制当前应用所需的虚拟用户界面；通过第一设备摄像头捕捉到的用户手指相对第二设备屏幕上辅助定位图形的所在位置，在虚拟空间中第二设备虚拟影像的相对位置上绘制虚拟的用户手指，用于操作该虚拟用户界面；根据陀螺仪数据生成一条由第二设备虚拟影像向外发射的一条射线，在虚拟空间中作为虚拟指示射线；用户通过在第一设备屏幕上看到第二设备虚拟影像，虚拟用户界面和虚拟用户手指，在第二设备触摸屏上移动、触摸或点击屏幕，完成对虚拟用户界面的操作；用户对第二设备进行旋转移动操作，控制虚拟指示射线与虚拟空间中的虚拟物件进行交互；第二设备将用户的操作行为通过无线网络，传输给第一设备，对当前运行的应用进行控制。