[发明专利]用于可穿戴显示器的免手动上下文感知对象交互

权利要求书

1.一种用于与非HMI设备进行虚拟交互的计算机实现的方法，包括：由头戴式显示器(HMD)设备获得与耦合到所述HMD的光学输入设备的视野内的至少一个非人机界面(HMI)设备相关联的传感器数据，所述至少一个非HMI设备中的每一个与服务器设备可操作地通信；至少部分地基于所获得的传感器数据来辨识所述视野内的所述至少一个非HMI设备中的每个非HMI设备；对于所述视野内的所述至少一个非HMI设备中的每个辨识的非HMI设备，提供引用所辨识的非HMI设备的虚拟标识符以用于显示；当至少一个辨识的非HMI设备中的第一辨识的非HMI设备在所述视野内时，由所述HMD接收与引用所述第一辨识的非HMI设备的虚拟标识符相关联的语音命令；响应于所接收的语音命令，提供信息以用于显示和音频输出中的至少一个，其中所响应的信息与所述第一辨识的非HMI设备相关联并且是基于所接收的语音命令而从所述服务器设备接收的。

2.如权利要求1所述的方法，还包括：当所述至少一个辨识的非HMI设备中的第二辨识的非HMI设备在所述视野内时，由所述HMD接收与引用所述第二辨识的非HMI设备的虚拟标识符相关联的附加语音命令；并且响应于所接收的附加语音命令，提供附加信息以用于显示和音频输出中的至少一个，其中所响应的附加信息与所述第二辨识的非HMI设备相关联并且是基于所接收的附加语音命令而从所述服务器设备接收的。

3.如权利要求1所述的方法，其中响应于所接收的语音命令的、所提供的信息包括执行对应于至少所述第一辨识的非HMI设备的操作的提示。

4.如权利要求3所述的方法，还包括：由所述HMD接收包括执行所述操作的提示的附加语音命令；并且响应于所接收的附加语音命令，提供附加信息以用于显示和音频输出中的至少一个，其中所响应的附加信息与所述第一辨识的非HMI设备相关联并且是基于所接收的附加语音命令而进一步从所述远程服务器接收的。

5.如权利要求1所述的方法，其中与所述第一辨识的非HMI设备相关联的、所响应的信息是以下之一：与所述第一辨识的非HMI设备的虚拟交互已经开始的指示，或者与所述第一辨识的非HMI设备相关联的诊断信息。

6.如权利要求1所述的方法，其中，所述传感器数据包括光学数据、无线数据、GPS数据、HMD设备方向数据和HMD设备地点数据中的至少一个。

7.如权利要求6所述的方法，其中，还部分地基于对所获得的光学数据执行的对象识别，来辨识所述视野内的所述至少一个非HMI设备中的每个非HMI设备。

8.如权利要求6所述的方法，其中，还部分地基于扫描的代码识别、蓝牙信号识别、RFID标签识别和任何其他位置指示符识别中的至少一个，来辨识所述视野内的所述至少一个非HMI设备中的每个非HMI设备。

9.如权利要求1所述的方法，还包括：确定用于所述HMD设备的上下文，其中，所述上下文由所述HMD设备的所述视野确定，所述视野基于对所述至少一个非HMI设备中的每个非HMI设备的对象识别，确定至少一个非HMI设备的存在。

10.如权利要求1所述的方法，还包括：初始化所述HMD设备以使能与所述HMD设备的交互，所述初始化包括对一个或多个应用程序执行单点登录认证，所述一个或多个应用程序中的每一个需要认证以访问一个或多个非HMI设备。

11.如权利要求1所述的方法，还包括：响应于所接收的语音命令，提供二次信息以用于显示和音频输出中的至少一个，其中二次响应信息关联于与所述第一非HMI设备具有联系的不同非HMI设备，并且是基于所接收的语音命令而进一步从所述远程服务器接收的。