[发明专利]用于语音命令情景的装置和方法

权利要求书

1.一种用于控制头戴式显示器的多输入方法，所述多输入方法包括：

在显示器上显示包括对象的内容；

确定所述显示器上的眼睛焦点的区域，并将所述眼睛焦点的区域与所述对象相关联；

接收口语表达的命令；

基于检测到的唇部运动的集合来推导出命令；

从与所述眼睛焦点相关联的对象、接收到的口语表达的命令或推导出的命令中的至少一者来提取情景信息；

基于所述口语表达的命令与所述推导出的命令的调和以及提取出的情景信息来确定期望的命令；以及

执行所确定的期望的命令。

2.根据权利要求1所述多输入方法，其中，确定所述眼睛焦点的区域包括：

跟踪眼睛焦点的与所述显示器上的位置有关的位置；以及

在所述显示器上保持与所述显示器有关的所跟踪的眼睛焦点的日志以及在所跟踪的眼睛焦点附近的显示内容。

3.根据权利要求2所述多输入方法，所述多输入方法还包括：

响应于接收到命令，确定在所述显示器上显示的与所述眼睛焦点相关联的内容已经改变，其中所述命令是所述口语表达的命令或推导出的命令中的至少一者；以及

搜索所跟踪的眼睛焦点的日志，以执行发现与接收到的命令相关联的对象或者提取与所述对象相关联的情景信息中的至少一项，其中所述对象与所述接收到的命令相关联。

4.根据权利要求1所述多输入方法，所述多输入方法还包括：

确定所述口语表达的命令和所述推导出的命令的所述调和低于阈值，

在接收到所述口语表达的命令的时间或检测到所述唇部运动的时间中的至少一个时间附近，识别与所述眼睛焦点相关联的至少一个显示的对象；

确定所述口语表达的命令和所述推导出的命令之一是否与所述显示器上显示的至少一个识别出的对象有关；

在确定所述推导出的命令与所述显示器上显示的至少一个识别出的对象无关的情况下，基于提取出的所述眼睛焦点和所述口语表达的命令的情景信息来确定所述期望的命令；以及

在确定所述口语表达的命令与所述显示器上显示的至少一个识别出的对象无关的情况下，基于提取出的所述眼睛焦点和所述推导出的命令的情景信息来确定所述期望的命令。

5.根据权利要求1所述多输入方法，其中，确定所请求的操作包括：

识别所述口语表达的命令或非口语表达的命令的歧义术语；以及

用从与所述眼睛焦点相关联的对象中提取出的情景信息替换识别出的歧义术语。

6.根据权利要求1所述多输入方法，所述多输入方法还包括：

确定所述口语表达的命令和所述推导出的命令的所述调和低于阈值，

识别所述口语表达的命令或所述推导出的命令中的至少一者的歧义部分；

确定一个或更多个替换命令，以澄清与所述口语表达的命令或非口语表达的命令中的至少一者相关联的识别出的歧义部分；

在所述显示器上显示所述一个或更多个替换命令；

识别所述一个或更多个显示的替换命令中的一个显示的替换命令上的眼睛焦点；以及

用针对所述眼睛焦点的命令来替换所述命令的歧义部分，以推导出所述期望的命令。

7.根据权利要求1所述多输入方法，其中，接收到的口语表达的命令是听不见的，并且其中，基于从与所述眼睛焦点相关联的对象和所述推导出的命令中提取出的情景信息来确定所述期望的命令。