[发明专利]用于多模式会话交互中的口头语言理解的眼睛注视

权利要求书

1.一种计算机实现的方法，包括：

标识显示器上的视觉上下文中可用于用户交互的多个视觉元素；

接收包括用户所说的一个或多个词语的语音输入；

从所述语音输入提取词汇特征；

对于所述多个视觉元素中的每个视觉元素，计算所述词汇特征与所述多个视觉元素中的相应视觉元素之间的词汇相似性和针对每个词汇相似性的词汇概率；

从跟踪组件接收注视输入；

从所述注视输入确定热图，所述热图表示所述显示器上的所述视觉上下文中所述用户正在观看的对象的概率模型，所述对象包括所述多个视觉元素；

使用多个词汇概率中的词汇概率和所述热图的组合，确定所述多个视觉元素的特定视觉元素是所述语音输入的预期的视觉元素；

由一个或多个处理器确定所述语音输入包括被引导到所述特定视觉元素的命令；以及

使得与所述特定视觉元素相关联的动作被执行。

2.根据权利要求1所述的计算机实现的方法，其中所述视觉上下文是自由形式的web浏览器或者应用界面。

3.根据权利要求1所述的计算机实现的方法，还包括接收与所述特定视觉元素相关联的头部姿态输入，其中所述头部姿态输入用作所述注视输入的代理。

4.根据权利要求1所述的计算机实现的方法，其中使用所述词汇概率和所述热图的所述组合包括：

确定所述显示器上的所述多个视觉元素中的每个视觉元素周围的区域，每个区域与所确定的所述区域中的其他区域不相交；以及

确定从每个区域到与所述热图相关联的固定点的距离。

5.根据权利要求4所述的计算机实现的方法，还包括：

至少部分地基于所计算的相应的概率，过滤所述多个视觉元素中的各个视觉元素；

标识具有高于预定阈值的相应的概率的一个或多个视觉元素；以及

从所述一个或多个视觉元素标识所述特定视觉元素。

6.根据权利要求1所述的计算机实现的方法，还包括：

标识与所述注视输入相关联的多个固定点；

将预定数量的所述多个固定点一起分组在一个群集中；以及

将所述群集的质心标识为用于从所述注视输入提取注视特征的特定固定点，所述注视特征能够用以确定所述注视输入与所述特定视觉元素相关联。

7.根据权利要求6所述的计算机实现的方法，还包括：

计算所述语音输入的起始时间和结束时间；以及

至少部分地基于以下项来提取所述注视特征：

所述特定固定点和与所述多个视觉元素中的各个视觉元素相关联的区域之间的距离；

所述语音输入的所述起始时间；以及

所述语音输入的所述结束时间。

8.根据权利要求1所述的计算机实现的方法，其中所述动作包括所述特定视觉元素的选择或者信息到所述特定视觉元素中的输入中的一项。

9.一种用于交互的设备，包括：

一个或多个处理器；

利用指令编码的计算机可读介质，所述指令当由所述一个或多个处理器执行时将所述设备配置成执行操作，所述操作包括：

标识多个视觉元素以用于在显示器上的视觉上下文中接收用户交互；

确定从语音输入转录的用户话语，所述语音输入包括以特定语言所说的一个或多个词语，所述用户话语包括用以执行动作的命令；

从眼睛跟踪组件接收注视输入；

从所述注视输入确定热图，所述热图表示所述显示器上的所述视觉上下文中所述用户正在观看的对象的概率模型，所述对象包括所述多个视觉元素；

至少部分地基于所述用户话语，提取词汇特征；

对于所述多个视觉元素中的每个视觉元素，计算所述词汇特征与所述多个视觉元素中的相应视觉元素之间的词汇相似性和针对每个词汇相似性的词汇概率；

至少部分地基于所述热图，提取注视特征；以及

使用多个词汇概率中的词汇概率和所述注视特征的组合，确定用以执行所述动作的所述命令被引导到预期的视觉元素。