[发明专利]用于多模式会话交互中的口头语言理解的眼睛注视

摘要

描述了改进对与计算机化会话系统相关联的视觉上下文中的视觉元素的引用的理解和/或解析的准确性。本文描述的技术利用注视输入与姿势和/或语音输入来改进计算机化会话系统中的口头语言理解。通过改进系统能够关于视觉上下文中的视觉元素来解析引用(或解释用户的意图)的准确性，利用注视输入和语音输入改善了会话系统中的口头语言理解。在至少一个示例中，本文中的技术描述了跟踪注视以生成注视输入，标识语音输入以及从该用户输入提取注视特征和词汇特征。至少部分地基于该注视特征和该词汇特征，可以解析被指向视觉上下文中的视觉元素的用户话语。

主权项

一种计算机实现的方法，所述方法用于理解和解析对会话计算系统的视觉上下文中的视觉元素的引用，所述方法包括：标识所述视觉上下文中可用于用户交互的所述视觉元素；从耦合到所述会话计算系统的一个或多个输入设备接收与所述视觉上下文中的所述视觉元素中的一个或多个视觉元素相关联的用户输入，所述用户输入包括：从引用所述一个或多个视觉元素中的特定视觉元素的语音输入得到的话语；以及与所述一个或多个视觉元素中的至少一些视觉元素相关联的注视输入，所述一个或多个视觉元素中的所述至少一些视觉元素包括所述特定视觉元素；至少部分地基于所述视觉元素和所述用户输入来提取词汇特征和注视特征；以及至少部分地基于所述词汇特征和注视特征来确定所述特定视觉元素。