[发明专利]用于多模式会话交互中的口头语言理解的眼睛注视

说明书

描述了改进对与计算机化会话系统相关联的视觉上下文中的视觉元素的引用的理解和/或解析的准确性。本文描述的技术利用注视输入与姿势和/或语音输入来改进计算机化会话系统中的口头语言理解。通过改进系统能够关于视觉上下文中的视觉元素来解析引用(或解释用户的意图)的准确性，利用注视输入和语音输入改善了会话系统中的口头语言理解。在至少一个示例中，本文中的技术描述了跟踪注视以生成注视输入，标识语音输入以及从该用户输入提取注视特征和词汇特征。至少部分地基于该注视特征和该词汇特征，可以解析被指向视觉上下文中的视觉元素的用户话语。

背景技术

当人类彼此交谈时，他们自然地将例如语音、姿势、面部/头部姿态和表情等来自不同模态的信息进行组合。随着计算机化设备的激增，人类具有与计算机化设备相关联的显示器交互的更多机会。口头对话系统或会话系统使得人类用户能够通过诸如语音和/或姿态的各种通信模式与计算系统通信。当前会话系统基于各种通信模式来标识用户与会话系统交互的意图。在一些示例中，会话系统通过计算用户的话语以及项目的词汇描述与屏幕上相关联的文本之间的相似性来解析用户话语中的引用表达。在其他示例中，屏幕上对象标识对于理解用户的意图是必要的，因为用户的话语关于用户可以引用的屏幕上的对象是不清楚的。因此，当前技术利用诸如语音和姿势的多模式输入来确定用户在屏幕上引用哪些对象。

发明内容

本文描述了用于理解和解析对与会话计算系统相关联的视觉上下文中对视觉元素的引用的技术。本文中的技术描述至少部分地基于从用户输入(例如，注视、语音等)提取的眼睛注视特征和词汇特征来检测注视、识别语音、以及解释关于视觉上下文中的视觉元素的用户的意图。

在至少一个示例中，本文描述的技术包括：标识诸如web浏览器、应用界面或一些其他会话系统的视觉上下文中可用于用户交互的视觉元素。另外，本文描述的技术包括：接收与视觉上下文中的一个或多个视觉元素相关联的用户输入。在至少一个示例中，用户输入可以包括从语音输入得到的且引用预期特定视觉元素的用户话语以及与视觉元素中的至少一些视觉元素相关联的用户注视输入。本文描述的技术还包括：至少部分地基于用户话语和视觉元素来提取词汇特征，并且至少部分地基于用户注视输入来提取视觉元素和注视特征。此外，本文描述的技术包括：至少部分地基于词汇特征和注视特征来确定与用户输入相关联的一个或多个视觉元素的特定视觉元素。在一些示例中，确定特定视觉元素还可以至少部分地基于热图特征。

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。

附图说明

参考附图来描述具体实施方式。在附图中，附图标记的最左边的数字标识附图标记首次出现的附图。不同附图中相同的附图标记指示相似或完全相同的项目。

图1示出了用于解析对与计算机化会话系统相关联的视觉上下文中的视觉元素的引用的示例性环境。

图2示出了包括各种设备和组件的示例性操作环境，其可以被实现用于解析对与计算机化会话系统相关联的视觉上下文中的视觉元素的引用。

图3示出了可以实现用于解析对与计算机化会话系统相关联的视觉上下文中的视觉元素的引用的示例性操作环境。

图4示出了用于解析对与计算机化会话系统相关联的视觉上下文中的视觉元素的引用的示例性处理。

图5示出了用于至少部分地基于词汇特征和注视特征来确定在用户话语中引用的特定视觉元素的示例性处理。

图6示出了用于过滤和标识与计算机化会话系统相关联的视觉上下文中所预期的视觉元素的处理。

具体实施方式