[发明专利]音频用户交互辨识和上下文精炼

说明书

相关申请案的交叉参考

本申请案依据35 U.S.C.§119(e)的权益主张2012年5月11日申请且标题为“音频用户交互辨识和上下文精炼(AUDIO USER INTERACTION RECOGNITION AND CONTEXT REFINEMENT)”的第61/645,818号美国临时专利申请案的优先权，且主张2012年11月12日申请且标题为“音频用户交互辨识和上下文精炼(AUDIO USER INTERACTION RECOGNITION AND CONTEXT REFINEMENT)”的第13/674,773号美国非临时专利申请案的优先权，以上申请案的内容明确地以引用方式并入本文。

背景技术

通过在不同时间点确定用户正看着的方向可推导大量有用信息，且此信息可用以增强用户与多种计算系统的交互。因此，常见的是已经采取大量使用基于视觉的方法进行的凝视跟踪研究(即，使用若干不同装置跟踪眼睛)。然而，了解用户的凝视方向仅给出关于用户关注的一个维度的语义信息，且不考虑大部分由语音给出的上下文信息。换句话说，与语音跟踪结合的凝视跟踪的组合将在多种不同用户应用中提供较富含的且较有意义的信息。

发明内容

使用基于音频的方法确定上下文信息(即，正发送或由用户接收的非视觉信息)。通过朝向特定人或特定声音源导向音频波束可增强接收侧上的音频用户交互。本文描述的技术因此可允许用户较清楚地理解例如对话的上下文。为了实现这些益处，来自一或多个可导向麦克风阵列的输入和来自固定麦克风阵列的输入可用以在正呈现基于音频的上下文信息(或甚至基于视觉的语义信息)的情况下确定一个人正看着谁或一个人相对于正在说话的人注意什么内容。

对于各种实施方案，使用两种不同类型的麦克风阵列装置(MAD)。第一类型的MAD是可导向麦克风阵列(本文也称为可导向阵列)，其由用户佩戴在关于用户的眼睛的已知定向上，且多个用户可各自佩戴可导向阵列。第二类型的MAD是固定位置麦克风阵列(本文也称为固定阵列)，其放置于与用户(其中一或多者正使用可导向阵列)相同的声学空间中。

对于某些实施方案，可导向麦克风阵列可为有源噪声控制(ANC)头戴式耳机或助听器的部分。可存在多个可导向阵列，其各自与例如会议或群组中的不同用户或说话者(本文也称为参与者)相关联。在此上下文中，固定麦克风阵列将随后用以使用音频波束来分离在群组会议期间说话和收听的不同人，所述音频波束对应于所述不同人相对于所述固定阵列定位的方向。

评估固定阵列的经分离说话者的音频波束与可导向阵列的输出之间的相关或相似性。相关是相似性量度的一个实例，但可使用若干相似性测量或确定技术中的任一者。

在一实施方案中，固定阵列的经分离参与者的音频波束与可导向阵列的输出之间的相似性量度可用以跟踪参与者之间的社交交互，包含在不同参与者说话或呈现基于音频的信息时参与者随着时间的凝视方向。

在一实施方案中，固定阵列的经分离参与者的音频波束与可导向阵列的输出之间的相似性量度可用以例如放大目标参与者。此缩放又可能在一个用户(在所述时刻是收听者)正凝视着正提供基于音频的信息(即，说话)的另一个人时导致增强的噪声滤波和放大。

在一实施方案中，固定阵列的经分离参与者的音频波束与可导向阵列的输出之间的相似性量度可用以自适应地形成目标参与者的较好波束，从而实际上较好地确定用户中的每一者相对于彼此的物理定向。

提供此概述以用简化形式介绍概念的选择，所述概念在以下详细描述中进一步描述。此概述既定不识别所主张标的物的关键特征或本质特征，也既定不用以限制所主张标的物的范围。

附图说明

当结合附图阅读时更好地理解前述概述以及以下对说明性实施例的详细描述。为了说明实施例的目的，在图中展示实施例的实例性构造；然而，实施例不限于所揭示的特定方法和手段。在图中：

图1是可用以确定上下文信息的各自佩戴可导向麦克风阵列的用户群组连同固定麦克风阵列的图；

图2是使用可导向麦克风阵列和固定麦克风阵列确定用户交互的方法的实施方案的操作流程；

图3是使用可导向麦克风阵列和固定麦克风阵列确定用户交互的方法的另一实施方案的操作流程；

图4是可提供用户身份和用户正观看哪一方向的指示的实例性显示的图；

图5是可产生和显示且指示各种用户交互和会议数据的用户接口的图；