[发明专利]调节视频会议系统中的空间一致性

说明书

相关申请的交叉引用

本申请要求2014年11月19日提交的中国优先权专利申请No.201410670335.4和2014年12月2日提交的美国临时专利申请No.62/086,379的优先权，该申请的内容通过引用被整体结合于此。

技术领域

本文公开的示例实施例一般涉及音频内容处理，更特别地，涉及用于调节特别是在视频会议系统中的空间一致性的方法和系统。

背景技术

当实施视频会议时，视觉信号与听觉信号一起被生成且从一方传输至另一方(或多方)，使得当一个或多个与会者正在发言时，在另一方(或多方)产生的声音应当被同步化且同时播放。主要存在音频和视频之间的两种类型的差异：时间上的差异和空间一致性上的差异。音频和视频流之间的时间上的差异可导致同步问题，诸如从发言的与会者传出的语音不与其嘴型同步。空间一致性是用于描述正在被播放的声场如何与正在显示的视觉场景相匹配的术语。空间一致性也可以定义听觉场景和视觉场景之间校准的程度。本文公开的示例实施例的目的在于调节视频会议系统中的空间一致性，使得听觉场景与视觉场景彼此匹配，为多方的与会者提供身临其境的视频会议体验。

如果音频信号是在许多现存的视频会议系统中广泛采用的单声道格式，则用户不需要关注空间一致性问题。空间一致性仅当音频信号以至少两个声道(例如立体声)存在时才会发生。现今，声音可以被多于两个麦克风所采集，这将以诸如5.1或7.1环绕格式之类的多声道格式进行传输，并被终端用户的多个换能器表现及播放。在通常的会议环境中，多个与会者围绕用于采集其语音的设备，并且每个与会者可以被视为单个音频对象，其在发言时产生一系列音频信号。

如在本文中使用的，术语“音频对象”指的是在声场中存在限定时间期间的个体音频元素。音频对象可以是动态或静态的。例如，与会者可以围绕音频采集设备行走，且相应的音频对象的位置也相应地改变。

对于视频会议和各种其它涉及空间一致性问题的应用而言，不一致的听觉-视觉表现导致不自然的感受，这将导致会议体验降低。一般而言，小于5°的差异可以被视为可接受的，因为这样的角度差异对于大多数人而言并不明显。如果角度差异多于20°，大多数人都会显著地觉得不舒服。

有鉴于此，本领域有需要引入调节听觉场景以与视觉场景校准的方案，或者是调节视觉场景以与听觉场景校准的方案。

发明内容

为了解决前述和其它潜在的问题，本文公开的示例实施例提出了用于调节视频会议系统中的空间一致性的方法和系统。

在一个方面，本文公开的示例实施例提供了用于调节视频会议中的空间一致性的方法。该方法包括：检测由视频端点设备采集的视觉场景与由音频端点设备采集的听觉场景之间的空间一致性，该音频端点设备相对于视频端点设备被定位，空间一致性为听觉场景与视觉场景之间校准的程度，将所检测的空间一致性与预定义的阈值相比较；并且响应于所检测的空间一致性低于该阈值而调节空间一致性。关于该方面的实施例进一步包括相应的计算机程序产品。

在另一个方面，本文公开的示例实施例提供了用于调节视频会议中的空间一致性的系统。该系统包括：被配置成采集视觉场景的视频端点设备，被配置成采集听觉场景的音频端点设备，该音频端点设备相对于视频端点设备被定位；被配置成检测所采集的听觉场景与所采集的视觉场景之间的空间一致性的空间一致性检测单元，空间一致性为听觉场景与视觉场景之间校准的程度；被配置成将所检测的空间一致性与预定义的阈值相比较的空间一致性比较单元以及被配置成响应于所检测的空间一致性低于该阈值而调节空间一致性的空间一致性调节单元。

通过以下的描述，将要理解的是，根据示例实施例，空间一致性可以响应于听觉场景与视觉场景之间的任何差异而被调节。相对于视觉场景所调节的听觉场景或者相对于听觉场景所调节的视觉场景被多个换能器(例如扬声器、耳机等)以及至少一个显示器自然地呈现。本文公开的示例实施例实现了以三维(3D)音频呈现的视频会议。示例实施例所实现的其它优点将通过以下描述而变得清楚。

附图说明

通过参照附图的以下详细描述，示例实施例的上述和其它目的、特征和优点将变得更容易理解。在附图中，数个实施例将以示例以及非限制性的方式进行说明，其中：

图1图示了根据示例实施例的音频端点设备的示意图；

图2图示了用于图1中所示的音频端点设备的示例坐标系；

图3图示了根据示例实施例的用于调节视频会议中的空间一致性的方法的流程图；