[发明专利]用于视频会议环境中景深导向图像滤波的系统和方法

说明书

技术领域

本发明一般地涉及通信领域。更具体地，本发明涉及用于视频会议环境下景深导向(depth-guided)的图像滤波的系统和方法。

背景技术

近来视频架构变得越来越复杂。一些视频架构可以使用先进的视觉、听觉以及协同技术来递送人与人之间实时、面对面的交互。在某些架构中，服务供应商可以为他们的终端用户提供精细的视频会议服务，其可以通过网络模拟“身临其境(in-person)”的会谈体验。对于尝试提供现实化并模仿真实会谈的视频会议方案的开发和设计人员来说，在某些比特限制下优化视频会议过程中的视频编码和解码能力提出了巨大的挑战。

附图说明

为了更全面地理解本公开及其特征和优势，联系附图参考了以下描述，图中相似的标号代表相似的部分，其中：

图1是示出了根据本公开的通信系统的示例性实施例的简化框图；

图2A是示出可能与视频处理单元相关的附加的细节的简化框图，其中景深导向滤波器被与视频编码器耦接以对图像进行编码；

图2B是示出可能与视频处理单元相关的附加的细节的简化框图，其中景深导向滤波器被与视频解码器耦接以对图像进行解码；

图3是示出可能与视频处理单元的另一实施例相关的附加的细节的简化框图，其中景深导向滤波器作为前置滤波器被与视频解码器耦接；

图4是示出可能与视频处理单元的另一实施例相关的附加的细节的简化框图，其中景深导向滤波器是环路滤波器；

图5是示出可能与视频处理单元的另一实施例相关的附加的细节的简化框图，其中景深导向滤波器是环路滤波器；并且

图6是示出了与本公开相关的行为的一个可能集合的简化流程表。

具体实施方式

概述

在实施例示例中给出了一种方法，包括接收对应于图像的像素的多个景深值。这种方法同时也包括

根据与所述图像相关联的窗口中相邻像素间多个景深值的差异(例如差值)对所述图像进行滤波(例如调整、修改、完善)。在更为详细的实施例中，这种方法包括将图像编码成通过网络传输的比特流。滤波可以占用和图像编码相关的比特率。

在其它实施例中，方法包括接收对应于像素的亮度值，滤波是相邻像素间亮度值的多个差异的函数。图像滤波包括对一些景深值差异低于阀值的相邻像素进行平滑。图像经过由反变换器、反量化器以及基于先前编码的预测补偿器构成的环路进行滤波。窗口可以包含来自空间域或者时间域的像素。滤波可以保留对应于离观察点更近的景深值的像素点，而不是对应于离观察点很远的景深值的像素点。

示例性实施例

转到图1，图1是简化的示意框图，示出了根据本公开的一个实施例的用于举行视频会议的通信系统100。图1包括与视频会议不同的终端用户相关的多个端点。一般来说，端点在地理上是分离的，在这个特定示例中，多个端点112a-112c位于加利福尼亚州的圣何塞，并且远程端点(未示出)位于伊利诺伊州的芝加哥。图1包括耦接至112a-112c的多点管理者元件120。注意分配至端点的数字和字母指示符不代表任何类型的层级关系；指示符是任意的而且仅用于教导目的。这些指示符不应当被以任何方式解释为限制其在可能受益于通信系统100的特征的潜在环境中的能力、功能或应用。

在该示例中，每个端点112a-112c被沿着长桌自然地放置并且靠近于与其相关联的参与者。由于图1仅提供针对本文的概念的多种可能实现方式中的一种，在任何其它合适的位置都可以提供这种端点本文。在一个示例实现方式中，端点是可以帮助接收和发送视频和音频数据的视频会议端点。其它类型的端点当然在概述出的“端点”概念的广义范围内，并且这些示例端点中的一些会在下文被进一步描述。每个端点112a-112c被配置为可与各自的多点管理者元件120交互，这有助于协调和处理终端用户正在传输的信息。

如图1所示，若干图像捕获设备114a-114c以及显示屏115a-115c被提供以与端点112a-112c分别进行交互。显示屏115a-115c呈现将被会议参与者看到的图像，在本特定示例中表现的是三显示屏设计(例如，“三个一组(triple)”)。注意用在此说明书中的术语“显示屏”指的是能够在视频会议期间呈现的图像的任何元件。这就必然包含任何平板、屏幕、远程出席显示屏或显示墙计算机显示屏、等离子元件、电视、监控器、或者能够实现这样的呈现的任何合适的表面或元件。