[发明专利]具有三维感知的视频通信

说明书

技术领域

本公开涉及实时视频通信，并且更具体地涉及具有三维感知的实时视频通信。

背景技术

例如各自在计算机上的本地用户和远程用户之间的视频通信变得日益常见和可用。这归因于内置视频摄像机和麦克风的个人计算机的流行以及高速互联网连通性的日益可用性。但是，由于通常与三维(3D)成像关联的所增加的硬件复杂性，大多数视频通信限于提供二维(2D)屏幕图像。这些复杂性可包括使用双摄像机、具有同步和校准的昂贵显示技术和难度。

但是，3D视频通信是值得期望的。深度感知向用户提供视觉提示，并且这些提示可增强与通信体验关联的空间和现实的感觉。如果能够以减少的成本并且无需对诸如第二摄像机或复杂显示器之类的附加硬件的要求来提供深度感知，则可由此增加用户体验的质量和满意。

附图说明

随着下面的详细描述继续并且在参考附图时，所要求保护的主题的实施例的特征和优点将变得明显，在附图中，相似的标号描绘相似的部分，并且其中：

图1示出与本公开一致的视频通信系统的一个示范性实施例的顶级系统图；

图2示出与本公开一致的视频通信系统的一个示范性实施例的框图；

图3示出与本公开一致的示范性实施例的前景切分（segmentation）模块的附加框图细节；

图4示出与本公开的示范性实施例一致的前景掩模（mask）和边界轮廓；

图5示出与本公开一致的示范性实施例的背景估计模块的附加框图细节；

图6示出与本公开一致的示范性实施例的操作的流程图。

虽然下面的详细描述将通过对说明性实施例进行参考来继续，但是本领域技术人员将明白其许多的备选、修改和变形。

具体实施方式

一般地，本公开提供用于具有三维(3D)感知图像的实时视频通信的方法和系统，该三维感知图像通过基于标识、切分和跟踪图像的前景和背景层所生成的视差效应来呈现。本地视频图像帧可在本地系统或平台中从本地摄像机获得，并且被切分为前景层和背景层。与层边界有关的信息可连同本地视频图像被传送到远程系统。远程系统可类似将远程视频图像和关联的层边界信息提供给本地系统。可检测并且在多个视频帧上跟踪本地用户的面部的位置。本地系统可生成具有3D感知的图像，该具有3D感知的图像要通过其中远程前景和远程背景层相对于彼此移动的运动视差的引入在本地显示器上显示给本地用户。通过跟踪本地用户的面部位置来控制相对运动。背景运动可相对于前景运动处于降低的速率，从而能够使用每个平台上的单个摄像机来实现实时视频流传送中的3D感知。

图1示出与本公开一致的一个示范性实施例的顶级系统图100。该系统可在本地用户120和远程用户122之间提供具有3D感知的流传送视频通信。本地视频摄像机102获得一个或多个图像帧，所述一个或多个图像帧可包括在背景场景或环境118前面的本地用户120。本地视频摄像机102可关联于或集成到本地计算机系统或平台，诸如，例如，膝上型计算机或计算机监视器、或者它可以是独立的摄像机。在一些实施例中，本地视频摄像机102可获得颜色视频图像和深度图像这两者，如下面将更详细地解释的。本地视频帧可被提供给本地3D感知处理模块104，其可将图像切分为本地前景和背景层，从而创建本地前景掩模以及跟踪本地用户的面部的位置，如下面将更详细地解释的。本地前景掩模和本地视频颜色帧可随后在网络106上被传送到与远程用户122的远程计算机系统或平台关联的远程3D感知处理模块110。远程3D感知处理模块110可为远程用户122提供本地3D感知处理模块为本地用户120提供的相同或类似的功能性。

本地3D感知处理模块104可在网络106上接收可连同本地用户的面部的所跟踪位置使用的远程前景掩模和远程视频颜色帧，以在本地显示器108上呈现具有3D感知的远程用户和远程背景的图像。3D感知可基于视差运动，该视差运动响应于本地用户的面部的位置在所显示的前景(例如，远程用户)和所显示的远程背景环境之间生成。例如，当本地用户的面部移向本地用户的左方时，远程用户将在本地观看显示器上相对于远程背景显现为右移。