[发明专利]具有三维感知的视频通信

权利要求书

1.一种用于生成三维(3D)感知的方法，所述方法包括：

将当前本地视频帧切分为本地前景层和本地背景层；

基于所述本地前景层和所述本地背景层之间估计的边界来生成本地前景掩模；

将所述当前本地视频帧和所述本地前景掩模传送到远程视频处理器，所述远程视频处理器配置成基于所述当前本地视频帧和所述本地前景掩模来呈现3D感知图像；

从所述远程视频处理器接收当前远程视频帧和远程前景掩模；

跟踪本地用户的面部的位置，所述跟踪基于所述当前本地视频帧以及一个或多个先前本地视频帧；

基于所述当前远程视频帧和所述远程前景掩模来估计远程背景层；以及

基于所述估计的远程背景层、所述远程前景掩模、所述当前远程视频帧和所述本地用户的面部的所述跟踪的位置来呈现3D感知图像。

2.如权利要求1所述的方法，其中，所述当前本地视频帧包括本地颜色视频图像帧和本地图像深度数据帧，并且其中，所述传送所述当前本地视频帧包括传送所述本地颜色视频图像帧。

3.如权利要求2所述的方法，其中，所述生成所述本地前景掩模还包括基于所述本地图像深度数据帧来生成粗略前景掩模，并且还包括基于所述粗略前景掩模和所述本地颜色视频图像帧来生成精制的前景掩模。

4.如权利要求3所述的方法，其中，所述生成所述粗略前景掩模还包括去噪过滤、阈值化和连接分量分析。

5.如权利要求3所述的方法，其中，所述生成所述精制的前景掩模还包括层绑定、图裁剪处理和平滑过滤。

6.如权利要求1所述的方法，其中，所述呈现还包括基于所述远程前景掩模从所述当前远程视频帧提取远程前景层，并且合成所述提取的远程前景层和所述估计的远程背景层，其中，所述提取的远程前景层被定位在相对于所述估计的远程背景层的偏移，所述相对的偏移基于所述本地用户的面部的所述跟踪的位置。

7.如权利要求6所述的方法，其中，所述估计的远程背景层被定位在第一偏移，，并且所述提取的远程前景层被定位在第二偏移，，其中，是包括与所述本地用户的面部位置的所述跟踪的位置关联的方向和距离的运动向量，是0到1的范围中的比例因子，并且是0到1的范围中的比例因子。

8.如权利要求7所述的方法，其中，，并且选择和以在所述呈现的3D感知图像中生成视差。

9.一种用于生成三维(3D)感知的系统，所述系统包括：

图像切分模块，配置成将当前本地视频帧切分为本地前景层和本地背景层，并且基于所述本地前景层和所述本地背景层之间估计的边界来生成本地前景掩模，其中，所述当前本地视频帧包括本地颜色视频图像帧和本地图像深度数据帧；

面部跟踪模块，配置成基于所述当前本地视频帧以及一个或多个先前本地视频帧来跟踪本地用户的面部的位置；

背景层估计模块，配置成估计与从远程视频处理器接收的当前远程视频帧和远程前景掩模关联的远程背景层；以及

图像呈现模块，配置成基于所述估计的远程背景层、从所述远程视频处理器接收的所述当前远程视频帧和所述远程前景掩模、以及所述本地用户的面部的所述跟踪的位置来呈现3D感知图像。

10.如权利要求9所述的系统，其中，所述图像切分模块还包括配置成基于所述本地图像深度数据帧来生成粗略前景掩模的粗略切分模块，并且还包括配置成基于所述粗略前景掩模和所述本地颜色视频图像帧来生成精制的前景掩模的边界精制模块。

11.如权利要求10所述的系统，其中，所述粗略切分模块还包括去噪过滤模块、耦合到所述去噪过滤模块的阈值化模块以及耦合到所述阈值化模块的连接分量分析模块。

12.如权利要求10所述的系统，其中，所述边界精制模块还包括层绑定模块、耦合到所述层绑定模块的图裁剪处理模块、以及耦合到所述图裁剪处理模块的平滑过滤。

13.如权利要求9所述的系统，其中，所述呈现模块还配置成基于所述远程前景掩模从所述当前远程视频帧来提取远程前景层，并且合成所述提取的远程前景层和所述估计的远程背景层，其中，所述提取的远程前景层被定位在相对于所述估计的远程背景层的偏移，所述相对的偏移基于所述本地用户的面部的所述跟踪的位置。