[发明专利]具有三维感知的视频通信

摘要

一般地，本公开通过基于标识、切分和跟踪图像的前景和背景层所生成的视差效应来提供用于具有三维感知图像呈现的实时视频通信的方法和系统。所述系统可包括图像切分模块，配置成将当前本地视频帧分为本地前景层和本地背景层，并且基于本地前景层和本地背景层之间估计的边界来生成本地前景掩模，其中，当前本地视频帧包括本地颜色视频图像帧和本地图像深度数据帧；面部跟踪模块，配置成基于当前本地视频帧以及一个或多个先前本地视频帧来跟踪本地用户的面部的位置；背景层估计模块，配置成估计与从远程视频处理器接收的当前远程视频帧和远程前景掩模关联的远程背景层；以及图像呈现模块，配置成基于所估计的远程背景层、从远程视频处理器接收的当前远程视频帧和远程前景掩模、以及本地用户的面部的所跟踪的位置来呈现3D感知图像。

主权项

一种用于生成三维(3D)感知的方法，所述方法包括：将当前本地视频帧切分为本地前景层和本地背景层；基于所述本地前景层和所述本地背景层之间估计的边界来生成本地前景掩模；将所述当前本地视频帧和所述本地前景掩模传送到远程视频处理器，所述远程视频处理器配置成基于所述当前本地视频帧和所述本地前景掩模来呈现3D感知图像；从所述远程视频处理器接收当前远程视频帧和远程前景掩模；跟踪本地用户的面部的位置，所述跟踪基于所述当前本地视频帧以及一个或多个先前本地视频帧；基于所述当前远程视频帧和所述远程前景掩模来估计远程背景层；以及基于所述估计的远程背景层、所述远程前景掩模、所述当前远程视频帧和所述本地用户的面部的所述跟踪的位置来呈现3D感知图像。