[发明专利]基于3D体感摄像头的视频人像抠图方法及系统

权利要求书

1.一种基于3D体感摄像头的视频人像抠图方法，其特征在于，所述方法包括：

利用3D体感摄像头获取目标视频图像的深度图序列帧和彩色图序列帧；

对所述深度图序列帧和彩色图序列帧进行时间戳标记；

获取每一帧的深度图，以及与每一帧所述深度图基于时间戳同步的每一帧的彩色图，根据所述3D体感摄像头的预设参数，对获得的同步的深度图帧和彩色图帧进行对齐插值匹配；

根据所述深度图序列帧确定目标视频图像中的人像的初始轮廓掩膜图，并基于所述初始轮廓掩膜图，提取所述初始轮廓掩膜图中的人像像素，且对其余像素和人像边缘的像素进行预处理，以得到最终轮廓掩膜图；

获取纹理图；

对同步的彩色图帧和所述最终轮廓掩膜图进行混合，得到初始人像抠图图像；

对所述初始人像抠图图像进行优化处理，得到中间人像抠图图像；

基于所述中间人像抠图图像，利用所述纹理图进行渲染，以得到最终人像抠图图像，将所述最终人像抠图图像呈现给用户。

2.根据权利要求1所述的视频人像抠图方法，其特征在于，所述3D体感摄像头包括深度摄像机和彩色摄像机，所述深度摄像机用于获取目标视频图像的深度图序列帧，所述彩色摄像机用于获取目标视频图像的彩色图序列帧。

3.根据权利要求2所述的视频人像抠图方法，其特征在于，所述3D体感摄像头的预设参数包括：

所述深度摄像机和所述彩色摄像机相对位置参数和视场角参数。

4.根据权利要求3所述的视频人像抠图方法，其特征在于，所述深度摄像机和所述彩色摄像机相对位置参数包括：

深度摄像机的内部参数和镜头参数、彩色摄像机的内部参数和镜头参数以及深度摄像机和彩色摄像机的夹角与相对距离中的至少一者。

5.根据权利要求2所述的视频人像抠图方法，其特征在于，所述彩色摄像机的分辨率高于所述深度摄像机的分辨率。

6.根据权利要求1至5任意一项所述的视频人像抠图方法，其特征在于，所述对所述深度图序列帧和彩色图序列帧进行时间戳标记的步骤中：

基于系统时钟对所述深度图序列帧和彩色图序列帧进行时间戳标记。

7.根据权利要求2至5任意一项所述的视频人像抠图方法，其特征在于，所述根据所述3D体感摄像头的预设参数，对获得的同步的深度图帧和彩色图帧进行对齐插值匹配的步骤包括：

根据所述深度摄像机和所述彩色摄像机的相对位置参数，将每一帧深度图信息和同步的每一帧彩色图信息进行对齐匹配和映射；其中，一个像素的深度图信息与一个或者多个像素的彩色图信息对应；

对所述深度图信息进行亚像素补插值处理，对彩色图信息进行边缘优化处理。

8.根据权利要求1至5任意一项所述的视频人像抠图方法，其特征在于，所述对其余像素和人像边缘的像素进行预处理，以得到最终轮廓掩膜图的步骤包括：

将其余像素全都设置成黑色，并对所述人像边缘像素进行平滑处理，以得到所述最终轮廓掩膜图形。

9.根据权利要求1至5任意一项所述的视频人像抠图方法，其特征在于，所述对所述初始人像抠图图像进行优化处理，得到中间人像抠图图像的步骤包括：

对所述初始人像抠图图像进行边缘优化处理和/或腐蚀膨胀处理，以得到所述中间人像抠图图像。

10.一种视频人像抠图系统，其特征在于，所述视频人像抠图系统包括3D体感摄像头，图像处理模块和显示模块，其中，

所述3D体感摄像头用于获取目标视频图像的深度图序列帧和彩色图序列帧；

所述图像处理模块包括标记子模块、匹配子模块、提取子模块、混合子模块、优化子模块和渲染子模块；其中，

所述标记子模块用于对所述深度图序列帧和彩色图序列帧进行时间戳标记；

所述匹配子模块用于获取每一帧的深度图，以及与每一帧所述深度图基于时间戳同步的每一帧的彩色图，根据所述3D体感摄像头的预设参数，对获得的同步的深度图帧和彩色图帧进行对齐插值匹配；

所述提取子模块用于根据所述深度图序列帧确定目标视频图像中的人像的初始轮廓掩膜图，并基于所述初始轮廓掩膜图，提取所述初始轮廓掩膜图中的人像像素，且对其余像素和人像边缘的像素进行预处理，以得到最终轮廓掩膜图；

所述混合子模块用于对同步的彩色图帧和所述最终轮廓掩膜图进行混合，得到初始人像抠图图像；

所述优化子模块用于对所述初始人像抠图图像进行优化处理，得到中间人像抠图图像；

所述渲染子模块用于基于所述中间人像抠图图像，利用纹理图进行渲染，以得到最终人像抠图图像，将所述最终人像抠图图像呈现给用户；

所述显示模块用于获取用户输入的纹理图；以及，向用户显示所述最终人像抠图图像。