[发明专利]基于3D体感摄像头的视频人像抠图方法及系统

说明书

本发明公开了一种基于3D体感摄像头的视频人像抠图方法及系统。方法包括：利用摄像头获取目标视频图像的深度图序列帧和彩色图序列帧，对其进行时间戳标记；并对每一帧的深度图和彩色图进行同步，根据摄像头的预设参数，对同步的深度图帧和彩色图帧进行对齐插值匹配；根据深度图序列帧得到最终轮廓掩膜图；对同步的彩色图帧和最终轮廓掩膜图进行混合、优化和渲染，得到人像抠图图像，将其呈现给用户。能够实时同步的获取目标视频图像的深度图和彩色图，并且对深度图和彩色图进行同步和配准匹配，根据深度图信息和彩色图信息对图像中的前景和背景进行识别，将其实时融合到视频图像中实现人像抠图，有效的提高了实时人像抠图的效率和效果。

技术领域

本发明涉及一种计算机视觉及图像处理方法，特别涉及一种基于3D体感摄像头的视频人像抠图方法和一种视频人像抠图系统。

背景技术

一般的，视频人像(包括头部和整个身体部分)抠图的方法是将视频中的图像帧以较高的精度区分为前景序列，背景序列和透明度序列，从而将视频中的前景人像提取出来。目前多数视频人像抠图算法是将静态图像抠图算法扩展到视频抠图，如贝叶斯抠图算法和迭代视频抠图算法等，抠图算法通常是采用标记关键帧，通过标记传播策略将关键帧的标记传播到其他帧上，再对各帧图像进行人像抠图。显然现有的视频抠图效果和速度直接依赖于所采用的标记传播策略和静态抠图算法的性能。总的来说，现有的视频人像抠图算法存在以下主要的问题：1)由于抠图算法和传播策略本身的缺陷，使得视频中的人像抠图效果不理想。2)由于抠图算法的运行效率较低，导致抠图速度不理想

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一，提出了一种基于3D体感摄像头的视频人像抠图方法和一种视频人像抠图系统。

为了实现上述目的，本发明的第一方面，提供了一种基于3D体感摄像头的视频人像抠图方法，所述方法包括：

利用3D体感摄像头获取目标视频图像的深度图序列帧和彩色图序列帧；

对所述深度图序列帧和彩色图序列帧进行时间戳标记；

获取每一帧的深度图，以及与每一帧所述深度图基于时间戳同步的每一帧的彩色图，根据所述3D体感摄像头的预设参数，对获得的同步的深度图帧和彩色图帧进行对齐插值匹配；

根据所述深度图序列帧确定目标视频图像中的人像的初始轮廓掩膜图，并基于所述初始轮廓掩膜图，提取所述初始轮廓掩膜图中的人像像素，且对其余像素和人像边缘的像素进行预处理，以得到最终轮廓掩膜图；

获取纹理图；

对同步的彩色图帧和所述最终轮廓掩膜图进行混合，得到初始人像抠图图像；

对所述初始人像抠图图像进行优化处理，得到中间人像抠图图像；

基于所述中间人像抠图图像，利用所述纹理图进行渲染，以得到最终人像抠图图像，将所述最终人像抠图图像呈现给用户。

优选地，所述3D体感摄像头包括深度摄像机和彩色摄像机，所述深度摄像机用于获取目标视频图像的深度图序列帧，所述彩色摄像机用于获取目标视频图像的彩色图序列帧。

优选地，所述3D体感摄像头的预设参数包括：

所述深度摄像机和所述彩色摄像机相对位置参数和视场角参数。

优选地，所述深度摄像机和所述彩色摄像机相对位置参数包括：

深度摄像机的内部参数和镜头参数、彩色摄像机的内部参数和镜头参数以及深度摄像机和彩色摄像机的夹角与相对距离中的至少一者。

优选地，所述彩色摄像机的分辨率高于所述深度摄像机的分辨率。

优选地，所述对所述深度图序列帧和彩色图序列帧进行时间戳标记的步骤中：