[发明专利]一种结合RGBD数据的GrabCut自动分割算法

权利要求书

1.一种结合RGBD数据的GrabCut自动分割算法，该技术根据深度相机Kinect V2采集到的深度、颜色等数据通过彩色图的像素点对应深度图的坐标系来初步分割包含人物的前景，并作为GrabCut的掩码框。然后将深度数据作为高斯混合模型的第四通道中来改进GrabCut算法的能量方程，实现对人物轮廓进行自动分割。该方法包括以下步骤：

S1、基于Kinect相机的场景深度、颜色等数据采集；

S2、深度图修复以及初步分割人物前景图；

S3、初始化GrabCut掩码，结合RGBD四通道数据进行人物的自动分割；

S4、矢量化轮廓边缘并绘制人物轮廓线。

2.如权利要求1所述的结合RGBD数据的GrabCut自动分割算法，其特征在于，所述步骤S1具体包括以下处理：

随着强大的测距传感器的出现以及深度数据(depth，即深度相机拍摄的场景每个点到相机面的距离)提取技术日趋成熟，RGB-D图像(RGB+Depth Map，Depth Map是包括场景深度数据的图像或通道)逐渐受到了图像研究人员的关注。RGB-D相机与我们平时使用的普通相机不同，它同时装载了光学RGB相机和深度相机。因而该相机可以同时采集场景中各个点的纹理信息和深度信息。Kinect V2相机(微软于2014年10月发布的第二代3D体感摄像机，也称为深度相机，在计算机视觉领域常用于教学或科研实验)证明了物体识别系统的准确性可以通过附加深度信息的方式得到大幅提高，而不再仅仅依赖于颜色信息。Kinect采用Time of Flight(TOF)技术来得到目标物体距离相机所在垂直平面的距离。TOF利用连续波调制相位偏移与物体距离成正比的关系，计算出深度。利用微软提供的开发组件读取kinect传输过来的数据，其中颜色信息以RGB的格式保存为BGR三通道的彩色图，深度信息以8位无符号整型形式保存为灰度图。与此同时，保存对应的由kinect提供的人物索引值(BodyIndex)数据源。

3.如权利要求1所述的结合RGBD数据的GrabCut自动分割算法，其特征在于，所述步骤S2具体包括以下处理：

Kinect在渲染Depth Map时，将没有识别到的领域默认填充为黑色。但“黑洞”将影响后续的运算，因此在进行初步前景分割前先采用像素滤波器修复深度图像。遍历整幅深度图，选定深度值为0的像素点为待修改的滤波像素点，建立一个以该像素点为核心的两层滤波器。然后寻找该滤波器器内深度值不为0的像素点，分别记录两层滤波方框内深度值不为0的像素点的数量，然后与自定义阈值比较。若内外层中记录的深度值非零的像素数目超过了阈值，则该待修改的滤波像素点的深度值将以该两层滤波器内出现频率最高且不为0的深度值进行赋值，最终完成修复。本发明像素滤波器内外层阈值分别为2，5；内层大小为3*3，外层大小为5*5；

深度相机与彩色相机之间存在间距、其视野范围以及分辨率不一致，导致RGB图片不能按像素点与深度图直接对应。因此进行坐标空间的映射校准，利用开发组件的接口类能把以深度相机为原点的坐标系与彩色相机的空间坐标系链接起来，寻找映射到深度帧中与彩色帧相对应的像素点。再对比人物索引数据，确定用户的深度像素并保留相应位置的RGB值，从而得到初步前景图。为了降低数据量，现将上一步提取到的初步前景图中的每个像素点与合理的阈值进行比较，从而获取与初步前景图相对应的二值图像。由于初步前景二值图像仍然存在一些边缘干扰项，采取数学形态学处理来去除，提供更好的GrabCut初始掩码(掩码也是最终图割结果)。