[发明专利]一种结合RGBD数据的GrabCut自动分割算法

说明书

本发明公开了一种结合RGBD数据的GrabCut自动分割算法：首先将深度相机Kinect V2采集到的深度、颜色等数据通过彩色图的像素点对应深度图的坐标系来初步分割包含人物的前景，并作为GrabCut的掩码框。然后将深度数据作为高斯混合模型的第四通道中来改进GrabCut算法的能量方程，实现对人物轮廓进行自动分割。我们改进后的Grabcut算法解决了原有算法在复杂静态背景下存在人物上下半身的服饰颜色差异大时分割不完整、前背景颜色相近时分割不准确、需要用户交互的问题，并且具有自动分割人物轮廓、实时性强、分割准确度高等特点。进一步利用多边形拟合绘制人物轮廓，实现轮廓矢量化。

技术领域

本技术着重于Kinect相机下用图像分割相关技术以及RGBD图实时标注并拟合人物轮廓，属于图像分割领域。在Kinect相机采集的视频序列中，利用特定的技术和算法去除背景等干扰信息，只保留有关人体的关键数据(如身体尺寸、姿势、着装颜色等)，再将人物边界轮廓序列化，为接下来一系列研究(如行为分析、目标跟踪、模板匹配等)提供有效的处理数据，打下坚实的基础。

背景技术

人体轮廓提取的精准程度和分割速度决定了人物行为处理分析以及后续处理操作的最终效果，而拟合操作能以最少的点保留其轮廓关键特征，减少数据量。人体轮廓识别的重点是构建一种对处于复杂场景的人物进行准确识别的图像特征描述。

现有的大多数人体轮廓提取技术大都依赖于RGB图像，而RGB图像的质量易受强光、剧烈的光照强度变化、多物体重叠遮挡与数据传输损失等因素的影响。这也就导致算法或者模型受到局限，适应性低。最重要的是人物运动比较复杂，导致有些方法因为过于简单而识别精度达不到要求，另一些模型却因为过于复杂而无法适用于实际情况。到目前为止，基于人体运动的复杂性、环境的多变性以及当前研究现状和技术水平并不能构造一个满足所有情形的人体轮廓识别体系，并且其人体轮廓提取与拟合算法的分割精准度、健壮性和实时性三方面之间的统一仍然是难题。

完整的人物轮廓是特征提取与表达、目标分类与识别等系统后期处理的前提条件。近年来，有研究人员将GrabCut算法应用到人物轮廓分割上并取得一定效果，但其使用过程中需要人工手动框选前景区域，不适合实时人物轮廓提取。

本发明提出结合RGBD数据的GrabCut自动分割算法，利用Kinect 相机所提供的数据特性，初步提取前景框，同时添加第四通道深度来改进 Grabcut算法，使其实现自动分割人物。本发明依赖的关键技术介绍如下：

(1)GrabCut算法

GrabCut算法是基于图论的经典图像分割算法。它通过用户指定前景框来得到目标前景样本集和背景样本集，并采用三维高斯混合模型来表示颜色统计的权重、均值、协方差分布，以此来确定当前像素属于前/背景的可能性大小。然后收敛能量方程，从而产生全局最优解，完成对所有像素的标记，最后利用最大流/最小割算法进行分割。

(2)基于二值图像的轮廓提取算法

该算法利用Canny算子描述轮廓的完整边界特征，其中外边界代表值为一的连通域，孔边界表示值为零的连通域。通过标记不同的边界以代表他们层级、边界性质的值，勾画整幅二值图轮廓边界之间的层次等级关系。

本发明所改进的GrabCut算法并利用放缩图片的方式减少计算数据量、提高精准度，分割所用时间比openCV实现的GrabCut减少5倍左右，处理一帧的速度基本上在0.09s左右，相当于1秒可以处理11帧，满足实时要求，并且精准度较高。在人物未超出Kinect检测范围以及光照变化不剧烈的情况下，依然能在人物服饰颜色相差较大时能有较好的分割效果，获取细节明显、较为完整的人物轮廓。

发明内容