[发明专利]一种基于彩色图像分割的深度图去噪方法

说明书

技术领域

    本发明涉及图像处理和自然交互技术领域，具体涉及图像深度图的空洞补偿和去噪技术。

背景技术

深度图是将二维图像转换为三维场景不可缺少的信息。基于结构光的主动视觉模式可以较为准确地获取图像的深度信息，该模式相比双目立体摄像头，具有获取的深度图信息更稳定可靠、不受环境光影响、立体匹配过程简单、算法计算量小等优势。如微软的体感交互设备Kinect就是采用红外结构光的主动视觉模式，即通过红外激光投射固定模式的图像到物体表面，经物体表面的漫反射形成散斑点，由图像传感器采集获得散斑图像，再通过图像深度感知模块计算获得物体的深度图信息。由于在块匹配运动估计过程中存在误匹配的问题、加上激光投射的方法会形成被遮挡区域，由此形成深度图有空洞现象，空洞也可以视为深度图的噪声。因此，通过去噪修复可进一步优化深度图。

目前，应用较为广泛的去噪修复方法有：滤波去噪和非局部图像去噪方法。滤波去噪方法通过选择不同的滤波器及其参数可达到不同的滤波效果，会损伤一定的源图像，模糊图像边缘，造成图像失真。非局部图像去噪方法对局部小空洞有较好的去噪效果，对于边缘形状失真的去噪结果不理想，无法恢复图像中失真大的边缘信息。这些去噪方法对大面积空洞引起的噪声效果不理想。

发明内容

 本发明的目的在于克服以上不足之处，提出了一种基于彩色图像分割的深度图去噪方法，其技术方案如下：

(1)获取深度图和RGB彩色图；

(2)对RGB彩色图进行色度空间转换，得到LUV彩色图；

LUV色彩空间中，L*表示物体亮度，u*和v*是色度，由CIE XYZ空间经简单变换得到，具视觉统一性。RGB 到 LUV的色度空间转换分为两步：

①   RGB to CIE XYZ:

②   CIE XYZ to CIE LUV:

(3)将RGB彩色图转换为灰度图；

(4)根据Sobel算子将灰度图转换为梯度图，后续将基于梯度图进行分水岭分割，本方法用到的Sobel算子为：

(5)基于梯度图的分水岭分割，根据梯度图与LUV彩色图的像素对应关系，将分割结果映射到LUV彩色图上，将LUV彩色图分割为若干区域，标记各区域；

(6)计算分水岭分割后各区域的LUV均值；

(7)计算LUV空间下各相邻区域间的欧式距离ED；

(8)计算梯度图中各相邻区域交界处的梯度均值差ME；

(9)根据(7)中欧式距离ED和(8)中梯度均值差ME对分水岭分割后的LUV彩色图进行区域融合，得到新的区域划分结果，并用连通域标记（即将属于同一区域的像素点用相同的符号标记）表示该结果；

(10)利用深度图与已标记连通域的LUV彩色图中像素的对应关系，标记深度图连通域，即将LUV彩色图分割结果映射到深度图上，得到深度图的区域划分结果，并用连通域标记表示该结果；

(11)查找深度图中的空洞和边缘噪声，标记噪声像素；

(12)计算剔除噪声的像素点后深度图各区域（即具有相同连通域标记的像素点的集合）的深度均值Mean；

(13)将(11)中查找出的噪声像素值置为其所属区域的深度均值Mean。

本发明提出的基于彩色图像分割的深度图去噪方法，基于结构光的主动视觉模式在获取深度图的同时，也能利用CMOS摄像头采集到与深度图对应的彩色图，本发明利用彩色图信息对深度图进行去噪和空洞补偿，弥补了深度图边缘信息严重失真的不足。

附图说明

图1是根据本发明的深度图去噪流程图；

图2是分水岭分割算法中分水岭与积水盆地示意图；

图3是分水岭分割算法中的像素邻域示意图；

图4是区域融合中区域邻域示意图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

图1为深度图去噪流程图，其实施步骤如下：

(1)获取深度图和彩色图；

(2)对RGB彩色图进行色度空间转换，得到LUV彩色图；

(3) 根据已知公式Gray=0.299R+0.587G+0.114B，将RGB彩色图转换为灰度图；

 (4) 根据Sobel算子得到图像的梯度,将灰度图转换为梯度图；

 (5)进行基于梯度图的分水岭分割；