[发明专利]一种基于彩色图像分割的Kinect深度图修复方法

摘要

本发明涉及一种基于彩色图像分割的Kinect深度图修复方法，本方法将对应的彩色图像分割结果作为参考信息修复深度图，来重建深度图的无效区域，再利用彩色图像作为引导信息对重建后的深度图滤波，达到去噪的效果；以实现在同时拍摄的彩色图像的提供参考信息的基础上，通过对彩色图像分割处理，获得深度图空洞重建区域，得到较好质量的Kinect深度图。

主权项

一种基于彩色图像分割的Kinect深度图修复方法，其特征在于，包括步骤如下：A、获取彩色图像和深度图；B、对彩色图像做分割预处理；C、缺失深度值Dp估计；对空洞边界上缺失深度值的像素p所在的分割物体区域Rk，在分割后的彩色图像中选择对应的分割物体区域Rk；在深度图的分割物体区域Rk中，选择像素p周围深度值已知的像素点的深度值Dq；利用彩色图像中的分割物体区域Rk和深度图的分割物体区域Rk中深度值Dq进行缺失深度值Dp估计，得到中间深度图；缺失深度值估计的方法包括：在深度图中顺时针或者逆时针沿着空洞的边界从外到内进行缺失深度值估计；对空洞边界上缺失深度值的像素p所在的分割物体区域Rk，其中，k∈(1，…,n)，在分割后的彩色图像中选择对应的分割物体区域Rk；在深度图的分割物体区域Rk中，使用像素p周围深度值已知的像素点的深度值Dq计算p的深度值Dp，Dp的计算公式为：Dp=1Σωq(Σq∈N(p),q∈RkωqDq)]]>其中，N(p)表示像素邻域，所述像素邻域是M×M的正方形窗口，ωq表示深度值Dp的群权重，是空域高斯权重ωqs和颜色高斯权重ωqc的乘积，即：ωq＝ωqsωqc空域高斯权重ωqs是由像素p的坐标sp(xp,yp)和q的坐标sq(xq,yq)定义,表示两者之间距离对深度值Dp的群权重ωq的影响；ωqs=exp(-||sp-sq||22σs2)=exp(-(xp-xq)2+(yp-yq)22σs2)]]>σs表示空域高斯权重ωqs的标准差，是根据实际应用选择的；颜色高斯权重ωqc由彩色图像中像素p的颜色值Cp(Rp,Gp,Bp)和彩色图像中像素q的颜色值Cq(Rq,Gq,Bq)定义，表示两者之间颜色差异对深度值Dp的群权重ωq的影响；ωqc=exp(-||Cp-Cq||22σc2)=exp(-(Rp-Rq)2+(Gp-Gq)2+(Bp-Bq)22σc2)]]>σc表示颜色高斯权重ωqc的标准差，是根据实际应用选择的；D、对中间深度图进行去噪；所述去噪的方法是引导滤波的方法；以彩色图像作为引导信息，采用引导滤波(Guided filter)进行滤波。