[发明专利]一种基于混合滤波的深度图空洞修复方法

权利要求书

1.一种基于混合滤波的深度图空洞修复方法，其特征在于，包括如下步骤：

S1，获取待修复深度图像；

S2，识别空洞区域，深度值为0的像素为空洞像素；

S3，设置优先级初始阈值，计算所有空洞填补区域像素的优先级，优先级通过空洞像素的邻域像素点支持度r1和可信度r2所决定，

空洞像素的邻域像素点支持度r1和可信度r2，

邻域像素点支持度r1是由填补的空洞像素的已知邻域像素占总邻域像素的比例决定，滤窗大小设置为k*k，所述k为大于1的正整数；

可信度r2为邻域像素与待填补像素之间空间邻近度和灰度值相似度决定，公式如下：

r2＝f_s^d(q_x-p_x,p_y-q_y)×f_r^c(I^p-I^q)，

其中，f_s^d(q_x-p_x,p_y-q_y)为空间邻近度，f_r^c(I^p-I^q)为灰度值相似度，

其中，上标d表示信息来自深度图中，上标c表示信息来自彩色图，下标s表示空间域，下标r表示像素范围域，f_s^d表示像素之间的空间邻近度，q_x为像素点q的横坐标，q_y为像素点q的纵坐标，q为中心像素的邻域像素点，p_x为像素点p的横坐标，p为中心像素点，p_y为像素点p的纵坐标，f_r^c(I^p-I^q)表示邻域内像素q点与中心像素p点之间的灰度值相似度，I^p为p点的灰度值，I^q为q点的灰度值，σ_s为欧式距离公式中的空域参数，σ_r为高斯公式的标准差；

S4，优先级大于阈值的像素放入优先级队列中，并将队列中的像素按照优先级从大到小的顺序进行深度值的计算；

S5，通过全变分模型从彩色图像中提取其主结构信息和纹理信息；

S6，对于空洞区域，首先判断空洞像素是否处于边缘区域，如果处于非边缘区域，采用基于方向的局部联合双边滤波算法，主要计算方法是深度值邻域像素的深度值加权平均得到的，每一个邻域像素的权值由从图像中获取到的邻域像素与其中心像素的空间邻近度、灰度值相似度及结构相似度、纹理相似度获得，如果空洞非边缘区域仍有未填补的像素，则返回执行步骤S4；如果没有，则开始填补边缘区域，采用融合结构和纹理信息的基于方向的联合双边滤波算法，非边缘区域修复算法的修复邻域窗口是自适应性的；

S7，待所有的空洞区域修补结束之后，再修补所有的非空洞区域，非空洞区域非边缘区域修复是通过融合结构和纹理信息的联合三边滤波算法，非空洞边缘区域的填补方法与空洞区域的边缘区域的填补方式相同；

所述空洞像素填补方法为：

1)对于空洞部分边缘区域的像素，采用融合结构和纹理信息的基于方向的联合双边滤波算法填补：

其中，D_p是指待测中心像素的深度值，邻域φ^p为：

φ^p＝{q＝(q_x,q_y)|p_x-w≤q_x≤p_x+w,p_y-w≤q_y≤p_y+w}，采用(2w+1)×(2w+1)大小的滤波窗口，所述w为正整数，f_s^d表示像素之间的空间邻近度，f_r^c(I^p-I^q)表示邻域内像素q点与中心像素p点之间的灰度值相似度，f_r^s(S^p-S^q)表示邻域内像素q点与中心像素p点之间的结构相似度，f_r^t(T^p-T^q)表示邻域内像素q点与中心像素p点之间的纹理相似度；

2)对于空洞部分非边缘区域的像素，采用基于方向的局部联合双边滤波算法填补：

邻域Ω^p是自适应性的，其窗口大小决定于空洞像素到与其处于同一平面的最近边缘的距离；

3)对于非空洞部分非边缘区域的像素，采用融合结构和纹理信息的联合三边滤波算法进行修复填补：

其中，f_r^d(D(p)-D(q))为p点和q点深度值相似度；

4)对于非空洞部分边缘区域的像素，采用与空洞部分边缘区域相同的填补算法进行填补修复。