[发明专利]一种基于虚拟视点绘制质量的深度图上采样方法

摘要

本发明涉及一种基于虚拟视点绘制质量的深度图上采样方法，包括：对当前视点i低分辨率深度图采用双线性插值算法，得到其对应的初始高分辨率深度图；获取初始深度图的位置坐标信息和对应的颜色信息，再用相应的彩色值对虚拟视图中匹配像素点进行填充；检测出深度图的边缘区域；对深度边缘图和彩色边缘图进行分割，获得当前像素窗口的深度边缘分割图和彩色边缘分割图；根据上述计算的深度边缘分割图和彩色边缘分割图，计算匹配比率；根据匹配比率和深度值的控制参数计算平滑因子，计算初始高分辨率深度图中每个像素点的权重；计算当前视点最终的深度值。本发明可以提高深度图超分辨率重建及绘制虚拟视图的质量。

主权项

1.一种基于虚拟视点绘制质量的深度图上采样方法，步骤如下：1)对当前视点i低分辨率深度图采用双线性插值算法，得到其对应的初始高分辨率深度图2)确定当前视点的初始深度图中各个像素点在虚拟视图中的对应匹配位置坐标信息，并获取初始深度图的位置坐标信息(x_i，y_i)和对应的颜色信息I_i(x_i，y_i)，再用相应的彩色值对虚拟视图中匹配像素点(x_k，y_k)进行填充，所采取的插值公式为：V_ik(x_k，y_k)＝V_ik(x_i‑d^ik，y_i)＝I_i(x_i，y_i)其中，V_ik(x_k，y_k)表示以当前视点i为基准向虚拟视点视图中坐标为(x_k，y_k)的对应像素点填充的彩色值，d^ik是当前视点深度图的深度值；3)计算惩罚因子λ_c，其公式如下：其中，V_ik(q)表示由当前视点i的中心像素点对应于虚拟视点中的匹配邻域像素点q的像素值，V_ik′(q)表示由邻域像素点q引起的空洞的填补值，σ_λ表示惩罚因子控制参数；4)对初始高分辨率深度图用sobel算子进行梯度计算，检测出深度图的边缘区域；根据检测的边缘图像，对深度边缘图和彩色边缘图进行分割，获得当前像素窗口的深度边缘分割图和彩色边缘分割图，根据下面的公式将深度图和彩色纹理图分成两个区域：其中，S_c和S_d分别表示彩色和深度边缘分割图，μ_c，p和μ_d，p分别表示深度边缘图和彩色边缘图的当前像素窗口内均值，I_q表示当前像素点的邻域像素集合；5)根据上述计算的深度边缘分割图和彩色边缘分割图，计算匹配比率，其公式如下：SAD(S_c，S_d)＝|S_c‑S_d|其中，SAD表示S_c和S_d之间的绝对平均值，N表示窗口区域像素的个数；6)根据匹配比率和深度值的控制参数σ_D，计算平滑因子σ_c，p，其公式如下：7)计算初始高分辨率深度图中每个像素点的权重W_p，q，其公式如下所示：其中，p表示当前像素点，q表示p的Ω邻域像素点集合，表示初始高分辨率深度图在像素点p深度值，表示初始高分辨率深度图中像素点p的邻域像素q的深度值，σ_D表示深度值控制参数，ε_p是控制因子，σ_s是彩色相似性参数，I_i(p)表示当前视点！在像素点p的彩色像素值，I_i(q)表示当前视点i在像素点q的彩色像素值，V_ik(p)表示当前视点i的像素点p匹配到虚拟视图中匹配像素点的彩色值，V_ik(q)表示当前视i的像素点q匹配到虚拟视图中匹配像素点的彩色值；8)根据上述权重计算出当前视点最终的深度值，其公式如下所示：其中，表示由基于多视点深度图融合的超分辨率重建方法得到的高分辨率深度图在像素点p的深度值，k_s是归一化参数。