[发明专利]一种基于深度图像的虚拟视点绘制方法

说明书

本发明涉及一种基于深度图像的虚拟视点绘制方法，首先对参考视点对应的深度图像进行局部预处理在减少空洞的同时避免了滤波带来的失真；然后对左右参考视点分别采用基于反向映射的3D Warping方法得到两幅虚拟视图，经过3D变换后的图像中存在较大的裂纹和空洞，首先采用中值滤波去除虚拟图像中的细小裂纹。之后采用双向扩张法扩张空洞区域，消除可能产生伪影的像素点。接着将左右视点融合，消除大部分半遮挡空洞区域。最后，采用基于深度图的图像修复算法对仍存在的少量空洞进行填充，确保待填充区域与目标块深度一致性。本发明可减少虚拟试点的合成技术中出现的空洞和伪影现象，提高绘制精度，能够绘制出高质量的虚拟视点图像。

技术领域

本发明涉及三维视频技术领域，特别涉及一种基于深度图像的虚拟视点绘制方法。

背景技术

基于深度图的虚拟视点绘制技术是IBR技术中的一个重要发展方向，是在参考图像和对应深度图的基础上，利用几何映射的方法计算得到像素点在三维几何空间的坐标，然后再通过重投映的方法，投射到指定的虚拟平面上获得新视点。

这个虚拟视点的绘制过程可分为两个步骤：首先是将参考视图中的每个像素点根据其深度值反投影到三维空间中，计算出图像中像素的三维空间点坐标；然后再进行一次映射，即将空间点位置再重投影到指定的虚拟视点平面上，从而建立起参考视点与虚拟视点像素位置之间的对应关系，整个映射过程是需要从二维平面到三维空间最后再到二维平面，可以简称为3D-Warping(三维图像变换)。

通常，输入图像的像素位置不会映射到虚拟视点图像的整数位置，此时需要进行就近取整，然后将输入像素m_L的颜色值复制给虚拟视点像素m_V。由于取整效应，会造成虚拟视点图像中的一些像素在参考视点中找不到对应的映射点，另一种情况则是虚拟视点中的一个位置可能会对应参考视点中的多个不同位置，这两种情形会相应造成虚拟视点图像中出现空洞和伪影。

发明内容

鉴于上述问题，为了减少虚拟试点的合成(DIBR)技术中出现的空洞和伪影现象，提高绘制精度，本发明提供一种有效的虚拟视点合成方法，能够绘制出高质量的虚拟视点图像。

本发明实施例提供一种基于深度图像的虚拟视点绘制方法，包括：

S1、对左右参考视点分别所对应的深度图像进行局部预处理；

S2、对左右参考视点以及局部预处理后的左右参考视点分别所对应的深度图像，分别采用基于反向映射的3D Warping方法获得两幅虚拟视点图像；

S3、将所述两幅虚拟视点图像进行融合；

S4、并对融合后的视图进行深度图空洞填充及基于深度的图像修复处理，合成最终虚拟视点。

进一步地，所述S1步骤包括：边缘提取、区域选择和滤波处理步骤；

S11、边缘提取步骤：利用形态学操作实现边缘检测，该操作定义为：

M＝(I₁⊙E)-I₁ (1)

式中，⊙代表图像腐蚀操作，I₁代表初始深度图，E代表的是腐蚀结构元，定义如下：

S12、区域选择步骤：对背景中的突变区域进行滤波，待滤波区域的大小与参考相机和虚拟相机之间的基线距离和景深的大小有关，具体定义如下：

(3)式中，ΔD是水平方向上相邻像素之间的深度值差值，h是水平方向上空洞的尺寸，b和f分别表示基线距离和焦距；Z_n和Z_f表示场景中距离相机最近和最远的距离；