[发明专利]基于生成对抗网络的DIBR系统空洞填充方法

说明书

本发明公开了一种基于生成对抗网络的DIBR系统空洞填充方法，首先收集一批参考图像样本和对应的深度图像，生成训练样本，采用此训练样本对生成对抗网络进行训练，得到用于DIBR系统空洞填充的生成模型，然后采用与训练样本相同的方法生成待填充目标图像对应的张量，并生成前景抑制蒙版，处理得到输入张量，将其输入至生成模型，最后对输出结果进行进一步处理得到空洞填充后的目标图像。本发明采用生成对抗网络提取低级特征和高级语义特征，提高填充的空洞区域和剩余部分像素的一致性。

技术领域

本发明属于三维图像变换技术领域，更为具体地讲，涉及一种基于生成对抗网络的DIBR系统空洞填充方法。

背景技术

视图合成引擎(view synthesis engine)是3D显示技术的重要组成部分，视图合成引擎中主要有两类视图合成方法：基于三维模型的立体内容生成方法和基于图像绘制生成立体图像的方法，目前普遍采用的是基于深度图像绘制(depth-image-basedrendering,DIBR)算法。

传统的3D立体显示技术需要传递两路或多路视图，产生连续环视(continuouslook-around)，使人感受到立体效果。然而，DIBR技术可以只通过一路视频及其对应的深度图生成立体图像(stereoscopic image)。采用DIBR技术合成的视图往往存在空洞(holes)，产生空洞的主要原因是视图中物体的可见性随着视点的改变发生了变化，例如参考图像中被前景遮挡的背景物体，在目标图像中变得可见，故生成的虚拟视点图像(目标图像)存在部分信息内容缺失，从而产生空洞。如何合理且有效地填充这些空洞是DIBR技术中待解决的关键问题。近年来，研究人员提出了许多空洞填充的方法，这些方法大致可分为以下4类：

(1)深度图预处理

深度图预处理的基本思想是减少甚至避免视图合成后出现空洞。在深度图中深度不连续的地方往往会产生空洞。如果参考图像中的两个相邻像素点的深度值存在一定差异，则它们在三维图像变换中相应的位移是不同的，即这两个像素在目标图像中不再相邻。参考图像中两个像素之间的深度越大，空洞的宽度也越大。深度图像预处理通过减小相邻像素之间的深度差来减少空洞，即在三维图像变换之前先对深度图进行平滑处理。平滑后的深度图的深度连续性较平缓，因此产生的空洞较小。

由于深度图描述了场景的几何形状，深度图的每次改变，都会导致变换后的目标图像中场景几何形状的改变，这就意味着合成的视图中会产生几何失真。由于人眼对垂直失真更敏感，因此Zhang等人采用非对称高斯滤波器对深度图像进行滤波，以减弱背景中垂直纹理信息的几何失真现象。Daribo等人仅在深度图的边缘附近应用平滑，这样，只有空洞附近的区域才能被平滑，而其他区域保持不变。Hong提出方向高斯滤波(DGF,directionalgaussian filter)，在预处理深度图时，先膨胀深度图，然后采用非对称高斯滤波器对出现空洞的地方进行滤波。然而，这类方法存在的普遍问题是它们会引入几何失真，使得目标图像的质量降低。

(2)插值方法(Interpolation)

基于插值的空洞填充方法思想比较简单，这种方法将空洞附近的纹理直接通过插值的方法传播到空洞区域。基于插值的方法主要包括水平内插(horizontalinterpolation)和背景外插(background extrapolation)。水平内插方法对空洞区域逐行处理，通过该行中左右非空洞像素之间的线性内插来填充该行中的空洞像素。背景外推方法也逐行处理填充空洞，它首先识别该行左右非空洞像素，然后将更远处像素的像素值传播到空洞区域中。由于这些插值方法对视图中的每一行独立处理，因此，这类方法会导致行上的视觉伪像。

(3)图像修复(Image inpainting)