[发明专利]使用前向扭曲、间隙鉴别器和基于坐标的修复的图像再合成

说明书

本发明涉及图像处理，并且具体地，涉及用于基于输入图像对人或对象的新视图进行合成的图像再合成，以解决诸如对来自新视点和新姿态的人或对象的视图进行预测的任务。技术结果在于提高基于至少一个输入图像的图像再合成的准确度。提供了一种图像再合成系统、一种用于训练将在图像再合成系统中使用的间隙填充模块的系统、一种图像再合成方法、一种计算机程序产品和一种计算机可读介质。所述图像再合成系统包括源图像输入模块、前向扭曲模块和间隙填充模块，其中，前向扭曲模块被配置为针对每个源图像像素对目标图像中的对应位置进行预测，前向扭曲模块被配置为对与所述源图像对准的前向扭曲场进行预测，间隙填充模块被配置为填充从前向扭曲模块的应用产生的间隙。所述图像再合成方法包括以下步骤：输入源图像，针对每个源图像像素对目标图像中的对应位置进行预测，其中，与所述源图像对准的前向扭曲场被预测出；对从前向扭曲产生的间隙的二元掩模进行预测，通过借助于针对纹理图像中的每个像素对所述源图像中的一对坐标进行预测生成纹理图像，基于所述间隙的二元掩模对间隙进行填充，并且使用后向扭曲将完整纹理映射回新姿态。

技术领域

本发明总体上涉及图像处理，并且更具体地，涉及用于使用机器学习技术基于输入图像来对人或对象的新视图进行合成的图像再合成。

背景技术

近来，对基于学习的图像再合成的兴趣日益增长。在这个背景下，机器学习的任务是学习基于人或对象的一个或更多个输入图像来对例如特定类型的人或对象的新视图进行合成。在极端情况下，仅一个输入视图可用。在这个意义上，新视图对应于新相机位置和/或人的新身体姿态。在图像再合成中，测量目标视图的质量，并且不关心通常隐式地或显式地与场景的模型(例如，3D重建)对应的中间表示的质量。直接对目标视图质量进行优化通常意味着目标视图质量较高，特别是当场景建模困难时。

发现了几个趋势。首先，处理伴随图像再合成的硬预测问题需要深度卷积网络(ConvNet)(参见[15])。其次，许多现有技术解决方案避免直接从高维非卷积表示对像素值进行预测。相反，大多数架构诉诸于ConvNet内的某种扭曲(参见例如[5,30,20,3,23])。众所周知，在许多情况下，现有技术使用后向扭曲[13]，其中，在后向扭曲中，针对目标图像中的每个像素，源图像中的像素将被复制的位置被预测出。扭曲处理之后通常是后处理，诸如亮度校正(参见[5])或后处理网络。

现在将讨论与本发明要解决的客观技术问题相关的问题的几种方法。

基于扭曲的再合成。对使用深度卷积网络来生成逼真图像存在强烈兴趣(参见例如[6])。当通过改变输入图像的几何形状和表观来生成新图像时，已经表明了使用扭曲模块极大地增强了再合成的图像的质量(参见例如[5,30])。在这种情况下，扭曲模块基于作为空间变换器网络(STN)的一部分被首先介绍的可微分(后向)网格采样器层(参见例如[13])。

对抗图像修复。还存在旨在基于深度卷积网络的图像修复的现有技术解决方案。适应于输入数据中存在间隙的卷积架构的特殊变型包括Shepard卷积神经网络(参见例如[21])、稀疏不变卷积网络(参见例如[25])、具有部分卷积的网络(参见例如[17])、具有门控卷积的网络(参见例如[28])。后一种变型也在本公开中提出的方法中被使用。

由于修复任务需要图像内容的有条件合成，因此现有技术的修复方法严重依赖于生成对抗学习的变型(参见例如[6])。具体地，现有技术建议使用专注于以两个不同尺度在真示例与假示例之间进行区分的鉴别器对(参见例如[16,11,28,4])，其中，所述尺度中的一个可对应于各个块(类似于来自[12]的块GAN(patch GAN)思想)。这里，介绍了一种新型鉴别器，其中，所述新型鉴别器与一些局部鉴别器和块GAN具有相似架构，然而在两种不同类别的像素(假图像中的已知像素vs.也在假图像中的未知像素)之间进行鉴别。