[发明专利]使用前向扭曲、间隙鉴别器和基于坐标的修复的图像再合成

摘要

本发明涉及图像处理，并且具体地，涉及用于基于输入图像对人或对象的新视图进行合成的图像再合成，以解决诸如对来自新视点和新姿态的人或对象的视图进行预测的任务。技术结果在于提高基于至少一个输入图像的图像再合成的准确度。提供了一种图像再合成系统、一种用于训练将在图像再合成系统中使用的间隙填充模块的系统、一种图像再合成方法、一种计算机程序产品和一种计算机可读介质。所述图像再合成系统包括源图像输入模块、前向扭曲模块和间隙填充模块，其中，前向扭曲模块被配置为针对每个源图像像素对目标图像中的对应位置进行预测，前向扭曲模块被配置为对与所述源图像对准的前向扭曲场进行预测，间隙填充模块被配置为填充从前向扭曲模块的应用产生的间隙。所述图像再合成方法包括以下步骤：输入源图像，针对每个源图像像素对目标图像中的对应位置进行预测，其中，与所述源图像对准的前向扭曲场被预测出；对从前向扭曲产生的间隙的二元掩模进行预测，通过借助于针对纹理图像中的每个像素对所述源图像中的一对坐标进行预测生成纹理图像，基于所述间隙的二元掩模对间隙进行填充，并且使用后向扭曲将完整纹理映射回新姿态。