[发明专利]一种基于深度辅助全分辨率网络的新视点图像合成方法

说明书

本发明中提出的一种基于深度辅助全分辨率网络的新视点图像合成方法，其主要内容包括：深度辅助全分辨率网络、损失函数、训练，其过程为，全分辨率网络的编码器部分先从输入图像中提取重要的局部特征，然后深度预测器通过探测全局图像信息后在大型图像数据集上预先训练，从而估计输入图像的深度图，接着将局部特征和深度馈送到解码器，并指示目标视点位置的双通道映射，最后基于流的变形，解码器将组合的特征转换成扭曲场来合成最终的目标图像。本发明设计了一个全分辨率的网络，以相同的输入分辨率提取局部图像特征，防止最终合成图像中的模糊伪影，有助于获得分辨率高、质量高的图像。

技术领域

本发明涉及图像合成领域，尤其是涉及了一种基于深度辅助全分辨率网络的新视点图像合成方法。

背景技术

新视点图像合成是当今计算机视觉和图像处理领域的交叉学科，是虚拟现实技术重要组成部分，在许多方面都具有广泛的应用。如基于人脸图像的新视点合成，是人脸处理中的一个重要应用领域，广泛应用于人脸识别、人脸动画等许多方面；通过输入已有人脸图像，对输入图像用相同视点下的样本进行表达，通过组合合成新视点图像，从而获取足够的人脸不同角度的图像，这将有助于为刑侦案件侦破提供更多有效的信息。在未来数字电视的研究发展中，由于与传统的单视点二维视频相比较，多视点视频与人们的视觉需求更加匹配，它能够提供丰富的立体感和沉浸感，并可以根据用户需求自由切换观看角度而广受人们喜爱。除了现有的三维电视显示技术大都离不开新视点图像合成技术，该技术与立体眼镜、立体头盔等的发展也密切相关。现有的深度卷积神经网络主要集中于提取全局高级特征，全局特征通常不受空间变换(比例、平移和旋转)的影响，全局特征预测对局部细节不变而不能对局部细节进行修改。

本发明提出了一种基于深度辅助全分辨率网络的新视点图像合成方法，全分辨率网络的编码器部分先从输入图像中提取重要的局部特征，然后深度预测器通过探测全局图像信息后在大型图像数据集上预先训练，从而估计输入图像的深度图，接着将局部特征和深度馈送到解码器，并指示目标视点位置的双通道映射，最后基于流的变形，解码器将组合的特征转换成扭曲场来合成最终的目标图像。本发明设计了一个全分辨率的网络，以相同的输入分辨率提取局部图像特征，防止最终合成图像中的模糊伪影，有助于获得分辨率高、质量高的图像。

发明内容

针对全局特征预测对局部细节不变而不能对局部细节进行修改的问题，本发明的目的在于提供一种基于深度辅助全分辨率网络的新视点图像合成方法，全分辨率网络的编码器部分先从输入图像中提取重要的局部特征，然后深度预测器通过探测全局图像信息后在大型图像数据集上预先训练，从而估计输入图像的深度图，接着将局部特征和深度馈送到解码器，并指示目标视点位置的双通道映射，最后基于流的变形，解码器将组合的特征转换成扭曲场来合成最终的目标图像。

为解决上述问题，本发明提供一种基于深度辅助全分辨率网络的新视点图像合成方法，其主要内容包括：

(一)深度辅助全分辨率网络；

(二)损失函数；

(三)训练。

其中，所述的深度辅助全分辨率网络，全分辨率网络的编码器部分从输入图像中提取重要的局部特征；然后深度预测器通过探测全局图像信息后在大型图像数据集上预先训练，从而估计输入图像的深度图；接着将局部特征和深度馈送到解码器，并指示目标视点位置的双通道映射；最后基于流的变形，解码器将组合的特征转换成扭曲场来合成最终的目标图像。

进一步地，所述的编码器，用于提取输入图像的局部特征；编码器网络是一系列具有不同大小的卷积核，生成与输入图像具有相同分辨率的特征；修正线性单位(ReLU)层被添加在每个卷积层之后；这些特征将用于重建最终转换后的图像。