[发明专利]一种透明物体的新视角合成模型的训练方法和计算机设备

说明书

本申请涉及一种透明物体的新视角合成模型的训练方法和计算机设备，本方法在训练时，卷积神经网络根据第一图像、第二图像和混合系数输出预测蒙版、预测衰减图和预测折射流而不是直接得到预测图像，其中，预测折射流反映新视角的光传输矩阵，使卷积神经网络学习光线经过透明物体的复杂光传输行为，再根据预测蒙版、预测衰减图和预测折射流得到透明物体在新视角下的预测图像。通过迭代训练卷积神经网络，得到新视角合成模型；通过本发明训练得到的新视角合成模型可以根据第一视角的透明图像和第二视角的透明图像，得到第一视角和第二视角之间任意视角的合成图像，且合成图像质量高。

技术领域

本申请涉及图片处理技术领域，特别是涉及一种透明物体的新视角合成模型的训练方法和计算机设备。

背景技术

新视角合成，是通过拍摄固定视角下物体或场景的图像，生成新视角下的图像，通常是通过插值或者扭曲附近视角的图像来实现。目前，对于新视角合成的研究，一方面，主要集中于朗伯表面的研究，由于很难明确地模拟光传输特征，没有考虑依赖于视角的光效应，例如，镜面反射率或透明度，因此，图像之间缺乏特征对应性，这将导致所有基于图像变形或基于几何推断的方法失效，对透明物体进行新视角合成变得非常具有挑战性；另一方面，通过训练图像到图像的网络以直接输出新视角下的图像，其中，网络不仅需要合理解释光传输行为，还需要建模图像本身属性，因此，对于透明物体来说仍然是非常困难的。现有的新视角合成方法不能直接应用于透明对象。

因此，现有技术有待改进。

发明内容

本发明所要解决的技术问题是，提供一种透明物体的新视角合成模型的训练方法和计算机设备，以实现针对透明物体进行新视角合成。

一方面，本发明实施例提供了一种透明物体的新视角合成模型的训练方法，包括：

将训练数据中的第一图像、第二图像和混合系数输入卷积神经网络，通过所述卷积神经网络输出预测蒙版、预测衰减图和预测折射流，其中，所述训练数据包括多组训练图像组，每一组训练图像组包括第一图像、第二图像、真实图像和混合系数，第一图像为在第一视角下拍摄的透明物体图像，第二图像为在第二视角下拍摄的透明物体图像，真实图像为在第一视角和第二视角之间的新视角下拍摄的透明物体图像，混合系数表示第一视角、第二视角和新视角之间的视角关系；

根据所述预测蒙版、预测衰减图和预测折射流，计算得到预测图像，其中，所述预测图像为卷积神经网络预测的在新视角下的透明物体图像；

根据所述预测蒙版、所述预测衰减图和所述预测折射流、所述预测图像和所述真实图像，对所述卷积神经网络的参数进行调整，并继续执行所述将训练数据中的第一图像和第二图像输入卷积神经网络的步骤，直至满足预设训练条件，以得到新视角合成模型。

作为进一步的改进技术方案，所述卷积神经网络包括：编码模块和解码模块，所述将训练数据中的第一图像和第二图像输入卷积神经网络，通过所述卷积神经网络输出预测蒙版、预测衰减图和预测折射流，包括：

将所述第一图像、第二图像和混合系数输入所述编码模块，以得到深度特征；将所述深度特征输入所述解码模块，以得到预测蒙版、预测衰减图和预测折射流。

作为进一步的改进技术方案，所述编码模块包括第一编码器、第二编码器和卷积层，所述深度特征包括第一深度特征、第二深度特征、第三深度特征、第四深度特征和混合深度特征，所述将所述第一图像、第二图像和混合系数输入所述编码器，以得到深度特征，包括：

将第一图像输入第一编码器，以得到第一图像对应的第一深度特征和第二深度特征；

将第二图像输入第二编码器，以得到第二图像对应的第三深度特征和第四深度特征；

将第二深度特征、第四深度特征和混合系数输入到卷积层，以得到混合深度特征。