[发明专利]基于深度学习的新视角场景合成方法和装置

摘要

本申请提出基于深度学习的新视角场景合成方法和装置，其中，方法包括：通过控制相机在训练场景下按照预设圆轨道旋转，每旋转预设角度对所述训练场景拍摄一张图像得到训练图像集，获取训练图像集中N张连续训练图像中第一张训练图像和第N张训练图像及其对应的相机位置参数信息；通过计算得到第一张训练图像和第N张训练图像的图像特征以对场景合成模型进行训练，根据合成场景图像和真实训练场景图像对应的损失函数值对场景合成模型的网络参数进行调整，以完成对场景合成模型的训练。由此，通过训练场景中的训练图像的不同图像特征对场景合成模型进行训练，提高了场景合成的准确度。

主权项

1.一种基于深度学习的新视角场景合成模型训练方法，其特征在于，所述方法包括以下步骤：控制相机在训练场景下按照预设圆轨道旋转，每旋转预设角度对所述训练场景拍摄一张图像得到训练图像集；获取所述训练图像集中N张连续拍摄的训练图像，其中，N为大于等于3的正整数；获取所述N张连续训练图像中第一张训练图像和第N张训练图像的相机位置参数信息；根据所述第一张训练图像和所述第N张训练图像的相机位置参数信息，将所述第一张训练图像向所述第N张训练图像进行投影变换得到第一投影图像，并将所述第N张训练图像向所述第一张训练图像进行投影变换得到第二投影图像；计算所述第一投影图像和所述第N张训练图像相同位置像素之间的第一像素平均值和第一像素标准差，得到与所述第一像素平均值对应的第一特征图像和与所述第一像素标准差对应的第二特征图像；计算所述第二投影图像和所述第一张训练图像相同位置像素之间的第二像素平均值和第二像素标准差，得到与所述第二像素平均值对应的第三特征图像和与所述第二像素标准差对应的第四特征图像；将所述第一特征图像和所述第二特征图像输入至第一深度神经网络得到第一深度图像，将所述第三特征图像和所述第四特征图像输入至第二深度神经网络得到第二深度图像，根据所述第二深度图像和对应的所述第一张训练图像以及所述第一深度图像和对应的所述第N张训练图像估算生成第2至第N‑1张图像的N‑2张估算图像，并计算所述N‑2张估算图像、所述第一张训练图像和所述第N张训练图像的拼接图像特征，将所述拼接图像特征输入至第三深度神经网络得到合成场景图像；根据所述合成场景图像和真实训练场景图像对应的损失函数值对所述第一深度神经网络、所述第二深度神经网络和所述第三深度神经网络的网络参数进行调整，以完成对场景合成模型的训练。