[发明专利]基于卷积神经网络的视点数据生成方法和装置

摘要

本发明提出一种基于卷积神经网络的视点数据生成方法和装置，其中，方法包括：获取多种训练场景的离散视点数据集；提取针对同一个训练场景的多帧视点数据中的第一视点的第一视点数据，和第二视点的第二视点数据，并获取第一相机参数，和第二相机参数；将第一彩色图像信息、第二彩色图像信息、第一相机参数和第二相机参数输入至预设的卷积神经网络；通过卷积神经网络估算视点数据；计算第三视点数据与估算视点数据之间的损失值，完成对卷积神经网络的训练，以便于视点图像的生成。本发明结合深度信息进行联合优化产生的新视点能够拥有更稳定的信息，并减少视差变化较大产生的重影和黑洞，实现稀疏视点输入的情况下连续一致的密集视点生成。

主权项

1.一种基于卷积神经网络的视点数据生成方法，其特征在于，包括以下步骤：获取多种训练场景的离散视点数据集，其中，所述离散视点数据集中每个离散视点数据包含针对同一个训练场景的多个视点的多帧视点数据，其中，所述多帧视点数据中每帧视点数据，包含对应视点下所述训练场景的彩色图像信息和深度信息；提取所述针对同一个训练场景的所述多帧视点数据中的第一视点的第一视点数据，和第二视点的第二视点数据，其中，所述多帧视点数据中包含第三视点的第三视点数据；根据所述第一视点数据和所述第二视点数据获取所述第一视点的第一相机参数，和所述第二视点的第二相机参数；将所述第一视点数据中的第一彩色图像信息、所述第二视点数据中的第二彩色图像信息、所述第一相机参数和所述第二相机参数输入至预设的卷积神经网络；通过所述卷积神经网络根据所述第一彩色图像信息、所述第二彩色图像信息、所述第一相机参数和所述第二相机参数估算所述第三视点的估算视点数据；计算所述第三视点数据与所述估算视点数据之间的损失值，当所述损失值大于预设阈值时，调整所述卷积神经网络的网络参数，直至所述损失值小于等于所述预设阈值时，完成对所述卷积神经网络的训练，以便于根据训练完成后的卷积神经网络进行视点图像的生成。