[发明专利]基于卷积神经网络的视点数据生成方法和装置

权利要求书

1.一种基于卷积神经网络的视点数据生成方法，其特征在于，包括以下步骤：

获取多种训练场景的离散视点数据集，其中，所述离散视点数据集中每个离散视点数据包含针对同一个训练场景的多个视点的多帧视点数据，其中，所述多帧视点数据中每帧视点数据，包含对应视点下所述训练场景的彩色图像信息和深度信息；

提取所述针对同一个训练场景的所述多帧视点数据中的第一视点的第一视点数据，和第二视点的第二视点数据，其中，所述多帧视点数据中包含第三视点的第三视点数据；

根据所述第一视点数据和所述第二视点数据获取所述第一视点的第一相机参数，和所述第二视点的第二相机参数；

将所述第一视点数据中的第一彩色图像信息、所述第二视点数据中的第二彩色图像信息、所述第一相机参数和所述第二相机参数输入至预设的卷积神经网络；

通过所述卷积神经网络根据所述第一彩色图像信息、所述第二彩色图像信息、所述第一相机参数和所述第二相机参数估算所述第三视点的估算视点数据；

计算所述第三视点数据与所述估算视点数据之间的损失值，当所述损失值大于预设阈值时，调整所述卷积神经网络的网络参数，直至所述损失值小于等于所述预设阈值时，完成对所述卷积神经网络的训练，以便于根据训练完成后的卷积神经网络进行视点图像的生成。

2.如权利要求1所述的方法，其特征在于，所述根据所述第一视点数据和所述第二视点数据获取所述第一视点的第一相机参数，和第二视点的第二相机参数，包括：

根据运动重构方法对所述第一视点数据估算获取所述第一相机参数；

根据运动重构方法对所述第二视点数据估算获取所述第二相机参数。

3.如权利要求1所述的方法，其特征在于，所述通过所述卷积神经网络根据所述第一彩色图像信息、所述第二彩色图像信息、所述第一相机参数和所述第二相机参数估算所述第三视点的估算视点数据，包括：

根据预设算法对所述第一彩色图像信息计算生成第一深度信息；

根据预设算法对所述第二彩色图像信息计算生成第二深度信息；

根据所述第一深度信息和所述第二深度信息生成所述第三视点的估算深度信息；

根据所述估算深度信息、所述第一相机参数和所述第二相机参数估算所述第三视点的估算彩色像素信息。

4.如权利要求3所述的方法，其特征在于，所述计算所述第三视点数据与所述估算视点数据之间的损失值，包括：

计算所述估算深度信息和所述第三视点数据对应的第三深度信息的深度损失值；

计算所述估算彩色像素信息和所述第三视点数据对应的第三彩色图像信息的彩色图像损失值；

根据预设公式对所述深度损失值和所述彩色图像损失值计算获取所述损失值。

5.如权利要求1所述的方法，其特征在于，还包括：

获取相机模组拍摄的当前场景的多个拍摄视点数据；

根据所述多个拍摄视点数据计算所述相机模组针对每个拍摄视点的相机参数；

将所述多个拍摄视点数据两两一组划分为多组拍摄视点数据；

将每组拍摄视点数据和对应的相机参数输入至训练完成的所述卷积神经网络，获取与所述每组拍摄视点数据对应的新增视点数据；

根据所述新增视点数据和所述多个拍摄视点数据生成针对所述当前场景的视点数据，并根据所述视点数据提供导航服务。