[发明专利]网络训练及场景重建方法、装置、机械、系统及设备

权利要求书

1.一种立体匹配网络的训练方法，其特征在于，所述方法包括：

获取预设工程机械上双目相机采集的预设工程作业场景的多组样本双目图像；

对所述多组样本双目图像进行处理，得到所述预设工程作业场景的稀疏点云；

根据所述双目相机的相机参数，对所述稀疏点云进行稠密建图，得到所述多组样本双目图像对应的多组稠密深度图；

对每组稠密深度图进行处理，得到每组样本双目图像对应的一个样本视差图；

根据所述多组样本双目图像以及对应的样本视差图进行模型训练，得到所述立体匹配网络。

2.根据权利要求1所述的方法，其特征在于，所述对所述多组样本双目图像进行处理，得到所述预设工程作业场景的稀疏点云，包括：

采用运动恢复结构技术，对所述多组样本双目图像进行处理，得到所述预设工程作业场景的稀疏地图，所述稀疏地图包括：所述稀疏点云和所述相机参数。

3.根据权利要求1所述的方法，其特征在于，所述根据所述双目相机的相机参数，对所述稀疏点云进行稠密建图，得到所述多组样本双目图像对应的多组稠密深度图，包括：

根据所述双目相机的相机参数，采用多视角立体几何技术，对所述稀疏点云进行稠密建图，得到所述多组稠密深度图。

4.根据权利要求1所述的方法，其特征在于，所述对每组稠密深度图进行处理，得到每组样本双目图像对应的一个样本视差图，包括：

根据所述每组样本双目图像中的参考图像、所述每组稠密深度图中的参考深度图和参考相机的相机参数，计算所述参考深度图对应的参考点云，其中，所述每组样本双目图像包括所述参考图像和目标图像，所述参考深度图为参考图像对应的深度图，所述参考相机为所述双目相机中生成所述参考图像对应的相机；

根据所述参考点云和所述参考相机的相机参数，计算所述参考点云的投影像素图；

根据所述投影像素图的像素值和所述目标图像的像素值，计算所述样本视差图。

5.如权利要求4所述的方法，其特征在于，所述根据所述参考点云和所述双目相机的相机参数，计算所述参考点云的投影像素图，包括：

根据所述参考点云和所述参考相机的相机参数，计算所述参考点云的投影深度图；

根据所述投影深度图和所述参考相机的相机参数，计算所述投影像素图。

6.如权利要求5所述的方法，其特征在于，所述根据所述投影深度图和所述参考相机的相机参数，计算所述投影像素图之前，所述方法还包括：

根据所述投影深度图各个像素点的深度值和所述目标深度图各个像素点的深度值，滤除所述投影深度图中的噪声像素点。

7.如权利要求4所述的方法，其特征在于，所述根据所述投影像素图的像素值和所述每组样本双目图像中的目标图像的像素值，计算所述样本视差图之前，所述方法还包括：

根据所述投影像素图各个像素点的像素值和所述目标图像各个像素点的像素值，滤除所述投影像素图中的噪声像素点。

8.一种三维场景重建方法，其特征在于，所述方法包括：

获取预设工程机械上双目相机采集的预设工程作业场景的双目图像；

采用预先训练的立体匹配网络，对所述双目图像进行处理，得到所述双目图像对应的视差图，所述立体匹配网络为采用如权利要求1-7任一所述的立体匹配网络的训练方法得到的；

根据所述双目相机的配置参数，对所述视差图进行处理，得到所述预设工程作业场景的三维点云数据；

根据所述三维点云数据和预设视角方向，进行场景渲染，得到所述预设工程作业场景在所述预设视角方向的三维场景图像。

9.根据权利要求8所述的方法，其特征在于，所述根据所述双目相机的配置参数，对所述视差图进行处理，得到所述预设工程作业场景的三维点云数据，包括：

根据所述双目相机的焦距和基线距离，对所述视差图进行处理，得到所述双目图像对应的深度图像；

根据所述双目相机的内参数，对所述深度图像进行处理，得到所述预设工程作业场景的三维点云数据。