[发明专利]网络训练及场景重建方法、装置、机械、系统及设备

说明书

本申请提供一种网络训练及场景重建方法、装置、机械、系统及设备，涉及图像处理技术领域。该训练方法包括：获取预设工程机械上双目相机采集的预设工程作业场景的多组样本双目图像；对多组样本双目图像进行处理，得到预设工程作业场景的稀疏点云；根据双目相机的相机参数，对稀疏点云进行稠密建图，得到多组样本双目图像对应的多组稠密深度图；对每组稠密深度图进行处理，得到每组样本双目图像对应的一个样本视差图；根据多组样本双目图像以及对应的样本视差图进行模型训练，得到立体匹配网络。本申请可以降低三维场景重建的成本、提高实时性，且实现基于高质量点云完成三维场景重建。

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种网络训练及场景重建方法、装置、机械、系统及设备。

背景技术

基于图像的三维目标与场景重建是计算机视觉领域的重要研究方向之一。

在大量的工程作业场景中，主要依靠各种大型的工程机械进行作业任务，由于工程作业场景的环境恶劣，现有的工程作业场景中主要依靠操作人员的工作经验操控工程机械进行作业，工作的危险度较高，因此，对工程作业场景进行三维场景重建，以便操作人员更好的了解工程作业场景的情况，降低工作的危险度。

现有的三维场景重建方案主要分为：激光点云三维重建、多视角三维重建和双目相机三维重建，但是这些方案都存在不同的缺陷问题。其中，激光点云三维重建激光雷达成本高，且成像效果受天气影响，所产生的点云效果不佳；多视角三维重建技术生成点云效果虽然好，但是针对大型的工程作业场景，由于会构建大量的点云信息，需要消耗大量的计算资源，导致很难满足工程作业现场对三维场景重建的实时性要求；双目相机三维重建技术虽然成本低、计算速度快，但由于其生成的点云效果严重依赖两个相机之间的视差估计结果，面对工程作业场景这样环境空旷、且光照变化剧烈的场景，所生成的点云效果精确度差，不利于进行三维重建。

发明内容

本发明的目的在于，针对上述现有技术中的不足，提供一种网络训练及场景重建方法、装置、机械、系统及设备，以便实现降低三维场景重建的成本、提高实时性，且实现基于高质量点云完成三维场景重建。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了一种立体匹配网络的训练方法，所述方法包括：

获取预设工程机械上双目相机采集的预设工程作业场景的多组样本双目图像；

对所述多组样本双目图像进行处理，得到所述预设工程作业场景的稀疏点云；

根据所述双目相机的相机参数，对所述稀疏点云进行稠密建图，得到所述多组样本双目图像对应的多组稠密深度图；

对每组稠密深度图进行处理，得到所述每组样本双目图像对应的一个样本视差图；

根据所述多组样本双目图像以及对应的样本视差图进行模型训练，得到所述立体匹配网络。

第二方面，本申请实施例还提供一种三维场景重建方法，所述方法包括：

获取预设工程机械上双目相机采集的预设工程作业场景的双目图像；

采用预先训练的立体匹配网络，对所述双目图像进行处理，得到所述双目图像对应的视差图，所述立体匹配网络为采用如上述第一方面任一所述的立体匹配网络的训练方法得到的；

根据所述双目相机的配置参数，对所述视差图进行处理，得到所述预设工程作业场景的三维点云数据；

根据所述三维点云数据和预设视角方向，进行场景渲染，得到所述预设工程作业场景在所述预设视角方向的三维场景图像。

第三方面，本申请实施例还提供一种立体匹配网络的训练装置，所述装置包括：