[发明专利]基于铲装前后物料堆三维重构的铲装体积获取方法及系统

说明书

本发明方法包括：采集铲装前物料堆表面的双目图像；对双目图像进行特征点检测、描述、匹配和提纯，计算得到稀疏匹配特征点和视差，并获得三角映射参数；基于稀疏特征点和视差，构建得到稀疏三维点云；基于稀疏三维点云和三角映射参数，构建得到铲装前物料堆表面稠密三维点云模型；对工程机械完成铲装后的物料堆表面进行双目图像采集，构建得到铲装后物料堆表面稠密三维点云模型；对铲装前后物料堆表面稠密三维点云模型进行点云降采样及点云配准；根据铲装区域边界对配准后点云模型进行精分割，得到实际铲装区域点云模型，并获得铲装体积。本发明能够快速准确地估计工程机械铲装物料体积，对于实时评估工程进度和操作人员作业效率具有重要意义。

技术领域

本发明双目立体视觉三维重构和工程机械铲装体积估计技术领域，具体涉及一种基于铲装前后物料堆三维重构的工程机械铲装体积获取方法及系统。

背景技术

工程机械土方作业作为一种机械化的作业过程，需要进行生产力规划、工程进度评估和工程劳务资金发放，其关键在于通过不同技术和方法估计土方作业物料数量，并以此作为评估工程机械性能和作业效率的重要参数。土方作业量测量可通过对物料堆进行整体式测量或单次铲装测量。全站机器人扫描仪和基于无人机航拍的摄影测量技术作为一种有效的三维建模方法广泛应用于土方量的整体测量，然而，整体式测量方法适用于规划土方工程整体生产力，但难以评估作业过程中实时作业效率，因此需进行单次铲装测量。对于单次铲装测量，现有技术主要集中于通过构建铲斗及铲斗内物料三维点云模型，计算得到铲斗内物料体积，并据此评估铲装满斗率和铲装作业效率。然而，不同土方机械的铲斗具有不同的规格和尺寸大小，这种基于铲斗三维点云模型的铲装体积估计方法，存在对铲斗模型依赖性强，通用性差的缺点。因此，研究基于物料堆三维重构的工程机械铲装体积测量方法，以评估持续工程进度和操作人员作业效率具有重要意义。

通过非接触测量获得物体体积信息的方法，通常采用三维激光扫描系统和视觉传感器进行物体表面三维重建。由于采用激光扫描系统进行物体扫描时所生成的点云数据量远大于视觉传感器，对三维点云进行后处理并进行三维重构将会是一项更加耗时的工作，难以满足物体体积信息感知实时更新的要求。此外，三维激光扫描系统对形状和尺寸比较敏感，无法获取色彩信息，而且价格昂贵，一定程度上限制了其在土方工程中的应用。双目立体视觉是利用两个摄像机模拟人眼从不同位置拍摄被测物体，根据图像特征找到同一空间点在左右相机图像的对应匹配点，利用视差原理和空间对应关系计算求解空间坐标点。该方法能快速获得稠密的深度信息，且成本低廉，重量轻，适用于土方作业物料堆的三维重建。

中国发明专利202010538172.X提出了一种基于数字信息化技术的基坑土方量计算方法，该方法基于无人机航拍的倾斜摄影测量技术实现准确快速的基坑土方工程量计算。中国发明专利202010134566.9提出了一种基于三维点云的物料堆自动提取和体积测量方法及系统，该方法利用激光器扫描得到物料堆场景的三维点云数据，并计算整个物料堆体积。中国发明专利201910972066.X提出了一种基于双目相机的不规则堆料体积测量方法，该方法采用半全局立体匹配算法(SGBM)求得整体料堆图像的视差图，SGBM是通过比较像素强度来确定对应匹配点之间的代价值，这种基于像素块的描述符描述性能相对较弱，影响了体积估计的准确性，且计算耗时。以上方法适用于土方量的整体式测量，但难以适用于工程机械单次铲装体积的估计和作业效率的实时评估。中国发明专利201911240082.6提出了一种基于结构光的挖掘机挖斗土方体积实时测量方法及测量装置，以及中国发明专利202111578028.X提出了一种基于图像特征和三维点云技术的散料体积测量方法，以上两种方法均属于基于铲斗内物料三维建模的体积估计方法，难以适用于具有不同规格和尺寸大小的铲斗内物料体积测量。

发明内容

为解决上述问题，本发明提出一种基于铲装前后物料堆三维重构的铲装体积获取方法及系统，能够快速准确地估计工程机械铲装物料体积，对于实时评估工程进度和操作人员作业效率具有重要意义。

一方面，一种基于铲装前后物料堆三维重构的铲装体积获取方法，包括：