[发明专利]基于双目视觉的振捣棒定位方法

说明书

本发明公开的基于双目视觉的振捣棒定位方法，使用深度学习解决了目标检测和视差估计问题，一方面提高了振捣棒检测精度和速度，另一方面将双目立体匹配过程简化成端到端过程，为振捣棒实时、快速、准确定位提供了重要技术支撑，本发明通过自适应聚类算法确定了振捣点的二维位置和振捣时间，利用双目视觉技术将二维坐标转换成世界坐标，实现了振捣棒的绝对定位。本发明提供的基于双目视觉的振捣棒定位方法，解决了振捣工作质量监测问题，让质量监测环节更加智能、高效。

技术领域

本发明涉及计算机视觉及建筑工地目标检测领域，具体涉及一种基于双目视觉的振捣棒定位方法。

背景技术

在建筑工地施工现场，使用插入式振捣棒对混凝土振捣可以消除混凝土中气泡、进行捣固。为了保证振捣工作的质量，需要实时监测振捣间距与振捣时间，则实时获取振捣棒的工作位置就显得非常重要。传统基于人工的监测，存在着很多的不可靠因素。随着科技的进步，有研究人员提出了基于GPS的振捣棒定位方法和基于激光三维定位振捣棒的方法，但这些方法在设备部署过程较复杂、成本较高。

因此，为减轻工作人员的劳动强度和加强振捣质量的监测力度，有必要研究出一种通过双目摄像机来自动定位振捣棒的视觉定位系统具有重要的意义。

发明内容

针对现有技术中存在的问题，本发明提供一种基于双目视觉的振捣棒定位方法，实现了振捣棒的绝对定位，解决了振捣工作质量监测问题。

本发明是通过以下技术方案来实现：

基于双目视觉的振捣棒定位方法，包括以下步骤：

步骤1、标定双目相机，获得相机的内外参数M；

步骤2、根据标定好的双目相机采集混凝土振捣图像，并对振捣图像进行处理，分别得到振捣棒检测数据集和视差估计数据集；

步骤3、根据步骤2得到的振捣棒检测数据集对SSD网络模型进行训练，得到振捣棒检测模型；

步骤4、基于无监督的深度学习构建视差估计模型，并根据步骤2得到的视差估计数据集进行模型训练；

步骤5、采用标定好的双目相机录制混凝土振捣视频，利用步骤3训练好的振捣棒检测模型对振捣视频进行检测，获得视频中每一帧的标记左二维回归框的左图像和标记右二维回归框的右图像；

步骤6、利用自适应聚类算法处理步骤5中的左二维回归框中心点坐标，得到每个振捣点的位置和每个振捣点所对应的视频帧数；

步骤7、根据步骤6得到的视频帧数，结合步骤4视差估计模型估计左图像和右图像对应的视差图、步骤1得到的相机内外参数M和步骤5中得到的左二维回归框的中心点坐标，得到每个振捣点的振捣棒三维坐标信息。

优选的，所述的步骤2中的采集的振捣图像处理包括以下步骤：

S1、利用标定好的双目相机采集N对原始振捣图像，每对原始振捣图像包括一张左图像和一张右图像，将N对原始振捣图像复制成两份，其中一份作为原始的振捣棒检测数据集，另一份作为原始的视差估计数据集；

S2、对原始的振捣棒检测数据集进行翻转、缩放、平移、颜色变化和高斯噪声的数据增强处理，然后用数据标注工具labelImg对增强后的振捣图像进行数据标注，得到振捣棒检测数据集；

S3、对原始的视差估计数据集进行翻转、缩放、平移、颜色变化和高斯噪声的数据增强处理，处理过程中需保证对每一对原始振捣图像中的左图像和右图像执行相同的数据增强处理，数据增强处理完成后得到视差估计数据集。

优选的，所述步骤3中SSD网络模型的结构如下：

SSD网络模型包括基础网络部分、金字塔网络部分和输出检测值部分；