[发明专利]基于双目视觉的振捣棒定位方法

摘要

本发明公开的基于双目视觉的振捣棒定位方法，使用深度学习解决了目标检测和视差估计问题，一方面提高了振捣棒检测精度和速度，另一方面将双目立体匹配过程简化成端到端过程，为振捣棒实时、快速、准确定位提供了重要技术支撑，本发明通过自适应聚类算法确定了振捣点的二维位置和振捣时间，利用双目视觉技术将二维坐标转换成世界坐标，实现了振捣棒的绝对定位。本发明提供的基于双目视觉的振捣棒定位方法，解决了振捣工作质量监测问题，让质量监测环节更加智能、高效。

主权项

1.基于双目视觉的振捣棒定位方法，其特征在于，包括以下步骤：步骤1、标定双目相机，获得相机的内外参数M；步骤2、根据标定好的双目相机采集混凝土振捣图像，并对振捣图像进行处理，分别得到振捣棒检测数据集和视差估计数据集；步骤3、根据步骤2得到的振捣棒检测数据集对SSD网络模型进行训练，得到振捣棒检测模型；步骤4、基于无监督的深度学习构建视差估计模型，并根据步骤2得到的视差估计数据集进行模型训练；步骤5、采用标定好的双目相机录制混凝土振捣视频，利用步骤3训练好的振捣棒检测模型对振捣视频进行检测，获得视频中每一帧的标记左二维回归框的左图像和标记右二维回归框的右图像；步骤6、利用自适应聚类算法处理步骤5中的左二维回归框中心点坐标，得到每个振捣点的位置和每个振捣点所对应的视频帧数；步骤7、根据步骤6得到的视频帧数，结合步骤4视差估计模型估计左图像和右图像对应的视差图、步骤1得到的相机内外参数M和步骤5中得到的左二维回归框的中心点坐标，得到每个振捣点的振捣棒三维坐标信息。