[发明专利]基于机器视觉的盾构刀具识别与定位检测方法

说明书

本发明公开了一种基于机器视觉的盾构刀具识别与定位检测方法。采集刀具图像作为训练数据集；对训练数据集进行矩形框标注得到目标框标注信息，对刀具类别进行标注得到所属类别信息，将目标框标注信息和所属类别信息作为标注数据集；建立目标盾构刀具检测模型，使用训练数据和标注数据集对模型进行训练得到训练后的目标盾构刀具检测模型；将相机固定安装在机械臂的末端，相机通过机械臂的运动接近待检测的盾构刀具并实时采集刀具图像得到待检测刀具的类别与位置。本发明能够有效地提高检测效率，用途广泛。

技术领域

本发明涉及机器视觉领域，尤其涉及一种基于机器视觉的盾构刀具识别与定位检测方法。

背景技术

随着社会经济的快速发展和基础设施建设的需要，为了减少对地面空间资源的占用、降低施工对居民生活的影响，越来越多的工程采取地下施工的方式，如地下轨道交通、穿山隧道、通信电缆隧道、大型输水工程等。而各类隧道工程的建设，常采用盾构法进行施工。盾构刀盘上具有切削刀、滚刀等不同类型刀具，在盾构机掘进过程中，刀具承受了巨大的挤压力、摩擦力、切削力等作用力，盾构刀具在长期恶劣工况下不可避免地存在夹土夹泥、磨损严重等问题，对施工安全和施工效率产生不良影响，需要定期进行清洗、检查及更换。

随着机器人技术的迅速发展，机器人的种类更加多样化，功能更加完善。冗余自由度机械臂或柔性机械臂适合于在盾构刀盘这种非结构化环境下工作。这类机械臂末端携带相机进入盾构刀盘检测，使得对盾构刀具的自动化检测成为可能。

现阶段盾构刀具的检测主要由人工完成，存在工作效率低、工作条件恶劣、有潜在安全隐患等问题，因此通过机器视觉方法对盾构刀具进行自动检测具有重要意义。

发明内容

本发明为了解决背景技术中所述的问题，提出了一种基于机器视觉的盾构刀具识别与定位检测方法。

为了解决上述技术问题，本发明采取的技术方案是：

S1)采集不同类别的盾构刀具图像并进行优化处理，将处理后的所有图像作为盾构刀具数据集；

由于盾构刀盘上的刀具有多种类别，每种类别的刀具采集的图像数量相等以保证不同类别图像数据的均衡，所述的刀具类别包括但不限于切削刀、滚刀等具有不同形态特征的盾构刀具。

具体实施中，将盾构刀具数据集中的图像按照一定的比例划分为训练数据集和测试数据集。由于盾构刀盘上各类刀具分布位置与功能作用互不相同，掘进地质也存在多样性，因此刀具磨损、表面覆泥状况等也存在多样性。为了保证盾构刀具数据集的丰富性，各类刀具都应当广泛采集表面不覆泥、轻度覆泥、中度覆泥、重度覆泥、泥水混合等多种工况下的图像，组成盾构刀具数据集的训练数据集。

S2)对盾构刀具数据集的每张图像中的刀具进行矩形框(bounding box)标注得到目标框标注信息，同时对每张图像的刀具类别进行标注得到所属类别信息(class)，将所有图像对应的目标框标注信息和所属类别信息作为标注数据集；

S3)建立盾构刀具目标检测模型，使用盾构刀具数据集和标注数据集对模型进行训练，得到训练后的盾构刀具目标检测模型；

S4)将相机固定安装在机械臂的末端，相机通过机械臂的运动接近待检测的盾构刀具并实时采集刀具图像。由于盾构施工环境照明条件不理想，存在电磁干扰，同时相机固定安装于自动检测机械末端，工作时存在一定振动等因素，导致检测时实际采集到的图像存在较多噪声。为了减少噪声给检测精度带来的影响，对采集的图像进行滤波去噪处理，将处理后的刀具图像输入到S3)得到的盾构刀具目标检测模型进行处理得到待检测刀具的类别与位置。实现了对刀盘上各类刀具的自动检测识别与定位。