[发明专利]一种基于目标检测和机器视觉的柱状工件分类定位方法

说明书

本发明公开了一种基于目标检测和机器视觉的柱状工件分类高精度定位方法，包括yolov3的目标检测、缺陷检测和粗定位和机器视觉的高精度定位两部分。其中，yolov3的部分包括制作数据集、改进网络结构、调整候选框参数和实时定位识别、缺陷检测。通过eye‑to‑hand相机获取工件图像，融合图像增强算法，采用向量相似性度量方法对候选框参数进行改进。机器视觉部分，由yolov3算法粗定位位置引导eye‑in‑hand相机获取图像，对图像特征进行特征提取，采用极大值约束，对异常特征进行剔除，最后拟合工件轮廓特征，获取目标工件的高精度位置。

技术领域

本发明涉及工业机器人和机器视觉应用，具体地，涉及一种基于目标检测和机器视觉的柱状工件分类高精度定位方法。

背景技术

随着智能制造的发展，工业机器人具有通用性好，重复定位精度高等优点，在一些工业自动化领域，其中大部分都采用机器人示教的方法。对于实现真正的智能制造还有很远的距离，传统的示教也无法满足智能制造的需求。机器视觉技术很好地解决了机器人位置控制需求，但同时存在着识别柔性和精度难以兼容的问题。基于深度学习的目标检测技术能较好满足多目标识别的柔性要求，但存在定位精度不够的问题。传统的机器视觉检测技术识别精度高，但识别特征单一。

公开号为CN111238450A的专利公开了视觉定位方法及装置，该方法对单一目标工件采集多帧图像，通过各帧图像对应的视觉定位信息满足各帧图像对应的采集位姿变换关系，对多目标工件无法识别定位。公开号为CN106272416A的专利公开了基于力觉和视觉的机器人细长轴精密装配系统及方法，该发明在实现精密装配时借助了视觉、位置、力觉等多种类型传感器，具有一定的局限性。

基于深度学习的能实现目标检测但精度较差；传统机器视觉识别定位精度高但检测目标过于单一。因此，对于多目标工件的分类和高精度定位是工业机器人和机器视觉应用领域一个亟需解决的问题。

发明内容

本发明提供了一种基于目标检测和机器视觉的柱状工件分类高精度定位方法。通过深度学习对目标工件进行目标检测完成工件分类和目标粗定位，粗定位目标位置引导机械手至工件上方，通过机器视觉完成目标高精度定位。从而，实现多目标工件的分类识别和高精度定位。

因此，本发明提供了一种基于目标检测和机器视觉的柱状工件分类高精度定位方法，包括如下步骤：

基于yolov3目标检测算法多目标识别及粗定位、缺陷识别过程：

利用实验平台的Eye-To-Hand相机采集多目标工件的图像。所述的实验平台包括机械手、视觉控制系统、Eye-To-Hand相机和Eye-In-Hand相机。所述的Eye-To-Hand相机固定于试验台正上方，相机距离实验平台具有较高的工作距离，以将不同类型的多目标工件成像于视野面。所述的Eye-To-Hand相机因工作距离较大，造成粗识别定位精度较低。

S1：所述的Eye-To-Hand相机对试验台上的多目标工件进行图像采集，将采集到的图像输入到改进网络结构的yolov3算法，对改进网络结构的yolov3算法模型进行训练，用训练好的yolov3算法多目标检测模型进行目标检测，获得多目标工件的各个类别和粗精度的图像坐标。

S2：基于坐标变换，通过标定板标定法对Eye-To-Hand相机和机械手末端进行手眼标定，将获得的多目标工件粗精度的图像坐标结合手眼标定参数，解算出各个目标工件的世界坐标，同时返回各个目标工件的类别。

S3：所述的改进网络结构的yolov3算法模型在训练时对多目标工件类型进行训练，同时对各个工件的典型缺陷进行训练。用训练好改进网络结构的yolov3算法进行目标检测时，对划痕、缺角等目标的关键缺陷进行识别。

基于机器视觉的目标工件高精度定位过程：