[发明专利]一种基于目标检测和机器视觉的柱状工件分类定位方法

权利要求书

1.一种基于目标检测和机器视觉的柱状工件分类高精度定位方法，其特征在于，包括如下步骤：

利用实验平台的Eye-To-Hand相机采集多目标工件的图像；所述的实验平台包括机械手、视觉控制系统、Eye-To-Hand相机和Eye-In-Hand相机；所述的Eye-To-Hand相机固定于实验平台正上方，将不同类型的多目标工件成像于视野面；多目标工件包括四种类型的柱状工件；

S1：所述的Eye-To-Hand相机对实验平台上的多目标工件进行图像采集，将采集到的图像输入到改进网络结构的yolov3算法模型，对改进网络结构的yolov3算法模型进行训练，用训练好的改进网络结构的yolov3算法模型进行目标检测，获得多目标工件的各个类别和粗精度的图像坐标；

S2：基于坐标变换，通过标定板标定法对Eye-To-Hand相机和机械手末端进行手眼标定，将获得的多目标工件粗精度的图像坐标结合手眼标定参数，解算出各个目标工件的世界坐标，同时返回各个目标工件的类别；

S3：所述的改进网络结构的yolov3算法模型在训练时对多目标工件类型进行训练，同时对各个工件的划痕、缺角目标缺陷进行训练；用训练好改进网络结构的yolov3算法模型进行目标检测时，对划痕、缺角目标缺陷进行识别；

S4：所述的多目标工件的各个类别和粗精度的图像坐标由改进网络结构的yolov3算法模型识别获得，并将图像坐标基于通讯协议传递给视觉控制系统，视觉控制系统发送给机械手；所述的视觉控制系统由工控机承担作用；所述的Eye-In-Hand相机与机械手末端连接在一起；Eye-In-Hand相机随同机械手运动至目标工件上方；

S5：所述Eye-In-Hand相机运动至工件上方对工件进行图像采集，所述的工件放置在实验平台上方，视觉控制系统对获取到的采集图像进行图像处理及特征提取，获得工件关键特征坐标，结合Eye-In-Hand相机的手眼标定参数，获取工件的高精度世界坐标并发送至视觉控制系统；

S6：系统处理器根据高精度世界坐标引导机械手进行夹取搬运或者装配；

S7：重复上述步骤S4-S6，对不同类别的目标工件进行高精度定位，实现多目标工件的高精度定位。

2.根据权利要求1所述的一种基于目标检测和机器视觉的柱状工件分类高精度定位方法，其特征在于，所述的Eye-To-Hand相机、Eye-In-Hand相机与视觉控制系统之间基于GigE协议通讯，进行图像传输；所述的视觉控制系统与机械手之间基于TCP/IP协议通讯，进行位置坐标传输。

3.根据权利要求1所述的一种基于目标检测和机器视觉的柱状工件分类高精度定位方法，其特征在于，上述的S1具体为：

S11：利用实验平台上的Eye-To-Hand相机对待检测目标工件的图像进行采集，采集之后对不同类型的工件进行标记分类制作训练数据集；

S12：将所述的训练数据集进行增强处理，将增强处理后的数据集输入改进网络结构的yolov3算法模型进行训练，获得参数模型；

S13：将待识别的原始多目标工件图像输入到训练好的改进网络结构的yolov3算法模型，输出对应的缺陷检测、分类识别粗定位结果；

S14：采用向量相似性度量方法对训练集中的候选框参数进行度量，根据标准化欧氏距离，对其进行统计分析，根据标准化欧式距离大小对候选框参数进行统计分析，将误差最小的参数写入配置文件，对yolov3目标检测框进行改进。

4.根据权利要求1所述的一种基于目标检测和机器视觉的柱状工件分类高精度定位方法，其特征在于，所述的改进网络结构的yolov3算法模型基于darknet53的网络结果进行改进，满足多目标工件目标检测要求。