[发明专利]基于2-3D视觉融合的繁杂零件检测与定位的方法及系统

说明书

本发明提供了一种基于2‑3D视觉融合的繁杂零件检测与定位的方法，包括：获取承载多种零件的整个托盘的二维图像；对二维图像进行处理得到所有零件的分类结果，并从每一类零件中选择一个作为标志零件；采集零件的点云数据；对点云数据进行分割，得到每个零件的点云数据；在预先构建的零件理论数模点云库中搜索与标志零件最接近的点云以确认零件种类，并进行点云配准，同时记录对应的旋转角作为同类零件的初始位姿；应用初始位姿将标志零件以外的同类零件与对应种类的零件理论数模点云进行点云配准；根据各个零件点云配准得到的转换矩阵将对应的理论数模转换到托盘上，获取零件的准确位姿。本发明实现了复杂零件的自动化检测、分类与定位问题。

技术领域

本发明属于计算机视觉技术领域，尤其是涉及一种基于2-3D视觉融合的繁杂零件检测与定位的方法及系统。

背景技术

目前民机零件喷涂主要采用人工手动喷涂的方式，工人手持喷枪于喷涂车间内进行喷涂，存在喷涂漆膜厚度不均匀，喷涂效率低，漆料严重浪费，工作环境恶劣的问题，喷涂效率直接影响了整机的生产进度，漆膜厚度不均降低了喷涂合格率，漆料浪费问题既加重了环境污染，又造成企业成本增加，而工作环境恶劣，则严重危害了工人的身体健康。

为提高民机整机生产效率，引入具有智能识别工件、自主规划轨迹、自动进行喷涂的柔性喷涂机器人迫在眉睫。同时，民机喷涂工件种类繁多，多架次民机的工件种类达五万余种，且生产任务紧，待喷涂的工件数量巨大，工件摆放位置不固定，且无夹持装置，且同一托盘上工件种类不唯一，而工件的喷涂质量又有严格要求，基于上述难点和限制，开展了基于2-3D视觉融合的柔性喷涂机器人研发工作。实现上述目的是基础是先实现复杂零件的自动化检测、分类与定位问题。

发明内容

有鉴于此，本发明旨在提出一种基于2-3D视觉融合的繁杂零件检测与定位的方法及系统，以实现复杂零件的自动化检测、分类与定位问题。

为达到上述目的，本发明的技术方案是这样实现的：

第1方面，本发明提供了一种基于2-3D视觉融合的繁杂零件检测与定位的方法，所述方法包括：

获取承载多种零件的整个托盘的二维图像；

对二维图像进行处理得到零件数据，根据零件数据对零件进行分类，并从每一类零件中选择一个作为标志零件；

依据所述零件数据设置三维扫描的位姿，获取零件的点云数据；

依据所述零件数据对点云数据进行分割，得到每个零件的点云数据；

获取同类零件的快速定位，包括：

在预先构建的零件理论数模点云库中搜索与标志零件最接近的点云以确认零件种类，并进行点云配准，同时记录对应的旋转角作为同类零件的初始位姿；应用初始位姿将标志零件以外的同类零件与对应种类的零件理论数模点云进行点云配准；根据各个零件点云配准得到的转换矩阵将对应的理论数模转换到托盘上，获取零件的准确位姿。

进一步的，所述从每一类零件中选择一个标志零件的方法，包括：对二维图像进行处理得到的零件数据还包括每个零件的坐标信息，依据分类结果与坐标信息，选取每一类零件中距离托盘中心点最近的零件作为标志零件。

进一步的，所述获取同类零件的快速定位的方法，包括如下内容：

通过精扫描点云确定标志零件的零件种类：将标志零件的精扫描的点云与零件理论数模点云库中的所有点云数据进行遍历匹配多遍，选择适应度fitness值最小的作为零件的种类，并存储此时的旋转角(α，β，γ)作为同类其他零件的粗扫描的点云数据进行配准的初始欧拉角，以减少迭代次数；其中，根据每个零件的坐标信息，对标志零件进行精扫描，对于非标志零件进行粗扫描；其中，所述通过三维扫描采集零件的点云数据的方法包括：根据每个零件的坐标信息，对标志零件进行精扫描，对于非标志零件进行粗扫描；