[发明专利]基于2-3D视觉融合的繁杂零件检测与定位的方法及系统

权利要求书

1.基于2-3D视觉融合的繁杂零件检测与定位的方法，其特征在于，所述方法包括：

获取承载多种零件的整个托盘的二维图像；

对二维图像进行处理得到零件数据，根据零件数据对零件进行分类，并从每一类零件中选择一个作为标志零件；

依据所述零件数据设置三维扫描的位姿，获取零件的点云数据；

依据所述零件数据对点云数据进行点云分割，得到每个零件的点云数据；

获取同类零件的快速定位，包括：

在预先构建的零件理论数模点云库中搜索与标志零件最接近的点云以确认零件种类，并进行点云配准，同时记录对应的旋转角作为同类零件的初始位姿；

应用初始位姿将标志零件以外的同类零件与对应种类的零件理论数模点云进行点云配准；

根据各个零件点云配准得到的转换矩阵将对应的理论数模转换到托盘上，获取零件的准确位姿，

所述零件理论数模点云库的获取方法，包括：

通过在CATIA中编写宏文件得到零件的STL格式的理论数模，再采用C++对获取到的ST零件理论数模进行处理，将理论数模分割成平面或者圆弧面组成，同时记录平面的面心、法向以及四周的边界信息：将面片信息转化为密度均一的理论数模点云。

2.根据权利要求1所述的方法，其特征在于：所述从每一类零件中选择一个标志零件的方法，包括：

对二维图像进行处理得到的零件数据还包括每个零件的坐标信息，依据分类结果与坐标信息，选取每一类零件中距离托盘中心点最近的零件作为标志零件。

3.根据权利要求1所述的方法，其特征在于：所述获取同类零件的快速定位的方法，包括如下内容：

通过精扫描点云确定标志零件的零件种类：将标志零件的精扫描的点云与零件理论数模点云库中的所有点云数据进行遍历匹配多遍，选择适应度fitness值最小的作为零件的种类，并存储此时的旋转角(α，β，γ)作为同类其他零件的粗扫描的点云数据进行配准的初始欧拉角，以减少迭代次数；其中，根据每个零件的坐标信息，对标志零件进行精扫描，对于非标志零件进行粗扫描；

通过粗扫描的点云确定标志零件同类的零件的位姿：继承同类的标志零件的(α，β，γ)值作为初始欧拉角，使用此欧拉角构建粒子群中一部分点的初始旋转矩阵，遍历所有的粗扫描点云，得到理论数模点云到托盘上的零件的转换矩阵；

获取实际位姿：根据转换矩阵，将理论数模点云转换到托盘上的实际零件位置处，获得托盘上所有零件的实际位姿，完成快速定位，使用KD-Tree来计算新姿态下的配准点云中每个点与理论数模点云中最近的点的平均距离fitness，即，

式中i表示粒子群中的第i个粒子，n表示配准点云中点的个数，表示使用粒子i的参数变换配准点云后，配准点云上m点到理论数模上最近点的距离，表示第t次选代时使用粒子的参数变换配准点云后，配准点云上的点到理论数模上最近点的平均距离，在初始化过程中t＝0，且选取fitness值最小的粒子作为个体最优与粒子群的全局最优，α_i(t)、β_i(t)以及γ_i(t)表示旋转参数，x_i(t)、y_i(t)以及z_i(t)表示平移参数；

其中，本算法中使用准则重计算fitness值，即在计算适应度时剔除掉离群点以表示整体的匹配效果：即若

则在重计算适应度时剔除掉配准点云上的m点。