[发明专利]基于2D3D视觉融合的五金件机器人智能化打磨方法与装置

权利要求书

1.基于2D/3D视觉融合的五金件机器人智能化打磨方法，其特征在于，包括以下步骤：

S100：获取输入五金件的多个视角的RGB图像；

S200：对所有的RGB图像进行检测，判断输入五金件是否具有氧化层，如果是转至步骤S300，如果否结束本轮检测；

S300：获取输入五金件的多个视角的三维点云，将相邻视角的所述三维点云进行两两配准，将配准结果转换到机器人世界坐标系下，并融合得到完整的输入五金件的点云模型；

S400：根据预先训练的三维点云语义分割网络，对完整的输入五金件的所述点云模型进行分割得到氧化层点云；

S500：通过聚类算法对所述氧化层点云进行聚类处理，得到聚类处理后的氧化层点云集合；

S600：规划所述氧化层点云集合的打磨顺序，并确定打磨路径；

S700：根据确定好的打磨顺序以及打磨路径，控制机械臂对所述输入五金件进行打磨；

其中，上述步骤S300具体包括以下步骤，

S310：通过激光扫描仪获取精确的输入五金件的多个视角的三维点云，记为A={a_i,i=1,2,…,M}；

S320：给定收敛阈值，根据相关仪器以及机器人的标定信息，将多个视角的三维点云A统一到机器人世界坐标系下；

S330：确定相邻视角的源点云和移动点云,构建多视角点云配准模型：

；

其中代表空间旋转矩阵，代表空间平移向量，代表移动点云中的点，表示求取点的匹配点对，可通过最近邻搜索得到，代表配准残差，；

S340：利用交替乘子法ADMM求解多视角点云配准模型中的匹配点对的对偶解，以识别离群值；

S350：通过所述对偶解估计匹配点对并利用传统ICP算法求解空间变换矩阵，对点云进行配准得到,求点云以及的均方根误差,如果,则输出点云，否则令，返回步骤S330；

S360：判断全部点云是否配准完毕，如果是，融合全部配准结果并输出得到五金件实体点云D，否则，令，返回步骤S330。

2.根据权利要求1所述的基于2D/3D视觉融合的五金件机器人智能化打磨方法，其特征在于：上述步骤S200中判断输入五金件是否具有氧化层的操作具体包括以下步骤，

S210：将所有的所述RGB图像重规整到224*224的固定分辨率，之后，将所述RGB图像进行归一化处理得到归一化后RGB图像，通过如下公式实现，其中代表像素均值，σ代表像素方差，表示原始图像，表示归一化后的图像：

；

S220：将归一化后的RGB图像输入卷积核为7*7、输出通道为64、步长为2的卷积层中，得到112*112*64的第一特征图，之后经过卷积层的池化操作，得到56*56*64的第二特征图；

S230：将第二特征图输入Res-deconv卷积层中，输入分别经过Res-block和De-conv层得到不同的两个特征图，将得到的不同的两个特征图进行相加，对两个特征图的特征进行融合，后续再经过4个Res-deconv卷积层处理，得到7*7*128的第三特征图；

S240：将7*7*128的第三特征图进行维度缩减，展开形成6272的特征向量，再经过全连接层处理，得到长度为2的特征向量，再经过softmax函数处理，即可得到预测分数[score1，score2]，若score2小于设定的第一阈值，则代表不包含氧化层，反之则代表包含氧化层。