[发明专利]基于2D3D视觉融合的五金件机器人智能化打磨方法与装置

说明书

本发明涉及基于2D/3D视觉融合的五金件机器人智能化打磨方法与装置，包括以下步骤：S100：获取输入五金件的多个视角的RGB图像；S200：对上述所有的RGB图像进行检测，判断输入五金件是否具有氧化层；S300：获取输入五金件的多个视角的三维点云，将相邻视角的所述三维点云进行两两配准，将配准结果转换到机器人世界坐标系下；S400：根据预先训练的三维点云语义分割网络，对完整的输入五金件的所述点云模型进行分割得到氧化层点云；S500：通过聚类算法对所述氧化层点云进行聚类处理，得到聚类处理后的氧化层点云集合；S600：规划所述氧化层点云集合的打磨顺序，并确定打磨路径；S700：根据确定好的打磨顺序以及打磨路径，控制机械臂对所述输入五金件进行打磨。

技术领域

本发明涉及智能制造技术领域，尤其涉及基于2D3D视觉融合的五金件机器人智能化打磨方法与装置。

背景技术

五金件是指数种有色金属铸造而成的零部件，广泛应用于固定、装饰和加工产品。然而，由于五金件具有大批量、定制化等特点，其在存储过程中可能会受空气湿度、破损等因素影响而出现氧化层缺陷，导致其无法高质量配置、应用于其他个体装备中。因此，有必要对五金件进行检测，并对其氧化层进行去除处理。现有的五金件检测、加工方法主要通过工人进行机械性、重复的工作完成，容易出现人工疲劳而导致的漏检问题且效率较低等技术问题。

发明内容

本发明旨在至少解决现有技术的不足之一，提供基于2D3D视觉融合的五金件机器人智能化打磨方法与装置。

为了实现上述目的，本发明采用以下的技术方案：

提出基于2D3D视觉融合的五金件机器人智能化打磨方法，包括以下步骤：

S100：获取输入五金件的多个视角的RGB图像；

S200：对上述所有的RGB图像进行检测，判断输入五金件是否具有氧化层，如果是转至步骤S300，如果否结束本轮检测；

S300：获取输入五金件的多个视角的三维点云，将相邻视角的所述三维点云进行两两配准，将配准结果转换到机器人世界坐标系下，并融合得到完整的输入五金件的点云模型；

S400：根据预先训练的三维点云语义分割网络，对完整的输入五金件的所述点云模型进行分割得到氧化层点云；

S500：通过聚类算法对所述氧化层点云进行聚类处理，得到聚类处理后的氧化层点云集合；

S600：规划所述氧化层点云集合的打磨顺序，并确定打磨路径；

S700：根据确定好的打磨顺序以及打磨路径，控制机械臂对所述输入五金件进行打磨。

进一步，上述步骤S200中判断输入五金件是否具有氧化层的操作具体包括以下步骤，

S210：将所有的所述RGB图像重规整到224*224的固定分辨率，之后，将所述RGB图像进行归一化处理得到归一化后RGB图像，通过如下公式实现，其中代表像素均值，σ代表像素方差，x_i表示原始图像，x′_i表示归一化后的图像：

S220：将归一化后的RGB图像输入卷积核为7*7、输出通道为64、步长为2的卷积层中，得到112*112*64的第一特征图，之后经过卷积层的池化操作，得到56*56*64的第二特征图；

S230：将第二特征图输入Res-deconv卷积层中，输入分别经过Res-block和De-conv层得到不同的两个特征图，将得到的不同的两个特征图进行相加，对两个特征图的特征进行融合，后续再经过4个Res-deconv卷积层处理，得到7*7*128的第三特征图；