[发明专利]一种基于深度学习的低纹理工业零件位姿估计方法

说明书

本发明公开了一种基于深度学习的低纹理工业零件位姿估计方法，涉及计算机视觉技术领域，所述方法包括以下步骤：首先对所需位姿估计的工业零件进行三维建模，构造物理仿真环境，并在所述仿真环境中生成所述工业零件处于不同位姿的数据集；其次对所述数据集进行实例分割和裁剪；最后建立基于深度学习的位姿估计子网络和位姿细化子网络，以得到低纹理工业零件的位姿。本发明通过对工业零件进行三维建模，建立基于深度学习的位姿估计子网络和位姿细化子网络，分别以RGB图和深度图、原始点云和用初始位姿渲染得到的新的点云作为输入，极大程度地提高了对于低纹理、具有反光表面的工业零件的识别效果，对工业散乱零件的抓取具有重要的应用价值。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于深度学习的低纹理工业零件位姿估计方法。

背景技术

计算机视觉技术在机器人非结构化场景感知中占据重要的地位。视觉图像是获取真实世界信息的有效手段，通过视觉感知算法提取对应任务的特征，如物体位置、角度、姿态等信息，从而使机器人能够执行对应操作，完成指定作业任务。对于工业机器人分拣而言，目前已经能够利用视觉传感器获取场景数据，但如何从场景中识别目标物体，并估计其位置和姿态，从而计算工业机器人的抓取位置和抓取路径则成为核心问题。

近几年，随着深度学习技术的快速发展，基于深度学习的位姿估计技术已经成为位姿估计领域的主流算法。但现有的基于深度学习的主流位姿估计算法大都依赖于物体表面的颜色、纹理等信息，对于工业上低纹理、具有反光表面的零件识别效果较差，对实现高效的零件自动化分拣产生一定的阻碍。

因此，本领域的技术人员致力于开发一种基于深度学习的低纹理工业零件位姿估计方法，通过物理引擎与图形引擎相结合的方式对真实场景进行模拟，应用UV映射技术对工业零件进行三维建模，建立基于深度学习的位姿估计子网络和位姿细化子网络，构建相应的数据集通过不断迭代得到物体位姿估计算法，以提高机器人对于散乱零件场景的分拣能力。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是克服现有位姿估计算法大都依赖于物体表面的颜色、纹理等信息而导致对于低纹理、具有反光表面的零件识别效果较差的问题。

为实现上述目的，本发明提供了一种基于深度学习的低纹理工业零件位姿估计方法，其特征在于，所述方法包括以下步骤：

步骤1、对所需位姿估计的工业零件进行三维建模，构造物理仿真环境，并在所述仿真环境中生成所述工业零件处于不同位姿的数据集；

步骤2、对所述数据集进行实例分割和裁剪；

步骤3、建立基于深度学习的位姿估计子网络和位姿细化子网络，以得到低纹理工业零件的位姿。

进一步地，所述步骤1中的三维建模是基于UV映射技术，即将所述工业零件的表面以二维贴图的方式映射到三维模型的表面。

进一步地，所述步骤1中的物理仿真环境是通过物理引擎与图形引擎相结合实现对真实场景的模拟。

进一步地，所述步骤1中的数据集包括RGB图、深度图、所述工业零件的类别、所述工业零件的包围框、所述工业零件的mask。

进一步地，所述步骤2中需对裁剪后的RGB图和深度图进行特征提取；所述RGB图和深度图的特征图尺寸为64×H×W；根据所述特征图预测初始位姿，所用的损失函数为：

其中，N为特征点个数，[R|t]为真实位姿，为预测得到的位姿，x_i为模型上的三维点坐标。

进一步地，所述步骤3中的位姿估计子网络以所述RGB图和所述深度图作为输入；所述RGB图为包含单个工业零件的最小包围框区域内的RGB图像；所述深度图为包含单个工业零件的最小包围框区域内的深度图像。