[发明专利]一种基于深度学习的低纹理工业零件位姿估计方法

权利要求书

1.一种基于深度学习的低纹理工业零件位姿估计方法，其特征在于，所述方法包括以下步骤：

步骤1、对所需位姿估计的工业零件进行三维建模，构造物理仿真环境，并在所述仿真环境中生成所述工业零件处于不同位姿的数据集；所述数据集包括RGB图、深度图、所述工业零件的类别、所述工业零件的包围框、所述工业零件的mask；

步骤2、对所述数据集进行实例分割和裁剪；

步骤3、建立基于深度学习的位姿估计子网络和位姿细化子网络，以得到低纹理工业零件的位姿；所述位姿估计子网络以所述RGB图和所述深度图作为输入；所述位姿估计子网络对裁剪后的RGB图和深度图进行特征提取得到特征图，根据所述特征图预测初始位姿；所述位姿细化子网络以原始点云和用所述初始位姿渲染得到的新的点云作为输入；所述位姿细化子网络为通过多次迭代细化，直至得到满足精度要求的位姿；

所述原始点云是由所述深度图上单个工业零件的mask区域计算得到，记为P₀，计算公式为：

其中，(x_w,y_w,z_w)为相机坐标系下特征点的坐标，(u,v)为像素坐标系下特征点的坐标，z_c为特征点的深度值，u₀,v₀,dx,dy,f为相机的内参；

所述新的点云是通过计算初始位姿集合中的最优位姿，记为[R₀|t₀]，将模型重建进行投影渲染，得到在所述最优位姿[R₀|t₀]下的深度图并计算在所述位姿下新的点云，记为P₁；

所述位姿细化子网络的迭代公式为：

其中，为最终的位姿，M为迭代的次数，为第i+1次迭代预测的位姿；损失函数为：

其中，N为特征点个数，[R|t]为真实位姿，为当前迭代得到的最终位姿，x_i为模型上的三维点坐标。

2.如权利要求1所述的基于深度学习的低纹理工业零件位姿估计方法，其特征在于，所述步骤1中的三维建模是基于UV映射技术，即将所述工业零件的表面以二维贴图的方式映射到三维模型的表面。

3.如权利要求1所述的基于深度学习的低纹理工业零件位姿估计方法，其特征在于，所述步骤1中的物理仿真环境是通过物理引擎与图形引擎相结合实现对真实场景的模拟。

4.如权利要求1所述的基于深度学习的低纹理工业零件位姿估计方法，其特征在于，根据所述特征图预测初始位姿，所用的损失函数为：

其中，N为特征点个数，[R|t]为真实位姿，为预测得到的位姿，x_i为模型上的三维点坐标。

5.如权利要求1所述的基于深度学习的低纹理工业零件位姿估计方法，其特征在于，所述RGB图为包含单个工业零件的最小包围框区域内的RGB图像；所述深度图为包含单个工业零件的最小包围框区域内的深度图像。