[发明专利]一种基于深度学习的6D姿态估计方法和系统

权利要求书

1.一种基于深度学习的6D姿态估计方法，其特征在于，包括以下步骤：

S1：分别获取目标物体的无标记码图像和有标记码图像；

S2：对目标物体的有标记码图像背景和噪声进行分割，获取目标物体的表面稀疏点云数据；

S3：对目标物体的表面稀疏点云数据进行处理，获取目标物体的表面稠密点云数据和目标物体的3D模型；

S4：将目标物体的无标记码图像和表面稠密点云数据输入到预设的点云补全神经网络模型中，获得目标物体的表面完整点云数据；

S5：将目标物体的3D模型、表面完整点云数据和目标物体的无标记码图像输入到预设的6D姿态估计神经网络模型中进行训练，获得优化后的6D姿态估计神经网络模型；

S6：获取待预测的目标物体图像，将待预测的目标物体图像输入到优化后的6D姿态估计神经网络模型，获取待预测目标物体的6D姿态。

2.根据权利要求1所述的一种基于深度学习的6D姿态估计方法，其特征在于，所述步骤S1中，分别获取目标物体的无标记码图像和有标记码图像的具体方法为：

用单目相机从目标物体的多个方向进行拍摄，获取一组目标物体的无标记码图像，并记录每张无标记码图像对应的相机姿态；

将若干ARUCO标记码围绕目标物体放置，利用所述单目相机从目标物体的多个方向进行拍摄，获取一组目标物体的有标记码图像。

3.根据权利要求2所述的一种基于深度学习的6D姿态估计方法，其特征在于，所述目标物体的有标记码图像中包括至少3个不被遮挡且清晰的ARUCO标记码。

4.根据权利要求3所述的一种基于深度学习的6D姿态估计方法，其特征在于，所述步骤S3中，对目标物体的表面稀疏点云数据进行处理，获取目标物体的表面稠密点云数据和目标物体的3D模型的具体方法为：

使用PMVS2对目标物体的表面稀疏点云数据进行处理，获取目标物体的表面稠密点云数据、表面三角网格化数据和纹理映射数据；

根据所述表面三角网格化数据和纹理映射数据生成目标物体的3D模型。

5.根据权利要求4所述的一种基于深度学习的6D姿态估计方法，其特征在于，所述步骤S4中，将目标物体的无标记码图像和表面稠密点云数据输入到预设的点云补全神经网络模型中，获得目标物体的表面完整点云数据的具体方法为：

S4.1：将任意一张目标物体的无标记码图像和表面稠密点云数据输入到预设的点云补全神经网络模型中，对表面稠密点云数据进行旋转操作，调整至与所述目标物体的无标记码图像对应的相机姿态相匹配，得到目标物体稠密点云旋转数据P₁；

S4.2：将目标物体的无标记码图像进行映射，得到目标物体的全局稠密点云数据P₂；

S4.3：将目标物体稠密点云旋转数据P₁和全局稠密点云数据P₂拼接后进行均匀下采样；

S4.4：利用下采样后的全局稠密点云数据P₂减去下采样后的目标物体稠密点云旋转数据P₁，得到输入部分点云数据P_f和输入缺少部分点云数据P_c；

S4.5：将输入部分点云数据P_f、输入缺少部分点云数据P_c、下采样后的目标物体稠密点云旋转数据P₁和目标物体的无标记码图像拼接获得全局特征向量V_t；

S4.6：利用全局特征向量V_t获得目标物体的表面点云偏移量向量，将输入缺少部分点云数据P_c与目标物体的表面点云偏移量向量拼接，获得目标物体表面完整点云数据P₃。