[发明专利]一种基于域迁移和深度补全的物体姿态估计方法

权利要求书

1.一种基于域迁移和深度补全的物体姿态估计方法，其特征在于，包括如下步骤：

步骤1，通过RGB-D相机针对训练实验场景进行可用于物体姿态估计的真实数据的采集，同时利用仿真数据生成器来生成可用于物体姿态估计的仿真数据集；

步骤2，使用深度学习框架构建基于生成对抗网络的领域自适应姿态估计RGB-D样本迁移网络模型，并且在给定的非配对仿真域样本及其标注和真实域样本上进行训练；

步骤3，使用深度学习框架构建基于感知融合的物体姿态估计主网络和迭代优化网络模型，并在迁移得到的物体姿态估计数据集上进行训练；

步骤4，通过RGB-D相机获取测试实验场景中的颜色信息和深度信息，利用基于ClearGrasp的深度补全技术来对原始深度图进行补全，从而改善深度信息的质量；

步骤5，根据在迁移得到的数据集上训练的物体姿态估计网络模型，使用给定的测试场景中的颜色图和进行深度补全后的深度图，来进行场景中的目标物体的姿态估计。

2.根据权利要求1所述的一种基于域迁移和深度补全的物体姿态估计方法，其特征在于，步骤1中的真实数据为RGB-D相机针对真实实验场景获取的颜色信息和深度信息组成的数据集，仿真数据为利用Blender生成的虚拟且高质量的带标签的物体姿态估计虚拟数据集。

3.根据权利要求1所述的一种基于域迁移和深度补全的物体姿态估计方法，其特征在于，步骤2中的基于生成对抗网络的领域自适应姿态估计RGB-D样本迁移网络模型，包括像素级领域自适应模块、循环一致性模块、内容一致性模块以及映射一致性模块，具体内容如下：

(1)像素级领域自适应模型包括将源域中的一张图片和一个噪声向量映射到一张假图片的生成器G_S→T和输出所输入给定图片属于源域的可能性的判别器D_T；

(2)循环一致性模块是为了保证生成样本和源域样本的一致性，即RGB-D姿态估计数据集迁移过程中物体的类别形状、姿态和整体风格保持不变；

(3)内容一致性模块是通过计算成对均方误差来衡量迁移前后样本的像素对之间的差异，而不是输入和输出的绝对差异；

(4)映射一致性模块是为了保证生成样本和目标域样本的风格相似。

4.根据权利要求1所述的一种基于域迁移和深度补全的物体姿态估计方法，其特征在于，步骤3所述的基于感知融合的物体姿态估计方法，具体步骤如下：

(1)对于输入的RGB图像进行语义分割，提取当前要进行姿态估计的物体目标掩码M_rgb,利用物体掩码确定物体在深度图中的位置P_depth；为保留目标物体的空间特征，此处需要把目标物体深度图中的掩码根据相机内参转化为点云；

(2)通过全卷积神经网络，将M_rgb中的每一个像素信息映射为F_rgb。使用PointNet将点云映射为带有几何信息F_cloud。把F_rgb和F_cloud进行像素级的融合，然后对每一个融合的特征进行姿态的估算，同时添加一个置信度评分c_i的预测，采用自监督的方式，在所有的预测结果中，寻找最好的结果集合，将集合内各结果的加权平均值作为姿态预测的最后结果。

(3)对步骤(2)中得到的姿态预测结果采用迭代优化网络进行提炼优化。

5.根据权利要求1所述的一种基于域迁移和深度补全的物体姿态估计方法，其特征在于，步骤4所述的深度补全过程如下：首先，对获取的原始颜色信息和深度信息进行规范化处理；之后，根据实例分割结果，修饰对应的目标物体的深度信息；然后，根据颜色信息进行表面法向量估计和边缘识别；最后，应用depth2depth算法进行全局优化，双边滤波后得到补全后的深度图。