[发明专利]一种基于域迁移和深度补全的物体姿态估计方法

说明书

本发明公开了一种基于域迁移和深度补全的物体姿态估计方法，包括以下步骤：1）针对实验场景采集物体姿态估计真实数据集，利用仿真生成器生成物体姿态估计仿真数据集；2）基于领域自适应技术实现仿真数据到真实数据的迁移；3）利用迁移后的物体姿态估计数据集，训练基于感知融合的物体姿态估计网络；4）通过深度相机获取场景的颜色和深度信息，并补全深度信息；5）给定场景中的颜色图和补全后深度图，利用物体姿态估计训练结果，进行目标物体的姿态估计。本发明针对实物域制作数据集困难、深度相机获取深度信息失真等问题，通过域迁移来缓解数据采集与标注成本，使用深度补全来改善深度信息的质量，该方法具有对未知、复杂场景的泛化性能。

技术领域

本发明属于机器人操作技能学习中的抓取检测领域，具体涉及一种基于域迁移和深度补全的物体姿态估计方法。

背景技术

在社会生产力日益发达的今天，随着物流运输、服务等行业的迅猛发展带来的大量需求，以处理视觉信息为代表的目标识别、实例分割以及抓取技术更加受到各行业的重视。因此，开发研制更加智能、精度更好以及更加稳定的机器人抓取系统变得尤为重要。而实现机器人的抓取，需要先进行物体的姿态估计，近些年来以深度学习为代表的物体姿态估计方法层出不穷，取得了不错的效果。但是，也存在着一些问题，其一是使用深度学习的方法往往需要大量的包括颜色信息和深度信息的数据集，而实物域有些场景难以采集且数据量有限，不容易大规模构建并进行标注，而仿真环境中产生的大规模数据集没有得到充分的利用；其二是虚-实域间存在偏差，如果在仿真域上训练后，不加迁移地直接用在实物域，会出现较大误差；其三是由于现有传感器的物理条件限制，在获取的深度数据中往往会出现一些无效或者失真的噪点使得物体姿态估计算法泛化困难。

发明内容

为解决上述问题，本发明公开了一种基于域迁移和深度补全的物体姿态估计方法，通过域迁移来缓解数据采集与标注的成本，同时使用深度补全来改善深度信息的质量，提高物体姿态估计模型对新物体、新场景的泛化性能。

为达到上述目的，本发明的技术方案如下：

一种基于域迁移和深度补全的物体姿态估计方法，包括如下步骤：

(1)通过RGB-D相机针对训练实验场景进行真实数据的采集，包括场景的颜色信息和深度信息，同时利用Blender生成的虚拟且高质量的带标签的物体姿态估计仿真数据集，采集的场景为桌面场景，目标物体为家庭常见物品，包括喷壶、洗发露等；

(2)构建基于生成对抗网络的领域自适应姿态估计RGB-D样本迁移网络模型，包括像素级领域自适应模块、循环一致性模块、内容一致性模块以及映射一致性模块，并且在给定的非配对仿真域样本及其标注和真实域样本上进行训练；

(3)构建基于感知融合的物体姿态估计主网络和迭代优化网络模型，并在迁移得到的物体姿态估计数据集上进行训练；

(4)通过RGB-D相机获取测试实验场景中的颜色信息和深度信息，利用基于ClearGrasp 的深度补全技术来对原始深度图进行补全，从而改善深度信息的质量；

(5)根据在迁移得到的数据集上训练的物体姿态估计网络模型，使用给定的测试场景中的颜色图和进行深度补全后的深度图，来进行场景中的目标物体的姿态估计。

步骤(2)所述的基于生成对抗网络的领域自适应姿态估计RGB-D样本迁移网络模型主要包括像素级领域自适应模块、循环一致性模块、内容一致性模块以及映射一致性模块，具体内容如下：

(1)像素级领域自适应模型：生成器G_S→T将源域中的一张图片和一个噪声向量映射到一张假图片，判别器D_T输出所输入给定图片属于源域的可能性，其域对抗损失函数为：

其中，表示从源域中采样N_s个带标签的样本组成的数据集，表示从目标域中采样N_t个无标签的样本组成的数据集。