[发明专利]基于机械手参数重建对象三维模型的方法和装置

说明书

本申请提出一种基于机械手参数重建对象三维模型的方法和装置，涉及三维重建和生成技术领域，其中，方法包括：通过机械手姿态参数，估计对应的机械手上接触点标签；通过机械手姿态参数和估计出的接触点标签，估计对应目标物体的物理几何参数；最后通过机械手姿态参数、接触点标签和目标物体的物理几何参数，估计出目标物体的旋转姿态参数；最后获取目标物体的平移姿态参数，根据目标物体的物理几何参数、旋转姿态参数和平移姿态参数，计算目标物体模型。由此，在机械手抓取目标物体的过程中，通过机械手的姿态参数，重建出可能的且合理的目标对象三维模型，解决通常机械手抓取物体过程中，依靠纯视觉方法进行三维重建会导致的鲁棒性低等问题。

技术领域

本申请涉及三维重建和生成技术领域，尤其涉及一种基于机械手参数重建对象三维模型的方法和装置。

背景技术

三维计算机视觉领域当中，对目标三维模型的重建一直在人脸识别、自动驾驶、AR、VR、全息通讯、机器人等领域有着极其广泛的应用。而尤其在机器人领域中，对世界中物体的重建是最为关键的技术之一。例如在机器人对目标物体进行抓取的过程中，准确地重建出物体的几何形状并同时估计它的位置、姿态，对于抓取的成功率有着决定性的影响。而目前的技术大多停留在从相机获取图像，利用视觉信息来完成这些工作，但往往实际应用中缺乏鲁棒性，对于数据库中没有的物体会产生很差的结果。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种基于机械手参数重建对象三维模型的方法，在机械手抓取目标物体的过程中，通过机械手的姿态参数，重建出可能的且合理的目标对象三维模型，解决通常机械手抓取物体过程中，依靠纯视觉方法进行三维重建会导致的鲁棒性低等问题。

本申请的第二个目的在于提出一种基于机械手参数重建对象三维模型的装置。

为达上述目的，本申请第一方面实施例提出了一种基于机械手参数重建对象三维模型的方法，包括：

获取机械手抓取姿态参数和控制参数，将所述机械手抓取姿态参数和所述控制参数输入已训练的第一全连接网络，获取接触点标签；

将所述机械手抓取姿态参数、所述控制参数和所述接触点标签输入已训练的第二全连接网络，获取目标物体的物理几何参数，将所述机械手抓取姿态参数、所述控制参数、所述接触点标签和所述物理几何参数输入已训练的第三全连接网络，获取所述目标物体的旋转姿态参数；

通过损失函数计算所有机械手上接触点到目标物体表面的距离之和，获取目标物体的平移姿态参数，根据所述目标物体的物理几何参数、旋转姿态参数和平移姿态参数，计算目标物体模型。

本申请实施例的基于机械手参数重建对象三维模型的方法，通过机械手姿态参数，估计对应的机械手上接触点标签；通过机械手姿态参数和估计出的接触点标签，估计对应目标物体的物理几何参数；最后通过机械手姿态参数、接触点标签和目标物体的物理几何参数，估计出目标物体的旋转姿态参数；最后获取目标物体的平移姿态参数，根据目标物体的物理几何参数、旋转姿态参数和平移姿态参数，计算目标物体模型。由此，在机械手抓取目标物体的过程中，通过机械手的姿态参数，重建出可能的且合理的目标对象三维模型，解决通常机械手抓取物体过程中，依靠纯视觉方法进行三维重建会导致的鲁棒性低等问题。

可选地，在本申请的一个实施例中，所述方法，还包括：

通过仿真程序人手模型作为机械手生成不同目标物体的几何参数样本、物体模型样本和控制参数样本；

对每所述几何参数样本和所述物体模型样本，生成不同的机械手抓取姿态参数样本，以及计算每个抓取姿态对应的接触点标签样本；

对每所述机械手抓取姿态参数样本，生成多各目标物体的旋转姿态参数样本；