[发明专利]基于深度卷积神经网络的单目6D姿态估计方法及装置

说明书

本发明公开了一种基于深度卷积神经网络的单目6D姿态估计方法及装置，该方法包括：对RGB图像进行检测得到目标物体区域，将包含目标物体的区域缩放到固定尺度；将缩放后的RGB图像输入卷积神经网络，得到物体的分割掩码、物体的三维模型坐标投影图，以及物体的三维模型表面区域注意力图，将物体的三维模型坐标投影与2D坐标图拼接得到2D‑3D密集对应关系图；将2D‑3D密集对应关系图和表面区域注意力图同时输入到神经网络模块中进行直接回归得到目标物体的6D姿态。该方法充分利用几何信息，使得直接回归6D物体姿态的方法的性能优于几何间接法，且能够满足高精度、实时性以及可微分的要求。

技术领域

本发明涉及计算机视觉，自动驾驶，机器人学技术领域，特别涉及一种基于深度卷积神经网络的单目6D姿态估计方法及装置。

背景技术

从单张RGB图像中获取物体在三维空间中的6D姿态(即3自由度的旋转和3自由度的平移)在很多现实应用中非常关键，例如，在机器人领域中，可为抓取或者运动规划提供关键的信息；在无人驾驶中，车辆和行人的6D姿态可提供驾驶的决策信息；在增强现实/虚拟现实中，准确地获得物体6D姿态可以实现更好的人机交互。

近年来，深度卷积神经网络在单目6D物体姿态估计上取得了比较大的进展，大致有三大类方法。第一类是直接回归的方法，即直接从神经网络预测6D姿态，不同的方法预测不同的姿态表示。第二类是基于几何的间接法，即预测稀疏的三维模型关键点在图像平面上的投影或者预测密集的三维模型坐标投影图，然后通过建立2D-3D的对应关系，利用RANSAC/PnP求解6D姿态。第三种方法是利用度量学习或者自编码器建立旋转对应的特征码本，然后通过码本索引得到姿态。这些方法中，基于几何的间接法目前能达到的精度最高，而直接回归法相对效果较差。虽然几何间接法精度较高，但是该类方法存在一些缺点，例如该方法优化的是坐标误差，无法直接基于6D姿态进行优化，而同样的坐标误差可能对应完全不同的6D姿态；测试时不能获得可微分的姿态预测，无法应用于其他需要可微分姿态的下游任务；此外，RANSAC过程比较耗时，在实时性要求高的场景也不适用。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于深度卷积神经网络的单目6D姿态估计方法，该方法充分利用几何信息，使得直接回归6D物体姿态的方法的性能优于几何间接法，且能够满足高精度、实时性以及可微分的要求。

本发明的另一个目的在于提出一种基于深度卷积神经网络的单目6D姿态估计装置。

为达到上述目的，本发明一方面实施例提出了一种基于深度卷积神经网络的单目6D姿态估计方法，包括：

对RGB图像进行检测得到目标物体区域，将包含目标物体的区域缩放到固定尺度；

将缩放后的RGB图像输入卷积神经网络，得到物体的分割掩码、物体的三维模型坐标投影图，以及物体的三维模型表面区域注意力图，将所述物体的三维模型坐标投影与2D坐标图拼接得到2D-3D密集对应关系图；

将所述2D-3D密集对应关系图和表面区域注意力图同时输入到神经网络模块中进行直接回归得到目标物体的6D姿态。

本发明实施例的基于深度卷积神经网络的单目6D姿态估计方法，根据2D目标检测器从RGB图片中得到的目标物体区域进行裁剪缩放，输入到深度卷积神经网络中，输出三种几何中间特征，包括物体的分割掩码，物体的三维模型坐标投影图，以及物体的三维模型表面区域注意力图。物体的三维模型坐标投影图和2D坐标图拼接可得到2D-3D密集对应关系图。将2D-3D密集对应关系图和表面区域注意力图这两种几何特征同时输入第二个较小的神经网络模块：Patch-PnP，直接回归得到物体的6D姿态。网络的两个模块均为可微分的神经网络，且充分利用了几何的中间特征，可以端到端地训练，在准确率高的同时有很快的推理速度。在多个数据基准的测试下，准确率、速度和鲁棒性均优于传统的几何间接方法和直接回归方法。