[发明专利]一种实时高效的6D姿态估计网络、构建方法及估计方法

说明书

本发明公开了一种实时高效的6D姿态估计网络、构建方法及估计方法，属于计算机视觉技术领域，涉及6D姿态估计领域，利用多向特征融合金字塔网络MFPN用于将特征进行融合和表达，多向特征融合金字塔网络MFPN可以有效的表示和处理多尺度特征，并且能够有效处理遮挡和背景复杂的情况，以跨阶段局部网络CSPNet作为基本模块，并融合YOLO框架，构建了一个能够有效提取特征的骨干网络，然后与多向特征融合金字塔网络MFPN相结合，最终设计了用于6D姿态估计的新网络MFPN‑6D，可以有效解决物体纹理不足和遮挡问题，提高了模型的预测精度和计算速度，也增强了鲁棒性。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种实时高效的6D姿态估计网络、构建方法及估计方法。

背景技术

6D姿态估计是指估计相机坐标系下物体的6D位姿，即3D位置和3D姿态，此时原始物体本身的坐标系可以看作是世界坐标系，也即得到原始物体所在世界系到相机系的R T变换。刚体是指物体不会发生形变。刚体的6D位姿估计的意义在于能够获得物体的精确姿态，支撑对于物体的精细操作，主要应用于机器人抓取领域和增强现实领域。6D姿势估计的最新研究趋势是训练一个深度神经网络，以直接从图像中预测3D关键点的2D投影位置，建立对应关系，最后使用Pespecctive-n-Point(PnP)算法进行姿势估计。姿态估计当前面临的挑战是，当物体纹理少，存在遮挡和场景混乱的情况时，检测精度将降低，并且现有的大多数计算模型较大且不能满足实时要求。

相关技术的6D姿态估计方法主要分为两种：基于深度信息(RGB-D)或基于图像信息(RGB)。尽管当前使用RGB-D相机进行姿势估计的方法很可靠，但深度相机仅适用于室内场景和电力不足的情况。相反，RGB摄像机适用于更大范围的场景并节省电量。在基于图像领域内，对物体的6D姿态估计算法有以关键点匹配和边缘匹配的方法，虽然可以有效处理纹理丰富的物体，但是无法处理无纹理或者纹理很少的物体。为了解决这个问题，最近在姿势估计中使用了基于深度学习的方法。例如：BB8和PVNet，这些算法通过训练深度神经网络来预测2D-3D对应关系，并通过PnP算法进一步求解姿势。尽管它们已经取得了良好的性能，但是这些方法要么需要后期处理阶段，并且很难做到实时性要求。一些算法在速度方面已经取得了不错的结果，例如：YOLO-6D，但是该方法对处理存在遮挡的物体和小物体时效果很差。

因此，相关技术关于6D姿态估计研究存在的缺点有以下两个方面：当目标物体纹理少，存在遮挡和复杂场景的情况时，会导致检测精度降低，甚至无法检测；现有的大多数计算方法所需要的参数量很大，导致了模型较大，并且大多无法满足实时性要求。

发明内容

为了解决现有技术中的问题，本发明提供了一种实时高效的6D姿态估计网络、构建方法及估计方法，能够有效地解决当物体表面纹理不足或者有其他物体遮挡目标物体的问题，在提高检测精度的同时兼顾速度，并且拥有较高的鲁棒性。

为了实现以上目的，本发明提供了一种实时高效的6D姿态估计网络，包括多向特征融合金字塔网络和骨干网络，所述多向特征融合金字塔网络和所述骨干网络相组合形成所述6D姿态估计网络，所述多向特征融合金字塔网络用于将特征进行融合和表达，所述骨干网络用于特征提取。

进一步地，所述多向特征融合金字塔网络包括残差结构，所述残差结构融合到所述多向特征融合金字塔网络的前向传播和垂直传播中。

进一步地，所述骨干网络以CSPNet网络作为基础模块，并融合YOLO框架。

进一步地，所述6D姿态估计网络的总数据集包括LINEMOD标准数据集和Occluded-LINEMOD标准数据集，所述6D姿态估计网络在所述LINEMOD标准数据集和所述Occluded-LINEMOD标准数据集上进行训练和验证。