[发明专利]物体姿态估计方法、装置与设备

说明书

本发明提供一种物体姿态估计方法、装置与设备，涉及计算机视觉技术领域，用于提高物体姿态估计的鲁棒性。其中该方法包括：采用预先训练的多层次特征提取网络模型对目标物体的目标图像进行预测，得到目标物体的关键点坐标信息；然后根据目标物体的关键点坐标信息和目标物体的关键点的空间位置关系，确定相机相对于物体的坐标转换关系，其中，多层次特征提取网络模型用于对三维物体的二维图像采用多层特征提取网络进行特征提取后，对各层特征提取网络的输出特征图进行特征融合得到目标特征图，然后对目标特征图进行姿态回归预测，得到三维物体的关键点在二维图像上的投影坐标。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种物体姿态估计方法、装置与设备。

背景技术

随着信息技术与人工智能的发展，社会对自动化和智能化等要求日益强烈，虚拟现实、自动驾驶和机器人等技术也越来越被重视。其中，基于单目视觉的物体姿态估计技术可以解决摄像机相对于物体的姿态信息，依据该姿态信息可以构建出物体周围的空间形状，因此在虚拟现实、自动驾驶和机器人等技术中扮演着重要地位。

目前基于单目视觉的物体姿态估计方法主要分为两类：第一类是针对弱纹理物体的姿态估计方法，第二类是针对点云数据的物体姿态估计方法。其中，第一类方法的主要思路是首先通过卷积神经网络提取物体的关键点信息，然后对关键点信息构建物体三维姿态框，通过姿态框中的关键点集合坐标和物体模型中已知物体的姿态点坐标进行EPNP算法解算，解算出物体相对于相机的旋转矩阵R和偏移矩阵t，由R和t构成的转换矩阵就是物体姿态信息。

第二类方法的主要流程是通过设计的点云卷积等一系列的深度学习算法对点云数据进行特征抽取，获得物体特征信息；然后对不同区域的特征打上不同的标签；再利用上述具有标签的物体特征信息对网络模型进行训练，采用训练获得的网络模型对点云数据进行坐标轴预测；最后通过获得的预测点和原物体模型进行对比分析，得到目标物体相对于摄像机的姿态信息。

然而，目前的物体姿态估计方法都只考虑了如何融合多种信息，这些方法对于有远近变化的单目相机来说，估计物体姿态信息较为困难，因而鲁棒性较低。

发明内容

有鉴于此，本发明提供一种物体姿态估计方法、装置与设备，用于提高物体姿态估计的鲁棒性。

为了实现上述目的，第一方面，本发明实施例提供一种物体姿态估计方法，包括：

采用预先训练的多层次特征提取网络模型对目标物体的目标图像进行预测，得到所述目标物体的关键点坐标信息；其中，所述多层次特征提取网络模型用于对三维物体的二维图像采用多层特征提取网络进行特征提取后，对各层特征提取网络的输出特征图进行特征融合得到目标特征图，然后对所述目标特征图进行姿态回归预测，得到所述三维物体的关键点在所述二维图像上的投影坐标；所述目标物体的关键点坐标信息包括所述目标物体的关键点在所述目标图像上的投影坐标；

根据所述目标物体的关键点坐标信息和所述目标物体的关键点的空间位置关系，确定相机相对于物体的坐标转换关系。

作为本发明实施例一种可选的实施方式，在所述采用预先训练的多层次特征提取网络模型对目标物体的二维图像进行预测之前，所述方法还包括：

对获取的多个样本物体的各样本图像进行图像预处理和数据增强处理，得到目标样本图像集，所述目标样本图像集中包括多个所述样本物体的多个目标样本图像；

根据所述目标样本图像集和获取的样本图像对应的标签数据，生成样本集，所述样本集中的样本包括样本物体的目标样本图像和所述样本物体的多个关键点在所述样本物体的目标样本图像上的投影坐标；

采用所述样本集训练初始多层次特征提取网络模型，得到所述多层次特征提取网络模型。

作为本发明实施例一种可选的实施方式，所述对获取的多个样本物体的各样本图像进行图像预处理和数据增强处理，得到目标样本图像集，包括：