[发明专利]物体姿态估计方法、装置与设备

权利要求书

1.一种物体姿态估计方法，其特征在于，包括：

采用预先训练的多层次特征提取网络模型对目标物体的目标图像进行预测，得到所述目标物体的关键点坐标信息；其中，所述多层次特征提取网络模型用于对三维物体的二维图像采用多层特征提取网络进行特征提取后，对各层特征提取网络的输出特征图进行特征融合得到目标特征图，然后对所述目标特征图进行姿态回归预测，得到所述三维物体的关键点在所述二维图像上的投影坐标；所述目标物体的关键点坐标信息包括所述目标物体的关键点在所述目标图像上的投影坐标；

根据所述目标物体的关键点坐标信息和所述目标物体的关键点的空间位置关系，确定相机相对于物体的坐标转换关系。

2.根据权利要求1所述的方法，其特征在于，在所述采用预先训练的多层次特征提取网络模型对目标物体的二维图像进行预测之前，所述方法还包括：

对获取的多个样本物体的各样本图像进行图像预处理和数据增强处理，得到目标样本图像集，所述目标样本图像集中包括多个所述样本物体的多个目标样本图像；

根据所述目标样本图像集和获取的样本图像对应的标签数据，生成样本集，所述样本集中的样本包括样本物体的目标样本图像和所述样本物体的多个关键点在所述样本物体的目标样本图像上的投影坐标；

采用所述样本集训练初始多层次特征提取网络模型，得到所述多层次特征提取网络模型。

3.根据权利要求2所述的方法，其特征在于，所述对获取的多个样本物体的各样本图像进行图像预处理和数据增强处理，得到目标样本图像集，包括：

对于每个样本物体的每个样本图像，根据所述样本物体的所述样本图像和所述样本物体的掩码图像提取出所述样本物体在所述样本图像中对应的目标图像区域；

将所述目标图像区域与目标背景图像进行融合，生成所述样本物体的预处理图像；

对各所述样本物体的预处理图像进行数据增强处理，生成各所述样本物体的目标样本图像。

4.根据权利要求1所述的方法，其特征在于，训练所述多层次特征提取网络模型采用的损失函数是根据所述各层特征提取网络的特征损失和特征融合损失确定的。

5.根据权利要求4所述的方法，其特征在于，所述多层次特征提取网络模型的损失函数的计算公式如下：

其中，Loss表示多层次特征提取网络模型的损失函数，n表示特征提取网络的层数，F_i表示第i层特征提取网络的输出特征图，F_o表示目标特征图，L表示特征图的损失函数，L的计算公式如下：

其中，L(F)表示特征图F的损失函数，(x′_Fj,y′_Fj)表示特征图F的姿态回归预测结果中第j个关键点在输入的二维图像上的投影坐标，(x_j,y_j)表示第j个关键点在输入的二维图像上的投影坐标真值，m表示关键点数量。

6.根据权利要求1所述的方法，其特征在于，所述多层次特征提取网络模型采用如下公式对各层特征提取网络的输出特征图进行特征融合得到目标特征图：

其中，F_o表示目标特征图，α_i表示第i层特征提取网络的输出特征图的注意力系数，n表示特征提取网络的层数，F_i表示第i层特征提取网络的输出特征图，Φ(F_i)表示第i层特征提取网络的输出特征图的处理函数，Φ(F_i)的计算公式如下：

其中，C表示滤波器的数量，W_c表示第c个滤波器，F_ic表示第i层特征提取网络的第c个通道的输出特征图。