[发明专利]姿态编码器训练及姿态估计方法及装置

说明书

本公开涉及一种姿态编码器训练及姿态估计方法及装置，所述姿态编码器包括编码网络及解码网络，该方法包括：对训练集中的样本图像进行目标检测，确定所述样本图像中的第一目标以及所述第一目标的第一图像区域；通过编码网络对第一图像区域进行特征提取，得到第一目标的第一特征信息；通过解码网络对第一特征信息进行处理，确定第一目标的预测特征图；根据第一目标的预测特征图以及标注特征图，训练姿态编码器。本公开的实施例使用包括目标的姿态信息的标记特征图，对姿态编码器进行训练，可提高姿态编码器中编码网络特征提取的准确性，进而提高姿态估计的准确性。

技术领域

本公开涉及计算机技术领域，尤其涉及一种姿态编码器训练及姿态估计方法及装置。

背景技术

物体姿态估计可从物体图像中估计出物体相对相机的姿态信息，在“机器人作业”、“自动驾驶”、“增强现实”等领域中起着重要作用。自编码器作为一种直接的物体姿态估计方法，在近年来取得了较大发展。

自编码器包括编码器和解码器两部分。在训练过程中，编码器负责将输入的物体图像转换为特征向量，而解码器尽可能地从特征向量中恢复出输入的物体图像。该训练是以重建输入的物体图像为目的，物体的姿态信息并未直接参与到自编码器的训练中。由于物体普遍存在对称性，物体在不同姿态下可能呈现出相近的外观，以重建物体图像为目的的自编码器，会将具有相近外观的多个不同姿态的物体的图像编码成相似的特征向量，从而在姿态估计过程中出现特征混淆，导致姿态估计的准确性较差。

发明内容

有鉴于此，本公开提出了一种姿态编码器训练及姿态估计方法及装置。

根据本公开的一方面，提供了一种基于三维坐标的姿态编码器训练方法，所述姿态编码器包括编码网络及解码网络，所述方法包括：

对训练集中的样本图像进行目标检测，确定所述样本图像中的第一目标以及所述第一目标的第一图像区域，其中，所述训练集中包括多个样本图像及所述多个样本图像中的第一目标的标注特征图，所述标注特征图用于表示所述第一目标在所述样本图像中可见部分的三维坐标；

通过所述编码网络对所述第一图像区域进行特征提取，得到所述第一目标的第一特征信息；

通过所述解码网络对所述第一特征信息进行处理，确定所述第一目标的预测特征图；

根据所述第一目标的预测特征图以及标注特征图，训练所述姿态编码器。

在一种可能的实现方式中，所述预测特征图包括三个通道，所述三个通道分别表示所述第一目标在所述第一图像区域中的可见部分的三维坐标。

在一种可能的实现方式中，所述方法还包括：

通过所述解码网络对所述第一特征信息进行处理，确定所述第一目标的预测图像；

根据所述第一目标的预测特征图、标注特征图、第一图像区域及预测图像，训练所述姿态编码器。

在一种可能的实现方式中，根据所述第一目标的预测特征图、标注特征图、第一图像区域及预测图像，训练所述姿态编码器，包括：

根据所述第一目标的预测特征图与标注特征图之间的差异，确定第一损失；

根据所述第一目标的第一图像区域与预测图像之间的差异，确定第二损失；

根据预设权重、所述第一损失以及所述第二损失，确定所述姿态编码器的网络损失；

根据所述网络损失，调整所述姿态编码器的网络参数。

在一种可能的实现方式中，通过所述编码网络对所述第一图像区域进行特征提取，得到所述第一目标的第一特征信息，包括：

根据预设的图像尺寸，对所述第一图像区域进行调整，得到调整后的第一图像区域；