[发明专利]位姿预测方法、模型训练方法及装置

说明书

本公开涉及一种姿态预测方法、模型训练方法及装置，姿态预测方法包括对待预测的第一图像进行目标识别，确定出目标物体所在区域；根据目标物体所在区域，确定目标图像；将目标图像输入姿态解耦预测模型，进行姿态预测；分别根据姿态解耦预测模型的旋转量分支网络的输出结果和平移量分支网络的输出结果，确定目标物体的旋转量和平移量。通过对物体姿态中的旋转和平移进行解耦，根据本公开实施例的姿态预测方法、模型训练方法及装置能够提高姿态预测的准确性。

技术领域

本公开涉及计算机视觉领域，尤其涉及一种姿态预测方法、模型训练方法及装置。

背景技术

物体姿态估计在机器人作业、自动驾驶、增强现实等方面起着至关重要的作用。物体姿态估计指的是从图片中准确估计出目标物体相对相机的姿态信息。姿态信息通常包括旋转量和平移量，其中旋转量可以表示相机坐标系相对于目标物体坐标系的旋转关系，平移量可以表示相机坐标系原点相对于目标物体坐标系原点的平移信息。

物体姿态估计很容易受到遮挡、光照变化、物体具有的对称性等因素的影响，准确估计出相机相对于目标物体的旋转量和平移量具有很大的挑战性。相关技术中，难以同时对旋转量和平移量达到高准确率的估计。

发明内容

有鉴于此，本公开提出了一种姿态预测方法、模型训练方法及装置。

根据本公开的第一方面，提供了一种姿态预测方法，所述方法包括：对待预测的第一图像进行目标识别，确定出目标物体所在区域；根据所述目标物体所在区域，确定目标图像；将所述目标图像输入姿态解耦预测模型，进行姿态预测，所述姿态解耦预测模型包括基础网络、旋转量分支网络和平移量分支网络，所述基础网络用于从所述目标图像提取特征，所述旋转量分支网络用于根据所述特征对所述目标物体的旋转量进行预测，所述平移量分支网络用于根据所述特征对所述目标物体的平移量进行预测；分别根据所述旋转量分支网络的输出结果和所述平移量分支网络的输出结果，确定所述目标物体的旋转量和平移量。

根据本公开的第二方面，提供了一种模型训练方法，所述方法包括：对待训练的第三图像进行目标识别，确定出训练物体所在区域；对所述训练物体所在区域增加尺度扰动和位置扰动，得到扰动后的物体区域；从所述第三图像中截取扰动后的物体区域，得到第四图像；在保持训练物体长宽比例不变的情况下，将所述第四图像的尺寸变换至姿态解耦预测模型输入所需的尺寸，得到训练图像；将所述训练图像作为所述姿态解耦预测模型的输入，以训练所述姿态解耦预测模型。

根据本公开的第三方面，提供了一种姿态预测装置，所述装置包括：第一确定模块，用于对待预测的第一图像进行目标识别，确定出目标物体所在区域；第二确定模块，用于根据所述目标物体所在区域，确定目标图像；输入模块，用于将所述目标图像输入姿态解耦预测模型，进行姿态预测，所述姿态解耦预测模型包括基础网络、旋转量分支网络和平移量分支网络，所述基础网络用于从所述目标图像提取特征，所述旋转量分支网络用于根据所述特征对所述目标物体的旋转量进行预测，所述平移量分支网络用于根据所述特征对所述目标物体的平移量进行预测；第三确定模块，用于分别根据所述旋转量分支网络的输出结果和所述平移量分支网络的输出结果，确定所述目标物体的旋转量和平移量。

根据本公开的第四方面，提供了一种模型训练装置，所述装置包括：第一确定模块，用于对待训练的第三图像进行目标识别，确定出训练物体所在区域；扰动模块，用于对所述训练物体所在区域增加尺度扰动和位置扰动，得到扰动后的物体区域；截取模块，用于从所述第三图像中截取扰动后的物体区域，得到第四图像；变换模块，用于在保持训练物体长宽比例不变的情况下，将所述第四图像的尺寸变换至姿态解耦预测模型输入所需的尺寸，得到训练图像；输入模块，用于将所述训练图像作为所述姿态解耦预测模型的输入，以训练所述姿态解耦预测模型。

根据本公开的第五方面，提供了一种姿态预测装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述第一方面的方法。