[发明专利]位姿预测方法、模型训练方法及装置

权利要求书

1.一种姿态预测方法，其特征在于，所述方法包括：

对待预测的第一图像进行目标识别，确定出目标物体所在区域；

根据所述目标物体所在区域，确定目标图像；

将所述目标图像输入姿态解耦预测模型，进行姿态预测，所述姿态解耦预测模型包括基础网络、旋转量分支网络和平移量分支网络，所述基础网络用于从所述目标图像提取特征，所述旋转量分支网络用于根据所述特征对所述目标物体的旋转量进行预测，所述平移量分支网络用于根据所述特征对所述目标物体的平移量进行预测，所述旋转量分支网络的输出结果包括三通道的物体坐标图，所述物体坐标图的三个通道分别代表预测的目标物体在三维坐标系中所在位置的三个维度的坐标值；

分别根据所述旋转量分支网络的输出结果和所述平移量分支网络的输出结果，确定所述目标物体的旋转量和平移量。

2.根据权利要求1所述的方法，其特征在于，根据所述目标物体所在的区域，确定目标图像包括：

从所述第一图像中截取所述目标物体所在区域，得到第二图像；

在保持目标物体长宽比例不变的情况下，将第二图像的尺寸变换至所述姿态解耦预测模型输入所需的尺寸，得到所述目标图像。

3.根据权利要求1所述的方法，其特征在于，所述旋转量分支网络的输出结果包括一通道的物体分割图，所述物体分割图用于从所述目标图像中分割出所述目标物体；

根据所述旋转量分支网络的输出结果确定所述目标物体的旋转量包括：

根据所述物体坐标图、所述物体分割图和所述目标物体所在区域在第一图像中的像素坐标，确定所述目标物体的旋转量。

4.根据权利要求1所述的方法，其特征在于，所述平移量分支网络的输出结果包括尺度不变平移量，所述尺度不变平移量为目标图像中目标物体的中心相对于目标图像中心的平移量，所述尺度不变平移量包括三个维度；

根据所述平移量分支网络的输出结果确定所述目标物体的平移量包括：

根据所述尺度不变平移量、所述目标物体所在区域的中心在第一图像中的像素坐标和尺寸以及相机的参数信息，确定所述目标物体的平移量。

5.一种模型训练方法，其特征在于，所述方法包括：

对待训练的第三图像进行目标识别，确定出训练物体所在区域；

对所述训练物体所在区域增加尺度扰动和位置扰动，得到扰动后的物体区域；

从所述第三图像中截取扰动后的物体区域，得到第四图像；

在保持训练物体长宽比例不变的情况下，将所述第四图像的尺寸变换至姿态解耦预测模型输入所需的尺寸，得到训练图像；

将所述训练图像作为所述姿态解耦预测模型的输入，以训练所述姿态解耦预测模型；

所述姿态解耦预测模型包括基础网络、旋转量分支网络和平移量分支网络，所述基础网络用于从所述训练图像提取特征；所述旋转量分支网络的输入为所述特征，所述旋转量分支网络的输出结果包括三通道的物体坐标图，所述物体坐标图的三个通道分别代表预测的目标物体三维点的三个坐标值；所述平移量分支网络的输入为所述特征。

6.根据权利要求5所述的方法，其特征在于，所述旋转量分支网络的输出结果包括一通道的物体分割图，所述物体分割图用于从所述训练图像中分割出所述目标物体；所述平移量分支网络的输出结果包括尺度不变平移量，所述尺度不变平移量为训练图像中训练物体的中心相对于目标图像中的平移量，所述尺度不变平移量包括三个维度。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

根据所述物体坐标图和所述物体分割图，确定第一损失函数；

根据所述尺度不变平移量，确定第二损失函数；

采用所述第一损失函数训练所述基础网络和所述旋转量分支网络；

在固定所述基础网络的参数和所述旋转量分支网络的参数的情况下，采用第二损失函数训练所述平移量分支网络；

采用所述第一损失函数和所述第二损失函数对所述基础网络、旋转量分支网络和所述平移量分支网络同时进行训练。