[发明专利]位姿估计网络训练及定位方法、装置、设备、存储介质

权利要求书

1.一种位姿估计网络训练方法，其特征在于，所述方法包括：

获取样本图像集；其中，所述样本图像集中的真实样本图像包括预设类别的样本对象，所述真实样本图像为对所述样本对象所属的原始图像进行目标检测得到的；

以各所述真实样本图像为基准，对各所述真实样本图像中的所述样本对象的目标检测结果进行随机采样，获取各所述真实样本图像中的所述样本对象的至少一个随机采样样本图像；

基于各所述真实样本图像中的所述样本对象的置信度图、在标准坐标系下的坐标图、在相机坐标系下的深度图，以及，所述样本对象的至少一个随机采样样本图像对位姿估计网络进行训练，得到训练好的位姿估计网络；其中，所述标准坐标系为基于所述样本对象在所述真实样本图像中的位置和朝向建立的坐标系；所述位姿估计网络用于基于输入的图像，估计所输入的对象的置信度图、所输入的对象在标准坐标系下的坐标图，以及，所输入的对象在相机坐标系下的深度图；

所述以各所述真实样本图像为基准，对各所述真实样本图像中的所述样本对象的目标检测结果进行随机采样，获取各所述真实样本图像中的所述样本对象的至少一个随机采样样本图像，包括：

获取所述真实样本图像的中心点的二维坐标，以及，所述真实样本图像的长与宽，所述二维坐标包括所述中心点在x轴上的第一取值和在y轴上的第二取值；

从所述第一取值的概率分布中随机采样第一采样值，从所述第二取值的概率分布中随机采样第二采样值，并从第三取值的概率分布中随机采样第三采样值；其中，所述第三取值为所述长与所述宽中的最大值；

以所述第三采样值作为所述样本对象的随机采样检测框，所述第一采样值作为所述随机采样检测框的中心点在x轴上的取值，所述第二采样值作为所述随机采样检测框的中心点在y轴上的取值，得到初始随机采样样本图像；

将所述初始随机采样样本图像缩放至预设尺寸，得到所述随机采样样本图像。

2.根据权利要求1所述的方法，其特征在于，所述初始随机采样样本图像的边界超出所述真实样本图像的边界的部分使用预设像素值填充。

3.根据权利要求1-2任一项所述的方法，其特征在于，所述坐标图的损失函数包括用于计算对称结构的样本对象的坐标图的损失函数、用于计算非对称结构的样本对象的坐标图的损失函数；

若所述样本对象在所述真实样本图像中为对称结构，则所述坐标图的损失函数为所述样本对象的第二坐标图与所述样本对象的多个第一坐标图之间的损失函数的最小值；所述多个第一坐标图为对所述样本对象的基准坐标图进行旋转得到，各所述第一坐标图的旋转角度不同，所述样本对象的基准坐标图为所述样本对象在标准坐标系下旋转角度为0的第一坐标图。

4.根据权利要求3所述的方法，其特征在于，所述坐标图的损失函数与第一置信度图相关；所述第一置信度图表示样本对象的真实置信度图。

5.一种位姿定位方法，其特征在于，所述方法包括：

获取待检测的原始图像和待检测对象在相机坐标系下的深度图，所述原始图像包括所述待检测对象，所述待检测对象属于预设类别的对象；

对所述原始图像进行目标检测，得到所述待检测对象的图像；

将所述待检测对象的图像输入至训练好的位姿估计网络中，得到所述待检测对象的置信度图和所述待检测对象在标准坐标系下的坐标图；其中，所述训练好的位姿估计网络为采用如权利 要求1-4任一项所述的方法训练得到的位姿估计网络，所述标准坐标系为基于所述待检测对象在所述待检测对象的图像中的位置和朝向建立的坐标系；

以所述待检测对象的置信度图作为约束条件，将所述待检测对象的坐标图与所述待检测对象在相机坐标系下的深度图对齐，以获取所述坐标图的旋转矩阵的变化量，以及，位移矩阵的变化量；

将所述旋转矩阵的变化量累加至所述坐标图的旋转矩阵，并将所述位移矩阵的变化量累加至所述坐标图的位移矩阵，得到所述待检测对象更新后的旋转矩阵，以及，更新后的位移矩阵；所述更新后的旋转矩阵和所述更新后的位移矩阵用于表征所述待检测对象的位姿。