[发明专利]用于借助多任务学习确定对象在对象的周围环境中的姿势的方法和控制设备

说明书

本发明涉及一种用于确定对象在其周围环境中的姿势的方法，其中借助光学采集设备来采集对象以及其周围环境作为当前图像(x_i)，并且借助光学图像分析来确定对象的姿势，并且其中借助神经网络(1)将对象的姿势确定为神经网络(1)的输出，其中借助通过使用姿势回归(L_pose)和描述符学习(L_d)的多任务学习(L_MTL)来训练神经网络(1)，该描述符学习通过使用三元组损失函数(L_triplet)和成对损失函数(L_pair)来确定，其中姿势回归(L_pose)借助四元数来确定，三元组损失函数(L_triplet)依据动态裕度项(m)来确定并且成对损失函数(L_pair)仅作为锚定函数来确定。

技术领域

本发明涉及一种用于确定对象在其周围环境中的姿势的方法。借助光学采集设备来采集对象以及其周围环境作为当前图像，并且借助光学图像分析来确定对象的姿势。借助神经网络将姿势确定为神经网络的输出。借助通过姿势回归和描述符学习的多任务学习来训练神经网络，该描述符学习通过使用三元组损失函数(Triplet-wise-Loss-Funktion)和成对损失函数(Pair-wise-Loss-Funktion)来确定。此外，本发明涉及一种控制设备。

背景技术

在计算机视觉领域中，对对象的姿势的确定已经是已知的。例如，可以借助2D视图专用模板(2D-View-spezifische Vorlage)来执行对象识别和姿势估计。通过针对一组已知的视图来计算手动产生的属性表示，可以为具有未知类别和姿势的给定模板找到最相似的对应。

同样已知，使用基于学习的方法来面对该问题，而不是依赖于手动产生的属性，从而能够推断出更多描述性和鲁棒性的属性表示来查询对象位置。例如，Kehl等人的“DeepLearning of Local RGB-D Patches of 3D Object Detection and 6D PoseEstimation，3D对象识别和6D姿势估计的局部RGB-D补丁的深度学习”描述了自动编码器的使用以便学习针地RGB-D图像补丁的属性描述符(Eigenschafts-Deskriptor)。

Wohlhart和Lepetit在他们的公开“Learning Descriptors for ObjectRecognition and 3D Pose Estimation，用于对象识别和3D姿势估计的学习描述符”中提出了利用神经网络来扩展这种描述符学习的思路。通过在来自彼此靠近的相似视图的图像之间和来自相距较远的不同对象的图像之间实施欧几里得损失，可以将对象的身份和姿势信息存储在高度可分离的属性描述符中。可以通过搜索最近的邻居来估计给定的测试图像的姿势，以便找到对象的最靠近的相应姿势。该方法的主要缺点之一是，该方法没有考虑平面的旋转，这在实际中很少是这种情况。

用于估计对象位置和用于照相机定位的现代方法提出了，依赖于像素到3D点的对应关系预测(Pixel-zu-3D-Punkt-Korrespondenzvorhersage)，其基于“森林”分类方法并且基于迭代姿势细化。

新的方法再次引入了直接回归方法，以便回归针对内部和外部图像的照相机的位置和取向。尽管该方法通常能够仅利用一个RGB图像作为输入信号就导出照相机的六个自由度，但其精确度明显低于上面提到的方法基于像素到3D点的对应关系预测所能达到的精确度。

Bui等人的公开“X-Ray PoseNet:6 DoF Pose Estimation for Mobile X-RayDevices，X-Ray PoseNet：移动X射线设备的6DoF姿势估计”中使用了一种使用了一种回归方法，用于预测移动X射线系统的几何参数，以便可以计算以断层成像方式重建的体积。除了通过姿势来损失来训练模型之外，还附加地在使用当前姿势估计的情况下使用现场试验的X射线投影图像与预测图像之间的重建损失，以针对模型的最终应用(断层成像的重建)来改进模型。