[发明专利]辅助被遮挡对象的操纵

说明书

本申请公开辅助被遮挡对象的操纵。提供了一种系统。所述系统包括相机和加油飞机以获得具有用于给受油飞机加油的插口的受油飞机的图像。该系统还包括在加油飞机上的处理器，以确定受油飞机相对于相机的定向和位置、加油飞机的所述加油吊臂和受油飞机的插口的分离距离和相应位置。所述处理器还生成加油吊臂和具有插口的受油飞机的3D模型的侧视透视图的显示。该侧视透视图的显示说明相对于插口的当前位置的加油吊臂的当前位置，该说明使得加油飞机上的操作者能够观察和引导加油吊臂到插口。

技术领域

本公开大体涉及辅助被遮挡对象的操纵，并且具体地，涉及使用被遮挡对象的3D模型辅助被遮挡对象的操纵。

背景技术

使用人类视觉或相机来直接查看场景有时是不可能的，因为视角被中间对象遮挡或者因为不可能将观察者定位成具有至感兴趣场景的清晰视线(LOS)。有时，人类可能会尝试在空间上操纵被遮挡的对象或不能够被容易地查看的对象。一种解决方案使用合成或增强视觉系统来人为地增强场景可见性和信息内容。然而，该解决方案没有利用基于模型的场景生成的无约束性质，并且通常受限于来自传感器的图像内的信息内容的简单增强。另一种解决方案使用视觉引导的机器人系统来协助操纵机器人伺服系统中的对象。同样地，这个解决方案没有利用通过场景中对象的3D模型的知识而获得的优势。

因此，期望具有一种系统和方法，其考虑至少一些上述问题以及其他可能的问题。

发明内容

本公开的示例实施方式涉及辅助被遮挡对象的操纵。示例实施方式可以使操作者能够通过使用场景中的对象的3D模型动态地生成可视化来实时地观察场景中的被遮挡对象。示例实施方式可以为致动器(例如加油飞机或运油吊臂)的操作者提供3D空间中可视化交互的能力，其以其他方式无法被观察到。此外，示例实施方式可以提供对以其它方式可能未被注意到的碰撞的指示。此外，示例实施方式可用于制造或服务中，用于需要操纵工具但不能直接查看的情况。

因此，本公开包括但不限于以下示例实施方式。

一些实例实施方式提供一种用于辅助加油飞机的加油吊臂的操纵的系统，该系统包括：加油飞机上的相机，其被配置为获得具有用于给受油飞机加油的插口的受油飞机的图像；以及加油飞机上的处理器，其联接到相机并且被配置为至少：使用姿势估计算法和受油飞机图像上的点与受油飞机的3D模型上的对应点之间的已知关系，从受油飞机的图像上的点确定受油飞机相对于相机的定向和位置；基于受油飞机的定向和位置，确定加油飞机的加油吊臂和受油飞机的插口的分离距离和相应位置；以及使用加油吊臂和插口的分离距离和相应位置，在加油飞机中的显示设备上生成显示，该显示是加油吊臂的3D模型和具有插口的受油飞机的3D模型的侧视透视图，从而说明了从位于加油吊臂旁边的虚拟相机的视点来看的相对于插口的当前位置的加油吊臂的当前位置，其中，说明了相对于插口的当前位置的加油吊臂的当前位置的侧视透视图的显示使得加油飞机上的操作者能够观察和引导加油吊臂到插口。

在根据任何在前实施方式或在前实施方式的任何组合所述的系统的一些示例实施方式中，其中被配置为生成显示的处理器包括被配置为基于加油吊臂和插口的分离距离和相应位置，检索并定向加油吊臂的3D模型和受油飞机的3D模型的位置。

在根据任何在前实施方式或在前实施方式的任何组合所述的系统的一些示例实施方式中，其中该处理器被配置为生成显示包括被配置为在该侧视透视图上覆盖标记，该标记指示加油吊臂和受油飞机之间的碰撞点。

在根据任何在前实施方式或在前实施方式的任何组合所述的系统的一些示例实施方式中，该系统还包括存储设备，该存储设备包括加油吊臂的3D模型和受油飞机的3D模型。

在根据任何在前实施方式或在前实施方式的任何组合所述的系统的一些示例实施方式中，其中加油飞机的加油吊臂的相应位置包括加油吊臂的位置，并且处理器被配置为确定分离距离和相应位置包括被配置为使用加油吊臂上的一个或更多个传感器来确定加油吊臂的位置。