[发明专利]基于多模态感觉数据远程控制机器人平台

说明书

相关申请的交叉引用

本申请涉及同时提交的题为“Multi-Tread Vehicles and Methods of Operating Thereof”的美国专利申请(档案号16-0017-US-NP_BNGCP081US)和题为“Stereoscopic Camera and Associated Method of Varying a Scale of a Stereoscopic Image Pair”的美国专利申请(档案号15-2607-US-NP)，这两个专利申请的全部内容通过引用并入本文用于所有目的。

技术领域

本发明提供用于控制机器人平台的方法和系统，更具体地，根据一些实施例提供远程设置在受限空间中并且使用基于多模态感觉数据生成的远程和/或本地控制指令进行控制的机器人平台。

背景技术

机器人平台可以部署到对于直接的人工操作是不理想的各种环境中。包括机器人平台的远程操作的机器人系统可以被用于在此类环境中利用来自远程定位的操作者的一些输入来执行远程操作。然而，操作者对操作环境的感知受到系统的感觉保真度水平的限制。为了使此类系统有效，操作者必须在操作环境中利用足够且真实的感觉反馈有效地远程呈现。通常，提供给操作者的更高的感觉保真度产生在操作环境中的更大的存在感和由操作者提供的更有效的操作指令。另一方面，当一些感觉体验的缺乏导致有限的态势感知时，远程控制可能非常具有挑战性。在大多数常规的远程操作的机器人系统中，操作者具有关于实际操作环境的有限信息。主要的感觉反馈是视觉的。即使具有复杂的视觉系统的机器人平台也向其操作者提供有限的信息。人类自然地依靠多种感觉来了解他们的环境，而不仅仅是视觉。将操作者限制于视觉信息约束了操作者全面了解环境并提供必要指令的能力。此外，典型的远程机器人系统遭受所谓的“独眼视觉”。具体地，此类系统包括不提供双目立体视觉的单视场摄像机和显示器。深度线索对于理解环境并在该环境中执行各种操作(诸如操纵任务)至关重要，并且对于精细的操纵任务更是如此。引进的每种变形损害操作者精确工作的能力，并且可能导致长时间使用的疲劳。

发明内容

本发明提供用于远程控制在不适合直接的人类操作的受限空间或其他类似空间中的机器人平台的方法和系统。使用多模态感觉数据来实现控制，所述多模态感觉数据包括至少两种感觉响应类型，诸如双目立体视觉类型、双耳立体声音频类型、力反射触觉操纵类型、触觉类型等。多模态感觉数据通过定位在受限空间中的机器人平台获得并且被传送到受限空间外部的远程控制站，其中多模态感觉数据被用于生成受限空间的表示。多模态感觉数据可以被用于为远程控制站的操作者提供多感觉高保真度远程呈现并且允许操作者提供更准确的用户输入。该输入可以被传送到机器人平台以在受限空间内执行各种操作。

在一些实施例中，提供用于基于多模态感觉数据远程控制机器人平台的方法。该方法可以包括定位机器人平台，将机器人平台通信地耦连到远程控制站，使用机器人平台的两个或更多个传感器获得多模态感觉数据，传送多模态感觉数据的至少一部分，以及在机器人平台处从远程控制站接收远程控制指令。多模态感觉数据可以包括至少两种感觉响应类型。所述至少两种感觉响应类型可以选自包含双目立体视觉类型、双耳立体声音频类型、力反射触觉操纵类型以及触觉类型的组。在该方法的执行期间获得多模态感觉数据并传送多模态感觉数据可以被连续地重复。该方法可以涉及增加从远程控制站接收的远程控制指令。在一些实施例中，结构是飞行器机翼。

在一些实施例中，机器人平台被定位在结构的受限空间中。当机器人平台被定位在受限空间中时，可以执行传送多模态感觉数据的至少一部分。

在一些实施例中，该方法进一步包括基于多模态感觉数据在机器人平台处生成本地控制指令。该方法还可以包括基于本地控制指令使用机器人平台在受限空间内执行一个或多个操作。

在一些实施例中，多模态感觉数据包括至少双目立体视觉类型、双耳立体声音频类型和力反射触觉操纵类型。在这些实施例中，一个或多个操作可以包括对结构的部件钻孔。

在一些实施例中，多模态感觉数据可以包括至少双目立体视觉类型、双耳立体声音频类型、力反射触觉操纵类型以及触觉类型。在这些实施例中，一个或多个操作包括将紧固件安装到结构中。

在一些实施例中，该方法进一步包括在传送多模态感觉数据的至少一部分之前增加多模态感觉数据。该方法还可以包括选择多模态感觉数据的至少一部分以用于传送。