[发明专利]提供远程机器人控制的方法和系统

说明书

显示与当前围绕机器人的物理环境相对应的虚拟化环境。根据从与所述机器人并置的传感器接收的流环境数据来更新虚拟化环境。检测在虚拟化环境中的第一位置处插入第一虚拟对象的第一用户输入。根据第一虚拟对象在第一位置处的插入来修改虚拟化环境。在第一位置的第一虚拟对象使得机器人在物理环境中执行第一导航路径。检测到第二用户输入，所述第二用户输入将第一虚拟对象沿着移动路径移动到虚拟化环境中的第二位置。移动路径受到虚拟化环境中的模拟曲面的约束，并且第二位置的第一虚拟对象使机器人在物理环境中执行修改后的导航路径。

相关申请的交叉引用

本申请要求2018年10月10日提交的第16/156,969号美国专利申请的优先权，在此通过引用以其公开整体并入本说明书中。

技术领域

本发明通常涉及机器人控制，包括但不限于提供混合主动式的远程机器人控制。

背景技术

如今，机器人被用来执行或协助以前由人类执行的许多任务。在某些情况下，由于机器人的运动和控制精度以及机器人高度可定制的设计和操作模式，导致机器人比人类更适合于某些任务。受远程控制的机器人的一些合适任务包括在危险环境(例如，自然灾害地区，有毒环境，病毒或辐射污染的环境等)中的任务。在某些示例中，一些高度重复和乏味的任务和/或体力劳动的任务，例如执行家务劳动，整理仓库库存，为残疾人和/或老年人提供常规护理和辅助等，都可以从机器人的辅助中获益良多。

尽管远程操作和完全自动化是如今广泛使用的两种机器人控制模式，但使用这两种控制模式可以执行的任务种类有限。例如，通过远程操作，一名人类操作员通过实时执行相应的控制运动来精确控制机器人的每一个动作，同时观看机器人操作场景的流式视频。远程操作的控制模式要求高度熟练的人类操作员实时充分参与(例如，身体上和精神上)到整个任务的执行过程中，这严重限制了它的用途和应用(例如，由于加在人类操作员上的负担和要求的原因)。全自动化控制模式要求将人工智能内置到机器人控制程序中，这无法适应高度变化的操作场景，限制了其用途和应用。

在混合主动式机器人控制模式中，人类操作员提供高级任务导向指令，并依赖于机器人的预编程来确定要实现高级指令所执行的精确运动和操作。混合主动式机器人控制减轻了落在人类操作员上的一些负担和要求，并充分利用了机器人在精度、耐力、鲁棒性和相对抗危险方面的能力。

提供促进远程混合主动式机器人控制的直观和高效的人机界面是具有挑战性的。在网络上实时支持对机器人的操作(例如导航和/或对象操纵)进行间接和/或间歇性干预的良好技术是迫切需要的。

发明内容

因此，迫切需要混合主动式机器人控制的技术，其中控制机器人的操作员可以实时将机器人感知到的3D场景可视化，并在较高级别上使用间接和/或间歇的指令和输入来指导机器人的动作(而不是远程操作来控制机器人)。在为机器人提供远程混合主动式控制时，用户会使用混合现实环境感知3D场景并提供导航输入。混合现实环境是机器人感知的物理环境的虚拟化表示以及放置在物理环境的虚拟化表示中的虚拟标记和虚拟对象的结合。所述技术在通过机器人与物理环境进行交互的过程中为用户提供了更多的自由和信息，例如实时切换视点、检查环境的选定部分、接收视觉信息的增强(例如纹理信息、物理属性信息、动作和外观历史记录等)。