[发明专利]基于自由形式自然语言输入控制机器人

说明书

实施方式涉及使用深度强化学习来训练模型，所述模型可以在多个时间步长中的每个时间步长用于确定用于完成机器人任务的对应的机器人动作。附加地或可替代地，实施方式涉及在控制机器人中利用这种模型。利用这种模型在给定时间步长确定的机器人动作可以基于：在给定时间步长内与机器人相关联的当前传感器数据，以及由用户提供的自由形式自然语言输入。所述自由形式自然语言输入可以指导所述机器人任选地参考用于完成具体任务的一个或多个中间步骤来完成所述具体任务。例如，所述自由形式自然语言输入可以指导所述机器人参考在导航到具体地标时将遇到的一个或多个中间地标来导航到具体地标。

背景技术

许多机器人被编程以执行某些任务。例如，装配线上的机器人可以被编程以识别特定对象，并且对那些特定对象执行具体的操作。

此外，一些机器人可以响应于与特定任务相对应的明确的用户界面输入来执行特定任务。例如，吸尘机器人可以响应于“机器人，打扫”的语音执行一般的吸尘任务。然而，通常，引起机器人执行特定任务的用户界面输入必须明确映射到任务。因此，机器人可能无法响应于试图控制机器人的用户的各种自由形式自然语言输入而执行特定任务。例如，机器人可能无法基于用户提供的自由形式自然语言输入而导航到目标位置。例如，机器人可能无法响应于“走出去，向左转并穿过走廊尽头的门”的用户请求而导航到具体位置。

发明内容

本文所公开的实施方式利用深度强化学习来训练模型(例如，深度神经网络模型)，所述模型可以在多个时间步长中的每个时间步长用于确定用于完成机器人任务的对应的机器人动作。附加地或可替代地，实施方式涉及在控制机器人中利用这种模型。利用这种模型在给定时间步长确定的机器人动作可以基于：在给定时间步长内与机器人相关联的当前传感器数据，以及由用户提供的自由形式自然语言输入。与所述机器人相关联的所述当前传感器数据可以包括例如当前的视觉数据实例，所述视觉数据实例基于来自机器人的视觉组件的一个或多个视觉传感器的输出生成，其中所述当前的视觉数据实例捕获所述机器人的环境的至少一部分。由所述用户提供的所述自由形式自然语言输入可以例如指导所述机器人任选地参考用于完成具体任务的一个或多个中间步骤(并且任选地仅参考(一个或多个)中间步骤)来完成所述具体任务。例如，所述自由形式自然语言输入可以指导所述机器人参考在导航到具体地标时将遇到的一个或多个中间地标来导航到所述具体地标。

在一些实施方式中，模型的一个或多个状态分支用于在给定时间步长内处理当前传感器数据，并且生成关于给定时间步长内的一个或多个状态表示(例如，嵌入)。例如，可以使用一个或多个视觉分支处理视觉数据实例，以生成关于给定的时间步长内的至少一个视觉嵌入。此外，模型的自然语言分支用于处理自由形式自然语言输入以生成自然语言表示。在给定的时间步长内的自然语言表示可以任选地基于处理过程中的注意力加权，所述注意力加权基于在给定的时间步长内的状态表示中的一个或多个。更进一步，可以在模型的策略网络上处理自然语言表示和(一个或多个)状态表示，以确定在给定的时间步长内待实现的机器人动作。如上所述，深度强化学习可以用于训练策略网络，并且任选地用于联合训练状态表示和自然语言分支的至少一部分(例如，注意力功能)。以这些和其他方式，训练过的模型可以基于在时间步长内与机器人相关联的当前状态并且基于由用户提供的自由形式自然语言输入，使得能够在多个时间步长中的每个时间步长确定并实现对应的机器人动作。通过多个时间步长的机器人动作的实施，机器人可以完成由自由形式自然语言输入所指示的任务。训练过的模型在生成动作预测输出时可以有选择地关注于与当前视觉上下文有关的自然语言输入的部分，这可以导致在遵循自然语言指令时机器人的成功率的提高。