[发明专利]基于自由形式自然语言输入控制机器人

权利要求书

1.一种由一个或多个处理器实现的方法，包括：

接收视觉数据实例，所述视觉数据实例基于来自机器人的视觉组件的一个或多个视觉传感器的输出生成，并且所述视觉数据实例捕获所述机器人的环境的至少一部分；

基于使用神经网络模型的至少一个视觉分支处理所述视觉数据实例来生成至少一个视觉嵌入；

接收自由形式自然语言输入，所述自由形式自然语言输入基于由用户经由一个或多个用户界面输入装置提供的用户界面输入生成；

基于使用所述神经网络模型的语言分支处理所述自由形式自然语言输入来生成自然语言嵌入；

基于使用所述神经网络模型的动作预测层对所述至少一个视觉嵌入和所述自然语言嵌入的处理来生成动作预测输出，其中所述动作预测输出指示将基于所述视觉数据实例和所述自由形式自然语言输入执行的机器人动作；以及

基于所述动作预测输出来控制机器人的一个或多个致动器，其中控制所述机器人的所述一个或多个致动器引起所述机器人执行由所述动作预测输出所指示的所述机器人动作。

2.根据权利要求1所述的方法，其中所述神经网络模型的所述语言分支包括双向存储网络和注意力层，并且其中基于使用所述神经网络模型的所述语言分支处理所述自由形式自然语言输入来生成所述自然语言嵌入包括：

基于使用所述双向存储网络处理所述自由形式自然语言输入来生成双向存储网络输出；

基于使用至少部分地以所述至少一个视觉嵌入为条件的注意力层处理所述双向存储网络输出来生成注意力加权双向存储网络输出；以及

基于对所述注意力加权双向存储网络输出的进一步处理来生成所述自然语言嵌入。

3.根据权利要求2所述的方法，其中基于对所述注意力加权双向存储网络输出的进一步处理来生成所述自然语言嵌入包括基于在所述神经网络模型的所述语言分支的至少一个附加前馈层上处理所述注意力加权双向存储网络输出来生成所述自然语言嵌入。

4.根据权利要求2或权利要求3所述的方法，其中在使用所述双向存储网络处理所述自由形式自然语言输入之后，所述注意力层还以所述双向存储网络的前向节点和后向节点的隐藏状态为条件。

5.根据权利要求2至4中任一项所述的方法，其中所述双向存储网络输出是在使用所述双向存储网络处理所述自由形式自然语言输入之后所述双向存储网络的所述前向节点和后向节点的级联输出。

6.根据权利要求2至5中任一项所述的方法，其中基于使用所述神经网络模型的所述至少一个视觉分支处理所述视觉数据实例来生成至少一个视觉嵌入包括：

生成所述至少一个视觉嵌入的深度嵌入，其中生成所述深度嵌入基于使用所述至少一个视觉分支的深度视觉分支处理所述视觉数据实例的深度数据；以及

生成所述至少一个视觉嵌入的语义嵌入，其中生成所述语义嵌入基于使用所述至少一个视觉分支的语义视觉分支处理所述视觉数据实例的语义数据。

7.根据权利要求6所述的方法，其中所述深度数据对于多个像素或体素组中的每一个包括对应的深度量度；并且其中所述语义数据对于所述多个像素或体素组中的每一个包括对应的语义标识符。

8.根据权利要求7所述的方法，其中所述多个像素或体素组中的每一个仅包括所述像素或体素中的对应单个。

9.根据权利要求2至8中任一项所述的方法，其中所述双向存储网络包括多个长短期存储单元或者包括多个门控循环单元。

10.根据前述权利要求中任一项所述的方法，其中所述机器人的所述视觉组件是立体相机或激光雷达(LIDAR)组件。

11.根据前述权利要求中任一项所述的方法，其中控制所述机器人的所述一个或多个致动器包括：

基于所述机器人动作，从与所述机器人的当前占用单元相邻的多个候选下一占用单元中选择所述机器人的下一占用单元；

控制所述一个或多个致动器以引起所述机器人移动到所选定的下一占用单元。