[发明专利]使用神经网络和几何感知对象表示的机器人抓取预测

权利要求书

1.一种由一个或多个处理器实施的机器人抓取预测方法，包括：

识别由机器人的视觉传感器捕获的当前图像，所述当前图像捕获所述机器人的末端效应器和将由所述机器人使用所述末端效应器抓取的对象；

确定所述末端效应器的候选抓取姿态；

生成捕获所述对象的所述当前图像或附加图像的编码；其中，生成所述编码包括使用训练后的神经网络编码器处理所述当前图像或所述附加图像，并且其中，所生成的编码对所述对象的几何特征进行编码；

将所述当前图像、所述候选抓取姿态和所述编码作为一个或多个输入应用于抓取结果预测网络，其中，所述抓取结果预测网络是训练后的神经网络模型；

基于所述一个或多个输入、使用所述抓取结果预测网络生成抓取结果预测；

确定所述抓取结果预测满足一个或多个标准；以及

响应于所述抓取结果预测满足一个或多个标准，向所述机器人的一个或多个致动器提供控制命令，以使所述末端效应器以所述末端效应器的候选抓取姿态尝试抓取所述对象。

2.根据权利要求1所述的方法，还包括：

使用所述编码和所述末端效应器的候选抓取姿态生成局部几何表示；以及

在生成所述抓取结果预测时，将所述局部几何表示包括在应用于所述抓取结果预测网络的一个或多个输入中。

3.根据权利要求2所述的方法，其中，生成所述局部几何表示包括从所述末端效应器的候选抓取姿态的参考系对所述编码执行密集采样。

4.根据权利要求1-3中任一项所述的方法，其中，所述编码对于所述视觉传感器的任何视觉传感器姿态都是不变的。

5.根据权利要求1-3中任一项所述的方法，其中，所述训练后的神经网络编码器是与三维神经网络解码器联合训练的。

6.根据权利要求5所述的方法，其中，所述训练后的神经网络编码器是基于将在所述神经网络编码器上生成的训练编码应用于所述三维神经网络解码器、在所述三维神经网络解码器上生成训练解码、至少部分基于所述训练解码确定损失、以及基于所述损失更新所述神经网络编码器来训练的。

7.根据权利要求1-3中任一项所述的方法，其中，由所述编码来编码的几何特征包括所述对象的三维形状特征。

8.根据权利要求1-3中任一项所述的方法，其中，将所述一个或多个输入应用于所述抓取结果预测网络包括：

将所述当前图像作为所述一个或多个输入中的第一输入的至少一部分应用于一个或多个第一层；以及

基于应用所述第一输入，在所述第一层上生成第一层输出。

9.根据权利要求8所述的方法，其中，将所述一个或多个输入应用于所述抓取结果预测网络还包括：

将所述编码和所述第一层输出作为所述一个或多个输入中的第二输入的至少一部分应用于一个或多个第二层；以及

基于应用所述第二输入，在所述第二层上生成第二层输出。

10.根据权利要求9所述的方法，其中，将所述一个或多个输入应用于所述抓取结果预测网络还包括：

将所述末端效应器姿态和所述第二层输出作为所述一个或多个输入中的第三输入的至少一部分应用于一个或多个第三层；以及

基于应用所述第三输入，在所述第三层上生成第三层输出。

11.根据权利要求10所述的方法，还包括：

使用所述编码和所述末端效应器的候选抓取姿态生成局部几何表示；

将所述第三层输出和所述局部几何表示作为所述一个或多个输入中的第四输入的至少一部分应用于一个或多个第四层；以及

基于应用所述第四输入，在所述第四层上生成所述抓取结果预测。