[发明专利]一种机械臂的抓取方法及装置

权利要求书

1.一种机械臂的抓取方法，其特征在于，所述方法包括：

控制设备将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中，得到所述第一摄像头对应的第一位姿信息；所述预设图像为所述第一摄像头在预设位置所拍摄得到的图像，所述预设位置为预先设置的所述机械臂能够抓取目标的位置；所述第一位姿信息为所述第一摄像头自所述当前位置至所述预设位置的位姿变化；所述预设的神经网络模型是根据所述第一摄像头在任意位置拍摄得到的样本图像、所述预设图像以及样本位姿信息确定的，所述样本位姿信息为所述第一摄像头自所述任意位置至所述预设位置时的位姿变化；所述第一摄像头设置于所述机械臂的末端；所述预设的神经网络模型包括光流预测模型和位姿预测模型；所述光流预测模型是根据所述样本图像、所述预设图像以及所述样本图像与所述预设图像之间的光流预测结果确定的；所述位姿预测模型是根据所述样本图像与所述预设图像之间的光流预测结果和所述样本位姿信息确定的；

所述控制设备至少根据所述第一位姿信息，确定所述机械臂的末端在所述当前位置时对应的运动信息；

所述控制设备控制所述机械臂按照所述运动信息移动至所述预设位置并抓取目标。

2.根据权利要求1所述的方法，其特征在于，所述控制设备将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中，得到所述第一摄像头对应的第一位姿信息之前，还包括：

所述控制设备接收到用户发送的抓取命令后，通过第二摄像头获取第二图像；所述第二摄像头设置于所述机械臂的操作环境中；

所述控制设备若确定所述第二图像中存在抓取目标，则通过所述第一摄像头在所述当前位置对所述抓取目标进行拍摄，得到所述第一图像。

3.根据权利要求1所述的方法，其特征在于，所述控制设备至少根据所述第一位姿信息，确定所述机械臂的末端在所述当前位置时对应的运动信息，包括：

所述控制设备根据所述第一位姿信息和所述第一摄像头与所述机械臂末端的雅克比矩阵，确定所述机械臂的末端在所述当前位置时对应的运动信息；所述雅克比矩阵是根据雅克比矩阵的观测向量确定的，所述雅克比矩阵的观测向量是根据预设的回归预测模型确定的。

4.根据权利要求3所述的方法，其特征在于，所述第一位姿信息包括所述第一摄像头自所述当前位置至所述预设位置时的位移和转动角度；所述机械臂的末端在当前位置时对应的运动信息包括所述机械臂的末端在当前位置时的线速度和角速度；

所述控制设备根据所述第一位姿信息和所述第一摄像头与所述机械臂末端的雅克比矩阵，确定所述机械臂的末端在当前位置时对应的运动信息，包括：

所述控制设备根据所述位移和转动角度，确定所述第一摄像头在所述当前位置时的线速度和角速度；

所述控制设备根据所述第一摄像头在所述当前位置时的线速度和角速度，以及所述第一摄像头与所述机械臂末端的雅克比矩阵，确定所述机械臂的末端在当前位置时的线速度和角速度。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述样本图像通过以下方式得到：

根据预设的变化参数，对所述预设图像进行转动，得到所述样本图像。