[发明专利]一种机械臂的抓取方法及装置

说明书

本发明公开了一种机械臂的抓取方法及装置。所述方法包括：控制设备将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中，得到第一摄像头对应的第一位姿信息；并根据第一位姿信息，确定机械臂的末端在当前位置时对应的运动信息，从而控制机械臂按照运动信息移动至述预设位置并抓取目标。本发明实施例中，将预设的神经网络模型应用到控制设备中，能够实时地根据采集到的图像对机械臂进行控制；进一步地，利用预设的神经网络模型能够直接估计出机械臂的运动信息，无需获取摄像头的内部参数，进而也无需进行手眼标定环节，过程简便，步骤简单，且计算误差较小。

技术领域

本发明涉及机器人技术领域，尤其涉及一种机械臂的抓取方法及装置。

背景技术

机器人视觉系统通过视觉获取周围环境的几何信息，并将这些信息用于运动规划与控制。例如，可以通过采集安装在机械臂末端的摄像头所拍摄到的图像，来确定机械臂的运动信息，进而对机械臂的运动进行控制，从而能够抓取目标。现有技术在确定机械臂的运动信息时，通常需要根据摄像头的内部参数，对摄像头进行手眼标定，这种方法过程比较复杂，误差较大。

基于此，目前亟需一种机械臂的抓取方法，用于解决现有技术中采用手眼标定的方式计算复杂且计算结果误差较大的问题。

发明内容

本发明实施例提供一种机械臂的抓取方法及装置，以解决现有技术中采用手眼标定的方式计算复杂且计算结果误差较大的技术问题。

本发明实施例提供一种机械臂的抓取方法，所述方法包括：

控制设备将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中，得到所述第一摄像头对应的第一位姿信息；所述预设图像为所述第一摄像头在预设位置所拍摄得到的图像，所述预设位置为预先设置的所述机械臂能够抓取目标的位置；所述第一位姿信息为所述第一摄像头自所述当前位置至所述预设位置的位姿变化；所述预设的神经网络模型是根据所述第一摄像头在任意位置拍摄得到的样本图像、所述预设图像以及样本位姿信息确定的，所述样本位姿信息为所述第一摄像头自所述任意位置至所述预设位置时的位姿变化；所述第一摄像头设置于所述机械臂的末端；

所述控制设备至少根据所述第一位姿信息，确定所述机械臂的末端在所述当前位置时对应的运动信息；

所述控制设备控制所述机械臂按照所述运动信息移动至所述预设位置并抓取目标。

本发明实施例中，将预设的神经网络模型应用到控制设备中，能够实时地根据采集到的图像对机械臂进行控制；进一步地，利用预设的神经网络模型能够直接估计出机械臂的运动信息，无需获取摄像头的内部参数，进而也无需进行手眼标定环节，过程简便，步骤简单，且计算误差较小。

在一种可能的实现方式中，所述预设的神经网络模型包括光流预测模型和位姿预测模型；所述光流预测模型是根据所述样本图像、所述预设图像以及所述样本图像与所述预设图像之间的光流预测结果确定的；所述位姿预测模型是根据所述样本图像与所述预设图像之间的光流预测结果和所述样本位姿信息确定的。

在一种可能的实现方式中，所述控制设备将预设图像和第一摄像头在当前位置拍摄得到的第一图像输入到预设的神经网络模型中，得到所述第一摄像头对应的第一位姿信息之前，还包括：

所述控制设备接收到用户发送的抓取命令后，通过第二摄像头获取第二图像；所述第二摄像头设置于所述机械臂的操作环境中；

所述控制设备若确定所述第二图像中存在抓取目标，则通过所述第一摄像头在所述当前位置对所述抓取目标进行拍摄，得到所述第一图像。

在一种可能的实现方式中，所述控制设备至少根据所述第一位姿信息，确定所述机械臂的末端在所述当前位置时对应的运动信息，包括：