[发明专利]面向机器人自主物体拾取任务的在线自学习方法

摘要

本发明提供了一种基于区域预测的机器人自主物体拾取在线自学习方法。机器人立体相机获得堆放的待抓取物体的RGBD信息，将RGB图像与深度图按一定步距分块，将上述图像块配对输入区域预测神经网络模块以获得可吸取性概率区域图，根据该概率图在图像坐标系选择抓取点并转换至机器人操作坐标系，机器人执行该抓取点，最后根据机器人执行结果在线训练区域预测网络。该方法利用深度神经网络直接获得抓取点，避免了复杂背景下的物体拾取通常要面临的物体分割与位姿估计问题，同时利用机器人的执行结果在线训练该预测网络，有效的实现了物体拾取机器人的在线自学习，避免了复杂的特征选择或者人工标记样本与神经网络训练问题。

主权项

1.一种面向机器人自主物体拾取任务的在线自学习方法，其特征在于，包括：步骤1：将成堆放置的待拾取物体放置于RGBD相机感知区域的适当位置内，以实现视觉信息的有效感知，并根据待拾取物体位置选定有效的图像范围，根据待拾取物体大小选定对应的图像块大小并对RGB图像与深度图进行对应分块，其中分块步距选择为图像块长度的一半以保证对图像块边界区域的有效监测；步骤2：将步骤1所得RGB图像块与对应的深度图像块，输入可吸附性区域预测卷积神经网络，获得可吸附性区域概率图；步骤3：根据步骤2所得可吸附性区域概率图在图像坐标系下选择吸附点，然后结合吸附点对应区域的深度信息以及获得的图像坐标系与机器人操作坐标系之间的变换矩阵，获得吸附点的三维坐标；步骤4：将抓取点信息输送至安装有真空吸盘的机器人系统中，机器人系统对抓取点进行试抓取，并将试抓取执行结果返回，同时根据抓取成功次数与待抓取物体判断是否需要重新放置待抓取物体；步骤5：利用抓取结果在线训练所述可吸附性区域预测卷积神经网络。