[发明专利]面向机器人自主物体拾取任务的在线自学习方法

说明书

本发明提供了一种基于区域预测的机器人自主物体拾取在线自学习方法。机器人立体相机获得堆放的待抓取物体的RGBD信息，将RGB图像与深度图按一定步距分块，将上述图像块配对输入区域预测神经网络模块以获得可吸取性概率区域图，根据该概率图在图像坐标系选择抓取点并转换至机器人操作坐标系，机器人执行该抓取点，最后根据机器人执行结果在线训练区域预测网络。该方法利用深度神经网络直接获得抓取点，避免了复杂背景下的物体拾取通常要面临的物体分割与位姿估计问题，同时利用机器人的执行结果在线训练该预测网络，有效的实现了物体拾取机器人的在线自学习，避免了复杂的特征选择或者人工标记样本与神经网络训练问题。

技术领域

本发明涉及机器人自学习领域，具体地，涉及面向机器人自主物体拾取任务的在线自学习方法。尤其是涉及散乱堆放物体的机器人自主物体抓取在线自学习方法与系统。

背景技术

机器人自主学习能力，弱化了机器人应用中对具体任务的详细设置要求，提升了机器人对不同场景的适应性，同时也是机器人智能性的重要特性，具有广泛的应用价值。非结构场景下对杂乱堆放物体的高效拾取任务有着广泛的应用需求，比如垃圾处理场景中的垃圾自动分拣，物流包裹的自动分拣，以及工业应用场景中的自动上下料等。传统物体拾取方法多采用物体识别、物体分割、位姿估计确定抓取点等一系列处理实现物体的抓取，然而堆放物体有着复杂的环境背景与相互位置关系，这个上述方法带来了很大的挑战。同时应用场景的多变性，也给为每一个场景进行具体的详细设置带来了巨大的工作量。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种面向机器人自主物体拾取任务的在线自学习方法。

根据本发明提供的一种面向机器人自主物体拾取任务的在线自学习方法，包括：

步骤1：将成堆放置的待拾取物体放置于RGBD相机感知区域的适当位置内，以实现视觉信息的有效感知，并根据待拾取物体位置选定有效的图像范围，根据待拾取物体大小选定对应的图像块大小并对RGB图像与深度图进行对应分块，其中分块步距选择为图像块长度的一半以保证对图像块边界区域的有效监测；

步骤2：将步骤1所得RGB图像块与对应的深度图像块，输入可吸附性区域预测卷积神经网络，获得可吸附性区域概率图；

步骤3：根据步骤2所得可吸附性区域概率图在图像坐标系下选择吸附点，然后结合吸附点对应区域的深度信息以及获得的图像坐标系与机器人操作坐标系之间的变换矩阵，获得吸附点的三维坐标；

步骤4：将抓取点信息输送至安装有真空吸盘的机器人系统中，机器人系统对抓取点进行试抓取，并将试抓取执行结果返回，同时根据抓取成功次数与待抓取物体判断是否需要重新放置待抓取物体；

步骤5：利用抓取结果在线训练所述可吸附性区域预测卷积神经网络。

优选地，步骤1中选定的所述有效的图像范围与待拾取物体在图像区域位置相对应，并在上下左右分别留有余量。

优选地，图像块大小根据待拾取物体大小以及步骤2中所述可吸附性区域概率图尺寸的不同比例设定，分块步距选择为图像块长度的一半。

优选地，所述可吸附性区域预测卷积神经网络，具体为Resnet50网络结构串接U-net框架，经过训练的Resnet50网络输出不同尺度的特征图，然后由U-net框架网络将多尺度的特征图结合起来以输出所述可吸附性区域预测概率图。

优选地，Resnet50网络采用经ImageNet预训练后的参数，并在在线自学习阶段固定，产生稳定的多尺度特征图，网络训练阶段仅调节U-net框架参数以实现不同特征图之间的有效融合，产生所述可吸附性区域预测概率图。

优选地，基于所述可吸附性区域预测概率图的吸附点选择，直接取最大值作为试抓取点，或者是，进行一定的滤波处理后，再取所述可吸附性区域预测概率图的最大值作为试抓取点。