[发明专利]基于位姿估计和校正的单图像机器人无序目标抓取方法

说明书

本发明具体公开了一种基于位姿估计和校正的单图像机器人无序目标抓取方法，所述方法包括：S1、生成待抓取物体模型的图像数据集；S2、根据步骤S1的图像数据集构建卷积神经网络模型；S3、将待抓取物体的二维图像导入训练好的卷积神经网络模型中提取对应的置信图和向量场；S4、获取待抓取物体的预测平移量和预测旋转量；S5、找到待抓取物体最优抓取点并计算深度相机的测量平移量；S6、根据待抓取物体的预测平移量和深度相机的测量平移量进行抓取安全距离校正，若校正成功则执行校正数据抓取，若校正失败则进入S7；S7、重复步骤S3‑S6。本发明中无序目标抓取方法具有可靠性高、鲁棒性强和实时性好的特点，能够满足现有工业生产要求，具有较高的应用价值。

技术领域

本发明涉及智能机器人技术领域，尤其涉及一种基于位姿估计和校正的单图像机器人无序目标抓取方法。

背景技术

6D位姿估计是人工智能应用，如：增强现实、自动驾驶、机器人操纵等所需的关键技术。它可以帮助机器人掌握目标位置和目标方向以对目标进行抓取。例如，在亚马逊拣货挑战赛中，机器人从仓库货架上捡拾目标货物的任务与快速可靠的位姿估计密不可分。

基于现有的研究，6D姿态估计的方法可大致分为基于模板的方法和基于特征的方法。传统的基于模板的方法先构造对象的刚性模板；然后使用模板扫描输入图像中的不同位置，并在每个模板中计算相似度得分位置；最后，通过比较这些相似性得分，获得最佳匹配。基于模板的匹配方法可以检测出无纹理的目标，但是当目标存在遮挡，截断等情况时，相似度分数通常会较低，导致可靠性较低。传统的基于特征的方法依赖于手工制作的局部特征，并且通过2D图像和3D模型之间的对应关系生成目标位姿估计。基于特征的方法可以处理遮挡、截断等问题，但是手工特征需要目标具有丰富的纹理并且对照明和场景混乱不稳健，鲁棒性较差。

尽管最近有几种新技术将深度信息用于物体位姿估计，而且取得了较好的结果，但是存在以下两个问题：第一，训练深度卷积神经网络通常需要大量的标记数据，包括使用精确的6自由度姿势进行注释的目标对象。与2D检测相比，基于卷积神经网络的3D检测禁止手动标记数据，因为无法保证手动标记数据的准确性。因此，可以使用合成数据来训练深度卷积神经网络，虽然合成数据保证了数据的准确性，但是合成数据最主要的一个缺点是现实差距。第二，由于RGB-D相机在帧率，视野，分辨率和深度范围方面存在局限性，这使较小，较薄或快速移动的目标很难被检测到，同时移动设备上的有源传感器会消耗过多功率。目前单目相机的6D姿态估计仍然是一个具有挑战性的问题，目标的表面会受到照明，复杂场景和遮挡等诸多方面的影响。因此，单目RGB图像姿态估计的研究更加有价值和实用。

基于实际物体的目标检测和精细位姿估计是成功抓取的前提。尽管基于关键点的传统方法可以得到精确的位姿估计，但其在机器人任务上的适用性依赖于受控环境和有细节信息的刚性物体；另一方面，基于CNN的方法在不受控环境中的物体识别能得到较好的结果，如基于类别的粗糙的位姿估计，但其需要大量的全标记的训练图像数据集，因此采用CNN方法进行实际物体的位姿估计会有困难。

鉴于此，本发明采用合成数据去训练神经网络，从而避免对特定数据集分布的过度拟合，产生了一个对光照变化、相机变化和背景都具有鲁棒性的网络，具有可靠性高、鲁棒性强且实时性好的优点。

发明内容

本发明的目的是提供一种可靠性高、鲁棒性强且实时性好的基于位姿估计和校正的单图像机器人无序目标抓取方法。

为解决上述技术问题，本发明提供一种基于位姿估计和校正的单图像机器人无序目标抓取方法，所述方法包括以下步骤：

S1、获取待抓取物体模型的随机图像数据和真实感图像数据，并生成对应图像数据集；

S2、构建卷积神经网络，并将步骤S1中所获取的图像数据集输入卷积神经网络中进行离线训练，得到卷积神经网络模型；

S3、通过深度相机采集待抓取物体的二维图像并将该二维图像导入卷积神经网络模型中，输出对应的置信图和向量场；