[发明专利]基于混合信息输入网络模型的未知物体抓取位姿估计方法

说明书

基于混合信息输入网络模型的未知物体抓取位姿估计方法，属于机器人自主抓取领域。本发明为了实现机器人对未知物体的快速、有效抓取。对训练图像数据集中的图像混合信息进行预处理；构建基于混合信息输入的信息融合机制，并搭建神经网络模型；对包含混合信息融合机制的网络模型参数进行训练，获得优化后的混合信息输入网络模型；利用基于RGB‑D图像的物体分割技术实现对传感器采集到的场景图像进行可抓取物体分割；利用基于反馈信息的候选区域生成机制，搜索获得物体上的最佳抓取区域；利用深度信息估计机器人在最佳抓取区域的抓取位置和抓取姿态，进而获得抓取物体时的抓取位姿。该方法有利于机器人快速、准确地实现对未知物体的自主抓取。

技术领域

本发明属于机器人自主抓取领域，涉及一种基于混合信息输入网络模型的未知物体抓取位姿估计方法。

背景技术

在智能机器人领域，机器人自主抓取未知物体是智能机器人的一种关键能力。机器人的抓取历经数十年的研究，已经取得了很多成果。但目前的机器人要执行一个复杂的新的抓取任务，需要花上数周时间来重新编程，这让现代制造业生产线的重组变得十分昂贵和缓慢。而且，机器人的大多应用于特定的环境，针对特定已知的物体进行抓操作。对于不确定环境下，不同位姿摆放的未知物体，让机器人自主决定被抓取物体的抓取部位和抓取夹持器的抓取位姿，目前技术还不成熟。传统的方法通常假设物体的三维信息已知，利用搜索抓取点是否力封闭的方法来实现对物体的抓取。但是对于大量不同形状的物体，物体的三维信息很难获得，抓取点的搜索计算量比较大，效率也很低，实现机器人对未知物体的自主抓取很难进行实际应用。

目前，机器人的智能化程度与人类相比还有很大的差距，对未知的物体进行有效的抓取区域识别，自主实现对未知物体的抓取还很困难。因此，提出一种机器人自主实现对未知物体的抓取方法，对于提高机器人的智能化程度是非常迫切和必要的。

发明内容

针对现有技术存在的不足，本发明提供一种基于混合输入网络模型的机器人未知物体的抓取区域识别方法，实现机器人对未知物体的快速、有效抓取。

本发明为解决上述技术问题采取的技术方案是：

一种基于混合信息输入网络模型的未知物体抓取位姿估计方法，所述方法的实现过程为：

步骤一、对训练图像数据集中的图像混合信息进行预处理：

步骤二、构建基于混合信息输入的信息融合机制，并搭建神经网络模型；

步骤三、对包含混合信息融合机制的网络模型参数进行训练，完成模型优化，获得优化后的混合信息输入网络模型；

步骤四、利用基于RGB-D图像的物体分割技术实现对传感器采集到的场景图像进行可抓取物体分割；

步骤五、利用基于反馈信息的候选区域生成机制，搜索获得物体上的最佳抓取区域；

步骤六、利用深度信息估计机器人在最佳抓取区域的抓取位置和抓取姿态，进而获得机器人抓取物体时的抓取位姿。

进一步地，在步骤一中，图像预处理的过程为：

1)深度信息预处理

图像混合信息包含物体图像的彩色、深度和法向量通道信息，深度通道信息存在的图像噪声使深度图像上像素点的深度缺失；

对深度图像中存在的深度缺失以零值代替，并记录这些缺失的深度信息点的位置；然后，根据深度图像中缺失信息点所占整幅图像的比例，放大非零正常深度信息点的深度信息；

2)图像旋转与缩放操作