[发明专利]基于物体识别深度学习模型的机器人抓取位姿估计方法

说明书

本发明公开了一种基于物体识别深度学习模型的机器人抓取位姿估计方法，涉及计算机视觉技术领域，该方法基于RGBD相机和深度学习，包括以下步骤：S1：进行相机参数标定和手眼标定；S2：训练目标检测物体模型；S3：建立目标物体三维点云模板库；S4：识别待抓取区域各个物品的种类和位置；S5：对二维和三维视觉信息进行融合并获取特定目标物体的点云；S6：完成目标物体位姿估计；S7：采用基于样本积累的错误规避算法对错误的情况进行规避；S8：在机器人末端向目标物体移动的过程中，视觉系统不断重复步骤S4至S7，实现目标物体位姿估计的迭代优化。本发明算法利用目标检测YOLO模型进行前期快速目标检测，减少了三维点云分割和匹配的计算量，提高了运算效率和准确率。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及基于物体识别深度学习模型的机器人抓取位姿估计方法。

背景技术

近年来，随着计算机视觉领域的不断发展，机器视觉技术已经广泛应用于制造和服务业的各个领域。机器视觉技术和其他传统学科的结合也变得日益紧密，在土木，农业，医疗，交通等领域产生了显著的影响，在机械领域机器视觉的应用尤为广泛，其中基于视觉的机器人抓取也成为了当前的一个研究热点。

视觉领域根据传感器的不同可以分为单目视觉、双目视觉和深度视觉，其中单目视觉主要应用于二维图像领域，在三维视觉领域，单目视觉在室外大尺度范围内性能比较稳定，但是不适合机器人抓取的应用场景；双目视觉在三维立体视觉领域应用较广，但是其算法复杂，获得高精度的三维信息需要牺牲一定时间性能；而深度视觉中，基于结构光原理的RGBD相机在室内抓取的环境下可以获得较高的精度，因此机器人抓取中采用RGBD相机是该领域的研究热点。

因此，本领域的技术人员致力于开发基于物体识别深度学习模型的机器人抓取位姿估计方法，是通过利用RGBD相机检测要被机器人抓取的目标物体，并进行目标物体的位姿估计的方法。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是克服现有技术中算法复杂，获得高精度的三维信息耗时较长的问题，提高信息获取的精度和抓取的效率。

为实现上述目的，本发明提供了基于物体识别深度学习模型的机器人抓取位姿估计方法，包括以下步骤：

步骤S1：将RGBD相机安装在机器人末端，基于张正友相机标定算法与Tsai-Lenz手眼标定算法，进行相机参数标定和手眼标定；

步骤S2：采集大量包含各种要抓取的目标物品的二维图像作为YOLO训练集，训练能够检测目标物体的YOLO模型；

步骤S3：采用基于颜色区域生长的点云分割算法和“五帧法”拼接点云，建立目标物体的三维点云模板库；

步骤S4：利用步骤S2中训练好的YOLO模型，识别待抓取区域各个物体的种类和位置；

步骤S5：进行二维视觉信息与三维视觉信息的融合并获取目标物体点云；

步骤S6：采用将目标物体的点云与模板库中物体点云模板进行配准的方式，来进行目标物体的位姿估计；

步骤S7：采用基于样本积累的错误规避算法，用来对错误的情况进行规避；

步骤S8：在机器人末端向目标物体移动的过程中，视觉系统不断重复步骤S4至步骤S7环节，实现目标物体位姿估计的迭代优化。

进一步地，所述方法是基于ROS操作系统实现数据类型交互的，包括图像及三维信息获取、机器人末端位姿获取、各种矩阵运算环节。

进一步地，所述RGBD深度传感器需包括环境RGB信息及深度信息获取功能，且所述两类信息需高精度配准。

进一步地，所述基于YOLO的深度学习算法经过预先训练，能够识别已知物体；所述基于YOLO的深度学习算法能够直接提取目标物体的边界框及类型。