[发明专利]基于物体识别深度学习模型的机器人抓取位姿估计方法

权利要求书

1.一种基于物体识别深度学习模型的机器人抓取位姿估计方法，其特征在于，包括以下步骤：

步骤S1：将RGBD相机安装在机器人末端，基于张正友相机标定算法与Tsai-Lenz手眼标定算法，进行相机参数标定和手眼标定；

步骤S2：采集大量包含各种要抓取的目标物品的二维图像作为YOLO训练集，训练能够检测目标物体的YOLO模型；

步骤S3：采用基于颜色区域生长的点云分割算法和“五帧法”拼接点云，建立目标物体的三维点云模板库；

步骤S4：利用步骤S2中训练好的YOLO模型，识别待抓取区域各个物体的种类和位置；

步骤S5：进行二维视觉信息与三维视觉信息的融合并获取目标物体点云；

步骤S6：采用将目标物体的点云与模板库中物体点云模板进行配准的方式，来进行目标物体的位姿估计；

步骤S7：采用基于样本积累的错误规避算法，用来对错误的情况进行规避；

步骤S8：在机器人末端向目标物体移动的过程中，视觉系统不断重复步骤S4至步骤S7环节，实现目标物体位姿估计的迭代优化。

2.如权利要求1所述的基于物体识别深度学习模型的机器人抓取位姿估计方法，其特征在于，所述方法是基于ROS操作系统实现数据类型交互的，包括图像及三维信息获取、机器人末端位姿获取、各种矩阵运算环节。

3.如权利要求1所述的基于物体识别深度学习模型的机器人抓取位姿估计方法，其特征在于，所述RGBD深度传感器需包括环境RGB信息及深度信息获取功能，且所述两类信息需高精度配准。

4.如权利要求1所述的基于物体识别深度学习模型的机器人抓取位姿估计方法，其特征在于，所述基于YOLO的深度学习算法经过预先训练，能够识别已知物体；所述基于YOLO的深度学习算法能够直接提取目标物体的边界框及类型。

5.如权利要求1所述的基于物体识别深度学习模型的机器人抓取位姿估计方法，其特征在于，所述获取目标物点云需要将二维图像的识别与三维原始信息进行数据融合；利用图切除分割算法将目标点云和环境进行分割，并根据点云数量的下限阈值对各个点云块进行再生长，最终提取目标物的三维信息。

6.如权利要求1所述的基于物体识别深度学习模型的机器人抓取位姿估计方法，其特征在于，所述位姿估计的算法包括：先基于所述FPFH粗匹配算法对三维FPFH特征点云进行粗匹配获得目标初值，再利用所述ICP精匹配算法对初值进行调整，获得目标精确位姿。

7.如权利要求1所述的基于物体识别深度学习模型的机器人抓取位姿估计方法，其特征在于，所述样本积累的错误规避算法是通过累计不同估计情况的样本，将每次变换矩阵进行聚类，并将数量较少的匹配情况视作错误进行规避。

8.如权利要求1所述的基于物体识别深度学习模型的机器人抓取位姿估计方法，其特征在于，所述位姿估计的算法是通过预先建立标准点云集，并基于所述标准点云对目标物体的位姿进行估计，基于数据集完成目标物体位姿信息的计算。

9.如权利要求1所述的基于物体识别深度学习模型的机器人抓取位姿估计方法，其特征在于，所述步骤S5还包括分割后的点云再生长算法过程，具体为：

步骤S5-1：利用图切除分割算法得到分割后的点云块，并各个独立地保存在待生长的图中，再将目标点云置空；

步骤S5-2：获得点云数量最多的点云块，若这个点云块不是平面并且不是空，则将这个点云块融入目标点云；

步骤S5-3：检查目标点云的数目，若小于该物体最少的点云数，则返回步骤S5-2；

步骤S5-4：输出目标点云作为最终的分割结果。

10.如权利要求1所述的基于物体识别深度学习模型的机器人抓取位姿估计方法，其特征在于，所述点云分割的平面度阈值为0.2，每种物体点云下限阈值占对应模板库中正对点云数量的80％，规避算法中矩阵相似度阈值0.1。