[发明专利]基于单帧RGB-D图像深度学习对不规则工件的定位抓取方法

权利要求书

1.基于单帧RGB-D图像深度学习对不规则工件的定位抓取方法，其特征在于，包括如下步骤:

S1，采集图像：机械臂移动到指定工位，利用深度相机采集抓取目标的单帧RGB图像和深度图像；

S2，归一化处理RGB图像：对RGB图像进行归一化处理；

S3，获得目标类别置信度和目标边界框：归一化处理后的RGB图像输入深度学习的目标检测网络并输出目标类别置信度和目标边界框；

S4，获得目标的多个特征点投影坐标：根据目标边界框调整RGB图像后，将调整后的RGB图像输入深度学习的特征点估计网络，输出多张特征点热力图，根据特征点热力图获得目标的多个特征点投影坐标；在S4步骤中，所述获得目标的多个特征点投影坐标，是首先定义目标的三维特征点，通过深度学习的特征点估计网络预测特征点在RGB图像上的投影坐标，输出多张特征点热力图，根据特征点热力图最大值位置获得目标的多个特征点投影坐标；

S5，估计目标姿态：根据目标的多个特征点投影坐标结合高精度快速求解法EfficientPerspective-n-Point估计目标姿态；

S6，深度图像预处理：对采集的深度图像进行双边滤波处理；

S7，确定目标质心：在深度学习的目标检测网络筛选的多个候选框中，利用候选框并集区域分割预处理后的深度图像，确定目标质心，以目标质心作为抓取点；

S8，抓取目标：对抓取的目标进行姿态校正并结合抓取点根据深度相机坐标系、机械臂坐标系与世界坐标系的转换关系，控制机械臂抓取目标并放置到指定位置。

2.如权利要求1所述的基于单帧RGB-D图像深度学习对不规则工件的定位抓取方法，其特征在于，在S3步骤中，归一化后的RGB图像输入目标检测网络前，先要构建并离线训练深度学习的目标检测网络。

3.如权利要求2所述的基于单帧RGB-D图像深度学习对不规则工件的定位抓取方法，其特征在于，所述构建并离线训练深度学习的目标检测网络是，先采用COCO数据集上的预训练模型权重载入深度学习的目标检测网络，利用训练样本图像及对应的标签对深度学习的目标检测网络进行离线迭代训练，获得基于深度学习的目标检测网络的目标检测模型。

4.如权利要求1所述的基于单帧RGB-D图像深度学习对不规则工件的定位抓取方法，其特征在于，所述深度学习的特征点估计网络预测特征点在RGB图像上的投影坐标，是通过定义的目标三维特征点在RGB图像上的投影制作特征点热力图标签，再利用训练样本图像及对应的特征点热力图标签离线迭代训练深度学习的特征点估计网络，用训练完成的深度学习的特征点估计网络来预测特征点在RGB图像上的投影坐标。

5.如权利要求4所述的基于单帧RGB-D图像深度学习对不规则工件的定位抓取方法，其特征在于，所述目标的三维特征点是采用最远点采样法定义。

6.如权利要求1所述的基于单帧RGB-D图像深度学习对不规则工件的定位抓取方法，其特征在于，在S7步骤中，所述候选框并集区域是在深度学习的目标检测网络筛选的候选框中选择多个特定的候选框求取候选框并集区域，根据并集区域分割预处理后的深度图像，然后用边缘检测法分割目标轮廓并确定目标质心；其中，所述候选框并集区域是在深度学习的目标检测网络筛选的候选框中选择多个特定的候选框求取候选框并集区域包括：在深度学习的目标检测网络中每个目标筛选的候选框中选择m个候选框，对m个候选框按照目标类别置信度大小排序为A1,A2,…,Am并标记A1候选框，剩下的候选框与A1候选框求取交并比，记录前几个交并比最大值对应的候选框并与A1一起求取并集区域。

7.如权利要求1至6任一项所述的基于单帧RGB-D图像深度学习对不规则工件的定位抓取方法，其特征在于，所述特征点估计包括4个编码器和3个解码器。

8.如权利要求7所述的基于单帧RGB-D图像深度学习对不规则工件的定位抓取方法，其特征在于，所述深度学习的特征点估计网络中加入残差结构和跳跃连接进行特征融合。

9.如权利要求8所述的基于单帧RGB-D图像深度学习对不规则工件的定位抓取方法，其特征在于，所述深度学习的特征点估计网络中线性上采样层采用双线性插值法提高输入图像的分辨率。