[发明专利]基于单帧RGB-D图像深度学习对不规则工件的定位抓取方法

说明书

本发明提供的基于单帧RGB‑D图像深度学习对不规则工件的定位抓取方法，包括:S1，机械臂移动到指定工位，深度相机采集目标的单帧RGB图像和深度图像；S2，归一化处理RGB图像；S3，RGB图像输入深度学习的目标检测网络并输出目标类别置信度和目标边界框；S4，调整RGB图像后输入深度学习的特征点估计网络，获得目标的多个特征点投影坐标；S5，根据多个特征点投影坐标结合高精度快速求解法估计目标姿态；S6，对深度图像进行双边滤波处理；S7，利用候选框并集区域分割处理后的深度图像，确定目标质心作为抓取点；S8，对抓取目标进行姿态校正，控制机械臂抓取目标。在不改变原有生产线的情况下，对无序、不规则工件快速精确抓取，节约设备的改造成本。

技术领域

本发明属于工业自动化控制的技术领域，具体涉及一种基于单帧RGB-D图像深度学习对不规则工件的定位抓取方法。

背景技术

对于工作在自动化生产线或柔性制造系统上的工业机器人，其完成最多的动作是“抓取--放置”，在生产制造时，是否拥有高效的抓取方式直接关系到整个工业生产过程的生产效率。当前大部分工业机器人上基于视觉的抓取策略都是利用相机在图像的二维空间中采取识别抓取策略，即使用图像处理的方法，对二维平面图像进行特征提取和图像分析计算得到抓取点后被工业机器人抓取。但是，这种方式由于没有对抓取物体进行有效的姿态估计，只能在固定的平面和规定物体姿态下进行抓取，对于无序、不规则摆放的工件抓取效率低下；或设计更多的机械结构弥补基于二维图像分析的抓取策略局限性，但会导致生产设备成本增高。因此，在现有基础上，提供一种对无序、不规则摆放的工件实现快速精确的定位抓取方法是丞待解决的问题。

发明内容

为解决上述技术问题中的至少之一，本发明提出一种基于单帧RGB-D图像深度学习对不规则工件的定位抓取方法。

本发明的目的通过以下技术方案实现：

本发明提供了基于单帧RGB-D图像深度学习对不规则工件的定位抓取方法，包括如下步骤:

S1，采集图像：机械臂移动到指定工位，利用深度相机采集抓取目标的单帧RGB图像和深度图像；

S2，归一化处理RGB图像：对RGB图像进行归一化处理；

S3，获得目标类别置信度和目标边界框：归一化处理后的RGB图像输入深度学习的目标检测网络并输出目标类别置信度和目标边界框；

S4，获得目标的多个特征点投影坐标：根据目标边界框调整RGB图像后，将调整后的RGB图像输入深度学习的特征点估计网络，输出多张特征点热力图，根据特征点热力图获得目标的多个特征点投影坐标；

S5，估计目标姿态：根据目标的多个特征点投影坐标结合高精度快速求解法估计目标姿态；

S6，深度图像预处理：对采集的深度图像进行双边滤波处理；

S7，确定目标质心：在深度学习的目标检测网络筛选的多个候选框中，利用候选框并集区域分割预处理后的深度图像，确定目标质心，以目标质心作为抓取点；

S8，抓取目标：对抓取的目标进行姿态校正并结合抓取点根据深度相机坐标系、机械臂坐标系与世界坐标系的转换关系，控制机械臂抓取目标并放置到指定位置。

作为进一步的改进，在S3步骤中，归一化后的RGB图像输入目标检测网络前，先要构建并离线训练深度学习的目标检测网络。

作为进一步的改进，所述构建并离线训练深度学习的目标检测网络是，先采用COCO数据集上的预训练模型权重载入深度学习的目标检测网络，利用训练样本图像及对应的标签对深度学习的目标检测网络进行离线迭代训练，获得基于深度学习的目标检测网络的目标检测模型。