[发明专利]基于深度学习的视觉机器人抓取方法及系统

说明书

本发明提出了一种基于深度学习的视觉机器人抓取方法及系统，抓取方法，包括：获取待抓取目标的初始图像；将初始图像输入预先训练的多尺度特征提取模型，计算得到处理图像；基于处理图像，获取待抓取目标的抓取姿态信息；基于抓取姿态信息，调整机器人至对应的抓取位置抓取待抓取目标；其中，多尺度特征提取模型为采用Darknet‑53骨架，并对Darknet‑53骨架进行分离卷积和跳跃连接处理后构建的模型。根据本发明的基于深度学习的视觉机器人抓取方法，可以实现对目标物体的快速识别定位与抓取预测，结合机器人学的运动控制完成视觉机器人的识别与抓取任务，有效提高了系统的实时性与稳定性。

技术领域

本发明涉及机器人技术领域，尤其涉及一种基于深度学习的视觉机器人抓取方法及系统。

背景技术

传统视觉机器人使用特征描述处理目标检测问题，而随着目标物体类别的增多，特征提取变得越来越麻烦，计算量呈指数级增加，影响机器人操作的实时性。

传统视觉机器人在执行目标物体的定位与抓取等任务中大多采用“示教”方式，这种方式不具备泛化能力，当待抓取物体位置和形状发生改变时，机器人不能进行自动调整进而导致作业失败。因而灵活性差、稳定性不足是传统视觉机器人需要解决的问题。

发明内容

本发明要解决的技术问题是如何提高机器人抓取物品的灵活性和可靠性，本发明提出了一种基于深度学习的视觉机器人抓取方法及系统。

根据本发明实施例的基于深度学习的视觉机器人抓取方法，包括：

获取待抓取目标的初始图像；

将所述初始图像输入预先训练的多尺度特征提取模型，计算得到处理图像；

基于所述处理图像，获取所述待抓取目标的抓取姿态信息；

基于所述抓取姿态信息，调整机器人至对应的抓取位置抓取所述待抓取目标；

其中，所述多尺度特征提取模型为采用Darknet-53骨架，并对所述Darknet-53骨架进行分离卷积和跳跃连接处理后构建的模型。

根据本发明实施例的基于深度学习的视觉机器人抓取方法，基于Darknet-53骨架，并进行分离卷积和跳跃连接处理，预先构建高效、可靠的多尺度特征提取模型，将获取待抓取目标的初始图像输入多尺度特征提取模型后，可以处理得到机器人的抓取姿态信息，以控制机器人对待抓取目标进行自动、高效抓取。该抓取方法可以实现对目标物体的快速识别定位与抓取预测，结合机器人学的运动控制完成视觉机器人的识别与抓取任务，有效提高了系统的实时性与稳定性。

根据本发明的一些实施例，所述多尺度特征提取模型的搭建方法，包括：

基于所述Darknet-53骨架，通过TensorFlow平台搭建卷积神经网络特征提取模型；

调用卷积层创建函数将所述卷积神经网络特征提取模型中的可分离的标准卷积分离成单位卷积，构成基模型；

采用跳跃连接的方式对所述基模型中不同卷积层之间进行连接，构建所述多尺度特征提取模型。

在本发明的一些实施例中，所述多尺度特征提取模型的训练方法，包括：

获取多尺度数据集；

通过所述数据集对搭建的所述多尺度特征提取模型进行训练，训练过程中使用迁移学习、并行运算和GPU加速方法中的至少一种来提高模型训练速度；

对训练后的所述多尺度特征提取模型进行评估优化，当所述多尺度特征提取模型计算得到的所述处理图像满足预设要求时，完成所述多尺度特征提取模型的训练。

根据本发明的一些实施例，获取所述多尺度数据集的方法，包括：