[发明专利]一种基于轻量级卷积神经网络的抓取位姿检测方法及设备

说明书

本发明属于机器人抓取位姿检测相关技术领域，其公开了一种基于轻量级卷积神经网络的抓取位姿检测方法及设备，包括以下步骤：(1)基于网络收敛性指标构建模型；(2)基于包含待抓取物体RGB‑D信息和抓取位姿检测框的抓取数据集来训练模型；(3)基于未知物体的RGB‑D图像及模型得到抓取质量特征图、抓取角度特征图及抓取宽度特征图；(4)索引抓取质量最大的位置，基于此确定抓取角度及夹爪宽度，继而确定机器人的抓取姿态；(5)计算获得机器人坐标系下的机器人抓取位姿。该模型参数量及浮点计算数目少，能够在计算和存储资源受限的边缘计算设备上实现未知物体的实时抓取位姿估计，赋能基于边缘计算设备的针对未知物体的机器人抓取领域。

技术领域

本发明属于机器人抓取位姿检测相关技术领域，更具体地，涉及一种基于轻量级卷积神经网络的抓取位姿检测方法及设备。

背景技术

机器人自主抓取技术在现实生产生活中应用十分广泛，作为机器人技术中最具挑战性的任务之一，其对推动工业智能化发展也有着重要的战略意义。传统的机器人自主抓取多基于人工示教或者机器视觉等方法实现，这些方法适用于单一的生产环境，难以应用于大型柔性工业生产场景。

卷积神经网络是一种特殊的多层前馈神经网络，其网络层中包含有卷积层而因此得名，由于其具有平移不变性的特点，也被一些学者称为平移不变人工神经网络。针对卷积神经网络的研究从二十世纪80年代就开始了，经过近三十多年众多科研工作者的不懈努力，卷积神经网络相关的理论体系已经被不断完善，其应用场景也被不断发掘。但是现有用于机器人抓取位姿估计的卷积神经网络模型大多过参数化，需要较大算力。

目前本领域相关技术人员已经做了一些研究，如中国专利201910585483.9提出了一种基于四级串联卷积神经网络的灵巧手抓取规划方法，其步骤包括：获取抓取框数据集以及抓取手势数据集，分别对前三级卷积神经网络和第四级卷积神经网络进行训练，确定网络的参数，得到灵巧手的抓取模型；其中，所提出的四级串联卷积神经网络中，前三级卷积神经网络用于获取目标物的最佳抓取框；第四级用于预测灵巧手的抓取手势，以多输入的网络获取多种抓取特征，从而根据目标物被抓取部位图像信息和灵巧手位姿信息，预测当前状态下的抓取手势，该专利能实现对未知物体的精细抓取，使得灵巧手抓取不受未知物体限制，从而提高了灵巧手的抓取成功率；但是其难以抓取没有先验知识的未知物体，同时由于其网络模型较大的问题，难以部署到边缘侧设备进行抓取位姿的计算。又如中国专利202010690489.5提出了一种基于双通路卷积神经网络的服务机器人抓取检测方法，该方法包括：获取周围环境的原始彩色图像和原始深度图像，并将原始彩色图像转换为原始灰度图像；获取目标物体包围框，并得到第一深度图像区域、第一灰度图像区域；将图像区域调整至设定尺寸；对调整尺寸的图像区域进行编码，并相加；将相加后的特征图进行解码，得到抓取质量特征图、宽度特征图、高度特征图、第一角度特征图、第二角度特征图；得到最佳抓取矩形及其在原始彩色图像中对应的最佳抓取检测框，实现对目标物体的抓取检测。该方法亦存在网络模型较大，难以部署到边缘计算设备的问题，难以应用于边缘侧工业机器人的抓取。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于轻量级卷积神经网络的抓取位姿检测方法及设备，其解决了当前工业机器人对于未知物体抓取姿态估计困难、所需计算设备要求高的问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于轻量级卷积神经网络的抓取位姿检测方法，所述检测方法主要包括以下步骤：

(1)基于网络收敛性指标构建轻量级卷积神经网络模型；

(2)对包含待抓取物体RGB-D信息和抓取位姿检测框的抓取数据集进行增强操作，基于增强后的包含抓取物体RGB-D信息和抓取位姿检测框的抓取数据集来训练轻量级卷积神经网络模型；

(3)将所获取的、未知物体的RGB-D图像信息输入训练好的轻量级卷积神经网络模型，以得到RGB-D图像对应的抓取质量特征图、抓取角度特征图及抓取宽度特征图；