[发明专利]一种基于YOLOv3的机器人自主分类抓取方法

说明书

本发明公开了一种基于YOLOv3的机器人自主分类抓取方法，其特征在于，采集并构建目标物体样本数据集；对YOLOv3目标检测网络进行训练，得到目标物体识别模型；采集目标物体的彩色图像和深度图像；用训练完成的YOLOv3目标检测网络，对彩色图像进行处理获得待抓取目标物体的类别信息及位置信息，结合深度图像进一步处理获得目标物体的点云信息；对点云信息进行最小包围盒求取，结合PCA算法计算点云的主方向，校准目标物体的X、Y、Z轴的坐标数据，计算目标物体相对于机器人坐标系的六自由度位姿。本发明采用YOLOv3算法，通过点云预处理和PCA等方法进行物体抓取位姿的估计，从而实现机器人对目标物体分类抓取。

技术领域

本发明涉及一种机器人自主分类抓取方法，特别涉及一种基于YOLOv3的机器人自主分类抓取方法。

背景技术

目前，当下我国人口老龄化严重，劳动力短缺，对服务机器人的需求也越来越大，但是服务机器人所工作的非结构化环境也带来了许多技术难题，其中十分主要的一个问题就是非结构环境中机器人的自主抓取。抓取作为机器人与现实世界交互的主要方式之一，是一个急需解决的问题。不同于工业机器人在结构化环境中对工件的抓取，服务机器人在非结构化环境下的自动抓取面临着诸多挑战，例如动态化环境、光照变化、物体间存在相互遮挡，以及最主要的，非结构化环境中除了已知的物体，还有大量未知物体，而多数工业机器人上应用十分成熟的抓取规划方法依赖于预先获取物体的模型来建立数据库，或者是在预先编好的程序下执行固定的动作，而对于非结构化环境中工作的服务机器人，预先获取所有需要进行抓取的物体的模型是不现实的，因此机器人必须能够对未知的物体在线进行快速稳定可靠的抓取规划。本发明采用计算机视觉中的方法，通过相机提取目标物体的彩色图和深度图，然后利用目标检测的方法对目标物体进行识别和定位，得到目标物体的类别和以矩形框表示的位置。再通过图像处理和点云的相关的算法可以得到物体的具体位姿，然后通过机械臂进行抓取。在目标物体识别方面，传统的算法通常采用图像处理的方法进行边缘提取、surf、sift等方法对图像进行特征提取，然后与模板进行匹配。但是这种算法容易受到工作环境的影响，对光照、物体形状、大小等比较敏感，鲁棒性较差，泛化能力弱。

发明内容

本发明为解决公知技术中存在的技术问题而提供一种鲁棒性较好，泛化能力强的基于YOLOv3的机器人自主分类抓取方法。

本发明为解决公知技术中存在的技术问题所采取的技术方案是：一种基于YOLOv3的机器人自主分类抓取方法，采集并构建目标物体的样本数据集；用该样本数据集对YOLOv3目标检测网络进行训练，得到目标物体识别模型；采集待抓取目标物体的彩色图像和深度图像；采用训练完成的YOLOv3目标检测网络，对彩色图像进行处理获得待抓取目标物体的类别信息及位置信息，引入深度图像进一步处理获得待抓取目标物体的点云信息；对点云信息进行最小包围盒求取，结合PCA算法计算点云的主方向，校准待抓取目标物体的X、Y、Z轴的坐标数据，计算待抓取目标物体相对于机器人坐标系的六自由度位姿。

进一步地，采集并构建目标物体样本数据集的步骤为：

步骤a，使用kinect相机对各种目标物体进行图像采集，并对多种目标物体组合进行图像采集；

步骤b，构建符合YOLOv3目标检测网络的样本数据集，并将样本数据集按照5：1：1的比例划分为训练集、验证集和测试集。

进一步地，对YOLOv3目标检测网络进行训练的步骤为：构建包括Darknet-53网络的YOLOv3目标检测网络，首先将样本数据集输入Darknet-53神经网络，通过改变Darknet-53神经网络中的卷积核的步长来进行下采样，同时将YOLOv3目标检测网络的中间层和输出层的上采样结果进行拼接，得到三个不同尺度的特征图。

进一步地，对多种目标物体组合的图像信息进行处理时，通过图像标注工具，对图像中的物体进行类别标注和位置标注。

进一步地，通过矩形框表示目标物体的位置信息；矩形框计算方法如下所示：