[发明专利]基于深度学习的机械臂目标检测感知定位方法、设备、存储介质和产品

说明书

基于深度学习的机械臂目标检测感知定位方法、设备、存储介质和产品，属于目标感知技术领域，解决不能为机械臂抓取控制策略提供物体的尺寸信息问题。本发明方法包括：使用基于YOLOv5的目标检测算法的主干检测网络，设计全新的神经网络检测回归模块，使关键点模型神经网络的收敛对象为目标物体的最小外接多边形，即为目标物体对应图像中的若干个关键点；加入WingLoss回归损失函数来进行图像关键点回归，使得网络可以收敛得到若干个关键点的图像坐标；通过关键点模型神经网络中对深度相机的RGB图像进行检测，得到目标物体在RGB图像中的若干个关键点位置；得到物体的若干个点的三维坐标位置后，得到物体尺寸信息。本发明适用于机械臂目标抓取的视觉感知系统。

技术领域

本申请涉及目标感知技术领域，尤其涉及机械臂目标检测感知定位。

背景技术

机械臂是一种广泛应用的自动控制设备，其以其高灵活性和可靠性在工业场景中被大量利用。随着计算机技术的发展，机械臂的控制规划技术也逐渐成熟。机械臂视觉定位系统可以使得其对外界环境的变化进行行为上的改变与反应。机械臂视觉定位系统涉及到目标识别以及三维定位等模块。目标识别即为使用普通光学相机计算目标物体在图像坐标系中的位置。三维定位通过物体的像素坐标点以及深度传感器进行图像配准从而计算得到物体的三维位置。而机械臂抓取目标物体时需要其视觉定位系统识别目标物体的尺寸，位置等决定机械臂的规划轨迹与可行的抓取位置，因此其需要一种可以快速高效识别物体位置与三维尺寸的算法。

目标检测是图像分割的一种，通过目标的二维几何特征和统计特征来进行分割。其任务是找到图像中系统感兴趣的物体，同时包含目标的类别，位置，尺寸等方面。早期的的目标检测多是基于阈值分割等传统图像处理进行分割识别。近年来，随着深度学习技术的不断成熟与发展，深度学习技术在包括目标检测等计算机视觉领域中逐渐成为一项非常重要的技术。深度学习目标检测技术通过对数据的大量特征提取与学习后可以在其他的数据中获得很好的泛化性能从而完成在实际场景中对特定目标进行图像检测定位。

目前深度学习目标检测技术共分为两种，分别为一步目标检测算法(one-shotobject detectors)与二步目标检测算法(two-shot object detectors)。二者的区别在于训练的阶段数：二阶段的目标检测算法需要先针对目标物体的位置信息进行特征提取与训练，再根据定位训练结果进行分类训练，而一阶段目标检测算法则是直接通过同一个主干提取网络和同一个检测头进行分类与定位。

一阶段目标检测算法因为相比二阶段目标检测算法拥有更快的检测速度而得到广泛的应用，其中最具有代表性的目标检测算法即为YOLOv5。但是YOLOv5目标检测算法只能检测物体的位置，其只能获得物体的最小包围正矩形，无法对物体的三维尺寸进行估计，不能为实际的机械臂抓取控制策略提供物体的尺寸信息。

发明内容

本发明目的是为了解决现有不能为实际的机械臂抓取控制策略提供物体的尺寸信息的问题，提供了基于深度学习的机械臂目标检测感知定位方法、设备、存储介质和产品。

本发明是通过以下技术方案实现的，本发明一方面，提供一种基于深度学习的机械臂目标检测感知定位方法，所述方法包括：

步骤1、建立关键点模型神经网络，具体包括：

步骤1.1、使用基于YOLOv5的目标检测算法的主干检测网络，设计全新的神经网络检测回归模块，使所述关键点模型神经网络的收敛对象为目标物体的最小外接多边形，即为目标物体对应图像中的若干个关键点，所述若干个为四个以上；

步骤1.2、加入Wing Loss回归损失函数来进行图像关键点回归，使得网络可以收敛得到所述若干个关键点的图像坐标；

步骤2、通过所述关键点模型神经网络中对深度相机的RGB图像进行检测，得到目标物体在RGB图像中的若干个关键点位置；