[发明专利]基于深度学习的机械臂目标检测感知定位方法、设备、存储介质和产品

权利要求书

1.一种基于深度学习的机械臂目标检测感知定位方法，其特征在于，所述方法包括：

步骤1、建立关键点模型神经网络，具体包括：

步骤1.1、使用基于YOLOv5的目标检测算法的主干检测网络，设计全新的神经网络检测回归模块，使所述关键点模型神经网络的收敛对象为目标物体的最小外接多边形，即为目标物体对应图像中的若干个关键点，所述若干个为四个以上；

步骤1.2、加入Wing Loss回归损失函数来进行图像关键点回归，使得网络可以收敛得到所述若干个关键点的图像坐标；

步骤2、通过所述关键点模型神经网络中对深度相机的RGB图像进行检测，得到目标物体在RGB图像中的若干个关键点位置；

将RGB图像与深度相机的深度模块输出的深度图像进行图像配准，经过图像配准后可以得到其在深度图像中的位置，从而得到目标物体相对于相机的三维坐标位置；

得到物体的若干个点的三维坐标位置后，得到物体的尺寸信息；

步骤3、得到物体相对于相机的世界坐标位置后，经过坐标转换后即可得到物体相对于机械臂本体的坐标。

2.根据权利要求1所述的一种基于深度学习的机械臂目标检测感知定位方法，其特征在于，所述全新的神经网络检测回归模块的回归公式为：

其中，b_x,b_y表示神经网络后处理检测头得到的检测框的中心点像素位置；t_x,t_y,为预测目标中点位置坐标；P_w,P_h,P_x,P_y为每个像素点的先验锚框的宽，高与中心点坐标；c_x,c_y为每个像素点在特征图中的坐标。

3.根据权利要求1所述的一种基于深度学习的机械臂目标检测感知定位方法，其特征在于，所述Wing Loss回归损失函数为：

其中，x代表标签与预测点之间的距离误差；w为损失函数非线性范围限制参数；∈为约束非线性区域的曲率；C是常数，用于平滑连接损失函数的线性区域与非线性区域。

4.根据权利要求1所述的一种基于深度学习的机械臂目标检测感知定位方法，其特征在于，在步骤1之后，还包括：

将所述关键点模型神经网络训练得到的权重文件导出为ONNX和OpenVino格式的权重文件，使用OpenVino加速包进行所述关键点模型神经网络的部署。

5.根据权利要求1所述的一种基于深度学习的机械臂目标检测感知定位方法，其特征在于，步骤2，具体包括：

使用深度相机的RGB图像作为神经网络的输入，将RGB图像与深度相机输出的深度图像进行图像配准即可得到目标点的三维坐标位置：

步骤2.1、使用深度相机进行定位，通过目标检测算法找到物体的四个关键点和中心点，然后使用图像配准进行测距，配准过程的公式为：

其中，LR表示左相机内参矩阵，RR表示右相机内参矩阵，M表示左相机到右相机的外参变换矩阵，W为RGB图像坐标系到深度图像坐标系转化矩阵；

步骤2.2、算得深度图像中的若干个关键点位置即为：

其中，u_L，v_L为关键点在左边相机中的位置，u_R，v_R为关键点在右边相机中的位置，z_L该目标距离相机中心的距离；

步骤2.3、通过配准后即可得到目标点在深度图像中的坐标，由深度图像即可得到目标点对应到世界坐标系下的三维坐标，即可得到物体的尺寸与位置，所述目标点为根据四个关键点计算的目标位置的中心点。

6.根据权利要求1所述的一种基于深度学习的机械臂目标检测感知定位方法，其特征在于，步骤3，还包括：

步骤3.2、当针对多个目标的情况，利用轨迹匹配算法进行处理时，通过对当前帧目标的信息与目标的历史信息的对比来判断目标的轨迹与优先级。