[发明专利]基于双目视觉进行目标检测的相机手眼标定方法及装置

权利要求书

1.一种基于双目视觉进行目标检测的相机手眼标定方法，其特征在于，所述方法包括：

采用双目相机采集目标数据，获得左眼相机数据和右眼相机数据；采用执行器采集目标数据，获得执行器坐标系的目标三维坐标；

根据所述左眼相机数据和所述右眼相机数据进行立体匹配操作，获得深度图；

根据所述左眼相机数据和改进YOLOv5目标检测算法，获得相机坐标系的目标二维坐标；

其中，所述根据所述左眼相机数据和改进YOLOv5目标检测算法，获得相机坐标系的目标二维坐标，包括：

根据所述左眼相机数据通过改进YOLOv5目标检测算法，获得目标二维边界框位置；

将所述目标二维边界框位置通过相机像素坐标表示，获得目标边界坐标；

根据所述目标边界坐标基于相机内参矩阵进行转换，获得相机坐标系的目标二维坐标；

其中，所述改进YOLOv5目标检测算法是基于空洞卷积和注意力机制的YOLOv5的改进算法；

其中，所述改进YOLOv5目标检测算法在原有YOLOv5目标检测算法的网络结构中对骨干网络部分进行修改，

修改包括两点，首先，将原有YOLOv5目标检测算法骨干网络中的卷积层中的卷积运算，替换为空洞卷积，在保持网络的运算量和特征图大小不变的情况下增加了特征图的感受野；利于网络对不同尺度目标的检测性能；

其次，在原有YOLOv5目标检测算法骨干网络的末尾增加注意力模块；通过学习的方式来自动获取骨干网络输出的每个通道的特征图重要程度；然后依照特征图重要程度提升有用的特征，并抑制对当前任务用处不大的特征；增加骨干网络的特征提取能力，进一步提升网络的检测性能；

所述改进YOLOv5目标检测算法用于对特征图中的目标进行评估，获得目标特征重要程度；根据所述目标特征重要程度，对当前任务中的目标特征进行筛选优化；

根据所述深度图和所述相机坐标系的目标二维坐标，获得相机坐标系的目标三维坐标；

基于所述相机坐标系的目标三维坐标和所述执行器坐标系的目标三维坐标进行计算，得到平移旋转变换矩阵；

根据所述平移旋转变换矩阵，基于双目相机和执行器进行标定；

所述方法还包括：该方法不止能应用于多轴旋转自由度机器人中，还能够被应用于各种X、Y、Z三平移自由度的执行机构中。

2.根据权利要求1所述的一种基于双目视觉进行目标检测的相机手眼标定方法，其特征在于，所述根据所述左眼相机数据和所述右眼相机数据进行立体匹配操作，获得深度图，包括：

根据所述左眼相机数据和所述右眼相机数据进行左右眼极线矫正、镜头成像畸变矫正和左右眼视图匹配，获得视差图；

对所述视差图进行视差优化操作，获得优化视差图；根据所述优化视差图进行计算，得到深度图。

3.根据权利要求1所述的一种基于双目视觉进行目标检测的相机手眼标定方法，其特征在于，所述根据所述深度图和所述相机坐标系的目标二维坐标，获得相机坐标系的目标三维坐标，包括：

根据所述深度图和所述相机坐标系的目标二维坐标，获得目标深度值；

根据所述相机坐标系的目标二维坐标和所述目标深度值，获得相机坐标系的目标三维坐标。

4.根据权利要求1所述的一种基于双目视觉进行目标检测的相机手眼标定方法，其特征在于，所述基于所述相机坐标系的目标三维坐标和所述执行器坐标系的目标三维坐标进行计算，得到平移旋转变换矩阵，包括：

根据所述相机坐标系的目标三维坐标和所述执行器坐标系的目标三维坐标进行采集，获得对应点坐标；

根据所述对应点坐标通过SVD算法进行计算，获得平移旋转变换矩阵。