[发明专利]基于双目视觉进行目标检测的相机手眼标定方法及装置

说明书

本发明涉及机器视觉手眼标定技术领域，特别是指一种基于双目视觉进行目标检测的相机手眼标定方法及装置，一种基于双目视觉进行目标检测的相机手眼标定方法包括：根据左眼相机数据和右眼相机数据进行立体匹配操作，获得深度图；根据左眼相机数据和改进YOLOv5目标检测算法，获得相机坐标系目标二维坐标；根据深度图和相机坐标系目标二维坐标，获得相机坐标系目标三维坐标；基于相机坐标系的目标三维坐标和执行器坐标系的目标三维坐标进行计算，得到平移旋转变换矩阵；根据平移旋转变换矩阵，基于双目相机和执行器进行标定。本发明是一种三维空间中针对于目标检测的高效、精准的手眼标定方法。

技术领域

本发明涉及机器视觉手眼标定技术领域，特别是指一种基于双目视觉进行目标检测的相机手眼标定方法及装置。

背景技术

在当今工业4.0时代的背景下，工业制造业生产的无人化、自动化、智能化成为新的需求，无人化生产线逐渐成为主流。而在无人化分拣的场景中，由相机作为信息采集装置和机械手等作为执行装置的机器视觉分拣系统得到了广泛应用，也一直是如制造、服务、医疗、农业等行业的热点研究和应用对象。一般来说，基于机器视觉的分选系统包括传送模块、视觉模块和分选模块，其中传送模块作为流水线中的输送装置，在整个生产过程中不间断运行；视觉模块一般由相机作为采集设备，PC作为分析处理视觉信息的处理设备，其中部署了各种机器视觉的目标检测算法；分选模块由各种机械手、机械臂或触发装置组成，完成具体的分拣或分选动作。

现有的基于机器视觉方案中，单目工业相机具有分辨率高、物距高等特点，但是由于单目相机成像原理的局限性，单目工业相机无法获取场景的深度信息，也即单目相机组成的视觉系统中的目标检测算法只能完成对目标物体在二维平面上的定位。对于分拣对象为同种物体的分拣系统，机械手完成每次分拣动作所需下放的高度相同，不需要关注物体在场景中的深度信息，单目视觉系统尚能满足要求；而对于分拣对象为多种不同形状大小的物体的分拣系统，如果依然在每次分拣时只有二维位置信息，将执行器末端下放至相同高度，则可能因为下放高度过高而导致分拣失败或由于下放高度过低损坏目标物体。

在现有技术中，缺乏一种基于三维空间针对于目标检测的高效、精准的手眼标定方法。

发明内容

本发明实施例提供了一种基于双目视觉进行目标检测的相机手眼标定方法及装置。所述技术方案如下：

一方面，提供了一种基于双目视觉进行目标检测的相机手眼标定方法，该方法由电子设备实现，该方法包括：

采用双目相机采集目标数据，获得左眼相机数据和右眼相机数据；采用执行器采集目标数据，获得执行器坐标系的目标三维坐标；

根据所述左眼相机数据和所述右眼相机数据进行立体匹配操作，获得深度图；

根据所述左眼相机数据和改进YOLOv5目标检测算法，获得相机坐标系的目标二维坐标；

根据所述深度图和所述相机坐标系的目标二维坐标，获得相机坐标系的目标三维坐标；

基于所述相机坐标系的目标三维坐标和所述执行器坐标系的目标三维坐标进行计算，得到平移旋转变换矩阵；

根据所述平移旋转变换矩阵，基于双目相机和执行器进行标定。

可选地，所述根据所述左眼相机数据和所述右眼相机数据进行立体匹配操作，获得深度图，包括：

根据所述左眼相机数据和所述右眼相机数据进行左右眼极线矫正、镜头成像畸变矫正和左右眼视图匹配，获得视差图；

对所述视差图进行视差优化操作，获得优化视差图；根据所述优化视差图进行计算，得到深度图。

可选地，所述根据所述左眼相机数据和改进YOLOv5目标检测算法，获得相机坐标系的目标二维坐标，包括：